CN110717021B - 人工智能面试中获取输入文本和相关装置 - Google Patents

人工智能面试中获取输入文本和相关装置 Download PDF

Info

Publication number
CN110717021B
CN110717021B CN201910877092.4A CN201910877092A CN110717021B CN 110717021 B CN110717021 B CN 110717021B CN 201910877092 A CN201910877092 A CN 201910877092A CN 110717021 B CN110717021 B CN 110717021B
Authority
CN
China
Prior art keywords
word
mutual information
homonym
information value
word segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910877092.4A
Other languages
English (en)
Other versions
CN110717021A (zh
Inventor
郑立颖
徐亮
阮晓雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910877092.4A priority Critical patent/CN110717021B/zh
Publication of CN110717021A publication Critical patent/CN110717021A/zh
Priority to PCT/CN2020/093597 priority patent/WO2021051877A1/zh
Application granted granted Critical
Publication of CN110717021B publication Critical patent/CN110717021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3343Query execution using phonetics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请揭示了一种人工智能面试中获取输入文本的方法及装置,涉及人工智能技术领域。该方法包括:在所进行的人工智能面试中,调用预设的通用词词库和通用词发音对照表对输入语音进行校正,并对校正所得语音进行语音识别获得识别文本;通过对所述识别文本进行分词处理获得分词集合;对所述分词集合中的分词,分别计算所述分词相对左侧分词和右侧分词的互信息值,且根据所得互信息值定位所述识别文本中的同音错误词;从预设的同音词词库中提取目标词对所述同音错误词进行替换,获得所述智能面试中的输入文本,所述目标词的读音与所述同音错误词相同。本申请所获取的输入文本很大程度上与应聘者的真实表达相接近。

Description

人工智能面试中获取输入文本和相关装置
技术领域
本申请涉及人工智能技术领域,特别涉及一种人工智能面试中获取输入文 本的方法及装置、设备、计算机可读存储介质。
背景技术
随着电子技术的不断发展,人工智能技术逐渐活跃在各种技术领域,例如 智能汽车驾驶、智能客服、智能扫地机器人、智能面试等等。
其中,智能面试是由人工智能面试官代替传统面试官对应聘者进行面试, 人工智能面试官融合了语音识别、面部识别等功能,能够对应聘者的面试表现 进行综合评价,并通过对应聘者进行排名来确定理想人选。
在智能面试中,应聘者对于面试题的回答仍是人工智能面试官评价应聘者 的重要内容。由此,人工智能面试官能够准确获取应聘者的回答内容,决定了 当前所进行智能面试的有效性。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背 景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
为了使得人工智能面试官能够准确获取应聘者针对面试题的回答内容,本 申请提供了一种人工智能面试中获取输入文本的方法及装置、设备、计算机可 读存储介质。
本申请所揭示的技术方案包括:
一种人工智能面试中获取输入文本的方法,包括:在所进行的人工智能面 试中,调用预设的通用词词库和通用词发音对照表对输入语音进行校正,并对 校正所得语音进行语音识别获得识别文本;通过对所述识别文本进行分词处理 获得分词集合;对所述分词集合中的分词,分别计算所述分词相对左侧分词和 右侧分词的互信息值,且根据所得互信息值定位所述识别文本中的同音错误 词,所述互信息值包括左互信息值和右互信息值;从预设的同音词词库中提取 目标词对所述同音错误词进行替换,获得所述智能面试中的输入文本,所述目 标词的读音与所述同音错误词相同。
在一个示例性实施例中,在所述通过对所述识别文本进行分词处理获得分 词集合之前,所述方法还包括:根据预先设置的语气词词典,查找所述识别文 本中重复出现的语气词;将所述重复出现的语气词从所述识别文本中删除。
在一个示例性实施例中,所述根据所得互信息值定位所述识别文本中的同 音错误词,包括:根据所述分词集合中各分词对应的左互信息值和右互信息值, 分别计算所述分词集合关于所述左互信息值和右互信息值的均值以及标准差; 分别对所述左互信息值和右互信息值的均值以及标准差进行差值运算,获得所 述分词集合关于所述左互信息值和右互信息值的阈值;获取所述分词集合中左 互信息值和右互信息值小于对应阈值的分词为同音错误词。
在一个示例性实施例中,在所述获取所述分词集合中左互信息值和右互信 息值小于对应阈值的分词获取为同音错误词之前,所述方法还包括:根据为所 述左互信息值和右互信息值所赋予的权重,对所述分词集合关于所述左互信息 值和右互信息值的阈值进行加权和运算,获得所述分词集合对应的互信息阈 值;所述获取所述分词集合中左互信息值和右互信息值小于对应阈值的分词获 取为同音错误词,包括:对所述分词集合中的分词,按照所述权重对所述分词 对应的左互信息值和右互信息值进行加权和运算,获得所述分词的互信息值; 获取所述互信息值小于所述互信息阈值的分词为同音错误词。
在一个示例性实施例中,所述从预设的同音词词库中提取目标词对所述同 音错误词进行替换,包括:根据所述同音错误词所对应的拼音,从所述同音词 词库中提取与所述同音错误词同音的若干候选词;通过所述候选词逐一对所述 同音错误词进行替换,并计算所述候选词对应的互信息值;提取互信息值最高 的候选词作为目标词对所述同音错误词进行替换。
在一个示例性实施例中,所述根据所述同音错误词所对应的拼音,从所述 同音词词库中提取与所述同音错误词同音的若干候选词,包括:根据所述同音 错误词的拼音,在所述同音词词库中查询所述拼音对应的索引值,所述索引值 对应于所述同音词词库中设置的拼音音节表,所述拼音音节表用于实现多个同 音词语的映射;根据所查找到的索引值,在所述拼接音节表中查询与所述同音 错误词同音的若干候选词。
一种人工智能面试中获取输入文本的装置,包括:一种人工智能面试中获 取输入文本的装置,其特征在于,所述装置包括:语音识别模块,用于在所进 行的人工智能面试中,调用预设的通用词词库和通用词发音对照表对输入语音 进行校正,并对校正所得语音进行语音识别获得识别文本;分词处理模块,用 于通过对所述识别文本进行分词处理获得分词集合;同音错误词定位模块,用 于对所述分词集合中的分词,分别计算所述分词相对左侧分词和右侧分词的互 信息值,且根据所得互信息值定位所述识别文本中的同音错误词,所述互信息 值包括左互信息值和右互信息值;输入文本获取模块,用于从预设的同音词词 库中提取目标词对所述同音错误词进行替换,获得所述智能面试中的输入文 本,所述目标词的读音与所述同音错误词相同。
一种人工智能面试中获取输入文本的设备,所述设备包括处理器和存储器, 所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行 时,实现如前任一项所述的人工智能面试中获取输入文本的方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处 理器执行时,实现如前任一项所述的人工智能面试中获取输入文本的方法。
本申请实施例提供的技术方案可以包括以下有益效果:
在上述技术方案中,通过调用预设的通用词词库和通用词发音对照表对人 工智能面试中的输入语音进行校正,能够准确识别应聘者针对面试题所进行回 答中的通用词汇,从而对校正语音进行语音识别获得准确的识别文本,然后对 识别文本进行分词处理获得分词集合后,通过对分词集合中的分词分别计算相 对左侧分词和右侧分词的互信息值,以根据所得互信息值定位识别文本中的同 音错误词,最后通过从预设的同音词词库中提取目标词对同音错误词进行替换, 获得智能面试中的输入文本。
由此,本申请不仅能够准确识别面试领域中的通用词汇,还修正了识别文 本中的同音错误词,所得到的输入文本在很大程度上与应聘者的真实表达相接 近,使得人工智能面试官能够准确获取应聘者的回答内容,使得当前所进行的 智能面试能够有效进行。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能 限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请 的实施例,并于说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的本申请所涉及实施环境的示意图;
图2是根据一示例性实施例示出的一种服务器的硬件框图;
图3是根据一示例性实施例示出的一种人工智能面试中获取输入文本的方 法的流程图;
图4是根据另一示例性实施例示出的一种人工智能面试中获取输入文本的 方法的流程图;
图5是图3所示步骤350在一个实施例的流程图;
图6是图3所示步骤350在另一个实施例的流程图;
图7是图3所示步骤370在一个实施例的流程图;
图8是根据一示例性实施例所示出的一种人工智能面试中获取输入文本的 装置的框图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述, 这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通 过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描 述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。 以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方 式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一 致的装置和方法的例子。
图1是根据一示例性实施例示出的一种本申请所涉及实施环境的示意图。 如图1所示,该实施环境包括面试客户端100和面试服务端200。
其中,面试客户端100与面试服务端200之间预先建立有线或者无线网络连 接,以实现面试客户端100与面试服务端200之间的交互。
面试客户端100用于对面试题进行展示,并相应获取应聘者针对面试题进行 回答的语音,以将获取的输入语音传输至面试服务端200进行相应处理。例如, 面试服务端200接收到面试客户端100输入的语音后,需要对输入语音进行语音 识别,以将应聘者针对面试题进行回答的语音获取为输入文本,并针对获取的 输入文本对应聘者的面试表现进行评价。也即是说,在智能面试场景中,由面 试服务端200担任人工智能面试官的角色。
示例性的,面试客户端100可以是智能手机、平板电脑、笔记本电脑、计算 机等电子设备,其数量不作限制(图1仅示出2个)。面试服务端200可以是一 台服务器,也可以是由若干服务器构成的服务器集群,本处也不进行限制。
图2是根据一示例性实施例所示出的一种服务器的框图。该服务器可以被 具体实现为图1所示实施环境中的面试服务端200。
需要说明的是,该服务器只是一个适配于本申请的示例,不能认为是提供 了对本申请的使用范围的任何限制。该服务器也不能解释为需要依赖于或者必 须具有图2中示出的示例性的服务器中的一个或者多个组件。
该服务器的硬件结构可因配置或者性能的不同而产生较大的差异,如图7 所示,服务器包括:电源210、接口230、至少一存储器250、以及至少一中央 处理器(CPU,CentralProcessing Units)270。
其中,电源210用于为服务器上的各硬件设备提供工作电压。
接口230包括至少一有线或无线网络接口231、至少一串并转换接口233、 至少一输入输出接口235以及至少一USB接口237等,用于与外部设备通信。
存储器250作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或 者光盘等,其上所存储的资源包括操作系统251、应用程序253或者数据255等, 存储方式可以是短暂存储或者永久存储。
其中,操作系统251用于管理与控制服务器上的各硬件设备以及应用程序 253,以实现中央处理器270对海量数据255的计算与处理,其可以是Windows ServerTM、Mac OSXTM、UnixTM、LinuxTM等。应用程序253是基于操作系统 251之上完成至少一项特定工作的计算机程序,其可以包括至少一模块(图2中 未示出),每个模块都可以分别包含有对服务器的一系列计算机可读指令。数 据255可以是存储于磁盘中的接口元数据等。
中央处理器270可以包括一个或多个以上的处理器,并设置为通过总线与存 储器250通信,用于运算与处理存储器250中的海量数据255。
如上面所详细描述的,适用本申请的服务器将通过中央处理器270读取存储 器250中存储的一系列计算机可读指令的形式来完成以下实施例所述的人工智 能面试中获取输入文本的方法。
此外,通过硬件电路或者硬件电路结合软件指令也能同样实现本申请,因 此,实现本申请并不限于任何特定硬件电路、软件以及两者的组合。
图3是根据一例性实施例示出的一种人工智能面试中获取输入文本的方法 的流程图,该方法适用于图1所示实施环境中的面试服务端200,以实现输入文 本的准确获取。
如图3所示,在一示例性的实施例中,该人工智能面试中获取输入文本的 方法至少包括以下步骤:
步骤310,在所进行的人工智能面试中,调用预设的通用词词库和通用词 发音对照表对输入语音进行校正,并对校正所得语音进行语音识别获得识别文 本。
其中,在所进行的人工智能面试中,输入语音是指应聘者针对面试题所进 行的回答内容。由于人工智能面试官需要根据应聘者的回答内容对应聘者的面 试表现进行评价,但人工智能面试官无法直接根据输入语音来对应聘者的面试 表现进行打分,必须将输入语音转换为输入文本,由此,需要对输入语音进行 准确转换。
通过词是指,人工智能面试中所涉及到的专业名词、口语词等专业词汇。 在人工智能面试所属的不同技术领域中,所含有的通用词应当不同,并且某些 通用词还可以包含有对应的中英文表达。例如,在人工智能技术领域中,可以 包括卷积神经网络(Convolutional Neural Networks,CNN)、TensorFlow(一种基 于神经网络构建的翻译模型)、K均值算法等通用词。
通用词词库则是指由若干通用词构成的通用词集合,根据输入语音中对应 于通用词的语音信息,可以在通用词词库中查找到对应的通用词。
通用词发音对照表则是指,由通用词词库中每一通用词所对应发音构成的 通用词发音集合。其中,当通用词为中文词语时,发音对照表中可以包括该通 用词对应的声母信息和韵母信息;当通用词为英文词语来说,发音对照表可以 是该英文词语的读音。此外,当同一通用词具有多种读法时,发音对照表中包 含有该通用词对应的每种发音信息,并且设置每种发音信息共同对应于同一通 用词。由此,通用词发音对照表与通用词词库之间是相互映射的。
在进行输入语音的识别中,需要先根据通用词发音对照表对应聘者所输入 语音中对应于通用词的语音信息进行校正,以得到发音准确的输入语音,然后 对校正所得到的输入语音进行语音识别,获得识别文本。
在人工智能面试场景中,对应聘者的输入语音进行识别的难度之一即在于 识别面试所属行业或者技术领域中涉及的通用词,如果不能准确识别这些通用 词,则不能准确地理解应聘者的语义表达,由此,本申请通过预先收集不同面 试场景所涉及的通用词词库以及通用词发音对照表,并在所进行的人工智能面 试中,通过调用预先收集的通用词词库和通用词发音对照表对输入语音进行校 正和识别,能够对输入语音中的通用词进行准确识别,从而能够获得准确的输 入文本。
步骤330,通过对识别文本进行分词处理获得分词集合。
其中,对识别文本进行分词处理可以选用常用的分词算法进行,例如可以 选用正向最大匹配分词算法、逆向最大匹配分词算法、双向最大匹配分词算法 等基于字符串匹配的分词算法,还可以选用基于统计的分词算法,本处不对此 进行赘述。
此外,在一个实施例中,在对识别文本进行分词处理之前,可以先根据预 设的停用词词库来定位识别文本中含有的停用词,并对定位得到的停用词进行 过滤,以对进行停用词过滤所得的识别文本进行分词处理。
由此,本实施例通过对识别文本进行分词处理,能够获得识别文本所对应 的分词集合。
步骤350,对分词集合中的分词,分别计算分词相对左侧分词和右侧分词 的互信息值,且根据所得互信息值定位识别文本中的同音错误词。
其中,互信息是一个随机变量中包含的关于另一个随机变量的信息量,是 两个随机变量之间的互享信息。根据两个随机变量之间的互信息值,可以反映 得出两个随机变量之间的关联程度。
同音错误词是指,识别文本中读音正确但是文字含义不符合识别文本整体 的语境信息的词语。例如,若识别文本中含有“人工智能技术领域”的语句, 该“职能”则为同音错误词。
在本实施例中,分词所对应的互信息值包括分词与位于其左侧的分词之间 的左互信息值,以及分词与位于其右侧的分词之间的右互信息值。通过对分词 集合中的每一个分词,分别计算该分词相对其左侧分词的左互信息值,以及计 算该分词相对其右侧分词的右信息值,从而根据该分词所对应的左、右互信息 值判断该分词是否为同音错误词。
需要说明的是,本实施例对分词进行左、右互信息值的计算是根据常用的 互信息值计算方法所实现的,本处不对具体的计算过程进行赘述。
此外,还需要说明的是,由于本实施例对分词进行左、右互信息值的计算 是结合识别文本的整体语境信息所实现的,因此,当分词所对应的左、右互信 息低于设定阈值时,则表示该分词不符合识别文本的整体语境信息,由此定位 该分词为同音错误词。
步骤370,从预设的同音词词库中提取目标词对同音错误词进行替换,获 得智能面试中的输入文本。
其中,为了得到准确的输入文本,在定位得到识别文本中的同音错误词后, 需要对该同音错误词进行修正,也即将识别文本中的同音错误词替换为正确的 词语,使得该词语符合识别文本的整体语境信息,由此将进行同音错误词替换 后的识别文本获取为输入文本。
预设的同音词词库是指,预先收集的同音词集合,也即是说,该同音词词 库中含有读音相同的若干词语。
由此,在定位得到识别文本中的同音错误词之后,通过从同音词词库中提 取读音与同音错误词相同的目标词对识别文本中的同音错误词进行替换,从而 将进行同音词替换后的识别文本获取为智能面试中的输入文本。
由此,在本实施例所提供的方法中,不仅能够准确识别面试领域中的通用 词汇,还修正了识别文本中的同音错误词,所得到的输入文本在很大程度上与 应聘者的真实表达相接近,使得人工智能面试官能够准确获取应聘者的回答内 容,使得当前所进行的智能面试能够有效进行。
在另一示例性的实施例中,如图4所示,在步骤330之前,人工智能面试中 获取输入文本的方法还包括以下步骤:
步骤410,根据预先设置的语气词词典,查找识别文本中重复出现的语气 词;
步骤430,将重复出现的语气词从识别文本中删除。
其中,语气词是应聘者在说话时经常用来作为连接、停顿的词,尤其是在 面试环节相对紧张的情况下,应聘者使用语气词对的频率会更高,而语气词对 于人工智能面试官对应聘者的面试表现的评价作用不大,甚至可能由于大量语 气词的出现对应聘者的评价造成干扰,由此,有必要将识别文本中的重复出现 的语气词相应删除。
语气词词典是指预先收集的含有若干不同语气词的集合,在一示例性的实 施例中,根据预先设置的语气词词典查找识别文本中重复出现的语气词的过程 可以是:根据预先设置的语气词词典且按照识别文本的文本先后顺序,逐字识 别该识别文本中的语气词,由此获取识别文本中重复出现的语气词,并将重复 出现的语气词从识别文本中删除。
在另一示例性的实施例中,可以先按照识别文本的文本先后顺序,逐字识 别该识别文本中重复出现的词语,然后根据预先设置的语气词词典确定重复出 现的语气词,由此获取识别文本中重复出现的语气词。
而在另外的实施例中,对识别文本中重复出现的词语的获取过程以及对该 重复出现的词语是否为语气词的判断过程可以是同时进行的。
由此,本实施例通过对识别文本中重复出现的语气词进行识别,并将识别 文本中重复出现的语气词相应删除,有利于人工智能面试官对所获取输入文本 的后续处理。
在另一示例性的实施例中,如图5所示,根据分词集合中分词所对应的互 信息值定位识别文本中的同音错误词的过程可以包括以下步骤:
步骤351,根据分词集合中各分词对应的左互信息值和右互信息值,分别 计算分词集合关于左互信息值和右互信息值的均值以及标准差。
其中,除分词集合中的第一个分词以及最后一个分词外,分词集合中的每 一个分词均含有对应的左互信息值和右互信息值,由此,通过对分词集合中各 分词对应的左互信息值和/或右互信息值进行统计,获得由分词集合中各分词 所对应左互信息值构成的正态分布,以及由分词集合中各分词所对应右互信息 值构成的正态分布。
通过对所统计的分词集合中各分词对应的左互信息值以及右互信息值,可 以分别计算得到分词集合关于左互信息值的均值和标准差,以及分词集合关于 右互信息值的均值和标准差。
也即是说,在本实施例中,可以得到左互信息值均差、左互信息标准差、 右互信息值均差和左互信息标准差四个相关参数。
步骤353,分别对左互信息值和右互信息值的均值以及标准差进行差值运 算,获得分词集合关于左互信息值和右互信息值的阈值。
其中,分词集合关于左互信息值和右互信息值的阈值是根据正态分布中的 3-sigma原则所计算得到的。3-sigma原则表示数值分布在(μ—3σ,μ+3σ)中的 概率为0.9974,其中σ代表正态分布中的标准差,即上述左互信息标准差或者 右互信息标准差,μ代表正态分布中的均值,即上述左互信息均值或者右互信 息均值。
根据3-sigma原则计算分词集合关于左互信息值的阈值的公式为:左互信 值阈值=左互信值均值-3左互信息标准差,右互信值阈值=右互信值均值-3右 互信息标准差。
步骤355,获取分词集合中左互信息值和右互信息值小于对应阈值的分词 为同音错误词。
其中,对于分词集合中分词对应的左互信息值小于步骤353计算所得的左 互信息阈值、以及分词所对应右互信息值小于步骤353计算所得的右互信息阈 值的分词,可以判断为是识别文本中的同音错误词。
由此,本实施例通过对分词集合中每一分词对应的左互信息值和右互信息 值进行统计,并计算分词集合关于左互信息值和右互信息值的均值以及标准 差,以根据所得均值和标准差分别计算分词集合关于左互信息值的阈值以及关 于右互信息值的阈值,从而能够根据所得阈值准确定位得到识别文本中的同音 错误词。
在另一示例性的实施例中,如图6所示,在步骤355之前,定位识别文本中 的同音错误词的过程还可以包括以下步骤:
步骤354,根据为左互信息值和右互信息值所赋予的权重,对分词集合关 于左互信息值和右互信息值的阈值进行加权和运算,获得分词集合对应的互信 息阈值。
其中,为左互信息值和右互信息值所赋予的权重,是根据左互信息值对于 同音错误词识别的重要性、以及右互信息值对于同音错误词识别的重要性所进 行针对性赋予的,二者权重可以相同,也可以不同。根据所赋予的权重对分词 集合关于左互信息值和右互信息值的阈值进行加权和运算,能够得到分词集合 所对应唯一的互信息阈值。
相应的,在一示例性的实施例中,步骤355至少包括以下步骤:
步骤3551,对分词集合中的分词,按照权重对分词对应的左互信息值和右 互信息值进行加权和运算,获得分词的互信息值;
步骤3553,获取所述互信息值小于所述互信息阈值的分词为同音错误词。
其中,在对分词集合中的分词进行同音错误词的判断时,仍按照所赋予的 权重对每一分词对应的左互信息值和右互信息值进行加权和运算,以获取每一 分词所对应的互信息值。
也即是说,对于分词集合中的每一分词,通过所进行的加权和计算,能够 获得各分词对应的互信息值。
由此,本申请按照预先配设的权重计算获得分词集合对应的互信息阈值, 以及计算获得分词集合中每一分词的互信息值,从而通过对各分词的互信息值 与互信息阈值进行判断即可快速获得识别文本中的同音错误词。
在另一示例性的实施例中,如图7所示,从预设的同音词词库中提取目标 词对同音错误词进行替换的过程包括如下步骤:
步骤371,根据同音错误词所对应的拼音,从同音词词库中提取与同音错 误词同音的若干候选词。
如前所述,同音词词库是指预先收集的同音词集合,由此,根据同音错误 词对应的拼音,能够从同音词词库中提取得到与同音错误词同音的若干词语为 候选词。
在同音词词库中,通过一个二维表来实现词语和拼音的对应关系,由于计 算机并不能直接识别文字,只能识别文字所对应的计算机编码,因此同音词词 库中所含有的词语应当理解为是计算机编码。
对于同一个拼音对应于多个词语的情况,同音词词库中通过建立一个拼音 音节表,以通过该拼音音节表实现多个同音词语的映射,并在同音词词库中保 存拼音音节表的索引,该索引对应于拼音音节表对应的拼音。在拼音音节表中, 对于某一特定拼音,能够查找到对应于该拼音的若干同音词。
由于识别文本中仅含有同音错误词对应的文字,并不含有该同音错误的拼 音,因此需要获取同音错误词对应的拼音。需要说明的是,在本实施例中,同 音错误词所对应的拼音是指完整的拼音。
实现文字与拼音的转换,需要结合文字的计算机编码技术,其中不同的文 字格式对应于不同的编码格式,本处不进行限制。
由此,在对同音错误词进行文字与拼音的转换之后,根据同音错误词的拼 音,可以在同音词词库查找该拼音所对应的索引值,以根据查找到的索引值获 取得到相应的拼音音节表,从而可以从拼音音节表中查询到与同音错误词同音 的若干候选词。
在所得到的若干候选词中,存在一正确的词语为目标词,以对识别文本中 的同音错误词进行替换,以得到正确的输入文本。
步骤373,通过候选词逐一对同音错误词进行替换,并计算候选词对应的 互信息值。
其中,为了从候选词中确定对同音错误词进行替换的目标词,先将候选词 逐个对识别文本中的同音错误词进行替换,并计算所替换的候选词相对左侧分 词的左互信息值以及相对右侧分词的右互信息值。
步骤375,提取互信息值最高的候选词作为目标词对同音错误词进行替换。
其中,互信值最高的候选词表示该候选词最为贴合于识别文本整体的语境 信息,由此,可以提取互信息值最高的候选词为目标词对同音错误词进行替换, 从而得到输入文本。
由此,根据本实施例所提供的方法,通过从同音词词库中提取正确的同音 词对识别文本中的同音错误词进行替换,由此获得准确的输入文本。
图8是根据一示例性实施例示出的一种人工智能面试中获取输入文本的装 置的框图。如图8所示,该装置包括语音识别模块510、分词处理模块530、同 音错误词定位模块550和输入文本获取模块570。
语音识别模块510用于在所进行的人工智能面试中,调用预设的通用词词 库和通用词发音对照表对输入语音进行校正,并对校正所得语音进行语音识别 获得识别文本。
分词处理模块530用于通过对所述识别文本进行分词处理获得分词集合。
同音错误词定位模块550用于对所述分词集合中的分词,分别计算所述分 词相对左侧分词和右侧分词的互信息值,且根据所得互信息值定位所述识别文 本中的同音错误词,所述互信息值包括左互信息值和右互信息值。
输入文本获取模块570用于从预设的同音词词库中提取目标词对所述同 音错误词进行替换,获得所述智能面试中的输入文本,所述目标词的读音与所 述同音错误词相同。
在一示例性的实施例中,该装置还包括语气词查找模块和语气词删除模 块,其中语气词查找模块用于根据预先设置的语气词词典,查找所述识别文本 中重复出现的语气词,语气词删除模块用于将所述重复出现的语气词从所述识 别文本中删除。
在一示例性的实施例中,同音错误词定位模块550包括互信息获取单元、 互信息阈值获取单元和同音错误词获取单元。
互信息获取单元用于根据所述分词集合中各分词对应的左互信息值和右 互信息值,分别计算所述分词集合关于所述左互信息值和右互信息值的均值以 及标准差。
互信息阈值获取单元用于分别对所述左互信息值和右互信息值的均值以 及标准差进行差值运算,获得所述分词集合关于所述左互信息值和右互信息值 的阈值。
同音错误词获取单元用于获取所述分词集合中左互信息值和右互信息值 小于对应阈值的分词为同音错误词。
在一示例性的实施例中,输入文本获取模块570包括候选词获取单元、候 选词互信息计算单元和同音错误词修正单元。
候选词获取单元用于根据所述同音错误词所对应的拼音,从所述同音词词 库中提取与所述同音错误词同音的若干候选词。
候选词互信息计算单元用于通过所述候选词逐一对所述同音错误词进行 替换,并计算所述候选词对应的互信息值。
同音错误词修正单元用于提取互信息值最高的候选词作为目标词对所述 同音错误词进行替换。
在一示例性的实施例中,候选词获取单元包括索引值查找子单元和拼音音 节表查询子单元。
索引值查找子单元用于根据所述同音错误词的拼音,在所述同音词词库中 查询所述拼音对应的索引值,所述索引值对应于所述同音词词库中设置的拼音 音节表,所述拼音音节表用于实现多个同音词语的映射。
拼音音节表查询子单元用于根据所查找到的索引值,在所述拼接音节表中 查询与所述同音错误词同音的若干候选词。
需要说明的是,上述实施例所提供的装置与上述实施例所提供的方法属于 同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细 描述,此处不再赘述。
在一示例性的实施例中,本申请还提供一种人工智能面试中获取输入文本 的设备,该设备包括:
处理器;
存储器,该存储器上存储有计算机可读指令,该计算机可读指令被处理器 执行时,实现如前所述的人工智能面试中获取输入文本的方法。
在一示例性的实施例中,本申请还提供一种计算机可读存储介质,其上存 储有计算机程序,该计算机程序被处理器执行时,实现如前所述的人工智能面 试中获取输入文本的方法。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结 构,并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的 权利要求来限制。

Claims (8)

1.一种人工智能面试中获取输入文本的方法,其特征在于,所述方法包括:
在所进行的人工智能面试中,调用预设的通用词词库和通用词发音对照表对输入语音进行校正,并对校正所得语音进行语音识别获得识别文本;
通过对所述识别文本进行分词处理获得分词集合;
对所述分词集合中的分词,分别计算所述分词相对左侧分词和右侧分词的互信息值,且根据所得互信息值定位所述识别文本中的同音错误词,所述互信息值包括左互信息值和右互信息值;
从预设的同音词词库中提取目标词对所述同音错误词进行替换,获得所述智能面试中的输入文本,所述目标词的读音与所述同音错误词相同;
其中,所述根据所得互信息值定位所述识别文本中的同音错误词,包括:
根据所述分词集合中各分词对应的左互信息值和右互信息值,分别计算所述分词集合关于所述左互信息值和右互信息值的均值以及标准差;
对所述左互信息值的均值和标准差进行差值运算,得到所述分词集合关于所述左互信息值的阈值,以及对所述右互信息值的均值和标准差进行差值运算,得到所述分词集合关于所述右互信息值的阈值;
根据为所述左互信息值和右互信息值所赋予的权重,对所述分词集合关于所述左互信息值的阈值和右互信息值的阈值进行加权和运算,获得所述分词集合对应的互信息阈值;
对所述分词集合中的分词,按照所述权重对所述分词对应的左互信息值和右互信息值进行加权和运算,获得所述分词的互信息值;
获取所述互信息值小于所述互信息阈值的分词为同音错误词。
2.根据权利要求1所述的方法,其特征在于,在所述通过对所述识别文本进行分词处理获得分词集合之前,所述方法还包括:
根据预先设置的语气词词典,查找所述识别文本中重复出现的语气词;
将所述重复出现的语气词从所述识别文本中删除。
3.根据权利要求1所述的方法,其特征在于,所述从预设的同音词词库中提取目标词对所述同音错误词进行替换,包括:
根据所述同音错误词所对应的拼音,从所述同音词词库中提取与所述同音错误词同音的若干候选词;
通过所述候选词逐一对所述同音错误词进行替换,并计算所述候选词对应的互信息值;
提取互信息值最高的候选词作为目标词对所述同音错误词进行替换。
4.根据权利要求3所述的方法,其特征在于,所述根据所述同音错误词所对应的拼音,从所述同音词词库中提取与所述同音错误词同音的若干候选词,包括:
根据所述同音错误词的拼音,在所述同音词词库中查询所述拼音对应的索引值,所述索引值对应于所述同音词词库中设置的拼音音节表,所述拼音音节表用于实现多个同音词语的映射;
根据所查找到的索引值,在所述拼音音节表中查询与所述同音错误词同音的若干候选词。
5.一种人工智能面试中获取输入文本的装置,其特征在于,所述装置包括:
语音识别模块,用于在所进行的人工智能面试中,调用预设的通用词词库和通用词发音对照表对输入语音进行校正,并对校正所得语音进行语音识别获得识别文本;
分词处理模块,用于通过对所述识别文本进行分词处理获得分词集合;
同音错误词定位模块,用于对所述分词集合中的分词,分别计算所述分词相对左侧分词和右侧分词的互信息值,且根据所得互信息值定位所述识别文本中的同音错误词,所述互信息值包括左互信息值和右互信息值;
输入文本获取模块,用于从预设的同音词词库中提取目标词对所述同音错误词进行替换,获得所述智能面试中的输入文本,所述目标词的读音与所述同音错误词相同;
其中,所述同音错误词定位模块还配置为执行如下步骤:
根据所述分词集合中各分词对应的左互信息值和右互信息值,分别计算所述分词集合关于所述左互信息值和右互信息值的均值以及标准差;
对所述左互信息值的均值和标准差进行差值运算,得到所述分词集合关于所述左互信息值的阈值,以及对所述右互信息值的均值和标准差进行差值运算,得到所述分词集合关于所述右互信息值的阈值;
根据为所述左互信息值和右互信息值所赋予的权重,对所述分词集合关于所述左互信息值的阈值和右互信息值的阈值进行加权和运算,获得所述分词集合对应的互信息阈值;
对所述分词集合中的分词,按照所述权重对所述分词对应的左互信息值和右互信息值进行加权和运算,获得所述分词的互信息值;
获取所述互信息值小于所述互信息阈值的分词为同音错误词。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:
语气词查找模块,用于根据预先设置的语气词词典,查找所述识别文本中重复出现的语气词;
语气词删除模块,用于将所述重复出现的语气词从所述识别文本中删除。
7.一种人工智能面试中获取输入文本的设备,其特征在于,包括:
存储器,存储有计算机可读指令;
处理器,读取存储器存储的计算机可读指令,以执行权利要求1-4中的任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1-4中的任一项所述的方法。
CN201910877092.4A 2019-09-17 2019-09-17 人工智能面试中获取输入文本和相关装置 Active CN110717021B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910877092.4A CN110717021B (zh) 2019-09-17 2019-09-17 人工智能面试中获取输入文本和相关装置
PCT/CN2020/093597 WO2021051877A1 (zh) 2019-09-17 2020-05-30 人工智能面试中获取输入文本和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910877092.4A CN110717021B (zh) 2019-09-17 2019-09-17 人工智能面试中获取输入文本和相关装置

Publications (2)

Publication Number Publication Date
CN110717021A CN110717021A (zh) 2020-01-21
CN110717021B true CN110717021B (zh) 2023-08-29

Family

ID=69209876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910877092.4A Active CN110717021B (zh) 2019-09-17 2019-09-17 人工智能面试中获取输入文本和相关装置

Country Status (2)

Country Link
CN (1) CN110717021B (zh)
WO (1) WO2021051877A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717021B (zh) * 2019-09-17 2023-08-29 平安科技(深圳)有限公司 人工智能面试中获取输入文本和相关装置
CN111694936B (zh) * 2020-04-26 2023-06-06 平安科技(深圳)有限公司 用于ai智能面试的识别的方法、装置、计算机设备及存储介质
CN112164403A (zh) * 2020-09-27 2021-01-01 江苏四象软件有限公司 一种基于人工智能的自然语言处理系统
CN112684913B (zh) * 2020-12-30 2023-07-14 维沃移动通信有限公司 信息修正方法、装置及电子设备
CN113987127A (zh) * 2021-11-03 2022-01-28 北京锐安科技有限公司 信息查询方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060057921A (ko) * 2004-11-24 2006-05-29 한국전자통신연구원 대화형 음성인식 시스템의 인식오류 수정장치 및 그 방법
CN106534548A (zh) * 2016-11-17 2017-03-22 科大讯飞股份有限公司 语音纠错方法和装置
CN107608963A (zh) * 2017-09-12 2018-01-19 马上消费金融股份有限公司 一种基于互信息的中文纠错方法、装置、设备及存储介质
CN108874921A (zh) * 2018-05-30 2018-11-23 广州杰赛科技股份有限公司 提取文本特征词的方法、装置、终端设备及存储介质
CN109800414A (zh) * 2018-12-13 2019-05-24 科大讯飞股份有限公司 语病修正推荐方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249873B2 (en) * 2005-08-12 2012-08-21 Avaya Inc. Tonal correction of speech
CN105045778B (zh) * 2015-06-24 2017-10-17 江苏科技大学 一种汉语同音词错误自动校对方法
CN106528532B (zh) * 2016-11-07 2019-03-12 上海智臻智能网络科技股份有限公司 文本纠错方法、装置及终端
US10382138B2 (en) * 2017-03-06 2019-08-13 Nec Corporation Constellation optimization based on generalized mutual information over a nonlinear optical channel
CN107451121A (zh) * 2017-08-03 2017-12-08 京东方科技集团股份有限公司 一种语音识别方法及其装置
CN110210028B (zh) * 2019-05-30 2023-04-28 杭州远传新业科技股份有限公司 针对语音转译文本的领域特征词提取方法、装置、设备及介质
CN110717021B (zh) * 2019-09-17 2023-08-29 平安科技(深圳)有限公司 人工智能面试中获取输入文本和相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060057921A (ko) * 2004-11-24 2006-05-29 한국전자통신연구원 대화형 음성인식 시스템의 인식오류 수정장치 및 그 방법
CN106534548A (zh) * 2016-11-17 2017-03-22 科大讯飞股份有限公司 语音纠错方法和装置
CN107608963A (zh) * 2017-09-12 2018-01-19 马上消费金融股份有限公司 一种基于互信息的中文纠错方法、装置、设备及存储介质
CN108874921A (zh) * 2018-05-30 2018-11-23 广州杰赛科技股份有限公司 提取文本特征词的方法、装置、终端设备及存储介质
CN109800414A (zh) * 2018-12-13 2019-05-24 科大讯飞股份有限公司 语病修正推荐方法及系统

Also Published As

Publication number Publication date
CN110717021A (zh) 2020-01-21
WO2021051877A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN110717021B (zh) 人工智能面试中获取输入文本和相关装置
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN110162627B (zh) 数据增量方法、装置、计算机设备及存储介质
CN109146610B (zh) 一种智能保险推荐方法、装置及智能保险机器人设备
CN110148416B (zh) 语音识别方法、装置、设备和存储介质
CN109960725B (zh) 基于情感的文本分类处理方法、装置和计算机设备
US20230078362A1 (en) Device and method for machine reading comprehension question and answer
US20200335096A1 (en) Pinyin-based method and apparatus for semantic recognition, and system for human-machine dialog
CN110321409B (zh) 基于人工智能的辅助面试方法、装置、设备及存储介质
CN111694940A (zh) 一种用户报告的生成方法及终端设备
CN111414746A (zh) 一种匹配语句确定方法、装置、设备及存储介质
CN112487824A (zh) 客服语音情感识别方法、装置、设备及存储介质
CN114020906A (zh) 基于孪生神经网络的中文医疗文本信息匹配方法及系统
CN117609444A (zh) 一种基于大模型的搜索问答方法
CN113535925A (zh) 语音播报方法、装置、设备及存储介质
TWI734085B (zh) 使用意圖偵測集成學習之對話系統及其方法
CN111126084A (zh) 数据处理方法、装置、电子设备和存储介质
CN111144102A (zh) 用于识别语句中实体的方法、装置和电子设备
CN108536671B (zh) 文本数据的情感指数识别方法和系统
CN113536784B (zh) 文本处理方法、装置、计算机设备和存储介质
CN115905187B (zh) 一种面向云计算工程技术人员认证的智能化命题系统
CN110287396A (zh) 文本匹配方法及装置
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN114974310A (zh) 基于人工智能的情感识别方法、装置、计算机设备及介质
CN114528851A (zh) 回复语句确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018201

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant