CN115831117A - 实体识别方法、装置、计算机设备和存储介质 - Google Patents

实体识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115831117A
CN115831117A CN202211463953.2A CN202211463953A CN115831117A CN 115831117 A CN115831117 A CN 115831117A CN 202211463953 A CN202211463953 A CN 202211463953A CN 115831117 A CN115831117 A CN 115831117A
Authority
CN
China
Prior art keywords
entity
candidate
ambiguous
entities
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211463953.2A
Other languages
English (en)
Inventor
敖建
孙雨辰
黄卫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202211463953.2A priority Critical patent/CN115831117A/zh
Publication of CN115831117A publication Critical patent/CN115831117A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种实体识别方法、装置、计算机设备、存储介质和计算机程序产品,涉及人工智能技术领域。该方法包括获取对目标语音进行识别得到的语音识别结果;根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;根据第一相似度分数,从多个候选实体中确定出待确认集;根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。采用本方法能够提高语音识别的准确率。

Description

实体识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及人工智能技术领域,特别是涉及一种实体识别方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着语音识别技术的发展,出现了自动语音识别技术(Automatic SpeechRecognition,简称ASR),ASR是一种将人的语音转换为文本的技术。ASR已被广泛应用于智能音响、智能手环、智能电视等智能设备,支持问答、语音控制等多种语音交互场景,通过将用户的语音转化为文字信息,解析并识别用户意图,然后给出相应的执行方案,最后输出符合用户意图的答案。
然而,对于专有名词场景(如人名识别),ASR的精准性并不理想,错误率高达50%以上。因此,如何提高在专有名词场景下,智能设备的语音识别的准确率成为目前亟待解决的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高语音识别的准确率的实体识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种实体识别方法。该方法包括:
获取对目标语音进行识别得到的语音识别结果;
根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;
根据第一相似度分数,从多个候选实体中确定出待确认集;
根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
在其中一个实施例中,根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数,包括:根据语音识别结果中歧义实体的声学特征,分别确定歧义实体的拼音组合和图谱中各候选实体的拼音组合;分别计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数。
在其中一个实施例中,根据预先配置的多个模板对待确认集中的各候选实体进行验证,包括:通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果;对每个替换结果分别进行分词,得到每个替换结果中的多个实体对象;对于每个替换结果,根据与每个替换结果分别对应的多个实体对象与图谱中各关联实体的相似度,确定每个替换结果的第二相似度分数;根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证。
在其中一个实施例中,根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证,包括:对于每个替换结果,分别与预先配置的多个模板进行匹配,得到每个替换结果的多个模板匹配分数;根据每个替换结果的第二相似度分数和多个模板匹配分数,得到每个替换结果的多个综合分数;根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证。
在其中一个实施例中,根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证,包括:对于各替换结果中的当前替换结果,从当前替换结果所对应的多个综合分数中确定出最大综合分数;获取与最大综合分数所对应的模板相关联的图查询语句;根据获取的图查询语句在图谱中进行查询,若存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证通过,若不存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证不通过。
在其中一个实施例中,在根据第一相似度分数,从多个候选实体中确定出待确认集之后,该方法还包括:通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果;分别确定语音识别结果和各替换结果的通顺度分数;对于各替换结果中的当前替换结果,在当前替换结果的通顺度分数小于语音识别结果的通顺度分数的情况下,从待确认集中删除与替换结果对应的候选实体。
在其中一个实施例中,语音识别结果中包括歧义实体和非歧义实体,获取对目标语音进行识别得到的语音识别结果之后,该方法还包括:查询图谱中是否包括非歧义实体;在查询到图谱中包括非歧义实体的情况下,执行根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数的步骤。
第二方面,本申请还提供了一种实体识别装置。该装置包括:
获取模块,用于获取对目标语音进行识别得到的语音识别结果;
计算模块,用于根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;
确定模块,用于根据第一相似度分数,从多个候选实体中确定出待确认集;
验证模块,用于根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
确定模块,用于根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
第三方面,本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
获取对目标语音进行识别得到的语音识别结果;
根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;
根据第一相似度分数,从多个候选实体中确定出待确认集;
根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
第四方面,本申请还提供了一种计算机可读存储介质。该计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取对目标语音进行识别得到的语音识别结果;
根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;
根据第一相似度分数,从多个候选实体中确定出待确认集;
根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
第五方面,本申请还提供了一种计算机程序产品。该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取对目标语音进行识别得到的语音识别结果;
根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;
根据第一相似度分数,从多个候选实体中确定出待确认集;
根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
上述实体识别方法、装置、计算机设备、存储介质和计算机程序产品,获取对目标语音进行识别得到的语音识别结果;根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数,图谱中的候选实体为与歧义实体相关的实体;根据第一相似度分数,从多个候选实体中确定出待确认集,能够实现根据声学特征对图谱中各候选实体进行筛选的效果。进而,根据预先配置的多个模板对待确认集中的各候选实体进行验证,模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错,能够实现根据预先配置的多个模板对待确认集中的候选实体进行验证并确定目标实体的目的,以通过目标实体对歧义实体进行纠错,得到纠错后的语音识别结果。这样,通过声学特征进行初步筛选,再根据预先配置的模板从语法和句法角度进行进一步的验证,完成同音多名(音相同或相似,汉字不同)的识别纠错,从而达到提高语音识别的准确率的目的。
附图说明
图1为一个实施例中实体识别方法的应用环境图;
图2为一个实施例中实体识别方法的流程示意图;
图3为一个实施例中替换步骤的流程示意图;
图4为一个实施例中模板匹配步骤的流程示意图;
图5为一个实施例中实体识别装置的流程示意图;
图6为另一个实施例中更新待确认集步骤的流程示意图;
图7为另一个实施例中实体识别装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
应当理解的是,本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。除非上下文另外清楚地指出,否则单数形式的“一个”、“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。
本申请实施例提供的实体识别方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102可单独执行本申请实施例提供的实体识别方法,终端102和服务器104也可协同执行本申请实施例提供的实体识别方法。
当终端102单独执行实体识别方法时,终端102获取对目标语音进行识别得到的语音识别结果;根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;根据第一相似度分数,从多个候选实体中确定出待确认集;根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
当终端102和服务器104协同执行实体识别方法时,终端102获取对目标语音进行识别得到的语音识别结果,并将语音识别结果发送至服务器104。服务器104根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体;根据第一相似度分数,从多个候选实体中确定出待确认集;根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种实体识别方法,该方法可以由终端或服务器单独执行,也可以由终端和服务器协同执行。以该方法应用于图1中的终端102为例进行说明,包括以下步骤:
步骤202,获取对目标语音进行识别得到的语音识别结果。
其中,目标语音是终端当前接收到的语音,目标语音中包含用户的意图信息。例如目标语音为用户A发出的“帮我找钟新的手机号码”,其中包含用户A的意图信息:找姓名为钟新的用户的手机号码。
语音识别结果是由至少一个词语、句子或段落组成的文本,通过自动语音识别技术(Automatic Speech Recognition,简称ASR)将目标语音转换为文本得到。例如,目标语音为“帮我找钟新的手机号码”,语音识别结果可以为“帮我找钟心的手机号码”,可以为“帮我找钟欣的手机号码”,可以为“帮我找钟新的手机号码”,还可以是“帮我找中心的手机号码”,或者还可以是“帮我找钟青的手机号码”。
示例性地,终端通过自动语音识别技术对目标语音进行识别,得到语音识别结果。
步骤204,根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体。
其中,歧义实体是文本中可能存在识别错误的实体,包括人名、地名、部门名、专有名词等,歧义实体在不同的上下文中通常有不同含义。例如,语音识别结果为“帮我找钟心的手机号码”,则语音识别结果中歧义实体为“钟心”这个人名。歧义实体通过对语音识别结果进行预处理得到,预处理的方式可以是自然语言处理(NLP,Natural LanguageProcessing),例如分词并根据条件规则对分词后的多个候选词进行筛选,条件规则例如可以是候选词的字数长度在2-4字,剔除候选词中的停用词(包括助词、语气词和副词等),以及保留预先设置的白名单中的候选词等。
声学特征包括辅音、元音和音调,不同的实体具有不同的声学特征,根据声学特征能够将相似度较高的两个实体区分开,例如“钟新”和“钟青”这两个实体,对应的拼音组合为“zhong1xin1”和“zhong1qing1”(其中,“zhong”后面的数字1表示音调,“qing”后面的数字1表示音调),虽然每个字的音调均相同,但是辅音和元音的组合不同,一个是“zhongxin”,另一个是“zhongqing”。
图谱是预先构建的知识图谱,包括实体、实体属性和关系。其中,实体包括“张三”、“李四”、“财务部”、“XXX应用”等专有名词,实体类型包括人名、部门名和应用程序名等,实体属性包括人员的手机号码、人员的邮箱、人员的工作单位、部门的职位、应用程序的功能等,关系包括人员与部门的关系(例如从属关系)、人员与人员的关系(例如上下级关系)等。
候选实体是知识图谱中发音与歧义实体的发音相同或相似的实体。例如,歧义实体为“钟心”,则候选实体为知识图谱中发音与“zhong1xin1”相同或相似的实体,例如:“钟心”、“钟欣”、“钟欣欣”和“钟青”等。
第一相似度分数是歧义实体与图谱中各候选实体在发音上的相似度,通过计算歧义实体与图谱中各候选实体之间相同的元素占总元素的百分比得到。其中,总元素包括歧义实体中的所有元素和候选实体中的所有元素。
示例性地,终端根据语音识别结果中歧义实体的声学特征,分别确定歧义实体的拼音组合和图谱中各候选实体的拼音组合;分别计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数。
拼音组合是将歧义实体或候选实体由中文转换为辅音、元音和音调的组合,拼音组合长度为歧义实体或候选实体的拼音组合中所有元素的数量。例如歧义实体为“钟心”,候选实体为“钟青”,则歧义实体的拼音组合为“zhong1xin1”,候选实体的拼音组合为“zhong1qing1”,歧义实体的拼音组合长度为10,候选实体的拼音组合长度为11。
在一个实施例中,分别计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数,包括:确定歧义实体的拼音组合与图谱中各候选实体的拼音组合之间相同的元素占总元素的百分比,将该百分比的倍数,确定为图谱中各候选实体的第一相似度分数;其中,元素为辅音、元音或音调,总元素包括歧义实体的拼音组合中的所有元素和图谱中各候选实体的拼音组合中的所有元素。
在一个实施例中,分别计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数,包括:根据公式:相似度=2.0*M/T.s,计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,并将该相似度确定为图谱中各候选实体的第一相似度分数。其中,M为歧义实体的拼音组合与图谱中各候选实体的拼音组合之间相同元素的数量,T.s为歧义实体的拼音组合长度与图谱中各候选实体的拼音组合长度之和。
例如,歧义实体为“钟心”,候选实体为“钟青”,歧义实体的拼音组合为“zhong1xin1”,候选实体的拼音组合为“zhong1qing1”,则计算“zhong1qing1”的第一相似度分数,即为计算“zhong1xin1”与“zhong1qing1”的相似度。根据公式:相似度=2.0*M/T.s,计算“zhong1xin1”与“zhong1qing1”的相似度:2.0*9/(10+11)=0.857。
步骤206,根据第一相似度分数,从多个候选实体中确定出待确认集。
其中,待确认集为用于对歧义实体进行纠错的多个候选实体的集合。预设阈值是根据识别准确性需求预先设定的,本申请实施例对此不作限定。
示例性地,终端从图谱中的多个候选实体中筛选出第一相似度分数大于预设阈值的候选实体,并将筛选出的候选实体的集合确定为待确认集。
例如,目标语音为“帮我找钟新的手机号码”,语音识别结果为“帮我找钟心的手机号码”,图谱中多个候选实体及其第一相似度分数分别为:“钟心”(1.0)、“钟新”(1.0)、“中心”(1.0)、“钟青”(0.857)、“钟欣欣”(0.83)、“宗青”(0.8),且预设阈值为0.9,则待确认集包括“钟心”、“钟新”和“中心”。
本实施例中,根据语音识别结果中歧义实体的声学特征,分别确定歧义实体的拼音组合和图谱中各候选实体的拼音组合;分别计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数,并根据第一相似度分数,从多个候选实体中确定出待确认集,能够达到通过声学特征,从图谱中的多个候选实体中筛选出第一相似度分数大于预设阈值的候选实体,确定待确认集以对歧义实体进行纠错的目的。
步骤208,根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到。
其中,模板是基于预先构建的知识图谱预先配置的,可选地,终端根据预先构建的知识图谱中所包括的实体类型、实体属性和关系中的至少两种,配置多个模板。
模板为至少两个字段的组合,字段可以为实体类型和实体属性,例如:【人名】+【手机号码】、【人名】+【家庭住址】、【人名】+【工作单位】;字段也可以为实体类型、实体属性和关系,例如:【部门】+【职位】+【下级人员】等。
示例性地,终端分别将待确认集中的各候选实体与预先配置的多个模板进行匹配,以对待确认集中的各候选实体进行验证。
步骤210,根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
其中,目标实体为验证通过的候选实体中准确率比歧义实体更高的候选实体。例如,目标语音为用户A发出的“帮我找钟新的手机号码”,语音识别结果为“帮我找钟心的手机号码”,歧义实体为“钟心”,若目标实体为“钟新”,则将“钟心”替换为“钟新”,得到替换后的语音识别结果为“帮我找钟新的手机号码”,与目标语音中所包含的用户的意图信息一致,从而能够实现基于目标实体对歧义实体进行纠错的目的。
示例性地,终端比较验证通过的候选实体所对应的第一相似度分数,将各第一相似度分数中的最高分数所对应的候选实体,确定为目标实体,以通过目标实体替换歧义实体对歧义实体进行纠错。
上述实体识别方法中,通过获取对目标语音进行识别得到的语音识别结果;根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数,图谱中的候选实体为与歧义实体相关的实体;;根据第一相似度分数,从多个候选实体中确定出待确认集,能够实现根据声学特征对图谱中各候选实体进行筛选的效果;进而,根据预先配置的多个模板对待确认集中的各候选实体进行验证,模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错,能够实现根据预先配置的多个模板对待确认集中的候选实体进行验证并确定目标实体的目的,以通过目标实体对歧义实体进行纠错,得到纠错后的语音识别结果。这样,通过声学特征进行初步筛选,再根据预先配置的模板从语法和句法角度进行进一步的验证,完成同音多名(音相同或相似,汉字不同)的识别纠错,从而达到提高语音识别的准确率的目的。
在一个实施例中,如图3所示,根据预先配置的多个模板对待确认集中的各候选实体进行验证,包括:
步骤302,通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果。
其中,替换结果为替换后的语音识别结果。例如,语音识别结果为“帮我找钟心的手机号码”,歧义实体为“钟心”,若候选实体为“钟新”,则替换结果为“帮我找钟新的手机号码”;若候选实体为“钟心”,则替换结果为“帮我找钟心的手机号码”;若候选实体为“中心”,则替换结果为“帮我找中心的手机号码”。
示例性地,终端通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果。
步骤304,对每个替换结果分别进行分词,得到每个替换结果中的多个实体对象。
其中,实体对象是替换结果中所包含的名词,包括待确认集中的候选实体和语音识别结果中除了歧义实体之外的实体、实体属性或关系。例如,替换结果为“帮我找钟心的手机号码”,则实体对象为“钟心”和“手机号码”,其中“钟心”属于待确认集中的候选实体,“手机号码”属于语音识别结果中除了歧义实体之外的实体属性。
示例性地,终端对每个替换结果分别进行分词,并去掉停用词,得到每个替换结果中的多个实体对象。
步骤306,对于每个替换结果,根据与每个替换结果分别对应的多个实体对象与图谱中各关联实体的相似度,确定每个替换结果的第二相似度分数。
其中,第二相似度分数为实体对象与图谱中各关联实体在文本上的相似度,通过编辑距离算法计算得到。
编辑距离算法(Edit Distance算法)是指两个字符串之间,由一个转成另一个所需要的最小编辑操作次数,并且编辑操作包括将一个字符替换成另一个字符、插入一个字符和删除一个字符。
相似度的计算公式为:相似度=1-编辑距离/max(字符串1长度,字符串2的长度),其中编辑距离为字符串1转换成字符串2所需要的最小编辑操作次数,max(字符串1长度,字符串2的长度)为字符串1长度和字符串2的长度中的最大值。因此,编辑距离越小,两个字符串的相似度就越大。
关联实体为知识图谱中文本与实体对象的文本相同或相似的实体、实体属性或关系。例如,实体对象为“钟心”和“手机号码”,对于实体对象“钟心”,其关联实体为知识图谱中文本与“钟心”相同或相似的实体,例如“钟新”、“钟心”、“中心”;对于实体对象“手机号码”,其关联实体为知识图谱中文本与“手机号码”相同或相似的实体属性。
示例性地,终端对于每个替换结果,根据编辑距离算法,分别计算与每个替换结果分别对应的多个实体对象与图谱中各关联对象的相似度;并将相似度中的最大相似度,作为与每个替换结果分别对应的多个实体对象的相似度;对与每个替换结果分别对应的多个实体对象的相似度进行加权求和,得到每个替换结果的第二相似度分数。
例如,替换结果为“帮我找钟心的手机号码”,实体对象分别为“钟心”(第一实体对象)和“手机号码”(第二实体对象),终端根据编辑距离算法,计算第一实体对象与图谱中第一数量个(假设为N,N为正整数)关联对象的相似度,得到第一数量个相似度,以及计算第二实体对象与图谱中第二数量个(假设为M,M为正整数)关联对象的相似度,得到第二数量个相似度;并将第一数量个相似度中的最大相似度,作为第一实体对象的相似度,将第二数量个相似度中的最大相似度,作为第二实体对象的相似度;对第一实体对象的相似度和第二实体对象的相似度进行加权求和,得到替换结果的第二相似度分数。
步骤308,根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证。
示例性地,终端根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证。
本实施例中,通过将待确认集中的各候选实体代入语音识别结果,得到替换结果,将每个替换结果中的各实体对象关联到知识谱图中的关联实体上去,并计算每个替换结果的第二相似度分数,根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证,能够达到根据预先配置的多个模板对待确认集中的各候选实体进行验证的目的。
在一个实施例中,如图4所示,根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证,包括:
步骤402,对于每个替换结果,分别与预先配置的多个模板进行匹配,得到每个替换结果的多个模板匹配分数。
其中,模板匹配分数为每个替换结果和预先配置的多个模板的匹配度。
示例性地,终端对于每个替换结果,分别计算每个替换结果与预先配置的多个模板的匹配度,得到每个替换结果的多个模板匹配分数。
在一个实施例中,对于当前替换结果,计算当前替换结果与预先配置的多个模板的匹配度,得到当前替换结果的多个模板匹配分数,包括:对于预先配置的多个模板中的当前模板,确定当前替换结果所对应的各实体对象与当前模板所包括的各字段的匹配数量,并确定当前替换结果所对应的实体对象的数量和当前模板所包括的字段的数量的数量和;将匹配数量与数量和的比值的倍数,确定为当前替换结果与当前模板的模板匹配分数。
例如,预先配置有3个模板:【人名】+【手机号码】(第一模板)、【人名】+【家庭住址】(第二模板)和【人名】+【工作单位】(第三模板),当前替换结果为“帮我找钟心的手机号码”,则当前替换结果所对应的各实体对象分别为:“钟心”和“手机号码”,当前替换结果所对应的各实体对象与第一模板所包括的各字段(人名和手机号码)的匹配数量为2,当前替换结果所对应的各实体对象与第二模板所包括的各字段(人名和家庭住址)的匹配数量为1,当前替换结果所对应的各实体对象与第三模板所包括的各字段(人名和工作单位)的匹配数量为1,因此,计算当前替换结果的3个模板匹配分数分别为:
当前替换结果与第一模板的模板匹配分数为:2*2/(2+2)=1;
当前替换结果与第二模板的模板匹配分数为:2*1/(2+2)=0.5;
当前替换结果与第三模板的模板匹配分数为:2*1/(2+2)=0.5。
步骤404,根据每个替换结果的第二相似度分数和多个模板匹配分数,得到每个替换结果的多个综合分数。
示例性地,终端对每个替换结果的第二相似度分数和多个模板匹配分数进行加权求和,得到每个替换结果的多个综合分数。
步骤406,根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证。
示例性地,终端根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证。
本实施例中,通过计算每个替换结果的多个模板匹配分数,根据每个替换结果的第二相似度分数和多个模块匹配分数得到每个替换结果的多个综合分数,根据每个替换结果的多个综合分数,对待确认集中的各候选实体进行验证,能够达到根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证的目的。
在一个实施例中,根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证,包括对于各替换结果中的当前替换结果,从当前替换结果所对应的多个综合分数中确定出最大综合分数;获取与最大综合分数所对应的模板相关联的图查询语句;根据获取的图查询语句在图谱中进行查询,若存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证通过,若不存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证不通过。
其中,当前替换结果是各替换结果中的任一个替换结果。图查询语句是在配置模板的时候配置的,并且图查询语句和模板的关系是一一对应的,每个模板都配置有唯一的图查询语句。图查询语句是一种类似于SQL(Structured Query Language,结构化查询语言)的查询语言,用于查询知识图谱。例如,图查询语句可以是GremlinQL语句(GQL)。
示例性地,终端对于各替换结果中的当前替换结果,从当前替换结果所对应的多个综合分数中确定出最大综合分数;获取与最大综合分数所对应的模板相关联的图查询语句;根据获取的图查询语句在图谱中进行查询,若存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证通过,若不存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证不通过。
在一个实施例中,在与最大综合分数所对应的模板存在至少两个的情况下,将模板所包括的字段的数量为最大数量所对应的模板,确定为与最大综合分数所对应的模板。
本实施例中,通过获取与最大综合分数所对应的模板相关联的图查询语句,根据获取的图查询语句在图谱中进行查询,根据是否存在查询结果,确定待确认集中与各替换结果对应的候选实体是否验证通过,能够达到根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证的目的。
在一个实施例中,在根据第一相似度分数,从多个候选实体中确定出待确认集之后,该实体识别方法还包括通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果;分别确定语音识别结果和各替换结果的通顺度分数;对于各替换结果中的当前替换结果,在当前替换结果的通顺度分数小于语音识别结果的通顺度分数的情况下,从待确认集中删除与替换结果对应的候选实体。
其中,通顺度分数通过通顺度模型对文本的通顺度进行计算得到。比如文本中有句子出现乱序,或者有错别字,则文本的通顺度分数就很低;而如果是语法正确的文本,且句子的上下文衔接得当,则文本的通顺度分数就很高。例如“今天是星期一,天气晴”的通顺度分数为0.9692,而“皇位的电话”的通顺度分数为0.4336。
通顺度模型可以是深度学习模型,模型的输入是文本,输出是768维向量,再给下游分类模型做判别。通过收集均衡数量的通顺文本和不通顺文本,使用预训练模型Albert做微调(fine-tune)得到较好的模型结果。
示例性地,终端通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果;通过通顺度模型,分别对语音识别结果和各替换结果的通顺度进行计算,得到语音识别结果和各替换结果的通顺度分数;对于各替换结果中的当前替换结果,在当前替换结果的通顺度分数小于语音识别结果的通顺度分数的情况下,从待确认集中删除与替换结果对应的候选实体。
本实施例中,通过确定语音识别结果和各替换结果的通顺度分数,并比较语音识别结果和各替换结果的通顺度分数,从待确认集中删除与通顺度分数小于语音识别结果的通顺度分数的替换结果对应的候选实体,能够达到根据通顺度模型对待确认集中的各候选实体进行验证的目的。
在一个实施例中,语音识别结果中包括歧义实体和非歧义实体,获取对目标语音进行识别得到的语音识别结果之后,该方法还包括:查询图谱中是否包括非歧义实体;在查询到图谱中包括非歧义实体的情况下,执行根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数的步骤。
其中,非歧义实体是文本中具有通用含义的实体,包括非专有名词和通用术语等。由于非歧义实体的识别准确率一般比较高,所以能准确识别场景。例如,语音识别结果为“帮我找钟心的手机号码”,则语音识别结果中非歧义实体为“手机号码”。有手机号码的话则进入对语音识别结果进行纠错的场景,否则认为该场景属于不需要对语音识别结果进行纠错的场景,因此不进入纠错场景。
示例性地,终端查询图谱中是否包括非歧义实体;在查询到图谱中包括非歧义实体的情况下,执行根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数的步骤。
本实施例中,通过先判断图谱中是否包括非歧义实体,只有在查询到图谱中包括非歧义实体的情况下,才进入纠错场景,执行根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数的步骤,从而能够达到提高语音识别准确率的目的。
在一个实施例中,如图5所示,提供了一种实体识别装置50,包括通讯录汉字和拼音数据更新模块51、声学特征词库预处理和数字化模块52、白名单免误纠处理模块53、文本语法和句法解析获取候选词模块54、特征计算模块55、候选集校验模块56和知识图谱问答校验模块(KBQA校验模块)57,其中:
通讯录汉字和拼音数据更新模块51,用于增量自学习更新词库。定期从数据中心获取最新通讯录信息,去重、更新和自定义汉字分词词库,并赋予高权重,另外根据拼音字典构建拼音词库。
声学特征词库预处理和数字化模块52,用于构建声学特征词库,包括声母、韵母、音调,并转成索引存储处理;构建拼音特征词库,包括辅音、元音、音调,并转成索引存储,构建声学特征模型,提升模型的识别准确率;构建声母、韵母模糊音映射表,提高识别准确率;构建2/3/4字名字链条索引,提高模型响应速度。
白名单免误纠处理模块53,用于构建免误纠白名单。由于涉及用户职能、部门、小组、项目等专有名词,为避免此类名词在问句中被误纠,因此需要对白名单语料做句法分析及统计语言模型,将名字、动词、形容词,以及词组左右凝固度和词语丰富度高于设定阈值的词组归入免误纠白名单,例如,将场景紧密度高的专有名词归入免误纠白名单,比如“大数据”、“系统二部”等。
文本语法和句法解析获取候选词模块54,用于对ASR后文本做词性分析,并对分词做1-3grams组合作为初选候选集,将所有候选词限制在2-4字长度,将单字的副动词、助词、语气词、副词等不作为拼接候选,并通过白名单、停用词、是否为中文等判断条件,过滤候选词。
特征计算模块55,用于接收文本语法和句法解析获取候选词模块54解析后的初选候选集,并将候选词逐个获取多拼音组合,提取声学和拼音双重特征(通过预先构建的声学特征词库和拼音特征词库,将候选词转为声学和拼音数字特征),结合姓氏、非姓氏多音字和模糊音过滤,再计算相似度分数(上述实施例中的第一相似度分数),将相似度分数大于预设阈值的候选词归入待确认集。
候选集校验模块56,用于从语法角度:将候选词代入原句,通过通顺度模型得出替换后句子通顺度得分,判断是否比原句高,以及候选词的词性是否为人名专有名词,满足所有条件的候选词加入确认集,避免同音名词和人名混淆,比如:皇位的电话,纠为黄卫的电话,再比如:理想的上级,纠为李想的上级。
KBQA校验模块57,用于将相似音实体(可以是多个)代入原句,执行上述步骤,获取返回结果,对有返回结果的候选词进行相似度排序,取最高的一个,如果目标候选词前几个音完全相同(分数可不一样),则全部返回,供用户选择。
应用于上述实体识别装置50的实体识别方法,包括以下步骤:
1)输入通用ASR结果。
当用户A想给朋友钟新打电话,于是对智能语音办公助手说“帮我找钟新的手机号码”,ASR结果可能为钟心的手机号码、钟欣的手机号码、钟新的手机号码、中心的手机号码或钟青的手机号码。
2)图谱意图识别:查找是否有图谱中的人名或部门实体属性和关系,如人名的电话、邮箱,部门的领导等,有的话则认为进入了我们的场景,如果没有则不执行纠错场景。说明:由于非专有名词识别准确率一般比较高,所以一般能准确识别场景。
如1)的用户问句“钟心的手机号码”,通过正则模板与知识图谱的人名和部门实体以及关系做检验,其中‘手机号码’命中了实体属性‘手机号码’,所以进入纠错场景。
3)分词,并用ngram算法和条件规则生成候选词。
ngram是一种基于统计语言模型的算法,其基本思想是将文本里面的内容按照字节进行大小为n的滑动窗口操作,形成了长度是n的字节片段序列。
进入纠错场景后,经过分词将1)用户问句变成【帮/我/找/钟心/的/手机号码】。对分词后的词条集做ngram(n:1-3),得到【(帮)、(帮/我)、(帮/我/找),(我/找)、(找)、(找/钟心)、(找/钟心/的)、(钟心)、(钟心/的)、(钟心/的/手机号码)、(的/手机号码)、(手机号码)】,再经过语法分析,将指定动作助词过滤、中文字数限制(2-4字)、停用词的多重条件过滤,仅剩【(帮/我)、(钟心)】两组候选词,作为候选词输出。
4)白名单过滤候选词。
‘专有名词白名单’包括将公司应用名和小组名等统计模型处理后归集的专有名词,需要提前处理,白名单词语凝固度高,不参与纠错,如“架构师”、“服务器”、“大数据”等名词。将3)的输入经过白名单过滤,此步骤还是【(帮/我)、(钟心)】两组候选词作为输出。
5)从图谱中的人名实体中找出相似音人名候选实体。
将步骤4)的候选词通过声学特征词库预处理和数字化模块转化为声学特征,并通过特征计算模块和图谱中的人名实体做相似度计算得到相似分值(即上述实施例中的第一相似度分数),并在排序后将大于预设阈值的候选词输出。如步骤4)的样例‘钟心’会转为‘zhong1xin1’,另外对于声母和韵母存在模糊音的情况,比如‘钟心’会转为‘zhong1qing1’和‘zong1xin1’;对于多音字姓氏的情况会匹配出姓氏音,比如‘华安’会转为‘hua4an1’,‘李华’会转为‘li3hua2’,不会转为‘li3hua4’。将声学特征和图谱中的人名实体做相似度计算,得到[0,1]的分数,从分数高低取高于预设阈值(假设为0.9)的人名实体。步骤4)的‘zhong1xin1’会找出钟新(1.0)、钟心(1)、中心(1.0)、钟青(0.857)、宗青(0.8),故此步输出【钟新(1.0)、钟心(1.0)、中心(1.0)】作为待确认集。
6)将待确认集实体代入原句,通过通顺度检验模块,获取更新的待确认集。
将步骤5)输出的待确认集实体分别代入原句,经过通顺度校验模块得到通顺度分数,筛选替换句分数大于原句分数的候选集并输出。如步骤5)样例的待确认集实体【钟新(1.0)、钟心(1.0)、中心(1.0)】分别代入原句,变成【‘帮我找钟新的手机号码’、‘帮我找钟心的手机号码’、‘帮我找中心的手机号码’】,经过通顺度模型得到通顺度分数,均为0.9,与原句的通顺度分数的偏差值在可接受阈值内,此例不构成纠错建议,仍输出【钟新(1.0)、钟心(1.0)、中心(1.0)】作为更新后的待确认集。但是,对于常规名词的同音名字,例如用户的姓名为‘黄卫’,但ASR纠错为‘皇位’,通顺度模型会计算出“‘皇位’的电话”的通顺度分数为低分数,此时可纠为“‘黄卫’的电话”。
7)将待确认集中的各候选实体代入原句,通过KBQA校验模块,校验待确认集。
将步骤6)输出的待确认集中的各候选实体再分别代入原句,通过KBQA校验模块,使用模板抽取人名实体和实体属性或关系并执行KBQA查询,将有返回查询结果的候选实体作为结果输出。将步骤6)样例中待确认集实体【钟新(1.0)、钟心(1.0)、中心(1.0)】分别代入原句,并执行KBQA查询,钟新和钟心均有返回,故步骤7)的输出为【钟新(1.0)、钟心(1.0)】。
需要说明的是,KBQA系统(全称为Knowledge-based QA,知识图谱问答),是一种基于结构化知识库(即知识图谱)的智能问答系统。对于给定的自然语言问题,KBQA基于知识图谱对问题进行理解,并根据问题理解的结果从知识图谱中查找或推理出问题对应的答案。
本实施例中,KBQA系统里配置了图谱数据,包括“部门、员工、部门与员工的关系、员工的属性(如手机号),员工间的关系(如领导)”,KBQA系统能将用户的问句分词拆分后进行实体链接,以对应到图谱中的实体与实体属性,再与预先配置的“模板”匹配,取将匹配的模板相关联的图查询语句查询图谱数据,以校验待确认集中的候选实体。通过KBQA校验模块,能够实现利用上下文和知识图谱,使语音识别结果更精准,实体和实体属性在知识图谱中存在的情况下才被当做纠错候选,可避免无需纠错的问句被误纠错,比如“中心”的问题,用拼音表示以下两句:zhong xin de shou ji hao ma,kai fa zhong xin;刚好有一个人名实体叫“钟新”,加上知识图谱方法只会对第一句纠错,第二句不纠错。正确纠正后的结果应为:钟新的手机号码,开发中心。并且,通过KBQA校验模块,还能消除语音识别结果中的歧义性,例如语音识别结果为“帮我找中心的手机号码”,通过实体链接和模板匹配,得到纠错后的语音识别结果为“帮我找钟新的手机号码”,从而能够达到精准地理解目标语音中用户意图是查找人名钟新,而不是中心。
8)对有返回结果的候选进行相似匹配度排序,取最高的一个,如果目标候选前几个音完全相同(分数可不一样),则全部返回,供用户选择。
步骤7)输出【钟新(1.0)、钟心(1.0)】,返回这两个同音名,供用户选择。在返回查询结果的候选实体中只有一个最高分(1.0)的情况下,返回最高分所对应的候选实体;在返回查询结果的候选实体中没有最高分(1.0)的情况下,根据第一相似度分数排序后,返回排序在前i(i为正整数,例如3)个的候选实体,并询问用户要选择其中的哪个候选实体。
参考图6,图6为上述步骤7)通过KBQA校验模块,校验待确认集步骤的流程示意图。如图6所示,通过KBQA校验模块,校验待确认集的步骤为:
a)将待确认集中的各候选实体代入原句,进行分词,得到的分词结果。以候选实体为“钟新”为例,分词结果为【钟新,的,手机号码】;
b)对分词后的词组去停用词后得到实体对象,对实体对象进行实体链接,实体链接使用编辑距离算法,与图谱中的实体进行匹配,计算图谱中实体的相似度分数,达到一定阈值的,作为实体链接候选对象存储起来备用。比如:实体对象“钟新”匹配到图谱中的实体“钟新”,相似度分数为1分(满分为1),实体对象“手机号码”匹配到图谱中的“手机号码”实体,相似度分数为1分(满分1分),将这两个实体对象的相似度分数进行加权求和,得到分词结果的第二相似度分数为1分(例如1*0.5+1*0.5=1);
c)将链接好的实体对象按照在原句中的顺序串起来,与所配置的多个模板进行匹配,对比实体以及实体属性是否一致,得到分词结果的多个模板匹配分数。例如,所配置的多个模板包括:【人名】+【手机号码】、【人名】+【家庭住址】和【人名】+【工作单位】;
d)将分词结果的第二相似度分数与各模板匹配分数加权求和,得到分词结果的多个综合分数,取最大综合分数所对应的模板,在最大综合分数对应至少两个模板的情况下,按照最大词长度(模板所包括的字段的数量为最大数量)优先的原则,返回匹配的模板,以及获取与匹配的模板相关联的图查询语句(GremlinQL语句,GQL);
e)根据预先配置的GremlinQL语句查询图谱;
f)判断查询结果,若存在查询结果,则确定待确认集中与当前分词结果对应的候选实体验证通过,若不存在查询结果,则确定待确认集中与当前分词结果对应的候选实体验证不通过;并取验证通过的候选实体。
本实施例中,针对通用ASR无法解决由于地方语言、模糊音、多音字、同音异名而造成的对用户意图理解偏差的问题,利用KBQA技术和NLP技术,从声学和文本语法和句法特征,构建ASR后文本智能纠错模型,完成同音多名(音相同或音相似,汉字不同)的识别纠错任务,以及从语法通顺角度校验语音识别结果的有效性,能够解决卷翘舌模糊音、多音字识别错误问题,提高了语音识别的准确率,结合场景中的图谱数据实现了对语音识别结果中的人名的精准识别,提高了对用户意图理解的分析能力。并且,相比于增加场景语料针对性的训练以提高语音识别的准确率的方法需要的训练成本较高,本方法通过声学特征,从音相似度角度对图谱中的候选实体进行初步筛选,得到待确认集;再通过KBQA技术,根据图谱中的实体类型、实体属性和关系中的至少两种组合预先构建多个模板,从模板匹配、图谱查询的角度校验待确认集中的各候选实体,从而完成对语音识别结果中的歧义实体(尤其是同音多名的专有名词)的纠错,没有增加额外的训练成本。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的实体识别方法的实体识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个实体识别装置实施例中的具体限定可以参见上文中对于实体识别方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种实体识别装置700,包括:获取模块701、计算模块702、确定模块703和验证模块704,其中:
获取模块701,用于获取对目标语音进行识别得到的语音识别结果。
计算模块702,用于根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与歧义实体相关的实体。
确定模块703,用于根据第一相似度分数,从多个候选实体中确定出待确认集。
验证模块704,用于根据预先配置的多个模板对待确认集中的各候选实体进行验证;模板根据图谱中的实体类型、实体属性和关系中的至少两种组合构建得到。
确定模块703,还用于根据验证通过的候选实体所对应的第一相似度分数,从候选实体中确定出目标实体以对歧义实体进行纠错。
在一个实施例中,计算模块702还用于根据语音识别结果中歧义实体的声学特征,分别确定歧义实体的拼音组合和图谱中各候选实体的拼音组合;分别计算歧义实体的拼音组合与图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数。
在一个实施例中,验证模块704还用于通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果;对每个替换结果分别进行分词,得到每个替换结果中的多个实体对象;对于每个替换结果,根据与每个替换结果分别对应的多个实体对象与图谱中各关联实体的相似度,确定每个替换结果的第二相似度分数;根据每个替换结果的第二相似度分数和预先配置的多个模板,对待确认集中的各候选实体进行验证。
在一个实施例中,验证模块704还用于对于每个替换结果,分别与预先配置的多个模板进行匹配,得到每个替换结果的多个模板匹配分数;根据每个替换结果的第二相似度分数和多个模板匹配分数,得到每个替换结果的多个综合分数;根据每个替换结果的多个综合分数,对待确认集中与每个替换结果对应的候选实体进行验证。
在一个实施例中,验证模块704还用于对于各替换结果中的当前替换结果,从当前替换结果所对应的多个综合分数中确定出最大综合分数;获取与最大综合分数所对应的模板相关联的图查询语句;根据获取的图查询语句在图谱中进行查询,若存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证通过,若不存在查询结果,则确定待确认集中与当前替换结果对应的候选实体验证不通过。
在一个实施例中,实体识别装置700还包括删除模块,删除模块用于通过待确认集中的各候选实体分别替换语音识别结果中的歧义实体,得到替换结果;分别确定语音识别结果和各替换结果的通顺度分数;对于各替换结果中的当前替换结果,在当前替换结果的通顺度分数小于语音识别结果的通顺度分数的情况下,从待确认集中删除与替换结果对应的候选实体。
在一个实施例中,语音识别结果中包括歧义实体和非歧义实体,实体识别装置700还包括查询模块,查询模块用于查询图谱中是否包括非歧义实体;在查询到图谱中包括非歧义实体的情况下,执行根据语音识别结果中歧义实体的声学特征,计算歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数的步骤。
上述实体识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种实体识别方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种实体识别方法,其特征在于,所述方法包括:
获取对目标语音进行识别得到的语音识别结果;
根据语音识别结果中歧义实体的声学特征,计算所述歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与所述歧义实体相关的实体;
根据所述第一相似度分数,从多个候选实体中确定出待确认集;
根据预先配置的多个模板对所述待确认集中的各候选实体进行验证;所述模板根据所述图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
根据验证通过的候选实体所对应的第一相似度分数,从所述候选实体中确定出目标实体以对所述歧义实体进行纠错。
2.根据权利要求1所述的方法,其特征在于,所述根据语音识别结果中歧义实体的声学特征,计算所述歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数,包括:
根据语音识别结果中歧义实体的声学特征,分别确定所述歧义实体的拼音组合和图谱中各候选实体的拼音组合;
分别计算所述歧义实体的拼音组合与所述图谱中各候选实体的拼音组合的相似度,得到图谱中各候选实体的第一相似度分数。
3.根据权利要求1所述的方法,其特征在于,所述根据预先配置的多个模板对所述待确认集中的各候选实体进行验证,包括:
通过所述待确认集中的各候选实体分别替换所述语音识别结果中的所述歧义实体,得到替换结果;
对每个替换结果分别进行分词,得到每个替换结果中的多个实体对象;
对于每个替换结果,根据与每个替换结果分别对应的多个实体对象与所述图谱中各关联实体的相似度,确定每个替换结果的第二相似度分数;
根据所述每个替换结果的第二相似度分数和预先配置的多个模板,对所述待确认集中的各候选实体进行验证。
4.根据权利要求3所述的方法,其特征在于,所述根据所述每个替换结果的第二相似度分数和预先配置的多个模板,对所述待确认集中的各候选实体进行验证,包括:
对于每个替换结果,分别与预先配置的多个模板进行匹配,得到每个替换结果的多个模板匹配分数;
根据所述每个替换结果的第二相似度分数和多个模板匹配分数,得到每个替换结果的多个综合分数;
根据每个替换结果的多个综合分数,对所述待确认集中与所述每个替换结果对应的候选实体进行验证。
5.根据权利要求4所述的方法,其特征在于,所述根据每个替换结果的多个综合分数,对所述待确认集中与所述每个替换结果对应的候选实体进行验证,包括:
对于各替换结果中的当前替换结果,从所述当前替换结果所对应的多个综合分数中确定出最大综合分数;
获取与最大综合分数所对应的模板相关联的图查询语句;
根据获取的图查询语句在所述图谱中进行查询,若存在查询结果,则确定所述待确认集中与所述当前替换结果对应的候选实体验证通过,若不存在查询结果,则确定所述待确认集中与所述当前替换结果对应的候选实体验证不通过。
6.根据权利要求1所述的方法,其特征在于,在所述根据所述第一相似度分数,从多个候选实体中确定出待确认集之后,所述方法还包括:
通过所述待确认集中的各候选实体分别替换所述语音识别结果中的所述歧义实体,得到替换结果;
分别确定所述语音识别结果和各替换结果的通顺度分数;
对于各替换结果中的当前替换结果,在所述当前替换结果的通顺度分数小于所述语音识别结果的通顺度分数的情况下,从所述待确认集中删除与所述替换结果对应的候选实体。
7.根据权利要求1至6中任一项所述的方法,其特征在于,所述语音识别结果中包括歧义实体和非歧义实体,所述获取对目标语音进行识别得到的语音识别结果之后,所述方法还包括:
查询图谱中是否包括所述非歧义实体;
在查询到所述图谱中包括所述非歧义实体的情况下,执行所述根据语音识别结果中歧义实体的声学特征,计算所述歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数的步骤。
8.一种实体识别装置,其特征在于,所述装置包括:
获取模块,用于获取对目标语音进行识别得到的语音识别结果;
计算模块,用于根据语音识别结果中歧义实体的声学特征,计算所述歧义实体与图谱中各候选实体的相似度,得到图谱中各候选实体的第一相似度分数;图谱中的候选实体为与所述歧义实体相关的实体;
确定模块,用于根据所述第一相似度分数,从多个候选实体中确定出待确认集;
验证模块,用于根据预先配置的多个模板对所述待确认集中的各候选实体进行验证;所述模板根据所述图谱中的实体类型、实体属性和关系中的至少两种组合构建得到;
确定模块,还用于根据验证通过的候选实体所对应的第一相似度分数,从所述候选实体中确定出目标实体以对所述歧义实体进行纠错。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202211463953.2A 2022-11-22 2022-11-22 实体识别方法、装置、计算机设备和存储介质 Pending CN115831117A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211463953.2A CN115831117A (zh) 2022-11-22 2022-11-22 实体识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211463953.2A CN115831117A (zh) 2022-11-22 2022-11-22 实体识别方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115831117A true CN115831117A (zh) 2023-03-21

Family

ID=85530088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211463953.2A Pending CN115831117A (zh) 2022-11-22 2022-11-22 实体识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115831117A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117086871A (zh) * 2023-08-30 2023-11-21 合肥中科深谷科技发展有限公司 一种开放式机器人交互控制系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117086871A (zh) * 2023-08-30 2023-11-21 合肥中科深谷科技发展有限公司 一种开放式机器人交互控制系统
CN117086871B (zh) * 2023-08-30 2024-02-06 合肥中科深谷科技发展有限公司 一种开放式机器人交互控制系统

Similar Documents

Publication Publication Date Title
CN108287858B (zh) 自然语言的语义提取方法及装置
CN110489538B (zh) 基于人工智能的语句应答方法、装置及电子设备
CN110457688B (zh) 纠错处理方法及装置、存储介质和处理器
US10997370B2 (en) Hybrid classifier for assigning natural language processing (NLP) inputs to domains in real-time
CN108304375B (zh) 一种信息识别方法及其设备、存储介质、终端
US8892420B2 (en) Text segmentation with multiple granularity levels
CN102982021B (zh) 用于消除语言转换中的多个读法的歧义的方法
US8560300B2 (en) Error correction using fact repositories
CN106570180B (zh) 基于人工智能的语音搜索方法及装置
CN110717031A (zh) 一种智能会议纪要生成方法和系统
CN103678684A (zh) 一种基于导航信息检索的中文分词方法
CN110941720B (zh) 一种基于知识库的特定人员信息纠错方法
CN111382260A (zh) 一种检索文本纠错方法、装置和存储介质
Dinarelli et al. Discriminative reranking for spoken language understanding
CN111259262A (zh) 一种信息检索方法、装置、设备及介质
RU2665261C1 (ru) Восстановление текстовых аннотаций, связанных с информационными объектами
CN111126084B (zh) 数据处理方法、装置、电子设备和存储介质
Li et al. Dimsim: An accurate chinese phonetic similarity algorithm based on learned high dimensional encoding
CN115831117A (zh) 实体识别方法、装置、计算机设备和存储介质
CN116402166B (zh) 一种预测模型的训练方法、装置、电子设备及存储介质
US9104755B2 (en) Ontology enhancement method and system
CN113536776B (zh) 混淆语句的生成方法、终端设备及计算机可读存储介质
CN115906878A (zh) 一种基于提示的机器翻译方法
CN111429886B (zh) 一种语音识别方法及系统
CN111090720B (zh) 一种热词的添加方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination