CN114638231B - 实体链接方法、装置及电子设备 - Google Patents
实体链接方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114638231B CN114638231B CN202210278377.8A CN202210278377A CN114638231B CN 114638231 B CN114638231 B CN 114638231B CN 202210278377 A CN202210278377 A CN 202210278377A CN 114638231 B CN114638231 B CN 114638231B
- Authority
- CN
- China
- Prior art keywords
- entity
- target
- dialogue content
- semantic
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种实体链接方法、装置及电子设备。所述方法包括:从实体库中召回与目标对话内容对应的候选实体;分别对目标对话内容、与目标对话内容相关的历史对话内容、候选实体及候选实体对应的关联实体进行特征提取,得到各对话内容及各实体各自的语义向量;基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,得到目标对话内容的目标语义向量;基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量;基于目标对话内容及候选实体各自的目标语义向量,对目标对话内容进行实体链接。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种实体链接方法、装置及电子设备。
背景技术
在诸如问答系统中,由于用户输入的语句中常常会出现一些口语化的表达、错别字以及语序颠倒等问题,比如在“机械键盘价格多少啊”这句话中,用户将“机械键盘”误输入为“机械间盘”,为准确理解用户语句所的真实意图,以确保针对用户语句的应答效果,需要对用户输入的语句进行实体链接处理,也即将用户输入的语句中的可能描述实体的片段链接到实体库中对应的实体上。
目前,实体链接方法大多都是对用户语句进行切词并利用指称(mention)词典获取用户语句中的词语在实体库中对应的实体,进而将用户语句中的词语链接到对应的实体。但是,在用户输入的语句中常常会出现一些口语化的表达、错别字以及语序颠倒等问题时,上述方式可能会将用户语句中的关键词拆分开,进而导致获取的实体的不准确,影响实体链接的准确率。
发明内容
本申请实施例提供一种实体链接方法、装置及电子设备,用于解决现有的实体链接方法存在的链接准确率低的问题。
为了解决上述技术问题,本申请实施例采用下述技术方案:
第一方面,本申请实施例提供一种实体链接方法,包括:
从实体库中召回与待处理的目标对话内容对应的候选实体;
分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量;
基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体提及片段链接至与所述目标对话内容对应的候选实体。
第二方面,本申请实施例提供一种实体链接装置,包括:
召回模块,用于从实体库中召回与待处理的目标对话内容对应的候选实体;
第一特征提取模块,用于分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
第一语义增强模块,用于基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量;
第二语义增强模块,用于基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
链接模块,用于基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体提及片段链接至与所述目标对话内容对应的候选实体。
第三方面,本申请实施例提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如第一方面所述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:
通过从实体库中召回与待处理的目标对话内容对应的候选实体,可以起到对实体库中实体进行初筛的作用,以便基于候选实体对目标对话内容进行实体链接处理,可以提升实体链接效率;由于目标对话内容及其相关的历史对话内容可能涉及相同或相似的内容,候选实体及其关联实体也可能涉及相同或相似的内容,基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,使得得到的目标对话内容的目标语义向量能够更准确地反映目标对话内容与候选实体及关联实体之间在语义上的差异,进而能够更准确地反映目标对话内容的真实意图;基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量,使得得到的候选实体的目标语义向量能够更准确地反映候选实体与目标对话内容及历史对话内容之间语义上的差异,进而能够更准确地反映候选实体的含义;基于目标对话内容及召回的候选实体各自经增强后的语义向量,将目标对话内容链接至与所述目标对话内容对应的候选实体,可以确保目标对话内容中的词语链接到实体库中能够准确表达其真实意图的实体上,从而提高实体链接的准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请的一个实施例提供的一种实体链接方法的流程示意图;
图2为本申请的另一个实施例提供的一种候选实体获取方法的流程示意图;
图3为本申请的一个实施例提供的一种实体链接模型的结构示意图;
图4为本申请的一个实施例提供的一种实体链接装置的结构示意图;
图5为本申请的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本说明书和权利要求书中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应理解,这样使用的数据在适当情况下可以互换,以便本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,本说明书以及权利要求书中“和/或”表示所连接的对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例涉及到的专业术语包括:
实体链接:将自然语言数据(或文本)中可能描述实体的片段与实体库中相应的无歧义的实体进行链接。
停用词:也即Stop Words。在信息检索中,为节省存储空间和提高搜索效率,在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词,这些过滤掉的字或词即被称为停用词。
如前文所述,目前的实体链接方法大多都是对用户语句进行切词并利用指称(mention)词典获取用户语句中的词语在实体库中对应的实体,进而将用户语句中的词语链接到对应的实体。但是,在用户输入的语句中常常会出现一些口语化的表达、错别字以及语序颠倒等问题时,上述方式可能会将用户语句中的关键词拆分开,进而导致获取的实体的不准确,影响链接实体链接的准确率。因此,如何提高实体链接的准确率,是当前亟需解决的问题。
为此,本申请实施例旨在提供一种实体链接方法、装置及电子设备,通过从实体库中召回与待处理的目标对话内容对应的候选实体,可以起到对实体库中实体进行初筛的作用,以便基于候选实体对目标对话内容进行实体链接处理,可以提升实体链接效率;由于目标对话内容及其相关的历史对话内容可能涉及相同或相似的内容,候选实体及其关联实体也可能涉及相同或相似的内容,基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,使得得到的目标对话内容的目标语义向量能够更准确地反映目标对话内容与候选实体及关联实体之间在语义上的差异,进而能够更准确地反映目标对话内容的真实意图;基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量,使得得到的候选实体的目标语义向量能够更准确地反映候选实体与目标对话内容及历史对话内容之间语义上的差异,进而能够更准确地反映候选实体的含义;基于目标对话内容及召回的候选实体各自经增强后的语义向量,将目标对话内容链接至与所述目标对话内容对应的候选实体,可以确保目标对话内容中的词语链接到实体库中能够准确表达其真实意图的实体上,从而提高实体链接的准确率。
应理解,本申请实施例提供的实体链接方法可以由电子设备执行或安装在电子设备中的软件执行,具体可以由终端设备或服务端设备执行。
以下结合附图,详细说明本申请各实施例提供的技术方案。
请参见图1,为本申请的一个实施例提供的一种实体链接方法的流程示意图,该方法可以包括:
S102,从实体库中召回与待处理的目标对话内容对应的候选实体。
其中,目标对话内容可以包括用户输入的语句,比如用户输入的问句。目标对话内容的形式可以是多种的。例如,在用户以文字形式进行人机对话时,目标对话内容的形式即为文本形式;又如,在用户以语音进行人机对话时,目标对话内容的形式即为语音形式。
实体库是指特定领域的知识库,比如生活百科知识库、金融领域的知识库、科技领域的知识库等。实体库中存储有与所属领域相关的实体,例如,金融领域的知识库中存储有与金融相关的实体“利率”、“授信额度”、“抵押”等。具体应用中,实体库可以设置于任意适当的位置,具体可根据实际需要进行设置,例如,实体库可以设置于elasticsearch中,由此,可以加快从实体库中召回实体的速度,进而提高实体链接效率。
本申请实施例中,与目标对话内容对应的候选实体可以包括与目标对话内容相关的实体,比如目标对话内容为“这个键盘价格是多少啊”,那么,与该目标对话内容相关的实体可以包括“机械键盘”、“薄膜键盘”等。
考虑到目标对话内容中常常会出现一些口语化的表达、错别字以及语序颠倒等问题,为确保后续能够将目标对话内容中的词语准确链接到实体库中的实体,在一种可选的实现方式中,上述步骤S102具体可实现为:通过多种召回模式,从实体库中获取目标对话内容对应的召回实体,以及基于获取的召回实体,确定目标对话内容对应的候选实体,其中,在不同的召回模式下,基于不同的实体特征从实体库中获取召回实体。
具体而言,如图2所示,本申请实施例中采用的多种召回模式可以例如包括如下召回模式中的至少两种:规则召回模式、模型召回模式和模糊召回模式。其中,规则召回模式是指按照预设规则从实体库中召回相应的实体,规则召回模式对应的实体特征可以包括实体的正则表达式和/或同近义词;模型召回模式是指按照预先训练好的机器学习模型从实体库中召回相应的实体,模型召回模式对应的实体特征可以包括实体的字符特征、语音特征、字形特征及语义特征中的至少一种;模糊召回模式是指从实体库中召回与目标对话内容相似的实体,模糊召回模式对应的实体特征可以包括实体对应的字符特征等。
更为具体地,如图2所示,若上述多种召回模式包括规则召回模式,则从实体库中获取目标对话内容对应的召回实体,具体可实现为:将实体库中的实体的正则表达式与目标对话内容进行匹配,以及基于得到的匹配结果,从实体库中获取目标对话内容对应的召回实体;和/或,将实体库中的实体的预设同近义词表与目标对话内容进行匹配,以及基于得到的匹配结果,从实体库中获取目标对话内容对应的召回实体。
其中,实体的正则表达式是对实体对应的字符串操作的一种逻辑公式,其是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。对于实体库中的每个实体,通过将该实体的正则表达式与目标对话内容的字符串相匹配,判断目标对话内容的字符串是否满足该实体的正则表达式指示的规则,若满足,则确定目标对话内容与该实体的正则表达式匹配,进而将该实体确定为目标对话内容对应的召回实体。需要说明的是,本申请实施例中,实体的正则表达式可采用本领域技术人员已知的各种方式确定,本申请实施例对此不作限定。
实体库中的每个实体对应有同近义词表,同近义词表中记录有对应实体的同义词和近义词,每个实体对应的同近义词表可根据实际需要预先设置,本申请实施例对此不作限定。对于实体库中的每个实体,可将该实体的预设同近义词表中的词语与目标对话内容进行匹配,若目标对话内容中存在与该实体的预设同近义词表中的词语相匹配的词语,则可将该实体确定为目标对话内容对应的召回实体。
当然,具体应用中,规则召回模式所依据的规则还可以根据实际需要进行增加或减少,比如规则召回模式所依据的规则还可以包括召回与目标对话内容中可能提及实体的片段发音相同的实体等,本申请实施例对此不作限定。
如图2所示,若上述多种召回模式包括模型召回模式,则从实体库中获取目标对话内容对应的召回实体,具体可实现为:将目标对话内容输入实体识别模型,得到目标对话内容中的实体提及片段,其中,实体识别模型是以第三样本字符串作为输入、以第三样本字符串对应的实体标签作为输出进行训练得到的,第三样本字符串对应的实体标签用于指示第三样本字符串是否属于实体;接着,基于实体库中的实体及实体提及片段各自的实体特征,从实体库中获取与目标对话内容对应的召回实体,实体特征包括如下特征中的至少一种:字符特征、语义特征、字形特征以及语义特征。以实体为例,实体的字符特征用于反映实体包含的字符;实体的语义特征用于表征实体的发音;实体的字形特征用于表征实体包含的字符的偏旁部首等,其中,实体的字形特征可通过对实体的字符串中的字符拆分为偏旁部首序列后得到;实体的语义特征用于表征实体表达的含义。
其中,目标对话内容中的实体提及片段是指目标对话内容中可能描述实体的字符串。实体识别模型的类型可以根据实际需要进行设置,例如实体识别模型可以采用BILSTM-CRF模型,本申请实施例对此不作限定。实体识别模型可以通过本领域技术人员已知的各种方式训练得到,例如有监督学习、半监督学习等,本申请实施例对此也不作限定。
具体而言,针对实体库中的每个实体,可确定该实体的实体特征及实体提及片段的实体特征之间的相似度,若相似度超过预设相似度阈值,则可将该实体确定目标对话内容对应的召回实体。其中,预设相似度阈值可以根据实际需要进行设置,不同实体特征对应的预设相似度阈值可以相同或者不同,本申请实施例对此不作限定。
例如,若用户误将实体提及片段“机械键盘”输入为“机械间盘”,则基于实体提及片段及实体库中的实体各自的上述实体特征,从实体库中获取的召回实体可以包括“机械键盘”、“薄膜键盘”、“机械鼠标”、“光电鼠标”等。
通过目标对话内容中的实体提及片段及实体库中的实体各自的字符特征从实体库中召回实体,可以召回在字面上与实体提及片段相似的实体,进而避免目标对话内容因存在错别字或语序颠倒等问题而导致漏掉部分目标对话内容感兴趣的实体,为后续进行实体链接提供有力的数据支撑;通过目标对话内容中的实体提及片段及实体库中的实体各自的语音特征从实体库中召回实体,可以召回与实体提及片段发音相似的实体,进而避免目标对话内容因存在口语化表达、错别字等问题而导致漏掉部分目标对话内容感兴趣的实体,为后续进行实体链接提供有力的数据支撑;通过目标对话内容中的实体提及片段及实体库中的实体各自的字形特征从实体库中召回实体,可以召回与实体提及片段在字形上相似的实体,进而避免目标对话内容因存在错别字等问题而导致漏掉部分目标对话内容感兴趣的实体,为后续进行实体链接提供有力的数据支撑;通过目标对话内容中的实体提及片段及实体库中的实体各自的语义特征从实体库中召回实体,可以召回与实体提及片段在语义上相似的实体,进而避免目标对话内容因存在口语化表达等问题而导致漏掉部分目标对话内容感兴趣的实体,为后续进行实体链接提供有力的数据支撑。
如图2所示,若上述多种召回模式包括模糊召回模式,则从实体库中获取目标对话内容对应的召回实体,具体可实现为:对目标对话内容进行分词处理,得到目标对话内容中的候选词语;基于预设停用词表对目标对话内容中的候选词语进行去停用词处理,得到目标对话内容中的目标词语;将目标词语与实体库中的实体进行匹配,以及基于得到的匹配结果,从实体库中获取目标对话内容对应的召回实体。
本申请实施例中,对目标对话内容的分词处理可通过本领域技术人员已知的各种方式实现,具体可根据实际需要选择,本申请实施例对此不作限定。另外,预设停用词表中记录有停用词,预设停用词表中的停用词也可根据实际需要进行设置,本申请实施例对此也不作限定。
对目标对话内容进行分词处理后,可以得到目标对话内容中包含的词语(即候选词语),然后,将得到的候选词语与预设停用词表中的停用词进行匹配,而后筛除与预设停用词表中的停用词匹配的候选词语,将剩下的候选词语确定为目标词语。进一步地,可基于目标词语及实体库中的每个实体各自的实体特征(比如字符特征、字形特征等),将目标词语与每个实体进行匹配,而后将与实体库中与目标词语匹配的实体确定为目标对话内容对应的召回实体。
通过基于模糊召回模式进行召回,可以确保在各种场景下都能够从实体库中召回目标对话内容感兴趣的实体,避免目标对话内容感兴趣的实体出现遗漏而无法将目标对话内容中可能描述实体的片段准确链接到实体库中的实体,从而能够达到进一步提高实体链接的准确率的效果。
由于不同的召回模式召回的实体之间可能出现重复的情况,为此,在基于多种召回模式从实体库中获取到目标对话内容对应的召回实体后,可对召回实体进行去重处理,由此将去重处理后得到的召回实体确定为目标对话内容对应的候选实体。例如,目标对话内容为“这个机械间盘价格是多少啊”,基于规则召回模式获得从实体库中未获取到召回实体,基于模型召回模式从实体库中获取到的召回实体包括“机械键盘”、“薄膜键盘”、“机械鼠标”、“光电鼠标”,基于模糊召回模式从实体库中获取的召回实体包括“机械键盘”、“薄膜键盘”、“机械鼠标”,对这些召回实体进行去重处理后,可以得到目标对话内容对应的候选实体包括“机械键盘”、“薄膜键盘”、“机械鼠标”、“光电鼠标”。
可以理解的是,通过在句子层面上,采用多种召回模式从实体库中召回与目标对话内容对应的候选实体,可以确保召回的候选实体中包含有目标对话内容可能感兴趣的所有实体,相较于采用单一召回模式进行召回,可以避免目标对话内容感兴趣的实体出现遗漏而无法将目标对话内容中可能描述实体的片段准确链接到实体库中的实体,从而能够达到进一步提高实体链接的准确率的效果。
在从实体库中召回与目标对话内容对应的候选实体后,基于本申请实施例的实体链接模型,即可实现将目标对话内容中的实体提及片段链接到相应的候选实体。
S104,分别对目标对话内容、与目标对话内容相关的历史对话内容、候选实体及候选实体对应的关联实体进行特征提取,得到目标对话内容、历史对话内容、候选实体及关联实体各自的语义向量。
其中,与目标对话内容相关的历史对话内容可以包括目标对话内容的上下文内容。历史对话内容可以从用户与应答者(比如智能客服、人工坐席等)在一轮或多轮历史对话中产生的数据中提取得到。例如,用户与应答者之间产生如下历史对话:
Q(用户):你好,请问你们都有哪些键盘啊
A(应答者):咱们这边有机械键盘和薄膜键盘等等。
Q:那什么是机械键盘啊
Q:它相比薄膜键盘有什么优点吗
A:机械键盘就是***
Q:机械间盘价格是多少啊
目标对话内容为“机械间盘价格是多少啊”,由此可以从上述历史对话数据中获取到与目标对话内容相关的历史对话内容:“你好,请问你们都有哪些键盘啊”、“咱们这边有机械键盘和薄膜键盘等等”、“那什么是机械键盘啊”以及“机械键盘就是***”等。
候选实体对应的关联实体是指与候选实体相关的实体,其可以例如包括但不限于与候选实体具有相同上级实体的实体,例如“机械键盘”和“薄膜键盘”这两个实体的上一级实体均为键盘,因而这两个实体可以作为彼此对应的关联实体。
实体的语义向量能够反映实体的语义特征,进而能够反映实体的含义。对话内容的语义向量能够反映对话内容的语义特征,进而能够反映对话内容的意图。
为提高特征提取效率,进而提高实体链接效率,在一种可选的实现方式中,可采用预先训练的特征提取网络分别对各对话内容及各实体进行特征提取。具体而言,上述S104可以包括:将目标对话内容、历史对话内容、候选实体及候选实体对应的关联实体输入特征提取网络,得到目标对话内容、历史对话内容、候选实体及关联实体各自的语义向量,其中,特征提取网络是以不同的第二样本字符串作为输入、以不同的第二样本字符串的语义向量作为输出进行训练得到的。
本申请实施例中,特征提取网络11可以独立于本申请实施例的实体链接模型;当然,应理解,如图3所示,特征提取网络11也可以是本申请实施例的实体链接模型的一部分。
本申请实施例中,特征提取网络11可以具有任意适当的网络结构,具体可根据实际需要进行设置,本申请实施例对此不作限定。为更准确地对各对话内容及各实体进行特征提取,从而提高实体链接效率,在一种可选的实现方式中,如图3所示,特征提取网络11可以包括第一特征提取子网络11a和第二特征提取子网络11b。
其中,第一特征提取子网络11a用于对对话内容进行特征提取,得到对话内容的语义向量。更为具体地,第一特征提取子网络11a可以包括第一嵌入子网络和第一语义表示子网络,第一嵌入子网络用于对输入的对话内容进行嵌入处理(Embedding),输出一个用于表示该对话内容的低维向量;第一语义表示子网络用于基于第一嵌入子网络输出的向量,输出用于表示对话内容的语义的语义向量。例如,将目标对话内容Q输入第一嵌入子网络后,可得到用于表示目标对话内容Q的低维向量,该低维向量经第一语义表示子网络进行处理后可得到目标对话内容Q的语义向量u;将与目标对话内容Q相关的历史对话内容h1~h5分别输入第一嵌入子网络后,可得到用于表示各历史对话内容的低维向量,各低维度向量经第一语义表示子网络进行处理后可得到各历史对话内容的语义向量u1~u5。
第二特征提取子网络11b用于对实体进行特征提取,得到实体的语义向量。更为具体地,第二特征提取子网络11b可以包括第二嵌入子网络和第二语义表示子网络,其二嵌入子网络用于对输入的实体进行嵌入处理,输出一个用于表示该实体的低维向量;第二语义表示子网络用于基于第二嵌入子网络输出的向量,输出用于表示实体的语义的语义向量。例如,将候选实体E输入第二嵌入子网络后,可得到用于表示候选实体E的低维向量,该低维向量经第二语义表示子网络进行处理后可得到候选实体E的语义向量v;将候选实体E对应的关联实体e1~e5分别输入第二嵌入子网络后,可得到用于表示各关联实体的低维向量,各低维度向量经第二语义表示子网络进行处理后可得到各关联实体的语义向量v1~v5。
需要说明的是,实际应用中,第一特征提取子网络11a和第二特征提取子网络11b各自的类型可根据实际需要进行设置,且两者的类型可以相同,本申请实施例对此不作限定。例如,第一嵌入子网络可以采用word2vec网络,第一语义表示子网络可以采用Text-CNN网络;第二嵌入子网络可以也采用word2vec网络,第二语义表示子网络也可以采用Text-CNN网络,进一步地,第一嵌入子网络与第二嵌入子网络之间可以共享连接权重(即两者的连接权重相同),第一语义表示子网络与第二语义表示子网络之间也可以共享连接权重。
本申请实施例在此示出了上述步骤S104的一种具体实现方式。当然,应理解,步骤S104也可以采用其他的方式实现,本申请实施例对此不作限定。
S106,基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,得到目标对话内容的目标语义向量。
由于目标对话内容及其相关的历史对话内容可能涉及相同或相似的内容,候选实体及其关联实体也可能涉及相同或相似的内容,为了使目标对话内容的语义向量能够更准确地反映目标对应对话内容与候选实体及关联实体之间在语义上的差异,进而能够更准确地反映目标对话内容的真实意图,可基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,得到目标对话内容的目标语义向量。
注意力机制(Attention)是指从大量信息中筛选出少量重要信息,并聚焦到这些重要信息上,忽略大多不重要的信息。在上述S106中,主要是依据历史对话内容与目标对话内容之间的关联性以及候选实体及关联实体分别与目标对话内容之间的差异性,对目标对话内容的语义向量进行语义增强,从而使得目标对话内容的语义向量能够更准确地目标对话内容的真实意图。
在一种可选的实现方式中,上述S106可以包括:
S161,基于自注意力机制和历史对话内容的语义向量,对目标对话内容的语义向量进行语义增强,得到目标对话内容的增强语义向量。
自注意力机制(Self Attention)是注意力机制的一种变体,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。在S161中,自注意力机制主要是依据目标对话内容与历史对话内容之间的相关性,使得目标对话内容的语义向量携带上历史对话内容的语义,从而使得目标对话内容的语义向量得到增强。
具体而言,由于目标对话内容感兴趣的内容很大可能在与其相关的历史对话内容中提及,比如与目标对话内容相关的历史对话内容中提到“键盘”,那么目标对话内容涉及的内容很大可能也与“键盘”相关,而不是主机、显示屏等,为此,通过在目标对话内容及历史对话内容之间使用自注意力机制,可以使目标对话内容携带上历史对话内容的内容,进而使目标对话内容的语义向量被相关的历史对话内容的语义增强而能够更准确地反映目标对话内容的真实意图。
本申请实施例中,如图3所示,实体链接模型包括自注意力网络12。其中,自注意力网络12即为引入了自注意力机制的深度学习网络。通过将目标对话内容及历史对话内容各自的增强语义向量输入自注意力网络12,由自注意力网络充分学习历史对话内容与目标对话内容之间的关联性,利用历史对话内容的语义向量对目标对话内容的语义向量进行语义增强,输出目标对话内容的增强语义向量,输出的增强语义向量相较于原始的语义向量,能够更准确地反映目标对话内容的真实意图。
S162,基于自注意力机制和实体集合中各实体的语义向量,对实体集合中其他实体的语义向量进行语义增强,得到实体集合中各实体的增强语义向量。
其中,实体集合包括候选实体和关联实体。
类似地,在S162中,自注意力机制主要是依据候选实体与关联实体之间的相关性,使得候选实体的语义向量携带上关联实体的语义,以及使得关联实体的语义向量携带上候选实体的语义,从而使得候选实体及关联实体各自的语义向量均得到语义增强。
具体而言,由于候选实体及其关联实体很大可能涉及相同或相似的内容,比如候选实体“机械键盘”及其关联实体“薄膜键盘”均涉及到键盘,为此,通过在候选实体及其关联实体之间采用自注意力机制,可以使候选实体的语义被其关联实体的语义增强而能够更准确地反映候选实体的真实含义,关联实体的语义也会被候选实体增强而能够更准确地反映关联实体的真实含义。
本申请实施例中,还可将实体集合中各实体的语义向量输入自注意力网络,自注意力网络还可以充分学习候选实体与关联实体之间的关联性,利用候选实体的语义向量对关联实体的语义向量进行语义增强,并利用关联实体的语义向量对候选实体的语义向量进行语义增强,从而输出候选实体及关联实体各自的增强语义向量,输出的增强语义向量相较于原始的语义向量,能够更准确地反映对应实体的含义。
S163,基于交叉注意力机制和实体集合中各实体的增强语义向量,对目标对话内容的增强语义向量进行语义增强,得到目标对话内容的目标语义向量。
交叉注意力机制(Cross Attention)也是注意力机制的一种变体,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部差异性。在S163中,交叉注意力机制主要是依据候选实体及关联实体分别与目标对话内容之间的差异性,利用候选实体及关联实体各自的语义向量对目标对话内容的增强语义向量进行语义增强,得到的目标对话内容的目标语义向量能更准确地反映出目标对话内容与候选实体及关联实体之间的差异,从而能够更准确地反映出目标对话内容的真实意图。
本申请实施例中,如图3所示,实体链接模型还包括交叉注意力网络13。其中,交叉注意力网络13即为引入了交叉注意力机制的深度学习网络。通过将候选实体及其关联实体各自的增强语义向量输入交叉注意力网络13,由交叉注意力网络充分学习候选实体及关联实体分别与目标对话内容之间的差异性,利用候选实体及关联实体各自的语义向量对目标对话内容的增强语义向量进行语义增强,输出目标对话内容的目标语义向量,输出的目标语义向量输入的增强语义向量,能够更准确地反映目标对话内容的真实意图。
S108,基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量。
由于目标对话内容及其相关的历史对话内容可能涉及相同或相似的内容,候选实体及其关联实体也可能涉及相同或相似的内容,为了使候选实体的语义向量能够更准确地反映候选实体与目标对话内容及历史对话内容在语义上的差异性,进而能够更准确地反映候选实体的含义,可基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量。
在上述S108中,利用自注意力机制可以充分掌握候选实体与关联实体之间的关联性以及候选实体分别与目标对话内容及历史对话内容之间的差异性,对候选实体的语义向量进行语义增强,从而使得候选实体的语义向量能够更准确地反映候选实体的含义。
在一种可选的实现方式中,上述S108可以包括:
S181,基于自注意力机制和所关联实体的语义向量,对候选实体的语义向量进行语义增强,得到候选实体的增强语义向量。
在S181中,自注意力机制主要是依据候选实体与关联实体之间的相关性,使得候选实体的语义向量携带上关联实体的语义,从而使得候选实体的语义向量得到增强。
具体而言,由于候选实体及其关联实体很大可能涉及相同或相似的内容,比如候选实体“机械键盘”及其关联实体“薄膜键盘”均涉及到键盘,为此,通过在候选实体及其关联实体之间采用自注意力机制,可以使候选实体的语义被其关联实体的语义增强而能够更准确地反映候选实体的真实含义,关联实体的语义也会被候选实体增强而能够更准确地反映关联实体的真实含义。
本申请实施例中,通过将候选实体及关联实体各自的语义向量输入自注意力网络,由自注意力网络充分学习候选实体与关联实体之间的关联性,利用关联实体的语义向量对候选实体的语义向量进行语义增强,输出候选实体的增强语义向量,输出的增强语义向量相较于原始的语义向量,能够更准确地反映候选实体的含义。
S182,基于自注意力机制和对话集合中各对话内容的语义向量,对对话集合中其他对话内容的语义向量进行语义增强,得到对话集合中各对话内容的增强语义向量。
其中,对话集合包括目标对话内容和历史对话内容。
类似地,在S182中,自注意力机制主要是依据目标对话内容与历史对话内容之间的相关性,使得目标对话内容的语义向量携带上候选对话内容的语义,以及使得候选对话内容的语义向量携带上目标对话内容的语义,从而使得目标对话内容及候选对话内容各自的语义向量均得到语义增强。
具体而言,本申请实施例中,将对话集合中各对话内容的语义向量输入自注意力网络,自注意力网络还可以充分学习目标对话内容与历史对话内容之间的关联性,利用目标对话内容的语义向量对历史对话内容的语义向量进行语义增强,并利用历史对话内容的语义向量对目标对话内容的语义向量进行语义增强,从而输出目标对话内容及历史对话内容各自的增强语义向量,输出的增强语义向量相较于原始的语义向量,能够更准确地反映对应对话内容的真实意图。
S183,基于交叉注意力机制和对话集合中各对话内容的增强语义向量,对候选实体的增强语义向量进行语义增强,得到候选实体的目标语义向量。
在S183中,交叉注意力机制主要是依据目标对话内容及历史对话内容分别与候选实体之间的差异性,利用目标对话内容及历史对话内容各自的语义向量对候选实体的增强语义向量进行语义增强,得到的候选实体的目标语义向量能更准确地反映出目标对话内容及历史对话内容分别与候选实体之间的差异,从而能够更准确地反映出候选实体的含义。
本申请实施例中,通过将对话集合中各对话内容的增强语义向量输入交叉注意力网络,由交叉注意力网络充分学习目标对话内容及历史对话内容分别与候选实体之间的差异性,利用目标对话内容及历史对话内容各自的语义向量对候选实体的增强语义向量进行语义增强,输出候选实体的目标语义向量,输出的目标语义向量输入的增强语义向量,能够更准确地反映候选实体的含义。
本申请实施例中,自注意力网络可以具有任意适当的结构,具体可根据实际需要进行设置,本申请实施例对此不作限定。
为提高对各对话内容的语义向量及各实体的语义向量进行语义增强处理的效率,从而提高实体链接效率,在一种可选的实现方式中,如图3所示,自注意力网络12可以包括第一自注意力子网络12a和第二自注意力子网络12b,其中,第一自注意力子网络12a用于基于目标对话内容及历史对话内容各自的语义向量进行语义增强处理,输出目标对话内容及历史对话内容各自的增强语义向量,第二自注意力子网络12b用于基于候选实体及关联实体各自的语义向量进行语义增强处理,输出候选实体及关联实体各自的增强语义向量。
例如,如图3所示,将目标对话内容Q的语义向量u和历史对话内容h1~h5各自的语义向量u1~u5输入第一自注意力子网络12a后,得到目标对话内容Q的增强语义向量q和历史对话内容h1~h5各自的增强语义向量q1~q5;将候选实体E的语义向量v和关联实体e1~e5各自的语义向量v1~v5输入第二自注意力子网络12b后,得到候选实体E的增强语义向量p和关联实体e1~e5各自的增强语义向量p1~p5。
本申请实施例中,交叉注意力网络可以具有任意适当的结构,具体可根据实际需要进行设置,本申请实施例对此不作限定。为提高进一步对目标对话内容及候选实体各自的语义向量进行语义增强处理的效率,从而提高实体链接效率,在一种可选的实现方式中,如图3所示,交叉注意力网络13可以包括第一交叉注意力子网络13a和第二交叉注意力子网络13b,其中,第一交叉注意力子网络13a用于基于目标对话内容、候选实体及关联实体各自的增强语义向量,输出目标对话内容的目标语义向量;第二交叉注意力子网络13b用于基于候选实体、目标对话内容及历史对话内容各自的增强语义向量,输出候选实体的目标语义向量。
例如,如图3所示,将目标对话内容Q的增强语义向量q、候选实体E的增强语义向量p及关联实体e1~e5各自的增强语义向量p1~p5输入第一交叉注意力子网络13a后,得到目标对话内容Q的目标语义向量Vq;将候选实体E的增强语义向量p、目标对话内容Q的增强语义向量q及历史对话内容h1~h5各自的增强语义向量q1~q5输入第二交叉注意力子网络13b后,得到候选实体E的目标语义向量Ve。
S110,基于目标对话内容及候选实体各自的目标语义向量,将目标对话内容中的实体提及片段链接至与目标对话内容对应的候选实体。
由于目标对话内容的目标语义向量能够准确反映目标对话内容的真实意图,候选实体的目标语义向量能够准确反映候选实体的真实含义,基于目标对话内容及候选实体各自的目标语义向量,即可确定出目标对话内容中可能描述的实体是否对应于候选实体,进而将目标对话内容中的实体提及片段链接至与目标对话内容对应的候选实体。
在一种可选的实现方式中,上述S110可以包括如下步骤:
步骤A1,基于目标对话内容及候选实体各自的目标语义向量,确定目标对话内容与候选实体之间的匹配程度。
可选地,可采用余弦相似度计算方法,确定目标对话内容及候选实体各自的目标语义向量之间的余弦相似度,将得到的余弦相似度确定为目标对话内容与候选实体之间的匹配程度。
可选地,为更准确、高效地评估目标对话内容与候选实体之间的匹配程度,可将目标对话内容及候选实体各自的目标语义向量输入匹配网络,得到目标对话内容与候选实体之间的匹配程度。其中,匹配网络可以是预先训练好的机器学习模型,其能够基于输入的两个对象各自的语义向量,输出两个对象之间的匹配程度。具体应用中,匹配网络可以采用任意适当的方式训练得到,比如以不同的第一样本字符串的语义向量作为输入、以不同的第一样本字符串之间的匹配程度作为输出进行训练得到的;或者,匹配网络也可以与上述特征提取网络、自注意力网络以及交叉注意力网络一起进行训练。匹配网络的训练方法将在后文进行详细说明。
实际应用中,上述匹配网络可以独立于本申请实施例的实体链接模型;当然,应理解,如图3所示,上述匹配网络也可为本申请实施例的实体链接模型的一部分,也即本申请实施例的实体链接模型包括上述匹配网络。
可选地,为提高获取的匹配程度的准确性,以便候选能够更准确地对目标对话内容进行实体链接,在步骤A1之前,本申请实施例提供的实体链接方法还可以包括:基于召回候选实体所使用的召回模式,获取目标对话内容及候选实体各自对应于该召回模式的实体特征。相应地,在步骤A1中,确定目标对话内容与候选实体之间的匹配程度,具体可实现为:基于目标对话内容及候选实体各自的目标语义向量,确定目标对话内容与候选实体之间的第一相似度;基于目标对话内容及候选实体各自对应于召回模式的实体特征,确定目标对话内容与候选实体之间的第二相似度;基于第一相似度和第二相似度,确定目标对话内容与候选实体之间的匹配程度。实际应用中,如图2所示,候选实体的实体特征可通过对候选实体进行特征提取得到。
更为具体地,第一相似度及第二相似度均可以为余弦相似度。在确定出第一相似度和第二相似度后,可对第一相似度和第二相似度进行加权求和,将加权求和结果确定为目标对话内容与候选实体之间的匹配程度。其中,第一相似度及第二相似度各自对应的权重可根据实际需要进行设置,各权重可以设置为相同值或不同值,本申请实施例对此不作限定。
可选地,为提高获取的匹配程度的准确性,以便候选能够更准确地对目标对话内容进行实体链接,在步骤A1之前,本申请实施例提供的实体链接方法还可以包括:基于召回候选实体所使用的召回模式,获取目标对话内容及候选实体各自对应于该召回模式的实体特征。相应地,在步骤A1中,确定目标对话内容与候选实体之间的匹配程度,具体可实现为:基于召回候选实体所使用的召回模式以及目标对话内容及候选实体各自对应于召回模式的实体特征,确定候选实体的来源特征向量,其中,来源特征向量用于反映召回候选实体所使用的召回模式以及候选实体在该召回模式下与目标对话内容之间的相似度;将目标对话内容的目标语义向量、候选实体的目标语义向量以及候选实体的来源特征向量输入预先训练的匹配网络,输出目标对话内容与候选实体之间的匹配程度。在此情况下,匹配网络可以是以不同的第一样本字符串的语义向量及来源特征向量作为输入、以不同的第一样本字符串之间的匹配程度作为输出进行训练得到的。
例如,目标对话内容为“机械间盘价格是多少啊”,基于规则召回模式、模型召回模式以及模糊召回模式分别召回的候选实体以及各候选实体与目标对话内容在对应于召回模式下的实体特征之间的相似度如下述表1所示,
表1
基于上述表1,可以确定出各候选实体的来源特征向量如下所示:
机械键盘:[0,1,1]和[0,0.8,0.6]
薄膜键盘:[0,1,1]和[0,0.7,0.5]
机械鼠标:[0,1,1]和[0,0.5,0.5]
光电鼠标:[0,1,0]和[0,0.4,0]
可以理解的是,由于第一相似度能够反映出目标对话内容及候选实体在语义上的相似度,而第二相似度则反映出目标对话内容及候选实体在某些实体特征上的相似度,综合第一相似度和第二相似度确定出的匹配程度更准确。
步骤A2,若目标对话内容与候选实体之间的匹配,目标对话内容则将目标对话内容中的实体提及片段链接至候选实体。
具体而言,若目标对话内容与候选实体之间的匹配程度大于或等于预设匹配程度阈值,则确定目标对话内容与候选实体匹配,进而可确定将候选实体作为目标对话内容对应的目标链接实体;若目标对话内容与候选实体之间的匹配程度小于预设匹配程度阈值,则确定目标对话内容与候选实体之间不匹配,进而可丢弃候选实体。
需要说明的是,预设匹配度阈值可以根据实际需要进行设置,例如设置为0.7,本申请实施例对此不作限定。目标对话内容
确定出的目标链接实体即可准确表达目标对话内容中的实体提及片段所提及片段所描述的含义,进而可将实体提及片段链接至目标链接实体,由此,可使问答系统的应答者能够更好地理解目标对话内容所表达的真实意图。
本申请实施例提供的实体链接方法,通过从实体库中召回与待处理的目标对话内容对应的候选实体,可以起到对实体库中实体进行初筛的作用,以便基于候选实体对目标对话内容进行实体链接处理,可以提升实体链接效率;由于目标对话内容及其相关的历史对话内容可能涉及相同或相似的内容,候选实体及其关联实体也可能涉及相同或相似的内容,基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,使得得到的目标对话内容的目标语义向量能够更准确地反映目标对话内容与候选实体及关联实体之间在语义上的差异,进而能够更准确地反映目标对话内容的真实意图;基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量,使得得到的候选实体的目标语义向量能够更准确地反映候选实体与目标对话内容及历史对话内容之间语义上的差异,进而能够更准确地反映候选实体的含义;基于目标对话内容及召回的候选实体各自经增强后的语义向量,将目标对话内容链接至与所述目标对话内容对应的候选实体,可以确保目标对话内容中的词语链接到实体库中能够准确表达其真实意图的实体上,从而提高实体链接的准确率。
本申请实施例还包括对上述各网络的训练方法。值得说明的是,对上述各网络是基于样本字符串预先进行的,后续在进行实体链接的过程中,无需每次对各网络进行训练,或者可以周期性的基于新采集的样本字符串对各网络进行更新。
为使本领域技术人员更加理解本申请实施例提供的实体链接方法,下面对本申请实施例提供的实体链接方法中涉及的特征提取网络、自注意力网络、交叉注意力网络及匹配网络等的训练过程进行详细说明。
在一种可选的实现方式中,上述各网络可以基于各自对应的训练样本单独进行训练得到。
具体地,针对上述步骤S104中涉及的特征提取网络,可以以第二样本字符串作为输入、以第二样本字符串的语义向量作为输出进行训练,得到特征提取网络。更为具体地,可以将第二样本字符串输入待训练的特征提取网络,输出相应的语义向量;然后,基于特征提取网络对应的损失函数、待训练的特征提取网络输出的语义向量以及第二样本字符串的样本标签,确定特征提取网络的预测损失值;进一步地,以使预测损失值下降为目标,对特征提取网络的网络参数(比如网络中各节点之间的连接权重、连接关系等)进行调整,并在调整后重复上述过程,直到满足训练停止条件(比如预测损失值小于预设损失值阈值,迭代次数超过预设次数等),由此得到训练好的特征提取网络。
针对上述步骤S106和S108中涉及的自注意力网络,对自注意力网络的训练具体可实现为:以第一样本对话内容及其相关的第二样本对话内容各自的语义向量作为训练样本,以第一样本对话内容及第二样本对话内容各自的增强语义向量作为训练样本对应的标签进行训练,得到第一自注意力子网络。更为具体地,可以将训练样本输入待训练的第一自注意力子网络,输出第一样本对话内容及第二样本对话内容各自的增强语义向量;然后,基于第一自注意力子网络对应的损失函数、待训练的第一自注意力子网络输出的增强语义向量以及训练样本对应的标签,确定第一自注意力子网络的预测损失值;进一步地,以使预测损失值下降为目标,对第一自注意力子网络的网络参数(比如网络中各节点之间的连接权重、连接关系等)进行调整,并在调整后重复上述过程,直到满足训练停止条件(比如预测损失值小于预设损失值阈值,迭代次数超过预设次数等),由此得到训练好的第一自注意力子网络。
针对上述步骤S106和S108中涉及的自注意力网络,对自注意力网络的训练具体可实现为:以第一样本实体及其关联的第二样本实体各自的语义向量作为训练样本,以第一样本实体及第二样本实体各自的增强语义向量作为训练样本对应的标签进行训练,得到第二自注意力子网络。更为具体地,可以将训练样本输入待训练的第二自注意力子网络,输出第一样本实体及第二样本实体各自的增强语义向量;然后,基于第二自注意力子网络对应的损失函数、待训练的第二自注意力子网络输出的增强语义向量以及训练样本对应的标签,确定第二自注意力子网络的预测损失值;进一步地,以使预测损失值下降为目标,对第二自注意力子网络的网络参数(比如网络中各节点之间的连接权重、连接关系等)进行调整,并在调整后重复上述过程,直到满足训练停止条件(比如预测损失值小于预设损失值阈值,迭代次数超过预设次数等),由此得到训练好的第二自注意力子网络。
针对上述步骤S106和S108中涉及的交叉注意力网络,第一交叉注意力子网络的训练过程与上述第一自注意力子网络的训练过程类似,区别在于,第一交叉注意力子网络的训练样本为第一样本对话内容、第一样本对话内容对应的第一样本实体及与第一样本实体关联的第二样本实体各自的语义向量,训练样本对应的标签为第一样本对话内容的增强语义向量。
针对上述步骤S106和S108中涉及的交叉注意力网络,第二交叉注意力子网络的训练过程与上述第一交叉注意力子网络的训练过程类似,区别在于,第二交叉注意力子网络的训练样本为第一样本对话内容、与第一样本对话内容相关的第二样本对话内容以及第一样本对话内容对应的第一样本实体各自的语义向量,训练样本对应的标签为第一样本实体的增强语义向量。
针对上述步骤S110中涉及的匹配网络,可以以不同的第一样本字符串的语义向量作为训练样本、以不同的第一样本字符串之间的匹配程度作为训练样本对应的标签进行训练,得到匹配网络。更为具体地,可以将不同的第一样本字符串的语义向量输入待训练的匹配网络,输出这些第一样本字符串之间的匹配程度;然后,基于匹配网络对应的损失函数、待训练的匹配网络输出的匹配程度以及第一样本字符串的标签,确定匹配网络的预测损失值;进一步地,以使预测损失值下降为目标,对匹配网络的网络参数(比如网络中各节点之间的连接权重、连接关系等)进行调整,并在调整后重复上述过程,直到满足训练停止条件(比如预测损失值小于预设损失值阈值,迭代次数超过预设次数等),由此得到训练好的匹配网络。
在另一种可选的实现方式中,为确保上述各网络的错误逐步累积而对最终的实体链接结果造成影响,可以优化实体链接准确率为总体目标,采用端到端训练(End-to-EndLearning)的方式对上述各网络进行学习。
具体而言,对于上述各网络,训练过程具体可实现为:
步骤B1,获取第一样本对话内容中的样本实体在实体库中对应的链接实体。
其中,第一样本对话内容可以是已进行实体链接的样本对话内容,也即第一样本对话内容中的实体提及片段已链接到实体库中对应的链接实体上。样本对话内容中已与实体库中的实体进行链接的实体提及片段即为样本实体。
步骤B2,分别对第一样本对话内容、与第一样本对话内容相关的第二样本对话内容、链接实体及链接实体对应的样本关联实体进行特征提取,得到第一样本对话内容、第二样本对话内容、链接实体及样本关联实体各自的语义向量。
可选地,可将第一样本对话内容、第二样本对话内容、链接实体及链接实体对应的样本关联实体输入特征提取网络,得到第一样本对话内容、第二样本对话内容、链接实体及样本关联实体各自的语义向量。
步骤B3,将第一样本对话内容和第二样本对话内容各自的语义向量输入自注意力网络,得到第一样本对话内容及第二样本对话内容各自的增强语义向量。
可选地,可将第一样本对话内容和第二样本对话内容各自的语义向量输入第一自注意力子网络,得到第一样本对话内容及第二样本对话内容各自的增强语义向量。
步骤B4,将链接实体及样本关联实体各自的语义向量输入自注意力网络,得到链接实体及样本关联实体各自的增强语义向量。
可选地,可将链接实体及样本关联实体各自的语义向量输入第二自注意力子网络,得到链接实体及样本关联实体各自的增强语义向量。
步骤B5,将第一样本对话内容、链接实体及样本关联实体各自的增强语义向量输入交叉注意力网络,得到第一样本对话内容的目标语义向量。
可选地,可将第一样本对话内容、链接实体及样本关联实体各自的增强语义向量输入第一交叉注意力子网络,得到第一样本对话内容的目标语义向量。
步骤B6,将链接实体、第一样本对话内容及第二样本对话内容各自的增强语义向量输入交叉注意力网络,得到链接实体的目标语义向量。
可选地,可将链接实体、第一样本对话内容及第二样本对话内容各自的增强语义向量输入第二交叉注意力子网络,得到链接实体的目标语义向量。
步骤B7,基于第一样本对话内容及链接实体各自的目标语义向量,确定样本实体与链接实体之间的匹配程度。
可选地,可将第一样本对话内容及链接实体各自的目标语义向量输入匹配网络,输出样本实体与链接实体之间的匹配程度
步骤B8,基于样本实体与链接实体之间的匹配程度,对自注意力网络和交叉注意力网络各自的网络参数进行调整。
具体地,可基于样本实体与链接实体之间的匹配程度,确定实体链接误差;接着,采用反向传播算法(backpropagation),基于匹配网络、自注意力网络、交叉注意力网络以及特征提取网络当前的网络参数和实体链接误差,确定各网络的各节点(比如神经元)上的误差;然后,基于各网络的各节点上的误差,以使误差下降为目标,调整各网络的网络参数(比如包括各节点之间的连接权重及偏置);进一步地,基于调整后的各网络,重复上述步骤B1~B8,直到满足训练停止条件(比如实体链接误差位于预设误差范围内或者迭代次数达到预设次数等)。
可以理解的是,通过上述训练方法,使得自注意力网络能够基于第二样本对话内容的语义加深对第一样本对话内容的语义的理解,基于第一样本对话内容的语义加深对第一样本对话内容的语义的理解,使得第一样本对话内容及第二样本对话内容各自的语义均得到增强,还使得自注意力网络能够基于样本实体的语义加深对样本关联实体的语义的理解,基于样本关联实体的语义加深对样本实体的语义的理解,使得样本实体及样本关联实体各自的语义均得到增强;此外,还使得交叉注意力网络能够基于样本实体及样本关联实体各自经增强的语义进一步加深对第一样本对话内容的理解,进而更加深刻地理解第一样本对话内容与不同实体之间的差异,以及使得交叉注意力网络能够基于第一样本对话内容及第二样本对话内容各自经增强的语义进一步加深对样本实体的理解,进而更加深刻地理解样本实体与不同内容之间的差异。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
此外,与上述图1所示的实体链接方法相对应地,本申请实施例还提供一种实体链接装置。图4是本申请的一个实施例实体链接装置的结构示意图。请参考图4,在一种软件实施方式中,实体链接装置400可包括:
召回模块410,用于从实体库中召回与待处理的目标对话内容对应的候选实体;
第一特征提取模块420,用于分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
第一语义增强模块430,用于基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
第二语义增强模块440,用于基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
链接模块450,用于基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体提及片段链接至与所述目标对话内容对应的候选实体。
本申请实施例提供的实体链接装置,通过从实体库中召回与待处理的目标对话内容对应的候选实体,可以起到对实体库中实体进行初筛的作用,以便基于候选实体对目标对话内容进行实体链接处理,可以提升实体链接效率;由于目标对话内容及其相关的历史对话内容可能涉及相同或相似的内容,候选实体及其关联实体也可能涉及相同或相似的内容,基于历史对话内容、候选实体及关联实体各自的语义向量以及注意力机制,对目标对话内容的语义向量进行语义增强,使得得到的目标对话内容的目标语义向量能够更准确地反映目标对话内容与候选实体及关联实体之间在语义上的差异,进而能够更准确地反映目标对话内容的真实意图;基于关联实体、目标对话内容及历史对话内容各自的语义向量以及注意力机制,对候选实体的语义向量进行语义增强,得到候选实体的目标语义向量,使得得到的候选实体的目标语义向量能够更准确地反映候选实体与目标对话内容及历史对话内容之间语义上的差异,进而能够更准确地反映候选实体的含义;基于目标对话内容及召回的候选实体各自经增强后的语义向量,将目标对话内容链接至与所述目标对话内容对应的候选实体,可以确保目标对话内容中的词语链接到实体库中能够准确表达其真实意图的实体上,从而提高实体链接的准确率。
可选地,所述第一语义增强模块包括:
第一自注意力子模块,用于基于自注意力机制和所述历史对话内容的语义向量,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的增强语义向量;
第二自注意力子模块,用于基于自注意力机制和实体集合中各实体的语义向量,对所述实体集合其他实体的语义向量进行语义增强,得到所述实体集合中各实体的增强语义向量,其中,所述实体集合包括所述候选实体和所述关联实体;
第一交叉注意力子模块,用于基于交叉注意力机制和所述实体集合中各实体的增强语义向量,对所述目标对话内容的增强语义向量进行语义增强,得到所述目标对话内容的目标语义向量。
可选地,所述第二语义增强模块包括:
第三自注意力子模块,用于基于自注意力机制和所述关联实体的语义向量,对所述候选实体的语义向量进行语义增强,得到所述候选实体的增强语义向量;
第四自注意力子模块,用于基于自注意力机制和对话集合中各对话内容的语义向量,对所述对话集合中其他对话内容的语义向量进行语义增强,得到所述对话集合中各对话内容的增强语义向量,其中,所述对话集合包括所述目标对话内容和所述历史对话内容;
第二交叉注意力子模块,用于基于交叉注意力机制和所述对话集合中各对话内容的增强语义向量,对所述候选实体的增强语义向量进行语义增强,得到所述候选实体的目标语义向量。
可选地,所述链接模块包括:
匹配程度确定子模块,用于基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度;目标对话内容链接子模块,用于若所述目标对话内容与所述候选实体之间匹配,则将所述目标对话内容中的实体提及片段链接至所述候选实体。
可选地,所述实体链接装置还包括:
第一获取模块,用于在所述匹配程度确定子模块基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度之前,基于召回所述候选实体所使用的召回模式,获取所述目标对话内容及所述候选实体各自对应于所述召回模式的实体特征;
所述匹配程度确定子模块用于:
基于所述目标对话内容及所述候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的第一相似度;
基于所述目标对话内容及所述候选实体各自对应于所述召回模式的实体特征,确定所述目标对话内容与所述候选实体之间的第二相似度;
基于所述第一相似度和所述第二相似度,确定所述目标对话内容与所述候选实体之间的匹配程度。
可选地,所述匹配程度确定子模块用于:
将所述目标对话内容及候选实体各自的目标语义向量输入匹配网络,得到所述目标对话内容与所述候选实体之间的匹配程度,其中,所述匹配网络是以不同的第一样本字符串的语义向量作为输入、以所述不同的第一样本字符串之间的匹配程度作为输出进行训练得到的。
可选地,所述实体链接装置还包括:
第二获取模块,用于在所述匹配程度确定子模块基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度之前,基于召回所述候选实体所使用的召回模式,获取所述目标对话内容及所述候选实体各自对应于所述召回模式的实体特征;
所述匹配程度确定子模块用于:
基于召回所述候选实体所使用的召回模式以及所述目标对话内容及所述候选实体各自对应于召回模式的实体特征,确定候选实体的来源特征向量;
将所述目标对话内容的目标语义向量、所述候选实体的目标语义向量以及所述候选实体的来源特征向量输入预先训练的匹配网络,输出目标对话内容与候选实体之间的匹配程度,其中,所述匹配网络是以不同的第一样本字符串的语义向量及来源特征向量作为输入、以不同的第一样本字符串之间的匹配程度作为输出进行训练得到的。
可选地,所述第一特征提取模块包括:
特征提取子模块,用于将所述目标对话内容、所述历史对话内容、所述候选实体及所述候选实体对应的关联实体输入特征提取网络,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量,其中,所述特征提取网络是以不同的第二样本字符串作为输入、以所述不同的第二样本字符串的语义向量作为输出进行训练得到的。
可选地,所述召回模块包括:
召回子模块,用于通过多种召回模式,从实体库中获取所述目标对话内容对应的召回实体,其中,在不同的召回模式下,基于不同的实体特征从所述实体库中获取召回实体;
候选实体确定子模块,用于基于获取的召回实体,确定所述目标对话内容对应的候选实体。
可选地,若所述多种召回模式包括规则召回模式,则所述召回子模块用于:
将所述实体库中的实体的正则表达式与所述目标对话内容进行匹配,以及基于得到的匹配结果,从所述实体库中获取所述目标对话内容对应的召回实体;和/或,
将所述实体库中的实体的预设同近义词表与所述目标对话内容进行匹配,以及基于得到的匹配结果,从所述实体库中获取所述目标对话内容对应的召回实体。
可选地,若所述多种召回模式包括模型召回模式,则所述召回子模块用于:
将所述目标对话内容输入实体识别模型,得到所述目标对话内容中的实体提及片段,其中,所述实体识别模型是基于第三样本字符串及所述第三样本字符串对应的实体标签进行训练得到的,所述实体标签用于指示所述第三样本字符串是否属于实体;
基于所述实体库中的实体及所述实体提及片段各自的实体特征,从所述实体库中获取与所述目标对话内容对应的召回实体,所述实体特征包括如下特征中的至少一种:字符特征、语音特征、字形特征以及语义特征。
可选地,若所述多种召回模式包括模糊召回模式,则所述召回子模块用于:
对所述目标对话内容进行分词处理,得到所述目标对话内容中的候选词语;
基于预设停用词表对所述目标对话内容中的候选词语进行去停用词处理,得到所述目标对话内容中的目标词语;
将所述目标词语与所述实体库中的实体进行匹配,以及基于得到的匹配结果,从所述实体库中获取所述目标对话内容对应的召回实体。
可选地,所述第一自注意力子模块,用于将所述目标对话内容和所述历史对话内容各自的语义向量输入预先训练的自注意力网络,得到所述目标对话内容的增强语义向量;
所述第二自注意力子模块,用于将所述实体集合中各实体的语义向量输入所述自注意力网络,得到所述实体集合中各实体的增强语义向量;
所述第一交叉注意力子模块,用于将所述实体集合中各实体的增强语义向量和所述目标对话内容的增强语义向量输入预先训练的交叉注意力网络,得到所述目标对话内容的目标语义向量。
可选地,所述第三自注意力子模块,用于将所述候选实体和所述关联实体各自的语义向量输入预先训练的自注意力网络,得到所述候选实体的增强语义向量;
所述第四自注意力子模块,用于将所述对话集合中各对话内容的语义向量输入所述自注意力网络,得到所述对话集合中各对话内容的增强语义向量;
所述第二交叉注意力子模块,用于将所述对话集合中各对话内容的增强语义向量和所述候选实体的增强语义向量输入预先训练的交叉注意力网络,得到所述候选实体的目标语义向量。
可选地,所述实体链接装置还包括训练模块,所述训练模块用于:
获取第一样本对话内容中的样本实体在所述实体库中对应的链接实体;
分别对所述第一样本对话内容、与所述第一样本对话内容相关的样第二本对话内容、所述链接实体及所述链接实体对应的样本关联实体进行特征提取,得到所述第一样本对话内容、所述第二样本对话内容、所述链接实体及所述样本关联实体各自的语义向量;
将所述第一样本对话内容及所述第二样本对话内容各自的语义向量输入自注意力网络,得到所述第一样本对话内容及所述第二样本对话内容各自的增强语义向量,以及将所述链接实体及所述样本关联实体各自的语义向量输入所述自注意力网络,得到所述链接实体及所述样本关联实体各自的增强语义向量;
将所述第一样本对话内容、所述链接实体及所述样本关联实体各自的增强语义向量输入交叉注意力网络,得到所述第一样本对话内容的目标语义向量,以及将所述链接实体、所述第一样本对话内容及所述第二样本对话内容各自的增强语义向量输入所述交叉注意力网络,得到所述链接实体的目标语义向量;
匹配模块,用于基于所述第一样本对话内容及所述链接实体各自的目标语义向量,确定所述样本实体与所述链接实体之间的匹配程度;
调整模块,用于基于所述匹配程度,对所述自注意力网络和所述交叉注意力网络各自的网络参数进行调整。
图5是本申请的一个实施例电子设备的结构示意图。请参考图5,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成实体链接装置。处理器,执行存储器所存放的程序,并具体用于执行以下操作:
从实体库中召回与待处理的目标对话内容对应的候选实体;
分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量;
基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体提及片段链接至与所述目标对话内容对应的候选实体。
上述如本申请图1所示实施例揭示的实体链接装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行图1的方法,并实现实体链接装置在图1、图3所示实施例的功能,本申请实施例在此不再赘述。
当然,除了软件实现方式之外,本申请的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的便携式电子设备执行时,能够使该便携式电子设备执行图1所示实施例的方法,并具体用于执行以下操作:
从实体库中召回与待处理的目标对话内容对应的候选实体;
分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量;
基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体提及片段链接至与所述目标对话内容对应的候选实体。
总之,以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
Claims (18)
1.一种实体链接方法,其特征在于,包括:
从实体库中召回与待处理的目标对话内容对应的候选实体;
分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量;
基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体及片段链接至与所述目标对话内容对应的候选实体。
2.根据权利要求1所述的方法,其特征在于,所述基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量,包括:
基于自注意力机制和所述历史对话内容的语义向量,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的增强语义向量;
基于自注意力机制和实体集合中各实体的语义向量,对所述实体集合中其他实体的语义向量进行语义增强,得到所述实体集合中各实体的增强语义向量,其中,所述实体集合包括所述候选实体和所述关联实体;
基于交叉注意力机制和所述实体集合中各实体的增强语义向量,对所述目标对话内容的增强语义向量进行语义增强,得到所述目标对话内容的目标语义向量。
3.根据权利要求1所述的方法,其特征在于,所述基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量,包括:
基于自注意力机制和所述关联实体的语义向量,对所述候选实体的语义向量进行语义增强,得到所述候选实体的增强语义向量;
基于自注意力机制和对话集合中各对话内容的语义向量,对所述对话集合中其他对话内容的语义向量进行语义增强,得到所述对话集合中各对话内容的增强语义向量,其中,所述对话集合包括所述目标对话内容和所述历史对话内容;
基于交叉注意力机制和所述对话集合中各对话内容的增强语义向量,对所述候选实体的增强语义向量进行语义增强,得到所述候选实体的目标语义向量。
4.根据权利要求1所述的方法,其特征在于,所述基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体提及片段链接至与所述目标对话内容对应的候选实体,包括:
基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度;
若所述目标对话内容与所述候选实体之间的匹配,则将所述目标对话内容中的实体提及片段链接至所述候选实体。
5.根据权利要求4所述的方法,其特征在于,在基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度之前,所述方法还包括:
基于召回所述候选实体所使用的召回模式,获取所述目标对话内容及所述候选实体各自对应于所述召回模式的实体特征;
所述基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度,包括:
基于所述目标对话内容及所述候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的第一相似度;
基于所述目标对话内容及所述候选实体各自对应于所述召回模式的实体特征,确定所述目标对话内容与所述候选实体之间的第二相似度;
基于所述第一相似度和所述第二相似度,确定所述目标对话内容与所述候选实体之间的匹配程度。
6.根据权利要求4所述的方法,其特征在于,所述基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度之间的匹配程度,包括:
将所述目标对话内容及候选实体各自的目标语义向量输入匹配网络,得到所述目标对话内容与所述候选实体之间的匹配程度,其中,所述匹配网络是以不同的第一样本字符串的语义向量作为输入、以所述不同的第一样本字符串之间的匹配程度作为输出进行训练得到的。
7.根据权利要求4所述的方法,其特征在于,所述在基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度之前,所述方法还包括:
基于召回所述候选实体所使用的召回模式,获取所述目标对话内容及所述候选实体各自对应于所述召回模式的实体特征;
所述基于所述目标对话内容及候选实体各自的目标语义向量,确定所述目标对话内容与所述候选实体之间的匹配程度之间的匹配程度,包括:
基于召回所述候选实体所使用的召回模式以及所述目标对话内容及所述候选实体各自对应于召回模式的实体特征,确定候选实体的来源特征向量;
将所述目标对话内容的目标语义向量、所述候选实体的目标语义向量以及所述候选实体的来源特征向量输入预先训练的匹配网络,输出目标对话内容与候选实体之间的匹配程度,其中,所述匹配网络是以不同的第一样本字符串的语义向量及来源特征向量作为输入、以所述不同的第一样本字符串之间的匹配程度作为输出进行训练得到的。
8.根据权利要求1所述的方法,其特征在于,所述分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,包括:
将所述目标对话内容、所述历史对话内容、所述候选实体及所述候选实体对应的关联实体输入特征提取网络,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量,其中,所述特征提取网络是以不同的第二样本字符串作为输入、以所述不同的第二样本字符串的语义向量作为输出进行训练得到的。
9.根据权利要求1所述的方法,其特征在于,所述从实体库中召回与待处理的目标对话内容对应的候选实体,包括:
通过多种召回模式,从实体库中获取所述目标对话内容对应的召回实体;
基于获取的召回实体,确定所述目标对话内容对应的候选实体。
10.根据权利要求9所述的方法,其特征在于,若所述多种召回模式包括规则召回模式,从实体库中获取所述目标对话内容对应的召回实体,包括:
将所述实体库中的实体的正则表达式与所述目标对话内容进行匹配,以及基于得到的匹配结果,从所述实体库中获取所述目标对话内容对应的召回实体;和/或,
将所述实体库中的实体的预设同近义词表与所述目标对话内容进行匹配,以及基于得到的匹配结果,从所述实体库中获取所述目标对话内容对应的召回实体。
11.根据权利要求9所述的方法,其特征在于,若所述多种召回模式包括模型召回模式,从实体库中获取所述目标对话内容对应的召回实体,包括:
将所述目标对话内容输入实体识别模型,得到所述目标对话内容中的实体提及片段,其中,所述实体识别模型是基于第三样本字符串及所述第三样本字符串对应的实体标签进行训练得到的,所述实体标签用于指示所述第三样本字符串是否属于实体;
基于所述实体库中的实体及所述实体提及片段各自的实体特征,从所述实体库中获取与所述目标对话内容对应的召回实体,所述实体特征包括如下特征中的至少一种:字符特征、语音特征、字形特征以及语义特征。
12.根据权利要求9所述的方法,其特征在于,若所述多种召回模式包括模糊召回模式,从实体库中获取所述目标对话内容对应的召回实体,包括:
对所述目标对话内容进行分词处理,得到所述目标对话内容中的候选词语;
基于预设停用词表对所述目标对话内容中的候选词语进行去停用词处理,得到所述目标对话内容中的目标词语;
将所述目标词语与所述实体库中的实体进行匹配,以及基于得到的匹配结果,从所述实体库中获取所述目标对话内容对应的召回实体。
13.根据权利要求2所述的方法,其特征在于,所述基于自注意力机制和所述历史对话内容的语义向量,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的增强语义向量,包括:
将所述目标对话内容和所述历史对话内容各自的语义向量输入预先训练的自注意力网络,得到所述目标对话内容的增强语义向量;
所述基于自注意力机制和实体集合中各实体的语义向量,对所述实体集合中其他实体的语义向量进行语义增强,得到所述实体集合中各实体的增强语义向量,包括:
将所述实体集合中各实体的语义向量输入所述自注意力网络,得到所述实体集合中各实体的增强语义向量;
所述基于交叉注意力机制和所述实体集合中各实体的增强语义向量,对所述目标对话内容的增强语义向量进行语义增强,得到所述目标对话内容的目标语义向量,包括:
将所述实体集合中各实体的增强语义向量和所述目标对话内容的增强语义向量输入预先训练的交叉注意力网络,得到所述目标对话内容的目标语义向量。
14.根据权利要求3所述的方法,其特征在于,所述基于自注意力机制和所述关联实体的语义向量,对所述候选实体的语义向量进行语义增强,得到所述候选实体的增强语义向量,包括:
将所述候选实体和所述关联实体各自的语义向量输入预先训练的自注意力网络,得到所述候选实体的增强语义向量;
所述基于自注意力机制和对话集合中各对话内容的语义向量,对所述对话集合中其他对话内容的语义向量进行语义增强,得到所述对话集合中各对话内容的增强语义向量,包括:
将所述对话集合中各对话内容的语义向量输入所述自注意力网络,得到所述对话集合中各对话内容的增强语义向量;
所述基于交叉注意力机制和所述对话集合中各对话内容的增强语义向量,对所述候选实体的增强语义向量进行语义增强,得到所述候选实体的目标语义向量,包括:
将所述对话集合中各对话内容的增强语义向量和所述候选实体的增强语义向量输入预先训练的交叉注意力网络,得到所述候选实体的目标语义向量。
15.根据权利要求13或14所述的方法,其特征在于,所述自注意力网络和所述交叉注意力网络通过如下方式训练得到:
获取第一样本对话内容中的样本实体在所述实体库中对应的链接实体;
分别对所述第一样本对话内容、与所述样本对话内容相关的第二样本对话内容、所述链接实体及所述链接实体对应的样本关联实体进行特征提取,得到所述第一样本对话内容、所述第二样本对话内容、所述链接实体及所述样本关联实体各自的语义向量;
将所述第一样本对话内容及所述第二样本对话内容各自的语义向量输入所述自注意力网络,得到所述第一样本对话内容及所述第二样本对话内容各自的增强语义向量,以及将所述链接实体及所述样本关联实体各自的语义向量输入所述自注意力网络,得到所述链接实体及所述样本关联实体各自的增强语义向量;
将所述第一样本对话内容、所述链接实体及所述样本关联实体各自的增强语义向量输入所述交叉注意力网络,得到所述第一样本对话内容的目标语义向量,以及将所述链接实体、所述第一样本对话内容及所述第二样本对话内容各自的增强语义向量输入所述交叉注意力网络,得到所述链接实体的目标语义向量;
基于所述第一样本对话内容及所述链接实体各自的目标语义向量,确定所述样本实体与所述链接实体之间的匹配程度;
基于所述匹配程度,对所述自注意力网络和所述交叉注意力网络各自的网络参数进行调整。
16.一种实体链接装置,其特征在于,包括:
召回模块,用于从实体库中召回与待处理的目标对话内容对应的候选实体;
第一特征提取模块,用于分别对所述目标对话内容、与所述目标对话内容相关的历史对话内容、所述候选实体及所述候选实体对应的关联实体进行特征提取,得到所述目标对话内容、所述历史对话内容、所述候选实体及所述关联实体各自的语义向量;
第一语义增强模块,用于基于所述历史对话内容、所述候选实体及所述关联实体各自的语义向量以及注意力机制,对所述目标对话内容的语义向量进行语义增强,得到所述目标对话内容的目标语义向量;
第二语义增强模块,用于基于所述关联实体、所述目标对话内容及所述历史对话内容各自的语义向量以及注意力机制,对所述候选实体的语义向量进行语义增强,得到所述候选实体的目标语义向量;
链接模块,用于基于所述目标对话内容及候选实体各自的目标语义向量,将所述目标对话内容中的实体及片段链接至与所述目标对话内容对应的候选实体。
17.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至15中任一项所述的方法。
18.一种计算机可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至15中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210278377.8A CN114638231B (zh) | 2022-03-21 | 2022-03-21 | 实体链接方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210278377.8A CN114638231B (zh) | 2022-03-21 | 2022-03-21 | 实体链接方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114638231A CN114638231A (zh) | 2022-06-17 |
CN114638231B true CN114638231B (zh) | 2023-07-28 |
Family
ID=81949099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210278377.8A Active CN114638231B (zh) | 2022-03-21 | 2022-03-21 | 实体链接方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114638231B (zh) |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101588469A (zh) * | 2008-05-21 | 2009-11-25 | 华为技术有限公司 | 频道信息生成、访问控制、交付方法、iptv系统及装置 |
CN102866990A (zh) * | 2012-08-20 | 2013-01-09 | 北京搜狗信息服务有限公司 | 一种主题对话方法和装置 |
CN103200430A (zh) * | 2012-01-04 | 2013-07-10 | 华为终端有限公司 | 个人内容分享方法、系统、服务器和终端设备 |
CN103760991A (zh) * | 2014-01-13 | 2014-04-30 | 北京搜狗科技发展有限公司 | 一种实体输入方法和装置 |
WO2014092537A1 (en) * | 2012-12-12 | 2014-06-19 | Mimos Berhad | A system and method for automated generation of learning object from online social content |
CN108509519A (zh) * | 2018-03-09 | 2018-09-07 | 北京邮电大学 | 基于深度学习的通用知识图谱增强问答交互系统及方法 |
CN108874998A (zh) * | 2018-06-14 | 2018-11-23 | 华东师范大学 | 一种基于混合特征向量表示的对话式音乐推荐方法 |
CN109460459A (zh) * | 2018-10-31 | 2019-03-12 | 神思电子技术股份有限公司 | 一种基于日志学习的对话系统自动优化方法 |
CN110456920A (zh) * | 2018-05-08 | 2019-11-15 | 北京金山安全软件有限公司 | 一种基于语义分析的内容推荐方法和装置 |
CN110674317A (zh) * | 2019-09-30 | 2020-01-10 | 北京邮电大学 | 一种基于图神经网络的实体链接方法及装置 |
CN110866124A (zh) * | 2019-11-06 | 2020-03-06 | 北京诺道认知医学科技有限公司 | 基于多数据源的医学知识图谱融合方法及装置 |
CN111506709A (zh) * | 2020-06-29 | 2020-08-07 | 科大讯飞(苏州)科技有限公司 | 实体链接方法、装置、电子设备和存储介质 |
CN111914179A (zh) * | 2020-08-19 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 基于语义的模糊搜索方法和装置、存储介质及电子设备 |
CN112182196A (zh) * | 2020-11-03 | 2021-01-05 | 海信视像科技股份有限公司 | 应用于多轮对话的服务设备及多轮对话方法 |
CN112347268A (zh) * | 2020-11-06 | 2021-02-09 | 华中科技大学 | 一种文本增强的知识图谱联合表示学习方法及装置 |
CN112527998A (zh) * | 2020-12-22 | 2021-03-19 | 深圳市优必选科技股份有限公司 | 一种答复推荐方法、答复推荐装置及智能设备 |
CN112543932A (zh) * | 2020-01-22 | 2021-03-23 | 华为技术有限公司 | 语义分析方法、装置、设备及存储介质 |
CN113157900A (zh) * | 2021-05-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
CN114118100A (zh) * | 2021-11-24 | 2022-03-01 | 北京房江湖科技有限公司 | 用于生成对话语句的方法、装置、设备、介质和程序产品 |
-
2022
- 2022-03-21 CN CN202210278377.8A patent/CN114638231B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101588469A (zh) * | 2008-05-21 | 2009-11-25 | 华为技术有限公司 | 频道信息生成、访问控制、交付方法、iptv系统及装置 |
CN103200430A (zh) * | 2012-01-04 | 2013-07-10 | 华为终端有限公司 | 个人内容分享方法、系统、服务器和终端设备 |
CN102866990A (zh) * | 2012-08-20 | 2013-01-09 | 北京搜狗信息服务有限公司 | 一种主题对话方法和装置 |
WO2014092537A1 (en) * | 2012-12-12 | 2014-06-19 | Mimos Berhad | A system and method for automated generation of learning object from online social content |
CN103760991A (zh) * | 2014-01-13 | 2014-04-30 | 北京搜狗科技发展有限公司 | 一种实体输入方法和装置 |
CN108509519A (zh) * | 2018-03-09 | 2018-09-07 | 北京邮电大学 | 基于深度学习的通用知识图谱增强问答交互系统及方法 |
CN110456920A (zh) * | 2018-05-08 | 2019-11-15 | 北京金山安全软件有限公司 | 一种基于语义分析的内容推荐方法和装置 |
CN108874998A (zh) * | 2018-06-14 | 2018-11-23 | 华东师范大学 | 一种基于混合特征向量表示的对话式音乐推荐方法 |
CN109460459A (zh) * | 2018-10-31 | 2019-03-12 | 神思电子技术股份有限公司 | 一种基于日志学习的对话系统自动优化方法 |
CN110674317A (zh) * | 2019-09-30 | 2020-01-10 | 北京邮电大学 | 一种基于图神经网络的实体链接方法及装置 |
CN110866124A (zh) * | 2019-11-06 | 2020-03-06 | 北京诺道认知医学科技有限公司 | 基于多数据源的医学知识图谱融合方法及装置 |
CN112543932A (zh) * | 2020-01-22 | 2021-03-23 | 华为技术有限公司 | 语义分析方法、装置、设备及存储介质 |
CN111506709A (zh) * | 2020-06-29 | 2020-08-07 | 科大讯飞(苏州)科技有限公司 | 实体链接方法、装置、电子设备和存储介质 |
CN111914179A (zh) * | 2020-08-19 | 2020-11-10 | 腾讯科技(深圳)有限公司 | 基于语义的模糊搜索方法和装置、存储介质及电子设备 |
CN112182196A (zh) * | 2020-11-03 | 2021-01-05 | 海信视像科技股份有限公司 | 应用于多轮对话的服务设备及多轮对话方法 |
CN112347268A (zh) * | 2020-11-06 | 2021-02-09 | 华中科技大学 | 一种文本增强的知识图谱联合表示学习方法及装置 |
CN112527998A (zh) * | 2020-12-22 | 2021-03-19 | 深圳市优必选科技股份有限公司 | 一种答复推荐方法、答复推荐装置及智能设备 |
CN113157900A (zh) * | 2021-05-27 | 2021-07-23 | 中国平安人寿保险股份有限公司 | 意图识别方法、装置、计算机设备及存储介质 |
CN114118100A (zh) * | 2021-11-24 | 2022-03-01 | 北京房江湖科技有限公司 | 用于生成对话语句的方法、装置、设备、介质和程序产品 |
Non-Patent Citations (3)
Title |
---|
基于细粒度词表示的命名实体识别研究;林广和;张绍武;林鸿飞;;中文信息学报(11);第67-76+83页 * |
结合注意力机制的Bi-LSTM-CRF中文电子病历命名实体识别;张华丽;康晓东;李博;王亚鸽;刘汉卿;白放;;计算机应用(S1);第103-107页 * |
规则增强的知识图谱表示学习方法;陈曦;陈华钧;张文;;情报工程(01);第27-35页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114638231A (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109840287B (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
CN112528672B (zh) | 一种基于图卷积神经网络的方面级情感分析方法及装置 | |
CN111738003B (zh) | 命名实体识别模型训练方法、命名实体识别方法和介质 | |
CN111738004A (zh) | 一种命名实体识别模型的训练方法及命名实体识别的方法 | |
CN112287670A (zh) | 文本纠错方法、系统、计算机设备及可读存储介质 | |
CN110414004B (zh) | 一种核心信息提取的方法和系统 | |
CN111274394A (zh) | 一种实体关系的抽取方法、装置、设备及存储介质 | |
CN110597966A (zh) | 自动问答方法及装置 | |
US20220351634A1 (en) | Question answering systems | |
CN111414745A (zh) | 文本标点确定方法与装置、存储介质、电子设备 | |
CN111611807A (zh) | 一种基于神经网络的关键词提取方法、装置及电子设备 | |
CN112434514B (zh) | 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备 | |
CN112487824A (zh) | 客服语音情感识别方法、装置、设备及存储介质 | |
CN114596845A (zh) | 语音识别模型的训练方法、语音识别方法及装置 | |
EP3832485A1 (en) | Question answering systems | |
CN111291551A (zh) | 文本处理方法、装置、电子设备及计算机可读存储介质 | |
CN117056494B (zh) | 开放域问答的方法、装置、电子设备和计算机存储介质 | |
CN111462734A (zh) | 语义槽填充模型训练方法及系统 | |
CN114638231B (zh) | 实体链接方法、装置及电子设备 | |
CN116150306A (zh) | 问答机器人的训练方法、问答方法及装置 | |
CN115221284A (zh) | 文本相似度的计算方法、装置、电子设备及存储介质 | |
CN113012685B (zh) | 音频识别方法、装置、电子设备及存储介质 | |
CN114692610A (zh) | 关键词确定方法及装置 | |
CN112925961A (zh) | 一种基于企业实体的智能问答方法及装置 | |
CN111611379A (zh) | 一种文本信息分类方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |