CN113868377A - 相似度联合模型训练、语义匹配方法及装置 - Google Patents
相似度联合模型训练、语义匹配方法及装置 Download PDFInfo
- Publication number
- CN113868377A CN113868377A CN202111150006.3A CN202111150006A CN113868377A CN 113868377 A CN113868377 A CN 113868377A CN 202111150006 A CN202111150006 A CN 202111150006A CN 113868377 A CN113868377 A CN 113868377A
- Authority
- CN
- China
- Prior art keywords
- target
- sentence
- similarity
- sample
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本申请提供实施例,属于自然语言处理技术,提供一种相似度联合模型训练、语义匹配方法及装置。方法包括:使用包括至少一个样本子集的样本数据集训练相似度联合模型。每个样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于至少两个样本相似度得到的样本语句与该样本候选语句之间的样本目标相似度;针对任一样本子集,该样本子集中的各样本相似度所属的语义层面均不同。训练好的相似度联合模型可以基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取目标语句与该候选语句之间的目标相似度。基于该目标相似度,可以对目标语句进行语义匹配。本申请提高了语义匹配的准确性。
Description
技术领域
本申请实施例涉及自然语言处理技术。更具体地讲,涉及一种相似度联合模型训练、语义匹配方法及装置。
背景技术
智能电视或者智能冰箱等电子设备可以接收用户的语音信号,并根据语音信号做出相应的操作(例如输出相关推荐,或者控制电子设备进行相应操作等)。以智能电视为例,智能电视在接收到用户的语音信号之后,可以将语音信号转换为相应的语句。然后,智能电视可以对该语句进行语义匹配,得到该语句对应的语义。根据该语句对应的语义,智能电视可以做出相应的操作。
现有的对目标语句进行语义匹配的方法主要包括以下步骤:1、获取目标语句对应的多个候选语句。2、计算该目标语句与各候选语句之间的相似度,将与该目标语句之间相似度最高的候选语句作为该目标语句的目标语义语句。
然而,现有的计算目标语句与各候选语句之间的相似度的方法存在准确性较差的问题,进而可能导致对语句进行语义匹配的准确性较差。
发明内容
本申请示例性的实施方式提供一种相似度联合模型训练、语义匹配方法及装置,以提高语义匹配的准确性。
第一方面,本申请提供一种相似度联合模型训练方法,所述方法包括:
获取样本数据集,所述样本数据集包括至少一个样本子集;每个所述样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于所述至少两个样本相似度得到的所述样本语句与该样本候选语句之间的样本目标相似度;针对任一所述样本子集,该样本子集中的各样本相似度所属的语义层面均不同;
使用所述样本数据集对所述相似度联合模型进行训练,得到训练好的相似度联合模型;所述训练好的相似度联合模型用于,基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取所述目标语句与该候选语句之间的目标相似度。
在一些实施例中,所述获取样本数据集,包括:
针对任一样本语句,在任一语义层面,利用至少两个该语义层面的相似度计算模型,得到所述样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
在一些实施例中,所述利用至少两个该语义层面的相似度计算模型,得到所述样本语句与该样本语句对应的任一样本候选语句之间的样本相似度,包括:
利用任一相似度计算模型,得到该样本语句与该样本语句对应的任一样本候选语句之间的初始样本相似度;
将多个所述初始样本相似度的平均值作为该样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
在一些实施例中,所述语义层面包括下述至少两个层面:语句的字符层面、语句的词语层面、语句的结构层面。
第二方面,本申请提供一种语义匹配方法,所述方法包括:
获取目标语句,以及,所述目标语句对应的多个候选语句;
利用至少两个语义层面的相似度计算模型,获取所述目标语句与该目标语句对应的任一候选语句之间的至少两个相似度;
将每个所述相似度,输入至训练好的相似度联合模型,得到所述目标语句与该目标语句对应的任一候选语句之间的目标相似度;其中,所述相似度联合模型为采用如权利要求1-4任一项所述的方法训练得到的;
根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句;所述目标语义语句为所述多个候选语句中的任一个。
在一些实施例中,在根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句之前,还包括:
从所述候选语句中,提取所述目标语句的各目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量;
所述根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句,包括:
根据所述候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,获取该目标语句与该候选语句之间的目标相似度的系数;
根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,各目标相似度对应的所述系数,获取与所述目标语句匹配的目标语义语句。
在一些实施例中,所述根据所述候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,获取该目标语句与该候选语句之间的目标相似度的系数,包括:
根据下述公式(1)获取所述目标语句与该候选语句之间的目标相似度的系数:
k=αe-a+βes (1)
其中,所述k表示目标语句与该候选语句之间的目标相似度的系数,所述α,以及,所述β均为预设参数,所述a表示该候选语句与目标语句之间反义词词对的数量,所述s表示该候选语句与目标语句之间同义词词对的数量。
在一些实施例中,所述从所述候选语句中,提取所述目标语句的各目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,包括:
将所述目标语句,以及,所述候选语句输入训练好的关键词提取模型,得到所述目标语句的至少一个关键目标实体,以及,所述候选语句的至少一个关键词;
从所述候选语句的至少一个关键词中,提取所述目标语句的至少一个关键目标实体的同义词与反义词,得到该候选语句与所述目标语句之间同义词词对的数量,以及,反义词词对的数量。
在一些实施例中,所述获取与所述目标语句匹配的目标语义语句之后,还包括:
根据所述目标语义语句,执行所述目标语义语句对应的控制指令。
第三方面,本申请提供一种相似度联合模型训练装置,所述装置包括:
获取模块,用于获取样本数据集,所述样本数据集包括至少一个样本子集;每个所述样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于所述至少两个样本相似度得到的所述样本语句与该样本候选语句之间的样本目标相似度;针对任一所述样本子集,该样本子集中的各样本相似度所属的语义层面均不同;
训练模块,用于使用所述样本数据集对所述相似度联合模型进行训练,得到训练好的相似度联合模型;所述训练好的相似度联合模型用于,基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取所述目标语句与该候选语句之间的目标相似度。
第四方面,本申请提供一种语义匹配装置,所述装置包括:
第一获取模块,用于获取目标语句,以及,所述目标语句对应的多个候选语句;
第二获取模块,用于利用至少两个语义层面的相似度计算模型,获取所述目标语句与该目标语句对应的任一候选语句之间的至少两个相似度;
处理模块,用于将每个所述相似度,输入至训练好的相似度联合模型,得到所述目标语句与该目标语句对应的任一候选语句之间的目标相似度;其中,所述相似度联合模型为采用如第一方面任一项所述的方法训练得到的;
第三获取模块,用于根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句;所述目标语义语句为所述多个候选语句中的任一个。
本申请提供的相似度联合模型训练、语义匹配方法及装置,使用不同语义层面的样本相似度,以及,该不同语义层面的样本相似度对应的样本目标相似度,对相似度联合模型进行训练,得到训练好的相似度联合模型。通过上述方法,使得该训练好的相似度联合模型可以将输入的多个语义层面的样本相似度进行联合,获取具有多个语义层面的特征的目标相似度。相较于现有的仅基于一种语义层面的相似度计算模型得到相似度,使用该训练好的相似度联合模型可以获取目标语句与目标语句对应的候选语句之间具有多个语义层面的特征的目标相似度,提高了确定目标语句与目标语句对应的候选语句之间的目标相似度的准确性,进而提高了基于该目标相似度对目标语句进行语义匹配的准确性。
附图说明
为了更清楚地说明本申请实施例或相关技术中的实施方式,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种用户与显示设备进行语音交互的场景示意图;
图2为本申请提供的一种相似度联合模型训练方法的流程示意图;
图3为本申请提供的另一种相似度联合模型训练方法的流程示意图;
图4为本申请提供的一种语义匹配方法的流程示意图;
图5为本申请提供的一种根据目标相似度获取目标语句的目标语义语句的方法流程示意图;
图6为本申请提供的另一种语义匹配方法的流程示意图;
图7为本申请提供的一种相似度联合模型训练装置500的结构示意图;
图8为本申请提供的一种语义匹配装置600的结构示意图;
图9为本申请提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
随着科学技术的发展,越来越多的电子设备可以与用户进行语音交互。以该电子设备为显示设备(如智能电视)为例,示例性的,图1为本申请提供的一种用户与显示设备进行语音交互的场景示意图。如图1所示,显示设备200可以接收用户的语音信号,并根据该语音信号,对显示设备200进行相应的操作。
示例性的,显示设备200例如可以根据用户语音信号对应的语义,进行该语义相关的内容推荐,或者,播放该语义相关的视频,或者,进行音量调节等控制。
在一些实施例中,如图1所示,显示设备200在接收到用户的语音信号之后,可以将该语音信号通过互联网传输给服务器400。服务器400首先可以确定该语音信号的语义。然后根据该语音信号的语义,确定该语音信号对应的操作指令,并将该操作指令发送给显示设备200。然后,显示设备200可以根据该操作指令对显示设备200进行控制。
在一些实施例中,上述显示设备200中还可以存储有语音信号处理算法。通过该语音信号处理算法,显示设备200可以获取用户语音信号的语义。然后显示设备200可以根据该语音信号的语义,确定该语音信号对应的操作指令,进而根据该操作指令对显示设备200进行控制。
应理解,图1仅是以电子设备为显示设备为例对语音交互场景进行的示例性说明。具体实现时,上述电子设备例如还可以为其他具有处理功能的终端,或者服务器等。如智能电视、智能冰箱、智能音响等智能家居,或者,手机、平板电脑、笔记本电脑、台式电脑、智能手表等电子设备。
如前述所说,电子设备在接收到用户的语音信号之后,需要确定该语音信号对应的语义之后,才能做出相应的操作。对于确定该语音信号对应的语义的过程,在一些实施例中,电子设备首先可以将接收到的语音信号转换为相应的语句。然后,电子设备可以对该语句进行语义匹配(Semantic Match),以获取该语句对应的语义。
目前,现有的对语句进行语义匹配的方法包括下述两个主要步骤:
1、获取目标语句对应的多个候选语句。其中,该目标语句基于待进行语义匹配的语句。
获取目标语句的多个候选语句的具体实现方式可以参照现有的实现方式,在此不再赘述。
2、计算该目标语句与各候选语句之间的相似度,将与该目标语句之间相似度最高的候选语句作为该目标语句的目标语义语句。
示例性的,目标语句对应的候选语句例如可以有候选语句1、候选语句2、候选语句3。其中,目标语句与候选语句1之间的相似度为相似度1,目标语句与候选语句2之间的相似度为相似度2,目标语句与候选语句3之间的相似度为相似度3。若相似度1大于相似度2,且相似度2大于相似度3。则可以将候选语句1作为该目标语句的目标语义语句。
目前,根据目标语句与各候选语句之间的相似度所属的语义层面,可以将计算上述相似度的方法划分为以下几种:
1、语句的字符层面。在语句的字符层面计算目标语句与各候选语句之间的相似度,主要是针对任意候选语句,根据目标语句,与,该候选语句之间重复的字符的数量计算该候选语句与该目标语句之间的相似度。其中,候选语句与该目标语句之间的相似度,与,目标语句和该候选语句之间重复的字符的数量正相关。
然而,上述在语句的字符层面计算相似度的方法,没有将目标语句作为一个词语来考虑语义,也没有考虑目标语句的结构对语义的影响,仅是基于重复字符的数量确定相似度,可能导致通过字符层面确定的相似度的准确性较差。
2、语句的词语层面。在语句的词语层面计算目标语句与各候选语句之间的相似度,主要是基于各候选语句在预设语料库中出现的次数,计算候选语句与该目标语句之间的相似度。其中,候选语句与该目标语句之间的相似度,与,候选语句在预设语料库中出现的次数正相关。
上述在语句的词语层面计算相似度的方法,虽然将目标语句作为词语来计算相似度,然而,仍然没有考虑目标语句的结构对语义的影响,同样可能导致通过语句的词语层面确定的相似度的准确性较差。
3、语句的结构层面。在语句的结构层面计算目标语句与各候选语句之间的相似度,可以基于目标语句的结构,确定目标语句与候选语句之间的相似度,进而确定目标语句对应的目标语义。在一些实施例中,通过语句浅层语义相关算法,或者,语句深层语义相关算法均可以获取语句的结构层面的相似度。
其中,通过语句浅层语义相关算法计算目标语句与各候选语句之间的相似度,首先需要基于收录有大量词汇的分词词表,将目标语句的各目标实体,以及,各候选语句中的实体词语均转换为词向量。然后基于上述目标实体对应的词向量和候选语句中的实体词语对应的词向量,对目标语句与候选语句之间进行浅层语义计算,得到目标语句与各候选语句之间的相似度。上述通过语句浅层语义相关算法计算相似度的方法,若上述分词词表中不存在目标实体或者候选语句中的实体,则仍然可能导致通过语句的结构层面确定的相似度的准确性较差。
通过语句深层语义相关算法计算目标语句与各候选语句之间的相似度的方法主要为使用深度神经网络计算上述相似度。通过深度神经网络计算上述相似度时,需要该深度神经网络的层数较多时,才能达到较好的准确性。然而,深度神经网络的层数越多,将导致训练该深度神经网络的效率较慢,以及,应用训练好的深度神经网络进行相似度计算的效率也较慢。为了保证计算相似度的效率,往往需要减少深度神经网络的层数,从而导致上述方法的准确性较差。也就是说,即便现有的语句深层语义相关算法计算相似度的方法考虑了目标语句的结构对语义的影响,然而仍然可能得到的相似度的准确性较差。
因此,现有的计算目标语句与各候选语句之间的相似度的方法均存在准确性较差的问题,进而均可能导致基于该相似度对目标语句进行语义匹配的准确性较差。
考虑到现有的语义匹配方法没有综合目标语句与各候选语句之间多个语义层面的相似度来确定目标语义的语义,导致现有的语义匹配方法存在准确性较差的问题,因此,本申请提供了一种使用多个语义层面的样本相似度训练相似度联合模型的方法,使得训练好的相似度联合模型可以将多个语义层面的相似度进行融合,得到融合了多个语义层面的特征的目标相似度。基于目标语句与各候选语句之间融合了多个语义层面的特征的目标相似度,确定目标语句的语义,相较于现有的仅基于单一语义层面的相似度进行语义匹配的方法,提高了对目标语句进行语义匹配的准确性。
应理解,上述相似度联合模型训练方法的执行主体,与,上述语义匹配方法的执行主体可以为同一电子设备,也可以为不同电子设备。示例性的,上述相似度联合模型训练方法的执行主体例如可以为如图1中所示的服务器400。上述语义匹配方法的执行主体例如可以为如图1中所示的显示设备200或者服务器400。
此外,应理解,图1仅是语义匹配方法的一种应用场景示例,本申请提供的语义匹配方法还可以应用于例如信息检索、问答系统、对话系统等场景。其中,信息检索可视为查询项和文档的语义匹配,问答系统可视为问题和候选答案的语义匹配,对话系统可视为对话语句和回复语句的语义匹配。
首先,下面结合具体地实施例对本申请训练上述相似度联合模型训练的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本申请提供的一种相似度联合模型训练方法的流程示意图。如图2所示,该方法包括以下步骤:
S101、获取样本数据集。
上述样本数据集包括至少一个样本子集。其中,每个样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于至少两个样本相似度得到的样本语句与该样本候选语句之间的样本目标相似度。针对任一样本子集,该样本子集中的各样本相似度所属的语义层面均不同。其中,上述基于至少两个样本相似度得到的样本语句与该样本候选语句之间的样本目标相似度例如可以是用户线下标定的。
在一些实施例中,上述样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度是,基于至少两个语义层面的相似度计算模型得到的。示例性的,上述语义层面例如可以包括下述至少两个层面:语句的字符层面、语句的词语层面、语句的结构层面。
应理解,本申请对各语义层面的相似度计算模型并不进行限定。表1为上述各语义层面对应的相似度计算模型的示例。
表1
其中,N-元算法中的N为大于或等于2的正整数。上述TF-IDF算法、LSI算法均为训练好的算法。上述自训练词向量算法例如可以为静态词向量word2vec算法、Glove算法,以及,动态词向量EIMo算法等。上述预训练之后的神经网络模型例如可以为预训练之后的BERT模型。上述表示型深度语义模型例如可以为训练好的SiaGRU模型(一种自然语言处理模型,可以根据两个语句确定该两个语句之间的相似度)。上述交互型深度语义模型例如可以为增强顺序推理模型(Enhanced Sequential Inference Model,ESIM)。
作为一种可能的实现方式,针对任一样本语句,电子设备可以在任一语义层面,利用至少两个该语义层面的相似度计算模型,得到该样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。通过上述方法,结合了不同相似度计算模型获取同一语义层面下的样本相似度,提高了确定任一语义层面下的样本语句与该样本语句对应的任一样本候选语句之间的样本相似度的准确性。
应理解,本申请对电子设备获取样本语句对应的多个样本候选语句的方式并不进行限定。在一些实施例中,电子设备例如可以获取用户输入的样本语句,以及,用户输入的该样本语句对应的多个样本候选语句。示例性的,电子设备例如可以通过应用程序接口(Application Programming Interface,API),或者,图形用户界面(Graphical UserInterface,GUI)接收用户输入的获取样本语句,以及,该样本语句对应的多个样本候选语句。
在一些实施例中,电子设备还可以在接收到用户输入的样本语句之后,通过预设的候选语句确定算法,确定该样本语句对应的多个样本候选语句。其中,上述预设的候选语句确定算法可以参照现有的实现方式,本申请在此不再赘述。
在获取至少一个样本语句,以及,各样本语句对应的多个样本候选语句之后,在一些实施例中,电子设备可以利用任一相似度计算模型,得到该样本语句与该样本语句对应的任一样本候选语句之间的初始样本相似度。然后,针对同一语义层面的多个相似度计算模型,电子设备可以将通过该多个相似度计算模型得到的多个初始样本相似度的平均值,作为该样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
在一些实施例中,针对同一语义层面下的不同相似度计算模型,电子设备还可以基于各相似度模型对应的预设权重,计算该语义层面下的样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。其中,上述各相似度模型对应的预设权重例如可以为用户预先存储在电子设备中的。
S102、使用样本数据集对相似度联合模型进行训练,得到训练好的相似度联合模型。
其中,上述训练好的相似度联合模型用于,基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取目标语句与该候选语句之间的目标相似度。
示例性的,上述相似度联合模型例如可以为极值梯度提升(eXtreme GradientBoosting,xgboost)算法等。
应理解,本申请对训练上述相似度联合模型时使用的学习率等预设参数,或者,损失函数等并不进行限定。
在一些实施例中,上述相似度联合模型例如还可以为经过预训练之后的相似度联合模型,以提高电子设备使用上述样本数据集对相似度联合模型进行训练的效率。对相似度联合模型进行预训练的执行主体可以为上述电子设备,也可以为不同于上述电子设备的具有处理功能的其他设备。对相似度联合模型进行预训练的具体实现方式可以参照现有的自然语言处理模型的预训练方法,在此不再赘述。
在本实施例中,使用不同语义层面的样本相似度,以及,该不同语义层面的样本相似度对应的样本目标相似度,对相似度联合模型进行训练,得到训练好的相似度联合模型。通过上述方法,使得该训练好的相似度联合模型可以将输入的多个语义层面的样本相似度进行联合,获取具有多个语义层面的特征的目标相似度。相较于现有的仅基于一种语义层面的相似度计算模型得到相似度,使用该训练好的相似度联合模型可以获取目标语句与目标语句对应的候选语句之间具有多个语义层面的特征的目标相似度,提高了确定目标语句与目标语句对应的候选语句之间的目标相似度的准确性,进而提高了基于该目标相似度对目标语句进行语义匹配的准确性。
以一个样本子集中包括:样本语句与该样本语句对应的任一样本候选语句之间的四个样本相似度,且该四个样本相似度所属语义层面分别为语句的字符层面、语句的词语层面,以及,语句的结构层面为例,图3为本申请提供的另一种相似度联合模型训练方法的流程示意图。如图3所示,该方法包括以下步骤:
步骤1、将N-gram算法、Jaccard相关系数算法、编辑距离算法作为语句的字符层面的相似度计算模型;将使用大规模训练语料训练好的TF-IDF算法和使用大规模训练语料训练好的LSI算法作为语句的词语层面的相似度计算模型;将上述自训练词向量算法等浅层语义相关算法,以及,SiaGRU模型和ESIM模型等深层语义相关算法作为语句的结构层面的相似度计算模型;
其中,上述SiaGRU模型、ESIM模型可以均为通过预训练之后的模型。上述大规模训练语料可以为已公开的用于训练语义匹配神经网络的数据集,例如LCQMC(一种公开数据集的名称)数据集。
用于对上述SiaGRU模型、ESIM模型进行预训练的数据集也可以为该LCQMC数据集。上述SiaGRU模型的嵌入(embedding)层和ESIM模型的嵌入层,可以均采用双向转换编码表示模型(Bidirectional Encoder Representations from Transformers,BERT)预训练模型的隐藏层的最后一层的输出向量。不同的是,SiaGRU模型训练过程在嵌入层后通过长短期记忆网络(Long Short-Term Memory,LSTM)网络,将样本语句和候选语句所在的语句编码(encode)成相同长度的向量,然后通过曼哈顿距离(Manhattan Distance)计算上述两个句子向量的相似度。而ESIM模型的训练过程是在嵌入层通过双向LSTM(Bi-directionalLSTM,BiLSTM)网络提取样本语句和候选语句所在的语句特征,然后通过注意力(attention)机制,得到该两个句子的交互表征信息,再将交互表征信息拼接后,通过BiLSTM捕获局部推理信息及该两个句子的上下文信息,最后经过最大池化与平均池化算法,进入全连接层,通过softmax输出层输出候选语句与目标语句之间的相似度。
步骤2、将样本语句,以及,各样本语句对应的多个样本候选语句输入至上述各语义层面的各相似度计算模型,得到各相似度计算模型对应的初始样本相似度。
步骤3、针对同一语义层面的多个相似度计算模型,将各相似度计算模型对应的初始样本相似度的平均值,作为该语义层面的样本相似度。
如图3中所示,其中,fchar表示语句的字符层面的样本相似度,fstat表示语句的词语层面的样本相似度,fbn表示基于浅层语义相关算法得到的语句的结构层面的样本相似度,fdm表示基于深层语义相关算法得到的语句的结构层面的样本相似度。
步骤4、基于上述各语义层面的样本相似度,以及,各语义层面的样本相似度对应的样本目标相似度构成一个样本子集。
步骤5、使用至少一个上述样本子集训练xgboost算法,得到训练好的相似度联合模型。
其中,该xgboost算法可以包括n(n为大于或等于2的整数)个可训练的决策树(如图3中所示的Tree_1到Tree_n)。每个决策树均可以基于输入的样本子集子集中的样本相似度,输出初始预测的样本目标相似度。电子设备可以将各决策树输出的初始预测的样本目标相似度相加,得到xgboost算法输出的预测样本目标相似度(如图3中所示的y)。基于该预测样本目标相似度与各语义层面的样本相似度对应的样本目标相似度,可以对该xgboost算法进行训练。
在本实施例中,基于语句的字符层面、语句的词语层面,以及,语句的结构层面等三个语义层面的多个相似度计算模型,获取用于训练相似度联合模型的样本数据集。使用该样本数据集训练相似度联合模型,使得训练好的相似度联合模型可以基于输入的相似度,输出融合了语句的字符层面、语句的词语层面,以及,语句的结构层面等三个语义层面的特征的目标相似度。
在得到训练好的相似度联合模型之后,可是使用该训练好的相似度联合模型对目标语句进行语义匹配。下面结合具体地实施例对本申请如何使用该训练好的相似度联合模型进行语义匹配进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图4为本申请提供的一种语义匹配方法的流程示意图。如图4所示,该方法包括以下步骤:
S201、获取目标语句,以及,目标语句对应的多个候选语句。
作为第一种可能的实现方式,电子设备可以先获取目标语句,然后根据获取到的目标语句,获取该目标语句对应的多个候选语句。
在该实现方式下,在一些实施例中,电子设备可以接收用户输入的语音信号,通过对该语音信号进行语音识别,得到目标语句。示例性的,电子设备可以通过预先存储在电子设备中的训练好的神经网络模型,对语音信号进行语音识别,以获取该语音信号对应的目标语句。其中,上述训练好的神经网络模型可以将语音信号,转换为目标语句。
在一些实施例中,电子设备还可以接收用户输入的目标语句。示例性的,电子设备例如可以通过GUI或者API等接收用户输入的目标语句。
在获取目标语句之后,在一些实施例中,电子设备可以通过前述预设的候选语句确定算法,获取目标语句对应的多个候选语句。具体实现方式可以参照现有的实现方式,在此不再赘述。
作为第二种可能的实现方式,电子设备可以直接接收用户输入的目标语句,以及,该目标语句对应的多个候选语句。
S202、利用至少两个语义层面的相似度计算模型,获取目标语句与该目标语句对应的任一候选语句之间的至少两个相似度。
示例性的,各语义层面的相似度计算模型可以参数前述表1的示例,在此不再赘述。
在一些实施例中,针对任一语义层面,电子设备可以获取该语义层面的目标语句与该目标语句对应的任一候选语句之间的至少一个相似度。
以电子设备获取每个语义层面的一个相似度为例,在一些实施例中,针对任一语义层面,电子设备可以基于该语义层面的一个相似度计算模型,获取该语义层面的目标语句与该目标语句对应的任一候选语句之间的一个相似度。
针对任一语义层面,电子设备还可以使用该语义层面的多个相似度计算模型,获取该语义层面的目标语句与对应的任一候选语句之间的多个初始相似度。
然后,在一些实施例中,电子设备可以基于该多个初始相似度,获取该语义层面的目标语句与对应的任一候选语句之间的一个相似度。示例性的,电子设备可以将上述多个初始相似度的平均值,作为该语义层面的目标语句与对应的任一候选语句之间的相似度。或者,在一些实施例中,电子设备还可以将上述多个初始相似度均作为该语义层面的目标语句与对应的任一候选语句之间的相似度。
S203、将每个相似度,输入至训练好的相似度联合模型,得到目标语句与该目标语句对应的任一候选语句之间的目标相似度。
其中,该相似度联合模型为采用如前述任一实施例所述的相似度联合模型训练方法训练得到的。
S204、根据目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与目标语句匹配的目标语义语句。
其中,该目标语义语句为上述多个候选语句中的任一个。在一些实施例中,电子设备例如可以将与该目标语句之间的目标相似度最大的候选语句,作为该目标语句对应的目标语义语句。
在本实施例中,通过至少两个语义层面的相似度计算模型,可以获取目标语句与对应的任一候选语句之间的至少两个相似度。使用前述训|练好的相似度联合模型,对上述至少两个相似度进行联合,得到目标语句与对应的任一候选语句之间具有至少两个语义层面的特征的目标相似度。基于该具有至少两个语义层面的特征的目标相似度,电子设备可以对目标语句进行语义匹配,以获取目标语句的语义。相较于现有的语义匹配方法,本申请提供的语义匹配方法可以综合考虑多个语义层面的相似度来确定目标语句与各候选语句之间的目标相似度,提高了确定目标语句与各候选语句之间的目标相似度的准确性,进而提高了基于该目标相似度确定目标语句的语义的准确性。
进一步的,作为一种可能的实现方式,在电子设备对目标语句的进行语义匹配之后,电子设备还可以根据目标语义语句,执行该目标语义语句对应的控制指令。
在一些实施例中,电子设备中例如可以预先存储有语义语句与控制指令的映射关系。在获取目标语句的目标语义语句之后,电子设备可以根据该目标语义语句,以及,语义语句与控制指令的映射关系,确定该目标语义语句对应的控制指令。在确定控制指令之后,电子设备可以执行该控制指令,以使电子设备可以按照该控制指令工作。
示例性的,以上述目标语义语句为″调高音量″为例,电子设备可以确定该目标语义语句对应的控制指令为调高扬声器的音量。因此,电子设备可以控制扬声器的音量增高。
在一些实施例中,上述控制指令例如还可以为控制电子设备与其他电子设备进行交互的指令。示例性的,以上述目标语义语句为″播放E歌曲″,则电子设备可以将该目标语义语句发送给服务器,以从该服务器获取E歌曲对应的播放资源。
下面对电子设备如何根据目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与目标语句匹配的目标语义语句进行详细说明。图5为本申请提供的一种根据目标相似度获取目标语句的目标语义语句的方法流程示意图。如图5所示,作为一种可能的实现方式,上述步骤S204包括以下步骤:
S301、从候选语句中,提取目标语句的各目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量。
作为一种可能的实现方式,电子设备可以基于候选语句中关键词,以及,目标语句中的关键词,获取候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,以提高确定上述同义词词对的数量,以及,反义词词对的数量的效率。
在该实现方式下,电子设备可以将上述目标语句,以及,候选语句输入训练好的关键词提取模型,得到目标语句的至少一个关键目标实体,以及,候选语句的至少一个关键词。然后,电子设备可以从候选语句的至少一个关键词中,提取目标语句的至少一个关键目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量。
示例性的,上述关键词提取模型例如可以为训练好的TF-IDF算法,此处训练好的TF-IDF算法可以基于输入的目标语句和候选语句,输出该目标语句的至少一个关键词,以及,候选语句的至少一个关键词。上述目标语句的至少一个关键词即可作为目标语句的至少一个关键目标实体。
在一些实施例中,电子设备例如可以先在预设的同义词词典中,查找上述目标语句的至少一个关键目标实体,以及,候选语句的至少一个关键词,以确定该目标语句和该候选语句之间是否存在同义词,并在该目标语句和该候选语句之间存在同义词时,计算同义词词对的数量。电子设备可以先在预设的反义词词典中,查找上述目标语句的至少一个关键目标实体,以及,候选语句的至少一个关键词,以确定该目标语句和该候选语句之间是否存在反义词,并在该目标语句和该候选语句之间存在反义词时,计算反义词词对的数量。
在一些实施例中,电子设备还可以根据预设的相似度计算模型,计算目标语句的各关键目标实体与候选语句的各关键词之间的相似度。然后,电子设备可以将相似度大于或等于第一预设相似度阈值的关键目标实体与候选语句的关键词,作为一对同义词;将相似度小于或等于第二预设相似度阈值的关键目标实体与候选语句的关键词,作为一对反义词。其中,上述第一预设相似度阈值大于第二预设相似度阈值。示例性的,上述第一预设相似度阈值与第二预设相似度阈值可以为用户预先存储在电子设备中的。
在一些实施例中,电子设备还可以基于预设的相似度计算模型,以及,预设的同义词词典和预设的反义词词典,从候选语句的至少一个关键词中,提取目标语句的至少一个关键目标实体的同义词与反义词,以提高确定同义词词对的数量,以及,反义词词对的数量的准确性。
在该实现方式下,示例性的,电子设备可以先根据预设的同义词词典和预设的反义词词典确定候选语句与目标语句之间的初始同义词词对和初始反义词词对。然后使用上述预设的相似度计算模型,计算各初始同义词词对的相似度和各初始反义词词对的相似度。在该实现方式下,电子设备可以将相似度大于或等于第一预设相似度阈值的初始同义词词对,作为一对同义词;将相似度小于或等于第二预设相似度阈值的初始反义词词对,作为一对反义词。
或者,电子设备可以先使用上述预设的相似度计算模型,得到初始同义词词对和初始反义词词对。然后,电子设备可以在预设的同义词词典中查找各初始同义词词对。若预设的同义词词典中存在该初始同义词词对,则将该初始同义词词对作为一对同义词。电子设备可以在预设的同义词词典中查找各初始反义词词对。若预设的反义词词典中存在该初始反义词词对,则将该初始反义词词对作为一对反义词。
再或者,电子设备还可以在将目标语句的至少一个关键目标实体,以及,候选语句的至少一个关键词输入至预设的相似度计算模型,得到目标语句的各关键目标实体与候选语句的各关键词之间的相似度时,从预设的同义词词典和预设的反义词词典中确定候选语句与目标语句之间的初始同义词词对和初始反义词词对。然后电子设备可以将相似度大于或等于第一预设相似度阈值,且属于初始同义词词对的关键目标实体和候选语句的关键词作为一对同义词;将相似度小于或等于第二预设相似度阈值,且属于初始反义词词对的关键目标实体和候选语句的关键词作为一对反义词。
S302、根据候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,获取目标语句与该候选语句之间的目标相似度的系数。
作为一种可能的实现方式,电子设备可以根据下述公式(1)获取目标语句与该候选语句之间的目标相似度的系数:
k=αe-a+βes (1)
其中,k表示目标语句与该候选语句之间的目标相似度的系数。α,以及,β均为预设参数。α和β可以均为大于0的常数。该α和β可以是用户通过线下实验标定,并预先存储在电子设备中的,α可以作为反义词词对的数量对应的权重,β可以作为同义词词对的数量对应的权重。a表示候选语句与目标语句之间反义词词对的数量,s表示候选语句与目标语句之间同义词词对的数量。
公式(1)中的e-a为负相关的函数,也就是说,随着候选语句与目标语句之间反义词词对的数量的增加,e-a减小,上述系数k越小,也就表征减小了该候选语句与该目标语句之间的目标相似度。公式(1)中的es为正相关的函数,也就是说,随着候选语句与目标语句之间正义词词对的数量的增加,es增加,上述系数k越大,也就表征增大了该候选语句与该目标语句之间的目标相似度。
作为另一种可能的实现方式,电子设备也可以将上述候选语句与目标语句之间反义词词对的数量作为其他类型的负相关函数的变量,将上述候选语句与目标语句之间正义词词对的数量作为其他类型的正相关函数的变量,具体实现方式可以参照上述公式(1),在此不再赘述。
S303、根据目标语句与该目标语句对应的任一候选语句之间的目标相似度,各目标相似度对应的系数,获取与目标语句匹配的目标语义语句。
在一些实施例中,针对任一目标相似度,电子设备可以将该目标相似度与该目标相似度对应的系数的乘积,作为该目标相似度对应的约束后的目标相似度。然后,针对任一目标实体,电子设备例如可以将与该目标语句之间的约束后的目标相似度最大的候选语句,作为该目标语句对应的目标语义语句。
在本实施例中,通过候选语句与目标语句之间的同义词词对的数量,以及候选语句与目标语句之间的反义词词对的数量,确定该候选语句与目标语句之间的目标相似度的系数。通过该系数,约束目标相似度,进而基于约束后的目标相似度获取目标语句的目标语义语句。候选语句与目标语句之间的同义词词对的数量与反义词词对的数量可以表征该候选语句与目标语句的语义相似程度。因此,通过上述方法,进一步提高了对目标语句进行语义匹配的准确性。
图6为本申请提供的另一种语义匹配方法的流程示意图。如图6所示,该方法包括以下步骤:
S401、获取目标语句,以及,目标语句对应的各候选语句。
在执行步骤S401之后,电子设备可以先执行步骤S402-S403,然后执行步骤S404-S405;或者,先执行步骤S404-S405,然后执行步骤S402-S403;再或者同时执行步骤S402-S403,以及,步骤S404-S405。
S402、利用语句的字符层面、语句的词语层面,以及,语句的结构层面等三个语义层面的相似度计算模型,获取目标语句与任一候选语句之间的至少三个相似度。
S403、将上述至少三个相似度均输入至训练好的相似度联合模型,得到目标语句与任一候选语句之间的目标相似度。
S404、将上述目标语句,以及,候选语句输入训练好的关键词提取模型,得到目标语句的至少一个关键目标实体,以及,候选语句的至少一个关键词。
S405、基于预设的相似度计算模型,以及,预设的同义词词典和反义词词典,获取候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量。
具体实现方式可以参照前述实施例,在此不再赘述。
S406、使用候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,对上述目标相似度进行约束,得到约束后的目标相似度。
电子设备可以通过下述公式(2)所示的约束函数,对目标相似度进行约束:
scoreoutput=(αe-a+βes)×scoreunion (2)
其中,scoreoutput表示约束后的目标相似度,scoreunion表示电子设备执行S403输出的目标相似度。
S407、根据目标语句与各候选语句之间的约束后的目标相似度,获取与目标语句匹配的目标语义语句。
在本实施例中,基于训练好的相似度联合模型,对上述各语义层面的相似度进行联合,得到目标语句与各候选语句之间之间具有三个语义层面的特征的目标相似度,提高了确定目标相似度的准确性,进而提高了确定目标语句的目标语义语句的准确性。进一步的,根据基于候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量确定的系数,对该目标相似度进行约束,得到约束后的目标相似度。该约束后的目标相似度与上述同义词词对的数量正相关,与上述反义词词对的数量负相关,进一步提高了基于该目标相似度,对目标语句进行语义匹配的准确性。
图7为本申请提供的一种相似度联合模型训练装置500的结构示意图。如图7所示,该装置500可以包括:获取模块501、训练模块502。其中,
获取模块501,用于获取样本数据集。其中,所述样本数据集包括至少一个样本子集;每个所述样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于所述至少两个样本相似度得到的所述样本语句与该样本候选语句之间的样本目标相似度;针对任一所述样本子集,该样本子集中的各样本相似度所属的语义层面均不同。
训练模块502,用于使用所述样本数据集对所述相似度联合模型进行训练,得到训练好的相似度联合模型。其中,所述训练好的相似度联合模型用于,基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取所述目标语句与该候选语句之间的目标相似度。
在一些实施例中,获取模块501,具体用于针对任一样本语句,在任一语义层面,利用至少两个该语义层面的相似度计算模型,得到所述样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
在一些实施例中,获取模块501,具体用于利用利用任一相似度计算模型,得到该样本语句与该样本语句对应的任一样本候选语句之间的初始样本相似度;将多个所述初始样本相似度的平均值作为该样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
在一些实施例中,所述语义层面包括下述至少两个层面:语句的字符层面、语句的词语层面、语句的结构层面。
本实施例提供的相似度联合模型训|练装置500,可以执行上述相似度联合模型训练方法实施例,其实现原理和技术效果类似,在此不再赘述。
图8为本申请提供的一种语义匹配装置600的结构示意图。如图8所示,该装置600可以包括:第一获取模块601、第二获取模块602、处理模块603、第三获取模块604。其中,
第一获取模块601,用于获取目标语句,以及,所述目标语句对应的多个候选语句。
第二获取模块602,用于利用至少两个语义层面的相似度计算模型,获取所述目标语句与该目标语句对应的任一候选语句之间的至少两个相似度。
处理模块603,用于将每个所述相似度,输入至训练好的相似度联合模型,得到所述目标语句与该目标语句对应的任一候选语句之间的目标相似度;所述相似度联合模型为采用如前述任一实施例所述的相似度联合模型训练方法训练得到的。
第三获取模块604,用于根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句。其中,所述目标语义语句为所述多个候选语句中的任一个。
在一些实施例中,第一获取模块601,还用于在根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句之前,从所述候选语句中,提取所述目标语句的各目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量。在该实现方式下,第三获取模块604,具体用于根据所述候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,获取该目标语句与该候选语句之间的目标相似度的系数;根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,各目标相似度对应的所述系数,获取与所述目标语句匹配的目标语义语句。
在一些实施例中,第三获取模块604,具体用于根据下述公式(1)获取所述目标语句与该候选语句之间的目标相似度的系数:
k=αe-a+βes (1)
其中,所述k表示目标语句与该候选语句之间的目标相似度的系数,所述α,以及,所述β均为预设参数,所述a表示该候选语句与目标语句之间反义词词对的数量,所述s表示该候选语句与目标语句之间同义词词对的数量。
在一些实施例中,第三获取模块604,具体用于将所述目标语句,以及,所述候选语句输入训练好的关键词提取模型,得到所述目标语句的至少一个关键目标实体,以及,所述候选语句的至少一个关键词;从所述候选语句的至少一个关键词中,提取所述目标语句的至少一个关键目标实体的同义词与反义词,得到该候选语句与所述目标语句之间同义词词对的数量,以及,反义词词对的数量。
在一些实施例中,语义匹配装置600还可以包括执行模块605,用于在获取与所述目标语句匹配的目标语义语句之后,根据所述目标语义语句,执行所述目标语义语句对应的控制指令。
本实施例提供的语义匹配装置600,可以执行上述语义匹配方法实施例,其实现原理和技术效果类似,在此不再赘述。
图9为本申请提供的一种电子设备的结构示意图。如图9所示,该电子设备700可以包括:至少一个处理器701和存储器702。其中,
存储器702,用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机操作指令。
存储器702可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器701用于执行存储器702存储的计算机执行指令,以实现前述方法实施例所述的相似度联合模型训练方法或者语义匹配方法。其中,处理器701可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application SpecificIntegrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的该电子设备700还可以包括通信接口703。在具体实现上,如果通信接口703、存储器702和处理器701独立实现,则通信接口703、存储器702和处理器701可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture,简称为ISA)总线、外部设备互连(Peripheral Component,简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果通信接口703、存储器702和处理器701集成在一块芯片上实现,则通信接口703、存储器702和处理器701可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质,具体的,该计算机可读存储介质中存储有程序指令,程序指令用于上述实施例中的方法。
本申请还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的相似度联合模型训练方法或者语义匹配方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (11)
1.一种相似度联合模型训练方法,其特征在于,所述方法包括:
获取样本数据集,所述样本数据集包括至少一个样本子集;每个所述样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于所述至少两个样本相似度得到的所述样本语句与该样本候选语句之间的样本目标相似度;针对任一所述样本子集,该样本子集中的各样本相似度所属的语义层面均不同;
使用所述样本数据集对所述相似度联合模型进行训练,得到训练好的相似度联合模型;所述训练好的相似度联合模型用于,基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取所述目标语句与该候选语句之间的目标相似度。
2.根据权利要求1所述的方法,其特征在于,所述获取样本数据集,包括:
针对任一样本语句,在任一语义层面,利用至少两个该语义层面的相似度计算模型,得到所述样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
3.根据权利要求2所述的方法,其特征在于,所述利用至少两个该语义层面的相似度计算模型,得到所述样本语句与该样本语句对应的任一样本候选语句之间的样本相似度,包括:
利用任一相似度计算模型,得到该样本语句与该样本语句对应的任一样本候选语句之间的初始样本相似度;
将多个所述初始样本相似度的平均值作为该样本语句与该样本语句对应的任一样本候选语句之间的样本相似度。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述语义层面包括下述至少两个层面:语句的字符层面、语句的词语层面、语句的结构层面。
5.一种语义匹配方法,其特征在于,所述方法包括:
获取目标语句,以及,所述目标语句对应的多个候选语句;
利用至少两个语义层面的相似度计算模型,获取所述目标语句与该目标语句对应的任一候选语句之间的至少两个相似度;
将每个所述相似度,输入至训练好的相似度联合模型,得到所述目标语句与该目标语句对应的任一候选语句之间的目标相似度;其中,所述相似度联合模型为采用如权利要求1-4任一项所述的方法训练得到的;
根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句;所述目标语义语句为所述多个候选语句中的任一个。
6.根据权利要求5所述的方法,其特征在于,在根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句之前,还包括:
从所述候选语句中,提取所述目标语句的各目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量;
所述根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句,包括:
根据所述候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,获取该目标语句与该候选语句之间的目标相似度的系数;
根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,各目标相似度对应的所述系数,获取与所述目标语句匹配的目标语义语句。
7.根据权利要求6所述的方法,其特征在于,所述根据所述候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,获取该目标语句与该候选语句之间的目标相似度的系数,包括:
根据下述公式(1)获取所述目标语句与该候选语句之间的目标相似度的系数:
k=αe-a+βes (1)
其中,所述k表示目标语句与该候选语句之间的目标相似度的系数,所述α,以及,所述β均为预设参数,所述a表示该候选语句与目标语句之间反义词词对的数量,所述s表示该候选语句与目标语句之间同义词词对的数量。
8.根据权利要求6所述的方法,其特征在于,所述从所述候选语句中,提取所述目标语句的各目标实体的同义词与反义词,得到候选语句与目标语句之间同义词词对的数量,以及,反义词词对的数量,包括:
将所述目标语句,以及,所述候选语句输入训练好的关键词提取模型,得到所述目标语句的至少一个关键目标实体,以及,所述候选语句的至少一个关键词;
从所述候选语句的至少一个关键词中,提取所述目标语句的至少一个关键目标实体的同义词与反义词,得到该候选语句与所述目标语句之间同义词词对的数量,以及,反义词词对的数量。
9.根据权利要求5-8任一项所述的方法,其特征在于,所述获取与所述目标语句匹配的目标语义语句之后,还包括:
根据所述目标语义语句,执行所述目标语义语句对应的控制指令。
10.一种相似度联合模型训练装置,其特征在于,所述装置包括:
获取模块,用于获取样本数据集,所述样本数据集包括至少一个样本子集;每个所述样本子集包括样本语句与该样本语句对应的任一样本候选语句之间的至少两个样本相似度,以及,基于所述至少两个样本相似度得到的所述样本语句与该样本候选语句之间的样本目标相似度;针对任一所述样本子集,该样本子集中的各样本相似度所属的语义层面均不同;
训练模块,用于使用所述样本数据集对所述相似度联合模型进行训练,得到训练好的相似度联合模型;所述训练好的相似度联合模型用于,基于目标语句与该目标语句对应的任一候选语句之间的至少两个相似度,获取所述目标语句与该候选语句之间的目标相似度。
11.一种语义匹配装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标语句,以及,所述目标语句对应的多个候选语句;
第二获取模块,用于利用至少两个语义层面的相似度计算模型,获取所述目标语句与该目标语句对应的任一候选语句之间的至少两个相似度;
处理模块,用于将每个所述相似度,输入至训练好的相似度联合模型,得到所述目标语句与该目标语句对应的任一候选语句之间的目标相似度;其中,所述相似度联合模型为采用如权利要求1-4任一项所述的方法训练得到的;
第三获取模块,用于根据所述目标语句与该目标语句对应的任一候选语句之间的目标相似度,获取与所述目标语句匹配的目标语义语句;所述目标语义语句为所述多个候选语句中的任一个。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111150006.3A CN113868377A (zh) | 2021-09-29 | 2021-09-29 | 相似度联合模型训练、语义匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111150006.3A CN113868377A (zh) | 2021-09-29 | 2021-09-29 | 相似度联合模型训练、语义匹配方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113868377A true CN113868377A (zh) | 2021-12-31 |
Family
ID=78992535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111150006.3A Pending CN113868377A (zh) | 2021-09-29 | 2021-09-29 | 相似度联合模型训练、语义匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113868377A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117370638A (zh) * | 2023-12-08 | 2024-01-09 | 中国科学院空天信息创新研究院 | 思维图提示增强的基础模型任务分解与调度方法及装置 |
-
2021
- 2021-09-29 CN CN202111150006.3A patent/CN113868377A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117370638A (zh) * | 2023-12-08 | 2024-01-09 | 中国科学院空天信息创新研究院 | 思维图提示增强的基础模型任务分解与调度方法及装置 |
CN117370638B (zh) * | 2023-12-08 | 2024-05-07 | 中国科学院空天信息创新研究院 | 思维图提示增强的基础模型任务分解与调度方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11017178B2 (en) | Methods, devices, and systems for constructing intelligent knowledge base | |
CN108829822B (zh) | 媒体内容的推荐方法和装置、存储介质、电子装置 | |
CN111241237B (zh) | 一种基于运维业务的智能问答数据处理方法及装置 | |
CN112487182A (zh) | 文本处理模型的训练方法、文本处理方法及装置 | |
CN112528637B (zh) | 文本处理模型训练方法、装置、计算机设备和存储介质 | |
JP2023535709A (ja) | 言語表現モデルシステム、事前訓練方法、装置、機器及び媒体 | |
CN110162596B (zh) | 自然语言处理的训练方法、装置、自动问答方法和装置 | |
CN111599340A (zh) | 一种多音字读音预测方法、装置及计算机可读存储介质 | |
CN113505198B (zh) | 关键词驱动的生成式对话回复方法、装置及电子设备 | |
CN108804427B (zh) | 语音机器翻译方法及装置 | |
US20220300708A1 (en) | Method and device for presenting prompt information and storage medium | |
CN110597968A (zh) | 一种回复选择方法及装置 | |
CN113239666A (zh) | 一种文本相似度计算方法及系统 | |
CN111126084B (zh) | 数据处理方法、装置、电子设备和存储介质 | |
CN114328817A (zh) | 一种文本处理方法和装置 | |
CN112581327A (zh) | 基于知识图谱的法律推荐方法、装置和电子设备 | |
CN110895656A (zh) | 一种文本相似度计算方法、装置、电子设备及存储介质 | |
CN111813993A (zh) | 视频内容的拓展方法、装置、终端设备及存储介质 | |
CN112949293B (zh) | 一种相似文本生成方法、相似文本生成装置及智能设备 | |
CN113868377A (zh) | 相似度联合模型训练、语义匹配方法及装置 | |
CN113609873A (zh) | 翻译模型训练方法、装置及介质 | |
CN117235250A (zh) | 一种对话摘要生成方法、装置和设备 | |
CN112307738A (zh) | 用于处理文本的方法和装置 | |
CN116150306A (zh) | 问答机器人的训练方法、问答方法及装置 | |
CN113505196B (zh) | 基于词性的文本检索方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |