CN111382246B - 文本的匹配方法、匹配装置、终端及计算机可读存储介质 - Google Patents
文本的匹配方法、匹配装置、终端及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111382246B CN111382246B CN201811640931.2A CN201811640931A CN111382246B CN 111382246 B CN111382246 B CN 111382246B CN 201811640931 A CN201811640931 A CN 201811640931A CN 111382246 B CN111382246 B CN 111382246B
- Authority
- CN
- China
- Prior art keywords
- text
- vector
- matching
- mapping
- mapping function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 164
- 238000013507 mapping Methods 0.000 claims abstract description 143
- 230000006870 function Effects 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000005284 excitation Effects 0.000 claims description 6
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/527—Centralised call answering arrangements not requiring operator intervention
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及自然语言处理技术领域,提供了一种文本的匹配方法、匹配装置、终端及计算机可读存储介质。其中,所述匹配方法包括:获取第一文本和第二文本;获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;计算所述第一向量和所述第二向量的向量积;根据第一映射函数将所述向量积映射为第一特征向量;根据第二映射函数将所述第一向量映射为第二特征向量;基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。本发明应用于自动客服系统,能够为用户输入的问题文本匹配到较为准确的匹配文本,从而可以实现对用户问题的准确作答,有利于提升用户体验。
Description
技术领域
本发明属于自然语言处理技术领域,尤其涉及一种文本的匹配方法、匹配装置、终端及计算机可读存储介质。
背景技术
传统的人工客服是典型的劳动密集型行业,工作时间长、工作重复性高,提高了企业的人力成本和管理成本。因此,亟需一种能够对用户的提问进行自动作答的智能客服系统来替代人工客服。
现有技术中,通常采用获取用户提问的问题文本中的关键词,并通过关键词匹配来搜索与用户提问的问题相关的回答,并将回答返回给用户。然而,关键词仅属于用户输入的问题文本的一个局部特征,根据该局部特征可能会搜索到多个匹配文本,匹配的细粒度不够好、准确率低,用户体验很差。
发明内容
有鉴于此,本发明提供了一种文本的匹配方法、匹配装置、终端及计算机可读存储介质,以解决现有的自动客服系统文本匹配的细粒度不够好、准确率低的问题。
本发明实施例的第一方面提供了一种文本的匹配方法,包括:
获取第一文本和第二文本;
获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;
计算所述第一向量和所述第二向量的向量积;
根据第一映射函数将所述向量积映射为第一特征向量;
根据第二映射函数将所述第一向量映射为第二特征向量;
基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
本发明实施例的第二方面提供了一种文本的匹配装置,包括:
文本获取单元,用于获取第一文本和第二文本;
向量获取单元,用于获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;
向量计算单元,用于计算所述第一向量和所述第二向量的向量积;
第一映射单元,用于根据第一映射函数将所述向量积映射为第一特征向量;
第二映射单元,用于根据第二映射函数将所述第一向量映射为第二特征向量;
匹配单元,用于基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
本发明实施例的第三方面提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如任一项所述文本的匹配方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如任一项所述文本的匹配方法的步骤。
本发明与现有技术相比存在的有益效果是:
本发明通过将第一文本和第二文本以第一向量和第二向量进行文本表示,取得第一文本和第二文本的文本特征;利用第一映射函数将二者的文本特征的向量积进行映射,提取到包含较好细粒度的第一文本和第二文本的匹配特征,并通过第二映射函数对第一向量进行映射,取得第一文本的浅层文本特征,利用该浅层文本特征可以对第一文本和第二文本的匹配特征进行权重调整,使得最终确定的匹配结果具有较好的准确性。应用于自动客服系统,能够为用户输入的问题文本匹配到较为准确的匹配文本,从而可以实现对用户问题的准确作答,有利于提升用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的文本的匹配方法的实现流程图;
图2是本发明另一实施例提供的文本的匹配方法的实现流程图;
图3是本发明实施例提供的文本的匹配装置的结构示意图;
图4是本发明实施例提供的终端的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
参见图1,其示出了本发明实施例提供的文本的匹配方法的实现流程图,详述如下:
在步骤101中、获取第一文本和第二文本。
在本发明实施例中,第一文本可以为用户输入的问题对应的文本,第二文本可以为预设的文本库中选取的一个文本,通过计算第一文本和第二文本之间的匹配度,可以从文本库中选取与第一文本匹配度最高的一个文本,并将该文本的关联语句(例如,该文本对应的回答语句)返回给用户,实现对用户问题的自动作答。
在步骤102中、获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量。
在本发明实施例中,文本对应的向量指该文本的特征表示,具体的,可以通过对文本进行分词处理,并去除其中的停用词(例如一些简单的连接词、语气助词等)、标点符号以及无意义词,根据训练好的词向量模型将其余的词映射为词向量,这些词向量的集合即为文本对应的向量。
具体的,可以采用Word2vec模型实现词向量的生成。当应用于客服问答系统时,可以结合客服问题的常见专业词,对模型进行重训练,得到符合客服问答系统需求的词向量模型。这样,生成的词向量不仅能够适应客服语料,还能保证常用词的通用性。
在本发明实施例中,文本的分词结果可以映射为指定维度的词向量,例如映射为300维的词向量。
在步骤103中、计算所述第一向量和所述第二向量的向量积。
在本发明实施例中,设第一向量为q1=(x1,x2,x3,...,xm),第二向量为q2=(y1,y2,y3,...,yn),则可以根据以下的向量积计算公式计算第一向量和第二向量的向量积,其中,向量积计算公式为:
在步骤104中、根据第一映射函数将所述向量积映射为第一特征向量。
在本发明实施例中,可以根据第一映射函数将上述计算得到的向量积映射为第一特征向量。本次映射的过程可以理解为提取向量积中最大的前K个值(例如K的取值可以为10)。这样既关注了最关键的前K个词,又能够将变长的输入问题转换成固定长度的问题。
在本发明实施例中,第一映射函数还可以理解为神经网络的核函数,也即,该第一映射函数对应了一个神经网络,将上述计算得到的向量积输入该神经网络,即可输出该第一特征向量。其中,神经网络的参数即该第一映射函数的参数,该第一映射函数的多层映射关系可以对应神经网络的各隐藏层,神经网络的参数包括多层映射关系分别对应的权重矩阵和偏置向量,这些参数可以通过预先训练来确定。
所述第一映射函数包括多层映射关系,所述第一映射函数的数学表示为:
z(l)=relu(W(l)z(l-1)+b(l))
其中,设第一映射函数包括的映射关系的层数为L,则l=1,2,...,L,W(l)表示第l层映射关系对应的权重矩阵,b(l)表示第l层映射关系对应的偏置向量,z(l-1)表示第l层映射关系对应的输入,z(l)表示第l层映射关系对应的映射输出,relu表示映射输出的激励方式。
在步骤105中、根据第二映射函数将所述第一向量映射为第二特征向量。
在本发明实施例中,利用第二映射函数将第一向量映射为第二特征向量,该第二映射函数为单层映射关系,可以理解为一个浅层的神经网络,用于获取第一向量的浅层特征。若该第一向量为对用户输入的问题文本映射得到的向量,第二映射函数相当于对用户的查询问题进行一次浅层映射,并可以基于本次浅层映射的结果对上述匹配特征进行一次权重调整,使得上述的匹配特征不至于过度偏离第一文本的语义。
可选的,所述第二映射函数的数学表示可以为:
h=relu(Wpq1+bp)
其中,h表示第二映射函数的映射输出,q1表示第二映射函数的输入,Wp表示第二映射函数的权重矩阵,bp表示第二映射函数的偏置向量,relu表示映射输出的激励方式。
可选的,所述第一映射函数的各层映射关系对应的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量为通过训练得到,训练的步骤包括:
获取训练样本,其中,所述训练样本包括正向样本和负向样本,所述正向样本包含的文本对之间的匹配度大于所述负向样本包含的文本对之间的匹配度;
利用所述训练样本对所述第一映射函数和所述第二映射函数进行迭代计算;
根据预设的损失函数计算所述训练样本中正向样本对应的输出结果和负向样本对应的输出结果的损失值,并根据所述损失值进行梯度更新,确定所述第一映射函数的各层映射关系对应的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量。
在本发明实施例中,可以预先构建训练样本,构建的训练样本可以包括三个文本,其中第一个文本和第二个文本组成的文本对为正向样本,第一个文本和第三个文本组成的文本对为负向样本,正向样本的文本对的相关度大于负向样本的文本对的相关度。
在本发明实施例中,利用与上述进行文本匹配的方法同样的步骤对正向样本和负向样本分别进行文本匹配,得到正向样本输出结果(匹配度)和负向样本的输出结果(匹配度),对两个输出结果进行比对,利用预设的损失函数计算损失值,根据损失值进行梯度更新,经过多次迭代计算最终可以确定所述第一映射函数的各层映射关系对应的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量。
可选的,所述获取训练样本包括:
收集训练用的文本;
对所述训练用的文本进行分类,确定各文本的所属类别;
根据所述各文本的所属类别,确定所述各文本之间的匹配度;
基于所述各文本之间的匹配度构建文本三元组(Q1,Q2,Q3)作为训练样本,其中,Q1与Q2组成正向样本,Q1与Q3组成负向样本,所述正向样本之间的匹配度大于所述负向样本之间的匹配度。
在本发明实施例中,可以预先收集客服问答对应的文本数据,并根据文本类别属性对文本数据按类别进行划分,每个类别可以包含多个主问题以及与主问题对应的相似问题。
在一个实施例中,每个主问题对应的文本可以包括两个级别的类别。例如,对于一个主问题,可以将该主问题和其相似问题的相关度设定为最大,将主问题和与其1、2级类别均相同的主问题的相关度设定为次大;将主问题和其它问题的相关度设定为最小。如此可以构建一系列(Q1,Q2,Q3)的三元组,该三元组中,Q1与Q2的相关度高于Q2与Q3的相关度。
示例性的,如已知Q1的问题为“机器人如何充电”,Q2为Q1的相似问题:“机器人是通过usb充电吗”,故而Q1与Q2的相关度设为2;Q3的类别与Q1的一二级类别均相同,问题为:“机器人续航时间多久”,则Q1与Q3的相关度设为1;Q4与Q1的二级类别不同,问题为:“机器人有何安全隐患”,则Q1与Q4的相关度设为0;如此的四个问题,可以构建如下四个符合要求的三元组:(Q1,Q2,Q3),(Q1,Q2,Q4),(Q1,Q3,Q4),(Q2,Q3,Q4)。
可选的,所述损失函数可以为:
L(q1,q2,q3;Θ)=max(0,margin-s(q1,q2)+s(q1,q3))
其中,q1,q2和q3分别表示Q1、Q2和Q3对应的向量,margin表示预设的正向样本和负向样本的相似间距,s(q1,q2)表示正向样本对应的输出结果,s(q1,q3)表示负向样本对应的输出结果,L(q1,q2,q3;Θ)表示在匹配排序模型的参数为Θ、输入为(q1,q2)和(q1,q3)时对应的损失值。
在一个实现方式中,为了提高训练速度,还可以选用Adam算法来完成梯度的更新。
在步骤106中、基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
在本发明实施例中,可以对第一特征向量和第二特征向量进行向量的叉乘运算,将运算结果作为第二文本和第一文本的匹配度。计算公式可以如下:
其中,s表示输出的匹配度,z(L)表示第一特征向量,h表示第二特征向量。
需要说明的是,本发明提供的文本匹配方法是在大规模知识处理基础上发展起来的一项可面向各行业进行应用。例如,可以适用于专业信息处理、自然语义理解、信息化管理、咨询问题自动回答、检索排序等技术行业。本发明提供的文本匹配方式不仅关注了词间的匹配,同时也关注了字词的权重性因素,不仅能够有效地解决非核心词匹配度高导致检索质量差的情况,而且利用词向量也能更加关注词间语义的关系,从而有效地提高了返回结果的质量。
由上可知,本发明通过将第一文本和第二文本以第一向量和第二向量进行文本表示,取得第一文本和第二文本的文本特征;利用第一映射函数将二者的文本特征的向量积进行映射,提取到包含较好细粒度的第一文本和第二文本的匹配特征,并通过第二映射函数对第一向量进行映射,取得第一文本的浅层文本特征,利用该浅层文本特征可以对第一文本和第二文本的匹配特征进行权重调整,使得最终确定的匹配结果具有较好的准确性。应用于自动客服系统,能够为用户输入的问题文本匹配到较为准确的匹配文本,从而可以实现对用户问题的准确作答,有利于提升用户体验。
图2示出了本发明另一实施例提供的文本的匹配方法的实现流程图,详述如下:
在步骤201中、获取第一文本,以及所述第一文本的类别信息。
在步骤202中、基于所述类别信息确定与所述第一文本对应的文本匹配库。
在步骤203中、从所述文本匹配库中选取与所述第一文本进行匹配的第二文本。
在实际应用中,可以为不同的产品类别创建不同的文本库,当接收用户输入的问题时,可以提供问题类别选项,并结束用户选择的其输入问题的类别,根据用户选取的其输入问题的类别来确定对应的文本库,将用户输入的问题对应的文本在该文本库中进行文本匹配。
可选的,所述匹配方法还包括:
分别确定所述文本匹配库中各文本与所述第一文本的匹配度;
将所述匹配库中与所述第一文本的匹配度最高的文本作为所述第一文本的匹配文本。
由上可知,本发明通过将第一文本和第二文本以第一向量和第二向量进行文本表示,取得第一文本和第二文本的文本特征;利用第一映射函数将二者的文本特征的向量积进行映射,提取到包含较好细粒度的第一文本和第二文本的匹配特征,并通过第二映射函数对第一向量进行映射,取得第一文本的浅层文本特征,利用该浅层文本特征可以对第一文本和第二文本的匹配特征进行权重调整,使得最终确定的匹配结果具有较好的准确性。应用于自动客服系统,能够为用户输入的问题文本匹配到较为准确的匹配文本,从而可以实现对用户问题的准确作答,有利于提升用户体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
以下为本发明的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图3示出了本发明实施例提供的文本的匹配装置的结构示意图,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
如图3所示,文本的匹配装置3包括:文本获取单元31,向量获取单元32,向量计算单元33,第一映射单元34,第二映射单元35和匹配单元36。
文本获取单元31,用于获取第一文本和第二文本;
向量获取单元32,用于获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;
向量计算单元33,用于计算所述第一向量和所述第二向量的向量积;
第一映射单元34,用于根据第一映射函数将所述向量积映射为第一特征向量;
第二映射单元35,用于根据第二映射函数将所述第一向量映射为第二特征向量;
匹配单元36,用于基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
可选的,文本的匹配装置3还包括:
类别信息获取单元,用于获取所述第一文本的类别信息;
文本库确定单元,用于基于所述类别信息确定与所述第一文本对应的文本匹配库;
文本获取单元31还用于,从所述文本匹配库中选取与所述第一文本进行匹配的第二文本。
可选的,匹配单元36还用于,分别确定所述文本匹配库中各文本与所述第一文本的匹配度,并将将所述匹配库中与所述第一文本的匹配度最高的文本作为所述第一文本的匹配文本。
可选的,所述第一映射函数包括多层映射关系,所述第一映射函数的数学表示为:
z(l)=relu(W(l)z(l-1)+b(l))
其中,设第一映射函数包括的映射关系的层数为L,则l=1,2,...,L,W(l)表示第l层映射关系对应的权重矩阵,b(l)表示第l层映射关系对应的偏置向量,z(l-1)表示第l层映射关系对应的输入,z(l)表示第l层映射关系对应的映射输出,relu表示映射输出的激励方式;
所述第二映射函数的数学表示为:
h=relu(Wpq1+bp)
其中,h表示第二映射函数的映射输出,q1表示第二映射函数的输入,Wp表示第二映射函数的权重矩阵,bp表示第二映射函数的偏置向量,relu表示映射输出的激励方式。
可选的,所述第一映射函数的各层映射关系对应的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量为通过训练得到,文本的匹配装置3还包括:
训练样本获取单元,用于获取训练样本,其中,所述训练样本包括正向样本和负向样本,所述正向样本包含的文本对之间的匹配度大于所述负向样本包含的文本对之间的匹配度;
训练单元,用于利用所述训练样本对所述第一映射函数和所述第二映射函数进行训练;并根据预设的损失函数计算所述训练样本中正向样本对应的输出结果和负向样本对应的输出结果的损失值,并根据所述损失值进行梯度更新,确定所述第一映射函数的各层的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量。
可选的,文本的匹配装置3还包括:
文本采集单元,用于采集训练用的文本;
类别确定单元,用于对所述训练用的文本进行分类,确定各文本的所属类别;
所述训练单元具体用于,根据所述各文本的所属类别,确定所述各文本之间的匹配度;并基于所述各文本之间的匹配度构建文本三元组(Q1,Q2,Q3)作为训练样本,其中,Q1与Q2组成正向样本,Q1与Q3组成负向样本,所述正向样本之间的匹配度大于所述负向样本之间的匹配度。
可选的,所述损失函数为:
L(q1,q2,q3;Θ)=max(0,margin-s(q1,q2)+s(q1,q3))
其中,q1,q2和q3分别表示Q1、Q2和Q3对应的向量,margin表示预设的正向样本和负向样本的相似间距,s(q1,q2)表示正向样本对应的输出结果,s(q1,q3)表示负向样本对应的输出结果,L(q1,q2,q3;Θ)表示在匹配排序模型的参数为Θ、输入为(q1,q2)和(q1,q3)时对应的损失值。
由上可知,本发明通过将第一文本和第二文本以第一向量和第二向量进行文本表示,取得第一文本和第二文本的文本特征;利用第一映射函数将二者的文本特征的向量积进行映射,提取到包含较好细粒度的第一文本和第二文本的匹配特征,并通过第二映射函数对第一向量进行映射,取得第一文本的浅层文本特征,利用该浅层文本特征可以对第一文本和第二文本的匹配特征进行权重调整,使得最终确定的匹配结果具有较好的准确性。应用于自动客服系统,能够为用户输入的问题文本匹配到较为准确的匹配文本,从而可以实现对用户问题的准确作答,有利于提升用户体验。
图4是本发明一实施例提供的终端的示意图。如图4所示,该实施例的终端4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个文本的匹配方法实施例中的步骤,例如图1所示的步骤101至步骤106。或者,所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能,例如图3所示单元31至36的功能。
示例性的,所述计算机程序42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序42在所述终端4中的执行过程。例如,所述计算机程序42可以被分割成文本获取单元,向量获取单元,向量计算单元,第一映射单元,第二映射单元和匹配单元,各单元具体功能如下:
文本获取单元,用于获取第一文本和第二文本;
向量获取单元,用于获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;
向量计算单元,用于计算所述第一向量和所述第二向量的向量积;
第一映射单元,用于根据第一映射函数将所述向量积映射为第一特征向量;
第二映射单元,用于根据第二映射函数将所述第一向量映射为第二特征向量;
匹配单元,用于基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
所述终端4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端4的示例,并不构成对终端4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端4的内部存储单元,例如终端4的硬盘或内存。所述存储器41也可以是所述终端4的外部存储设备,例如所述终端4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (9)
1.一种文本的匹配方法,其特征在于,所述匹配方法包括:
获取第一文本和第二文本;
获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;
计算所述第一向量和所述第二向量的向量积;
根据第一映射函数将所述向量积映射为第一特征向量;
根据第二映射函数将所述第一向量映射为第二特征向量;
基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
2.根据权利要求1所述的文本的匹配方法,其特征在于,所述获取第一文本和第二文本包括:
获取第一文本,以及所述第一文本的类别信息;
基于所述类别信息确定与所述第一文本对应的文本匹配库;
从所述文本匹配库中选取与所述第一文本进行匹配的第二文本。
3.根据权利要求2所述的文本的匹配方法,其特征在于,所述匹配方法还包括:
分别确定所述文本匹配库中各文本与所述第一文本的匹配度;
将所述匹配库中与所述第一文本的匹配度最高的文本作为所述第一文本的匹配文本。
4.根据权利要求1至3任一项所述的文本的匹配方法,其特征在于,所述第一映射函数包括多层映射关系,所述第一映射函数的数学表示为:
z(l)=relu(W(l)z(l-1)+b(l))
其中,设第一映射函数包括的映射关系的层数为L,则l=1,2,...,L,W(l)表示第l层映射关系对应的权重矩阵,b(l)表示第l层映射关系对应的偏置向量,z(l-1)表示第l层映射关系对应的输入,z(l)表示第l层映射关系对应的映射输出,relu表示映射输出的激励方式;
所述第二映射函数的数学表示为:
h=relu(Wpq1+bp)
其中,h表示第二映射函数的映射输出,q1表示第二映射函数的输入,Wp表示第二映射函数的权重矩阵,bp表示第二映射函数的偏置向量,relu表示映射输出的激励方式。
5.根据权利要求4所述的文本的匹配方法,其特征在于,所述第一映射函数的各层映射关系对应的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量为通过训练得到,训练的步骤包括:
获取训练样本,其中,所述训练样本包括正向样本和负向样本,所述正向样本包含的文本对之间的匹配度大于所述负向样本包含的文本对之间的匹配度;
利用所述训练样本对所述第一映射函数和所述第二映射函数进行迭代计算;
根据预设的损失函数计算所述训练样本中正向样本对应的输出结果和负向样本对应的输出结果的损失值,并根据所述损失值进行梯度更新,确定所述第一映射函数的各层映射关系对应的权重矩阵和偏置向量、以及所述第二映射函数的权重矩阵和偏置向量。
6.根据权利要求5所述的文本的匹配方法,其特征在于,所述获取训练样本包括:
采集训练用的文本;
对所述训练用的文本进行分类,确定各文本的所属类别;
根据所述各文本的所属类别,确定所述各文本之间的匹配度;
基于所述各文本之间的匹配度构建文本三元组(Q1,Q2,Q3)作为训练样本,其中,Q1与Q2组成正向样本,Q1与Q3组成负向样本,所述正向样本之间的匹配度大于所述负向样本之间的匹配度。
7.一种文本的匹配装置,其特征在于,所述匹配装置包括:
文本获取单元,用于获取第一文本和第二文本;
向量获取单元,用于获取所述第一文本对应的第一向量以及所述第二文本对应的第二向量;
向量计算单元,用于计算所述第一向量和所述第二向量的向量积;
第一映射单元,用于根据第一映射函数将所述向量积映射为第一特征向量;
第二映射单元,用于根据第二映射函数将所述第一向量映射为第二特征向量;
匹配单元,用于基于所述第一特征向量和所述第二特征向量,确定第二文本与所述第一文本的匹配度。
8.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述文本的匹配方法的步骤。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的文本的匹配方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811640931.2A CN111382246B (zh) | 2018-12-29 | 2018-12-29 | 文本的匹配方法、匹配装置、终端及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811640931.2A CN111382246B (zh) | 2018-12-29 | 2018-12-29 | 文本的匹配方法、匹配装置、终端及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111382246A CN111382246A (zh) | 2020-07-07 |
CN111382246B true CN111382246B (zh) | 2023-03-14 |
Family
ID=71215979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811640931.2A Active CN111382246B (zh) | 2018-12-29 | 2018-12-29 | 文本的匹配方法、匹配装置、终端及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111382246B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738358B (zh) * | 2020-07-24 | 2020-12-08 | 支付宝(杭州)信息技术有限公司 | 一种数据识别方法、装置、设备和可读介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8341095B2 (en) * | 2009-01-12 | 2012-12-25 | Nec Laboratories America, Inc. | Supervised semantic indexing and its extensions |
CN107861944A (zh) * | 2017-10-24 | 2018-03-30 | 广东亿迅科技有限公司 | 一种基于Word2Vec的文本标签提取方法及装置 |
CN108170684B (zh) * | 2018-01-22 | 2020-06-05 | 京东方科技集团股份有限公司 | 文本相似度计算方法及系统、数据查询系统和计算机产品 |
CN108628825A (zh) * | 2018-04-10 | 2018-10-09 | 平安科技(深圳)有限公司 | 文本信息相似度匹配方法、装置、计算机设备及存储介质 |
CN108710613B (zh) * | 2018-05-22 | 2022-04-08 | 平安科技(深圳)有限公司 | 文本相似度的获取方法、终端设备及介质 |
CN109033156B (zh) * | 2018-06-13 | 2021-06-15 | 腾讯科技(深圳)有限公司 | 一种信息处理方法、装置及终端 |
-
2018
- 2018-12-29 CN CN201811640931.2A patent/CN111382246B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111382246A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108804641B (zh) | 一种文本相似度的计算方法、装置、设备和存储介质 | |
WO2018157805A1 (zh) | 一种自动问答处理方法及自动问答系统 | |
TW201909112A (zh) | 圖像特徵獲取 | |
CN111078837B (zh) | 智能问答信息处理方法、电子设备及计算机可读存储介质 | |
CN112667794A (zh) | 一种基于孪生网络bert模型的智能问答匹配方法及系统 | |
CN109299280B (zh) | 短文本聚类分析方法、装置和终端设备 | |
CN106021364A (zh) | 图片搜索相关性预测模型的建立、图片搜索方法和装置 | |
CN110297893B (zh) | 自然语言问答方法、装置、计算机装置及存储介质 | |
CN110688452B (zh) | 一种文本语义相似度评估方法、系统、介质和设备 | |
US20200364216A1 (en) | Method, apparatus and storage medium for updating model parameter | |
CN109726391B (zh) | 对文本进行情感分类的方法、装置及终端 | |
CN113554175B (zh) | 一种知识图谱构建方法、装置、可读存储介质及终端设备 | |
CN116402166B (zh) | 一种预测模型的训练方法、装置、电子设备及存储介质 | |
CN117520503A (zh) | 基于llm模型的金融客服对话生成方法、装置、设备及介质 | |
CN117076688A (zh) | 基于领域知识图谱的知识问答方法及其装置、电子设备 | |
CN112632261A (zh) | 智能问答方法、装置、设备及存储介质 | |
CN112307048A (zh) | 语义匹配模型训练方法、匹配方法、装置、设备及存储介质 | |
CN117807204A (zh) | 工程机械故障问题的问答诊断方法、装置、设备和介质 | |
CN111382243A (zh) | 文本的类别匹配方法、类别匹配装置及终端 | |
CN113127617B (zh) | 通用领域知识图谱的知识问答方法、终端设备及存储介质 | |
CN111382246B (zh) | 文本的匹配方法、匹配装置、终端及计算机可读存储介质 | |
CN110969005A (zh) | 一种确定实体语料之间的相似性的方法及装置 | |
CN115640378A (zh) | 工单检索方法、服务器、介质及产品 | |
CN111767710B (zh) | 印尼语的情感分类方法、装置、设备及介质 | |
CN114880453A (zh) | 智能问答方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |