CN110134790B - 一种语境集合与回复集合的匹配方法及装置 - Google Patents

一种语境集合与回复集合的匹配方法及装置 Download PDF

Info

Publication number
CN110134790B
CN110134790B CN201910411042.7A CN201910411042A CN110134790B CN 110134790 B CN110134790 B CN 110134790B CN 201910411042 A CN201910411042 A CN 201910411042A CN 110134790 B CN110134790 B CN 110134790B
Authority
CN
China
Prior art keywords
context
vector
reply
vector sequence
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910411042.7A
Other languages
English (en)
Other versions
CN110134790A (zh
Inventor
顾佳宸
凌震华
刘权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201910411042.7A priority Critical patent/CN110134790B/zh
Publication of CN110134790A publication Critical patent/CN110134790A/zh
Application granted granted Critical
Publication of CN110134790B publication Critical patent/CN110134790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供了一种语境集合与回复集合的匹配方法及装置，在本申请中，分别对语境集合中的各个句子中的各个语境单词分别进行编码及对回复集合中各个句子中的各个回复单词分别进行编码，在此基础上，得到语境集合中各个句子的匹配向量序列及回复集合中各个句子的匹配向量序列，并基于利用句子上下文信息表达句子的原则，分别基于语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，及分别基于回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，保证得到的目标语句匹配向量中包含有语境集合中句子与回复集合中句子之间的关系信息，将其输入分类器，可以提高匹配度的准确性，进而可以提高从回复候选集中选择回复集合的准确性。

Description

一种语境集合与回复集合的匹配方法及装置
技术领域
本申请涉及自然语言处理技术领域，特别涉及一种语境集合与回复集合的匹配方法及装置。
背景技术
随着智能化技术的发展，人机对话也受到越来越多的关注。人机对话的关键在于：终端依据给定的语境从回复候选集中自动选择最匹配的回复集合。
因此，如何提高回复集合的选择可靠性成为问题。
发明内容
为解决上述技术问题，本申请实施例提供一种语境集合与回复集合的匹配方法及装置，以达到提高从回复候选集中选择回复集合的准确性的目的，技术方案如下：
一种语境集合与回复集合的匹配方法，包括：
对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息；
对回复集合中各个句子中的各个回复单词分别进行编码，分别得到目标回复单词，所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息；
基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；
基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，所述第一整合语句向量至少包含有表征所述语境集合中各个句子及其上下文信息的向量，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，所述第二整合语句向量至少包含有表征所述回复集合中各个句子及其上下文信息的向量；
对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；
将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。
一种语境集合与回复集合的匹配装置，包括：
第一编码模块，用于对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息；
第二编码模块，用于对回复集合中各个句子中的各个回复单词分别进行编码，分别得到目标回复单词，所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息；
匹配模块，用于基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；
整合模块，用于基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，所述第一整合语句向量至少包含有表征所述语境集合中各个句子及其上下文信息的向量，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，所述第二整合语句向量至少包含有表征所述回复集合中各个句子及其上下文信息的向量；
拼接模块，用于对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；
分类模块，用于将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。
与现有技术相比，本申请的有益效果为：
在本申请中，基于利用单词上下文信息表达单词的原则，分别对语境集合中的各个句子中的各个语境单词分别进行编码及对回复集合中各个句子中的各个回复单词分别进行编码，在此基础上，建立语境集合与回复集合之间句子之间的关系，得到语境集合中各个句子的匹配向量序列及回复集合中各个句子的匹配向量序列，并基于利用句子上下文信息表达句子的原则，分别基于语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，及分别基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，保证得到的目标语句匹配向量中包含有语境集合中句子与回复集合中句子之间的关系信息，将包含有语境集合中句子与回复集合中句子之间的关系信息的目标语句匹配向量输入分类器，可以提高匹配度的准确性，进而可以提高从回复候选集中选择回复集合的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种语境集合与回复集合的匹配方法的流程图；
图2是本申请提供的一种得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列的流程图；
图3是本申请提供的一种得到所述语境集合中各个句子的匹配向量序列的流程图；
图4是本申请提供的另一种得到所述语境集合中各个句子的匹配向量序列的流程图；
图5是本申请提供的一种得到所述回复集合中各个句子的匹配向量序列的流程图；
图6是本申请提供的另一种得到所述回复集合中各个句子的匹配向量序列的流程示意图；
图7是本申请提供的一种基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量的流程图；
图8是本申请提供的一种基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量的流程图；
图9是本申请提供的另一种基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量的流程图；
图10是本申请提供的一种语境集合与回复集合的匹配装置的逻辑结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例公开了一种语境集合与回复集合的匹配方法，包括：对语境集合中的各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息；对回复集合中的各个句子中的各个回复单词分别进行编码，分别得到目标回复单词，所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息；基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，所述第一整合语句向量至少包含有所述语境集合中至少一个句子的匹配向量及其上下文信息，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，所述第二整合语句向量至少包含有所述回复集合中至少一个句子的匹配向量及其上下文信息；对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。在本申请中，可以提高从回复候选集中选择回复集合的准确性。
接下来对本申请实施例公开的语境集合与回复集合的匹配方法进行介绍，如图1所示的，为本申请提供的一种语境集合与回复集合的匹配方法实施例1的流程图，该方法应用于一计算机设备，该方法包括以下步骤：
步骤S11、对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词；
所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息。
语境单词的上下文信息可以理解为：所述语境单词在所述语境单词所属句子中的上下文信息。如，语境单词所属句子为：请问两位想要买什么？语境单词分别为：请问、两位、想、要、买、什么，其中，语境单词“想”的上下文信息为“两位”及“要”。
语境集合可以理解为：某种语境下的问题集合。如，购衣语境集合下的问题集合，包括：
语句1：请问两位想要买什么？
语句2：我想买一件长袖衬衫。
语句3：请问你穿几号的衬衫？
语句4：我穿中号的。
可以理解的是，语境集合中可以包括一个句子或多个句子。
对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，可以理解为：对语境集合中各个句子的各个语境单词分别进行编码，编码结果作为目标语境单词。
优选的，可以采用BiLSTM编码方式对语境集合中的各个句子中的各个语境单词分别进行编码。
本实施例中，语境集合中各个句子中的各个语境单词可以表示为：
Figure BDA0002062808920000051
其中，
Figure BDA0002062808920000052
表示语境集合中第m个句子中包括的语境单词的个数，
Figure BDA0002062808920000053
表示第m个句子中第i个语境单词，
Figure BDA0002062808920000054
为d维的向量，d为大于1的整数，
Figure BDA0002062808920000055
表示第m个句子中语境单词组成的集合。
本实施例中，可以利用如下关系式，采用BiLSTM编码方式对语境集合中的各个句子中的各个语境单词分别进行编码：
Figure BDA0002062808920000061
其中，
Figure BDA0002062808920000062
表示对语境集合中第m个句子中第i个语境单词进行编码的结果。
目标语境单词组成的集合可以表示为：
Figure BDA0002062808920000063
步骤S12、对回复集合中各个句子中的各个回复单词分别进行编码，分别得到目标回复单词；
所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息。
回复单词的上下文信息可以理解为：所述回复单词在所述回复单词所属句子中的上下文信息。如，回复单词所属句子为：您想要什么颜色的衬衫？回复单词分别为：您、想、要、什么、颜色、的、衬衫，其中，语境单词“什么”的上下文信息为“要”及“颜色”。
回复集合可以理解为：针对某种语境的问题的回复集合。如，针对购衣语境的回复集合，包括：
语句1：您想要什么颜色的衬衫？
语句2：我们店里有许多不同颜色的衬衫。
语句3：你看看这件黄色的怎么样？
可以理解的是，回复集合中可以包括一个句子或多个句子。
优选的，可以采用BiLSTM编码方式对回复集合中各个句子中的各个回复单词分别进行编码。
本实施例中，回复集合中各个句子中的各个回复单词可以表示为
Figure BDA0002062808920000064
其中，
Figure BDA0002062808920000065
表示回复集合中第n个句子中包括的回复单词的个数，
Figure BDA0002062808920000066
表示第n个句子中第j个语境单词，
Figure BDA0002062808920000067
为d维的向量，d为大于1的整数，
Figure BDA0002062808920000068
表示回复集合中第n个句子中回复单词组成的集合。
本实施例中，可以利用如下关系式，采用BiLSTM编码方式对回复集合中各个句子中的各个回复单词分别进行编码：
Figure BDA0002062808920000069
其中，
Figure BDA00020628089200000610
表示对回复集合中第n个句子中第j个语境单词进行编码的结果。
目标回复单词组成的集合可以表示为：
Figure BDA0002062808920000071
步骤S13、基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；
基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列，可以理解为：基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列；及，基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述回复集合中各个句子的匹配向量序列。
所述语境集合中句子的匹配向量至少包括语境集合中句子的向量及表征语境集合中句子的向量与回复集合中句子之间关系的向量。
所述回复集合中句子的匹配向量至少包括回复集合中句子的向量及表征回复集合中句子的向量与语境集合中句子之间关系的向量。
步骤S14、基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量；
其中，所述第一整合语句向量至少包含有表征所述语境集合中各个句子及其上下文信息的向量；
所述第二整合语句向量至少包含有表征所述回复集合中各个句子及其上下文信息的向量。
步骤S15、对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；
对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量，可以理解为：将所述第一整合语句向量与所述第二整合语句向量组合为一个向量，作为目标语句匹配向量。
步骤S16、将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。
优选的，分类器可以为具有Sigmoid输出的多层感知器(Multi-LayerPerceptron,MLP)分类器。
在本申请中，基于利用单词上下文信息表达单词的原则，分别对语境集合中的各个句子中的各个语境单词分别进行编码及对回复集合中各个句子中的各个回复单词分别进行编码，在此基础上，建立语境集合与回复集合之间句子之间的关系，得到语境集合中各个句子的匹配向量序列及回复集合中各个句子的匹配向量序列，并基于利用句子上下文信息表达句子的原则，分别基于语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，及分别基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，保证得到的目标语句匹配向量中包含有语境集合中句子与回复集合中句子之间的关系信息，将包含有语境集合中句子与回复集合中句子之间的关系信息的目标语句匹配向量输入分类器，可以提高匹配度的准确性，进而可以提高从回复候选集中选择回复集合的准确性。
作为本申请另一可选实施例2，参照图2，为本申请提供的一种得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列的流程示意图，本实施例主要是对上述实施例1描述的所述基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列的细化方案，如图2所示，该过程可以包括但并不局限于以下步骤：
步骤S21、基于多个所述目标语境单词，生成所述语境集合的全局向量序列，及基于多个所述目标回复单词，生成所述回复集合的全局向量序列；
基于多个所述目标语境单词，生成所述语境集合的全局向量序列，可以理解为：对多个所述目标语境单词拼接，拼接的结果作为所述语境集合的全局向量序列。
以实施例1中步骤S11介绍的
Figure BDA0002062808920000081
为例，对对多个所述目标语境单词拼接，拼接的结果作为所述语境集合的全局向量序列进行说明，如，对
Figure BDA0002062808920000082
中全部目标语境单词拼接，拼接的结果作为所述语境集合的全局向量序列，表示为：
Figure BDA0002062808920000091
lc表示所有目标语境单词的个数，
Figure BDA0002062808920000092
表示第1个目标语境单词，
Figure BDA0002062808920000093
表示第lc个目标语境单词。
基于多个所述目标回复单词，生成所述回复集合的全局向量序列，可以理解为：对多个所述目标回复单词拼接，拼接的结果作为所述回复集合的全局向量序列。
以实施例1中步骤S12介绍的
Figure BDA0002062808920000094
为例，对对多个所述目标回复单词拼接，拼接的结果作为所述回复集合的全局向量序列进行说明，如，对
Figure BDA0002062808920000095
中全部目标回复单词拼接，拼接的结果作为所述回复集合的全局向量序列，表示为：
Figure BDA0002062808920000096
lr表示所有目标回复单词的个数，
Figure BDA0002062808920000097
表示第1个目标回复单词，
Figure BDA0002062808920000098
表示第lr个目标回复单词。
步骤S22、基于所述语境集合的全局向量序列及所述回复集合的全局向量序列，计算所述语境集合的全局向量序列中的各个词向量与所述回复集合的全局向量序列中的各个词向量之间的距离，作为软对齐值；
本实施例中，可以采用如下关系式，计算所述语境集合的全局向量序列中的各个词向量与所述回复集合的全局向量序列中的各个词向量之间的距离：
Figure BDA0002062808920000099
其中，eij表示语境集合的全局向量序列中第i个词向量与回复集合的全局向量序列中第j个词向量之间的距离，
Figure BDA00020628089200000910
表示语境集合的全局向量序列中第i个词向量，
Figure BDA00020628089200000911
表示回复集合的全局向量序列中第j个词向量，()T表示转置。
步骤S23、利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述回复集合的全局向量序列中词向量之间关系的向量，作为语境对偶向量；
本实施例中，可以采用softmax的方式归一化及加权和的方式，利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述回复集合的全局向量序列中词向量之间关系的向量。
采用softmax的方式归一化及加权和的方式，可以采用如下关系式，利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述回复集合的全局向量序列中词向量之间关系的向量：
Figure BDA0002062808920000101
其中，exp()表示以自然常数e为底的指数函数，
Figure BDA0002062808920000102
表示
Figure BDA0002062808920000103
中第j个词向量，∑表示求和函数，eil表示语境集合的全局向量序列中第i个词向量与回复集合的全局向量序列中第l个词向量之间的距离，
Figure BDA0002062808920000104
表示表征所述语境集合的全局向量序列中第i个词向量与所述回复集合的全局向量序列中词向量
Figure BDA0002062808920000105
之间关系的向量。
步骤S24、利用所述软对齐值及所述语境集合的全局向量序列，分别计算表征所述回复集合的全局向量序列中各个词向量与所述语境集合的全局向量序列中词向量之间关系的向量，作为回复对偶向量；
本实施例中，同样可以采用softmax的方式归一化及加权和的方式，利用所述软对齐值及所述语境集合的全局向量序列，分别计算表征所述回复集合的全局向量序列中各个词向量与所述语境集合的全局向量序列中词向量之间关系的向量。
采用softmax的方式归一化及加权和的方式，可以采用如下关系式，利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述语境集合的全局向量序列中词向量之间关系的向量：
Figure BDA0002062808920000106
其中，exp()表示以自然常数e为底的指数函数，
Figure BDA0002062808920000107
表示
Figure BDA0002062808920000108
中第i个词向量，∑表示求和函数，elj表示回复集合的全局向量序列中第j个词向量与语境集合的全局向量序列中第l个词向量之间的距离，
Figure BDA0002062808920000109
表示表征所述回复集合的全局向量序列中第j个词向量与所述语境集合的全局向量序列中词向量
Figure BDA00020628089200001010
之间关系的向量。
步骤S25、基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列；
由于语境对偶向量表征了语境集合的全局向量序列中词向量与回复集合中词向量之间的关系，因此基于语境集合的全局向量序列及各个语境对偶向量，来得到句子级的可以表征语境集合中词向量与回复集合中词向量之间关系的匹配向量。
步骤S26、基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列。
由于回复对偶向量表征了回复集合的全局向量序列中各个词向量与语境集合中词向量之间的关系，因此基于回复集合的全局向量序列及各个回复对偶向量，来得到句子级的可用表征回复集合中词向量与语境集合中词向量之间关系的匹配向量。
作为本申请另一可选实施例3，参照图3，为本申请提供的一种得到所述语境集合中各个句子的匹配向量序列的流程示意图，本实施例主要是对上述实施例2描述的所述基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列的细化方案，如图3所示，该过程可以包括但并不局限于以下步骤：
步骤S31、基于各个所述语境对偶向量，生成全局语境对偶向量序列；
基于各个所述语境对偶向量，生成全局语境对偶向量序列，可以理解为：
将各个所述语境对偶向量组合为一个向量，作为全局语境对偶向量序列。
参见实施例2中的
Figure BDA0002062808920000111
全局语境对偶向量序列可以表示为
Figure BDA0002062808920000112
步骤S32、将所述语境集合的全局向量序列及所述全局语境对偶向量序列拼接，得到语境全局向量序列；
将所述语境集合的全局向量序列及所述全局语境对偶向量序列拼接，得到语境全局向量序列，可以理解为：
将所述语境集合的全局向量序列及所述全局语境对偶向量序列组合为一个向量序列，作为语境全局向量序列。语境全局向量序列可以表示为
Figure BDA0002062808920000121
步骤S33、将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量，作为所述语境集合中各个句子的匹配向量序列。
现举例对将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量进行说明，例如，语境全局向量序列表示为：
Figure BDA0002062808920000122
其中
Figure BDA0002062808920000123
及
Figure BDA0002062808920000124
为语境集合中第一个句子对应的向量，
Figure BDA0002062808920000125
及
Figure BDA0002062808920000126
为语境集合中第二个句子对应的向量，
Figure BDA0002062808920000127
及
Figure BDA0002062808920000128
为语境集合中第三个句子对应的向量，将
Figure BDA0002062808920000129
拆分为
Figure BDA00020628089200001210
和
Figure BDA00020628089200001211
本实施例中，可以利用如下关系式将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量：
Figure BDA00020628089200001212
其中，
Figure BDA00020628089200001213
表示语境集合中第m个句子对应的向量序列，nc表示语境集合中句子的总数，Separate()表示拆分运算函数。
作为本申请另一可选实施例4，参照图4，为本申请提供的一种得到所述语境集合中各个句子的匹配向量序列的流程示意图，本实施例主要是对上述实施例2描述的所述基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列的细化方案，如图4所示，该过程可以包括但并不局限于以下步骤：
步骤S41、基于各个所述语境对偶向量，生成全局语境对偶向量序列；
步骤S41的详细过程可以参见实施例3中步骤S31的相关介绍，在此不再赘述。
步骤S42、将所述语境集合的全局向量序列与所述全局语境对偶向量序列之差作为第一向量序列差；
第一向量序列差可以表示为：
Figure BDA00020628089200001214
步骤S43、将所述语境集合的全局向量序列与所述全局语境对偶向量序列之乘作为第一向量序列乘；
第一向量序列乘可以表示为：
Figure BDA0002062808920000131
步骤S44、将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘拼接，得到语境全局向量序列；
将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘拼接，得到语境全局向量序列，可以理解为：
将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘组合为一个向量序列，作为语境全局向量序列。语境全局向量序列可以表示为：
Figure BDA0002062808920000132
本实施例中，将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘拼接，得到语境全局向量序列，可以保证语境全局向量序列可以更准确、更全面的表征语境集合中词向量与回复集合中词向量之间的关系。
步骤S45、将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量，作为所述语境集合中各个句子的匹配向量序列。
步骤S45的拆分过程可以参见实施例3中步骤S33的相关介绍，在此不再赘述。
作为本申请另一可选实施例5，参照图5，为本申请提供的一种得到所述回复集合中各个句子的匹配向量序列的流程示意图，本实施例主要是对上述实施例2描述的所述基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列的细化方案，如图5所示，该过程可以包括但并不局限于以下步骤：
步骤S51、基于各个所述回复对偶向量，生成全局回复对偶向量序列；
基于各个所述回复对偶向量，生成全局回复对偶向量序列，可以理解为：
将各个所述回复对偶向量组合为一个向量，作为全局回复对偶向量序列。
参见实施例2介绍的
Figure BDA0002062808920000141
全局回复对偶向量序列可以表示为：
Figure BDA0002062808920000142
步骤S52、将所述回复集合的全局向量序列及所述全局回复对偶向量序列拼接，得到回复全局向量序列；
将所述回复集合的全局向量序列及所述全局回复对偶向量序列拼接，得到回复全局向量序列，可以理解为：
将所述回复集合的全局向量序列及所述全局回复对偶向量序列组合为一个向量序列，作为回复全局向量序列。回复全局向量序列可以表示为：
Figure BDA0002062808920000143
步骤S53、将所述回复全局向量序列拆分为所述回复集合中各个句子对应的向量，作为所述回复集合中各个句子的匹配向量序列。
现举例对将所述回复全局向量序列拆分为所述回复集合中各个句子对应的向量进行说明，例如，回复全局向量序列表示为：
Figure BDA0002062808920000144
其中
Figure BDA0002062808920000145
及
Figure BDA0002062808920000146
为回复集合中第一个句子对应的向量，
Figure BDA0002062808920000147
及
Figure BDA0002062808920000148
为回复集合中第二个句子对应的向量，
Figure BDA0002062808920000149
及
Figure BDA00020628089200001410
为回复集合中第三个句子对应的向量，将
Figure BDA00020628089200001411
拆分为
Figure BDA00020628089200001412
和
Figure BDA00020628089200001413
作为本申请另一可选实施例6，参照图6，为本申请提供的一种得到所述回复集合中各个句子的匹配向量序列的流程示意图，本实施例主要是对上述实施例2描述的所述基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列的细化方案，如图6所示，该过程可以包括但并不局限于以下步骤：
步骤S61、基于各个所述回复对偶向量，生成全局回复对偶向量序列；
步骤S61的详细过程可以参见实施例5中步骤S51的相关介绍，在此不再赘述。
步骤S62、将所述回复集合的全局向量序列与所述全局回复对偶向量序列之差作为第二向量序列差；
第二向量序列差可以表示为：
Figure BDA0002062808920000151
步骤S63、将所述回复集合的全局向量序列与所述全局回复对偶向量序列之乘作为第二向量序列乘；
第二向量序列乘可以表示为：
Figure BDA0002062808920000152
步骤S64、将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘拼接，得到回复全局向量序列；
将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘拼接，得到回复全局向量序列，可以理解为：
将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘组合为一个向量序列，作为回复全局向量序列。回复全局向量序列可以表示为：
Figure BDA0002062808920000153
本实施例中，将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘拼接，得到回复全局向量序列，可以保证回复全局向量序列可以更准确、更全面的表征语境集合中词向量与回复集合中词向量之间的关系。
步骤S65、将所述回复全局向量序列拆分为所述回复集合中各个句子对应的向量，作为所述回复集合中各个句子的匹配向量序列。
步骤S65的拆分过程可以参见实施例5中步骤S53的相关介绍，在此不再赘述。
基于实施例4的内容，在本申请中另一可选实施例7中，介绍所述基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量的细化方案，如图7所示，该过程可以包括但并不局限于以下步骤：
步骤S71、分别对所述语境集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第一编码结果集合；
所述第一编码结果集合中至少包括有所述语境集合中句子的匹配向量中的各个词向量及其上下文信息。
优选的，可以采用BiLSTM编码方式分别对所述语境集合中各个句子的匹配向量序列中各个词向量进行编码。
本实施例中，可以利用如下关系式，分别对所述语境集合中各个句子的匹配向量序列中各个词向量进行编码：
Figure BDA0002062808920000161
Figure BDA0002062808920000162
表示语境集合中第m个句子对应的向量序列，
Figure BDA0002062808920000163
表示对
Figure BDA0002062808920000164
中第i个词向量进行编码，
Figure BDA0002062808920000165
表示编码结果。
可以理解的是，语境集合中每个句子各自对应一个第一编码结果集合。
步骤S72、分别对各个所述第一编码结果集合进行池化，池化的结果作为第一池化结果；
本实施例中，对第一编码结果集合进行池化的过程，可以包括：
对第一编码结果集合进行最大值池化；
或，对第一编码结果集合进行最后时刻状态池化；
或，对第一编码结果集合进行最大值池化，并对第一编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接。
本实施例中，优选的，采用对第一编码结果集合进行最大值池化，并对第一编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接的方式分别对各个所述第一编码结果集合进行池化。对某一个第一编码解雇集合进行池化的结果可以表示为：
Figure BDA0002062808920000166
其中，
Figure BDA0002062808920000167
表示对第一编码结果集合进行池化的结果，
Figure BDA0002062808920000168
表示对第一编码结果集合进行最大值池化的结果，
Figure BDA0002062808920000169
表示对第一编码结果集合进行最后时刻状态池化的结果。
本实施例中，对第一编码结果集合进行池化，实现用一个向量表征一个句子，减少后续运算量。
各个第一池化结果组成的集合可以表示为：
Figure BDA0002062808920000171
步骤S73、分别对各个所述第一池化结果进行编码，编码结果组成的集合作为第二编码结果集合；
所述第二编码结果集合至少包含有所述第一池化结果及其上下文信息。
优选的，可以采用BiLSTM编码方式分别对各个所述第一池化结果进行编码。
本实施例中，可以利用如下关系式，分别对各个所述第一池化结果进行编码：
Figure BDA0002062808920000172
Figure BDA0002062808920000173
表示对第m个第一池化结果进行编码的结果，BiLSTM(Uc,agr,m)表示对Uc,agr中第m个第一池化结果进行编码。
步骤S74、对所述第二编码结果进行池化，池化的结果作为第一整合语句向量。
本实施例中，对所述第二编码结果集合进行池化的过程，可以包括：
对所述第二编码结果集合进行最大值池化；
或，对所述第二编码结果集合进行最后时刻状态池化；
或，对所述第二编码结果集合进行最大值池化，并对所述第二编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接。
本实施例中，优选的，采用对所述第二编码结果集合进行最大值池化，并对所述第二编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接的方式分别对所述第二编码结果集合进行池化。对所述第二编码结果集合进行池化的结果可以表示为：
Figure BDA0002062808920000174
其中，cagr表示对第二编码结果集合进行池化的结果，
Figure BDA0002062808920000175
表示对第二编码结果集合进行最大值池化的结果，
Figure BDA0002062808920000176
表示对第二编码结果集合进行最后时刻状态池化的结果。
本实施例中，对第二编码结果集合进行池化，实现用一个向量表征第二编码结果集合，可以减少后续运算量。
基于实施例6的内容，在本申请中另一可选实施例8中，介绍所述基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量的细化方案，如图8所示，该过程可以包括但并不局限于以下步骤：
步骤S81、分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第三编码结果集合；
所述第三编码结果集合中至少包括有所述回复集合中句子的匹配向量中各个词向量及其上下文信息。
优选的，可以采用BiLSTM编码方式分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码。
本实施例中，可以利用如下关系式，分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码：
Figure BDA0002062808920000181
Figure BDA0002062808920000182
表示回复集合中第n个句子对应的向量序列，
Figure BDA0002062808920000183
表示对
Figure BDA0002062808920000184
中第j个词向量进行编码，
Figure BDA0002062808920000185
表示编码结果。
可以理解的是，回复集合中每个句子各自对应一个第三编码结果集合。
步骤S82、分别对各个所述第三编码结果集合进行池化，池化的结果作为第二池化结果；
本实施例中，对第三编码结果集合进行池化的过程，可以包括：
对第三编码结果集合进行最大值池化；
或，对第三编码结果集合进行最后时刻状态池化；
或，对第三编码结果集合进行最大值池化，并对第三编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接。
本实施例中，优选的，采用对第三编码结果集合进行最大值池化，并对第三编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接的方式分别对各个所述第三编码结果集合进行池化。对某一个第三编码解雇集合进行池化的结果可以表示为：
Figure BDA0002062808920000186
其中，
Figure BDA0002062808920000191
表示对第三编码结果集合进行池化的结果，
Figure BDA0002062808920000192
表示对第三编码结果集合进行最大值池化的结果，
Figure BDA0002062808920000193
表示对第三编码结果集合进行最后时刻状态池化的结果。
本实施例中，对第三编码结果集合进行池化，实现用一个向量表征一个句子，减少后续运算量。
各个第二池化结果组成的集合可以表示为：
Figure BDA0002062808920000194
步骤S83、分别对各个所述第二池化结果进行编码，编码结果组成的集合作为第四编码结果集合；
所述第四编码结果集合至少包含有所述第二池化结果及其上下文信息。
优选的，可以采用BiLSTM编码方式分别对各个所述第二池化结果进行编码。
本实施例中，可以利用如下关系式，分别对各个所述第二池化结果进行编码：
Figure BDA0002062808920000195
Figure BDA0002062808920000196
表示对第n个第二池化结果进行编码的结果，BiLSTM(Ur,agr,n)表示对Ur,agr中第n个第二池化结果进行编码。
步骤S84、对所述第四编码结果进行池化，池化的结果作为第二整合语句向量。
本实施例中，对所述第四编码结果进行池化的过程，可以包括：
对所述第四编码结果进行最大值池化；
或，对所述第四编码结果进行最后时刻状态池化；
或，对所述第四编码结果进行最大值池化，并对所述第四编码结果进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接。
本实施例中，优选的，采用对所述第四编码结果集合进行最大值池化，并对所述第四编码结果集合进行最后时刻状态池化，并将最大值池化的结果与最后时刻状态池化的结果拼接的方式分别对所述第四编码结果集合进行池化。对所述第四编码结果集合进行池化的结果可以表示为：
Figure BDA0002062808920000201
其中，ragr表示对第四编码结果集合进行池化的结果，
Figure BDA0002062808920000202
表示对第四编码结果集合进行最大值池化的结果，
Figure BDA0002062808920000203
表示对第四编码结果集合进行最后时刻状态池化的结果。
本实施例中，对第四编码结果集合进行池化，实现用一个向量表征全部第四编码结果集合，可以减少后续运算量。
基于实施例6的内容，在本申请中另一可选实施例9中，介绍所述基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量的细化方案，如图9所示，该过程可以包括但并不局限于以下步骤：
步骤S91、分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第三编码结果集合；
所述第三编码结果集合中至少包括有所述回复集合中句子的匹配向量中各个词向量及其上下文信息。
步骤S92、分别对各个所述第三编码结果集合进行池化，池化的结果作为第二池化结果；
步骤S91-S92的详细过程可以参见实施例8中步骤S81-S82的相关介绍，在此不再赘述。
步骤S93、分别将各个所述第二池化结果及其对应的基于位置的语句权重相乘，并将相乘的结果之和作为所述第二整合语句向量。
本实施例中利用Attention整合方式得到第二整合语句向量，具体过程为：分别将各个所述第二池化结果及其对应的基于位置的语句权重相乘，并将相乘的结果之和作为所述第二整合语句向量。
本实施例中，可以利用如下关系式，分别将各个所述第二池化结果及其对应的基于位置的语句权重相乘，并将相乘的结果之和作为所述第二整合语句向量：
Figure BDA0002062808920000204
Figure BDA0002062808920000205
表示与第n个第二池化结果对应的基于位置的语句权重，
Figure BDA0002062808920000206
表示第n个第二池化结果，∑表示求和函数，ragr表示第二整合语句向量。
基于前述各个实施例介绍的内容，目标语句匹配向量可以表示为：M＝[cagr,ragr]。
其中，M表示目标语句匹配向量，cagr表示第一整合语句向量，ragr表示第二整合语句向量。
接下来对本申请提供的语境集合与回复集合的匹配装置进行介绍，下文介绍的语境集合与回复集合的匹配装置与上文介绍的语境集合与回复集合的匹配方法可相互对应参照。
请参见图10，语境集合与回复集合的匹配装置包括：第一编码模块11、第二编码模块12、匹配模块13、整合模块14、拼接模块15和分类模块16。
第一编码模块11，用于对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息；
第二编码模块12，用于对回复集合中各个句子中的各个回复单词分别进行编码，分别得到目标回复单词，所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息；
匹配模块13，用于基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；
整合模块14，用于基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，所述第一整合语句向量至少包含有表征所述语境集合中各个句子及其上下文信息的向量，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，所述第二整合语句向量至少包含有表征所述回复集合中各个句子及其上下文信息的向量；
拼接模块15，用于对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；
分类模块16，用于将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。
本实施例中，所述匹配模块13，可以包括：
第一生成子模块，用于基于多个所述目标语境单词，生成所述语境集合的全局向量序列，及基于多个所述目标回复单词，生成所述回复集合的全局向量序列；
第一计算子模块，用于基于所述语境集合的全局向量序列及所述回复集合的全局向量序列，计算所述语境集合的全局向量序列中的各个词向量与所述回复集合的全局向量序列中的各个词向量之间的距离，作为软对齐值；
第二计算子模块，用于利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述回复集合中词向量之间关系的向量，作为语境对偶向量；
第三计算子模块，用于利用所述软对齐值及所述语境集合的全局向量序列，分别计算表征所述回复集合的全局向量序列中各个词向量与所述语境集合中词向量之间关系的向量，作为回复对偶向量；
第一确定子模块，用于基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列；
第二确定子模块，用于基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列。
本实施例中，所述第一确定子模块，具体可以用于：
基于各个所述语境对偶向量，生成全局语境对偶向量序列；
将所述语境集合的全局向量序列与所述全局语境对偶向量序列之差作为第一向量序列差；
将所述语境集合的全局向量序列与所述全局语境对偶向量序列之乘作为第一向量序列乘；
将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘拼接，得到语境全局向量序列；
将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量，作为所述语境集合中各个句子的匹配向量序列。
所述第二确定子模块，具体可以用于：
基于各个所述回复对偶向量，生成全局回复对偶向量序列；
将所述回复集合的全局向量序列与所述全局回复对偶向量序列之差作为第二向量序列差；
将所述回复集合的全局向量序列与所述全局回复对偶向量序列之乘作为第二向量序列乘；
将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘拼接，得到回复全局向量序列；
将所述回复全局向量序列拆分为所述回复集合中各个句子对应的向量，作为所述回复集合中各个句子的匹配向量序列。
本实施例中，所述整合模块14，具体可以用于：
分别对所述语境集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第一编码结果集合，所述第一编码结果集合中至少包括有所述语境集合中句子的匹配向量中的各个词向量及其上下文信息；
分别对各个所述第一编码结果集合进行池化，池化的结果作为第一池化结果；
分别对各个所述第一池化结果进行编码，编码结果组成的集合作为第二编码结果集合，所述第二编码结果集合至少包含有所述第一池化结果及其上下文信息；
对所述第二编码结果集合进行池化，池化的结果作为第一整合语句向量。
本实施例中，所述整合模块14，具体可以用于：
分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第三编码结果集合，所述第三编码结果集合中至少包括有所述回复集合中句子的匹配向量中各个词向量及其上下文信息；
分别对各个所述第三编码结果集合进行池化，池化的结果作为第二池化结果；
分别对各个所述第二池化结果进行编码，编码结果组成的集合作为第四编码结果集合，所述第四编码结果集合至少包含有所述第二池化结果及其上下文信息；
对所述第四编码结果集合进行池化，池化的结果作为第二整合语句向量；
或，分别将各个所述第二池化结果及其对应的基于位置的语句权重相乘，并将相乘的结果之和作为所述第二整合语句向量。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种语境集合与回复集合的匹配方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种语境集合与回复集合的匹配方法，其特征在于，包括：
对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息；
对回复集合中各个句子中的各个回复单词分别进行编码，分别得到目标回复单词，所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息；
基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；
基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，所述第一整合语句向量至少包含有表征所述语境集合中各个句子及其上下文信息的向量，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，所述第二整合语句向量至少包含有表征所述回复集合中各个句子及其上下文信息的向量；
对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；
将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。
2.根据权利要求1所述的方法，其特征在于，所述基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列，包括：
基于多个所述目标语境单词，生成所述语境集合的全局向量序列，及基于多个所述目标回复单词，生成所述回复集合的全局向量序列；
基于所述语境集合的全局向量序列及所述回复集合的全局向量序列，计算所述语境集合的全局向量序列中的各个词向量与所述回复集合的全局向量序列中的各个词向量之间的距离，作为软对齐值；
利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述回复集合的全局向量序列中词向量之间关系的向量，作为语境对偶向量；
利用所述软对齐值及所述语境集合的全局向量序列，分别计算表征所述回复集合的全局向量序列中各个词向量与所述语境集合的全局向量序列中词向量之间关系的向量，作为回复对偶向量；
基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列；
基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列。
3.根据权利要求2所述的方法，其特征在于，所述基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列，包括：
基于各个所述语境对偶向量，生成全局语境对偶向量序列；
将所述语境集合的全局向量序列与所述全局语境对偶向量序列之差作为第一向量序列差；
将所述语境集合的全局向量序列与所述全局语境对偶向量序列之乘作为第一向量序列乘；
将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘拼接，得到语境全局向量序列；
将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量序列，作为所述语境集合中各个句子的匹配向量序列；
所述基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列，包括：
基于各个所述回复对偶向量，生成全局回复对偶向量序列；
将所述回复集合的全局向量序列与所述全局回复对偶向量序列之差作为第二向量序列差；
将所述回复集合的全局向量序列与所述全局回复对偶向量序列之乘作为第二向量序列乘；
将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘拼接，得到回复全局向量序列；
将所述回复全局向量序列拆分为所述回复集合中各个句子对应的向量序列，作为所述回复集合中各个句子的匹配向量序列。
4.根据权利要求3所述的方法，其特征在于，所述基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，包括：
分别对所述语境集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第一编码结果集合，所述第一编码结果集合中至少包括有所述语境集合中句子的匹配向量中的各个词向量及其上下文信息；
分别对各个所述第一编码结果集合进行池化，池化的结果作为第一池化结果；
分别对各个所述第一池化结果进行编码，编码结果组成的集合作为第二编码结果集合，所述第二编码结果集合至少包含有所述第一池化结果及其上下文信息；
对所述第二编码结果集合进行池化，池化的结果作为第一整合语句向量。
5.根据权利要求3所述的方法，其特征在于，所述基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，包括：
分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第三编码结果集合，所述第三编码结果集合中至少包括有所述回复集合中句子的匹配向量中各个词向量及其上下文信息；
分别对各个所述第三编码结果集合进行池化，池化的结果作为第二池化结果；
分别对各个所述第二池化结果进行编码，编码结果组成的集合作为第四编码结果集合，所述第四编码结果集合至少包含有所述第二池化结果及其上下文信息；
对所述第四编码结果集合进行池化，池化的结果作为第二整合语句向量；
或，分别将各个所述第二池化结果及其对应的基于位置的语句权重相乘，并将相乘的结果之和作为所述第二整合语句向量。
6.一种语境集合与回复集合的匹配装置，其特征在于，包括：
第一编码模块，用于对语境集合中各个句子中的各个语境单词分别进行编码，分别得到目标语境单词，所述目标语境单词至少包含有所述语境单词及所述语境单词的上下文信息；
第二编码模块，用于对回复集合中各个句子中的各个回复单词分别进行编码，分别得到目标回复单词，所述目标回复单词至少包含有所述回复单词及所述回复单词的上下文信息；
匹配模块，用于基于所述语境集合中各个句子中的目标语境单词及所述回复集合中各个句子中的目标回复单词，得到所述语境集合中各个句子的匹配向量序列及所述回复集合中各个句子的匹配向量序列；
整合模块，用于基于所述语境集合中各个句子的匹配向量序列，整合得到第一整合语句向量，所述第一整合语句向量至少包含有表征所述语境集合中各个句子及其上下文信息的向量，及基于所述回复集合中各个句子的匹配向量序列，整合得到第二整合语句向量，所述第二整合语句向量至少包含有表征所述回复集合中各个句子及其上下文信息的向量；
拼接模块，用于对所述第一整合语句向量和所述第二整合语句向量进行拼接，得到目标语句匹配向量；
分类模块，用于将所述目标语句匹配向量输入分类器，得到所述分类器输出的匹配度，作为所述语境集合与所述回复集合的匹配度。
7.根据权利要求6所述的装置，其特征在于，所述匹配模块，包括：
第一生成子模块，用于基于多个所述目标语境单词，生成所述语境集合的全局向量序列，及基于多个所述目标回复单词，生成所述回复集合的全局向量序列；
第一计算子模块，用于基于所述语境集合的全局向量序列及所述回复集合的全局向量序列，计算所述语境集合的全局向量序列中的各个词向量与所述回复集合的全局向量序列中的各个词向量之间的距离，作为软对齐值；
第二计算子模块，用于利用所述软对齐值及所述回复集合的全局向量序列，分别计算表征所述语境集合的全局向量序列中各个词向量与所述回复集合的全局向量序列中词向量之间关系的向量，作为语境对偶向量；
第三计算子模块，用于利用所述软对齐值及所述语境集合的全局向量序列，分别计算表征所述回复集合的全局向量序列中各个词向量与所述语境集合的全局向量序列中词向量之间关系的向量，作为回复对偶向量；
第一确定子模块，用于基于所述语境集合的全局向量序列及各个所述语境对偶向量，得到所述语境集合中各个句子的匹配向量序列；
第二确定子模块，用于基于所述回复集合的全局向量序列及各个所述回复对偶向量，得到所述回复集合中各个句子的匹配向量序列。
8.根据权利要求7所述的装置，其特征在于，所述第一确定子模块，具体用于：
基于各个所述语境对偶向量，生成全局语境对偶向量序列；
将所述语境集合的全局向量序列与所述全局语境对偶向量序列之差作为第一向量序列差；
将所述语境集合的全局向量序列与所述全局语境对偶向量序列之乘作为第一向量序列乘；
将所述语境集合的全局向量序列、所述全局语境对偶向量序列、所述第一向量序列差及所述第一向量序列乘拼接，得到语境全局向量序列；
将所述语境全局向量序列拆分为所述语境集合中各个句子对应的向量，作为所述语境集合中各个句子的匹配向量序列；
所述第二确定子模块，具体用于：
基于各个所述回复对偶向量，生成全局回复对偶向量序列；
将所述回复集合的全局向量序列与所述全局回复对偶向量序列之差作为第二向量序列差；
将所述回复集合的全局向量序列与所述全局回复对偶向量序列之乘作为第二向量序列乘；
将所述回复集合的全局向量序列、所述全局回复对偶向量序列、所述第二向量序列差及所述第二向量序列乘拼接，得到回复全局向量序列；
将所述回复全局向量序列拆分为所述回复集合中各个句子对应的向量，作为所述回复集合中各个句子的匹配向量序列。
9.根据权利要求8所述的装置，其特征在于，所述整合模块，具体用于：
分别对所述语境集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第一编码结果集合，所述第一编码结果集合中至少包括有所述语境集合中句子的匹配向量中的各个词向量及其上下文信息；
分别对各个所述第一编码结果集合进行池化，池化的结果作为第一池化结果；
分别对各个所述第一池化结果进行编码，编码结果组成的集合作为第二编码结果集合，所述第二编码结果集合至少包含有所述第一池化结果及其上下文信息；
对所述第二编码结果集合进行池化，池化的结果作为第一整合语句向量。
10.根据权利要求8所述的装置，其特征在于，所述整合模块，具体用于：
分别对所述回复集合中各个句子的匹配向量序列中各个词向量进行编码，编码结果组成的集合作为第三编码结果集合，所述第三编码结果集合中至少包括有所述回复集合中句子的匹配向量中各个词向量及其上下文信息；
分别对各个所述第三编码结果集合进行池化，池化的结果作为第二池化结果；
分别对各个所述第二池化结果进行编码，编码结果组成的集合作为第四编码结果集合，所述第四编码结果集合至少包含有所述第二池化结果及其上下文信息；
对所述第四编码结果集合进行池化，池化的结果作为第二整合语句向量；
或，分别将各个所述第二池化结果及其对应的基于位置的语句权重相乘，并将相乘的结果之和作为所述第二整合语句向量。
CN201910411042.7A 2019-05-17 2019-05-17 一种语境集合与回复集合的匹配方法及装置 Active CN110134790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910411042.7A CN110134790B (zh) 2019-05-17 2019-05-17 一种语境集合与回复集合的匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910411042.7A CN110134790B (zh) 2019-05-17 2019-05-17 一种语境集合与回复集合的匹配方法及装置

Publications (2)

Publication Number Publication Date
CN110134790A CN110134790A (zh) 2019-08-16
CN110134790B true CN110134790B (zh) 2022-09-30

Family

ID=67574820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910411042.7A Active CN110134790B (zh) 2019-05-17 2019-05-17 一种语境集合与回复集合的匹配方法及装置

Country Status (1)

Country Link
CN (1) CN110134790B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674256B (zh) * 2019-09-25 2023-05-12 携程计算机技术（上海）有限公司 Ota酒店的点评与回复的相关度的检测方法及系统
CN113095782A (zh) * 2021-04-12 2021-07-09 中国工商银行股份有限公司 自动审批决策方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014835A1 (zh) * 2016-07-19 2018-01-25 腾讯科技（深圳）有限公司 一种对话生成方法及装置、设备、存储介质
CN108932342A (zh) * 2018-07-18 2018-12-04 腾讯科技（深圳）有限公司 一种语义匹配的方法、模型的学习方法及服务器
CN109547331A (zh) * 2018-11-22 2019-03-29 大连智讯科技有限公司 一种基于多轮语音聊天模型构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014835A1 (zh) * 2016-07-19 2018-01-25 腾讯科技（深圳）有限公司 一种对话生成方法及装置、设备、存储介质
CN108932342A (zh) * 2018-07-18 2018-12-04 腾讯科技（深圳）有限公司 一种语义匹配的方法、模型的学习方法及服务器
CN109547331A (zh) * 2018-11-22 2019-03-29 大连智讯科技有限公司 一种基于多轮语音聊天模型构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向知识库问答中复述问句评分的词向量构建方法;詹晨迪等;《模式识别与人工智能》;20160915(第09期);全文 *

Also Published As

Publication number Publication date
CN110134790A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110534087B (zh) 一种文本韵律层级结构预测方法、装置、设备及存储介质
WO2020238985A1 (zh) 模型训练方法、对话生成方法、装置、设备及存储介质
CN109697282B (zh) 一种语句的用户意图识别方法和装置
JP7407968B2 (ja) 音声認識方法、装置、設備及び記憶媒体
US12008336B2 (en) Multimodal translation method, apparatus, electronic device and computer-readable storage medium
CN110427625B (zh) 语句补全方法、装置、介质及对话处理系统
CN110134790B (zh) 一种语境集合与回复集合的匹配方法及装置
US20230029759A1 (en) Method of classifying utterance emotion in dialogue using word-level emotion embedding based on semi-supervised learning and long short-term memory model
CN110532469B (zh) 一种信息推荐方法、装置、设备及存储介质
CN116932731B (zh) 面向5g消息的多模态知识问答方法及系统
CN111291187A (zh) 一种情感分析方法、装置、电子设备及存储介质
CN113065358A (zh) 面向银行咨询服务基于多粒度对齐的文本对语义匹配方法
CN118113815B (zh) 内容搜索方法、相关装置和介质
CN112989024A (zh) 文本内容的关系提取方法、装置、设备及存储介质
CN117332112A (zh) 多模态检索模型训练以及多模态检索方法、电子设备及存储介质
CN113868451B (zh) 基于上下文级联感知的社交网络跨模态对话方法及装置
CN114692624A (zh) 一种基于多任务迁移的信息抽取方法、装置及电子设备
Lu et al. Gear: Augmenting language models with generalizable and efficient tool resolution
CN114330704A (zh) 语句生成模型更新方法、装置、计算机设备和存储介质
CN114443824B (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN112818688B (zh) 文本处理方法、装置、设备及存储介质
CN114519094A (zh) 基于随机状态的话术推荐方法、装置及电子设备
CN109597884B (zh) 对话生成的方法、装置、存储介质和终端设备
Ni et al. Explore bilstm-crf-based models for open relation extraction
CN113609266B (zh) 资源处理方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant