CN110309287A - 建模对话轮次信息的检索式闲聊对话打分方法 - Google Patents
建模对话轮次信息的检索式闲聊对话打分方法 Download PDFInfo
- Publication number
- CN110309287A CN110309287A CN201910612036.8A CN201910612036A CN110309287A CN 110309287 A CN110309287 A CN 110309287A CN 201910612036 A CN201910612036 A CN 201910612036A CN 110309287 A CN110309287 A CN 110309287A
- Authority
- CN
- China
- Prior art keywords
- attention
- word
- sentence
- attention mechanism
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013077 scoring method Methods 0.000 title claims description 3
- 230000007246 mechanism Effects 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000000034 method Methods 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 10
- 244000309464 bull Species 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000013011 mating Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims 1
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 1
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000299 nuclear matrix Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种引入对话历史信息的局部注意力机制的检索式对话系统，在开放领域的检索式对话中，传统的模型分为表示层，匹配层，集成层，预测层中，最后从候选集中选出和对话最匹配的候选回复。将表示层划分成单句表示和句间关系两部分进行分别建模。在建模对话的轮次信息时使用局部注意力机制，使得在训练模型时，注意力机制能够获得对于匹配任务更有帮助的轮次信息。局部注意力机制也能够提高模型对整个对话中不同位置内容的关注能力。针对对话中的每部分内容，对重要信息赋予较大权重，次要信息或干扰信息赋予较小权重，实现更好的回复匹配，加快训练速度，提高模型效率。
Description
技术领域
本发明涉及基于注意力机制的检索式开放领域对话领域，是一种基于局部注意力机制建模对话轮次信息的检索式对话打分机制。
背景技术
对话的建模，目前主要分为检索式、生成式。检索式就是通过检索与匹配的方式从已有的大量候选回复集中找出最合适的那个作为答复。生成式则是通过训练来把对话的问句和答句部分分别放入编码器和解码器中，推理的时候首先模型的编码部分去读历史对话，然后模型中的解码部分直接生成相应的回复。检索式对话之前有常用的四个模型：Multi-view,SMN,DUA,DMA四个模型。Multi-view提出了将多轮对话建模为一个语义单元来建模多轮对话问题；SMN使用基于交互的匹配模型代替基于表示的匹配模型，并对文本进行多粒度表示；DUA对上下文向量进行深度的编码来建模多轮对话之间的依赖关系；DAM一方面对文本对进行多粒度表示并提出了一种深度注意力的方法，另一方面提出了一种将词级别和句子级别的信息整合到一起，构建一个多通道的三维立方体(其实是把每个句子看成单帧的图像，将这个正方体类比成视频)，进而通过三维图像分类器完成匹配的新思路。
发明内容
DAM的局限性主要出现在被选中候选集中的回复，基本适用于该对话，但细节与上下文并不匹配。或者是会在匹配模型没有学习到真正的语义关系，而是对于多轮对话的内容产生了混淆，从而影响到选择真正的回答。模型之所以会产生细节不匹配或语义混淆，主要的原因是在模型计算匹配分数时，使用的三维卷积，每个三维卷积的操作都会将n个前文对话的n个单词和候选集中回复的n个单词放入同一个三维卷积中进行卷积处理。输入矩阵的在滑窗里的部分与卷积核矩阵对应位置相乘，再将通道内矩阵产生的结果求和，导致在多轮对话的句子很难学习到相应的句子权重。为了解决现有的技术问题，本发明提供了一种在卷积之前引入对话轮次依赖信息注意力的方法，方案如下：
步骤一：基于开放领域的闲聊数据集，中文数据集将句子进行分词处理，英文数据集将数据去大小写，做英文词的预处理。将词典按照出现的词频排序，取前百分之九十构建词表。
步骤二：将问句和候选回复集中的句子每个词映射为对应的词向量，将输入部分映射为一个词向量的矩阵。
步骤三：编码阶段，使用注意力机制，使用自注意力机制进行编码，使用多头注意力提取不同表示子空间里的信息。编码器有多层。
步骤四：使用交互注意力作为另外一种编码方式，将问句和候选回复作为输入，获取他们之间的语义联系。
步骤五：将多轮对话多层的自注意力和交互注意力的编码组合成为三维的立方体，再使用引入轮次注意力，根据对话的语境发展，每句对应不同的权重。最后使用三维卷积提取匹配特征。
步骤六：使用卷积提取的特征经过激活函数计算匹配分数。
附图说明
图1为对话中上下文每句计算注意力的示意图；
图2为注意力机制示意图；
图3为多头注意力机制计算及拼接示意图；
图4为本发明提供的一种基于局部注意力机制在多轮对话任务上的方法流程图。
具体实施方式
接下来将对本发明的实施方案作更详细的描述。
步骤S1：基于开放领域的闲聊数据集，将数据进行预处理。将词典按照出现的词频排序，构建词表。
步骤S2：将问句和候选回复集中的句子每个词映射为对应的词向量，将输入部分映射为一个词向量的矩阵。
步骤S3：使用注意力机制编码，使用自注意力机制进行编码，使用多头注意力提取不同表示子空间里的信息。编码器有多层，图2为注意力机制示意图。
步骤S4：使用交互注意力作为另外一种编码方式，将问句和候选回复作为输入，获取他们之间的语义联系，图2为注意力机制示意图。
步骤S5：将多轮对话多层的自注意力和交互注意力的编码组合成为三维的立方体，再使用引入轮次注意力，根据对话的语境发展，每句对应不同的权重。最后使用三维卷积提取匹配特征。图3为多头注意力机制计算及拼接示意图。
步骤S6：使用卷积提取的特征经过激活函数计算匹配分数。流程见图4。
下面对第一部分的每个步骤进行具体的说明：
步骤S1：使用多轮对话数据集，将历史对话分词后的结果作为模型输入，初始化词向量矩阵。假设词表中共有S个词，那么可以表示为一个S*k的矩阵，其中k表示词向量的维度，每一个词可以用一个k维的向量进行表示。
步骤S2：历史对话和候选回复集分别向量化。建立词语到词向量编号的映射字典，将文本中各个词语映射为相应的词语编号。建立词向量矩阵，每一行行号对应相应的词语编号，每一行代表一个词向量。假设中文词语共有N个，那么词向量矩阵可以表示为一个N*d的矩阵，其中d表示词向量的维度，每一个词语都可以用一个d维的向量进行表示。拼接对话中的词向量得到编码器输入。对于输入文本，假设该句话中一共有n个词语，将该句中的所有词语的词向量拼接，可以得到编码器的输入矩阵，输入矩阵可以表示为x。
其中，xi表示文本中第i个单词的词向量，n表示文本长度即文本中词语个数，表示向量的列连接。
步骤S3:使用注意力机制编码句子输入。注意力公式为：
v＝wvxi
q＝wqxi
k＝wkxi
其中，q,k,v参数不同，但x都是同一句的词向量矩阵。将输入句子进行评分，通过问句和键值点积，将得分做多分类表示当前单词在对应句子中每个单词位置的表示程度。当前单词在句子多分类中分数最高，注意力机制在保存对当前词的关注度不变的情况下，降低对不相关词的关注。图2为注意力机制示意图。
步骤S4：使用交互注意力机制编码，对于历史对话中的每句进行编码，q使用历史对话的词向量矩阵，k和v使用候选集回复中的句子，目的是获得两句话之间的语义匹配性。对于候选回复集中的句子，q使用候选集中的句子，k和v使用历史对话。图2为注意力机制示意图。
步骤S5：将历史对话的每句和候选回复拼成一个立方体，在提取匹配特征时，对立方体进行三维卷积。
拼接方法如下，使用L层自注意力，使用L层交互注意力，每层的输入都是上一层的输出，最后再将每层的结果拼接起来：
在自注意力中，q，k，v对应的都是同一句话。比如对历史对话中的每一句做自注意力时输入就是历史对话中句子。或者是候选数据集的每一句。而在交互注意力中，q，k，v是不同的。对历史对话做交互注意力中输入q是历史对话，k和v是候选集数据。反之。候选数据集做交互注意力中输入q是候选集回复，k和v是历史对话。每层的交互注意力和自注意力的拼接方式如下：
Mself＝{uself·rself} (6)
Mcross＝{ucross·rcross} (7)
图3为多头注意力机制计算及拼接示意图。f最终拼接出的立方体，三个边各代表历史对话的轮次数目，每句的词数，候选回复的词数，同时对于历史对话中的每一句话，需要引入注意力信息，对于候选回复做局部注意力。局部注意力的窗口大小是卷积深度(沿着对话轮次方向的卷积深度)，计算注意力的公式如下：
这样，卷积时的每一次计算都会引入窗口大小的注意力数值，和匹配的立方体对应句相乘，多分类的和为一，降低对不相关内容的关注度。
步骤S6：使用卷积提取的特征经过激活函数计算匹配分数。提取特征除了使用三维卷积层，还使用了池化层去提取匹配结构中的重要信息。最后我们通过非线性函数得到匹配分数：
g(u，r)＝sig mod(w·fmatch(u，r)+b) (9)
模型的损失函数是似然函数。使用梯度下降自适应学习率的优化器作为参数优化方式。整体流程见图4。
以上提出了一种基于局部注意力机制建模对话轮次信息的检索式对话打分机制，及各模块的具体实施方式进行了阐述。通过以上关于实施方式的阐述。可以很清楚的了解到可借助软件加必须的硬件平台来实现。依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种建模对话轮次信息的检索式闲聊打分方法，使用局部注意力机制建模对话轮次信息。所述方法包含以下结构和步骤：
(1)基于开放领域的闲聊数据集，中文数据集将句子进行分词处理，英文数据集将数据去大小写，做英文的预处理。将词典按照出现的词频排序，取前百分之九十构建词表；
(2)将问句和候选回复集中的句子每个词映射为对应的词向量，将输入部分映射为一个词向量的矩阵；
(3)编码阶段，使用注意力机制，使用自注意力机制进行编码，使用多头注意力提取不同表示子空间里的信息。编码器有多层；
(4)使用交互注意力作为另外一种编码方式，将问句和候选回复作为输入，获取他们之间的语义联系；
(5)将多轮对话多层的自注意力和交互注意力的编码组合成为3D的立方体，再使用引入句间轮次信息注意力，根据对话的语境发展，每句对应不同的权重。需要引入注意力信息，对于候选回复做局部注意力。局部注意力的窗口大小是卷积深度(沿着对话轮次方向的卷积深度)。最后使用三维卷积提取匹配特征；
(6)使用卷积提取的特征经过激活函数计算匹配分数。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括：
(1.1)将历史对话分词后的结果作为模型输入，初始化词向量矩阵；
(1.2)词表中共有S个词，那么可以表示为一个S*k的矩阵。
3.如权利要求1所述的方法，其特征在于，所述步骤(2)具体包括：
(2.1)历史对话和候选回复集分别向量化。建立词语到词向量编号的映射字典，将文本中各个词语映射为相应的词语编号；
(2.2)对于输入文本，假设该句话中一共有n个词语，将该句中的所有词语的词向量拼接，可以得到编码器的输入矩阵。
4.如权利要求1所述的方法，其特征在于，所述步骤(3)具体包括：
(3.1)使用自注意力机制编码句子输入；
(3.2)将输入句子进行评分，通过问句和键值点积，将得分做多分类，表示当前单词在对应句子中每个单词位置的表示程度；
(3.3)使用多头注意力机制，获得不同子空间的表示方式。
5.如权利要求1所述的方法，其特征在于，所述步骤(4)具体包括：
(4.1)使用交互注意力机制编码；
(4.2)对于历史对话中的每句进行编码，目的是获得两句话之间的语义匹配性。
6.如权利要求1所述的方法，其特征在于，所述步骤(5)具体包括：
(5.1)将历史对话的每句和候选回复拼成一个立方体；
(5.2)使用L层自注意力；
(5.3)使用L层交互注意力。
(5.4)每层的输入都是上一层的输出，最后再将每层的结果拼接起来。
7.如权利要求1所述的方法，其特征在于，所述步骤(6)具体包括：
(6.1)使用三维卷积层提取特征；
(6.2)使用局部注意力机制提取上下文轮次关系；
(6.3)使用了池化层去提取匹配结构中的重要信息；
(6.4)通过非线性函数得到匹配分数；
(6.5)模型的损失函数是似然函数，使用梯度下降自适应学习率的优化器作为参数优化方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910612036.8A CN110309287B (zh) | 2019-07-08 | 2019-07-08 | 建模对话轮次信息的检索式闲聊对话打分方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910612036.8A CN110309287B (zh) | 2019-07-08 | 2019-07-08 | 建模对话轮次信息的检索式闲聊对话打分方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309287A true CN110309287A (zh) | 2019-10-08 |
| CN110309287B CN110309287B (zh) | 2021-07-06 |
Family
ID=68078317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910612036.8A Expired - Fee Related CN110309287B (zh) | 2019-07-08 | 2019-07-08 | 建模对话轮次信息的检索式闲聊对话打分方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309287B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851580A (zh) * | 2019-11-18 | 2020-02-28 | 北京邮电大学 | 一种基于结构化用户属性描述的个性化任务型对话系统 |
| CN110866103A (zh) * | 2019-11-08 | 2020-03-06 | 中山大学 | 一种对话系统中的句子多样性生成方法及系统 |
| CN111091006A (zh) * | 2019-12-20 | 2020-05-01 | 北京百度网讯科技有限公司 | 一种实体意图体系的建立方法、装置、设备和介质 |
| CN111177339A (zh) * | 2019-12-06 | 2020-05-19 | 百度在线网络技术（北京）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN111291170A (zh) * | 2020-01-20 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 一种基于智能客服的会话推荐方法及相关装置 |
| CN112000787A (zh) * | 2020-08-17 | 2020-11-27 | 上海小鹏汽车科技有限公司 | 语音交互方法、服务器和语音交互系统 |
| CN112632236A (zh) * | 2020-12-02 | 2021-04-09 | 中山大学 | 一种改进的基于顺序匹配网络的多轮对话模型 |
| CN112749566A (zh) * | 2019-10-31 | 2021-05-04 | 兰雨晴 | 一种面向英文写作辅助的语义匹配方法及装置 |
| CN112765978A (zh) * | 2021-01-14 | 2021-05-07 | 中山大学 | 一种针对多人多轮对话场景的对话图重构方法及系统 |
| CN112818105A (zh) * | 2021-02-05 | 2021-05-18 | 江苏实达迪美数据处理有限公司 | 一种融合上下文信息的多轮对话方法及系统 |
| CN112905772A (zh) * | 2021-02-10 | 2021-06-04 | 网易有道信息技术（北京）有限公司 | 语义相关性分析方法、装置及相关产品 |
| CN113220856A (zh) * | 2021-05-28 | 2021-08-06 | 天津大学 | 一种基于中文预训练模型的多轮对话系统 |
| WO2021204017A1 (zh) * | 2020-11-20 | 2021-10-14 | 平安科技（深圳）有限公司 | 文本意图识别方法、装置以及相关设备 |
| CN113505208A (zh) * | 2021-07-09 | 2021-10-15 | 福州大学 | 一种融合多路注意力机制的智能对话系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017223010A1 (en) * | 2016-06-23 | 2017-12-28 | Microsoft Technology Licensing, Llc | End-to-end memory networks for contextual language understanding |
| CN108364066A (zh) * | 2017-11-30 | 2018-08-03 | 中国科学院计算技术研究所 | 基于n-gram和wfst模型的人工神经网络芯片及其应用方法 |
| CN108717413A (zh) * | 2018-03-26 | 2018-10-30 | 浙江大学 | 一种基于假设性半监督学习的开放领域问答方法 |
| CN108763504A (zh) * | 2018-05-30 | 2018-11-06 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及系统 |
| CN108874782A (zh) * | 2018-06-29 | 2018-11-23 | 北京寻领科技有限公司 | 一种层次注意力lstm和知识图谱的多轮对话管理方法 |
-
2019
- 2019-07-08 CN CN201910612036.8A patent/CN110309287B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017223010A1 (en) * | 2016-06-23 | 2017-12-28 | Microsoft Technology Licensing, Llc | End-to-end memory networks for contextual language understanding |
| CN108364066A (zh) * | 2017-11-30 | 2018-08-03 | 中国科学院计算技术研究所 | 基于n-gram和wfst模型的人工神经网络芯片及其应用方法 |
| CN108717413A (zh) * | 2018-03-26 | 2018-10-30 | 浙江大学 | 一种基于假设性半监督学习的开放领域问答方法 |
| CN108763504A (zh) * | 2018-05-30 | 2018-11-06 | 浙江大学 | 一种基于强化双通道序列学习的对话回复生成方法及系统 |
| CN108874782A (zh) * | 2018-06-29 | 2018-11-23 | 北京寻领科技有限公司 | 一种层次注意力lstm和知识图谱的多轮对话管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| XIANGYANG ZHOU等: "Multi-Turn Response Selection for Chatbots with Deep Attention", 《PROCEEDINGS OF THE 56TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749566B (zh) * | 2019-10-31 | 2024-05-03 | 兰雨晴 | 一种面向英文写作辅助的语义匹配方法及装置 |
| CN112749566A (zh) * | 2019-10-31 | 2021-05-04 | 兰雨晴 | 一种面向英文写作辅助的语义匹配方法及装置 |
| CN110866103B (zh) * | 2019-11-08 | 2023-07-07 | 中山大学 | 一种对话系统中的句子多样性生成方法及系统 |
| CN110866103A (zh) * | 2019-11-08 | 2020-03-06 | 中山大学 | 一种对话系统中的句子多样性生成方法及系统 |
| CN110851580A (zh) * | 2019-11-18 | 2020-02-28 | 北京邮电大学 | 一种基于结构化用户属性描述的个性化任务型对话系统 |
| CN110851580B (zh) * | 2019-11-18 | 2022-05-03 | 北京邮电大学 | 一种基于结构化用户属性描述的个性化任务型对话系统 |
| CN111177339A (zh) * | 2019-12-06 | 2020-05-19 | 百度在线网络技术（北京）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN111177339B (zh) * | 2019-12-06 | 2023-07-25 | 百度在线网络技术（北京）有限公司 | 对话生成方法、装置、电子设备及存储介质 |
| CN111091006B (zh) * | 2019-12-20 | 2023-08-29 | 北京百度网讯科技有限公司 | 一种实体意图体系的建立方法、装置、设备和介质 |
| CN111091006A (zh) * | 2019-12-20 | 2020-05-01 | 北京百度网讯科技有限公司 | 一种实体意图体系的建立方法、装置、设备和介质 |
| CN111291170A (zh) * | 2020-01-20 | 2020-06-16 | 腾讯科技（深圳）有限公司 | 一种基于智能客服的会话推荐方法及相关装置 |
| CN111291170B (zh) * | 2020-01-20 | 2023-09-19 | 腾讯科技（深圳）有限公司 | 一种基于智能客服的会话推荐方法及相关装置 |
| CN112000787A (zh) * | 2020-08-17 | 2020-11-27 | 上海小鹏汽车科技有限公司 | 语音交互方法、服务器和语音交互系统 |
| WO2021204017A1 (zh) * | 2020-11-20 | 2021-10-14 | 平安科技（深圳）有限公司 | 文本意图识别方法、装置以及相关设备 |
| CN112632236A (zh) * | 2020-12-02 | 2021-04-09 | 中山大学 | 一种改进的基于顺序匹配网络的多轮对话模型 |
| CN112765978A (zh) * | 2021-01-14 | 2021-05-07 | 中山大学 | 一种针对多人多轮对话场景的对话图重构方法及系统 |
| CN112818105B (zh) * | 2021-02-05 | 2021-12-07 | 江苏实达迪美数据处理有限公司 | 一种融合上下文信息的多轮对话方法及系统 |
| CN112818105A (zh) * | 2021-02-05 | 2021-05-18 | 江苏实达迪美数据处理有限公司 | 一种融合上下文信息的多轮对话方法及系统 |
| CN112905772A (zh) * | 2021-02-10 | 2021-06-04 | 网易有道信息技术（北京）有限公司 | 语义相关性分析方法、装置及相关产品 |
| CN112905772B (zh) * | 2021-02-10 | 2022-04-19 | 网易有道信息技术（北京）有限公司 | 语义相关性分析方法、装置及相关产品 |
| CN113220856A (zh) * | 2021-05-28 | 2021-08-06 | 天津大学 | 一种基于中文预训练模型的多轮对话系统 |
| CN113505208A (zh) * | 2021-07-09 | 2021-10-15 | 福州大学 | 一种融合多路注意力机制的智能对话系统 |
| CN113505208B (zh) * | 2021-07-09 | 2024-02-02 | 福州大学 | 一种融合多路注意力机制的智能对话系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309287B (zh) | 2021-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309287A (zh) | 建模对话轮次信息的检索式闲聊对话打分方法 | |
| CN110134771B (zh) | 一种基于多注意力机制融合网络问答系统的实现方法 | |
| CN106997375B (zh) | 基于深度学习的客服回复推荐方法 | |
| CN110598221B (zh) | 利用生成对抗网络构造蒙汉平行语料提高蒙汉翻译质量的方法 | |
| CN110162636B (zh) | 基于d-lstm的情绪原因识别方法 | |
| CN111897933B (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| CN109710923A (zh) | 基于跨媒体信息的跨语言实体匹配方法 | |
| CN112990296B (zh) | 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及系统 | |
| CN108228576B (zh) | 文本翻译方法及装置 | |
| CN110135551B (zh) | 一种基于词向量和循环神经网络的机器人聊天方法 | |
| CN109977207A (zh) | 对话生成方法、对话生成装置、电子设备及存储介质 | |
| CN113158665A (zh) | 一种基于文本摘要生成与双向语料改善对话文本生成的方法 | |
| CN111858932A (zh) | 基于Transformer的多重特征中英文情感分类方法及系统 | |
| CN110209789A (zh) | 一种用户注意力引导的多模态对话系统及方法 | |
| CN114092707A (zh) | 一种图像文本视觉问答方法、系统及存储介质 | |
| CN111966800A (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| CN110059220A (zh) | 一种基于深度学习与贝叶斯概率矩阵分解的电影推荐方法 | |
| CN110851575A (zh) | 一种对话生成系统及对话实现方法 | |
| CN110717341A (zh) | 一种以泰语为枢轴的老-汉双语语料库构建方法及装置 | |
| CN109933773A (zh) | 一种多重语义语句解析系统及方法 | |
| CN116662500A (zh) | 一种基于bert模型与外部知识图谱的问答系统构建方法 | |
| CN114972907A (zh) | 基于强化学习和对比学习的图像语义理解及文本生成 | |
| CN111522963A (zh) | 一种基于公安知识图谱引擎的智能助理应用交互方法 | |
| Guo et al. | Revisit out-of-vocabulary problem for slot filling: A unified contrastive framework with multi-level data augmentations | |
| CN114328866A (zh) | 应答流畅准确的强拟人化智能对话机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210706 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |