CN111737432A - 一种基于联合训练模型的自动对话方法和系统 - Google Patents
一种基于联合训练模型的自动对话方法和系统 Download PDFInfo
- Publication number
- CN111737432A CN111737432A CN202010574503.5A CN202010574503A CN111737432A CN 111737432 A CN111737432 A CN 111737432A CN 202010574503 A CN202010574503 A CN 202010574503A CN 111737432 A CN111737432 A CN 111737432A
- Authority
- CN
- China
- Prior art keywords
- model
- slot
- capsule
- intention
- slot position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012549 training Methods 0.000 title claims abstract description 46
- 239000002775 capsule Substances 0.000 claims abstract description 77
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000010845 search algorithm Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 9
- 238000001125 extrusion Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Fuzzy Systems (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于联合训练模型的自动对话方法，包括以下步骤：获取用户输入问句；将所述问句转化为词向量；构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练；将所述词向量输入所述联合模型中，输出用户意图及槽位标签；根据对话管理框架，判断所述用户意图下的所有槽位是否被槽位标签填充完毕，若无，通过对话管理框架补全槽位；将所述用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。本发明不需要大量的人力和时间来对规则和模板进行编写，也不需要耗费大量时间对系统进行维护；能够有效提高预测答案的召回率。
Description
技术领域
本发明涉及自然语言处理和深度学习技术领域，尤其涉及一种基于联合训练模型的自动对话方法和系统。
背景技术
随着信息技术的不断发展，自动对话系统逐渐成为一个热门的研究话题。自动对话系统又称为自动问答系统，是指人与机器之间通过自然语言的方式进行沟通和交流的系统。目前，自动对话系统能够通过用户输入的自然语言这种非结构化的文本信息，判断出用户意图，并且给出相应反馈。
早期的自动对话系统，主要采用基于模板和规则的方式，通过提取用户输入的关键词来检索和匹配出相应结果。这种方法的缺点是需要大量的专业人员对语言模板进行编写，并且根据不同的场景更换不同的语言模板，需要大量的人力和时间来对系统进行维护，灵活性非常低，且能够覆盖到的领域比较狭窄。随着时代的变迁和硬件设备的改进，存储海量数据成为现实，出现了基于知识图谱和基于深度学习模型的自动对话系统。这些方法通常采用先识别意图再预测槽位信息的流水线方式，使得预测意图信息和预测槽位信息成为两个完全独立的子模块，无法对它们建立联系。近年来出现的一些意图识别和槽位填充联合模型，也是采用不同的网络层来处理不同的模块预测，两个子模块的信息仍然不能被运用到另一个模块中。
在现有技术中，CN110473521A提供了一种基于任务模型的训练方法、装置和设备，该方法采用较常用的先识别意图，再根据用户意图生成槽位的方式，通过多轮对话来对用户意图进行修正，在一定程度上提高了意图识别的准确率，但这种流水线方式会造成错误传递的结果，一旦识别错误，会对后续任务造成不良影响。
CN110502608A提供了一种基于知识图谱的人机对话方法及人机对话装置，该方法采用卷积神经网络模型来识别语句的意图并对槽位进行预测，同时采用精确匹配的搜索方式将意图和槽位信息输入知识图谱进行搜索，以输出答案。在该方法中，卷积神经网络无法学习语句中的上下文关系，不能很好地将意图和槽位标签之间的信息互相传递，并且在知识图谱的搜索过程中，采用的是精确匹配的搜索方法，如果知识图谱中不存在问句中的实体信息，将无法输出答案。
综上所述，现有自动对话系统存在以下几点问题：
(1)基于模板和规则的自动对话系统需要耗费大量的人力和时间来对规则进行编写，而且能够覆盖到的领域有限，模型的灵活性不高。
(2)现有的基于知识图谱和基于深度学习模型的自动对话系统，通常采用先识别意图再预测槽位信息的流水线方式，使得预测意图信息和预测槽位信息成为两个完全独立的子模块，无法对它们建立联系。
(3)部分自动对话系统在知识图谱中检索答案时，常常采用精确匹配的方法，使用该方法很可能无法在知识图谱中检索到答案，容易造成召回率低的问题。
发明内容
鉴于上述技术问题，本发明提供了一种基于联合训练模型的自动对话方法和系统，用于解决背景技术中的问题。
本发明采用的技术方案是：提供一种基于联合训练模型的自动对话方法，包括以下步骤：
获取用户输入问句；
将所述问句转化为词向量；
构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练；
将所述词向量输入所述联合模型中，输出用户意图及槽位标签；
根据对话管理框架，判断所述用户意图下的所有槽位是否被槽位标签填充完毕，若无，通过对话管理框架补全槽位；
将所述用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。
优选地，将所述问句转化为词向量的方法，包括：随机生成的词向量表示方法，或基于深度学习的语言模型训练得到的向量表示方法。
优选地，所述联合模型包括：构建三个子胶囊模块，分别为词胶囊模块、槽位胶囊模块和意图胶囊模块，各个模块之间通过动态路径连接。
优选地，所述动态路径通过路由协议执行；
所述词胶囊模块由多层长短期记忆模型循环神经网络构成，以学习输入问句中每个单词的上下文关系；
在所述词胶囊模块后接入所述槽位胶囊模块，将所述词胶囊模块的长短期记忆模型循环神经网络层输出传入所述槽位胶囊模块的挤压函数，并通过动态路径的路由协议对所述挤压函数参数进行更新；
在所述槽位胶囊模块后接入所述意图胶囊模块，所述意图胶囊模块包含多个全连接层，通过动态路由协议对全连接层中的参数进行更新。
优选地，处于更高阶的槽位胶囊模块和意图胶囊模块在学习到低阶的词胶囊模块传递过来的特征后，通过路径更新将学习后的特征重新传递给位于低阶的词胶囊模块，以实现各模块之间的信息传递。
优选地，构建基于胶囊神经网络的意图识别和槽位填充联合模型之后，还包括：迭代更新所述联合模型参数的方法，所述迭代更新联合模型参数的方法采用最大间隔损失函数对所述联合模型参数进行优化。
优选地，所述模型的训练包含获取语料数据，对所述语料数据进行意图和槽位的标注，将所述标注后的语料数据进行词向量的转换，将所述词向量输入基于胶囊神经网络的意图识别和槽位填充联合模型中进行训练，得到训练好的基于胶囊神经网络的联合模型。
优选地，通过所述基于胶囊神经网络的联合训练模型得到用户意图和槽位标签，判断所述用户意图下的槽位信息是否填充完整，若槽位信息填充不完整，返回预设问句以获取相应缺失的槽位信息。
优选地，将所述意图及所述槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案之前，还包括：建立搜索算法以找到与所述意图和槽位信息相匹配的知识图谱路径。
一种基于联合训练模型的自动对话系统，包括：
问句获取单元，获取用户输入问句；
词向量转换单元，将所述问句转化为词向量；
模型构建单元，构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练；
识别单元，将所述词向量输入所述基于胶囊神经网络的联合模型中，输出用户意图及槽位标签；
对话管理单元，根据对话管理框架，判断所述用户意图下的所有槽位是否被槽位标签填充完毕，若无，通过对话管理框架补全槽位；
搜索单元，将所述用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。
本发明的有益效果是：
(1)本发明提供的自动对话方法和系统不需要大量的人力和时间来对规则和模板进行编写，也不需要耗费大量时间对系统进行维护；
(2)本发明提供的自动对话方法和系统是基于胶囊神经网络的意图识别和槽位填充联合模型，能够很好地学习两个子模块之间的联系，充分运用模块之间的信息传递，以提高完整系统的准确性；
(3)本发明提供的自动对话方法和系统提供了一种在知识图谱中搜索路径的模糊匹配算法，能够有效提高预测答案的召回率。
附图说明
图1为本发明提供的一种基于联合训练模型的自动对话方法的流程示意图；
图2为本发明提供的一种基于联合训练模型的自动对话方法的基于胶囊神经网络的模型框架图；
图3为本发明一种基于联合训练模型的自动对话系统的系统架构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步详细描述，但本发明的实施方式不限于此。
实施例一：
参见图1，一种基于联合训练模型的自动对话方法，包括如下步骤：
步骤1、获取用户输入问句。
步骤2、将所述问句转化为词向量。
将问句中的每个字转化成词向量的方法，包括：随机生成一定长度的向量表示，在模型训练过程中根据模型参数的迭代更新而更新；或者，
利用深度学习模型预训练词向量，这样的深度学习模型有word2vec模型，Glove模型等。
步骤3、构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练。
具体实施例中，构建基于胶囊神经网络的意图识别和槽位填充联合模型，包括：构建三个子胶囊模块，分别为词胶囊模块，槽位胶囊模块和意图胶囊模块，各个模块之间通过动态路径连接。
如图2所示，是本发明一种基于联合训练模型的自动对话方法的实施例一中的基于胶囊神经网络的模型框架图，包括：
动态路径，通过路由协议执行。
词胶囊模块，由多层长短期记忆模型循环神经网络(LSTM)构成，以学习输入问句中每个单词的上下文关系。
槽位胶囊模块，在词胶囊模块后接入槽位胶囊模块，将词胶囊模块的LSTM网络层输出传入槽位胶囊模块的挤压函数，并通过动态路径的路由协议对挤压函数参数进行更新。
意图胶囊模块，在槽位胶囊模块后接入意图胶囊模块，意图胶囊模块包含多个全连接层，通过动态路由协议对全连接层中的参数进行更新。
路径更新，处于更高阶的槽位胶囊模块和意图胶囊模块在学习到低阶模块传递过来的特征后，通过路径更新将学习后的特征重新传递给位于低阶的词胶囊模块，以实现各模块之间的信息传递。
具体实施例中，在建立所述基于胶囊神经网络的意图识别和槽位填充联合模型之后，还包括：迭代更新所述联合模型参数的方法，该方法采用最大间隔损失函数对联合模型参数进行优化。
具体实施例中，在建立基于胶囊神经网络的意图识别和槽位填充联合模型之后，还包括：所述基于胶囊神经网络的意图识别和槽位填充联合模型的训练方法，包含获取语料数据，对所述语料数据进行意图和槽位的标注，将标注后的语料数据进行词向量的转换，将词向量输入基于胶囊神经网络的意图识别和槽位填充联合模型中进行训练，得到训练好的基于胶囊神经网络的联合模型。
标注语料的方法，包括：采用非人工标注方式，通过非监督的方式进行远程标注，得到包含意图标签和槽位标签的训练语料，或者，
采用人工标注方式，借助序列标注工具，对所述语料进行标注，得到包含意图标签和槽位标签的训练语料。
步骤4、将词向量输入基于胶囊神经网络的联合模型中，输出用户意图及槽位标签。
具体实施例中，在输出用户意图及槽位标签之后，基于规则根据槽位标签获取用于填充槽位的实体词。
步骤5、根据对话管理框架，判断用户意图下的所有槽位是否被槽位标签填充完整，若无，通过对话管理框架补全槽位。
构建对话管理框架的方法，包括：通过基于胶囊神经网络的联合训练模型得到用户意图和槽位标签，根据槽位标签得到文本中的实体信息，填充槽位，判断意图下的槽位信息是否填充完整，若槽位信息填充不完整，返回预定问句以获取相应缺失槽位信息。
步骤6、将用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。
具体实施例中，将意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案之前，还包括：建立搜索算法以找到与意图和槽位信息相匹配的知识图谱路径。通过意图确定知识图谱中的知识领域，将槽位信息转化为向量表示，与知识图谱中的知识领域下的实体和关系进行相似度计算，找到相似度最大的实体关系对，把其对应的另一个槽位信息中缺失的元素作为答案输出。
根据本发明提供的方法，针对用户输入的文本，能够迅速识别出用户意图，捕捉槽位信息，若槽位信息不全，能够及时通过多轮对话获取所需槽位信息，并快速返回应答。该方法基于胶囊神经网络的深度学习模型，能够使各个模块之间的信息充分传递，使信息利用率最大化。同时本发明采用模糊匹配算法在知识图谱中检索答案，有效提高了预测答案的召回率。
实施例二
如图3所示，是本发明一种基于联合训练模型的自动对话系统的系统架构图，包括：
问句获取单元，用于获取用户输入问句；
词向量转换单元，用于将所述问句转化为词向量；
模型构建单元，构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练；
识别单元，将词向量输入基于胶囊神经网络的联合模型中，输出用户意图及槽位标签；
对话管理单元，根据对话管理框架，判断用户意图下的所有槽位是否被槽位标签填充完整，若无，通过对话管理框架补全槽位；
搜索单元，用于将用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。
每个单元的具体细节信息见实施例一。
需要说明的是，本实施例中的各个单元是逻辑意义上的，在具体实施过程中，一个单元可拆分成多个单元，多个单元也可以合并成一个单元。
根据本发明实施例二提供的一种基于联合训练模型的自动对话系统，能够同时预测出用户意图和问句中的实体信息，同时根据对话管理系统补全所述意图下所需缺失槽位。该系统采用基于胶囊神经网络的深度学习模型，将各个模块的信息充分传递到上下级模块中，提高信息利用率，并采用模糊匹配算法在知识图谱中搜索答案，有效提高了系统的召回率和准确率。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于联合训练模型的自动对话方法，其特征在于：包括以下步骤：
获取用户输入问句；
将所述问句转化为词向量；
构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练；
将所述词向量输入所述联合模型中，输出用户意图及槽位标签；
根据对话管理框架，判断所述用户意图下的所有槽位是否被槽位标签填充完毕，若无，通过对话管理框架补全槽位；
将所述用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。
2.根据权利要求1所述的一种基于联合训练模型的自动对话方法，其特征在于：将所述问句转化为词向量的方法，包括：随机生成的词向量表示方法，或基于深度学习的语言模型训练得到的向量表示方法。
3.根据权利要求1所述的一种基于联合训练模型的自动对话方法，其特征在于：所述联合模型包括：构建三个子胶囊模块，分别为词胶囊模块、槽位胶囊模块和意图胶囊模块，各个模块之间通过动态路径连接。
4.根据权利要求3所述的一种基于联合训练模型的自动对话方法，其特征在于：所述动态路径通过路由协议执行；
所述词胶囊模块由多层长短期记忆模型循环神经网络构成，以学习输入问句中每个单词的上下文关系；
在所述词胶囊模块后接入所述槽位胶囊模块，将所述词胶囊模块的长短期记忆模型循环神经网络层输出传入所述槽位胶囊模块的挤压函数，并通过动态路径的路由协议对所述挤压函数参数进行更新；
在所述槽位胶囊模块后接入所述意图胶囊模块，所述意图胶囊模块包含多个全连接层，通过动态路由协议对全连接层中的参数进行更新。
5.根据权利要求4所述的一种基于联合训练模型的自动对话方法，其特征在于：处于更高阶的槽位胶囊模块和意图胶囊模块在学习到低阶的词胶囊模块传递过来的特征后，通过路径更新将学习后的特征重新传递给位于低阶的词胶囊模块，以实现各模块之间的信息传递。
6.根据权利要求3所述的一种基于联合训练模型的自动对话方法，其特征在于：构建基于胶囊神经网络的意图识别和槽位填充联合模型之后，还包括：迭代更新所述联合模型参数的方法，所述迭代更新联合模型参数的方法采用最大间隔损失函数对所述联合模型参数进行优化。
7.根据权利要求3所述的一种基于联合训练模型的自动对话方法，其特征在于：所述模型的训练包含获取语料数据，对所述语料数据进行意图和槽位的标注，将所述标注后的语料数据进行词向量的转换，将所述词向量输入基于胶囊神经网络的意图识别和槽位填充联合模型中进行训练，得到训练好的基于胶囊神经网络的联合模型。
8.根据权利要求1所述的一种基于联合训练模型的自动对话方法，其特征在于：通过所述基于胶囊神经网络的联合训练模型得到用户意图和槽位标签，判断所述用户意图下的槽位信息是否填充完整，若槽位信息填充不完整，返回预设问句以获取相应缺失的槽位信息。
9.根据权利要求1所述的一种基于联合训练模型的自动对话方法，其特征在于：将所述意图及所述槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案之前，还包括：建立搜索算法以找到与所述意图和槽位信息相匹配的知识图谱路径。
10.一种基于联合训练模型的自动对话系统，其特征在于，包括：
问句获取单元，获取用户输入问句；
词向量转换单元，将所述问句转化为词向量；
模型构建单元，构建基于胶囊神经网络的意图识别和槽位填充联合模型，并完成模型的训练；
识别单元，将所述词向量输入所述基于胶囊神经网络的联合模型中，输出用户意图及槽位标签；
对话管理单元，根据对话管理框架，判断所述用户意图下的所有槽位是否被槽位标签填充完毕，若无，通过对话管理框架补全槽位；
搜索单元，将所述用户意图及槽位信息输入知识图谱，通过模糊匹配的搜索算法匹配出相应路径，输出相应答案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574503.5A CN111737432A (zh) | 2020-06-22 | 2020-06-22 | 一种基于联合训练模型的自动对话方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010574503.5A CN111737432A (zh) | 2020-06-22 | 2020-06-22 | 一种基于联合训练模型的自动对话方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111737432A true CN111737432A (zh) | 2020-10-02 |
Family
ID=72650424
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010574503.5A Pending CN111737432A (zh) | 2020-06-22 | 2020-06-22 | 一种基于联合训练模型的自动对话方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111737432A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328808A (zh) * | 2020-11-03 | 2021-02-05 | 四川长虹电器股份有限公司 | 基于知识图谱的问答方法、装置、电子设备及存储介质 |
| CN112417116A (zh) * | 2020-11-18 | 2021-02-26 | 四川长虹电器股份有限公司 | 一种基于少样本语料的问句理解模型训练方法和系统 |
| CN112507099A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 对话理解模型的训练方法、装置、设备和存储介质 |
| CN112948549A (zh) * | 2021-02-04 | 2021-06-11 | 北京淇瑀信息科技有限公司 | 一种基于上下文指代的对话应答方法、装置和系统 |
| CN113190669A (zh) * | 2021-05-31 | 2021-07-30 | 平安科技（深圳）有限公司 | 智能对话方法、装置、终端及存储介质 |
| CN113326367A (zh) * | 2021-06-30 | 2021-08-31 | 四川启睿克科技有限公司 | 基于端到端文本生成的任务型对话方法和系统 |
| CN113626571A (zh) * | 2021-08-09 | 2021-11-09 | 南方电网数字电网研究院有限公司 | 答句生成方法、装置、计算机设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943860A (zh) * | 2017-11-08 | 2018-04-20 | 北京奇艺世纪科技有限公司 | 模型的训练方法、文本意图的识别方法及装置 |
| CN109284363A (zh) * | 2018-12-03 | 2019-01-29 | 北京羽扇智信息科技有限公司 | 一种问答方法、装置、电子设备及存储介质 |
| CN109710769A (zh) * | 2019-01-23 | 2019-05-03 | 福州大学 | 一种基于胶囊网络的水军评论检测系统及方法 |
| CN110188195A (zh) * | 2019-04-29 | 2019-08-30 | 苏宁易购集团股份有限公司 | 一种基于深度学习的文本意图识别方法、装置及设备 |
| CN110502608A (zh) * | 2019-07-05 | 2019-11-26 | 平安科技（深圳）有限公司 | 基于知识图谱的人机对话方法及人机对话装置 |
-
2020
- 2020-06-22 CN CN202010574503.5A patent/CN111737432A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107943860A (zh) * | 2017-11-08 | 2018-04-20 | 北京奇艺世纪科技有限公司 | 模型的训练方法、文本意图的识别方法及装置 |
| CN109284363A (zh) * | 2018-12-03 | 2019-01-29 | 北京羽扇智信息科技有限公司 | 一种问答方法、装置、电子设备及存储介质 |
| CN109710769A (zh) * | 2019-01-23 | 2019-05-03 | 福州大学 | 一种基于胶囊网络的水军评论检测系统及方法 |
| CN110188195A (zh) * | 2019-04-29 | 2019-08-30 | 苏宁易购集团股份有限公司 | 一种基于深度学习的文本意图识别方法、装置及设备 |
| CN110502608A (zh) * | 2019-07-05 | 2019-11-26 | 平安科技（深圳）有限公司 | 基于知识图谱的人机对话方法及人机对话装置 |
Non-Patent Citations (4)
| Title |
|---|
| ZHANG CHENWEI等: "Joint slot filling and intent detection via capsule neural networks", 《PROCEEDINGS OF THE 57TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS》 * |
| 刘娇等: "胶囊网络用于短文本多意图识别的研究", 《计算机科学与探索》 * |
| 刘玉良等: "《深度学习》", 30 November 2019, 西安电子科技大学出版社 * |
| 王弘中等: "一种基于混合词向量的胶囊网络文本分类方法", 《小型微型计算机系统》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328808A (zh) * | 2020-11-03 | 2021-02-05 | 四川长虹电器股份有限公司 | 基于知识图谱的问答方法、装置、电子设备及存储介质 |
| CN112417116A (zh) * | 2020-11-18 | 2021-02-26 | 四川长虹电器股份有限公司 | 一种基于少样本语料的问句理解模型训练方法和系统 |
| CN112507099A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 对话理解模型的训练方法、装置、设备和存储介质 |
| CN112948549A (zh) * | 2021-02-04 | 2021-06-11 | 北京淇瑀信息科技有限公司 | 一种基于上下文指代的对话应答方法、装置和系统 |
| CN113190669A (zh) * | 2021-05-31 | 2021-07-30 | 平安科技（深圳）有限公司 | 智能对话方法、装置、终端及存储介质 |
| CN113326367A (zh) * | 2021-06-30 | 2021-08-31 | 四川启睿克科技有限公司 | 基于端到端文本生成的任务型对话方法和系统 |
| CN113626571A (zh) * | 2021-08-09 | 2021-11-09 | 南方电网数字电网研究院有限公司 | 答句生成方法、装置、计算机设备和存储介质 |
| CN113626571B (zh) * | 2021-08-09 | 2024-04-09 | 南方电网数字电网研究院股份有限公司 | 答句生成方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111737432A (zh) | 一种基于联合训练模型的自动对话方法和系统 | |
| CN110377911B (zh) | 对话框架下的意图识别方法和装置 | |
| CN110232109A (zh) | 一种网络舆情分析方法以及系统 | |
| CN113672708B (zh) | 语言模型训练方法、问答对生成方法、装置及设备 | |
| CN111897941A (zh) | 对话生成方法、网络训练方法、装置、存储介质及设备 | |
| CN112287089B (zh) | 用于自动问答系统的分类模型训练、自动问答方法及装置 | |
| CN117271767B (zh) | 基于多智能体的运维知识库的建立方法 | |
| JP7488871B2 (ja) | 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
| CN109857846B (zh) | 用户问句与知识点的匹配方法和装置 | |
| CN112131883B (zh) | 语言模型训练方法、装置、计算机设备和存储介质 | |
| CN110704576A (zh) | 一种基于文本的实体关系抽取方法及装置 | |
| CN112749556B (zh) | 多语言模型的训练方法和装置、存储介质和电子设备 | |
| WO2020073533A1 (zh) | 自动问答方法及装置 | |
| CN111930894A (zh) | 长文本匹配方法及装置、存储介质、电子设备 | |
| WO2023137911A1 (zh) | 基于小样本语料的意图分类方法、装置及计算机设备 | |
| CN110210036A (zh) | 一种意图识别方法及装置 | |
| CN114841164A (zh) | 一种实体链接方法、装置、设备及存储介质 | |
| CN112749558B (zh) | 一种目标内容获取方法、装置、计算机设备和存储介质 | |
| CN113705191A (zh) | 样本语句的生成方法、装置、设备及存储介质 | |
| CN112949758A (zh) | 应答模型的训练方法、应答方法、装置、设备及存储介质 | |
| CN114492601A (zh) | 资源分类模型的训练方法、装置、电子设备及存储介质 | |
| CN111897943A (zh) | 会话记录搜索方法、装置、电子设备及存储介质 | |
| CN117573842A (zh) | 文档检索方法以及自动问答方法 | |
| CN112861474B (zh) | 一种信息标注方法、装置、设备及计算机可读存储介质 | |
| CN114676705B (zh) | 一种对话关系处理方法、计算机及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201002 |