CN111753068B - 一种开放域对话回复自动生成方法、系统及存储介质 - Google Patents
一种开放域对话回复自动生成方法、系统及存储介质 Download PDFInfo
- Publication number
- CN111753068B CN111753068B CN202010459288.4A CN202010459288A CN111753068B CN 111753068 B CN111753068 B CN 111753068B CN 202010459288 A CN202010459288 A CN 202010459288A CN 111753068 B CN111753068 B CN 111753068B
- Authority
- CN
- China
- Prior art keywords
- vector
- open domain
- reply
- model
- hidden state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000013598 vector Substances 0.000 claims description 59
- 230000006870 function Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000008094 contradictory effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种开放域对话回复自动生成方法、系统及存储介质，涉及了一种新的开放域对话回复自动生成模型，针对传统模型倾向于生成万能回复以及上下文无关回复的问题，TBERT首先利用BERT模型学习出问句的主题信息，然后将主题信息引入到回复生成模块中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。
Description
技术领域
本发明涉及开放域对话系统技术领域，特别涉及一种开放域对话回复自动生成方法、系统及存储介质。
背景技术
智能对话系统是人工智能领域的一个重要研究方向，该系统能够实现让人与机器通过自然语言进行交互。当前，根据应用场景的不同，智能对话系统可以分为以下两种：一种是任务型对话系统，另一种是开放域对话系统。任务型对话系统以特定任务为导向，用户使用这类对话系统可以解决特定领域的特定问题，例如：预定机票、预订酒店、网站客服、车载助手等。开放域对话系统则不限制用户提问的特定领域，没有明确目的的对话系统都可以归入此类中，例如：微软的聊天机器人小冰，Zo等。相比于任务型对话系统，开放域对话系统的优势在于其能够拉近用户和对话系统间的距离，可以用于情感陪伴等任务型对话系统无法完成的任务。
传统的开放域对话系统主要采用基于检索的方法。这类方法首先定义问题与回复之间的索引，当用户发出询问时，对话系统利用语料库中的索引输出该问题对应的回复。然而，该类方法非常依赖对话语料库的质量，如果所使用对话语料噪声大，则无论模型优劣其回复都不尽人意。并且，这类对话系统回复内容单一，对于用户的问题，只能在语料库中搜索回复，如果语料库中没有对应的回复，系统则无法做出响应。近年来，基于生成模型的开放域对话系统取得了较大进展。这类方法首先利用序列到序列模型对对话语料库数据进行学习，然后基于深度学习模型自动生成回复内容。与基于检索的方法相比，这类方法对于用户提出的问题可以产生新的回复，具有更广泛的应用领域，已经受到了学术界和工业界的共同关注。
但是，基于生成模型的开放域对话系统存在以下两个亟待解决的关键问题：(1)序列到序列模型仅能针对对话数据的局部信息进行学习，难以针对上下文进行处理，因此自动生成的回复易出现上下文无关，前后矛盾等现象。(2)标准的序列到序列模型倾向于生成高频万能回复，例如“好的”、“我不知道”等。这类回复缺乏足够的有用信息，难以给用户提供实质帮助。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种开放域对话回复自动生成方法、系统及存储介质，解决现有技术中开放域对话回复自动生成体系回复质量不佳的技术问题。
为了达到上述目的，本发明采取了以下技术方案：
一种开放域对话回复自动生成方法，包括如下步骤：S1，提供一对话语料数据集，对所述对话语料数据集进行预处理，得到用户问句；S2，依据TBERT模型对所述用户问句进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。
优选的，所述S1中所述预处理具体包括：将所有字母转变为小写字母；过滤掉非拉丁字符和停用词；过滤掉出现次数小于预设次数的词。
优选的，所述S2具体包括以下步骤：S21，依据TBERT模型对所述用户问句进行向量化处理，得到字符向量；S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；S24，将所述主题向量通过函数处理来预测用户问句中的每个词，得到用户问句对应的主题词。
优选的，所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元的循环神经网络组成。
优选的，所述S3具体包括以下步骤：S31，将所述主题词引入到开放域对话系统模型中，所述编码器通过双向GRU将所述用户问句编码呈隐藏状态；S32，所述门控单元将所述主题向量引入所述隐藏状态的用户问句中生成语料词汇表；S33，所述语料词汇表与所述主题词组成的主题词表在联合生成单元中提供回复词，所述回复词经解码器解码生成回复。
优选的，所述S22中将字符向量编码为隐藏状态的公式为：
MultiHead(Q，K，V)＝Concat(head1，head2，…，heah)Wo
其中，Q、K和V分别表示为查询、键和值，softmax表示逻辑回归函数，Concat表示连接操作， 表示参数矩阵，在TBERT模型中，多头注意力层数h＝12，dk＝dv＝dmodel/h＝64。
优选的，所述S23中所述问句向量转化为所述主题向量的公式为：
Va＝softmax(IVq) (3)
Vt＝OTVa (4)
其中，Va表示为注意力分布，I表示为主题输入矩阵，Vq表示为问句向量，Vt表示为主题向量，O表示为主题输出矩阵。
优选的，所述S32中所述门控单元将所述主题向量引入到隐藏状态的所述用户问句中的公式为：
gi＝σ(WgtVt+Wghhi-1+Wgxxi+bg)
其中，Wgt、Wgh、Wgx和bg为模型的参数，σ表示sigmoid非线性激活函数，⊙表示点积操作，表示隐藏状态的主题向量，gi表示门控单元，hi表示隐藏状态，hi-1表示前一隐藏状态。
一种开放域对话回复自动生成系统，包括处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如上所述的开放域对话回复自动生成方法中的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个多个程序可被一个或者多个处理器执行，以实现如上所述的开放域对话回复自动生成方法中的步骤。
相较于现有技术，本发明提出了一种基于TBERT的开放域对话回复自动生成方法，该方法首先利用BERT学习主题信息；然后将主题信息引入到开放域对话系统模型中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。
附图说明
图1为本发明提供的开放域对话回复自动生成方法的一较佳实施例的流程图；
图2为图1中S2的步骤流程示意图；
图3为图1中S3的步骤流程示意图；
图4为本发明设计的TBERT模型的结构示意图；
图5为本发明与基准模型的实验比较示意图。
具体实施方式
本发明提供一种开放域对话回复自动生成方法、系统及存储介质，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
请参阅图1，图1为本发明提供的开放域对话回复自动生成方法的一较佳实施例的流程图。本发明提供的开放域对话回复自动生成方法的流程图，S10包括如下步骤：
S1，提供一对话语料数据集，对所述对话语料数据集进行预处理，得到用户问句；
S2，依据TBERT模型对所述用户问句进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；
S3，将所述主题词引入到开放域对话系统模型中，生成回复信息。
相较于现有技术，本发明提出了一种基于TBERT的开放域对话回复自动生成方法，该方法首先利用BERT学习主题信息；然后将主题信息引入到开放域对话系统模型中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。
具体的，S1中所述预处理具体包括：
将所有字母转变为小写字母；
过滤掉非拉丁字符和停用词；
过滤掉出现次数小于预设次数的词。
通过对用户输入的话语料数据集进行预处理，得到用户问句，相较于用户初始的输入信息，预处理后的信息可以提取关键词，避免停用词、字符等的干扰。
进一步地，如图2所示，所述S2包括以下步骤：
S21，依据TBERT模型对所述用户问句进行向量化处理，得到字符向量；
S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；
S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；
S24，将所述主题向量通过函数处理来预测用户问句中的每个词，得到用户问句对应的主题词。
对于给定的用户问句Q＝{x1，x2…，xN}，其中N表示问句长度，该步骤旨在利用BERT模型对输入的用户问句进行编码，并得到该问句的主题向量。具体来说，通过向量化过程之后，E＝(E1，E2，…，EN)代替字符集合Q作为主题生成模块的输入。BERT模型利用自注意力和多头注意力机制将字符向量E编码为隐藏状态H＝(T1，T2，…，TN)。
自注意力机制将每个字符转换成查询(Query)、键(Key)和值(Value)并通过公式(1)计算矩阵的输出；
多头注意力在一个问句中学习不同的连接以增加多样性，并通过公式(2)连接并决定最终隐藏状态：
MultiHead(Q，K，V)＝Concat(head1，head2，…，headh)Wo
其中，Q、K和V分别表示为查询、键和值，softmax表示逻辑回归函数，Concat表示连接操作， 表示参数矩阵。在TBERT模型中，多头注意力层数h＝12，dk＝dv＝dmodel/h＝64。由于每个多头层的维数减少，总的计算成本与全维度的单头注意力的计算成本相似。[CLS]作为第一个字符被添加到字符序列，其隐藏状态[C]被用作为问句向量Vq。
两个查询矩阵中存储着主题相关信息，分别是：主题输入矩阵与主题输出矩阵/>其中k表示主题数目。通过softmax函数和主题输入矩阵，可以利用公式(3)计算得到注意力分布Va：
Va＝softmax(IVq) (3)
其中，然后，通过主题输出矩阵，可以利用公式(4)计算得到输入问句的主题向量Vt。
Vt＝OTVa (4)
在公式(4)中，主题向量Vt是问句的主题加权平均值，权重由注意力分布Va得出。然后，将连接到带有softmax输出的全连接层，以预测问句中的每个词。其中每个词都从词袋模型中独立生成，并且使用分类交叉熵损失函数对模型进行优化，最终得到问句Q对应的主题词。
在上述的一种基于TBERT的开放域对话回复自动生成方法，将问句的主题信息引入到开放域对话系统模型中，从而自动生成信息丰富的回复。
所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元(Gated Recurrent Unit，GRU)的循环神经网络(RecurrentNeural Network，RNN)组成。在编码器中，输入问句Q和前一个隐藏状态共同决定时刻t的隐藏状态/>在解码器中，上下文向量Vc、前一个回复输出词rt-1和前一个隐藏状态/>共同决定当前回复输出词的隐藏状态/>TBERT模型利用门控单元将主题生成模块生成的问句主题信息引入到编码器中，丰富编码器每一时刻隐藏状态所包含的信息。
进一步的，如图3所示，所述S3具体包括以下步骤：
S31，将所述主题词引入到开放域对话系统模型中，所述编码器通过双向GRU将所述用户问句编码呈隐藏状态；
S32，所述门控单元将所述主题向量引入所述隐藏状态的用户问句中生成语料词汇表；
S33，所述语料词汇表与所述主题词组成的主题词表在联合生成单元中提供回复词，所述回复词经解码器解码生成回复。
所述S32中所述门控单元gi将所述主题向量Vt引入到隐藏状态hi的所述用户问句中的公式为：
gi＝σ(WgtVt+Wghhi-1+Wgxxi+bg)
其中，Wgt、Wgh、Wgx和bg为模型的参数，σ表示sigmoid非线性激活函数，⊙表示点积操作，表示隐藏状态的主题向量，gi表示门控单元，hi表示隐藏状态，hi-1表示前一隐藏状态。
上下文向量Vc可由公式(6)计算得出：
其中，表示对所有隐藏状态求和。
联合生成单元的作用是提高主题词在回复中出现的概率。问句的主题词包含对话的上下文信息，在回复中提高主题词出现的概率有助于降低无实际意义的安全回复以及上下文矛盾回复出现的概率。具体来说，自动生成的回复R中的每个词除了从语料词汇表F＝{f1，f2，...，fm}中生成之外，还可以通过主题词表Q＝{q1，q2，...，qz}生成。主题词表Q由主题词组成。在TBERT模型中，回复中的每个词由这两种模式(F中的词汇表生成模式和Q的主题词生成模式)联合生成。
在时刻t，回复词yt的联合生成概率如公式(7)所示：
其中，pΦ代表词汇表生成模式的生成概率，pΘ代表主题词生成模式的生成概率，具体定义如公式(8)所示：
其中，fF(yt)代表词汇表生成模式的生成函数，fQ(yt)代表主题词生成模式的生成函数，A表示归一化项。
词汇表生成模式中回复词yt为词ft的概率如公式(9)所示：
其中，ft表示词汇表中回复词的词向量，WF为模型参数。
主题词生成模式中回复词yt为词qt的概率如公式(10)所示：
其中，qt表示主题词中回复词的词向量，WQ为模型参数。对于只存在F中而不在Q中的词，联合生成单元中的主题词生成模式不起作用，仅使用词汇表生成模式。而对于Q中的主题词，主题词生成模式被激活，从而提高主题词在回复中出现的概率。
实施例2
本发明还提供了开放域对话回复自动生成系统，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的开放域对话回复自动生成方法。
本实施例提供的开放域对话回复自动生成系统，用于实现开放域对话回复自动生成方法，因此，上述开放域对话回复自动生成方法所具备的技术效果，开放域对话回复自动生成系统同样具备，在此不再赘述。
实施例3
本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1开放域对话回复自动生成方法。
本实施例提供的计算机存储介质，用于实现开放域对话回复自动生成方法，因此，上述开放域对话回复自动生成方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。
综上所述，如图4所示，本发明提出了一种基于TBERT的开放域对话回复自动生成方法、设备及存储介质，该方法首先利用BERT学习主题信息；然后将主题信息引入到开放域对话系统模型中，降低万能回复以及前后矛盾回复出现的可能性，进而提高开放域对话系统的性能。本发明所提出的方法和基准模型通过实验比较可以验证本发明方法的先进性。基准模型包括带有注意力机制的双向LSTM模型BiLSTM和使用最大互信息函数作为目标函数的双向RNN模型MMIR。本发明使用开放域对话系统常用的评价指标包括困惑度、Distinct-1和Distinct-2对实验结果进行分析。本发明实验使用公开的康奈尔电影对话数据集作为实验所用的数据集。本发明随机选择其中70％数据作为训练数据，剩余30％作为测试数据。在主题生成模块中，本发明使用预训练BERTBASE模型，使用Gelu作为激活函数，使用Adam优化器，学习率设置为5e-5，Dropout概率设置为0.2，主题数目为150。在对话生成模块中，本发明使用预训练300维的FastText词向量作为输入，RNN的层数设置为2，隐藏状态的维度位置为80。
实验结果如图5所示，本发明所提出的方法在3个评价指标上均有优于2种基准模型，从而验证了本发明的先进性。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的存储介质中，该程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种开放域对话回复自动生成方法，其特征在于，包括如下步骤：
S1，提供一对话语料数据集，对所述对话语料数据集进行预处理，得到用户问句；
S2，依据TBERT模型对所述用户问句进行编码处理，生成主题向量，所述主题向量经函数处理得到主题词；
S3，将所述主题词引入到开放域对话系统模型中，生成回复信息；
所述S3中的所述开放域对话系统模型包括编码器及解码器，所述编码器与所述解码器由两个带门控循环单元的循环神经网络组成；
所述S3具体包括以下步骤：
S31，将所述主题词引入到开放域对话系统模型中，所述编码器通过双向GRU将所述用户问句编码呈隐藏状态；
S32，门控单元将所述主题向量引入所述隐藏状态的用户问句中生成语料词汇表；
S33，所述语料词汇表与所述主题词组成的主题词表在联合生成单元中提供回复词，所述回复词经解码器解码生成回复。
2.根据权利要求1所述的开放域对话回复自动生成方法，其特征在于，所述S1中所述预处理具体包括：
将所有字母转变为小写字母；
过滤掉非拉丁字符和停用词；
过滤掉出现次数小于预设次数的词。
3.根据权利要求1所述的开放域对话回复自动生成方法，其特征在于，所述S2具体包括以下步骤：
S21，依据TBERT模型对所述用户问句进行向量化处理，得到字符向量；
S22，依据TBERT模型的自注意力机制及多头注意力机制对所述字符向量进行编码处理，得到所述字符向量的隐藏状态；
S23，将所述字符向量的隐藏状态的第一个字符作为问句向量，所述问句向量通过主题输入矩阵和主题输出矩阵处理得到主题向量；
S24，将所述主题向量通过函数处理来预测用户问句中的每个词，得到用户问句对应的主题词。
4.根据权利要求3所述的开放域对话回复自动生成方法，其特征在于，所述S22中将字符向量编码为隐藏状态的公式为：
（1）
（2）
其中，Q、K和V分别表示为查询、键和值，softmax表示逻辑回归函数，Concat表示连接操作，、/> 、/>、/>表示参数矩阵，在TBERT模型中，多头注意力层数h=12，d k=d v=d model/h=64。
5.根据权利要求3所述的开放域对话回复自动生成方法，其特征在于，所述S23中所述问句向量转化为所述主题向量的公式为：
V a=softmax(IV q)（3）
V t=O T V a（4）
其中，，/>，V a表示为注意力分布，I表示为主题输入矩阵，V q表示为问句向量，V t表示为主题向量，O表示为主题输出矩阵。
6.根据权利要求1所述的开放域对话回复自动生成方法，其特征在于，所述S32中所述门控单元将所述主题向量引入到隐藏状态的所述用户问句中的公式为：
（5）
其中，W gt、W gh、W gx和b g为模型的参数，表示sigmoid非线性激活函数，/>表示点积操作，表示隐藏状态的主题向量，g i表示门控单元，h i表示隐藏状态，h i-1表示前一隐藏状态。
7.一种开放域对话回复自动生成系统，其特征在于，包括处理器和存储器；
所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述处理器执行所述计算机可读程序时实现如权利要求1-6任意一项所述的开放域对话回复自动生成方法中的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个多个程序可被一个或者多个处理器执行，以实现如权利要求1-6任意一项所述的开放域对话回复自动生成方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010459288.4A CN111753068B (zh) | 2020-05-27 | 2020-05-27 | 一种开放域对话回复自动生成方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010459288.4A CN111753068B (zh) | 2020-05-27 | 2020-05-27 | 一种开放域对话回复自动生成方法、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753068A CN111753068A (zh) | 2020-10-09 |
| CN111753068B true CN111753068B (zh) | 2024-03-26 |
Family
ID=72674259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010459288.4A Active CN111753068B (zh) | 2020-05-27 | 2020-05-27 | 一种开放域对话回复自动生成方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753068B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058994A1 (zh) * | 2016-09-30 | 2018-04-05 | 华为技术有限公司 | 基于深度学习的对话方法、装置及设备 |
| WO2019119916A1 (zh) * | 2017-12-22 | 2019-06-27 | 科沃斯商用机器人有限公司 | 人机交互方法、系统及其电子设备 |
| CN110321417A (zh) * | 2019-05-30 | 2019-10-11 | 山东大学 | 一种对话生成方法、系统、可读存储介质及计算机设备 |
| CN110334190A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 一种面向开放域对话系统的回复自动生成方法 |
| CN110990555A (zh) * | 2020-03-05 | 2020-04-10 | 中邮消费金融有限公司 | 端到端检索式对话方法与系统及计算机设备 |
| CN111143535A (zh) * | 2019-12-27 | 2020-05-12 | 北京百度网讯科技有限公司 | 用于生成对话模型的方法和装置 |
-
2020
- 2020-05-27 CN CN202010459288.4A patent/CN111753068B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058994A1 (zh) * | 2016-09-30 | 2018-04-05 | 华为技术有限公司 | 基于深度学习的对话方法、装置及设备 |
| WO2019119916A1 (zh) * | 2017-12-22 | 2019-06-27 | 科沃斯商用机器人有限公司 | 人机交互方法、系统及其电子设备 |
| CN110321417A (zh) * | 2019-05-30 | 2019-10-11 | 山东大学 | 一种对话生成方法、系统、可读存储介质及计算机设备 |
| CN110334190A (zh) * | 2019-07-12 | 2019-10-15 | 电子科技大学 | 一种面向开放域对话系统的回复自动生成方法 |
| CN111143535A (zh) * | 2019-12-27 | 2020-05-12 | 北京百度网讯科技有限公司 | 用于生成对话模型的方法和装置 |
| CN110990555A (zh) * | 2020-03-05 | 2020-04-10 | 中邮消费金融有限公司 | 端到端检索式对话方法与系统及计算机设备 |
Non-Patent Citations (2)
| Title |
|---|
| 基于开放域对话系统的自动化评测方法研究;王春柳;杨永辉;赖辉源;邓霏;;计算机应用研究(第05期);第182-185页 * |
| 基于深度学习的个性化对话内容生成方法;王豪;郭斌;郝少阳;张秋韵;於志文;;图学学报(第02期);第44-50页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753068A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110609891A (zh) | 一种基于上下文感知图神经网络的视觉对话生成方法 | |
| Li et al. | Dialogue generation: From imitation learning to inverse reinforcement learning | |
| CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
| CN111274375B (zh) | 一种基于双向gru网络的多轮对话方法及系统 | |
| CN112541063B (zh) | 一种基于自学习对话模型的人机对话方法及系统 | |
| CN110019685B (zh) | 基于排序学习的深度文本匹配方法及装置 | |
| CN111160467A (zh) | 一种基于条件随机场和内部语义注意力的图像描述方法 | |
| CN114443827A (zh) | 基于预训练语言模型的局部信息感知对话方法及系统 | |
| CN109933792A (zh) | 基于多层双向lstm和验证模型的观点型问题阅读理解方法 | |
| CN112417894A (zh) | 一种基于多任务学习的对话意图识别方法及识别系统 | |
| CN113392640B (zh) | 一种标题确定方法、装置、设备及存储介质 | |
| CN109308316B (zh) | 一种基于主题聚类的自适应对话生成系统 | |
| CN110597968A (zh) | 一种回复选择方法及装置 | |
| CN112100350B (zh) | 一种用于强化回复个性化表达的开放域对话方法 | |
| CN111444328B (zh) | 一种带有解释生成的自然语言自动预测推断方法 | |
| Cho et al. | A personalized dialogue generator with implicit user persona detection | |
| CN114648016A (zh) | 一种基于事件要素交互与标签语义增强的事件论元抽取方法 | |
| CN112559706A (zh) | 对话生成模型的训练方法、对话方法、设备以及存储介质 | |
| CN110334340B (zh) | 基于规则融合的语义分析方法、装置以及可读存储介质 | |
| CN117648429A (zh) | 基于多模态自适应检索式增强大模型的问答方法及系统 | |
| CN111046157B (zh) | 一种基于平衡分布的通用英文人机对话生成方法和系统 | |
| CN111753068B (zh) | 一种开放域对话回复自动生成方法、系统及存储介质 | |
| CN117708692A (zh) | 基于双通道图卷积神经网络的实体情感分析方法及系统 | |
| CN116150334A (zh) | 基于UniLM模型和Copy机制的中文共情语句训练方法及系统 | |
| CN116595985A (zh) | 一种基于生成式常识辅助增强对话中情绪识别的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |