CN111274374B - 一种数据处理方法、装置及计算机存储介质和电子设备 - Google Patents

一种数据处理方法、装置及计算机存储介质和电子设备 Download PDF

Info

Publication number
CN111274374B
CN111274374B CN202010060935.4A CN202010060935A CN111274374B CN 111274374 B CN111274374 B CN 111274374B CN 202010060935 A CN202010060935 A CN 202010060935A CN 111274374 B CN111274374 B CN 111274374B
Authority
CN
China
Prior art keywords
corpus
dialogue
classification
training
completed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010060935.4A
Other languages
English (en)
Other versions
CN111274374A (zh
Inventor
林凤绿
王东升
范红杰
雷欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobvoi Information Technology Co Ltd
Original Assignee
Mobvoi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobvoi Information Technology Co Ltd filed Critical Mobvoi Information Technology Co Ltd
Priority to CN202010060935.4A priority Critical patent/CN111274374B/zh
Publication of CN111274374A publication Critical patent/CN111274374A/zh
Application granted granted Critical
Publication of CN111274374B publication Critical patent/CN111274374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种数据处理方法、装置及计算机存储介质和电子设备，方法包括：获取初始语料，所述初始语料至少包括对话目标和历史语料；对所述初始语料进行词向量转换，得到语料词向量；根据所述语料词向量进行分类训练，得到分类结果；根据所述分类结果判断所述对话目标是否完成。本发明提供的数据处理方法、装置及计算机存储介质和电子设备，通过引入对话目标来约束对话，并把对话目标的完成与否当作分类任务来进行分类训练判断对话目标是否完成，若完成则不再对同一对话目标进行无意义的回复；若对话目标未完成，则据此生成更为符合对话目标的回复文本来约束对话，以产生更有价值的对话，最终有助于提高对话机器人的用户满意度，提高商业价值。

Description

一种数据处理方法、装置及计算机存储介质和电子设备
技术领域
本发明涉及信息处理技术领域，尤其涉及一种数据处理方法、装置及计算机存储介质和电子设备。
背景技术
近年来，聊天机器人受到了广泛的关注和发展，聊天机器人是一种通过自然语言模拟人类进行对话的程序，其中，开放域聊天机器人在生活中发挥着重要作用。
传统的开放域对话一般没有明确的目标，机器人基于对话生成模型所生成的回复语句中经常出现没有实际意义的万能回复，比如中文里的“哈哈哈哈”等回复非常容易被选中，而且一旦用户向机器输入这种没有意义的语句时，机器与人之间的多轮对话就有很高概率会陷入死循环。人和机器之间没有目的的闲聊，这样的聊天一方面很难深入，商业价值较小，而且另一方面用户体验感也较差。
发明内容
本发明实施例为了有效克服现有技术所存在的上述缺陷，创造性地提供一种数据处理方法，包括：获取初始语料，所述初始语料至少包括对话目标和历史语料；对所述初始语料进行词向量转换，得到语料词向量；根据所述语料词向量进行分类训练，得到分类结果；根据所述分类结果判断所述对话目标是否完成。
在一可实施方式中，所述方法还包括：根据所述语料词向量进行文本回复训练，得到回复文本；当所述对话目标未完成时，输出所述回复文本。
在一可实施方式中，通过栈式双向循环神经网络根据所述语料词向量进行分类训练。
在一可实施方式中，通过神经网络根据所述语料词向量进行文本回复训练。
在一可实施方式中，根据所述语料词向量进行二分类训练；所述根据所述分类结果判断对话目标是否完成包括：当所述分类结果大于第一阈值时，所述对话目标完成；当所述分类结果小于第一阈值时，所述对话目标未完成。
本发明实施例另一方面提供一种数据处理装置，包括：语料获取模块，用于获取初始语料，所述初始语料至少包括对话目标和历史语料；向量转换模块，用于对所述初始语料进行词向量转换，得到语料词向量；分类训练模块，用于根据所述语料词向量进行分类训练，得到分类结果；结果判断模块，用于根据所述分类结果判断所述对话目标是否完成。
在一可实施方式中，所述装置还包括：回复训练模块，用于根据所述语料词向量进行文本回复训练，得到回复文本；输出模块，用于当所述对话目标未完成时，输出所述回复文本。
在一可实施方式中，所述分类训练模块包括：分类训练单元，用于通过栈式双向循环神经网络根据所述语料词向量进行分类训练。
在一可实施方式中，所述分类训练模块还包括：二分类单元，用于根据所述语料词向量进行二分类训练。
本发明实施例另一方面提供一种计算机可读存储介质，所述计算机存储介质中存储有计算机可执行指令，当所述指令被执行时用于执行上述中任一项所述的数据处理方法。
本发明实施例另一方面提供一种电子设备，包括存储器和处理器，所述存储器中储存有计算机程序指令，所述指令由所述处理器加载并执行以实现上述中任一项所述的数据处理方法。
本发明实施例提供的数据处理方法、装置及计算机存储介质和电子设备，先获取初始语料，获取的初始语料中包括有对话目标和历史语料，其中历史语料为截至当前的历史对话语料。然后初始语料转换为词向量形式，得到语料词向量，再对得到的语料词向量进行分类训练，得到分类结果；再通过将对话目标的完成与否当作分类任务，根据分类结果判断对话目标是否完成。本发明实施例通过引入对话目标来约束对话，并把对话目标的完成与否当作分类任务来进行分类训练判断对话目标是否完成，若完成则不再对同一对话目标进行无意义的回复；若对话目标未完成，则据此生成更为符合对话目标的回复文本来约束对话，以便产生更有价值的对话，最终有助于提高对话机器人的用户满意度，提高商业价值。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
在附图中，相同或对应的标号表示相同或对应的部分。
图1为本发明一实施例所提供的一种数据处理方法的一种实现流程示意图；
图2为本发明一实施例所提供的一种数据处理方法的另一种实现流程示意图；
图3为本发明一实施例所提供的一种数据处理装置的一种组成结构图；
图4为本发明一实施例所提供的一种数据处理装置的另一种组成结构图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书中的一些方面相一致的方法、装置或设备的例子。
请参考图1，本发明实施例一方面提供一种数据处理方法，包括：
步骤101，获取初始语料，初始语料至少包括对话目标和历史语料；
步骤102，对初始语料进行词向量转换，得到语料词向量；
步骤103，根据语料词向量进行分类训练，得到分类结果；
步骤104，根据分类结果判断对话目标是否完成。
本发明实施例步骤101中获取的初始语料包括有对话目标和历史语料，其中历史语料为截至当前的历史对话语料。然后通过步骤102将初始语料转换为词向量形式，得到语料词向量，步骤103再对得到的语料词向量进行分类训练，得到分类结果；再通过步骤104将对话目标的完成与否当作分类任务，根据分类结果判断对话目标是否完成。本发明实施例通过引入对话目标来约束对话，并把对话目标的完成与否当作分类任务来进行分类训练判断对话目标是否完成，若完成则不再对同一对话目标进行无意义的回复；若对话目标未完成，则据此生成更为符合对话目标的回复文本来约束对话，以便产生更有价值的对话，最终有助于提高对话机器人的用户满意度，提高商业价值。
本发明实施例中，可以采用循环神经网络来学习建立语料词向量的分类映射关系，进行分类训练，并最后连接分类函数进行计算，从而能够提高对语料的判断准确性。其中具体可以采用栈式双向循环神经网络，如基于LSTM(Stacked Bidirectional LSTM，长短期记忆网络)进行计算，传统正常顺序的循环神经网络，分类时只使用了上文信息。而栈式双向循环神经网络可以使用反方向信息，结合构建深层循环神经网络的方法往往能得到更抽象和高级的特征表示，有助于提高计算结果的多样性和准确性。当然，本领域技术人员应当知晓，本发明实施例还可以使用其他具有同等效果的模型，在此不对所使用的具体模型种类进行限制。
请参考图2，在一可实施方式中，方法还包括：
步骤105，根据语料词向量进行文本回复训练，得到回复文本；
步骤106，当对话目标未完成时，输出回复文本。
本发明实施例中的方法还通过步骤105根据语料词向量来进行文本回复训练，计算生成回复文本。其中本发明实施例中的文本回复训练具体可以采用神经网络算法学习语料词向量之间的回复文本映射关系，从而进行文本回复训练；具体的，神经网络可以为循环神经网络(Recurrent Neural Network，RNN)或者深度神经网络(Deep Neural Networks，DNN)，也可以为基于LSTM的栈式双向循环神经网络，本发明实施例在此不对所采用的具体模型进行限制。本发明实施例中，当对话目标未完成时，则通过步骤106将生成的回复文本输出。本发明实施例中，通过考虑对话目标来进行学习训练，计算生成回复文本，在传统开放域对话的基础上引入对话目标，提高了开放域对话的回复一致性、多样性并提高用户满意度。
在一可实施方式中，通过栈式双向循环神经网络根据语料词向量进行分类训练。
本发明实施例中，通过栈式双向循环神经网络来学习语料词向量之间的映射关系，并进行分类计算。其中，基于LSTM的栈式双向循环神经网络在奇数层LSTM正向计算，偶数层LSTM反向计算，高一层的LSTM使用低一层LSTM及之前所有层的信息作为输入，学习对应于语料词向量的分类映射关系。对最高层LSTM序列使用时间维度上的最大池化可得到对应于初始语料的定长向量表示，这一表示充分融合了输入语料的上下文信息，并且对初始语料进行了深层次抽象，有利于提高语料计算的丰富程度和准确性。最后再将所得到的结果连接至逻辑回归函数构建分类模型。
在一可实施方式中，通过神经网络根据语料词向量进行文本回复训练。
本发明实施例中，通过神经网络学习对应于语料词向量的回复文本映射关系进行文本回复训练，其中，具体的，神经网络可以为循环神经网络(Recurrent Neural Network，RNN)或者深度神经网络(Deep Neural Networks，DNN)，也可以为基于LSTM的栈式双向循环神经网络，本发明实施例在此不对所采用的具体模型进行限制，只要能够实现与本发明实施例同等的效果即可。
在一可实施方式中，根据语料词向量进行二分类训练；
根据分类结果判断对话目标是否完成包括：
当分类结果大于第一阈值时，对话目标完成；
当分类结果小于第一阈值时，对话目标未完成。
本发明实施例中，根据语料词向量进行二分类训练，得到基于0到1之间的概率值分类结果。第一阈值可以根据具体情况设置合适值，如0.5，当分类结果的概率值大于0.5时，则认为对话目标完成，当分类结果的概率值小于0.5时，则认为对话目标未完成。具体的，本发明实施例可以通过利用逻辑回归函数(Softmax logical regression)来计算概率值分类结果，然后根据概率值判断对话目标是否完成。本发明实施例把对话目标的完成估计当作二分类任务，通过利用神经网络分类器可以精准估计对话目标是否完成，从而提高对话的回复一致性、多样性和用户满意度，进一步促进产生潜在商业价值。如应用在广告或新闻的推广中时，通过引入对话目标估计，能够更好的通过闲聊给对话推荐新闻，从而提高新闻的阅读量和新闻中广告的点击率。
本发明实施例应用在业内公认的开放式数据集上时，如应用在包含有3万组对话27万个句子的对话语料的DuConv数据集和微博数据集上，我们对比了引入对话目标估计的开放域对话和传统的开放域对话的效果；具体的，在对话一致性、回复多样性和用户满意度等指标上，DuConv数据集效果提升量分别为18％、33％、24％，微博数据集效果提升量为21％、29％、27％，可见本发明实施例中的方法能够有效提升对话效果和用户满意度。
请参考图3，本发明实施例另一方面提供一种数据处理装置，包括：
语料获取模块201，用于获取初始语料，初始语料至少包括对话目标和历史语料；
向量转换模块202，用于对初始语料进行词向量转换，得到语料词向量；
分类训练模块203，用于根据语料词向量进行分类训练，得到分类结果；
结果判断模块204，用于根据分类结果判断对话目标是否完成。
本发明实施例通过语料获取模块201获取的初始语料包括有对话目标和历史语料，其中历史语料为截至当前的历史对话语料。然后通过向量转换模块202将初始语料转换为词向量形式，得到语料词向量，分类训练模块203再对得到的语料词向量进行分类训练，得到分类结果；再通过结果判断模块204将对话目标的完成与否当作分类任务，根据分类结果判断对话目标是否完成。本发明实施例通过引入对话目标来约束对话，并把对话目标的完成与否当作分类任务来进行分类训练判断对话目标是否完成，若完成则不再对同一对话目标进行无意义的回复；若对话目标未完成，则据此生成更为符合对话目标的回复文本来约束对话，以便产生更有价值的对话，最终有助于提高对话机器人的用户满意度，提高商业价值。
本发明实施例中，可以采用循环神经网络来学习建立语料词向量的分类映射关系，进行分类训练，并最后连接分类函数进行计算，从而能够提高对语料的判断准确性。其中具体可以采用栈式双向循环神经网络，如基于LSTM(Stacked Bidirectional LSTM，长短期记忆网络)进行计算，传统正常顺序的循环神经网络，分类时只使用了上文信息。而栈式双向循环神经网络可以使用反方向信息，结合构建深层循环神经网络的方法往往能得到更抽象和高级的特征表示，有助于提高计算结果的多样性和准确性。当然，本领域技术人员应当知晓，本发明实施例还可以使用其他具有同等效果的模型，在此不对所使用的具体模型种类进行限制。
请参考图4，在一可实施方式中，装置还包括：
回复训练模块205，用于根据语料词向量进行文本回复训练，得到回复文本；
输出模块206，用于当对话目标未完成时，输出回复文本。
本发明实施例中的方法还通过回复训练模块205根据语料词向量来进行文本回复训练，计算生成回复文本。其中本发明实施例中的文本回复训练具体可以采用神经网络算法学习语料词向量之间的回复文本映射关系，从而进行文本回复训练；具体的，神经网络可以为循环神经网络(Recurrent Neural Network，RNN)或者深度神经网络(Deep NeuralNetworks，DNN)，也可以为基于LSTM的栈式双向循环神经网络，本发明实施例在此不对所采用的具体模型进行限制。本发明实施例中，当对话目标未完成时，则通过输出模块206将生成的回复文本输出。本发明实施例中，通过考虑对话目标来进行学习训练，计算生成回复文本，在传统开放域对话的基础上引入对话目标，提高了开放域对话的回复一致性、多样性并提高用户满意度。
在一可实施方式中，分类训练模块203包括：
分类训练单元，用于通过栈式双向循环神经网络根据语料词向量进行分类训练。
本发明实施例中，分类训练单元通过栈式双向循环神经网络来学习语料词向量之间的映射关系，并进行分类计算。其中，基于LSTM的栈式双向循环神经网络在奇数层LSTM正向计算，偶数层LSTM反向计算，高一层的LSTM使用低一层LSTM及之前所有层的信息作为输入，学习对应于语料词向量的分类映射关系。对最高层LSTM序列使用时间维度上的最大池化可得到对应于初始语料的定长向量表示，这一表示充分融合了输入语料的上下文信息，并且对初始语料进行了深层次抽象，有利于提高语料计算的丰富程度和准确性。最后再将所得到的结果连接至逻辑回归函数构建分类模型。
在一可实施方式中，回复训练模块205包括：
回复训练单元，用于通过神经网络根据语料词向量进行文本回复训练。
本发明实施例中，回复训练单元通过神经网络学习对应于语料词向量的回复文本映射关系进行文本回复训练，其中，具体的，神经网络可以为循环神经网络(RecurrentNeural Network，RNN)或者深度神经网络(Deep Neural Networks，DNN)，也可以为基于LSTM的栈式双向循环神经网络，本发明实施例在此不对所采用的具体模型进行限制，只要能够实现与本发明实施例同等的效果即可。
在一可实施方式中，分类训练模块203还包括：
二分类单元，用于根据语料词向量进行二分类训练。
本发明实施例中，二分类单元根据语料词向量进行二分类训练，得到基于0到1之间的概率值分类结果。第一阈值可以根据具体情况设置合适值，如0.5，当分类结果的概率值大于0.5时，则认为对话目标完成，当分类结果的概率值小于0.5时，则认为对话目标未完成。具体的，本发明实施例可以通过利用逻辑回归函数(Softmax logical regression)来计算概率值分类结果，然后根据概率值判断对话目标是否完成。本发明实施例把对话目标的完成估计当作二分类任务，通过利用神经网络分类器可以精准估计对话目标是否完成，从而提高对话的回复一致性、多样性和用户满意度，进一步促进产生潜在商业价值。如应用在广告或新闻的推广中时，通过引入对话目标估计，能够更好的通过闲聊给对话推荐新闻，从而提高新闻的阅读量和新闻中广告的点击率。
本发明实施例应用在业内公认的开放式数据集上时，如应用在包含有3万组对话27万个句子的对话语料的DuConv开放式数据集和微博数据集上，我们对比了引入对话目标估计的开放域对话和传统的开放域对话的效果；具体的，在对话一致性、回复多样性和用户满意度等指标上，DuConv数据集效果提升量分别为18％、33％、24％，微博数据集效果提升量为21％、29％、27％，可见本发明实施例中的方法能够有效提升对话效果和用户满意度。
本发明实施例另一方面提供一种计算机可读存储介质，计算机存储介质中存储有计算机可执行指令，当指令被执行时用于执行上述中任一项的数据处理方法。
本发明实施例另一方面提供一种电子设备，包括存储器和处理器，存储器中储存有计算机程序指令，指令由处理器加载并执行以实现上述中任一项的数据处理方法。
这里需要指出的是：以上两实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，对于本发明实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。
本发明实施例中，多个步骤之间的实现顺序在不影响实现目的的情况下可以替换。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种数据处理方法，其特征在于，包括：
获取初始语料，所述初始语料至少包括对话目标和历史语料；
对所述初始语料进行词向量转换，得到语料词向量；
通过栈式双向循环神经网络学习建立语料词向量的分类映射关系，进行分类训练，并连接分类函数进行运算，得到分类结果；
根据所述分类结果判断所述对话目标是否完成；
根据所述语料词向量进行文本回复训练，得到回复文本；
当所述对话目标未完成时，输出所述回复文本；
根据所述语料词向量进行二分类训练；
其中，所述根据所述分类结果判断所述对话目标是否完成包括：
当所述分类结果大于第一阈值时，所述对话目标完成；
当所述分类结果小于第一阈值时，所述对话目标未完成。
2.根据权利要求1所述的方法，其特征在于，通过神经网络根据所述语料词向量进行文本回复训练。
3.一种数据处理装置，其特征在于，包括：
语料获取模块，用于获取初始语料，所述初始语料至少包括对话目标和历史语料；
向量转换模块，用于对所述初始语料进行词向量转换，得到语料词向量；
分类训练模块，用于通过栈式双向循环神经网络学习建立语料词向量的分类映射关系，进行分类训练，并连接分类函数进行运算，得到分类结果；
结果判断模块，用于根据所述分类结果判断所述对话目标是否完成；
回复训练模块，用于根据所述语料词向量进行文本回复训练，得到回复文本；
输出模块，用于当所述对话目标未完成时，输出所述回复文本；
其中，所述分类训练模块还包括：
二分类单元，用于根据所述语料词向量进行二分类训练。
4.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，当所述指令被执行时用于执行权利要求1-2中任一项所述的数据处理方法。
5.一种电子设备，包括存储器和处理器，所述存储器中储存有计算机程序指令，所述指令由所述处理器加载并执行以实现权利要求1-2中任一项所述的数据处理方法。
CN202010060935.4A 2020-01-19 2020-01-19 一种数据处理方法、装置及计算机存储介质和电子设备 Active CN111274374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010060935.4A CN111274374B (zh) 2020-01-19 2020-01-19 一种数据处理方法、装置及计算机存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010060935.4A CN111274374B (zh) 2020-01-19 2020-01-19 一种数据处理方法、装置及计算机存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111274374A CN111274374A (zh) 2020-06-12
CN111274374B true CN111274374B (zh) 2023-05-23

Family

ID=71001777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010060935.4A Active CN111274374B (zh) 2020-01-19 2020-01-19 一种数据处理方法、装置及计算机存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN111274374B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797218B (zh) * 2020-07-07 2022-03-29 海南中智信信息技术有限公司 一种基于Cycle-Seq2Seq的开放域对话生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701088A (zh) * 2016-02-26 2016-06-22 北京京东尚科信息技术有限公司 从机器对话切换到人工对话的方法和装置
CN106776926A (zh) * 2016-12-01 2017-05-31 竹间智能科技（上海）有限公司 改善机器人对话时的应答能力的方法及系统
CN108920644A (zh) * 2018-06-29 2018-11-30 北京百度网讯科技有限公司 对话连贯性的判断方法、装置、设备及计算机可读介质
CN110516035A (zh) * 2019-07-05 2019-11-29 同济大学 一种混合模块的人机交互方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI512693B (zh) * 2008-03-06 2015-12-11 Univ Nat Kaohsiung 1St Univ Sc 互動式會話學習系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701088A (zh) * 2016-02-26 2016-06-22 北京京东尚科信息技术有限公司 从机器对话切换到人工对话的方法和装置
CN106776926A (zh) * 2016-12-01 2017-05-31 竹间智能科技（上海）有限公司 改善机器人对话时的应答能力的方法及系统
CN108920644A (zh) * 2018-06-29 2018-11-30 北京百度网讯科技有限公司 对话连贯性的判断方法、装置、设备及计算机可读介质
CN110516035A (zh) * 2019-07-05 2019-11-29 同济大学 一种混合模块的人机交互方法和系统

Also Published As

Publication number Publication date
CN111274374A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN109582956B (zh) 应用于句子嵌入的文本表示方法和装置
CN108846077B (zh) 问答文本的语义匹配方法、装置、介质及电子设备
US20180101770A1 (en) Method and system of generative model learning, and program product
CN104598611B (zh) 对搜索条目进行排序的方法及系统
CN111061856A (zh) 一种基于知识感知的新闻推荐方法
CN110929515A (zh) 基于协同注意力和自适应调整的阅读理解方法及系统
CN107391505A (zh) 一种图像处理方法及系统
CN111783903B (zh) 文本处理方法、文本模型的处理方法及装置、计算机设备
CN110851491A (zh) 基于多重邻居节点的多重语义影响的网络链接预测方法
CN108960574A (zh) 问答的质量确定方法、装置、服务器和存储介质
CN109978060A (zh) 一种自然语言要素抽取模型的训练方法及装置
CN111078847A (zh) 电力用户意图识别方法、装置、计算机设备和存储介质
CN110968725B (zh) 图像内容描述信息生成方法、电子设备及存储介质
CN111737432A (zh) 一种基于联合训练模型的自动对话方法和系统
CN110245310B (zh) 一种对象的行为分析方法、装置及存储介质
CN115687925A (zh) 针对不平衡样本的故障类型识别方法及装置
CN110597968A (zh) 一种回复选择方法及装置
CN111090724B (zh) 一种基于深度学习的可评判文本内容与实体相关性的实体抽取方法
CN112488316A (zh) 事件意图推理方法、装置、设备及存储介质
CN110334340B (zh) 基于规则融合的语义分析方法、装置以及可读存储介质
CN115098789A (zh) 基于神经网络的多维兴趣融合推荐方法、装置及相关设备
CN111274374B (zh) 一种数据处理方法、装置及计算机存储介质和电子设备
CN116738983A (zh) 模型进行金融领域任务处理的词嵌入方法、装置、设备
KR20240034804A (ko) 자동 회귀 언어 모델 신경망을 사용하여 출력 시퀀스 평가
CN116302088A (zh) 一种代码克隆检测方法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant