CN111428015B - 一种信息生成方法、装置、设备及存储介质 - Google Patents
一种信息生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111428015B CN111428015B CN202010203667.7A CN202010203667A CN111428015B CN 111428015 B CN111428015 B CN 111428015B CN 202010203667 A CN202010203667 A CN 202010203667A CN 111428015 B CN111428015 B CN 111428015B
- Authority
- CN
- China
- Prior art keywords
- information
- emotion
- conversation
- dialogue
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Machine Translation (AREA)
Abstract
本发明实施例提供了一种信息生成方法、装置、设备及存储介质；方法包括：获取对话过程中的语句，得到对话历史；并利用外部知识信息，对对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；对对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与对话历史对应的至少一个对话语句扩展特征；对至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，生成共情回复信息；共情回复信息为对话过程中对话历史的回复信息。通过本发明实施例，能够提升共情对话生成效果。
Description
技术领域
本发明涉及人工智能领域中的自然语言处理技术，尤其涉及一种信息生成方法、装置、设备及存储介质。
背景技术
共情对话生成，指感知对话历史中的情绪状态，预测待表达的情绪，最终生成情绪和语义均表达合适的共情回复信息的过程。目前，随着人工智能的广泛应用，共情对话生成作为人工智能的一个分支，也变得越来越重要。
一般来说，为实现共情对话生成，通常通过分析对话历史，来获取历史情绪，进而根据历史情绪预测待表达的情绪，以基于待表达的情绪获得共情回复信息。然而，在上述实现共情对话生成的过程中，共情回复信息仅是利用有限的对话历史获得的，而通常有限的对话历史无法完全表达对应的情绪；因此，获得的共情回复信息的情绪的准确度低，导致共情对话生成效果差。
发明内容
本发明实施例提供一种信息生成方法、装置及存储介质，能够提升共情对话生成效果。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种信息生成方法，包括：
获取对话过程中的语句，得到对话历史；并利用外部知识信息，对所述对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；所述外部知识信息为预设的由词关联信息构成的知识库；
对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与所述对话历史对应的至少一个对话语句扩展特征；
对所述至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；
对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；
利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息；所述共情回复信息为对话过程中所述对话历史的回复信息。
本发明实施例提供一种信息生成装置，包括
信息扩展模块，用于获取对话过程中的语句，得到对话历史；并利用外部知识信息，对所述对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；所述外部知识信息为预设的由词关联信息构成的知识库；
特征表示模块，用于对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与所述对话历史对应的至少一个对话语句扩展特征；
语义编码模块，用于对所述至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；
情绪预测模块，用于对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；
解码模块，用于利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息；所述共情回复信息为对话过程中所述对话历史的回复信息。
本发明实施例提供一种信息生成设备，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的信息生成方法。
本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的信息生成方法。
本发明实施例具有以下有益效果：由于在利用对话历史生成共情回复信息之前，利用外部知识信息对对话历史进行了扩展，从而，挖掘出了对话历史所表达的隐示情绪，使得扩展后的历史对话能够完全表达对应的情绪；因此，在利用扩展后的历史对话进行共情对话生成时，所生成的共情回复信息对应的情绪的准确度高，提升了共情对话生成效果。
附图说明
图1是一种示例性的实现共情对话生成的示意图；
图2是另一种示例性的实现共情对话生成的示意图；
图3是本发明实施例提供的信息生成系统的一个可选的架构示意图；
图4是本发明实施例提供的一种图3中的服务器的一个可选的结构示意图；
图5是本发明实施例提供的信息生成方法的一个可选的流程示意图；
图6是本发明实施例提供的信息生成方法的另一个可选的流程示意图；
图7是本发明实施例提供的信息生成方法的又一个可选的流程示意图；
图8是本发明实施例提供的模型训练的一个可选的流程示意图；
图9是本发明实施例提供的模型训练的另一个可选的流程示意图；
图10是本发明实施例提供的信息生成方法的再一个可选的流程示意图；
图11是本发明实施例提供的一个示例性的应用示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)自然语言处理(Nature Language processing，NLP)，是计算机科学领域与人工智能领域中的一个重要方向，旨在研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法；自然语言处理是一门融语言学、计算机科学和数学于一体的科学，因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系；自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
2)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
3)机器学习(Machine Learning，ML)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能；重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习和归纳学习等技术。
4)人工神经网络，是一种模仿生物神经网络结构和功能的数学模型，本文中人工神经网络的示例性结构包括深度神经网络(Deep Neural Networks，DNN)、卷积神经网络(Convolutional Neural Network，CNN)和循环神经网络(RecurrentNeuralNetwork，RNN)等。
5)损失函数，又称代价函数，是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
另外，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术的研究和进步，人工智能技术在多个领域展开了研究和应用；例如，常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗和智能客服等；随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值；比如，还可以将人工智能应用在文本处理领域。下面，针对人工智能在文本处理领域的应用进行说明。
一般来说，为实现共情对话生成，通常通过分析对话历史，来获取历史情绪，进而根据历史情绪预测待表达的情绪，以基于待表达的情绪获得共情回复信息。
示例性地，参见图1，图1是一种示例性的实现共情对话生成的示意图；如图1所示，开始时，获取对话历史对应的历史语句的历史情绪，基于历史情绪预测待表达的情绪；与此同时，利用编码器获取对话历史的历史语义特征，将待表达的情绪和历史语义特征作为解码器的输入，得到共情回复信息。
示例性地，参见图2，图2是另一种示例性的实现共情对话生成的示意图；如图2所示，利用编码器2-1编码对话历史的语义向量序列，并利用编码器2-2(用于对对话历史的情绪状态进行编码)和编码器2-3(用于对对话历史的语义信息进行编码)编码对话历史，并对编码器2-2的编码结果通过情绪分类器确定历史情绪，将该历史情绪与编码器2-3的编码结果融合，得到待表达的情绪；最后，对语义向量序列和融合结果进行加权处理，并对加权处理结果进行解码，得到共情回复信息。
然而，在上述实现共情对话生成的过程中，共情回复信息仅是利用有限的对话历史获得的，而对话历史无法完全表达对应的情绪；因此，获得的共情回复信息的情绪表达的准确度低，导致共情对话生成效果差。另外，对话历史也无法完全表达对应的语义；因此，获得的共情回复信息的语义表达的准确度低，进一步导致共情对话生成效果差。
基于此，本发明实施例提供一种信息生成方法、装置、设备和存储介质，能够提高共情回复信息的语义表达和情绪表达的准确度，提升共情对话生成效果。下面说明本发明实施例提供的信息生成设备的示例性应用，本发明实施例提供的信息生成设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。下面，将说明信息生成设备实施为服务器时的示例性应用。
参见图3，图3是本发明实施例提供的信息生成系统的一个可选的架构示意图；如图3所示，为支撑一个信息生成应用，该信息生成系统100中，服务器400通过网络300连接终端200，网络300可以是广域网或者局域网，又或者是二者的组合。
终端200，用于通过网络300从服务器400获得共情回复信息，以在图形界面210上显示该共情回复信息。
服务器400，用于通过网络300从终端200中获取对话过程中的语句，得到对话历史；并利用外部知识信息，对对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；对对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与对话历史对应的至少一个对话语句扩展特征；对至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，生成共情回复信息，以通过网络300向终端200发送共情回复信息；共情回复信息为对话过程中对话历史的回复信息。
参见图4，图4是本发明实施例提供的一种图3中的服务器的一个可选的结构示意图，图4所示的服务器400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。服务器400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统440。
处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Onl y Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器450旨在包括任意适合类型的存储器。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。
在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的信息生成装置可以采用软件方式实现，图4示出了存储在存储器450中的信息生成装置455，其可以是程序和插件等形式的软件，包括以下软件模块：信息扩展模块4551、特征表示模块4552、语义编码模块4553、情绪预测模块4554、解码模块4555、模型训练模块4556、模型优化模块4557和应用模块4558，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的信息生成装置可以采用硬件方式实现，作为示例，本发明实施例提供的信息生成装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的信息生成方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific IntegratedCircuit)、DSP、可编程逻辑器件(PLD，Progr ammable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programma ble Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
下面，将结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的信息生成方法。
参见图5，图5是本发明实施例提供的信息生成方法的一个可选的流程示意图，将结合图5示出的步骤进行说明。
S101、获取对话过程中的语句，得到对话历史；并利用外部知识信息，对对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；外部知识信息为预设的由词关联信息构成的知识库。
需要说明的是，在进行对话时，对话过程中会产生语句，信息生成设备对对话过程中的语句进行获取，也就获得了对话历史；也就是说，对话历史为对话过程中的语句所构成的集合，是一种待处理数据。
在本发明实施例中，对话历史包括至少一个对话语句；信息生成设备获得了对话历史之后，由于对话过程中通常依赖外部知识信息表达隐示的情感，因此，外部知识信息对对话历史和情绪两方面的感知上起了重要的作用；从而，信息生成设备利用外部知识信息，对对话历史中的每个对话语句进行信息扩展，以使每个对话语句所表达的信息完整；此时，信息扩展后的每个对话语句即对话语句扩展信息。
这里，信息生成设备中预先存储着由词关联信息构成的知识库，比如，由大量的三元组(头结点，关系，尾节点)构成的大规模知识库ConceptNet，其中，头结点和尾节点指词信息，关系指头结点与尾节点之间的关系；信息生成设备利用该外部知识信息对对话历史中的每个对话语句进行信息扩展。
S102、对对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与对话历史对应的至少一个对话语句扩展特征。
在本发明实施例中，信息生成设备获得了信息扩展后的对话语句即对话语句扩展信息之后，由于对话语句扩展信息既能表达显示情感(对话语句所表达的情感)又能表达隐示情感(信息扩展出的信息所表达的情感)；因此，信息生成设备为了增强对话语句中的显示情感，对对话语句扩展信息进行特征构造，也就得到了与对话语句扩展信息对应的对话语句扩展特征；当完成了每个对话语句的信息扩展和特征构造后，由于对话历史中包括至少一个对话语句，因此，也就获得了与对话历史对应的至少一个对话语句扩展特征，并且，对话语句扩展特征属于至少一个对话语句扩展特征。
需要说明的是，特征构造指将对话语句扩展信息表示成特征形式的一种处理，比如，进行连续向量化表示。
S103、对至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息。
在本发明实施例中，信息生成设备获得了至少一个对话语句扩展特征之后，对至少一个对话语句扩展特征继续进行语义编码，也就获得了至少一个对话语句扩展特征的语义信息，即对话历史语义信息。
示例性地，信息生成设备利用编码器Encoder中的图组合模块(Graph Combination)融合至少一个对话语句扩展特征为一个对话特征；对话特征中非停用词对应的特征序列依次经过原始变换器(Transformer)的多头注意力层(Multi-Head Attention)，归一化层(Add&Norm)，前馈层(Feedforward Network)，以及另一个归一化层(Add&Norm)进行优化，也就获得了对话历史语义信息。该过程如式(1)和式(2)所示：
hj＝LayerNorm(v'x+MHAtt(v'x)) (1)
uj＝LayerNorm(hj+FFN(hj)) (2)
其中，v'x指至少一个对话语句扩展特征中与一个非停用词对应的词扩展特征，hj指经过多头注意力层和归一化层后的处理结果，LayerNorm()指归一化层中的处理，MHAtt()指多头注意力层中的处理，FFN()指前馈层中的处理，uj指对话历史语义信息中与第j个非停用词对应的语义信息。
S104、对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息。
在本发明实施例中，信息生成设备获得了至少一个对话语句扩展特征之后，对至少一个对话语句扩展特征进行待表达情绪的情绪预测，也就获得待表达情绪信息；这里，待表达情绪信息指初步获得的对话过程中待回复的对话的情绪信息。
需要说明的是，信息生成设备依据对话历史的情绪信息与待回复的对话的情绪信息之间的情绪依赖预测待表达情绪信息；其中，情绪依赖指其他对话参与者对回复者产生的情绪影响。
S105、利用所述至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，生成共情回复信息；共情回复信息为对话过程中对话历史的回复信息。
在本发明实施例中，信息生成设备获得了对话历史语义信息和待表达情绪信息之后，在解码过程中，利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，以较大程度的获取到对话历史中丰富的信息；当组合解码完成时，也就获得了对话过程中对话历史的回复信息，即共情回复信息。
可以理解的是，信息生成设备通过外部知识信息对有限的对话历史进行信息扩展，使得信息扩展后的对话历史能够完整地表达对应的语义和情绪；进而再利用信息扩展后的对话历史进行共情回复信息的生成时，所获得的共情回复信息在情绪和语义上的准确度均高。
进一步地，本发明实施例S101中信息生成设备利用外部知识信息，对对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息，包括S1011-S1015，下面对各步骤分别进行说明。
S1011、获取对话历史中每个对话语句的每个非停用词。
在本发明实施例中，信息生成设备对对话历史的每个对话语句进行信息扩展时，是以每个对话语句中的每个非停用词为单位进行的；因此，信息生成设备先获取对话历史中每个对话语句的每个非停用词，以分别进行信息扩展。
S1012、从外部知识信息中，确定与每个非停用词匹配的信息，得到目标外部知识信息。
在本发明实施中，由于外部知识信息中包括词关联信息，因此，信息生成设备将非停用词与外部知识信息中的词进行匹配，从外部知识信息中匹配成功的词关联信息即目标外部知识信息。
示例性地，当外部知识信息为ConceptNet时，信息生成设备将非停用词与ConceptNet中的头结点进行匹配，匹配成功的三元组也就构成了目标外部知识信息。
S1013、计算目标外部知识信息的每个子目标外部知识信息与每个非停用词的关联得分，得到子目标关联得分，从而得到与目标外部知识信息对应的目标关联得分；目标关联得分包括至少一个子目标关联得分。
需要说明的是，由于外部知识信息中与每个非停用词匹配的词关联信息的数量为至少一个，因此，目标外部知识信息中包括至少一个子目标外部知识信息，每个子目标外部知识信息即一个与每个非通用词关联的词关联信息。
在本发明实施例中，所获得的目标外部知识信息中存在大量的噪音，比如，负向关系和软相关的词关联信息，而这些噪音会影响共情回复信息的生成的准确性；因此，信息生成设备需要对目标外部知识信息进行降噪处理。
这里，进行降噪处理时，信息生成设备依据每个子目标外部知识信息与每个非停用词的关联得分进行；也就是说，信息生成设备计算目标外部知识信息中的每个子目标外部知识信息，与每个非停用词的关联得分，即子目标关联得分；从而也就得到了与目标外部知识信息对应的且包括至少一个子目标关联得分的目标关联得分。
S1014、基于目标关联得分，从目标外部知识信息中，筛选指定数量的子目标外部知识信息，得到外部知识节点。
在本发明实施例中，由于子目标关联得分表征了每个子目标外部知识信息与非停用词的关联程度，关联程度低的子目标外部知识信息属于噪音信息，而关联程度高的子目标外部知识信息属于有用的信息(能够辅助挖掘对话历史中的潜在情感和潜在语义)；因此，信息生成设备依据目标关联得分，选取指定数量个得分最高的子目标外部知识信息来构成外部知识节点。
需要说明的是，外部知识节点为用于扩展非停用词的词，比如，所有三元组的尾节点构成的集合；指定数量为预先设置的数量，比如，10个。
S1015、利用外部知识节点对每个非停用词进行信息扩展，得到词扩展信息，从而得到与每个对话语句对应的对话语句扩展信息；对话语句扩展信息包括至少一个词扩展信息。
在本发明实施例中，信息设备获得了每个非停用词对应的外部知识节点之后，将每个非停用词与外部知识节点结合，也就获得了与每个非停用词对应的词扩展信息，从而也就获得了与每个对话语句对应的且包括至少一个词扩展信息的对话语句扩展信息。
进一步地，本发明实施例S101中信息生成设备利用外部知识信息，对对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息，包括：信息生成设备获取对话历史中每个对话语句的每个非停用词；从外部知识信息中，确定与每个非停用词匹配的信息，得到目标外部知识信息；从目标外部知识信息中，获取外部词，得到外部知识节点；利用外部知识节点对每个非停用词进行信息扩展，得到词扩展信息，从而得到与每个对话语句对应的对话语句扩展信息；对话语句扩展信息包括至少一个词扩展信息。
相应地，本发明实施例S102中，信息生成设备对对话语句扩展信息进行特征构造，得到对话语句扩展特征，包括S1021：对对话语句扩展信息的每个词扩展信息进行特征构造，得到词扩展特征，从而得到包括至少一个词扩展特征的对话语句扩展特征。
需要说明的是，由于对话语句扩展信息包括至少一个词扩展信息，因此，信息生成设备在对对话语句扩展信息进行特征表示时，实质上是对每个词扩展信息进行特征表示后再组合的过程。
进一步地，本发明实施例S1013中，信息生成设备计算目标外部知识信息的每个子目标外部知识信息与每个非停用词的关联得分，得到子目标关联得分，包括S10131-S10134，下面对各步骤分别进行说明。
S10131、获取目标外部知识信息的每个子目标外部知识信息的情感强度，得到目标情感强度信息。
在本发明实施例中，信息生成设备从三方面获取子目标关联得分，其中一方面为每个子目标外部知识信息的情感强度，即表征强弱极性的信息，这里称为目标情感强度信息。
示例性的，目标情感强度信息如式(3)所示：
其中，c为子目标外部知识信息中的尾节点，可以为一个词或一组词，V(c)指c的强弱性，A(c)指c的极性。
S10132、获取每个子目标外部知识信息与每个非停用词的相关程度，得到目标相关程度信息。
在本发明实施例中，信息生成设备获取子目标关联得分所依据的另一方面，为每个子目标外部知识信息与每个非停用词的相关程度，这里称为目标相关程度信息；比如：Cosine(x，c)，其中，x指非停用词，也指子目标外部知识信息中的首节点。
S10133、获取每个子目标外部知识信息的关系置信度，得到目标关系置信度信息。
在本发明实施例中，信息生成设备获取子目标关联得分所依据的第三方面，为每个子目标外部知识信息的关系置信度，即每个子目标外部知识信息与每个非停用词的关系的置信度，这里称为目标关系置信度信息；比如，r.con，其中，r指每个子目标外部知识信息中关系的置信度。
S10134、利用目标情感强度信息、目标相关程度信息和目标关系置信度信息，计算每个子目标外部知识信息与每个非停用词的关联得分，得到子目标关联得分。
在本发明实施例中，信息生成设备在获得了目标情感强度信息、目标相关程度信息和目标关系置信度信息之后，将目标情感强度信息、目标相关程度信息和目标关系置信度信息进行组合，也就得到了子目标关联得分。
示例性地，当子目标外部知识信息为τ＝(x,r,c)时，则子目标关联得分score(τ)如式(4)所示：
进一步地，本发明实施例S1021中，信息生成设备对对话语句扩展信息的每个词扩展信息进行特征构造，得到词扩展特征，包括S10211-S10214，下面对各步骤分别进行说明。
S10211、对对话语句扩展信息中每个词扩展信息的每个非停用词进行向量表示，得到非停用词向量特征。
需要说明的是，由于每个词扩展信息中包括非停用词以及外部知识节点，信息生成设备为增强每个非停用词的显示情感，利用外部知识节点对每个非停用词进行局部加权更新，来实现特征表示，以获得词扩展特征。
在本发明实施例中，信息生成设备首先对对话语句扩展信息中每个词扩展信息的每个非停用词进行向量表示，所获得的向量表示结果即非停用词向量特征。
S10212、对每个词扩展信息的外部知识节点进行向量表示，得到外部知识节点向量特征。
在本发明实施例中，信息生成设备对对每个词扩展信息的外部知识节点进行向量表示，所获得的向量表示结果即得到外部知识节点向量特征。
需要说明的是，外部知识节点包括指定数量个词，信息生成设备对外部知识节点中指定数量个词，进行逐词的向量表示，因此，外部知识节点向量特征为指定数量个向量特征构成的特征集合。
这里，S10211和S10212在执行顺序上不分先后。
S10213、利用非停用词向量特征和外部知识节点向量特征，计算外部知识节点的权重信息，得到外部知识权重信息。
在本发明实施例中，信息生成设备获得了停用词向量特征和外部知识节点向量特征之后，利用停用词向量特征和外部知识节点向量特征获取用于局部更新的权重信息；也就是说，信息生成设备利用非停用词向量特征和外部知识节点向量特征，计算外部知识节点的权重信息，也就得到了用于局部更新的外部知识权重信息。
需要说明的是，外部知识节点包括指定数量个词，信息生成设备利用非停用词向量特征与外部知识节点向量特征中的每个特征进行权重信息的计算，所获得的外部知识权重信息为指定数个权重信息构成的权重集合。
示例性地，针对外部知识节点中的第k个词对应的权重信息αk为式(5)所示：
其中，N为指定数量，uk指与αk对应的信息值；另外，uk的计算方式参见式(6)：
其中，
Wp1和Wp2是可学习到的参数，vk指外部知识节点向量特征中与外部知识节点中的第k个词对应的向量特征，vx指非停用词x的特征向量即非停用词向量特征。
S10214、利用外部知识权重信息，将非停用词向量特征和外部知识节点向量特征进行组合，得到词扩展特征，完成对每个词扩展信息的特征构造。
在本发明实施例中，信息生成设备获得了外部知识权重信息、非停用词向量特征和外部知识节点向量特征之后，利用外部知识权重信息获取外部知识节点向量特征中的有效信息，进而将该有效信息与非停用词向量特征进行融合，也就完成了局部更新；此时，也就获得了词扩展特征，完成了对每个词扩展信息的特征构造。
示例性地，词扩展特征v'x的获取方式如式(7)所示：
其中，Wp3为可学习到的参数。
需要说明的是，S10211-S10214可通过图注意力机制实现。
进一步地，参见图6，图6是本发明实施例提供的信息生成方法的另一个可选的流程示意图；如图6所示，在本发明实施例中，S104可通过S1041-S1044实现；也就是说，信息生成设备对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息，包括S1041-S1044，下面结合图6示出的步骤进行说明。
S1041、获取至少一个对话语句扩展特征的情绪特征，得到至少一个对话语句情绪特征。
在本发明实施例中，信息生成设备根据至少一个对话语句扩展特征，获取每个对话语句的情绪特征，也就得到了至少一个对话语句情绪特征。
需要说明的是，至少一个对话语句情绪特征和至少一个对话语句扩展特征，均与至少一个对话语句一一对应；另外，至少一个对话语句情绪特征中的每个对话语句情绪特征用来表征一个对话语句的情绪，比如三维情绪向量(Valence Arousal Dominance，VAD)。
S1042、拼接至少一个对话语句情绪特征和初始待表达情绪特征，得到初始情绪交互特征；初始待表达情绪特征为待预测的待表达情绪对应的初始特征。
在本发明实施例中，信息生成设备中设置有初始待表达情绪特征，比如零向量，为待预测的待表达情绪对应的初始特征；信息生成设备获得了至少一个对话语句情绪特征之后，将至少一个对话语句情绪特征和初始待表达情绪特征进行拼接，拼接结果即初始情绪交互特征。
示例性地，初始情绪交互特征E0的获取方式如式(8)所示：
其中，
指M个对话语句对应M个对话语句情绪特征，
指初始待表达情绪特征。
S1043、对初始情绪交互特征进行迭代处理，得到情绪交互特征。
在本发明实施例中，信息生成设备获得了初始情绪交互特征之后，经过多次迭代处理，也就获得了上下文更新后的对话历史的情绪信息，即情绪交互特征。迭代处理的过程比如，将E0输入至一个变换器(Transformer)架构的情绪预测器进行l层的迭代处理，也就得到了情绪交互特征，如式(9)所示：
El＝TransformerLayer(El-1) (9)
其中，TransformerLayer(El-1)指输入变换器的l-1层的处理。
S1044、依据情绪交互特征，预测待表达的情绪，得到待表达情绪信息。
在本发明实施例中，信息生成设备获得了情绪交互特征之后，根据对话过程中语句之间的情绪依赖，也就能够依据情绪交互特征预测待表达的情绪了，此时，也就确定了待表达情绪信息。
示例性地，信息生成设备依据情绪交互特征确定待表达情绪信息的过程如式(10)所示：
其中，
指待表达情绪信息，Wp4和bp1为可学习到的参数，M指对话历史中对话语句的数量。
进一步地，参见图7，图7是本发明实施例提供的信息生成方法的又一个可选的流程示意图；如图7所示，在本发明实施例中，S105可通过S1051-S1053实现；也就是说，信息生成设备利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，得到共情回复信息，包括S1051-S1054，下面结合图7示出的步骤分别进行说明。
S1051、利用至少一个对话语句扩展特征对应的情绪特征，更新待表达情绪信息，得到目标情绪信息。
在本发明实施例中，信息生成设备获得了待表达情绪信息之后，为了提升待表达情绪信息的准确度，利用至少一个对话语句扩展特征对应的情绪特征，对待表达情绪信息进行更新，以优化待表达情绪信息；此时，也就获得了目标情绪信息；易知，目标情绪信息为更新后的待表达情绪信息。
S1052、对对话历史语义信息和待表达情绪信息进行当前时刻的组合解码，得到初始当前解码词信息，利用对话历史语义信息对初始当前解码词信息进行情绪增强更新，得到当前解码词信息。
需要说明的是，解码过程是迭代进行的，当前时刻指组合解码过程中的任一组合解码时刻。在当前时刻的组合解码过程中，如果是第一个组合解码时刻，则对对话历史语义信息和待表达情绪信息进行组合解码，得到第一个解码结果即初始当前解码词信息；而如果不是第一个组合解码时刻，则对前一个解码结果、对话历史语义信息和待表达情绪信息进行组合解码，得到初始当前解码词信息，这里，前一个解码结果指前一组合解码时刻的解码结果。
在本发明实施例中，信息生成设备获得了初始当前解码词信息之后，为了提高初始当前解码词信息的准确性，利用对话历史语义信息对初始当前解码词信息进行情绪增强更新，以优化初始当前解码词信息；此时，也就获得了当前时刻的解码结果即当前解码词信息；易知，当前解码词信息为更新后的初始当前解码词信息。这里，情绪增强更新指利用对话历史语义信息的情绪信息进行更新的过程。
S1053、将目标情绪信息和当前解码词信息进行组合处理，得到当前共情回复词。
在本发明实施例中，信息生成设备将获得的目标情绪信息和当前解码词信息进行组合，并对组合结果进行优化处理，也就获得了当前共情回复词。这里，当前共情回复词指共情回复信息中与单个解码时刻对应的词。
示例性地，组合处理的过程如式(11)-(13)所示：
其中，
为当前解码词信息，eVAD为目标情绪信息，LayerNorm()指归一化层中的处理，FFN()指前馈层中的处理，softmax()指归一化处理，Wp5和Wp6为可学习到的参数。
S1054、持续进行下一时刻的组合解码，直到完成对对话历史语义信息和待表达情绪信息的组合解码时，得到包括至少一个当前共情回复词的共情回复信息。
需要说明的是，在下一时刻的组合解码过程，信息生成设备执行与当前时刻的解码过程类似的处理；也就是说，信息生成设备针对每个组合解码时刻均执行与当前时刻的组合解码过程类似的处理，当完成所有时刻的组合解码时，也就完成了对对话历史语义信息和待表达情绪信息的组合解码；此时，针对至少一个组合解码时刻，也就获得了包括至少一个当前共情回复词的共情回复信息。
进一步地，在本发明实施例中，S1051可通过S10511-S10513实现；也就是说，信息生成设备利用至少一个对话语句扩展特征对应的情绪特征，更新待表达情绪信息，得到目标情绪信息，包括S10511-S10513，下面对各步骤分别进行说明。
S10511、从至少一个对话语句扩展特征中，获取与每个非停用词对应的情绪特征，得到词节点情绪信息。
需要说明的是，对话历史中包括多个非停用词，而至少一个对话语句扩展特征是与对话历史对应的特征表示；从而，从至少一个对话语句扩展特征中，获取每个非停用词的情绪特征，也就是获得了词节点情绪信；比如，每个非停用词的三维情绪向量。
S10512、获取词节点情绪信息对待表达情绪信息的贡献信息，得到词情绪贡献信息，从而得到包括至少一个词情绪贡献信息的历史情绪贡献信息。
在本发明实施例中，信息生成设备对词节点情绪信息和待表达情绪信息进行变换，得到情绪变换特征；接着对情绪变换特征进行贡献信息的计算，如此，也就获得了针对待表达情绪信息的情绪依赖和情绪惯性：待表达情绪信息受对话历史中情绪的影响信息，以及待表达情绪信息在对话过程中情绪表达的惯性。这里，词情绪贡献信息指一个非停用词对应的贡献信息，当信息生成设备获得了所有非停用词对应贡献信息，也就获得了包括至少一个词情绪贡献信息的历史情绪贡献信息，历史情绪贡献信息与对话历史对应。
示例性地，当对话历史中包括t个非停用词时，针对当前非停用词j，获取三维情绪向量，得到当前词节点情绪信息
从而，情绪变换特征的获取过程如式(14)所示：
其中，
指情绪变换特征，
指待表达情绪信息，Wq1、Wk1和Wv1为可学习到的参数。
词情绪贡献信息的获取过程如式(15)所示：
其中，MHAtt()为多头注意力层中的处理，即获取贡献信息的处理。
S10513、利用历史情绪贡献信息更新待表达情绪信息，得到当前情绪信息。
在本发明实施例中，信息生成设备将历史情绪贡献信息和待表达情绪信息融合，以利用历史情绪贡献信息更新待表达情绪信息；此时，也就得到了目标情绪信息。这里，目标情绪信息为对话过程中回复信息的情绪信息。
示例性地，获取目标情绪信息的过程如式(16)所示：
其中，eVAD指目标情绪信息，
指历史情绪贡献信息。
进一步地，本发明实施例S1052中，信息生成设备利用对话历史语义信息对初始当前解码词信息进行情绪增强更新，得到当前解码词信息，包括S10521-S10524，下面对各步骤分别进行说明。
S10521、从对话历史语义信息中，获取与每个非停用词对应的语义信息，得到词节点语义信息。
需要说明的是，对话历史中包括多个非停用词，而对话历史语义信息与对话历史对应的语义信息；从而，信息生成设备能够从对话历史语义信息中获取到与每个非停用词对应的语义信息，即词节点语义信息。
S10522、获取词节点语义信息的情绪信息，得到情绪增强信息。
在本发明实施例中，信息生成设备对词节点语义信息进行情绪信息的获取，也就获得了用于对解码初始输出结果即初始当前词语义信息进行更新的情绪增强信息。
S10523、结合情绪增强信息，获取词节点语义信息对初始当前解码词信息的贡献信息，得到词语义贡献信息，从而得到包括至少一个词语义贡献信息的历史语义贡献信息。
在本发明实施例中，信息生成设备对词节点语义信息和初始当前解码词信息进行变换，得到语义变换特征；接着对语义变换特征进行贡献信息的计算，如此，也就获得了词节点语义信息对初始当前解码词信息的贡献信息即词语义贡献信息。这里，词语义贡献信息指一个非停用词对应的贡献信息，当信息生成设备获得了所有非停用词对应贡献信息，也就获得了包括至少一个词语义贡献信息的历史语义贡献信息，历史语义贡献信息与对话历史对应。
S10524、利用历史语义贡献信息对初始当前解码词信息进行情绪增强更新，得到当前解码词信息。
在本发明实施例中，信息生成设备将历史语义贡献信息和初始当前解码词信息融合，以利用历史语义更新初始当前解码词信息；此时，也就得到了当前解码词信息。
示例性地，获取当前解码词信息
的过程如式(17)-(20)所示：
其中，Wq2、Wk2、Wv2和γ为可学习到的参数，γηj指与第j个非停用词对应的情绪增强信息，yj指与第j个非停用词对应的初始当前解码词信息，uj指与与第j个非停用词对应的词节点语义信息，
指语义变换特征，t指解码时刻的数量，E-MHAtt()指情绪增强的多头注意力(Emotion-Enhanced Multi-Head Attention)层的处理。
进一步地，在本发明实施例中，S102-S105可通过网络模型实现；也就是说，信息生成设备中存在预先训练好的共情对话生成模型，该共情对话生成模型用于生成共情回复信息；因此，信息生成设备对对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与对话历史对应的至少一个对话语句扩展特征；对至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，生成共情回复信息，包括：信息生成设备利用共情对话生成模型，对对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与对话历史对应的至少一个对话语句扩展特征；并对至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；以及对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；以及利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，得到共情回复信息。
进一步地，在本发明实施例中，信息生成设备利用共情对话生成模型，对对话语句扩展信息进行特征构造，得到对话语句扩展特征之前，参见图8，图8是本发明实施例提供的模型训练的一个可选的流程示意图；如图8所示，该信息方法还包括训练获得共情对话生成模型的步骤：S106-S110，下面结合图8示出的步骤分别进行说明。
S106、获取训练样本，训练样本包括历史对话样本、待表达情绪标注信息和共情回复标注信息。
在本发明实施例中，信息生成设备进行网络模型训练时，先获取训练数据集，即训练样本；这里，训练样本为历史对话样本、待表达情绪标注信息和共情回复标注信息组成的样本对；其中，历史对话样本指样本中对话过程产生的对话语句，待表达情绪标注信息指回复信息的真实情绪信息，共情回复标注信息指真实的回复信息。
S107、利用外部知识信息，对对话历史样本的每个对话语句样本进行信息扩展，得到对话语句样本扩展信息。
需要说明的是，S107的实现过程与上述S101中描述的实现过程类似，本发明实施例在此不再赘述。
S108、利用原始共情对话生成模型，对对话语句样本扩展信息进行特征构造，得到对话语句样本扩展特征，从而得到与对话历史样本对应的至少一个对话语句样本扩展特征；并对至少一个对话语句样本扩展特征进行语义编码，得到对话历史样本语义信息；以及对至少一个对话语句样本扩展特征进行情绪预测，得到待表达情绪样本信息；以及利用至少一个对话语句样本扩展特征，对对话历史样本语义信息和待表达情绪样本信息进行组合解码，得到共情回复预测信息；原始共情对话生成模型为待训练的模型。
需要说明的是，S108的实现过程与上述S102-S105中描述的实现过程类似，只不过S108是信息生成设备借助原始共情对话生成模型完成的，而S102-S105中是信息生成设备自身进行出完成的，本发明实施例在此不再赘述。另外，原始共情对话生成模型为用于获取共情回复信息的待训练模型。
S109、获取待表达情绪样本信息和待表达情绪标注信息，以及共情回复预测信息和共情回复标注信息之间的差异，得到损失函数值。
在本发明实施例中，信息生成设备从两方面获取损失函数值，一方面是情绪信息上，即待表达情绪样本信息和待表达情绪标注信息之间的差异，比如式(21)；另一方面是共情回复信息上，即共情回复预测信息和共情回复标注信息之间的差异，比如式(22)；上述两方面的差异也就构成了损失函数值，比如式(23)。
L＝Lpre+Lutt (23)
其中，Lutt指共情回复预测信息和共情回复标注信息之间的差异，s为解码时刻的总数量，
指共情回复标注信息中与第i个解码时刻对应的信息，o'i指共情回复预测信息中与第i个解码时刻对应的信息(与oi的获取方式一致)。Lpre指待表达情绪样本信息和待表达情绪标注信息之间的差异，|VAD|指情绪向量的维度：3，
指待表达情绪标注信息中与*维度对应的信息，e*指待表达情绪样本信息(与eVAD的获取方式一致)中与*维度对应的信息。L指损失函数值。
S110、利用损失函数值，持续对原始共情对话生成模型进行迭代训练，直到满足预设训练截止条件时，停止训练，得到共情对话生成模型。
在本发明实施例中，信息生成设备获得了损失函数值之后，利用损失函数值调整原始共情对话生成模型中的参数信息，进而继续利用调整后的原始共情对话生成模型和训练样本进行迭代训练，直到训练过程中获得的损失函数的值小于预设阈值时，确定满足预设训练截止条件；此时停止训练，也就得到了训练好的原始共情对话生成模型，即共情对话生成模型。
进一步地，参见图9，图9是本发明实施例提供的模型训练的另一个可选的流程示意图；如图9所示，在本发明实施例中，S110之后还包括S111；也就是说，信息生成设备利用损失函数值，持续对原始共情对话生成模型进行迭代训练，直到满足预设训练截止条件时，停止训练，得到共情对话生成模型之后，该信息生成方法还包括S111，下面对该步骤进行说明。
S111、当获取到新的训练样本时，利用新的训练样本对预设原始共情对话生成模型进行优化。
需要说明的是，当信息生成设备获得了共情对话生成模型时，还可以通过获取新的训练样本对共情对话生成模型进行优化，以提升共情对话生成模型的泛化能力。
在本发明实施例中，当信息生成设备获得了新的训练样本之后，能够基于新的训练样本优化共情对话生成模型，以利用优化后的共情对话生成模型进行信息生成。这里，优化过程与训练得到共情对话生成模型的过程类似，本发明实施例在此不再赘述。
相应地，本发明实施例中，信息生成设备利用共情对话生成模型，对对话语句扩展信息进行特征表示，得到对话语句扩展特征，包括：信息生成设备利用优化后的共情对话生成模型，对对话语句扩展信息进行特征表示，得到对话语句扩展特征。
也就是说，信息生成设备信息生成设备利用优化后的共情对话生成模型，对对话语句扩展信息进行特征表示，得到对话语句扩展特征，从而得到与对话历史对应的至少一个对话语句扩展特征；并获取至少一个对话语句扩展特征的语义信息，得到对话历史语义信息；以及对至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；以及对对话历史语义信息和待表达情绪信息进行解码，得到共情回复信息。
可以理解的是，信息生成设备通过不断对预设关键帧模型进行优化，能够提升优化后的预设关键帧模型的泛化能力，进而基于优化后的预设关键帧模型实现视频处理时，能够进一步提升共情对话生成的效果。
进一步地，参见图10，图10是本发明实施例提供的模型训练的再一个可选的流程示意图；如图10所示，在本发明实施例中，S105之后还包括S112；也就是说，信息生成设备利用至少一个对话语句扩展特征，对对话历史语义信息和待表达情绪信息进行组合解码，生成共情回复信息之后，该信息生成方法还包括S112，下面对该步骤进行说明。
S112、将共情回复信息发送至客户端设备，以使客户端设备在对话窗口中显示共情回复信息，实现共情对话。
需要说明的是，信息生成设备获得了共情回复信息之后，即获得了对话过程中用于回复对话历史的回复信息；因此，将该共情回复信息发送至客户端设备，以使客户端设备在对话窗口中显示共情回复信息，或者以使客户端设备播放该共情回复信息，实现共情对话。
比如，医疗系统中根据与患者有关的对话历史，得到共情回复信息，进而根据共情回复信息辅助医生确定患者的健康状况，进而更好地救助患者；又比如，智能聊天系统中根据用户的对话历史，得到共情回复信息，进而利用共情回复信息与用户进行共情智能聊天；再比如，在智能客服系统中，根据客户咨询信息对应的对话历史，得到共情回复信息，用该共情回复信息对客户进行回复，提供智能客服系统的智能性和准确性。
可以理解的是，通过本发明实施例获得的共情回复信息，在内容和情绪方面都有显著提升，在表达合适情绪的同时，能生成有意义的回复。显著改善了生成对话中情绪的合理表达，提高了回复的多样性，减少通用回复，提升了用户体验。
当利用评价指数(BLEU、Distinct-1和Distinct-2)对本发明实施例提供的信息生成方法和现有信息生成方法进行评估时，得到如表1所示的结果；易知，本发明实施例提供的信息生成方法优于现有信息生成方法。
表1
下面，将说明本发明实施例在一个实际的应用场景中的示例性应用。
示例性地，参见图11，图11是本发明实施例提供的一个示例性的应用示意图；如图11所示，在智能聊天系统中，存在对话历史“A：昨天罗丝跟你说什么了？B：他说他正在为你准备一个生日派对。”，在利用本发明实施例提供的信息生成方法时，首先，利用知识库ConceptNet(外部知识信息)对对话历史的每个对话语句中的每个非停用词进行扩展(扩展过程依赖式(4)进行降噪处理)，得到两个语句图(至少一个对话语句扩展信息)；并利用图注意力网络对每个语句图进行特征构造(即对每个非停用词采用式(5)-(7)进行连续向量化表示的处理)，得到两个对话语句扩展特征。
其次，通过将两个对话语句扩展特征融合为一个对话图，并将对话图中节点的向量序列依次经过原始变换器的多头注意力层、归一化层、前馈层和另一个归一化层进行优化(即式(1)和式(2))；此时，也就完成了对两个对话语句扩展特征的语义信息的获取，得到了对话历史语义信息。同时，通过两个对话语句扩展特征获取两个对话语句对应的两个情绪向量(至少一个对话语句情绪特征)，再初始化一个零向量(初始待表达情绪特征)，将两个对话语句对应的两个情绪向量与初始化的一个零向量拼接(式(8))，再将拼接结果输入至一个变换器架构的情绪预测器进行处理(式(9))，也就得到了情绪交互特征，接着对情绪交互特征进行优化(式(10))；此时，也就完成了对两个对话语义扩展特征的情绪预测，也就得到了预测的情绪信息(待表达情绪信息)。
然后，将对话历史语义信息和预测的情绪信息作为解码器的输入进行逐步解码(组合解码)；解码过程中，通过利用情绪增强的多头注意力技术，以获取对话历史中情绪丰富的信息(式(11)-(20))；解码结束，也就获得了解码分布信息，进而根据解码分布信息获得共情回复信息“哈，天呢，太爱他了，太惊喜了！”。
最后，将共情回复信息发送至终端(客户端设备)，并在智能聊天系统的对话窗口中显示该共情回复信息。
下面继续说明本发明实施例提供的信息生成装置455的实施为软件模块的示例性结构，在一些实施例中，如图4所示，存储在存储器450的信息生成装置455中的软件模块可以包括：
信息扩展模块4551，用于获取对话过程中的语句，得到对话历史；并利用外部知识信息，对所述对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；所述外部知识信息为预设的由词关联信息构成的知识库；
特征表示模块4552，用于对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与所述对话历史对应的至少一个对话语句扩展特征；
语义编码模块4553，用于对所述至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；
情绪预测模块4554，用于对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；
解码模块4555，用于利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息；所述共情回复信息为对话过程中所述对话历史的回复信息。
进一步地，所述信息扩展模块4551，还用于获取所述对话历史中所述每个对话语句的每个非停用词；从所述外部知识信息中，确定与所述每个非停用词匹配的信息，得到目标外部知识信息；计算所述目标外部知识信息的每个子目标外部知识信息与所述每个非停用词的关联得分，得到子目标关联得分，从而得到与所述目标外部知识信息对应的目标关联得分；所述目标关联得分包括至少一个子目标关联得分；基于所述目标关联得分，从所述目标外部知识信息中，筛选指定数量的子目标外部知识信息，得到外部知识节点；利用所述外部知识节点对所述每个非停用词进行信息扩展，得到词扩展信息，从而得到与所述每个对话语句对应的所述对话语句扩展信息；所述对话语句扩展信息包括至少一个词扩展信息；
相应地，所述特征表示模块4552，还用于对所述对话语句扩展信息的每个词扩展信息进行特征构造，得到词扩展特征，从而得到包括至少一个词扩展特征的所述对话语句扩展特征。
进一步地，所述信息扩展模块4551，还用于获取所述目标外部知识信息的所述每个子目标外部知识信息的情感强度，得到目标情感强度信息；获取所述每个子目标外部知识信息与所述每个非停用词的相关程度，得到目标相关程度信息；获取所述每个子目标外部知识信息的关系置信度，得到目标关系置信度信息；利用所述目标情感强度信息、所述目标相关程度信息和所述目标关系置信度信息，计算所述每个子目标外部知识信息与所述每个非停用词的关联得分，得到所述子目标关联得分。
进一步地，所述特征表示模块4552，还用于对所述对话语句扩展信息中所述每个词扩展信息的所述每个非停用词进行向量表示，得到非停用词向量特征；对所述每个词扩展信息的所述外部知识节点进行向量表示，得到外部知识节点向量特征；利用所述非停用词向量特征和所述外部知识节点向量特征，计算所述外部知识节点的权重信息，得到外部知识权重信息；利用所述外部知识权重信息，将所述非停用词向量特征和所述外部知识节点向量特征进行组合，得到所述词扩展特征，完成对所述每个词扩展信息的特征构造。
进一步地，所述情绪预测模块4554，还用于获取所述至少一个对话语句扩展特征的情绪特征，得到至少一个对话语句情绪特征；拼接所述至少一个对话语句情绪特征和初始待表达情绪特征，得到初始情绪交互特征；所述初始待表达情绪特征为待预测的待表达情绪对应的初始特征；对所述初始情绪交互特征进行迭代处理，得到情绪交互特征；依据所述情绪交互特征，预测待表达的情绪，得到所述待表达情绪信息。
进一步地，所述解码模块4555，还用于利用所述至少一个对话语句扩展特征对应的情绪特征，更新所述待表达情绪信息，得到目标情绪信息；对所述对话历史语义信息和所述待表达情绪信息进行当前时刻的组合解码，得到初始当前解码词信息，利用所述对话历史语义信息对所述初始当前解码词信息进行情绪增强更新，得到当前解码词信息；将所述目标情绪信息和所述当前解码词信息进行组合处理，得到当前共情回复词；持续进行下一时刻的组合解码，直到完成对所述对话历史语义信息和所述待表达情绪信息的组合解码时，得到包括至少一个当前共情回复词的所述共情回复信息。
进一步地，所述解码模块4555，还用于从所述至少一个对话语句扩展特征中，获取与每个非停用词对应的情绪特征，得到词节点情绪信息；获取所述词节点情绪信息对所述待表达情绪信息的贡献信息，得到词情绪贡献信息，从而得到包括至少一个词情绪贡献信息的历史情绪贡献信息；利用所述历史情绪贡献信息更新所述待表达情绪信息，得到所述当前情绪信息。
进一步地，所述解码模块4555，还用于从所述对话历史语义信息中，获取与每个非停用词对应的语义信息，得到词节点语义信息；获取所述词节点语义信息的情绪信息，得到情绪增强信息；结合所述情绪增强信息，获取所述词节点语义信息对所述初始当前解码词信息的贡献信息，得到词语义贡献信息，从而得到包括至少一个词语义贡献信息的历史语义贡献信息；利用所述历史语义贡献信息对所述初始当前解码词信息进行情绪增强更新，得到所述当前解码词信息。
进一步地，所述特征表示模块4552、所述语义编码模块4553、所述情绪预测模块4554和所述解码模块4555，还用于利用共情对话生成模型，对所述对话语句扩展信息进行特征构造，得到所述对话语句扩展特征，从而得到与所述对话历史对应的所述至少一个对话语句扩展特征；并对所述至少一个对话语句扩展特征进行语义编码，得到所述对话历史语义信息；以及对所述至少一个对话语句扩展特征进行情绪预测，得到所述待表达情绪信息；以及利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，得到所述共情回复信息。
进一步地，所述信息生成装置455还包括模型训练模块4556，用于获取训练样本，所述训练样本包括历史对话样本、待表达情绪标注信息和共情回复标注信息；利用所述外部知识信息，对对话历史样本的每个对话语句样本进行信息扩展，得到对话语句样本扩展信息；利用原始共情对话生成模型，对所述对话语句样本扩展信息进行特征构造，得到对话语句样本扩展特征，从而得到与所述对话历史样本对应的至少一个对话语句样本扩展特征；并对所述至少一个对话语句样本扩展特征进行语义编码，得到对话历史样本语义信息；以及对所述至少一个对话语句样本扩展特征进行情绪预测，得到待表达情绪样本信息；以及利用所述至少一个对话语句样本扩展特征，对所述对话历史样本语义信息和所述待表达情绪样本信息进行组合解码，得到共情回复预测信息；所述原始共情对话生成模型为待训练的模型；获取所述待表达情绪样本信息和所述待表达情绪标注信息，以及所述共情回复预测信息和所述共情回复标注信息之间的差异，得到损失函数值；利用所述损失函数值，持续对所述原始共情对话生成模型进行迭代训练，直到满足预设训练截止条件时，停止训练，得到所述共情对话生成模型。
进一步地，所述信息生成装置455还包括模型优化模块4557，用于当获取到新的训练样本时，利用所述新的训练样本对所述预设原始共情对话生成模型进行优化；
相应地，所述特征表示模块4552，还用于利用优化后的共情对话生成模型，对所述对话语句扩展信息进行特征构造，得到所述对话语句扩展特征。
进一步地，所述信息生成装置455还包括应用模块4558，用于将所述共情回复信息发送至客户端设备，以使客户端设备在对话窗口中显示所述共情回复信息，实现共情对话。
本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的信息生成方法，例如，如图5示出的信息生成方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本发明实施例，由于在利用对话历史生成共情回复信息之前，利用外部知识信息对对话历史进行了扩展，从而，挖掘出了对话历史所表达的隐示情绪，使得扩展后的历史对话能够完全表达对应的情绪；因此，在利用扩展后的历史对话进行共情对话生成时，所生成的共情回复信息对应的情绪的准确度高，提升了共情对话生成效果。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。
Claims (15)
1.一种信息生成方法，其特征在于，包括：
获取对话过程中的语句，得到对话历史；并利用外部知识信息，对所述对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；所述外部知识信息为预设的由词关联信息构成的知识库；
对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与所述对话历史对应的至少一个对话语句扩展特征；
对所述至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；
对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；
利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息；所述共情回复信息为对话过程中所述对话历史的回复信息。
2.根据权利要求1所述的方法，其特征在于，所述利用外部知识信息，对所述对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息，包括：
获取所述对话历史中所述每个对话语句的每个非停用词；
从所述外部知识信息中，确定与所述每个非停用词匹配的信息，得到目标外部知识信息；
计算所述目标外部知识信息的每个子目标外部知识信息与所述每个非停用词的关联得分，得到子目标关联得分，从而得到与所述目标外部知识信息对应的目标关联得分；所述目标关联得分包括至少一个子目标关联得分；
基于所述目标关联得分，从所述目标外部知识信息中，筛选指定数量的子目标外部知识信息，得到外部知识节点；
利用所述外部知识节点对所述每个非停用词进行信息扩展，得到词扩展信息，从而得到与所述每个对话语句对应的所述对话语句扩展信息；所述对话语句扩展信息包括至少一个词扩展信息；
相应地，所述对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，包括：
对所述对话语句扩展信息的每个词扩展信息进行特征构造，得到词扩展特征，从而得到包括至少一个词扩展特征的所述对话语句扩展特征。
3.根据权利要求2所述的方法，其特征在于，所述计算所述目标外部知识信息的每个子目标外部知识信息与所述每个非停用词的关联得分，得到子目标关联得分，包括：
获取所述目标外部知识信息的所述每个子目标外部知识信息的情感强度，得到目标情感强度信息；
获取所述每个子目标外部知识信息与所述每个非停用词的相关程度，得到目标相关程度信息；
获取所述每个子目标外部知识信息的关系置信度，得到目标关系置信度信息；
利用所述目标情感强度信息、所述目标相关程度信息和所述目标关系置信度信息，计算所述每个子目标外部知识信息与所述每个非停用词的关联得分，得到所述子目标关联得分。
4.根据权利要求2或3所述的方法，其特征在于，所述对所述对话语句扩展信息的每个词扩展信息进行特征构造，得到词扩展特征，包括：
对所述对话语句扩展信息中所述每个词扩展信息的所述每个非停用词进行向量表示，得到非停用词向量特征；
对所述每个词扩展信息的所述外部知识节点进行向量表示，得到外部知识节点向量特征；
利用所述非停用词向量特征和所述外部知识节点向量特征，计算所述外部知识节点的权重信息，得到外部知识权重信息；
利用所述外部知识权重信息，将所述非停用词向量特征和所述外部知识节点向量特征进行组合，得到所述词扩展特征，完成对所述每个词扩展信息的特征构造。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息，包括：
获取所述至少一个对话语句扩展特征的情绪特征，得到至少一个对话语句情绪特征；
拼接所述至少一个对话语句情绪特征和初始待表达情绪特征，得到初始情绪交互特征；所述初始待表达情绪特征为待预测的待表达情绪对应的初始特征；
对所述初始情绪交互特征进行迭代处理，得到情绪交互特征；
依据所述情绪交互特征，预测待表达的情绪，得到所述待表达情绪信息。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息，包括：
利用所述至少一个对话语句扩展特征对应的情绪特征，更新所述待表达情绪信息，得到目标情绪信息；
对所述对话历史语义信息和所述待表达情绪信息进行当前时刻的组合解码，得到初始当前解码词信息，利用所述对话历史语义信息对所述初始当前解码词信息进行情绪增强更新，得到当前解码词信息；
将所述目标情绪信息和所述当前解码词信息进行组合处理，得到当前共情回复词；
持续进行下一时刻的组合解码，直到完成对所述对话历史语义信息和所述待表达情绪信息的组合解码时，得到包括至少一个当前共情回复词的所述共情回复信息。
7.根据权利要求6所述的方法，其特征在于，所述利用所述至少一个对话语句扩展特征对应的情绪特征，更新所述待表达情绪信息，得到目标情绪信息，包括：
从所述至少一个对话语句扩展特征中，获取与每个非停用词对应的情绪特征，得到词节点情绪信息；
获取所述词节点情绪信息对所述待表达情绪信息的贡献信息，得到词情绪贡献信息，从而得到包括至少一个词情绪贡献信息的历史情绪贡献信息；
利用所述历史情绪贡献信息更新所述待表达情绪信息，得到所述目标情绪信息。
8.根据权利要求6所述的方法，其特征在于，所述利用所述对话历史语义信息对所述初始当前解码词信息进行情绪增强更新，得到当前解码词信息，包括：
从所述对话历史语义信息中，获取与每个非停用词对应的语义信息，得到词节点语义信息；
获取所述词节点语义信息的情绪信息，得到情绪增强信息；
结合所述情绪增强信息，获取所述词节点语义信息对所述初始当前解码词信息的贡献信息，得到词语义贡献信息，从而得到包括至少一个词语义贡献信息的历史语义贡献信息；
利用所述历史语义贡献信息对所述初始当前解码词信息进行情绪增强更新，得到所述当前解码词信息。
9.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与所述对话历史对应的至少一个对话语句扩展特征；对所述至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息，包括：
利用共情对话生成模型，对所述对话语句扩展信息进行特征构造，得到所述对话语句扩展特征，从而得到与所述对话历史对应的所述至少一个对话语句扩展特征；并
对所述至少一个对话语句扩展特征进行语义编码，得到所述对话历史语义信息；以及
对所述至少一个对话语句扩展特征进行情绪预测，得到所述待表达情绪信息；以及
利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，得到所述共情回复信息。
10.根据权利要求9所述的方法，其特征在于，所述利用共情对话生成模型，对所述对话语句扩展信息进行特征构造，得到所述对话语句扩展特征之前，所述方法还包括：
获取训练样本，所述训练样本包括历史对话样本、待表达情绪标注信息和共情回复标注信息；
利用所述外部知识信息，对对话历史样本的每个对话语句样本进行信息扩展，得到对话语句样本扩展信息；
利用原始共情对话生成模型，对所述对话语句样本扩展信息进行特征构造，得到对话语句样本扩展特征，从而得到与所述对话历史样本对应的至少一个对话语句样本扩展特征；并
对所述至少一个对话语句样本扩展特征进行语义编码，得到对话历史样本语义信息；以及对所述至少一个对话语句样本扩展特征进行情绪预测，得到待表达情绪样本信息；以及利用所述至少一个对话语句样本扩展特征，对所述对话历史样本语义信息和所述待表达情绪样本信息进行组合解码，得到共情回复预测信息；所述原始共情对话生成模型为待训练的模型；
获取所述待表达情绪样本信息和所述待表达情绪标注信息，以及所述共情回复预测信息和所述共情回复标注信息之间的差异，得到损失函数值；
利用所述损失函数值，持续对所述原始共情对话生成模型进行迭代训练，直到满足预设训练截止条件时，停止训练，得到所述共情对话生成模型。
11.根据权利要求10所述的方法，其特征在于，所述利用所述损失函数值，持续对所述原始共情对话生成模型进行迭代训练，直到满足预设训练截止条件时，停止训练，得到所述共情对话生成模型之后，所述方法还包括：
当获取到新的训练样本时，利用所述新的训练样本对所述共情对话生成模型进行优化；
相应地，所述利用共情对话生成模型，对所述对话语句扩展信息进行特征构造，得到所述对话语句扩展特征，包括：
利用优化后的共情对话生成模型，对所述对话语句扩展信息进行特征构造，得到所述对话语句扩展特征。
12.根据权利要求1至3任一项所述的方法，其特征在于，所述利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息之后，所述方法还包括：
将所述共情回复信息发送至客户端设备，以使客户端设备在对话窗口中显示所述共情回复信息，实现共情对话。
13.一种信息生成装置，其特征在于，包括：
信息扩展模块，用于获取对话过程中的语句，得到对话历史；并利用外部知识信息，对所述对话历史的每个对话语句进行信息扩展，得到对话语句扩展信息；所述外部知识信息为预设的由词关联信息构成的知识库；
特征表示模块，用于对所述对话语句扩展信息进行特征构造，得到对话语句扩展特征，从而得到与所述对话历史对应的至少一个对话语句扩展特征；
语义编码模块，用于对所述至少一个对话语句扩展特征进行语义编码，得到对话历史语义信息；
情绪预测模块，用于对所述至少一个对话语句扩展特征进行情绪预测，得到待表达情绪信息；
解码模块，用于利用所述至少一个对话语句扩展特征，对所述对话历史语义信息和所述待表达情绪信息进行组合解码，生成共情回复信息；所述共情回复信息为对话过程中所述对话历史的回复信息。
14.一种信息生成设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行指令，用于引起处理器执行时，实现权利要求1至12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203667.7A CN111428015B (zh) | 2020-03-20 | 2020-03-20 | 一种信息生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010203667.7A CN111428015B (zh) | 2020-03-20 | 2020-03-20 | 一种信息生成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428015A CN111428015A (zh) | 2020-07-17 |
| CN111428015B true CN111428015B (zh) | 2023-03-14 |
Family
ID=71548443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010203667.7A Active CN111428015B (zh) | 2020-03-20 | 2020-03-20 | 一种信息生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428015B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111897933B (zh) * | 2020-07-27 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN111966800B (zh) * | 2020-07-27 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN112040075A (zh) * | 2020-08-28 | 2020-12-04 | 厦门羽星科技股份有限公司 | 基于语音识别的坐席语音辅助系统 |
| CN114238589B (zh) * | 2020-09-09 | 2023-11-21 | 中移智行网络科技有限公司 | 人机对话控制方法及装置、终端 |
| CN112102116B (zh) * | 2020-09-18 | 2024-05-24 | 携程计算机技术（上海）有限公司 | 基于旅游会话的输入预测方法、系统、设备及存储介质 |
| CN112216151B (zh) * | 2020-10-15 | 2021-12-28 | 北京航空航天大学 | 空中交通四维航迹调控决策方法 |
| CN112818098B (zh) * | 2021-01-29 | 2023-11-24 | 深圳平安智慧医健科技有限公司 | 基于知识库的对话生成方法、装置、终端及存储介质 |
| CN115481221B (zh) * | 2021-05-31 | 2024-06-07 | 腾讯科技（深圳）有限公司 | 对话数据的增强方法、装置、设备、计算机存储介质 |
| CN113742463B (zh) * | 2021-07-27 | 2023-11-21 | 上海携旅信息技术有限公司 | 旅游场景下的对话预测方法、装置、电子设备、存储介质 |
| CN114239547A (zh) * | 2021-12-15 | 2022-03-25 | 平安科技（深圳）有限公司 | 一种语句生成方法及电子设备、存储介质 |
| CN114357969A (zh) * | 2021-12-21 | 2022-04-15 | 有米科技股份有限公司 | 一种基于图注意网络的数据处理方法及装置 |
| CN114358004A (zh) * | 2021-12-27 | 2022-04-15 | 有米科技股份有限公司 | 一种营销文本生成方法及装置 |
| CN115730070B (zh) * | 2022-11-25 | 2023-08-08 | 重庆邮电大学 | 一种人机共情对话方法、系统、电子设备和介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107885756B (zh) * | 2016-09-30 | 2020-05-08 | 华为技术有限公司 | 基于深度学习的对话方法、装置及设备 |
| CN109065035A (zh) * | 2018-09-06 | 2018-12-21 | 珠海格力电器股份有限公司 | 信息交互方法及装置 |
| US10861456B2 (en) * | 2018-09-17 | 2020-12-08 | Adobe Inc. | Generating dialogue responses in end-to-end dialogue systems utilizing a context-dependent additive recurrent neural network |
| CN109693244B (zh) * | 2018-12-24 | 2020-06-12 | 零犀(北京)科技有限公司 | 优化对话机器人的方法及装置 |
| CN110147435B (zh) * | 2019-01-24 | 2023-08-22 | 腾讯科技（深圳）有限公司 | 对话生成方法、装置、设备及存储介质 |
| CN110188182B (zh) * | 2019-05-31 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 模型训练方法、对话生成方法、装置、设备及介质 |
| CN110427490B (zh) * | 2019-07-03 | 2021-11-09 | 华中科技大学 | 一种基于自注意力机制的情感对话生成方法与装置 |
-
2020
- 2020-03-20 CN CN202010203667.7A patent/CN111428015B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428015A (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428015B (zh) | 一种信息生成方法、装置、设备及存储介质 | |
| US20210295858A1 (en) | Synthesizing speech from text using neural networks | |
| AU2017324937B2 (en) | Generating audio using neural networks | |
| CN110490213B (zh) | 图像识别方法、装置及存储介质 | |
| WO2022095682A1 (zh) | 文本分类模型的训练方法、文本分类方法、装置、设备、存储介质及计算机程序产品 | |
| Vashisht et al. | Speech recognition using machine learning | |
| CN112214591B (zh) | 一种对话预测的方法及装置 | |
| CN112101045B (zh) | 一种多模态语义完整性识别方法、装置及电子设备 | |
| CN113127624B (zh) | 问答模型的训练方法及装置 | |
| CN112541060B (zh) | 一种基于对抗训练的端到端任务型对话学习框架和方法 | |
| EP4109324A2 (en) | Method and apparatus for identifying noise samples, electronic device, and storage medium | |
| KR102315830B1 (ko) | 반지도 학습 기반 단어 단위 감정 임베딩과 lstm 모델을 이용한 대화 내에서 발화의 감정 분류 방법 | |
| CN113421547B (zh) | 一种语音处理方法及相关设备 | |
| CN111625634A (zh) | 词槽识别方法及装置、计算机可读存储介质、电子设备 | |
| CN111368545A (zh) | 一种基于多任务学习的命名实体识别方法和装置 | |
| CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
| CN115019237A (zh) | 多模态情感分析方法、装置、电子设备及存储介质 | |
| CN112668347B (zh) | 文本翻译方法、装置、设备及计算机可读存储介质 | |
| CN111090740A (zh) | 一种用于对话系统的知识图谱生成方法 | |
| CN115795010A (zh) | 一种外部知识辅助的多因素层次建模共情对话生成方法 | |
| CN115101075A (zh) | 一种语音识别的方法以及相关装置 | |
| CN116150324A (zh) | 对话模型的训练方法、装置、设备及介质 | |
| CN115116443A (zh) | 语音识别模型的训练方法、装置、电子设备及存储介质 | |
| CN115146645A (zh) | 一种语义解析方法以及相关设备 | |
| CN116894431B (zh) | 文本处理模型训练方法、文本改写方法及装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |