CN112926329B - 文本生成方法、装置、设备及计算机可读存储介质 - Google Patents
文本生成方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112926329B CN112926329B CN202110263667.0A CN202110263667A CN112926329B CN 112926329 B CN112926329 B CN 112926329B CN 202110263667 A CN202110263667 A CN 202110263667A CN 112926329 B CN112926329 B CN 112926329B
- Authority
- CN
- China
- Prior art keywords
- text
- vector
- clause
- hidden
- generation plan
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000013598 vector Substances 0.000 claims abstract description 310
- 238000013528 artificial neural network Methods 0.000 claims description 58
- 125000004122 cyclic group Chemical group 0.000 claims description 41
- 238000012549 training Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 53
- 230000000306 recurrent effect Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 239000012634 fragment Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种文本生成方法，所述文本生成方法包括：获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量；基于所述第一隐向量及所述上下文向量确定文本生成计划；获取所述文本生成计划对应的潜变量，并基于所述潜变量及所述文本生成计划生成所述待生成文本。本发明还公开了一种文本生成装置、一种文本生成设备及一种计算机可读存储介质。本发明提高了文本生成的多样性、准确性及适用性。
Description
技术领域
本发明涉及文本处理技术领域，尤其涉及一种文本生成方法、装置、设备及计算机可读存储介质。
背景技术
随着科技的迅速发展，越来越多的技术应用在文本处理领域。尤其对于文案的文本生成方法在各个领域具有广泛的应用。例如，营销文案、广告文案、邮件文案、回复文案等。目前，虽然有许多先进语言模型应用于NLG(Neuro-Linguistic Programming，神经语言程序学)领域，但是NLG领域还处于弱人工智能阶段，没有一个通用模型可以满足所有的应用场景。例如，对于风控至上的银行业，对算法效果的要求尤为严苛，而当前多数文本生成技术大多只应用于互联网电商或资讯等场景，并无法适配于银行营销场景。因此，需要提高文本生成方法的适配性，以满足银行营销等各种场景。
首先，参阅申请号为CN201910499958.2的技术方案，其获取待生成的目标文案的关键词和业务属性；从预先确定的文案片段库中搜索与所述关键词和业务属性对应的多个目标片段；对所述多个目标片段进行组合，得到多个上下句对；基于预先训练得到的上下句搭配度模型，确定所述多个上下句对中的候选句对，所述候选句对用于生成所述目标文案。由此可知，根据对目标片段进行组合得到多个上下句对的生成方法，对文本的采样方式较为单一，生成的文案表达丰富性不够，如果是历史上未曾出现过上下片段表达的候选句对，也可能无法生成目标文案。
其次，参阅申请号为CN202010038172.3的技术方案，其获取初始文本数据；根据预置BERT语言模型，计算所述初始文本数据的变分自编码器的隐藏空间参数；以所述初始文本数据、所述隐藏空间参数和初始控制条件为输入数据，以在所述初始控制条件下与所述初始文本数据相对应的控制语句为输出数据，采用时序性倒传递算法，修正训练长短期记忆网络LSTM解码器的权重，以训练所述LSTM解码器；以待测语句和目标控制条件为所述LSTM解码器的输入数据，生成所述待测语句的目标语句。由此可知，利用预置BERT语音模型抓取初始文本数据中的句子的语法特征和语义特征，并通过控制条件的方式生成待测语句的目标语句，这种方法首先需要有待测语句，但在某些应用场景中，例如，银行的营销活动文案中不具有这种待测语句和目标控制条件，因为并无法提高文本生成方法的适配性。
最后，参阅申请号为CN201710846808.5的技术方案，其获取待生成的文案的配置信息；将配置信息导入深度文案生成模型中，其中，深度文案生成模型利用在线样本文案训练得到；获取深度文案生成模型所输出的与目标文案对应的目标词序列，其中，目标文案的点击率大于等于第一预定阈值；根据目标词序列生成目标文案。由此可知，通过对不同的信息类别导入到不同的子神经网络模型中，以实现针对不同信息类别分别提取不同的文案特征，但未考虑增加训练数据采样的丰富度问题，表达的多样性极度依赖于提取不同的信息类别。其次获取与在线样本文案匹配的点击率大于预定阈值的标签文案的标签词序列方法，阈值的定义存在随机性，生成文案的质量难以保证。
综上所述，如何提高文本生成的适用性、如何提高文本生成的多样性以及如何提高文本生成的准确性，是目前亟需解决的问题。
发明内容
本发明的主要目的在于提供一种文本生成方法、装置、设备及计算机可读存储介质，旨在提高文本生成的多样性、准确性及适用性。
为实现上述目的，本发明提供一种文本生成方法，所述文本生成方法包括以下步骤：
获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量；
基于所述第一隐向量及所述上下文向量确定文本生成计划；
获取所述文本生成计划对应的潜变量，并基于所述潜变量及所述文本生成计划生成所述待生成文本。
可选地，所述对所述属性值进行表征得到第一隐向量和上下文向量的步骤包括：
通过输入编码器对所述属性值进行表征，得到所述属性值的第一隐向量，其中，所述输入编码器由第一循环神经网络组成，后面得到的所述第一隐向量包含前面各个属性值的信息；
对多个所述第一隐向量对应的隐向量序列进行处理生成上下文向量；或，
基于多个所述第一隐向量中的最后一个隐向量进行变换得到上下文向量。
可选地，所述基于所述第一隐向量及所述上下文向量确定文本生成计划的步骤包括：
通过训练后的基于变分自编码器的深度学习网络模型，对所述第一隐向量进行采样，确定所述待生成文本中各个子句的输入隐向量；
基于所述输入隐向量及所述上下文向量，生成子句生成计划，其中，所述子句生成计划包括所述输入隐向量对应的属性值信息；
基于所述子句生成计划，确定所述待生成文本的文本生成计划。
可选地，所述基于所述输入隐向量及所述上下文向量，生成子句生成计划的步骤包括：
将所述输入隐向量输入第二循环神经网络，获取第二隐向量；
基于所述第二隐向量及所述输入隐向量，通过构建的二分类预测模型生成预测结果；
基于所述预测结果，生成子句生成计划。
可选地，所述获取所述文本生成计划对应的潜变量的步骤包括：
将所述文本生成计划、所述第一隐向量、所述上下文向量进行融合，得到全局向量；
将所述全局向量作为第三循环神经网络的初始隐向量，并将所述文本生成计划中的各个子句生成计划输入所述第三循环神经网络；
将所述第三循环神经网络中的隐向量作为所述文本生成计划中子句生成计划对应的潜变量。
可选地，所述基于所述潜变量及所述文本生成计划生成所述待生成文本的步骤包括：
基于所述潜变量及所述文本生成计划，生成子句向量；
采用第四循环神经网络，对所述子句向量进行处理，生成所述子句向量对应的子句文本；
对所述子句文本进行拼接，得到所述待生成文本。
可选地，所述获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量的步骤之前，还包括：
提取初始文本的关键词及短语词组，并对所述初始文本进行命名实体识别得到命名实体；
将所述关键词、所述短语词组、所述命名实体作为文本属性值；
对所述文本属性值进行聚类，得到文本属性类别；
将所述文本属性类别和所述文本属性值作为训练语料对，对构建的文本生成模型进行训练，以供基于所述文本生成模型，输入待生成文本的属性值后生成所述待生成文本。
此外，为实现上述目的，本发明还提供一种文本生成装置，所述文本生成装置包括：
获取模块，用于获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量；
确定模块，用于基于所述第一隐向量及所述上下文向量确定文本生成计划；
生成模块，用于获取所述文本生成计划对应的潜变量，并基于所述潜变量及所述文本生成计划生成所述待生成文本。
此外，为实现上述目的，本发明还提供一种文本生成设备，所述文本生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本生成程序，所述文本生成程序被所述处理器执行时实现如上所述的文本生成方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有文本生成程序，所述文本生成程序被处理器执行时实现如上所述的文本生成方法的步骤。
本发明提供一种文本生成方法、装置、设备及计算机可读存储介质，获取待生成文本的属性值，并对属性值进行表征得到第一隐向量和上下文向量；基于第一隐向量及上下文向量确定文本生成计划；获取文本生成计划对应的潜变量，并基于潜变量及文本生成计划生成待生成文本。通过上述方式，由于一个潜变量对应文本生成计划中一个子句生成计划，待生成文本是逐句生成的，所以逐句生成后的各个子句可随机进行组合，从而提高了待生成文本的多样性，因此，本发明实施例对于相同的输入数据，可以生成多样化的待生成文本，以供用户进行选择。其中，待生成文本是逐句生成的，相比直接生成长文本，本发明实施例可提高文本生成的准确性。此外，本发明实施例对应用场景并没有局限，可满足各种应用场景。综上所述，本发明实施例提高了文本生成的多样性、准确性及适用性。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本发明文本生成方法第一实施例的流程示意图；
图3为本实施例涉及的应用场景示意图；
图4为本发明文本生成方法第三实施例的流程示意图；
图5为本发明文本生成装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端为文本生成设备，该文本生成设备可以为PC(personalcomputer，个人计算机)、微型计算机、笔记本电脑、服务器等具有处理功能的终端设备。
如图1所示，该终端可以包括：处理器1001，例如CPU(Central Processing Unit，中央处理器)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及文本生成程序。
在图1所示的终端中，处理器1001可以用于调用存储器1005中存储的文本生成程序，并执行以下操作：
获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量；
基于所述第一隐向量及所述上下文向量确定文本生成计划；
获取所述文本生成计划对应的潜变量，并基于所述潜变量及所述文本生成计划生成所述待生成文本。
进一步地，处理器1001可以用于调用存储器1005中存储的文本生成程序，还执行以下操作：
通过输入编码器对所述属性值进行表征，得到所述属性值的第一隐向量，其中，所述输入编码器由第一循环神经网络组成，后面得到的所述第一隐向量包含前面各个属性值的信息；
对多个所述第一隐向量对应的隐向量序列进行处理生成上下文向量；或，
基于多个所述第一隐向量中的最后一个隐向量进行变换得到上下文向量。
进一步地，处理器1001可以用于调用存储器1005中存储的文本生成程序，还执行以下操作：
通过训练后的基于变分自编码器的深度学习网络模型，对所述第一隐向量进行采样，确定所述待生成文本中各个子句的输入隐向量；
基于所述输入隐向量及所述上下文向量，生成子句生成计划，其中，所述子句生成计划包括所述输入隐向量对应的属性值信息；
基于所述子句生成计划，确定所述待生成文本的文本生成计划。
进一步地，处理器1001可以用于调用存储器1005中存储的文本生成程序，还执行以下操作：
将所述输入隐向量输入第二循环神经网络，获取第二隐向量；
基于所述第二隐向量及所述输入隐向量，通过构建的二分类预测模型生成预测结果；
基于所述预测结果，生成子句生成计划。
进一步地，处理器1001可以用于调用存储器1005中存储的文本生成程序，还执行以下操作：
将所述文本生成计划、所述第一隐向量、所述上下文向量进行融合，得到全局向量；
将所述全局向量作为第三循环神经网络的初始隐向量，并将所述文本生成计划中的各个子句生成计划输入所述第三循环神经网络；
将所述第三循环神经网络中的隐向量作为所述文本生成计划中子句生成计划对应的潜变量。
进一步地，处理器1001可以用于调用存储器1005中存储的文本生成程序，还执行以下操作：
基于所述潜变量及所述文本生成计划，生成子句向量；
采用第四循环神经网络，对所述子句向量进行处理，生成所述子句向量对应的子句文本；
对所述子句文本进行拼接，得到所述待生成文本。
进一步地，处理器1001可以用于调用存储器1005中存储的文本生成程序，还执行以下操作：
提取初始文本的关键词及短语词组，并对所述初始文本进行命名实体识别得到命名实体；
将所述关键词、所述短语词组、所述命名实体作为文本属性值；
对所述文本属性值进行聚类，得到文本属性类别；
将所述文本属性类别和所述文本属性值作为训练语料对，对构建的文本生成模型进行训练，以供基于所述文本生成模型，输入待生成文本的属性值后生成所述待生成文本。
基于上述硬件结构，提出本发明文本生成方法的各个实施例。
本发明提供一种文本生成方法。
参照图2，图2为本发明文本生成方法第一实施例的流程示意图。
在本实施例中，该文本生成方法包括：
步骤S10，获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量；
在本实施例中，获取待生成文本的属性值，并对该属性值进行表征得到第一隐向量和上下文向量。其中，待生成文本为最终需要生成的文本，例如，待生成文本为银行营销文案，若该银行营销文案为“幸运贵宾，心礼有你，感恩礼～达标即可抽豪礼，现金红包！”，则此处获取得到的属性值可以为达标、抽取、红包等。具体的，该属性值在获取时，其以属性类别和属性值的映射关系形式存在，例如，(活动任务：达标)、(权益玩法：抽取)、(活动权益：红包)。
需要说明的是，属性值可以由用户在客户端上进行选择。在一实施例中，由用户针对属性类别输入相应的属性值，例如，用户在属性类别为活动任务的一栏中，输入相应的属性值(例如达标、登录等)。在另一实施方式中，客户端上可以针对属性类别预先设置多个属性值，也就是设置一个选择列表，以供用户直接进行选择。
其中，每个属性值均对应一个隐向量，例如，所有属性值形成的序列为x＝{d1，d2，...，dN}，则d1、d2等表示各个属性值，其对应的隐向量序列为h＝{h1，h2，...，hn}。此外，该第一隐向量包括训练参数，以用于对文本生成模型进行训练，从而基于该文本生成模型实施本发明。
此外，还需要说明的是，每一个隐向量不仅包括属性值特征，还包括属性值特征之间的关联关系。此外，对于获取隐向量的方法可以根据实际需要进行设定，此处不作限定。
其中，上下文向量包括所有获取得到的属性值的所有信息，例如，语义信息、属性值之间的关联信息等。在一实施例中，第一隐向量和上下文向量可以通过循环神经网络(RNN)得到，具体的，第一隐向量对应各个时间步长的隐藏层输出，上下文向量可以为各个时间步长的隐藏层输出的汇总，该上下文向量～ZP可以为
～ZP＝g(h1，h2，...，hn)
其中，hn表示各个属性值对应的第一隐向量。当然，上下文向量也可以通过最后一个第一隐向量变换得到。即上下文向量～ZP可以为
～Zp＝hT
其中，hT表示最后一个隐向量。由于使用的编码器为循环神经网络的结构，每一个循环中的信息都会流入到下一个循环中，因此，通过最后一个隐向量得到的上下文向量也包含了所有输入序列(所有属性值)的信息。
在一实施例中，可以通过输入编码器对属性值进行表征得到第一隐向量和上下文向量。其中，输入编码器可以由递归神经网络、循环神经网络、长短时记忆网络(LSTM)等神经网络组成，此处不作限定。
步骤S20，基于所述第一隐向量及所述上下文向量确定文本生成计划；
在本实施例中，基于第一隐向量及上下文向量确定文本生成计划。其中，文本生成计划为向量序列，例如{g1，g2，...，gT}，其中，T为序列总数，即子句生成计划数，gi表示第i个子句生成计划，i大于0且小于等于T。也就是说，通过第一隐向量及上下文向量，可生成一组输出计划(文本生成计划)。
需要说明的是，gi表示第i个句子要表达的属性，它会参与第i个句子的生成，例如，g1表示属性d1<活动任务，达标>会参与到第1句的生成中，而该第1句相应的可以为“达标享好礼！”。可以理解，第1句生成的文案十分丰富，此处举例只是为了便于理解，并不作限定。
此外，还需要说明的是，文本生成计划中的各个子句生成计划包含子句中属性值向量的叠加。也就是说，该子句生成计划可表示子句包含的属性值。
在一实施例中，后续子句的生成可以由循环神经网络实现，首先，将文本生成计划作为循环神经网络的输入，具体的，每个时间步长输入文本生成计划中的一个子句生成计划。具体的，可以对每个属性值做二分类预测，即预先构建二分类预测模型，以判断每个属性值di是否在子句生成计划gt中，从而确保最后生成的待生成文本包括所有的属性值。具体的，如果di在gt的概率大于0.5，那么认为di将会存在于gt，否则反之。特别的，如果对所有的di做计算后，发现概率都小于0.5，那么取概率最大的di放到gt中。
步骤S30，获取所述文本生成计划对应的潜变量，并基于所述潜变量及所述文本生成计划生成所述待生成文本。
在本实施例中，获取文本生成计划对应的潜变量，并基于该潜变量及该文本生成计划生成待生成文本。其中，潜变量为上述得到的各种特征，包括文本生成计划、第一隐向量、上下文向量等，以使生成子句的解码器由上述特征一起参与，从而提高文本生成的准确性。
需要说明的是，一个潜变量对应文本生成计划中一个子句生成计划，也就是说，待生成文本是逐句生成的，从而提高了待生成文本的通顺度，并且逐句生成后的各个子句可随机进行组合，从而提高了待生成文本的多样性。
在一实施例中，本实施例由文本生成模型实现，该文本生成模型通过输入编码器对获取的属性值进行表征得到第一隐向量和上下文向量，然后，通过计划解码器基于第一隐向量及上下文向量指定文本生成计划，即确定哪些属性值生成第t句话，再通过计划编码器将文本生成计划表征，然后交给句子解码器获取文本生成计划对应的潜变量，最后通过词解码器生成句子中的词，即基于潜变量及文本生成计划生成该待生成文本。
为便于理解，参照图3，图3为本实施例涉及的应用场景示意图。例如，在银行营销场景中，通过如图3所示经过训练得到的Data to Text模型组件获取银行营销活动的文案。活动策划人员在策划某个营销活动时，需要得到其对应的活动文案，为此，他可以通过银行营销活动文案生成客户端进行营销活动文案的自动生成。如图3所示，可以在客户端中选择营销活动的活动渠道，活动任务，权益玩法，活动权益等信息。本示例中，该客户端或者与该客户端连接的服务器端设置有图3中的训练完后的Data to Text模型组件，因此，可以利用该Data to Text模型组件生成银行营销活动文案，如图3所示，利用该Data to Text模型组件可以生成多个广告文案：“幸运贵宾，心礼有你，感恩礼～达标即可抽豪礼，现金红包！”、“亲爱的***，还不来看看？资产达标即可抽现金红包！”、“尊贵的***，受邀尊享，体验有好礼。达标即可抽现金红包～”等等。与上述处理过程相似，在本实施例中，可以将得到的营销活动属性词输入至模型中进行处理，生成符合预设语言规则的营销文案。在上述所有步骤之后，营销文案将展示在营销活动策划人员的客户端上，如图3所示，营销活动策划人员可以根据个人的喜好进行文案的选择。
本发明实施例提供一种文本生成方法，获取待生成文本的属性值，并对属性值进行表征得到第一隐向量和上下文向量；基于第一隐向量及上下文向量确定文本生成计划；获取文本生成计划对应的潜变量，并基于潜变量及文本生成计划生成待生成文本。通过上述方式，由于一个潜变量对应文本生成计划中一个子句生成计划，待生成文本是逐句生成的，所以逐句生成后的各个子句可随机进行组合，从而提高了待生成文本的多样性，因此，本发明实施例对于相同的输入数据，可以生成多样化的待生成文本，以供用户进行选择。其中，待生成文本是逐句生成的，相比直接生成长文本，本发明实施例可提高文本生成的准确性。此外，本发明实施例对应用场景并没有局限，可满足各种应用场景。综上所述，本发明实施例提高了文本生成的多样性、准确性及适用性。
进一步地，基于上述第一实施例，提出本发明文本生成方法的第二实施例。
在本实施例中，上述步骤S10中，对所述属性值进行表征得到第一隐向量和上下文向量，包括：
步骤a11，通过输入编码器对所述属性值进行表征，得到所述属性值的第一隐向量，其中，所述输入编码器由第一循环神经网络组成，后面得到的所述第一隐向量包含前面各个属性值的信息；
在本实施例中，通过输入编码器对该属性值进行表征，得到该属性值的第一隐向量。其中，输入编码器由循环神经网络组成。由于采用循环神经网络的结构，每一个循环中的信息都会流入到下一个循环中，因此，后面得到的第一隐向量包含了前面所有属性值的信息，即后面得到的所述第一隐向量包含前面各个属性值的信息。
在一实施例中，由于获取得到的属性值为文字信息，所以需对属性值进行数值化处理，以得到该属性值对应的词向量，以便后续将该词向量输入循环神经网络。
然后，将该词向量输入该第一循环神经网络，获取该属性值的第一隐向量。其中，第一隐向量是由上一时刻的隐向量ht-1和当前时刻的输入xt(输入的词向量)共同决定，即第一隐向量为ht＝f(ht-1，xt)。即第一隐向量为各个步长中隐藏层的隐向量。
步骤a12，对多个所述第一隐向量对应的隐向量序列进行处理生成上下文向量；
在本实施例中，对多个第一隐向量对应的隐向量序列进行处理生成上下文向量，即对多个属性值对应的属性序列进行处理生成上下文向量。具体的，第一隐向量对应各个时间步长的隐藏层输出，将各个时间步长的隐藏层输出进行汇总得到上下文向量，该上下文向量～ZP可以为
～ZP＝g(h1，h2，...，hn)
其中，hn表示各个属性值对应的第一隐向量，(h1，h2，...，hn)表示隐向量序列。也就是说，将各个所述第一隐向量进行融合处理，得到上下文向量。
步骤a13，基于多个所述第一隐向量中的最后一个隐向量进行变换得到上下文向量。
或者，基于多个第一隐向量中的最后一个隐向量进行变换得到上下文向量，其中，最后一个隐向量包含前面各个属性值的信息。上下文向量～ZP可以为
～Zp＝hT
其中，hT表示最后一个隐向量。
需要说明的是，由于采用循环神经网络的结构，每一个循环中的信息都会流入到下一个循环中，因此，通过最后一个隐向量得到的上下文向量也包含了所有输入序列(所有属性值)的信息。
本实施例中，通过循环神经网络得到的第一隐向量和上下文向量均包括之前的属性值信息，即属性值之间可存在关联关系，从而基于该关联关系，可进一步提高文本生成的准确性。
进一步地，基于上述第一实施例，提出本发明文本生成方法的第三实施例。
参照图4，图4为本发明文本生成方法第三实施例的流程示意图。
在本实施例中，上述步骤S20包括：
步骤S21，通过训练后的基于变分自编码器的深度学习网络模型，对所述第一隐向量进行采样，确定所述待生成文本中各个子句的输入隐向量；
首先，通过训练后的基于变分自编码器的深度学习网络模型，对第一隐向量进行采样，确定待生成文本中各个子句的输入隐向量。其中，采样为随机采样，也就是说，各个子句包含的输入隐向量是随机的，并且每个子句可包含一个或多个输入隐向量，即每个子句中可包含一个或多个属性值。
需要说明的是，基于变分自编码器的深度学习网络模型，其训练过程中，以通过变分自编码器采样得到的属性值作为每句话生成所需的输入数据，即将采样的属性值作为训练数据，将属性值对应的子句特征作为训练标签。
步骤S22，基于所述输入隐向量及所述上下文向量，生成子句生成计划，其中，所述子句生成计划包括所述输入隐向量对应的属性值信息；
然后，基于输入隐向量及上下文向量，生成子句生成计划，其中，该子句生成计划包括输入隐向量对应的属性值信息。其中，每个子句生成计划均包括对应的输入隐向量，该输入隐向量可以为1个或多个，具体的根据上述采样结果进行确定。
需要说明的是，gi为第i个子句生成计划，gi表示第i个句子要表达的属性，它会参与第i个句子的生成，例如，g1表示属性d1<活动任务，达标>会参与到第1句的生成中，而该第1句相应的可以为“达标享好礼！”。
此外，还需要说明的是，该子句生成计划为表征之后的数据，即该子句生成计划为向量，其包括子句中包括的属性值的特征信息，即表示子句中会包含哪些属性值。
具体的，上述步骤S22包括：
步骤a221，将所述输入隐向量输入第二循环神经网络，获取第二隐向量；
在本实施例中，将输入隐向量输入第二循环神经网络，获取第二隐向量。其中，第二隐向量为各个子句生成计划对应的隐向量，即第二循环神经网络中隐藏层的隐向量。该第二隐向量包括训练参数，以用于对文本生成模型进行训练，从而基于该文本生成模型实施本发明。
步骤a222，基于所述第二隐向量及所述输入隐向量，通过构建的二分类预测模型生成预测结果；
在本实施例中，基于第二隐向量及输入隐向量，通过构建的二分类预测模型生成预测结果。具体的，预测结果为，如果第i个属性值di在第t个子句gt的概率大于预设阈值，则认为di存在于gt，否则反之。特别的，如果对所有的di做计算后，发现概率都小于或等于预设阈值，那么取概率最大的di放到gt中。其中，预设阈值可以为0.5。
需要说明的是，di在gt的概率可以通过下述公式计算：
其中，hi为第一隐向量，为第二隐向量，其他的值可以根据实际需要进行设定，以进行高斯分布计算得到概率。
步骤a223，基于所述预测结果，生成子句生成计划。
最后，基于预测结果，生成子句生成计划。具体的，选择di在gt的概率满足要求的属性值，以使对应的子句生成计划包含该属性值。
需要说明的是，通过属性值在子句中的概率判断是否存在该子句中，以进一步提高文本生成的准确性及可用性。
步骤S23，基于所述子句生成计划，确定所述待生成文本的文本生成计划。
在本实施例中，基于子句生成计划，确定待生成文本的文本生成计划。为便于理解，gi表示第i个子句生成计划，i大于0且小于等于T，{g1，g2，...，gT}表示文本生成计划，即所有的子句生成计划形成的序列。
在一实施例中，对子句生成计划随机组合，以生成多样化的文本生成计划，从而进一步提高文本生成的多样性。
本实施例中，通过对第一隐向量进行采样，以使各个子句生成计划包含的属性值是随机的，并且每个子句生成计划可包含一个或多个输入隐向属性值，因此，对于相同的多个第一隐向量，可获取多种子句生成计划，从而进一步提高文本生成的多样性。
进一步地，基于上述第一实施例，提出本发明文本生成方法的第四实施例。
在本实施例中，上述步骤S30中，获取所述文本生成计划对应的潜变量，包括：
步骤a31，将所述文本生成计划、所述第一隐向量、所述上下文向量进行融合，得到全局向量；
步骤a32，将所述全局向量作为第三循环神经网络的初始隐向量，并将所述文本生成计划中的各个子句生成计划输入所述第三循环神经网络；
在本实施例中，将文本生成计划、第一隐向量、上下文向量进行融合，得到全局向量，然后，将全局向量作为第三循环神经网络的初始隐向量，并将文本生成计划中的各个子句生成计划输入第三循环神经网络。
需要说明的是，第一个潜变量由初始隐向量和当前时刻的输入(第一个子句生成计划)共同决定。
步骤a33，将所述第三循环神经网络中的隐向量作为所述文本生成计划中子句生成计划对应的潜变量。
在本实施例中，将第三循环神经网络中的隐向量作为文本生成计划中子句生成计划对应的潜变量。具体的，第三循环神经网络中的各个步长中隐藏层的隐向量作为各个步长的潜变量，以一起参与到具体的子句文本生成当中。
本实施例中，采用循环神经网络获取每个子句生成计划对应的潜变量，以使该潜变量一起参与到子句的生成，从而进一步提高文本生成的准确性。
进一步地，基于上述第一实施例，提出本发明文本生成方法的第五实施例。
在本实施例中，上述步骤S30中，基于所述潜变量及所述文本生成计划生成所述待生成文本，包括：
步骤a34，基于所述潜变量及所述文本生成计划，生成子句向量；
在本实施例中，基于潜变量及文本生成计划，生成子句向量。具体的，将第三循环神经网络的输出作为子句向量。该第三循环神经网络的具体流程可参照上述第四实施例，此处不再一一赘述。
其中，子句向量包括子句的语义信息、子句中各个词的关联信息等。
步骤a35，采用第四循环神经网络，对所述子句向量进行处理，生成所述子句向量对应的子句文本；
在本实施例中，采用第四循环神经网络，对子句向量进行处理，生成子句向量对应的子句文本。具体的，采用第四循环神经网络组成的解码器对子句向量进行解码，以生成子句向量对应的子句文本。
步骤a36，对所述子句文本进行拼接，得到所述待生成文本。
在本实施例中，对所述子句文本进行拼接，得到所述待生成文本。其中，拼接的方式可以为按顺序进行拼接，也可以随机进行拼接，以生成多样化的待生成文本。
本实施例中，将潜变量一起参与到子句的生成中，可进一步提高文本生成的准确性。同时，对子句文本进行随机拼接，可得到多样化的待生成文本，从而进一步提高文本生成的多样性。
进一步地，基于上述第一实施例，提出本发明文本生成方法的第六实施例。
在本实施例中，在上述步骤S10之前，文本生成方法还包括：
步骤A，提取初始文本的关键词及短语词组，并对所述初始文本进行命名实体识别得到命名实体；
首先，提取初始文本的关键词及短语词组，并对初始文本进行命名实体识别得到命名实体。其中，初始文本为历史生成的文本，用于进行模型训练。例如，历史银行营销文本中包含有各种文案信息，可提供丰富的训练数据。
在一实施例中，可以采用TextRank关键词提取算法提取初始文本的关键词，并利用依存句法分析提取初始文本的短语词组，以及采用BERT预训练语言模型和CRF条件随机场组合的方法来提取初始文本中的命名实体。其中，BERT预训练语言模型用于获取对应的词向量。在其他实施方式中，关键词提取算法、提取短语词组、提取命名实体的算法也可以为其他算法，此处不作具体限定。
为便于理解，关键词可以为登录、达标、抽奖、抽取、领取、红包、打车券等，短语词组可以为下载APP、下载应用等，命名实体可以为华为P30、小米10等。
步骤B，将所述关键词、所述短语词组、所述命名实体作为文本属性值；
步骤C，对所述文本属性值进行聚类，得到文本属性类别；
在本实施例中，将关键词、短语词组、命名实体作为文本属性值，然后，对文本属性值进行聚类，得到文本属性类别。具体的，对文本属性值进行聚类，得到聚类簇，然后基于聚类簇确定文本属性类别。
在一实施例中，可以采用BERT预训练语言模型和K-Means聚类算法相结合的方法，对文本属性值进行聚类。其中，BERT预训练语言模型用于获取属性值对应的词向量。在其他实施方式中，也可以采用其他聚类算法，此处不作具体限定。
步骤D，将所述文本属性类别和所述文本属性值作为训练语料对，对构建的文本生成模型进行训练，以供基于所述文本生成模型，输入待生成文本的属性值后生成所述待生成文本。
最后，将文本属性类别和文本属性值作为训练语料对，对构建的文本生成模型进行训练，以供基于文本生成模型，输入待生成文本的属性值后生成对应的待生成文本。其中，训练语料对为文本生成模型训练阶段中的训练数据。
本实施例中，通过关键词提取、关键短语抽取、命名实体识别、关键词聚类等方法集成处理底层数据，剔除冗余数据，从而提炼出高质量的训练数据样本，以使文本生成模型在应用时生成更加准确的文本，以进一步提高文本生成的准确性。
本发明还提供一种文本生成装置。
参照图5，图5为本发明文本生成装置第一实施例的功能模块示意图。
在本实施例中，所述文本生成装置包括：
获取模块10，用于获取待生成文本的属性值，并对所述属性值进行表征得到第一隐向量和上下文向量；
确定模块20，用于基于所述第一隐向量及所述上下文向量确定文本生成计划；
生成模块30，用于获取所述文本生成计划对应的潜变量，并基于所述潜变量及所述文本生成计划生成所述待生成文本。
其中，上述文本生成装置的各虚拟功能模块存储于图1所示文本生成设备的存储器1005中，用于实现文本生成程序的所有功能；各模块被处理器1001执行时，可实现文本生成功能。
进一步地，所述获取模块10包括：
属性表征单元，用于通过输入编码器对所述属性值进行表征，得到所述属性值的第一隐向量，其中，所述输入编码器由第一循环神经网络组成，后面得到的所述第一隐向量包含前面各个属性值的信息；
第一向量生成单元，用于对多个所述第一隐向量对应的隐向量序列进行处理生成上下文向量；或，
向量变换单元，用于基于多个所述第一隐向量中的最后一个隐向量进行变换得到上下文向量。
进一步地，所述确定模块20包括：
向量采样单元，用于通过训练后的基于变分自编码器的深度学习网络模型，对所述第一隐向量进行采样，确定所述待生成文本中各个子句的输入隐向量；
计划生成单元，用于基于所述输入隐向量及所述上下文向量，生成子句生成计划，其中，所述子句生成计划包括所述输入隐向量对应的属性值信息；
计划确定单元，用于基于所述子句生成计划，确定所述待生成文本的文本生成计划。
进一步地，所述计划生成单元包括：
向量获取子单元，用于将所述输入隐向量输入第二循环神经网络，获取第二隐向量；
结果预测子单元，用于基于所述第二隐向量及所述输入隐向量，通过构建的二分类预测模型生成预测结果；
计划生成子单元，用于基于所述预测结果，生成子句生成计划。
进一步地，所述生成模块30包括：
向量融合单元，用于将所述文本生成计划、所述第一隐向量、所述上下文向量进行融合，得到全局向量；
网络输入单元，用于将所述全局向量作为第三循环神经网络的初始隐向量，并将所述文本生成计划中的各个子句生成计划输入所述第三循环神经网络；
潜变量生成单元，用于将所述第三循环神经网络中的隐向量作为所述文本生成计划中子句生成计划对应的潜变量。
进一步地，所述生成模块30还包括：
第二向量生成单元，用于基于所述潜变量及所述文本生成计划，生成子句向量；
子句生成单元，用于采用第四循环神经网络，对所述子句向量进行处理，生成所述子句向量对应的子句文本；
子句拼接单元，用于对所述子句文本进行拼接，得到所述待生成文本。
进一步，所述文本生成装置还包括：
识别模块，用于提取初始文本的关键词及短语词组，并对所述初始文本进行命名实体识别得到命名实体；
属性获取模块，用于将所述关键词、所述短语词组、所述命名实体作为文本属性值；
聚类模块，用于对所述文本属性值进行聚类，得到文本属性类别；
训练模块，用于将所述文本属性类别和所述文本属性值作为训练语料对，对构建的文本生成模型进行训练，以供基于所述文本生成模型，输入待生成文本的属性值后生成所述待生成文本。
其中，上述文本生成装置中各个模块的功能实现与上述文本生成方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有本生成程序，所述本生成程序被处理器执行时实现如以上任一项实施例所述的本生成方法的步骤。
本发明计算机可读存储介质的具体实施例与上述本生成方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (6)
1.一种文本生成方法，其特征在于，所述文本生成方法包括以下步骤：
获取待生成文本的属性值；
通过输入编码器对所述属性值进行表征，得到所述属性值的第一隐向量，其中，所述输入编码器由第一循环神经网络组成，后面得到的所述第一隐向量包含前面各个属性值的信息；
对多个所述第一隐向量对应的隐向量序列进行处理生成上下文向量；或，
基于多个所述第一隐向量中的最后一个隐向量进行变换得到上下文向量；
通过训练后的基于变分自编码器的深度学习网络模型，对所述第一隐向量进行采样，确定所述待生成文本中各个子句的输入隐向量；
基于所述输入隐向量及所述上下文向量，生成子句生成计划，其中，所述子句生成计划包括所述输入隐向量对应的属性值信息；
基于所述子句生成计划，确定所述待生成文本的文本生成计划；
将所述文本生成计划、所述第一隐向量、所述上下文向量进行融合，得到全局向量；
将所述全局向量作为第三循环神经网络的初始隐向量，并将所述文本生成计划中的各个子句生成计划输入所述第三循环神经网络；
将所述第三循环神经网络中的隐向量作为所述文本生成计划中子句生成计划对应的潜变量；
基于所述潜变量及所述文本生成计划，生成子句向量；
采用第四循环神经网络，对所述子句向量进行处理，生成所述子句向量对应的子句文本；
对所述子句文本进行拼接，得到所述待生成文本。
2.如权利要求1所述的文本生成方法，其特征在于，所述基于所述输入隐向量及所述上下文向量，生成子句生成计划的步骤包括：
将所述输入隐向量输入第二循环神经网络，获取第二隐向量；
基于所述第二隐向量及所述输入隐向量，通过构建的二分类预测模型生成预测结果；
基于所述预测结果，生成子句生成计划。
3.如权利要求1至2中任一项所述的文本生成方法，其特征在于，在所述获取待生成文本的属性值的步骤之前，还包括：
提取初始文本的关键词及短语词组，并对所述初始文本进行命名实体识别得到命名实体；
将所述关键词、所述短语词组、所述命名实体作为文本属性值；
对所述文本属性值进行聚类，得到文本属性类别；
将所述文本属性类别和所述文本属性值作为训练语料对，对构建的文本生成模型进行训练，以供基于所述文本生成模型，输入待生成文本的属性值后生成所述待生成文本。
4.一种文本生成装置，其特征在于，所述文本生成装置包括：
获取模块，用于获取待生成文本的属性值，并通过输入编码器对所述属性值进行表征，得到所述属性值的第一隐向量，其中，所述输入编码器由第一循环神经网络组成，后面得到的所述第一隐向量包含前面各个属性值的信息；对多个所述第一隐向量对应的隐向量序列进行处理生成上下文向量；或，基于多个所述第一隐向量中的最后一个隐向量进行变换得到上下文向量；
确定模块，用于通过训练后的基于变分自编码器的深度学习网络模型，所述第一隐向量进行采样，确定所述待生成文本中各个子句的输入隐向量；基于所述输入隐向量及所述上下文向量，生成子句生成计划，其中，所述子句生成计划包括所述输入隐向量对应的属性值信息；基于所述子句生成计划，确定所述待生成文本的文本生成计划；
生成模块，用于将所述文本生成计划、所述第一隐向量、所述上下文向量进行融合，得到全局向量；将所述全局向量作为第三循环神经网络的初始隐向量，并将所述文本生成计划中的各个子句生成计划输入所述第三循环神经网络；将所述第三循环神经网络中的隐向量作为所述文本生成计划中子句生成计划对应的潜变量；基于所述潜变量及所述文本生成计划，生成子句向量；采用第四循环神经网络，对所述子句向量进行处理，生成所述子句向量对应的子句文本；对所述子句文本进行拼接，得到所述待生成文本。
5.一种文本生成设备，其特征在于，所述文本生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的文本生成程序，所述文本生成程序被所述处理器执行时实现如权利要求1至3中任一项所述的文本生成方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有文本生成程序，所述文本生成程序被处理器执行时实现如权利要求1至3中任一项所述的文本生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110263667.0A CN112926329B (zh) | 2021-03-10 | 2021-03-10 | 文本生成方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110263667.0A CN112926329B (zh) | 2021-03-10 | 2021-03-10 | 文本生成方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112926329A CN112926329A (zh) | 2021-06-08 |
| CN112926329B true CN112926329B (zh) | 2024-02-20 |
Family
ID=76172559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110263667.0A Active CN112926329B (zh) | 2021-03-10 | 2021-03-10 | 文本生成方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112926329B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113239689B (zh) * | 2021-07-07 | 2021-10-08 | 北京语言大学 | 面向易混淆词考察的选择题干扰项自动生成方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280061A (zh) * | 2018-01-17 | 2018-07-13 | 北京百度网讯科技有限公司 | 基于歧义实体词的文本处理方法和装置 |
| CN109726281A (zh) * | 2018-12-12 | 2019-05-07 | Tcl集团股份有限公司 | 一种文本摘要生成方法、智能终端及存储介质 |
| CN111104799A (zh) * | 2019-10-16 | 2020-05-05 | 中国平安人寿保险股份有限公司 | 文本信息表征方法、系统及计算机设备、存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11036941B2 (en) * | 2019-03-25 | 2021-06-15 | International Business Machines Corporation | Generating a plurality of document plans to generate questions from source text |
| US11263400B2 (en) * | 2019-07-05 | 2022-03-01 | Google Llc | Identifying entity attribute relations |
-
2021
- 2021-03-10 CN CN202110263667.0A patent/CN112926329B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108280061A (zh) * | 2018-01-17 | 2018-07-13 | 北京百度网讯科技有限公司 | 基于歧义实体词的文本处理方法和装置 |
| CN109726281A (zh) * | 2018-12-12 | 2019-05-07 | Tcl集团股份有限公司 | 一种文本摘要生成方法、智能终端及存储介质 |
| CN111104799A (zh) * | 2019-10-16 | 2020-05-05 | 中国平安人寿保险股份有限公司 | 文本信息表征方法、系统及计算机设备、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112926329A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11176330B2 (en) | Generating recommendation information | |
| CN110427617B (zh) | 推送信息的生成方法及装置 | |
| US11501182B2 (en) | Method and apparatus for generating model | |
| US10832008B2 (en) | Computerized system and method for automatically transforming and providing domain specific chatbot responses | |
| US11681924B2 (en) | Training neural networks using a variational information bottleneck | |
| JP6806879B2 (ja) | 次のユーザプロンプトタイプの選択 | |
| US10733197B2 (en) | Method and apparatus for providing information based on artificial intelligence | |
| US11475210B2 (en) | Language model for abstractive summarization | |
| US20180082184A1 (en) | Context-aware chatbot system and method | |
| CN107256267A (zh) | 查询方法和装置 | |
| CN110692048A (zh) | 会话中任务改变的检测 | |
| CN110597962B (zh) | 搜索结果展示方法、装置、介质及电子设备 | |
| CN110162767A (zh) | 文本纠错的方法和装置 | |
| US11580299B2 (en) | Corpus cleaning method and corpus entry system | |
| CN104471568A (zh) | 对自然语言问题的基于学习的处理 | |
| US20230121711A1 (en) | Content augmentation with machine generated content to meet content gaps during interaction with target entities | |
| JP2017527881A (ja) | エモティコンを識別および提案するためのシステムおよび方法 | |
| KR102326744B1 (ko) | 사용자 참여형 키워드 선정 시스템의 제어 방법, 장치 및 프로그램 | |
| CN110147494A (zh) | 信息搜索方法、装置，存储介质及电子设备 | |
| El-Ansari et al. | Sentiment analysis for personalized chatbots in e-commerce applications | |
| CN112926308A (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
| CN112084769A (zh) | 依存句法模型优化方法、装置、设备及可读存储介质 | |
| CN112926329B (zh) | 文本生成方法、装置、设备及计算机可读存储介质 | |
| CN116431912A (zh) | 用户画像推送方法及装置 | |
| US20230069587A1 (en) | Named entity recognition in chat dialogues for customer relationship management systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |