CN112560398B - 一种文本生成方法及装置 - Google Patents

一种文本生成方法及装置 Download PDF

Info

Publication number
CN112560398B
CN112560398B CN201910922716.XA CN201910922716A CN112560398B CN 112560398 B CN112560398 B CN 112560398B CN 201910922716 A CN201910922716 A CN 201910922716A CN 112560398 B CN112560398 B CN 112560398B
Authority
CN
China
Prior art keywords
text
text generation
encoder
requirement information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910922716.XA
Other languages
English (en)
Other versions
CN112560398A (zh
Inventor
王璐
焦阳
刘杰
杨羿
李�一
朱延峰
陈晓冬
刘林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910922716.XA priority Critical patent/CN112560398B/zh
Publication of CN112560398A publication Critical patent/CN112560398A/zh
Application granted granted Critical
Publication of CN112560398B publication Critical patent/CN112560398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本申请公开了一种文本生成方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质，涉及文本处理领域。具体实现方案为：获取多个文本生成需求信息；对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本。

Description

一种文本生成方法及装置
技术领域
本申请涉及一种信息处理领域，尤其涉及一种文本处理领域，本申请提供一种文本生成方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质。
背景技术
文本生成(Text Generation)技术是指利用计算机自动化的生成类似自然语言文本的技术。近几年人工智能技术快速发展，在自然语言处理领域取得了突破性的进步。智能文本生成通过批量、低成本、自动化的生成内容文本，能够快速有效的覆盖市场需求。其中，一种文本生成的方法为基于神经网络进行，虽然基于神经网络的文本生成能够低成本的生成文本且具有一定的领域泛化性。但是机器生成的文本内容容易出现与预先设定的语义不匹配的情况。并且采用编码器-解码器(Encoder-Decoder)结构很难保证生成文本语义上的可控性。
发明内容
本申请提供了一种文本生成方法及装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质。
本申请实施例提供了一种文本生成方法，包括：
获取多个文本生成需求信息；
对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；
基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本。
可选地，所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性；
所述对所述多个文本生成需求信息采用多种编码方式进行编码处理之前，所述方法还包括：
基于不同文本生成需求信息的不同属性，选取不同文本生成需求信息对应的编码方式。
可选地，所述基于所述多个编码结果得到上下文向量，包括：
基于注意力Attention机制将所述多个编码结果进行处理，得到上下文向量。
可选地，所述基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本，包括：
基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息；
通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
本申请实施例提供一种文本生成装置，包括：
编码单元，用于获取多个文本生成需求信息；对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；
解码单元，用于基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本。
可选地，所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性；
所述编码单元，用于基于不同文本生成需求信息的不同属性，选取不同文本生成需求信息对应的编码方式。
可选地，所述编码单元，用于基于注意力Attention机制将所述多个编码结果进行处理，得到上下文向量。
可选地，所述解码单元，用于基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息；通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
本申请实施例还提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述任一项的方法。
本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行前述任一项的方法。
本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果：通过采用上述方案，就能够通过多种编码方式对需求信息进行编码，进入得到编号后统一的上下文向量，再根据上下文向量以及控制信号以及预设的主体相关控制进行解码处理，得到目标文本。如此，就能够提高对生成文本的语义的可控性，从而可以根据业务需求调节可控因素，保证生成文本内容与预先设定的语义匹配、与业务目标也就是用户的需求一致。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请的文本生成方法流程的示意图一；
图2是本申请的文本生成装置结构示意图一；
图3是本申请的文本生成装置结构示意图二；
图4是本申请的文本生成装置的组成结构框图示意图；
图5是用来实现本申请实施例的文本生成方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本申请提供了一种文本生成方法，如图1所示，包括：
S101：获取多个文本生成需求信息；
S102：对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；
S103：基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本。
本实施例可以应用于服务器、终端设备等能够进行文本生成的任意一种设备中。
本实施例提供的方案，通过编码器(Encoder)对输入文本进行建模，得到一个固定维数的上下文向量及各个输入词的隐层状态向量，解码器(Decoder)以上下文向量为输入，结合注意力(Attention)机制处理过的各输入词的隐层状态向量，逐个解码生成输出文本。数据到序列(Data2Seq)的架构如图2所示。为了保证生成的文本与预设的语义匹配且实现文本生成的可控性，主要在两个部分进行处理：
数据(Data)端：做到生成文本语义正确匹配的首要点是保证对输入文本语义的正确理解。一般地，输入数据为多种不同属性特质的文本，如广告创意的智能生成中输入数据可能为广告主买词、广告主落地页文本等。基础的单Encoder结构将不同属性特质的输入数据简单的拼接起来作为一个句子，不同属性之间容易在边界点引入语义偏差。所以，设计了多Encoder的结构，将不同属性的文本的建模分离开，此外多Encoder的结构也保证了网络结构选择的灵活性。根据文本特点可选择适合的Encoder方式，如嵌入(Embedding)-池(Pool)方式、CNN(卷积神经网络)结构方式、RNN(循环神经网络)结构方式等。比如，图2中不同属性的文本可以为图中x-1，x-2以及x-3；分别采用不同的编码器(Encoder)进行编码处理，最终得到上下文向量。
控制(Control)端：做到保证生成文本可控性最重要的一点是将业务目标融合进模型结构中，让模型感知到业务要求的生成文本的控制因素。基础的Encoder-Decoder结构以序列(sequence)损失(loss)为目标来进行模型训练，这个目标严重依赖训练数据来学习数据中体现出的业务特点，与真实业务目标容易存在偏差。所以，在网络结构上设计了多种Control手段，保证了业务目标与模型目标的一致，同时保证业务需要的多种语义的控制可以在模型中直接生效。
本实施例中，所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性；
所述对所述多个文本生成需求信息采用多种编码方式进行编码处理之前，所述方法还包括：
基于不同文本生成需求信息的不同属性，选取不同文本生成需求信息对应的编码方式。
所述基于所述多个编码结果得到上下文向量，包括：
基于注意力Attention机制将所述多个编码结果进行处理，得到上下文向量。
具体来说，多Encoder结构避免了不同属性特质的文本混合在一起互相影响造成对输入文本语义的理解的偏差。每个Encoder读取对应属性特质的句子作为输入，通过Embedding-Pool方式、CNN结构方式、RNN结构方式等对输入的句子语义理解，最终通过Attention机制结合多个Encoder的语义理解向量得到统一的上下文向量c。
其中，根据多个文本生成需求信息的文本特点可选择适合的Encoder方式，比如，短句子可以使用embedding的方式，需要考虑时序的时候，可以使用RNN的方式，考虑效率可以采用CNN的编码方式。
一种示例中，进行处理可以采用以下公式：
Figure GDA0004245217020000051
Figure GDA0004245217020000061
Figure GDA0004245217020000062
其中，Encoderi表示第i个Encoder,xi1xi2…xij表示输入Encoder的词序列，xi1表示Encoder1的第一个词。
Figure GDA0004245217020000063
表示通过Encoderi后词xij的隐藏层状态向量。a表示attention的计算函数，a可以是多种，比如a(x,y)＝xTy。e表示向量，hk表示attention计算函数中使用的队列(query)向量，k表示第k个时间步的query向量，这个是学习的参数。αij表示第i个Encoder的第j个隐藏层向量的权重。
本实施例中，所述基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本，可以包括：
基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息；通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
也就是说，本实施例提供的方案中控制(Control)端主要包括三个部分：soft信号控制、主题相关性控制、通顺度控制。
分别来说，可以先基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息，也就是先根据soft信号控制即所述多个文本生成需求信息相关的控制信号进行解码处理，并且在进行解码处理的同时，需要采用主题相关性控制来对解码处理生成的文本进行主体相关性控制；
然后，再通过通顺度控制，来计算所述至少一个文本中每个文本的整体概率，进而基于每一个文本的整体概率来确定至少一个文本中的目标文本。
具体来说：
其中，soft信号控制将具体的控制信号在Decoder的长短期记忆网络(LSTM，LongShort-Term Memory)的输入端和预估下一个词的softmax层的输入端生效，让模型感知该控制信号从而影响到最终的生成文本，使之与预先设定的soft信号匹配；
主题相关性控制通过引入主题的分类判别器D，最终通过分类的交叉熵loss来反向传播影响文本生成模型，主题分类判别器D保证了最终的生成文本与预先设定的主题匹配；
通顺度控制通过优化的集束搜索(beam search)机制，优选出通顺度更优的生成文本。
比如参见图2，其中上下文向量C可以与抽取的控制信号共同输入到生成器中，并且判别器可以从编码器生成的主题进行抽取，用于控制生成器生成的多个文本。其中，softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量，其中向量中的每个元素取值都介于(0，1)之间。
具体来说，控制信号可以为软(soft)信号控制中使用的信号，实现方式为：通过将预先设定的控制信号(control signal)输入到解码器Decoder的LSTM单元中和影响生成文本的softmax层，从数据端和softmax决策端同时影响使得控制信号生效。其中，控制信号可以为用户进行设置，也就是说，用户需要控制什么属性，就将这个属性的文本输入作为控制信号。控制信号生效的意思是让这个控制信号能够起作用，达到预期控制的效果。数据端是一个抽象，是指数据的输入端；决策端是指softmax单元，因为softmax最终是生成词的概率，这个概率决定了生成句子的下一个词是哪个词。
主题相关性控制通过引入主题分类判别器D实现，也就是通过计算主题的contentencoder特征与解码器生成的句子特征之间的距离来控制生成的多个文本与主题相符。
hk＝f(hk-1，yk-1，xcontrol_signal)
ok＝softmax(hk，ck，xcontrol_signal)；
其中，xcontrol_signal是指控制信号(control_signal)这个encoder的输出向量，ck表示第k个时间步的解码器的隐藏向量。hk表示编码器在第k个时间步的上下文向量。ok表示第k个时间步的softmax的输出概率。
与soft信号控制不同，主题相关性控制通过引入一个新的主题分类判别器D，来限制最终的生成文本与content encoder输入的预设主题内容一致。
L＝losssng+lossD
lossD＝sigmoid(ycontent_encoder，y1y2…yt)
其中，y表示输出的向量ycontent_encoder是指content_encoder的输出，y1y2…yt是指生成的句子的输出向量，1，2，...t表示句子的每个词。lossD表示分类器D的损失函数。lossseg表示解码器的损失函数。
通顺度控制也就是前述通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
具体的，通过优化beam search机制，多个beam同时竞争，优选出通顺度更优的生成文本。通过对输入数据更加准确的理解和多种控制机制，我们提出的Data2seq最终保证了文本生成过程中的语义的可控性。解码器并行生成多个句子，通过计算每个句子整体的可能性来选择最优的一个句子作为目标文本。
图3为例，一种示例中，以广告创意的智能生成为例，在文本广告的智能生成中，一般存在多种属性特质的输入数据，如广告主买词、广告主落地页文本、广告主行业信息等。业务目标预设为生成一句或多句通顺且与广告主买词、落地页相关的广告语。在Data端，我们对广告主买词、广告主落地页文本分别使用不同的Encoder进行文本语义抽取，最终多个Encoder抽取的信息通过Attention机制进行合并得到上下文向量c。在Control端，将广告主行业信息作为控制信号(control signal)输入到Decoder和softmax层，通过输入端和决策端同时影响来保证生成的广告文本与广告主行业相一致；同时通过将广告主买词与Decoder生成的文本一起输入到分类判别器D中，来保证生成的文本与广告主买词的相关性；Decoder使用beam search机制，生成多条广告文本。
图3的解码器可以看出控制信号以及内容编码器以及主题编码器生成的上下文向量共同进行解码处理，以及采用主题控制来保证生成的多个文本与主题之间的相关性，解码器Decoder生成的句子向量使用图3最右下角的单元输出的向量作为整个句子的表示。
其中，如图3中，分类判别器D是分类监督学习，如果生成的句子和内容编码器(content_encoder)输入的属性相关性差，lossD会比较大，这个损失(loss)会在训练的时候起作用，去让模型的参数学习的更好，也就是与主题相关性更好。
beam search机制在推论(infer)的阶段起作用，从多条文本中选一个最优的文本。
另外，本实施例中，隐藏(hidden)层是RNN的隐藏向量。Decoder采用的是RNN结构。图3中，控制(Control)、上下文(context)、隐藏(hidden)这三个是简单concat(连接)在一起的。图3中，解码器(Decoder)的三个框表示不同的时间步，每个时间步会产生一个词，组成最终生成的句子。时间步是RNN结构的概念。
可见，通过采用上述方案，就能够通过多种编码方式对需求信息进行编码，进入得到编号后统一的上下文向量，再根据上下文向量以及控制信号以及预设的主体相关控制进行解码处理，得到目标文本。如此，就能够提高对生成文本的语义的可控性，从而可以根据业务需求调节可控因素，保证生成文本内容与预先设定的语义匹配、与业务目标也就是用户的需求一致。
本申请实施例提供一种文本生成装置，如图4所示，包括：
编码单元41，用于获取多个文本生成需求信息；对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；
解码单元42，用于基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本。
所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性；
所述编码单元41，用于基于不同文本生成需求信息的不同属性，选取不同文本生成需求信息对应的编码方式。
所述编码单元41，用于基于注意力Attention机制将所述多个编码结果进行处理，得到上下文向量。
所述解码单元42，用于基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息；通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
可见，通过采用上述方案，就能够通过多种编码方式对需求信息进行编码，进入得到编号后统一的上下文向量，再根据上下文向量以及控制信号以及预设的主体相关控制进行解码处理，得到目标文本。如此，就能够提高对生成文本的语义的可控性，从而可以根据业务需求调节可控因素，保证生成文本内容与预先设定的语义匹配、与业务目标也就是用户的需求一致。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图5所示，是根据本申请实施例的文本生成方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文本生成方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文本生成方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的文本生成方法对应的程序指令/模块。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文本生成方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文本生成的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至文本生成的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
文本生成方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与文本生成的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，在存储图像的时候过滤掉一部分相似度较大的图像，从而实现存储时就过滤掉冗余图片，降低了存储及传输压力，也节省了后续分拣的工作量。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (10)

1.一种文本生成方法，其特征在于，包括：
获取多个文本生成需求信息；
对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；
基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本；
其中，所述编码处理包括采用以下公式执行处理：
Figure FDA0004245217000000014
Figure FDA0004245217000000011
Figure FDA0004245217000000012
其中，Encoderi表示第i个编码器Encoder,xi1xi2···xij表示输入编码器Encoder的词序列，
Figure FDA0004245217000000013
表示通过Encoderi后词xij的隐藏层状态向量，a表示attention的计算函数，hk表示attention计算函数中使用的队列query向量，k表示第k个时间步的query向量，αij表示第i个编码器Encoder的第j个隐藏层向量的权重，c为上下文向量，N为编码器Encoder个数。
2.根据权利要求1所述的方法，其特征在于，所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性；
所述对所述多个文本生成需求信息采用多种编码方式进行编码处理之前，所述方法还包括：
基于不同文本生成需求信息的不同属性，选取不同文本生成需求信息对应的编码方式。
3.根据权利要求1所述的方法，其特征在于，所述基于所述多个编码结果得到上下文向量，包括：
基于注意力Attention机制将所述多个编码结果进行处理，得到上下文向量。
4.根据权利要求1所述的方法，其特征在于，所述基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本，包括：
基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息；
通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
5.一种文本生成装置，其特征在于，包括：
编码单元，用于获取多个文本生成需求信息；对所述多个文本生成需求信息采用多种编码方式进行编码处理，得到多个编码结果，基于所述多个编码结果得到上下文向量；
解码单元，用于基于所述多个文本生成需求信息相关的控制信号、所述多个文本生成需求信息相关的主题相关性控制方式、以及所述上下文向量，进行解码处理得到目标文本；
其中，所述编码处理包括采用以下公式执行处理：
Figure FDA0004245217000000024
Figure FDA0004245217000000021
Figure FDA0004245217000000022
其中，Encoderi表示第i个编码器Encoder,xi1xi2···xij表示输入编码器Encoder的词序列，
Figure FDA0004245217000000023
表示通过Encoderi后词xij的隐藏层状态向量，a表示attention的计算函数，hk表示attention计算函数中使用的队列query向量，k表示第k个时间步的query向量，αij表示第i个编码器Encoder的第j个隐藏层向量的权重，c为上下文向量，N为编码器Encoder个数。
6.根据权利要求5所述的装置，其特征在于，所述多个文本生成需求信息中不同的文本生成需求信息对应不同属性；
所述编码单元，用于基于不同文本生成需求信息的不同属性，选取不同文本生成需求信息对应的编码方式。
7.根据权利要求5所述的装置，其特征在于，所述编码单元，用于基于注意力Attention机制将所述多个编码结果进行处理，得到上下文向量。
8.根据权利要求5所述的装置，其特征在于，所述解码单元，用于基于所述多个文本生成需求信息相关的控制信号对所述上下文向量的解码处理，并采用所述多个文本生成需求信息相关的主题相关性控制方式对所述解码处理进行主题控制，得到解码处理后的至少一个文本信息；通过计算所述至少一个文本中每个文本的整体概率来确定一个文本作为目标文本。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
CN201910922716.XA 2019-09-26 2019-09-26 一种文本生成方法及装置 Active CN112560398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910922716.XA CN112560398B (zh) 2019-09-26 2019-09-26 一种文本生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910922716.XA CN112560398B (zh) 2019-09-26 2019-09-26 一种文本生成方法及装置

Publications (2)

Publication Number Publication Date
CN112560398A CN112560398A (zh) 2021-03-26
CN112560398B true CN112560398B (zh) 2023-07-04

Family

ID=75030144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910922716.XA Active CN112560398B (zh) 2019-09-26 2019-09-26 一种文本生成方法及装置

Country Status (1)

Country Link
CN (1) CN112560398B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114970524B (zh) * 2022-05-31 2024-02-02 北京深言科技有限责任公司 可控文本生成方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069650A (zh) * 2017-10-10 2019-07-30 阿里巴巴集团控股有限公司 一种搜索方法和处理设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362657B1 (en) * 2010-02-18 2013-04-24 Research In Motion Limited Parallel entropy coding and decoding methods and devices
CA2794261A1 (en) * 2010-04-19 2011-10-27 Research In Motion Limited Methods and devices for reordered parallel entropy coding and decoding
US10268671B2 (en) * 2015-12-31 2019-04-23 Google Llc Generating parse trees of text segments using neural networks
US11238348B2 (en) * 2016-05-06 2022-02-01 Ebay Inc. Using meta-information in neural machine translation
WO2018232699A1 (zh) * 2017-06-22 2018-12-27 腾讯科技（深圳）有限公司 一种信息处理的方法及相关装置
CN109086408B (zh) * 2018-08-02 2022-10-28 腾讯科技（深圳）有限公司 文本生成方法、装置、电子设备及计算机可读介质
CN109189933A (zh) * 2018-09-14 2019-01-11 腾讯科技（深圳）有限公司 一种文本信息分类的方法及服务器
CN110263150B (zh) * 2019-03-05 2023-10-31 腾讯科技（深圳）有限公司 文本生成方法、装置、计算机设备及存储介质
CN111414464B (zh) * 2019-05-27 2023-04-07 腾讯科技（深圳）有限公司 一种问题生成方法、装置、设备及存储介质
CN110175338B (zh) * 2019-05-31 2023-09-26 北京金山数字娱乐科技有限公司 一种数据处理方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069650A (zh) * 2017-10-10 2019-07-30 阿里巴巴集团控股有限公司 一种搜索方法和处理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于语义指纹的海量文本快速相似检测算法研究;姜雪;万正景;梁燕;陶以政;;电脑知识与技术(第36期);第175-177页 *

Also Published As

Publication number Publication date
CN112560398A (zh) 2021-03-26

Similar Documents

Publication Publication Date Title
JP7122365B2 (ja) テキスト認識処理方法、装置、電子機器及び記憶媒体
CN111078865B (zh) 文本标题生成方法和装置
US11417314B2 (en) Speech synthesis method, speech synthesis device, and electronic apparatus
JP7264866B2 (ja) イベント関係の生成方法、装置、電子機器及び記憶媒体
US20220028376A1 (en) Method for semantic recognition, electronic device, and storage medium
JP2022028887A (ja) テキスト誤り訂正処理方法、装置、電子機器及び記憶媒体
JP7149993B2 (ja) 感情分析モデルの事前トレーニング方法、装置及び電子機器
US11195098B2 (en) Method for generating neural network and electronic device
CN112560479B (zh) 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备
KR102565673B1 (ko) 시멘틱 표현 모델의 생성 방법, 장치, 전자 기기 및 저장 매체
US20210248471A1 (en) Method and apparatus for creating dialogue, and storage medium
US20180349512A1 (en) Method and apparatus for recalling news based on artifical intelligence, device and storage medium
CN112148871B (zh) 摘要生成方法、装置、电子设备及存储介质
CN111737995A (zh) 基于多种词向量训练语言模型的方法、装置、设备及介质
CN112633017B (zh) 翻译模型训练、翻译处理方法、装置、设备和存储介质
CN113656581A (zh) 文本分类及模型训练的方法、装置、设备以及存储介质
CN112506949B (zh) 结构化查询语言查询语句生成方法、装置及存储介质
CN111737996A (zh) 基于语言模型获取词向量的方法、装置、设备及存储介质
CN111079945B (zh) 端到端模型的训练方法及装置
CN111709234A (zh) 文本处理模型的训练方法、装置及电子设备
JP2021131858A (ja) エンティティワードの認識方法と装置
CN112507101A (zh) 一种建立预训练语言模型的方法和装置
JP7295200B2 (ja) 汎化処理方法、装置、デバイス、コンピュータ記憶媒体及びプログラム
CN114912450B (zh) 信息生成方法与装置、训练方法、电子设备和存储介质
CN112528669A (zh) 多语言模型的训练方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant