CN112861548B - 自然语言生成及模型的训练方法、装置、设备和存储介质 - Google Patents
自然语言生成及模型的训练方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN112861548B CN112861548B CN202110184842.7A CN202110184842A CN112861548B CN 112861548 B CN112861548 B CN 112861548B CN 202110184842 A CN202110184842 A CN 202110184842A CN 112861548 B CN112861548 B CN 112861548B
- Authority
- CN
- China
- Prior art keywords
- natural language
- data
- text
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000008569 process Effects 0.000 claims description 31
- 238000010276 construction Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000003058 natural language processing Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本公开公开了一种自然语言生成及模型的训练方法、装置、设备和存储介质，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域。自然语言生成模型的训练方法包括：采用自然语言生成模型，根据用户文本对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本的初始值采用所述自然语言生成模型，对所述用户文本进行处理后得到；在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，根据用户文本对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件；将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本。本公开可以提高自然语言生成文本的质量。
Description
技术领域
本公开涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域，尤其涉及一种自然语言生成及模型的训练方法、装置、设备和存储介质。
背景技术
自然语言处理(Natural Language Processing，NLP)是涉及计算机科学、人工智能(Artificial Intelligence，AI)和语言学的交叉技术，目的是让计算机处理或“理解”自然语言，以执行诸如语言翻译和问题回答等任务。随着语音接口和聊天机器人的兴起，NLP成为了信息时代最重要的技术之一，是人工智能的重要组成部分。
自然语言生成(Natural Language Generation，NLU)是自然语言处理的重要组成部分，其目标是让计算机基于一段文本生成另外一段文本。
相关技术中，基于传统的序列到序列(sequence to sequence，seq2seq)技术进行自然语言生成。
发明内容
本公开提供了一种自然语言生成及模型的训练方法、装置、设备和存储介质。
根据本公开的一方面，提供了一种自然语言生成方法，包括：采用自然语言生成模型，根据用户文本对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本的初始值采用所述自然语言生成模型，对所述用户文本进行处理后得到；在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，根据所述用户文本对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件；将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本。
根据本公开的另一方面，提供了一种自然语言生成模型的训练方法，包括：获取训练数据，所述训练数据包括：已有输入数据、待修正数据和已有输出数据；根据所述训练数据构建输入样本和输出样本；采用自然语言生成模型，根据所述输入样本对第一生成结果进行更新，以得到第二生成结果，所述第一生成结果的初始值采用所述自然语言生成模型，对所述输入样本进行处理后得到；在未达到预设的第二更新结束条件时，将所述第二生成结果作为新的第一生成结果，采用所述自然语言生成模型，根据所述输入样本对所述新的第一生成结果进行更新，直至达到所述第二更新结束条件；根据达到所述第二更新结束条件时的第二生成结果，以及所述输出样本，调整所述自然语言生成模型的参数。
根据本公开的另一方面，提供了一种自然语言生成装置，包括：更新模块，用于采用自然语言生成模型，对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本采用所述自然语言生成模型，对用户文本进行处理后得到；处理模块，用于在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件；确定模块，用于将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本。
根据本公开的另一方面，提供了一种自然语言生成模型的训练装置，包括：获取模块，用于获取训练数据，所述训练数据包括：已有输入数据、待修正数据和已有输出数据；构建模块，用于根据所述训练数据构建输入样本和输出样本；更新模块，用于采用自然语言生成模型，对第一生成结果进行更新，以得到第二生成结果，所述第一生成结果采用所述自然语言生成模型，对所述输入样本进行处理后得到；处理模块，用于在未达到预设的第二更新结束条件时，将所述第二生成结果作为新的第一生成结果，采用所述自然语言生成模型，对所述新的第一生成结果进行更新，直至达到所述第二更新结束条件；调整模块，用于根据达到所述第二更新结束条件时的第二生成结果，以及所述输出样本，调整所述自然语言生成模型的参数。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
根据本公开的技术方案，可以提高自然语言生成文本的质量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开第二实施例的示意图；
图3是根据本公开第三实施例的示意图；
图4是根据本公开第四实施例的示意图；
图5是根据本公开第五实施例的示意图；
图6是根据本公开第六实施例的示意图；
图7是用来实现本公开实施例的自然语言生成方法、自然语言生成模型的训练方法中任一方法的电子设备的示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
自然语言生成的目标是基于一段文本生成另一段文本，常见的场景包括机器翻译、文章摘要、人机对话、智能写作等。
自然语言生成时，可以基于Seq2Seq模型实现，Seq2Seq模型可以包括编码器和解码器，编码器将输入文本编码成一个固定长度的编码向量，解码器基于编码器输出的编码向量，生成输出文本，将输出文本作为输入文本对应的自然语言生成文本。编码器和解码器可以采用相同或不同的网络，通常选择的网络包括循环神经网络(Recurrent NeuralNetwork，RNN)，或者，Transformer等。
输出文本也可以称为输出序列，包括一个或多个序列单元，解码器在输出序列时，可以逐个序列单元输出，比如，用A、B、C表示序列单元，解码器是分别输出A、B、C，直至输出结束符，将结束符之前的序列单元，如A、B、C组成输出序列。在生成某个序列单元时，可以基于贪心搜索策略，选择概率最大的一个序列单元输出。
相关技术中，当前序列单元是基于之前的序列单元生成的，比如，第一时间步基于编码向量和起始字符输出A，第二时间步基于编码向量和A输出B，第三时间步基于编码向量、A和B输出C，依此类推，直至输出结束字符。
由于生成当前序列单元时，只能参考之前的序列单元的信息，导致自然语言生成文本并不是全局最优，生成文本的流畅性和连贯性受到影响，致使生成文本的质量不高。
为了解决上述技术存在的生成文本质量不高的问题，本公开提供如下一些实施例。
图1是根据本公开第一实施例的示意图。该实施例提供一种自然语言生成方法，该方法包括：
101、采用自然语言生成模型，根据用户文本对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本的初始值采用所述自然语言生成模型，对所述用户文本进行处理后得到。
102、在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，根据所述用户文本对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件。
103、将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本。
自然语言生成过程一般包括：用户向自然语言生成系统输入用户文本->自然语言生成系统生成与用户文本对应的生成文本->自然语言生成系统将生成文本反馈给用户。
自然语言生成系统可以基于客户端-服务端的形式实现，客户端部署在用户终端上；服务端可以设置在自然语言生成服务提供方的服务器上，服务器可以是普通服务器或者云端服务器；或者，服务端也可以设置在用户终端本地以实现离线自然语言生成服务。本公开对此不作限定。用户终端的实例本公开也不作限定，比如可以是手机、平板型电脑、数字助理等。客户端的实例本公开也不作限定，比如可以是APP、网页、程序等。
自然语言生成系统可以采用自然语言生成模型进行自然语言生成，自然语言生成模型可以采用已有模型，或者，可以采用本公开实施例所述的训练方法生成。
自然语言生成模型可以包括编码器(Encoder)和解码器(Decoder)。编码器输入用户文本，解码器输出生成文本。
生成文本一般是以序列单元为单位，逐个序列单元进行输出，比如，参见图2，假设用户文本为“I am a student”，编码器将输入文本编码成编码向量，解码器基于编码向量和起始字符[eos]生成第一个序列单元“我”，解码器基于编码向量和第一个序列单元“我”，生成第二个序列单元“学”，依此类推，直至生成结束字符[eos]，完成一次生成文本的生成过程。比如，参见图2的下方图，为相关技术中的实现方案，相关技术中，只进行一次生成文本的生成过程，即，相关技术中，与用户文本“I am a student”对应的自然语言生成文本为“我学生”。
相关技术中的这种方式，在生成当前序列单元时，仅考虑之前的已生成序列单元的信息，没有考虑全局信息，所以，生成文本的质量不高，比如，上述的“我学生”是不通顺的。
本公开实施例中，第一生成文本的初始值是对应用户文本的第一次生成过程的生成文本，最终的生成文本为第一更新结束条件时的第二生成文本，第二生成文本是对第一生成文本更新后得到的。即，本公开实施例中，可以进行多次生成文本的生成过程，对应当前生成过程，可以参考之前生成过程已经生成的生成文本，由于已经生成的生成文本是包含全局信息的文本，因此，通过生成文本的多次更新，可以生成质量更好的最终的生成文本。
一些实施例中，第一更新结束条件可以基于第一更新次数，即，该方法还可以包括：确定所述更新的更新次数，在所述更新次数小于所述第一更新次数时，判定未达到所述第一更新结束条件。反之，当所述更新次数等于所述第一更新次数时，判定达到所述第一更新结束条件。
通过设置第一更新次数，可以显式地判断是否结束生成文本的更新过程，提高最终的生成文本的生成效率。
一些实施例中，所述自然语言生成模型在训练时预设第二更新次数，所述第一更新次数小于或等于所述第二更新次数。比如，自然语言生成模型在训练时预设的第二更新次数为5次，应用阶段的第一更新次数可以为3次。
通过设置第一更新次数小于或等于第二更新次数，可以提高最终的生成文本的可靠性。
一些实施例中，所述自然语言生成模型包括：编码器和解码器，所述采用所述自然语言生成模型，根据所述用户文本对所述第一生成文本进行更新，以得到第二生成文本，包括：采用所述编码器对所述用户文本进行编码处理，以得到编码结果；采用所述解码器，对所述编码结果和所述第一生成文本进行解码处理，以得到第二生成文本。
比如，参见图2的上方图，为本公开实施例中的实现方案，本公开实施例中，在生成“我学生”这一生成文本后，“我学生”可以作为第一生成文本，之后对该第一生成文本进行更新，比如，将该第一生成文本输入到解码器中，解码器基于编码器输出的编码向量和第一生成文本重新进行生成文本的生成过程，比如，在第二次生成“我”这个序列单元时，可以参考之前的所有已生成序列单元，比如包括[eos]、“我”、“学”、“生”，从而，在生成“我”时，不仅可以参考“我”之前的序列单元[eos]，还可以参考“我”之后的序列单元“学”、“生”，由于参考了全局信息，可以提高生成文本的质量，比如，对第一生成文本更新后的生成文本可以称为第二生成文本，本实施例中的第二生成文本比如为“我是学生”，相对于第一生成文本“我学生”，第二生成文本“我是学生”是较好质量的生成文本。
本实施例中，通过对第一生成文本进行更新，以及将达到第一更新结束条件时的第二生成文本，确定为用户文本对应的自然语言生成文本，可以通过对生成文本的更新过程实现对生成文本的完善，提高最终生成的生成文本的质量。
图3是本公开第三实施例的示意图，本实施例提供一种自然语言生成方法。本实施例以自然语言生成模型包括编码器和解码器为例，该自然语言生成方法包括：
301、采用自然语言模型的编码器，对用户文本进行编码处理，以得到编码结果。
302、采用自然语言模型的解码器，对所述编码结果和已生成序列单元进行解码处理，以得到当前序列单元。
已生成序列单元的初始值为起始字符，比如用[eos]表示。
303、判断当前序列单元是否为结束字符，若是，执行304，否则，重复执行302及其后续步骤。
结束字符比如用[eos]表示。
304、将当前序列单元之前的所有序列单元，组成第一生成文本。
比如，参见图2，在当前序列单元为[eos]时，将[eos]之前的所有序列单元，比如，“我”“学”“生”组成的序列“我学生”，作为第一生成文本。
通过301～304可以完成生成文本的第一次生成过程，本实施例中需要进行多次生成过程，即，还包括：
305、将第一生成文本输入到所述解码器中。
比如，参见图2，将第一生成文本的各个序列单元“我”、“学”、“生”拼接到第一次生成过程中的“[eos]”、“我”、“学”、“生”、以及，第二次生成过程中的起始字符“[eos]”之后，作为新的已生成序列输入到解码器中。
306、所述解码器，对所述编码结果和第一生成文本进行解码处理，以得到第二生成文本。
解码器可以进行第二次生成过程，以生成第二生成文本，第二次生成过程，也可以逐次生成各个序列单元，比如，逐次生成“我”、“是”、“学”、“生”以及结束字符“[eos]”。
307、判断是否达到预设的第一更新次数，若是，执行308，否则，执行309。
比如，可以设置更新次数，该更新次数的初始值为0，当每更新一次生成文本后，将该更新次数增加1，得到更新后的更新次数，在更新后的更新次数小于预设的第一更新次数时，表明未达到预设的第一更新次数，否则，在更新后的更新次数等于预设的第一更新次数时，表明达到预设的第一更新次数。进一步地，可以检测结束字符[eos]的出现次数，结束字符[eos]出现一次，则表明生成一次生成文本，将生成次数减去1则为更新次数。或者，也可以直接判断生成次数，生成次数为大于或等于2的值，将达到生成次数时的生成文本作为最终的生成文本。
308、将第二生成文本确定为用户文本对应的自然语言生成文本。之后，可以将该自然语言生成文本反馈给用户。
309、将所述第二生成文本作为新的第一生成文本，之后重新执行305及其后续步骤。
本实施例中，通过编码器对用户文本进行编码，得到编码向量，通过将生成文本输入到解码器中，解码器基于编码向量和生成文本进行解码，可以在生成当前序列单元时，参考全局序列单元的信息，基于全局序列单元的信息实现对生成文本的更新，可以提高最终生成的生成文本的质量。
图4是本公开第四实施例的示意图，本实施例提供一种自然语言生成模型的训练方法，该方法包括：
401、获取训练数据，所述训练数据包括：已有输入数据、待修正数据和已有输出数据。
402、根据所述训练数据构建输入样本和输出样本。
403、采用自然语言生成模型，根据所述输入样本对第一生成结果进行更新，以得到第二生成结果，所述第一生成结果的初始值采用所述自然语言生成模型，对所述输入样本进行处理后得到。
404、在未达到预设的第二更新结束条件时，将所述第二生成结果作为新的第一生成结果，采用所述自然语言生成模型，根据所述输入样本对所述新的第一生成结果进行更新，直至达到所述第二更新结束条件。
405、根据达到所述第二更新结束条件时的第二生成结果，以及所述输出样本，调整所述自然语言生成模型的参数。
相关技术中，训练自然语言生成模型时，基于一次生成过程，生成输入样本对应的一次生成结果，基于该一次生成结果和输出样本，调整自然语言生成模型的参数。而本实施例中，基于输入样本的生成过程为多次，并不断更新生成结果，根据最终得到的生成结果，即达到第二更新结束条件(比如达到预设的第二更新次数)时的生成结果，以及输出样本调整自然语言生成模型的参数，从而可以提高自然语言生成模型的能力，使得基于该自然语言生成模型生成质量更高的自然语言生成文本。
一些实施例中，所述获取训练数据，包括：在已有的训练集中，获取已有数据，所述已有数据包括：已有输入数据和已有输出数据；根据所述已有数据，获取待修正数据。
已有输入数据和已有输出数据是已有的训练集中的一对数据，比如，已有输入数据为“I am a student”，已有输出数据为“我是学生”。待修正数据是指，已有输入数据对应的待修正的生成数据，比如，待修正数据为“我学生”。
一般来讲，已有输入数据和已有输出数据是已有的，即可以从已有的训练集中得到，而待修正数据需要采用本公开的实施例获取。
通过采用不同的获取方式，可以获取到自然语言生成模型所需的训练数据。
一些实施例中，所述已有数据被分为预设的N份样本，所述N份样本中的各份样本包括至少一组样本，所述至少一组样本中的各组样本包括：已有输入数据和已有输出数据，所述根据所述已有数据，获取所述待修正样本，包括：获取当前训练样本和当前应用样本，所述当前训练样本为所述N份样本中当前选择的(N-1)份样本，所述当前应用样本为所述N份样本中，除了所述当前选择的(N-1)份样本之外的1份样本；采用所述当前训练样本，训练序列到序列模型；将所述当前应用样本中的已有输入数据输入到所述序列到序列模型中，采用所述序列到序列模型对所述已有输入数据进行处理，将所述序列到序列模型的输出确定为所述当前应用样本中的已有输入数据对应的待修正数据。
以N＝4为例，将已有数据分为4份分别用t1、t2、t3、t4表示，则可以采用t1、t2和t3训练序列到序列(Seq2Seq)模型，再将t4中的已有输入数据输入到该序列到序列模型中，该序列到序列模型对该已有输入数据进行处理，输出为该已有输入数据对应的待修正数据；可以采用t1、t3和t4训练序列到序列模型，再将t2中的已有输入数据输入到该序列到序列模型中，该序列到序列模型对该已有输入数据进行处理，输出为该已有输入数据对应的待修正数据；可以采用t1、t2和t4训练序列到序列模型，再将t3中的已有输入数据输入到该序列到序列模型中，序列到序列模型对该已有输入数据进行处理，输出为该已有输入数据对应的待修正数据；可以采用t2、t3和t4训练序列到序列模型，再将t1中的已有输入数据输入到该序列到序列模型中，序列到序列模型对该已有输入数据进行处理，输出为该已有输入数据对应的待修正数据。
以t4对应的待修正数据的生成流程为例，采用t1、t2和t3训练序列到序列(Seq2Seq)模型m4，将t4的已有输入数据输入到该Seq2Seq模型m4中，该Seq2Seq模型m4的输出即为t4对应的待修正数据。之后，可以将t4的<已有输入数据、待修正数据、已有输出数据>作为一组自然语言生成模型的训练数据。
上述训练Seq2Seq模型时，可以采用传统训练时的生成方式，即只进行一次生成过程，而不是进行多次生成过程。比如，采用t1、t2和t3训练Seq2Seq模型m4时，依据<已有输入数据，已有输出数据>形式的样本进行，采用已有输入数据经过Seq2Seq模型的一次生成过程得到预测序列，依据预测序列与已有输出数据计算损失函数，再根据损失函数调整Seq2Seq模型的参数，直至该损失函数收敛，得到最终的Seq2Seq模型。
进一步地，依据当前训练样本训练Seq2Seq模型时，比如采用t1、t2和t3训练m4时，可以通过改变随机种子(比如调整训练时的数据顺序)或者改变模型冷启参数，生成多个m4，之后可以基于多个m4生成多个待修正数据。
通过将已有数据分为N份，N越多，则生成的待修正数据的效果越好。
一些实施例中，所述采用所述当前训练样本，训练序列到序列模型，包括：采用所述当前训练样本，对预训练模型进行微调，以得到序列到序列模型。
本实施例中，可以采用预训练+微调的方式，得到序列到序列模型，从而可以生成效果更好的序列到序列模型。
预训练模型比如为双向自回归的Transformers(Bidirectional and Auto-Regressive Transformers，BART)模型、掩码序列到序列(Masked Sequence to Sequence，MASS)模型、统一语言模型(Unified Language Model Pre-training for NaturalLanguage Understanding and Generation，UNILM)等预训练模型。
预训练过程中，我们使用BART的方式生成循环修正模式的训练数据。输入端为加噪的原始文本数据。使用BART预测，得到<加噪的原始文本数据、BART预测数据、原始文本数据>的三元组作为预训练数据训练模型。
通过对预训练模型进行微调的方式，可以得到效果更好的序列到序列模型，进而提高待修正数据的效果。
上述描述了待修正数据的获取过程，从而可以获取到用于训练自然语言生成模型的训练数据：<已有输入数据、待修正数据、已有输出数据>。
基于上述训练数据可以构建输入样本和输出样本，以便基于<输入样本，输出样本>训练自然语言生成模型。
一些实施例中，<输入样本，输出样本>包括：<已有输入数据、已有输出数据>，即，可以将已有数据作为一组输入样本和输出样本，比如，一组<输入样本，输出样本>为：<I ama student，我是学生>。
一些实施例中，所述根据所述训练数据构建输入样本和输出样本，包括：将所述已有输入数据和所述待修正数据进行文本拼接，以得到拼接文本；将所述拼接文本作为所述输入样本，将所述已有输出数据作为所述输出样本。
即，<输入样本，输出样本>包括：<已有输入数据+待修正数据、已有输出数据>，比如，一组<输入样本，输出样本>为：<I am a student+我学生，我是学生>。
其中，已有输入数据+待修正数据是指已有输入数据与待修正数据的文本拼接后的拼接文本。
通过将已有输入数据与待修正数据的拼接文本作为一种输入样本，可以丰富输入样本的信息，提高自然语言生成模型的效果。
本实施例中，通过对第一生成结果进行更新，以及根据达到第二更新结束条件时的第二生成结果和输出样本，调整自然语言生成模型的参数，可以提高自然语言生成模型的效果，进而提高基于该自然语言生成模型的生成文本的质量。
图5是本公开第五实施例的示意图，本实施例提供一种自然语言生成装置，该装置500包括：更新模块501、处理模块502和确定模块503。
更新模块501用于采用自然语言生成模型，根据用户文本对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本的初始值采用所述自然语言生成模型，对所述用户文本进行处理后得到；处理模块502用于在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，根据所述用户文本对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件；确定模块503用于将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本。
一些实施例中，所述第一更新结束条件包括：第一更新次数，所述处理模块502还用于：确定所述更新的更新次数，在所述更新次数小于所述第一更新次数时，判定未达到所述第一更新结束条件。
一些实施例中，所述自然语言生成模型在训练时预设第二更新次数，所述第一更新次数小于或等于所述第二更新次数。
一些实施例中，所述自然语言生成模型包括：编码器和解码器，所述更新模块501具体用于：采用所述编码器对所述用户文本进行编码处理，以得到编码结果；采用所述解码器，对所述编码结果和所述第一生成文本进行解码处理，以得到第二生成文本。
本实施例中，通过对第一生成文本进行更新，以及将达到第一更新结束条件时的第二生成文本，确定为用户文本对应的自然语言生成文本，可以通过对生成文本的更新过程实现对生成文本的完善，提高最终生成的生成文本的质量。
图6是本公开第六实施例的示意图，本实施例提供一种自然语言生成模型的训练装置，该装置600包括：获取模块601、构建模块602、更新模块603、处理模块604和调整模块605。
获取模块601用于获取训练数据，所述训练数据包括：已有输入数据、待修正数据和已有输出数据；构建模块602用于根据所述训练数据构建输入样本和输出样本；更新模块603用于采用自然语言生成模型，根据所述输入样本对第一生成结果进行更新，以得到第二生成结果，所述第一生成结果的初始值采用所述自然语言生成模型，对所述输入样本进行处理后得到；处理模块604用于在未达到预设的第二更新结束条件时，将所述第二生成结果作为新的第一生成结果，采用所述自然语言生成模型，根据所述输入样本对所述新的第一生成结果进行更新，直至达到所述第二更新结束条件；调整模块605用于根据达到所述第二更新结束条件时的第二生成结果，以及所述输出样本，调整所述自然语言生成模型的参数。
一些实施例中，所述获取模块601具体用于：在已有的训练集中，获取已有数据，所述已有数据包括：已有输入数据和已有输出数据；根据所述已有数据，获取待修正数据。
一些实施例中，所述已有数据被分为预设的N份样本，所述N份样本中的各份样本包括至少一组样本，所述至少一组样本中的各组样本包括：已有输入数据和已有输出数据，所述获取模块601进一步具体用于：获取当前训练样本和当前应用样本，所述当前训练样本为所述N份样本中当前选择的(N-1)份样本，所述当前应用样本为所述N份样本中，除了所述当前选择的(N-1)份样本之外的1份样本；采用所述当前训练样本，训练序列到序列模型；将所述当前应用样本中的已有输入数据输入到所述序列到序列模型中，采用所述序列到序列模型对所述已有输入数据进行处理，将所述序列到序列模型的输出确定为所述当前应用样本中的已有输入数据对应的待修正数据。
一些实施例中，所述获取模块601进一步具体用于：采用所述当前训练样本，对预训练模型进行微调，以得到序列到序列模型。
一些实施例中，所述构建模块602具体用于：将所述已有输入数据和所述待修正数据进行文本拼接，以得到拼接文本；将所述拼接文本作为所述输入样本，将所述已有输出数据作为所述输出样本。
本实施例中，通过对第一生成结果进行更新，以及根据达到第二更新结束条件时的第二生成结果和输出样本，调整自然语言生成模型的参数，可以提高自然语言生成模型的效果，进而提高基于该自然语言生成模型的生成文本的质量。
可以理解的是，本公开实施例中，不同实施例中的相同或相似内容可以相互参考。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元1106，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如自然语言生成方法或者自然语言生成模型的训练方法。例如，在一些实施例中，自然语言生成方法或者自然语言生成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的自然语言生成方法或者自然语言生成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行自然语言生成方法或者自然语言生成模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (16)
1.一种自然语言生成方法，包括：
采用自然语言生成模型，根据用户文本对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本的初始值采用所述自然语言生成模型，对所述用户文本进行处理后得到；
在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，根据所述用户文本对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件；
将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本；
其中，所述第一更新结束条件包括：第一更新次数，所述方法还包括：
确定所述更新的更新次数，在所述更新次数小于所述第一更新次数时，判定未达到所述第一更新结束条件。
2.根据权利要求1所述的方法，其中，所述自然语言生成模型在训练时预设第二更新次数，所述第一更新次数小于或等于所述第二更新次数。
3.根据权利要求1-2任一项所述的方法，其中，所述自然语言生成模型包括：编码器和解码器，所述采用所述自然语言生成模型，根据所述用户文本对所述第一生成文本进行更新，以得到第二生成文本，包括：
采用所述编码器对所述用户文本进行编码处理，以得到编码结果；
采用所述解码器，对所述编码结果和所述第一生成文本进行解码处理，以得到第二生成文本。
4.一种自然语言生成模型的训练方法，包括：
获取训练数据，所述训练数据包括：已有输入数据、待修正数据和已有输出数据；
根据所述训练数据构建输入样本和输出样本；
采用自然语言生成模型，根据所述输入样本对第一生成结果进行更新，以得到第二生成结果，所述第一生成结果的初始值采用所述自然语言生成模型，对所述输入样本进行处理后得到；
在未达到预设的第二更新结束条件时，将所述第二生成结果作为新的第一生成结果，采用所述自然语言生成模型，根据所述输入样本对所述新的第一生成结果进行更新，直至达到所述第二更新结束条件；
根据达到所述第二更新结束条件时的第二生成结果，以及所述输出样本，调整所述自然语言生成模型的参数；
其中，所述获取训练数据，包括：
在已有的训练集中，获取已有数据，所述已有数据包括：已有输入数据和已有输出数据；
根据所述已有数据，获取待修正数据。
5.根据权利要求4所述的方法，其中，所述已有数据被分为预设的N份样本，所述N份样本中的各份样本包括至少一组样本，所述至少一组样本中的各组样本包括：已有输入数据和已有输出数据，所述根据所述已有数据，获取待修正样本，包括：
获取当前训练样本和当前应用样本，所述当前训练样本为所述N份样本中当前选择的（N-1）份样本，所述当前应用样本为所述N份样本中，除了所述当前选择的（N-1）份样本之外的1份样本；
采用所述当前训练样本，训练序列到序列模型；
将所述当前应用样本中的已有输入数据输入到所述序列到序列模型中，采用所述序列到序列模型对所述已有输入数据进行处理，将所述序列到序列模型的输出确定为所述当前应用样本中的已有输入数据对应的待修正数据。
6.根据权利要求5所述的方法，其中，所述采用所述当前训练样本，训练序列到序列模型，包括：
采用所述当前训练样本，对预训练模型进行微调，以得到序列到序列模型。
7.根据权利要求4-6任一项所述的方法，其中，所述根据所述训练数据构建输入样本和输出样本，包括：
将所述已有输入数据和所述待修正数据进行文本拼接，以得到拼接文本；
将所述拼接文本作为所述输入样本，将所述已有输出数据作为所述输出样本。
8.一种自然语言生成装置，包括：
更新模块，用于采用自然语言生成模型，对第一生成文本进行更新，以得到第二生成文本，所述第一生成文本采用所述自然语言生成模型，对用户文本进行处理后得到；
处理模块，用于在未达到预设的第一更新结束条件时，将所述第二生成文本作为新的第一生成文本，采用所述自然语言生成模型，对所述新的第一生成文本进行更新，直至达到所述第一更新结束条件；
确定模块，用于将达到所述第一更新结束条件时的第二生成文本，确定为所述用户文本对应的自然语言生成文本；
其中，所述第一更新结束条件包括：第一更新次数，所述处理模块还用于：
确定所述更新的更新次数，在所述更新次数小于所述第一更新次数时，判定未达到所述第一更新结束条件。
9.根据权利要求8所述的装置，其中，所述自然语言生成模型在训练时预设第二更新次数，所述第一更新次数小于或等于所述第二更新次数。
10.根据权利要求8-9任一项所述的装置，其中，所述自然语言生成模型包括：编码器和解码器，所述更新模块具体用于：
采用所述编码器对所述用户文本进行编码处理，以得到编码结果；
采用所述解码器，对所述编码结果和所述第一生成文本进行解码处理，以得到第二生成文本。
11.一种自然语言生成模型的训练装置，包括：
获取模块，用于获取训练数据，所述训练数据包括：已有输入数据、待修正数据和已有输出数据；
构建模块，用于根据所述训练数据构建输入样本和输出样本；
更新模块，用于采用自然语言生成模型，对第一生成结果进行更新，以得到第二生成结果，所述第一生成结果采用所述自然语言生成模型，对所述输入样本进行处理后得到；
处理模块，用于在未达到预设的第二更新结束条件时，将所述第二生成结果作为新的第一生成结果，采用所述自然语言生成模型，对所述新的第一生成结果进行更新，直至达到所述第二更新结束条件；
调整模块，用于根据达到所述第二更新结束条件时的第二生成结果，以及所述输出样本，调整所述自然语言生成模型的参数；
其中，所述获取模块具体用于：
在已有的训练集中，获取已有数据，所述已有数据包括：已有输入数据和已有输出数据；
根据所述已有数据，获取待修正数据。
12.根据权利要求11所述的装置，其中，所述已有数据被分为预设的N份样本，所述N份样本中的各份样本包括至少一组样本，所述至少一组样本中的各组样本包括：已有输入数据和已有输出数据，所述获取模块进一步具体用于：
获取当前训练样本和当前应用样本，所述当前训练样本为所述N份样本中当前选择的（N-1）份样本，所述当前应用样本为所述N份样本中，除了所述当前选择的（N-1）份样本之外的1份样本；
采用所述当前训练样本，训练序列到序列模型；
将所述当前应用样本中的已有输入数据输入到所述序列到序列模型中，采用所述序列到序列模型对所述已有输入数据进行处理，将所述序列到序列模型的输出确定为所述当前应用样本中的已有输入数据对应的待修正数据。
13.根据权利要求12所述的装置，其中，所述获取模块进一步具体用于：
采用所述当前训练样本，对预训练模型进行微调，以得到序列到序列模型。
14.根据权利要求11-13任一项所述的装置，其中，所述构建模块具体用于：
将所述已有输入数据和所述待修正数据进行文本拼接，以得到拼接文本；
将所述拼接文本作为所述输入样本，将所述已有输出数据作为所述输出样本。
15. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的生成方法，或者，权利要求4-7中任一项所述的训练方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-3中任一项所述的生成方法，或者，权利要求4-7中任一项所述的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184842.7A CN112861548B (zh) | 2021-02-10 | 2021-02-10 | 自然语言生成及模型的训练方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184842.7A CN112861548B (zh) | 2021-02-10 | 2021-02-10 | 自然语言生成及模型的训练方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112861548A CN112861548A (zh) | 2021-05-28 |
| CN112861548B true CN112861548B (zh) | 2023-06-23 |
Family
ID=75987975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110184842.7A Active CN112861548B (zh) | 2021-02-10 | 2021-02-10 | 自然语言生成及模型的训练方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861548B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113284496B (zh) * | 2021-07-22 | 2021-10-12 | 广州小鹏汽车科技有限公司 | 语音控制方法、语音控制系统、车辆、服务器和存储介质 |
| CN114186550B (zh) * | 2021-12-10 | 2023-04-18 | 北京百度网讯科技有限公司 | 文本处理方法、装置、系统、设备以及存储介质 |
| CN114691858B (zh) * | 2022-03-15 | 2023-10-03 | 电子科技大学 | 一种基于改进的unilm摘要生成方法 |
| CN114417794B (zh) * | 2022-03-29 | 2022-09-09 | 北京大学 | 量表问题生成模型的训练方法、装置和计算机设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2705345A1 (en) * | 2007-11-14 | 2009-05-22 | Ivaylo Popov | Method for the creation of an unambiguous model of a text in a natural language |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014035447A1 (en) * | 2012-08-30 | 2014-03-06 | Data2Text Limited | Method and apparatus for updating a previously generated text |
| WO2019147804A1 (en) * | 2018-01-26 | 2019-08-01 | Ge Inspection Technologies, Lp | Generating natural language recommendations based on an industrial language model |
| US20200410056A1 (en) * | 2019-06-27 | 2020-12-31 | Microsoft Technology Licensing, Llc | Generating machine learning training data for natural language processing tasks |
| US11275906B2 (en) * | 2019-07-17 | 2022-03-15 | Avigilon Corporation | Natural language text conversion and method therefor |
| CN111274764B (zh) * | 2020-01-23 | 2021-02-23 | 北京百度网讯科技有限公司 | 语言生成方法、装置、计算机设备及存储介质 |
| CN111563390B (zh) * | 2020-04-28 | 2022-03-15 | 北京字节跳动网络技术有限公司 | 文本生成方法、装置和电子设备 |
| CN111611808B (zh) * | 2020-05-22 | 2023-08-01 | 北京百度网讯科技有限公司 | 用于生成自然语言模型的方法和装置 |
| CN111950295A (zh) * | 2020-08-10 | 2020-11-17 | 北京嘀嘀无限科技发展有限公司 | 一种训练自然语言处理模型的方法和系统 |
| CN111967224A (zh) * | 2020-08-18 | 2020-11-20 | 深圳市欢太科技有限公司 | 对话文本的处理方法、装置、电子设备及存储介质 |
| CN112199479A (zh) * | 2020-09-15 | 2021-01-08 | 北京捷通华声科技股份有限公司 | 优化语言语义理解模型方法、装置、设备及存储介质 |
| CN112199963A (zh) * | 2020-09-30 | 2021-01-08 | 北京搜狗科技发展有限公司 | 一种文本处理方法、装置和用于文本处理的装置 |
-
2021
- 2021-02-10 CN CN202110184842.7A patent/CN112861548B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2705345A1 (en) * | 2007-11-14 | 2009-05-22 | Ivaylo Popov | Method for the creation of an unambiguous model of a text in a natural language |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112861548A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112861548B (zh) | 自然语言生成及模型的训练方法、装置、设备和存储介质 | |
| CN113239705B (zh) | 语义表示模型的预训练方法、装置、电子设备和存储介质 | |
| CN112597754B (zh) | 文本纠错方法、装置、电子设备和可读存储介质 | |
| CN112597753A (zh) | 文本纠错处理方法、装置、电子设备和存储介质 | |
| CN112466288B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
| CN113590858B (zh) | 目标对象的生成方法、装置、电子设备以及存储介质 | |
| CN112926306B (zh) | 文本纠错方法、装置、设备以及存储介质 | |
| CN112307188B (zh) | 对话生成方法、系统、电子设备和可读存储介质 | |
| CN113963359B (zh) | 文本识别模型训练方法、文本识别方法、装置及电子设备 | |
| CN113792855A (zh) | 一种模型训练及字库建立方法、装置、设备和存储介质 | |
| CN113468857B (zh) | 风格转换模型的训练方法、装置、电子设备以及存储介质 | |
| CN113689868B (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 | |
| CN114492426A (zh) | 子词切分方法、模型训练方法、装置和电子设备 | |
| CN115292467B (zh) | 信息处理与模型训练方法、装置、设备、介质及程序产品 | |
| CN114937478B (zh) | 用于训练模型的方法、用于生成分子的方法和装置 | |
| CN113689866B (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 | |
| CN114841175A (zh) | 机器翻译方法、装置、设备及存储介质 | |
| CN113553413A (zh) | 对话状态的生成方法、装置、电子设备和存储介质 | |
| CN113255332B (zh) | 文本纠错模型的训练与文本纠错方法、装置 | |
| CN115309888B (zh) | 图表摘要的生成方法和生成模型的训练方法、装置 | |
| CN113689867B (zh) | 一种语音转换模型的训练方法、装置、电子设备及介质 | |
| CN116229214B (zh) | 模型训练方法、装置及电子设备 | |
| CN115169549B (zh) | 人工智能模型更新方法、装置、电子设备及存储介质 | |
| CN115630630A (zh) | 语言模型处理方法、业务处理方法、装置、设备及介质 | |
| CN117690418A (zh) | 语音信息的分类方法、装置、存储介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |