CN111767744A - 文本风格迁移系统的训练方法及装置 - Google Patents

文本风格迁移系统的训练方法及装置 Download PDF

Info

Publication number
CN111767744A
CN111767744A CN202010639197.9A CN202010639197A CN111767744A CN 111767744 A CN111767744 A CN 111767744A CN 202010639197 A CN202010639197 A CN 202010639197A CN 111767744 A CN111767744 A CN 111767744A
Authority
CN
China
Prior art keywords
text
style
training
encoder
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010639197.9A
Other languages
English (en)
Other versions
CN111767744B (zh
Inventor
何苏
王亮
赵薇
刘金龙
柳景明
郭常圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ape Power Future Technology Co Ltd
Original Assignee
Beijing Ape Power Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ape Power Future Technology Co Ltd filed Critical Beijing Ape Power Future Technology Co Ltd
Priority to CN202010639197.9A priority Critical patent/CN111767744B/zh
Publication of CN111767744A publication Critical patent/CN111767744A/zh
Application granted granted Critical
Publication of CN111767744B publication Critical patent/CN111767744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种文本风格迁移系统的训练方法及装置，所述训练方法包括：获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本；将所述第一风格文本和所述第二风格文本输入至文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件，两个模型同时学习与更新，在共用的编码器中共享文本风格的特征，使得编码器输出的编码结果更接近于第二风格文本，模型训练效果更好，BLEU分值更高。

Description

文本风格迁移系统的训练方法及装置
技术领域
本申请涉及计算机技术领域，特别涉及文本风格迁移系统的训练方法及装置、文本风格迁移方法及装置、计算设备和计算机可读存储介质。
背景技术
随着科学技术的不断发展，人工智能领域也取得了长足的进步，目前人工智能技术在智能出行、智能家居等领域都得到了具体落地应用。然而目前在于文本相关的领域仍未取得较大的突破，比如对文本的风格进行转换，将口语化的英语句子转化为更加规范的表达等。
在现有的文本风格迁移过程中，通常采用的方法包括人工手动对文本进行修改或采用循环神经网络(RNN)或长短期记忆神经网络(LSTM)进行文本生成，但是人工对文本风格进行修改需要消耗大量的人力，并且不同的人对同一文本进行风格改写时，改写的结果受人为影响较大，对改写结果的评估也造成了很大的困难，另外一种通过RNN或LSTM等网络模型对文本风格进行转换在训练过程中都是单任务学习，简单的用一个神经网络模型对文本进行改写以达到修改文本风格的目的，但是不能直接控制生成的文本的风格，无法对改写后的文本是否达到了风格的转换进行验证。
因此，如何解决上述问题，可以更好的控制改写后文本的风格就成为技术人员亟待解决的问题。
发明内容
有鉴于此，本申请实施例提供了文本风格迁移系统的训练方法及装置、文本风格迁移方法及装置、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。
根据本申请实施例的第一方面，提供了一种文本风格迁移系统的训练方法，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，所述训练方法包括：
获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本；
将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件。
可选的，将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，包括：
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量；
将所述第二风格文本和所述编码向量经过所述文本风格迁移模型的解码器处理获得所述文本风格迁移模型输出的迁移文本；
根据所述迁移文本和所述第二风格文本计算损失值；
根据所述损失值调整所述文本风格迁移模型的模型参数以训练所述文本风格迁移模型。
可选的，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，包括：
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量；
将所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率；
根据所述正例概率调整所述文本风格分类模型参数以训练所述文本风格分类模型。
可选的，所述编码器包括第一嵌入层和n个依次连接的编码层；
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量，包括：
将所述第一风格文本输入至所述第一嵌入层做嵌入化处理，获得所述第一风格文本对应的嵌入化向量；
将所述嵌入化向量依次输入至每个所述编码层做编码处理，获得最后一个编码层输出的编码向量。
可选的，所述解码器包括第二嵌入层、m个依次连接的解码层和输出层；
将所述第二风格文本和所述编码向量经过所述文本风格迁移模型的解码器处理获得所述文本风格迁移模型输出的迁移文本，包括：
S51、将所述第二风格文本输入至所述第二嵌入层做嵌入化处理，获得初始参考编码向量；
S52、将所述编码向量和所述初始参考编码向量输入至第1个解码层，得到所述第1个解码层输出的解码向量；
S53、将所述解码向量和第j-1个解码层输出的解码向量输入至第j个解码层，得到第j个解码层输出的解码向量，其中2≤j≤m；
S54、将j自增1，判断j是否大于m，若是，则执行步骤S55，若否，继续执行步骤S53；
S55、将第m个解码层输出的解码向量经过输出层的归一化处理，获得对应的迁移文本。
可选的，根据所述损失值调整所述文本风格迁移模型的模型参数，包括：
根据所述损失值调整所述编码器和所述解码器的参数。
可选的，所述分类器包括卷积层、池化层、全连接层和归一化层；
将所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率，包括：
将所述编码向量输入至所述卷积层做卷积处理，获得卷积向量；
将所述卷积向量经过所述池化层、所述全连接层和所述归一化层处理，获得所述文本风格分类模型输出的正例概率。
可选的，根据所述正例概率调整所述文本风格分类模型参数，包括：
根据所述正例概率调整所述编码器和所述分类器的模型参数。
可选的，所述训练停止条件包括：所述文本风格迁移模型的损失值小于预设第一阈值且所述文本风格分类模型的正例概率大于第二预设阈值。
根据本申请实施例的第二方面，提供了一种文本风格迁移方法，包括：
获取待迁移文本；
将所述待迁移文本输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量，其中，所述文本风格迁移模型通过上述文本风格迁移系统的训练方法训练得到的；
将所述编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本。
根据本申请实施例的第三方面，提供了一种文本风格迁移系统的训练装置，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，所述训练装置包括：
获取模块，被配置为获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本；
训练模块，被配置为将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件。
根据本申请实施例的第四方面，提供了一种文本风格迁移装置，包括：
获取模块，被配置为获取待迁移文本；
编码模块，被配置为将所述待迁移文本输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量，其中，所述文本风格迁移模型通过上述文本风格迁移系统的训练方法训练得到的；
解码模块，被配置为将所述编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本。
根据本申请实施例的第五方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述文本风格迁移系统的训练方法或所述文本风格迁移方法的步骤。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述文本风格迁移系统的训练方法或所述文本风格迁移方法的步骤。
本申请实施例中提供的文本风格迁移系统的训练方法，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，通过将第一风格文本输入至共用的编码器中获得对应的编码向量，将所述编码向量和所述第二风格文本输入至文本风格迁移模型的解码器做解码处理获得对应的迁移文本，将所述编码向量输入至文本风格分类模型，获得所述文本风格分类模型输出的正例概率，通过文本风格迁移模型和文本风格分类模型的联合训练，将编码向量在多个任务中进行处理，根据每个任务的结果对各自的模型进行调参训练，两个模型同时学习与更新，在编码器中共享文本风格的特征，使得文本风格迁移模型的解码器输出的解码结果更接近于第二风格文本，文本风格分类模型的训练效果更好，BLEU分值更高。
附图说明
图1是本申请实施例提供的计算设备的结构框图；
图2是本申请实施例提供的文本风格迁移系统的训练方法的流程图；
图3是本申请实施例提供的文本风格迁移模型的训练方法的流程图；
图4是本申请实施例提供的文本风格分类模型的训练方法的流程图；
图5是本申请实施例提供的文本风格迁移系统的结构示意图；
图6是本申请另一实施例提供的文本风格迁移系统的训练方法的流程图；
图7是本申请实施例提供的文本风格迁移方法的流程图；
图8是本申请实施例提供的文本风格迁移系统的训练装置的结构示意图；
图9是本申请实施例提供的文本风格迁移装置的结构示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本发明一个或多个实施例涉及的名词术语进行解释。
多任务学习：将多个相关任务放在一起学习，同时学习多个任务。
Transformer：一种翻译模型，用自注意力模型的结构代替了长短期记忆模型，在翻译任务上取得了更好的成绩，包括编码器和解码器。
BLEU分数：一种评价机器翻译结果的指标，分值越高，效果越好。
文本风格迁移：对文本的风格进行转换，如将口语化的语句转换为规范的书面语句等。
正例：将第二风格文本标注为正例。
负例：将第一风格文本标注为负例。
在本申请中，提供了文本风格迁移系统的训练方法及装置、文本风格迁移方法及装置、计算设备和计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
其中，处理器120可以执行图2所示文本风格迁移系统的训练方法中的步骤。图2示出了根据本申请一实施例的文本风格迁移系统的训练方法的流程图，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，所述训练方法包括步骤202至步骤204。
步骤202：获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本。
文本风格迁移是自然语言处理领域的一个重要组成部分，通常是将第一风格文本转换为第二风格的文本，如在将口语化的英语文本转换为书面语的英语文本的任务中，则第一风格文本为口语化英语文本，第二风格文本为书面语的英语文本；在将口语化的中文文本转换为文言文的中文文本的任务中，第一风格文本为口语化的中文文本，第二风格文本为文言文的中文文本。
在本申请中，文本的语言根据实际情况设置，可以为中文、英文、法文、德文等，在本申请中不对文本的语言做限定。
在本申请提供的实施例中，以将口语化的中文文本转换为文言文的中文文本为例，获取训练样本，训练样本中第一风格文本为“你叫什么？”，对应的第二风格文本为“请教阁下尊姓大名？”。
步骤204：将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件。
在实际应用中，将第一风格文本和第二风格文本输入至所述文本风格迁移模型进行训练，将第一风格文本输入至所述文本风格分类模型进行训练，两个模型同时学习与更新，在共用的编码器中共享文本风格的特征，使得编码器输出的编码结果更接近于第二风格文本，模型训练效果更好，BLEU分值更高。
可选的，参见图3，图3示出了本申请一实施例的文本风格迁移模型训练方法的流程图，将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，包括步骤302至步骤308。
步骤302：将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量。
所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，所述编码器以Transformer模型为基础的编码器，所述编码器包括第一嵌入层和n个依次连接的编码层。
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量，包括：将所述第一风格文本输入至所述第一嵌入层做嵌入化处理，获得所述第一风格文本对应的嵌入化向量；将所述嵌入化向量依次输入至每个所述编码层做编码处理，获得最后一个编码层输出的编码向量。
在实际应用中，将所述第一风格文本数据至第一嵌入层做嵌入化处理，具体的是将第一风格文本数据切分得到多个词单元，再将每个词单元进行词嵌入处理，获得每个词单元对应的词向量，对文本数据做嵌入化处理，可以用低维度向量对文本进行编码，同时还可以保留其含义的特点。
词嵌入实际上是一种将各个词单元在预定的向量空间中表示为实值向量的一类技术，每个词单元被映射为一个词向量，再为每个词向量配置对应的位置编码，位置编码确定了词在句子中的绝对位置和相对位置，保证了句子的顺序性，提供了位置信息向量，具体的计算公式如下公式1和公式2所示：
Figure BDA0002570818650000111
Figure BDA0002570818650000112
其中，PE为二维矩阵，大小跟第一嵌入层的维度一样，行表示词语，列表示词向量；pos表示词语在句子中的位置；dmodel表示词向量的维度；i表示词向量的位置，上述公式表示在每个词语的词向量的偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个PE矩阵，这样便完成位置编码的引入。使用sin编码和cos编码的原因是可以得到词语之间的相对位置。
在经过第一嵌入层的嵌入化处理后，获得所述第一风格文本对应的嵌入化向量，再将所述嵌入化向量依次输入至所述编码器的每个编码层中做编码处理，每个编码层中包括自注意力层和前馈网络层，对于第1个编码层接收嵌入化向量，经过第1个编码层中的自注意力层计算和前馈网络层的计算，获得第1个编码层的编码向量，对于出去第1个编码层的其他编码层，接收上一个编码层输出的编码向量，经过当前编码层中自注意力层计算和前馈网络层的计算，获得当前编码层的编码向量，并将最后一个编码层输出的编码向量作为编码器最终的编码向量。
在本申请提供的实施例中，沿用上例，将所述第一风格文本“你叫什么？”输入至所述编码器做相应的编码处理，获得所述编码器输出的与所述第一风格文本对应的编码向量E。
步骤304：将所述第二风格文本和所述编码向量经过所述文本风格迁移模型的解码器处理获得所述文本风格迁移模型输出的迁移文本。
具体的，所述文本风格迁移模型的解码器包括第二嵌入层、m个依次连接的解码层和输出层；步骤304包括S3040至S3048：
S3040、将所述第二风格文本输入至所述第二嵌入层做嵌入化处理，获得初始参考编码向量。
在本申请提供的实施例中，沿用上例，将第二风格文本为“请教阁下尊姓大名？”输入至第二嵌入层做嵌入化处理，具体的嵌入化操作同上述第一嵌入层的嵌入化处理，在此不再赘述，获得初始参考编码向量E0。
S3042、将所述编码向量和所述初始参考编码向量输入至第1个解码层，得到所述第1个解码层输出的解码向量。
在本申请提供的实施例中，沿用上例，将编码向量E和初始参考编码向量E0输入至所述解码器的第1个解码层，每个解码层包括自注意力层、编码-解码注意力层和前馈神经网络层，初始参考编码向量经过自注意力层的自注意力计算，获得的结果与编码向量E在编码-解码注意力层做注意力计算，再将计算结果经过前馈神经网络层处理获得第1个解码层输出的解码向量D1。
S3044、将所述解码向量和第j-1个解码层输出的解码向量输入至第j个解码层，得到第j个解码层输出的解码向量，其中2≤j≤m。
在本申请提供的实施例中，沿用上例，对于第j个解码层，接收解码向量E和上一个解码层输出的解码向量Dj-1，解码向量Dj-1经过自注意力层的自注意力计算，获得的结果与编码向量E在编码-解码注意力层做注意力计算，再将计算结果经过前馈神经网络层处理获得第j个解码层输出的解码向量Dj。
S3046、将j自增1，判断j是否大于m，若是，则执行步骤S3048，若否，继续执行步骤S3044。
若当前解码层不是最后一个解码层，则继续执行步骤S3044，若当前解码层是最后一个解码层，则执行步骤S3048。
S3048、将第m个解码层输出的解码向量经过输出层的归一化处理，获得对应的迁移文本。
将最后一个解码层输出的解码向量Dm经过输出层的线性化和归一化处理，获得所述文本风格迁移模型输出的与所述第一风格文本对应的迁移文本。
步骤306：根据所述迁移文本和所述第二风格文本计算损失值。
在实际应用中，根据文本风格迁移模型输出的迁移文本与样本数据中的第二风格文本计算损失值，计算损失值的方法有很多，如交叉熵损失值、最大熵函数等，在本申请中对如何计算损失值不做限制。
步骤308：根据所述损失值调整所述文本风格迁移模型的模型参数以训练所述文本风格迁移模型。
在实际应用中，根据所述损失值调整所述编码器和所述解码器的参数，使得损失值小于第一预设阈值。
在实际应用中，文本风格分类模型由编码器和分类器组成，其中所述分类器来自于预先训练的初始文本风格分类模型的分类器，初始文本风格分类模型包括嵌入层和分类器，预先对已有的训练数据做预处理，获得标注好的<第一风格文本，第二风格文本>的句子对，将第一风格文本标注为负例，将第二风格文本标注为正例，输入至初始文本风格分类模型的分类器中进行预训练。
将所述第一风格文本输入至所述初始文本风格分类模型的嵌入层中，采用预先训练好的word2vec词向量表对所述第一风格文本做嵌入化处理，生成对应的词向量集合，将所述词向量集合输入至所述分类器做分类处理，得到所述第一风格文本对应的正例概率，经过预设数量的训练轮次，当初始文本风格分类模型输出的正例概率的准确率超过预设阈值的情况下，得到初始文本风格分类模型。
将初始风格分类模型中的分类器与所述编码器组合成文本风格分类模型继续参与训练。
可选的，参见图4，图4示出了本申请一实施例的文本风格分类模型训练方法的流程图，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，包括步骤402至步骤406。
步骤402：将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量。
步骤402与上述步骤302的方法一致，关于步骤402的具体解释，参见前述实施例中的步骤302的详细内容，在此就不再赘述。
步骤404：所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率。
具体的，所述文本风格分类模型的分类器包括卷积层、池化层、全连接层和归一化层；
将所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率，包括：将所述编码向量输入至所述卷积层做卷积处理，获得卷积向量；将所述卷积向量经过所述池化层、所述全连接层和所述归一化层处理，获得所述文本风格分类模型输出的正例概率。
在本申请中，将第一风格文本标注为负例，将第二风格文本标注为正例，文本风格分类模型在将第一风格文本经过编码层处理后，提取的编码向量更接近于正例，则说明编码器的编码效果更好，提取到的编码特征更接近于第二风格文本。
在实际应用中，所述文本风格分类模型为二分类模型，将编码向量经过一个一维卷积层的处理，卷积核设置为3，获得卷积层输出的卷积向量，所述卷积向量再经过池化层的对特征进行降维，其中池化层可以为最大池化，也可以为平均池化，在本申请中不做限制，将池化结果经过全连接层和归一化处理，获得所述文本风格分类模型输出的正例概率。
步骤406：根据所述正例概率调整所述文本风格分类模型参数以训练所述文本风格分类模型。
在实际应用中，根据所述正例概率调整所述编码器和所述分类器的模型参数。
在实际应用中，根据所述损失值调整所述编码器和所述解码器的参数，根据所述正例概率调整所述编码器和所述分类器的模型参数，由于文本风格迁移模型和文本风格分类模型共用同一个编码器，因此在调参过程中，编码器即会参考文本风格迁移模型的信息，也会参考文本风格分类模型的信息，两个模型同时学习与更新，两个任务通过多任务学习可以共享信息。
当文本风格迁移模型的损失值小于第一预设阈值且文本风格分类模型的正例概率大于第二预设阈值的情况下，所述文本风格迁移模型和所述文本风格分类模型训练完成，即文本风格迁移系统训练完成。
本申请实施例中提供的文本风格迁移系统的训练方法，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，通过将第一风格文本输入至共用的编码器中获得对应的编码向量，将所述编码向量和所述第二风格文本输入至文本风格迁移模型的解码器做解码处理获得对应的迁移文本，将所述编码向量输入至文本风格分类模型，获得所述文本风格分类模型输出的正例概率，通过文本风格迁移模型和文本风格分类模型的联合训练，将编码向量在多个任务中进行处理，根据每个任务的结果对各自的模型进行调参训练，两个模型同时学习与更新，在编码器中共享文本风格的特征，使得文本风格迁移模型的解码器输出的解码结果更接近于第二风格文本，文本风格分类模型的训练效果更好，BLEU分值更高。
下面结合图5和图6对本申请提供给的文本风格迁移系统的训练方法做进一步解释说明，图5示出了本申请一实施例提供的文本风格迁移系统的结构示意图，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器。
图6示出了本申请一实施例的文本风格迁移系统的训练方法，以训练将口语英文文本转换为书面英语文本的文本风格迁移系统为例进行解释说明，所述训练方法包括步骤602至步骤612。
步骤602：获取口语英语文本和与口语英语文本对应的书面英语文本。
在本申请提供的实施例中，获取口语英语文本为“if you are a nice personthen read on”，对应的书面英语文本为“if you are a nice person,please keepreading”。
步骤604：将口语英语文本输入至所述编码器，获得所述编码器输出的与口语英语文本对应的编码向量。
在本申请提供的实施例中，将口语英语文本“if you are a nice person thenread on”输入至编码器，所述编码器包括1个第一嵌入层和12个编码层，获得所述编码器输出的与所述口语英语文本对应的编码向量E。
步骤606：将所述书面英语文本和所述编码向量输入至所述文本风格迁移模型的解码器，获得所述文本风格迁移模型输出的迁移文本。
在本申请提供的实施例中，将书面英语文本“if you are a nice person,pleasekeep reading”和编码向量E输入至文本风格迁移模型的解码器做解码处理，获得所述文本风格迁移模型输出的迁移文本。
步骤608：根据所述迁移文本和所述口语英语文本计算损失值。
在本申请提供的实施例中，根据所述迁移文本和书面英语文本“if you are anice person,please keep reading”计算交叉熵损失值Loss。
步骤610：将所述编码向量输入至所述文本风格分类模型的分类器，获得所述文本风格分类模型输出的正例概率。
在本申请提供的实施例中，将编码向量E输入至所述文本风格分类模型的分类器做分类处理，获得所述编码器输出的正例概率。
需要注意的是，步骤606-608与步骤610之间没有必然的先后执行顺序，步骤606-608和步骤610可以并行执行，在本申请中对此不做限定。
步骤612：根据所述损失值调整所述文本风格迁移模型的模型参数以训练所述文本风格迁移模型，根据所述正例概率调整所述文本风格分类模型参数以训练所述文本风格分类模型，直至达到训练停止条件。
在本申请提供的实施例中，通过所述损失值Loss调整所述解码器的参数和所述编码器的参数，根据所述正例概率调整所述分类器的参数和所述编码器的参数，直至达到训练停止条件。
本申请实施例中提供的文本风格迁移系统的训练方法，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，通过将第一风格文本输入至共用的编码器中获得对应的编码向量，将所述编码向量和所述第二风格文本输入至文本风格迁移模型的解码器做解码处理获得对应的迁移文本，将所述编码向量输入至文本风格分类模型，获得所述文本风格分类模型输出的正例概率，通过文本风格迁移模型和文本风格分类模型的联合训练，将编码向量在多个任务中进行处理，根据每个任务的结果对各自的模型进行调参，两个模型同时学习与更新，在编码器中共享文本风格的特征，使得文本风格迁移模型的解码器输出的解码结果更接近于第二风格文本，文本风格分类模型的训练效果更好，BLEU分值更高。
处理器120还可以执行图7所示文本风格迁移方法中的步骤。图7示出了根据本申请一实施例的文本风格迁移方法的流程图，所述方法包括步骤702至步骤706。
步骤702：获取待迁移文本。
在本申请提供的实施例中，以待迁移文本“but if you just try to workthings out,your only lost of time spent.”为例进行解释说明。
步骤704：将所述待迁移文本输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量，其中，所述文本风格迁移模型通过上述文本风格迁移系统的训练方法训练得到的。
在本申请提供的实施例中，将所述待迁移文本“but if you just try to workthings out,your only lost of time spent.”输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量E，所述文本风格迁移模型被训练于将输入的口语英语文本转换为书面英语文本。
步骤706：将所述编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本。
在本申请提供的实施例中，将所述编码向量E和初始参考编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本“However,if yousimply try to solve it,your only loss is the time spent”。
本申请实施例中提供的文本风格迁移方法，所述方法中的文本风格迁移模型是通过上述文本风格迁移系统的训练方法训练获得的，在训练过程中文本风格迁移模型和文本风格分类模型的联合训练，两个模型同时学习与更新，通过多任务学习，生成的句子更加接近训练目的获得表达方式，文本风格迁移模型的BLEU分值更高，文本风格迁移效果更好。
与上述文本风格迁移系统的训练方法实施例相对应，本申请还提供了文本风格迁移系统的训练装置实施例，图8示出了本申请一个实施例的文本风格迁移系统的训练装置的结构示意图。所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，如图8所示，所述训练装置包括：
获取模块802，被配置为获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本；
训练模块804，被配置为将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件。
可选的，所述训练模块804，包括：
编码单元，被配置为将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量；
解码单元，被配置为将所述第二风格文本和所述编码向量经过所述文本风格迁移模型的解码器处理获得所述文本风格迁移模型输出的迁移文本；
计算单元，被配置为根据所述迁移文本和所述第二风格文本计算损失值；
第一调参单元，被配置为根据所述损失值调整所述文本风格迁移模型的模型参数以训练所述文本风格迁移模型。
可选的，所述训练模块804，还包括：
分类单元，被配置为将所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率；
第二调参单元，被配置为根据所述正例概率调整所述文本风格分类模型参数以训练所述文本风格分类模型。
可选的，所述编码器包括第一嵌入层和n个依次连接的编码层；
所述编码单元，进一步被配置为将所述第一风格文本输入至所述第一嵌入层做嵌入化处理，获得所述第一风格文本对应的嵌入化向量；将所述嵌入化向量依次输入至每个所述编码层做编码处理，获得最后一个编码层输出的编码向量。
可选的，所述解码器包括第二嵌入层、m个依次连接的解码层和输出层；
所述解码单元，包括：
嵌入化子单元，被配置为将所述第二风格文本输入至所述第二嵌入层做嵌入化处理，获得初始参考编码向量；
第一解码子单元，被配置为将所述编码向量和所述初始参考编码向量输入至第1个解码层，得到所述第1个解码层输出的解码向量；
第j解码子单元，被配置为将所述解码向量和第j-1个解码层输出的解码向量输入至第j个解码层，得到第j个解码层输出的解码向量，其中2≤j≤m；
自增判断子单元，被配置为将j自增1，判断j是否大于m，若是，则执行输出子单元，若否，则执行第j解码子单元；
第一输出子单元，被配置为将第m个解码层输出的解码向量经过输出层的归一化处理，获得对应的迁移文本。
可选的，所述第一调参单元，进一步被配置为根据所述损失值调整所述编码器和所述解码器的参数。
可选的，所述分类器包括卷积层、池化层、全连接层和归一化层；
所述分类单元，进一步被配置为将所述编码向量输入至所述卷积层做卷积处理，获得卷积向量；将所述卷积向量经过所述池化层、所述全连接层和所述归一化层处理，获得所述文本风格分类模型输出的正例概率。
可选的，所述第二调参单元，进一步被配置为根据所述正例概率调整所述编码器和所述分类器的模型参数。
可选的，所述训练停止条件包括：所述文本风格迁移模型的损失值小于预设第一阈值且所述文本风格分类模型的正例概率大于第二预设阈值。
本申请实施例中提供的文本风格迁移系统的训练装置，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，通过将第一风格文本输入至共用的编码器中获得对应的编码向量，将所述编码向量和所述第二风格文本输入至文本风格迁移模型的解码器做解码处理获得对应的迁移文本，将所述编码向量输入至文本风格分类模型，获得所述文本风格分类模型输出的正例概率，通过文本风格迁移模型和文本风格分类模型的联合训练，将编码向量在多个任务中进行处理，根据每个任务的结果对各自的模型进行调参训练，两个模型同时学习与更新，在编码器中共享文本风格的特征，使得文本风格迁移模型的解码器输出的解码结果更接近于第二风格文本，文本风格分类模型的训练效果更好，BLEU分值更高。
与上述文本风格迁移方法实施例相对应，本申请还提供了文本风格迁移装置实施例，图9示出了本申请一个实施例的文本风格迁移装置的结构示意图。
如图9所示，该装置包括：
获取模块902，被配置为获取待迁移文本。
编码模块904，被配置为将所述待迁移文本输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量，其中，所述文本风格迁移模型通过上述文本风格迁移系统的训练方法训练得到的。
解码模块906，被配置为将所述编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本。
本申请实施例中提供的文本风格迁移装置，所述装置中的文本风格迁移模型是通过上述文本风格迁移系统的训练方法训练获得的，在训练过程中文本风格迁移模型和文本风格分类模型的联合训练，两个模型同时学习与更新，通过多任务学习，生成的句子更加接近训练目的获得表达方式，文本风格迁移模型的BLEU分值更高，文本风格迁移效果更好。
本申请一实施例中还提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述文本风格迁移系统的训练方法或文本风格迁移方法的步骤。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现如前所述文本风格迁移系统的训练方法或文本风格迁移方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的文本风格迁移系统的训练方法或文本风格迁移方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述文本风格迁移系统的训练方法或文本风格迁移方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种文本风格迁移系统的训练方法，其特征在于，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，所述训练方法包括：
获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本；
将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件。
2.如权利要求1所述的训练方法，其特征在于，将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，包括：
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量；
将所述第二风格文本和所述编码向量经过所述文本风格迁移模型的解码器处理获得所述文本风格迁移模型输出的迁移文本；
根据所述迁移文本和所述第二风格文本计算损失值；
根据所述损失值调整所述文本风格迁移模型的模型参数以训练所述文本风格迁移模型。
3.如权利要求1所述的训练方法，其特征在于，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，包括：
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量；
将所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率；
根据所述正例概率调整所述文本风格分类模型参数以训练所述文本风格分类模型。
4.如权利要求2或3所述的训练方法，其特征在于，所述编码器包括第一嵌入层和n个依次连接的编码层；
将所述第一风格文本输入至所述编码器，获得所述编码器输出的与所述第一风格文本对应的编码向量，包括：
将所述第一风格文本输入至所述第一嵌入层做嵌入化处理，获得所述第一风格文本对应的嵌入化向量；
将所述嵌入化向量依次输入至每个所述编码层做编码处理，获得最后一个编码层输出的编码向量。
5.如权利要求2所述的训练方法，其特征在于，所述解码器包括第二嵌入层、m个依次连接的解码层和输出层；
将所述第二风格文本和所述编码向量经过所述文本风格迁移模型的解码器处理获得所述文本风格迁移模型输出的迁移文本，包括：
S51、将所述第二风格文本输入至所述第二嵌入层做嵌入化处理，获得初始参考编码向量；
S52、将所述编码向量和所述初始参考编码向量输入至第1个解码层，得到所述第1个解码层输出的解码向量；
S53、将所述解码向量和第j-1个解码层输出的解码向量输入至第j个解码层，得到第j个解码层输出的解码向量，其中2≤j≤m；
S54、将j自增1，判断j是否大于m，若是，则执行步骤S55，若否，继续执行步骤S53；
S55、将第m个解码层输出的解码向量经过输出层的归一化处理，获得对应的迁移文本。
6.如权利要求2所述的训练方法，其特征在于，根据所述损失值调整所述文本风格迁移模型的模型参数，包括：
根据所述损失值调整所述编码器和所述解码器的参数。
7.如权利要求3所述的训练方法，其特征在于，所述分类器包括卷积层、池化层、全连接层和归一化层；
将所述编码向量经过所述文本风格分类模型的分类器处理获得所述文本风格分类模型输出的正例概率，包括：
将所述编码向量输入至所述卷积层做卷积处理，获得卷积向量；
将所述卷积向量经过所述池化层、所述全连接层和所述归一化层处理，获得所述文本风格分类模型输出的正例概率。
8.如权利要求3所述的训练方法，其特征在于，根据所述正例概率调整所述文本风格分类模型参数，包括：
根据所述正例概率调整所述编码器和所述分类器的模型参数。
9.如权利要求1所述的训练方法，其特征在于，所述训练停止条件包括：所述文本风格迁移模型的损失值小于预设第一阈值且所述文本风格分类模型的正例概率大于第二预设阈值。
10.一种文本风格迁移方法，其特征在于，包括：
获取待迁移文本；
将所述待迁移文本输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量，其中，所述文本风格迁移模型通过权利要求1-9任意一项所述的训练方法训练得到的；
将所述编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本。
11.一种文本风格迁移系统的训练装置，其特征在于，所述文本风格迁移系统包括文本风格迁移模型和文本风格分类模型，所述文本风格迁移模型和所述文本风格分类模型包括同一个编码器，所述训练装置包括：
获取模块，被配置为获取训练样本，其中，所述训练样本包括第一风格文本和所述第一风格文本对应的第二风格文本；
训练模块，被配置为将所述第一风格文本和所述第二风格文本输入至所述文本风格迁移模型的编码器和解码器进行训练，将所述第一风格文本输入至所述文本风格分类模型的编码器和分类器进行训练，直至达到训练停止条件。
12.一种文本风格迁移装置，其特征在于，包括：
获取模块，被配置为获取待迁移文本；
编码模块，被配置为将所述待迁移文本输入至文本风格迁移模型的编码器做编码处理，获得所述编码器输出的编码向量，其中，所述文本风格迁移模型通过权利要求1-9任意一项所述的训练方法训练得到的；
解码模块，被配置为将所述编码向量输入至所述文本风格迁移模型的解码器做解码处理，获得所述解码器输出的目标文本。
13.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-9或者10任意一项所述方法的步骤。
14.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-9或者10任意一项所述方法的步骤。
CN202010639197.9A 2020-07-06 2020-07-06 文本风格迁移系统的训练方法及装置 Active CN111767744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010639197.9A CN111767744B (zh) 2020-07-06 2020-07-06 文本风格迁移系统的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010639197.9A CN111767744B (zh) 2020-07-06 2020-07-06 文本风格迁移系统的训练方法及装置

Publications (2)

Publication Number Publication Date
CN111767744A true CN111767744A (zh) 2020-10-13
CN111767744B CN111767744B (zh) 2024-02-09

Family

ID=72723793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010639197.9A Active CN111767744B (zh) 2020-07-06 2020-07-06 文本风格迁移系统的训练方法及装置

Country Status (1)

Country Link
CN (1) CN111767744B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205449A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN113468857A (zh) * 2021-07-13 2021-10-01 北京百度网讯科技有限公司 风格转换模型的训练方法、装置、电子设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019052311A1 (zh) * 2017-09-12 2019-03-21 腾讯科技（深圳）有限公司 风格语句的生成方法、模型训练方法、装置及计算机设备
CN110738026A (zh) * 2019-10-23 2020-01-31 腾讯科技（深圳）有限公司 用于生成描述文本的方法和设备
CN111145720A (zh) * 2020-02-04 2020-05-12 清华珠三角研究院 一种将文本转换成语音的方法、系统、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019052311A1 (zh) * 2017-09-12 2019-03-21 腾讯科技（深圳）有限公司 风格语句的生成方法、模型训练方法、装置及计算机设备
CN110738026A (zh) * 2019-10-23 2020-01-31 腾讯科技（深圳）有限公司 用于生成描述文本的方法和设备
CN111145720A (zh) * 2020-02-04 2020-05-12 清华珠三角研究院 一种将文本转换成语音的方法、系统、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曲昭伟;王源;王晓茹;: "基于迁移学习的分层注意力网络情感分析算法", 计算机应用, no. 11 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205449A (zh) * 2021-05-21 2021-08-03 珠海金山网络游戏科技有限公司 表情迁移模型的训练方法及装置、表情迁移方法及装置
CN113468857A (zh) * 2021-07-13 2021-10-01 北京百度网讯科技有限公司 风格转换模型的训练方法、装置、电子设备以及存储介质
CN113468857B (zh) * 2021-07-13 2024-03-29 北京百度网讯科技有限公司 风格转换模型的训练方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN111767744B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN109977428B (zh) 一种答案获取的方法及装置
CN109359309B (zh) 一种翻译方法及装置、翻译模型的训练方法及装置
CN110348535B (zh) 一种视觉问答模型训练方法及装置
CN111222347B (zh) 语句翻译模型的训练方法及装置、语句翻译方法及装置
CN109858044B (zh) 语言处理方法和装置、语言处理系统的训练方法和装置
CN111931518A (zh) 一种翻译模型的训练方法及装置
CN109710953B (zh) 一种翻译方法及装置、计算设备、存储介质和芯片
US20220036127A1 (en) Semantic image manipulation using visual-semantic joint embeddings
CN111008266B (zh) 文本分析模型的训练方法及装置、文本分析方法及装置
CN111738020B (zh) 一种翻译模型的训练方法及装置
CN111783423A (zh) 解题模型的训练方法及装置、解题方法及装置
CN114495129B (zh) 文字检测模型预训练方法以及装置
US20230042221A1 (en) Modifying digital images utilizing a language guided image editing model
CN113240115B (zh) 一种生成人脸变化图像模型的训练方法及相关装置
CN111767744A (zh) 文本风格迁移系统的训练方法及装置
CN111767697B (zh) 文本处理方法、装置、计算机设备以及存储介质
CN112597778A (zh) 一种翻译模型的训练方法、翻译方法以及设备
CN114282555A (zh) 翻译模型训练方法及装置、翻译方法及装置
CN115731552A (zh) 印章文字识别方法、装置、处理器及电子设备
CN112528168B (zh) 基于可形变自注意力机制的社交网络文本情感分析方法
CN114077844A (zh) 一种数据处理方法及装置
CN113449529A (zh) 一种翻译模型的训练方法及装置、翻译方法及装置
CN113538079A (zh) 一种推荐模型的训练方法及装置、一种推荐方法及装置
CN113792121B (zh) 阅读理解模型的训练方法及装置、阅读理解方法及装置
CN112328777B (zh) 一种答案检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant