CN113822064A - 一种文本风格迁移方法、装置、电子设备和存储介质 - Google Patents

一种文本风格迁移方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113822064A
CN113822064A CN202110691090.3A CN202110691090A CN113822064A CN 113822064 A CN113822064 A CN 113822064A CN 202110691090 A CN202110691090 A CN 202110691090A CN 113822064 A CN113822064 A CN 113822064A
Authority
CN
China
Prior art keywords
text
style
target
vector
conversion model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110691090.3A
Other languages
English (en)
Inventor
周辉阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110691090.3A priority Critical patent/CN113822064A/zh
Publication of CN113822064A publication Critical patent/CN113822064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及计算机技术领域，尤其涉及自然语言处理技术领域，提供一种文本风格迁移方法、装置、电子设备和存储介质，用以提高文本风格转换效率和准确率，其中，方法包括：响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息；将待转换文本输入已训练的向量转换模型中，得到对应的目标语义向量；基于目标文本风格转换信息，将目标语义向量，输入对应设置的已训练的目标风格转换模型中，获得目标文本风格文本。这样，通过内容转换和风格转换，即可实现不同文本风格之间的转换，提高了转换效率和转换准确率。

Description

一种文本风格迁移方法、装置、电子设备和存储介质
技术领域
本申请涉及计算机技术领域，提供一种文本风格迁移方法、装置、电子设备和存储介质。
背景技术
随着科学技术的不断发展，自然语言处理领域取得了极大的进步，而文本风格迁移是当前自然语言处理领域中的一个热门问题。文本风格迁移是指在不改变文本语义的情况下，将文本从一个文本风格转换到另一个文本风格，文本风格涉及多个方面，例如形态、语法、情感、语气等。
相关技术中可以采用以下两种方式进行文本风格迁移：
第一种方式：采用转换模型，将待转换文本的文本风格从当前风格转换至指定风格，其中，转换模型是基于已标注的训练数据集训练得到的。
然而，第一种方式中，若对训练数据进行标注，会导致标注成本高，训练效率低，此外，一个标注的训练数据集，仅能训练得到一种文本风格的转换模型，因此，若要得到其他文本风格的转换模型，需要重新标注数据集。
第二种方式：采用风格去除模型，将待转换文本的文本风格从当前风格转换至统一风格，得到统一风格文本，进而采用转换模型，将统一风格文本的文本风格从当前风格转换至指定风格。
然而，第二种方式中，风格去除模型的训练也需要进行数据标注，因此，也存在标注成本高，训练效率低的问题。
发明内容
本申请实施例提供一种文本风格迁移方法、装置、电子设备和存储介质，用以解决相关技术中标注成本高，模型处理效率和准确率低的问题。
第一方面，本申请实施例中提供一种文本风格迁移方法，包括：
响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息；
将所述待转换文本输入已训练的向量转换模型中，得到所述待转换文本对应的目标语义向量；
基于所述目标文本风格转换信息，确定对应设置的已训练的目标风格转换模型；
将所述目标语义向量输入所述已训练的目标风格转换模型中，获得目标文本风格文本。
第二方面，本申请实施例提供一种文本风格迁移装置，包括：
获取单元，用于响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息；
向量转换单元，用于将所述待转换文本输入已训练的向量转换模型中，得到所述待转换文本对应的目标语义向量；
确定单元，用于基于所述目标文本风格转换信息，确定对应设置的已训练的目标风格转换模型；
风格转换单元，用于将所述目标语义向量输入所述已训练的目标风格转换模型中，获得目标文本风格文本。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述文本风格迁移方法的步骤。
第四方面，本申请实施例提供一种计算机可读存储介质，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行上述文本风格迁移方法的步骤。
本申请实施例中，在获取到待转换文本后，将待转换文本输入以训练的向量转换模型中，得到待转换文本的目标语义向量，然后，将目标语义向量输入已训练的目标风格转换模型中，获得目标文本风格文本。这样，通过内容转换和风格转换，即可实现不同文本风格之间的迁移，提高了转换效率和转换准确率，此外，对向量转换模型、目标风格转换模型的训练，不需要进行样本标注，提高了模型训练效率。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中提供的一种应用场景示意图；
图2为本申请实施例中提供的一种模型构架示意图；
图3A为本申请实施例中提供的第一阶段的模型训练方法的流程示意图；
图3B为本申请实施例中提供的第一阶段的模型训练方法的逻辑示意图；
图4A为本申请实施例中的注意力模型的结构示意图；
图4B为本申请实施例中生成查询向量、键向量、值向量的示意图；
图4C为本申请实施例中生成词向量Y对应的第一上下文向量的示意图；
图4D为本申请实施中的长短期记忆模型的结构示意图；
图5为本申请实施例中提供的第二阶段的模型训练方法的流程示意图；
图6为本申请实施例中提供的第二阶段的模型训练方法的逻辑示意图；
图7为本申请实施例中提供的一种文本风格迁移方法的流程示意图；
图8A为本申请实施例中提供的一种人机交互界面示意图；
图8B为本申请实施例中提供的另一种人机交互界面示意图；
图8C为本申请实施例中提供的又一种人机交互界面示意图；
图9A为本申请实施例中提供的一种目标文本风格文本的示意图；
图9B为本申请实施例中提供的另一种目标文本风格文本的示意图；
图10为本申请实施例中提供的一种机器翻译场景中的界面示意图；
图11为本申请实施例中提供的一种文本风格迁移装置的组成结构示意图；
图12为本申请实施例中提供的一种电子设备的硬件组成结构示意图；
图13为本申请实施例中提供的一种终端设备的硬件组成结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请技术方案保护的范围。
下面对本申请实施例中涉及的部分概念进行介绍。
1、文本风格迁移，在不变化语义的条件下，转换一个文本风格到另一个指定文本风格。
2、来自Transformer的双向编码器表示(BidirectionalEncoderRepresentations from Transformer，BERT)，BERT是一种自然语言处理模型，通过联合调节所有层中的上下文来预先训练深度双向表示，因此，预训练的BERT表示可以通过一个额外的输出层进行微调，适用于广泛任务的模型构建，无需针对具体任务大幅度修改模型的架构。
3、Transformer，Transformer是一种基于注意力机制的语言序列处理模型，Transformer利用注意力机制挖掘句子中词与词之间的相关性，让模型学习到词的上下文向量，提高了模型的输出效果，还可以利用注意力机制实现快速并行，改善了循环神经网络(Recurrent Neural Network，RNN)训练慢的缺点。
4、无监督学习，根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题。无监督学习算法主要有主成分分析方法、等距映射方法、局部线性嵌入方法等。
5、有监督学习，利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程。在监督学习中，每个实例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例在进行文本风格迁移时，采用机器学习的向量转换模型和文本风格转换模型。在本申请实施例中提出的训练向量转换模型和文本风格转换模型的方法可分为两部分，包括训练部分和应用部分；其中，训练部分和应用部分均涉及到机器学习技术领域和自然语言处理技术领域。在训练部分中，结合机器学习和自然语言处理这两种技术，使用本申请实施例中给出的训练数据集，来训练向量转换模型和文本风格转换模型，具体的，训练数据集中的训练样本输入至向量转换模型和文本风格转换模型后，获取输出结果，结合输入的训练样本，通过优化算法不断调整模型参数；应用部分用于使用在训练部分训练得到的向量转换模型和文本风格转换模型来进行文本风格迁移。另外，还需要说明的是，本申请实施例中向量转换模型和文本风格转换模型可以是在线训练也可以是离线训练，在此不做具体限定。
文本风格迁移是自然语言处理领域中的一个热门问题，文本风格迁移是指在不改变文本语义的情况下，将文本从一个文本风格转换到另一个文本风格，文本风格涉及多个方面，例如形态、语法、情感、语气等。
相关技术中，一方面，可以采用转换模型，将待转换文本待转换文本的文本风格从当前风格转换至指定风格，其中，转换模型是基于已标注的训练数据集训练得到的。然而，对训练数据进行标注，导致标注成本高，训练效率低，此外，一个标注的训练数据集，仅能训练得到一种文本风格的转换模型，因此，若要得到其他文本风格的转换模型，需要重新标注数据集。
另一方面，还可以采用风格去除模型，将待转换文本的文本风格从当前风格转换至统一风格，得到统一风格文本，进而采用转换模型，将统一风格文本的文本风格从当前风格转换至指定风格。然而，风格去除模型的训练也需要标注数据，标注成本高，训练效率低。
由于采用有监督学习存在标注成本高，训练效率低的问题，本申请实施例中，采用无监督的训练方法，对模型进行训练，具体的，模型训练过程分为第一阶段和第二阶段，通过第一阶段对第一编码器的训练，使得训练后的第一编码器学习训练样本的语义，通过第二阶段对第二解码器的训练，使得训练后的第二解码器学习文本风格。
在模型使用阶段，在获取到待转换文本后，将待转换文本输入已训练的第一编码器中，得到待转换文本的目标语义向量，然后，将目标语义向量输入已训练的第二解码器中，获得目标文本风格文本。这样，通过内容学习和风格表示，即可实现不同文本风格之间的转换，提高了转换效率和转换准确率，此外，对第一编码器、第二解码器的训练，不需要进行样本标注，提高了模型训练效率。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请实施例及实施例中的特征可以相互组合。
参阅图1所示，其为本申请实施例中一种可能的应用场景示意图。
该应用场景图中包括两个终端设备110和一个服务器130，可通过终端设备110登录应用操作界面120。终端设备110与服务器130之间可以通过通信网络进行通信。
在本申请实施例中，终端设备110为用户使用的电子设备，该电子设备可以但不限于是个人计算机、手机、平板电脑、笔记本、电子书阅读器、智能家居、智能语音交互设备、车载终端等。各终端设备110通过通信网络与服务器130进行通信，在一种可选的实施方式中，通信网络是有线网络或无线网络，因此终端设备110以及服务器130可通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。服务器130可以是独立的物理服务器130，也可以是多个物理服务器130构成的服务器130集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器130。
其中，本申请实施例中的向量转换模型和目标风格转换模型可以部署在终端设备110上，也可以部署在服务器130上。当向量转换模型和目标风格转换模型部署在终端设备110上时，由终端设备110获取待转换文本，对待转换文本进行文本风格转换，将目标文本风格文本呈现给用户。当向量转换模型和目标风格转换模型部署在服务器130上时，由服务器130获取待转换文本，对待转换文本进行文本风格转换，将目标文本风格文本返回给终端设备110，以使终端设备110将目标文本风格文本呈现给用户。待转换文本可以来自于浏览器网页、与用户输入的查询信息相匹配的文本信息，或者公众号文章等数据源，本申请在此不做限制。
下面对本申请实施例中提供的模型训练过程进行说明。
参阅图2所示，其为本申请实施例中提供的一种模型架构示意图。本申请实施例中，模型训练过程可分为两个阶段：第一阶段和第二阶段。第一阶段涉及第一编码器和第一解码器，第二阶段涉及第二编码器和第二解码器，其中，采用第一阶段中已训练的第一编码器，作为第二阶段中的第二编码器。需要说明的是，本申请实施例中，第一编码器也可以称为向量转换模型，第一解码器也可以称为文本还原模型，第二解码器也可以称为风格转换模型。
示例性的，第一编码器、第一解码器，第二编码器、第二解码器可以采用但不限于BERT模型、转换器(Transformer)模型、长短期记忆网络(Long Short-Term Memory，LSTM)模型等，对此不作限制。容易理解的是，相对于采用LSTM模型，若采用BERT模型和Transformer模型，模型性能较高，但计算速度较低。
参阅图3A所示，其为本申请实施中提供的第一阶段的模型训练方法的流程示意图，具体流程如下：
S301、获取第一训练数据集，第一训练数据集中的每个第一训练样本为初始文本风格或目标文本风格。
需要说明的是，本申请实施例中，第一训练数据集是未标注的训练数据集。
以初始文本风格为朴素文本风格(朴素文本风格也可称为通用文本风格)，目标文本风格为金庸文本风格为例，朴素文本风格的第一训练样本为：谢谢，金庸文本风格的第一训练样本为：多谢之至。
由于第一训练数据集中包含了大量的第一训练样本，为了读取方便，可以将第一训练数据集划分为多个批次，每一批次所包含的样本数量是相同的，在本申请实施例中每读取完一个批次的第一训练样本，确定向量转换模型完成了一轮迭代。
S302、获取第一训练数据集中的一个第一训练样本，并将一个第一训练样本输入第一编码器，获得一个第一训练样本对应的第一语义向量。
第一编码器可以学习到来自不同数据源的文本的特征，在提高模型准确率的同时，还可以减少模型的参数量。
S303、将第一语义向量输入对应第一编码器设置的第一解码器中，得到第一预测样本。
S304、基于第一预测样本和一个第一训练样本之间的第一损失值，对第一编码器进行参数调整，其中，第一编码器和第一解码器之间的参数共享。
第一损失值可以采用但不限于交叉熵损失(Cross Entropy Loss，CE)计算得到。交叉熵损失用于衡量预测样本和相应的第一训练样本之间的相似度。
可选的，基于第一损失值对第一编码器进行参数调整的过程如下：
首先，利用第一损失值确定第一编码器上参数的梯度；
其次，按照梯度的方向对第一编码器进行参数调整。
这样，基于第一损失值的反向传递，对第一编码器中包含的每一层进行参数调整，可以实现对第一编码器的参数调整。
由于第一编码器和第一解码器之间的参数共享，因此，对第一编码器进行参数调整的过程中，第一编码器的参数和第一解码器的参数均会进行调整。
S305、判断是否满足预设的第一收敛条件，若是，执行S306；否则，返回执行S302。
S305中提及到的第一收敛条件可为以下任意一种：
第一损失值收敛至预设的期望值；或者，达到设定迭代轮数；或者，所有第一训练样本均被读取完毕。
S306、输出训练完毕的第一编码器。
例如，参阅图3B所示，假设，第一训练样本为第一样本A：敢问阁下尊姓大名，将第一样本A输入第一编码器中，得到第一样本A对应的语义向量，然后，将第一样本A对应的语义向量，输入第一解码器中，得到对应的预测样本A’：敢问大侠尊姓大名，进而，基于第一样本A与预测样本A’之间的第一损失值，对第一编码器进行参数调整。
训练完毕的第一编码器(即训练完毕的向量转换模型)可识别来自不同文本风格的文本数据，无需针对每一种文本风格单独训练相应的转换模型，在提高转换准确率的同时，还减少了模型的参数量，便于在应用场景中部署已训练的第一编码器。
在一些实施例中，为了加快模型训练速度，可以利用BERT的结构特性，通过微调BERT的参数，得到第一编码器以及对应的第一解码器。也就是说，S302中提及的第一编码器，可以采用BERT预训练的参数。
BERT是一种自然语言处理模型，其包括输入层、输出层和由多个Transformer组成的隐藏层，也就是说，Transformer是组成BERT的核心模块，而注意力机制又是Transformer中最关键的部分。通常来说，一个字或词在一篇文本中所表达的语意与它的上下文有关，比如只看到“鹄”字可能无法理解它的含义，而看到它的上下文“鸿鹄之志”后，就能理解“鹄”字在这句话中表达的是“天鹅”的含义，因此，字或者词的上下文信息有助于增强其语义表示。同时上下文中不同字或者词对增强语义表示所起的作用往往不同，继续以“鸿鹄之志”为例，“鸿”字对理解“鹄”字的作用是最大的，而“之”字起到的作用是相对较小的。所以，注意力机制主要用于区分输入的各个词向量对文本风格迁移的影响，把注意力放在对文本风格迁移影响程度大的一部分词向量上。
首先，将待转换文本输入第一编码器中，对待转换文本依次进行分词和向量化处理，得到对应的词向量矩阵。
具体的，先清洗待转换文本，剔除冗余、无效的文本信息，再利用分词工具对待转换文本进行分词，最后使用随机初始化方法，或者使用词袋法、Word2Vector等方法将待转换文本表示成向量形式，得到每个词对应的词向量。
其次，基于第一编码器对各个词向量进行语义挖掘处理，得到对应的语义向量，其中，一个语义向量表征了一个词向量对文本风格迁移的置信度。
(一)若第一编码器采用注意力模型的编码器，则语义挖掘处理过程如下：
首先，基于注意力模型分别计算各个词向量对应的第一上下文向量，其中，上下文表征了一个词向量对应的词在一个句子中的语意，一个第一上下文向量表征了所述一个词向量与归属于同一个句子的各个词向量之间的相关性；
其次，对各个词向量以及对应的第一上下文向量进行特征提取，得到各个词向量对应的语义向量。
本申请实施例中的注意力模型为Transformer，参阅图4A示出的Transformer结构示意图，Transformer通常由输入层、输出层、编码器和解码器四部分组成，其中，编码器中包含注意力机制和前馈神经网络两部分，解码器中包含注意力机制和前馈神经网络两部分。
在注意力机制中，参阅图4B所示，将同一个句子转换得到的词向量矩阵作为输入矩阵，使用线性变阵矩阵WQ、WK、WV，得到每个词向量对应的查询向量、键向量和值向量。参阅图4C所示，以一个词向量Y为例，确定其对应的第一上下文向量的过程是，查询向量分别与各个键向量相乘，将乘积结果作为词向量Y对各个词向量的注意力权重，再让各个值向量分别与对应的注意力权重相乘，将乘积结果作为第一上下文向量输出。在生成第一上下文向量的过程中，加权融合了词向量Y的值向量和归属于同一个句子的各个词向量的值向量，体现了词向量Y与归属于同一个句子的各个词向量之间的相关性。
(二)若第一编码器采用长短期记忆模型，则语义挖掘处理过程如下：
首先，基于长短期记忆模型分别计算各个词向量对应的第二上下文向量，其中，上下文表征了一个词向量对应的词在一个句子中的语意，一个第二上下文向量表征了对应的一个词向量与已提取出第二上下文向量的其他词向量之间的相关性；
其次，对各个第二上下文向量进行特征提取，得到各个词向量对应的语义特征。
本申请实施例中的长短期记忆模型为LSTM，LSTM是一种特殊的循环神经网络(Recurrent Neural Network，RNN)，参阅图4D示出的结构示意图，LSTM包括输入层、输出层和隐藏层，每个隐藏层上设置了多个神经元，每个词向量对应一个神经元，每个神经元上包括遗忘门、输入门、输出门以及Tanh层，利用门结构消除或者增加信息到神经元的能力，使得能个LSTM能够记住长期的信息，克服传统RNN的长期依赖(Long-Term Dependencies)问题。
RNN是一种循环神经网络，广泛应用于计算机视觉技术、自然语言处理技术等方向，这种网络的本质特征是在处理单元之间既有内部的反馈连接、又有前馈连接，相比于前馈神经网络来说，RNN在计算过程中具有更强的动态行为和计算能力。正是由于RNN的这一特性，导致RNN很容易出现长期依赖问题——即当前的系统状态不仅受到前一时刻的系统状态影响，还可能受到很长时间之前的系统状态影响。例如，让RNN从“这块冰糖味道真？”这句话里预测下一个词，是很容易得出“甜”这个词的；如果让RNN从“他吃了一口菜，被辣得流出了眼泪，满脸通红。旁边的人赶紧给他倒了一杯凉水，他咕咚咕咚地喝了两口，才逐渐恢复正常。他气愤地说道：‘这个菜味道真？’”这段话里预测下一个词，RNN是很难输出“辣”这个词的。
参阅图4D所示的结构示意图，对LSTM任意一个神经元的使用进行介绍。
首先，将上一个神经元输出的第二上下文向量ht-1和当前神经元输入的词向量xt作为输入，通过遗忘门得到上一个神经元的记忆细胞状态Ct-1被遗忘的概率ft，ft的计算方式如公式(1)所示。其中，1表示完全保留，而0表示完全舍弃。
Figure BDA0003126763570000131
其次，将上一个神经元输出的第二上下文向量ht-1和当前神经元输入的词向量xt作为输入，通过输入门得到当前神经元的记忆细胞状态C’t被保留的概率it，并使用it计算当前神经元被保留下来的记忆细胞状态C’t，具体地，it的计算公式如公式(2)所示，C’t的计算公式如采用公式(3)所示。
Figure BDA0003126763570000132
C’t＝tanh(WC*[ht-1,xt]+bC) 公式(3)；
利用Ct-1和C’t对当前神经元的记忆细胞状态进行更新，更新后的记忆细胞状态为Ct，Ct的计算公式如公式(4)所示。
Ct＝ft*Ct-1+it*C’t 公式(4)；
最后，将上一个神经元输出的第二上下文向量ht-1和当前神经元输入的词向量xt作为输入，通过输出门得到Ct被保留下来的记忆细胞状态的概率ot，ot的计算公式如公式(5)所示；
Figure BDA0003126763570000133
以及，将Ct通过激活函数Tanh处理后与ot相乘，得到当前神经输出的第二上下文向量ht，ht的计算方式如公式(6)所示。
ht＝ot*tanh(Ct) 公式(6)；
参阅图5所示，其为本申请实施中提供的第二阶段的模型训练方法的流程示意图，具体流程如下：
S501、获取第二训练数据集，第二训练数据集中的每个第二训练样本为目标文本风格。
S502、获取第二训练数据集中的一个第二训练样本，并将一个第二训练样本输入第二编码器，获得一个第二训练样本对应的第二语义向量。
在第一阶段的主要目的就是训练两种文本风格下的第一编码器进行文本的语义学习，而第二阶段的主要目的是训练不同文本风格的解码器，因此，当第一阶段训练得到第一解码器之后，在第二阶段，可以直接将第一阶段中训练得到的第一编码器作为第二阶段中的第二编码器。这样，在第二阶段中，只需要对第二解码器进行参数调整，而不需要对第二编码器进行参数调整。
S503、将第二语义向量输入第二解码器中，得到一个第二训练样本对应的第二预测样本。
S504、基于第二预测样本和一个第二训练样本之间的第二损失值，对第二解码器进行参数调整。
可选的，基于第二损失值对第二解码器进行参数调整的过程如下：
首先，利用第二损失值确定第二解码器上参数的梯度；
其次，按照梯度的方向对第二解码器进行参数调整。
S505、判断是否满足预设的第二收敛条件，若是，执行S506；否则，返回执行S502。
S505中提及到的第二收敛条件可为以下任意一种：
第二损失值收敛至预设的期望值；或者，达到设定迭代轮数；或者，所有第二训练样本均被读取完毕。
S506、输出训练完毕的第二解码器。
例如，参阅图6所示，假设，第二训练样本为第二样本B：敢问阁下尊姓大名，将第二样本B输入第二编码器中，得到第二样本B对应的语义向量，其中，第二编码器采用已训练的第一编码器，第二编码器的参数固定，然后，将第二样本B对应的语义向量，输入第二解码器中，得到对应的预测样本B’：敢问大侠尊姓大名，进而，基于第二样本B与预测样本B’之间的第二损失值，对第二解码器进行参数调整。
训练完毕的第二解码器(即训练完毕的目标风格转换模型)可在获取相应的语义向量后，将语义向量转换至相应文本风格的文本，这样，针对每一种文本风格，单独训练相应的风格转换模型，提高了转换准确率。
下面，基于已训练的第一编码器和已训练的第二解码器，对本申请实施例中提供的文本风格转移方法进行说明。
参阅图7所示，其为本申请实施例中提供的一种文本风格转移方法，该方法可以应用于文本风格迁移装置中，该文本风格迁移装置中部署有已训练的向量转换模型和已训练的目标风格转换模型，具体流程如下：
S701、文本风格迁移装置响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息。
例如，文本风格迁移装置响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息，其中，待转换文本为谢谢，目标文本风格转换信息指示目标文本风格为金庸文本风格。
S702、文本风格迁移装置将待转换文本输入已训练的向量转换模型中，得到待转换文本对应的目标语义向量。
S703、文本风格迁移装置基于目标文本风格转换信息，确定对应设置的已训练的目标风格转换模型。
本申请实施例中，在模型训练的第二阶段，针对每一种文本风格，训练得到每一种文本风格各自对应的一个风格转换模型，例如，针对朴素文本风格，训练得到朴素文本风格对应的风格转换模型，针对金庸文本风格，训练得到金庸文本风格对应的风格转换模型。
例如，目标文本风格转换信息指示目标文本风格为金庸文本风格，文本风格迁移装置基于目标文本风格转换信息，确定目标风格转换模型为：已训练的金庸文本风格对应的风格转换模型。
S704、文本风格迁移装置将目标语义向量输入已训练的目标风格转换模型中，获得目标文本风格文本。
例如，文本风格迁移装置将目标语义向量输入已训练的金庸文本风格对应的风格转换模型中，获得目标文本风格文本：多谢之至。
在一些实施例中，为了增加机器人问答功能，文本风格迁移装置可以响应于输入操作，获取输入的待解答信息和目标文本风格转换信息；在指定存储位置中，查找与待解答信息对应的应答文本，并将应答文本作为待转换文本。相应的，在获得目标文本风格文本之后，文本风格迁移装置呈现目标文本风格文本。相应的，在获得目标文本风格文本之后，文本风格迁移装置呈现目标文本风格文本。其中，输入操作的类型包括但不限于语音输入、文字输入等。
具体的，为了提供多样化的交互方式，文本风格迁移装置可以采用但不限于以下方式呈现目标文本风格文本：
文本风格迁移装置通过语音播报目标文本风格文本；或者，
文本风格迁移装置通过人机交互界面呈现目标文本风格文本。
下面仅以通过人机交互界面进行交互为例进行说明。
参阅图8A所示，文本风格迁移装置中可以包含操作界面A，操作界面A用于接收用户输入的待解答文本和目标文本风格信息，其中，目标文本风格信息中包含任务状态信息和人设信息。当用户触发“点击选择任务状态”按钮时，文本风格迁移装置中呈现图8B所示的人物状态选择界面，其中，人物状态包括心情不错、高兴、悲伤、醉酒等。当用户触发“点击选择人设”按钮时，文本风格迁移装置中呈现图8C所示的人设选择界面，其中，人设包括王语嫣、李白、金庸、林黛玉等。当用户点击“提问”按钮时，文本风格迁移装置确定触发文本风格转换请求。
例如，参阅图9A所示，文本风格迁移装置可以响应于输入操作，获取输入的待解答信息和目标文本风格转换信息，其中，输入的待解答信息A为“请问男朋友买鸭脖自己全吃了没给我，应该分手吗？”，目标文本风格转换信息A指示目标文本风格为“心情不错的王语嫣”，然后，文本风格迁移装置在指定存储位置中，查找与待解答信息A对应的应答文本A，并将应答文本A作为待转换文本A。
文本风格迁移装置响应于文本风格转换请求，获取待转换文本A和目标文本风格转换信息，然后，将待转换文本A输入已训练的向量转换模型中，得到待转换文本A对应的目标语义向量A，进而，基于目标文本风格转换信息A，确定对应“心情不错的王语嫣”设置的已训练的目标风格转换模型，并将目标语义向量A，输入已训练的对应“心情不错的王语嫣”设置的目标风格转换模型中，获得目标文本风格文本A，其中，目标文本风格文本A为“从小到大吃的鸭脖没少吃，男朋友买的也吃过，没给你吃也是正常的，毕竟每家鸭脖都一个味儿，和你男朋友沟通一下，告诉他想吃鸭脖，说清楚不吃鸭脖是为了我们两个好，提醒你下次……”。
下面结合具体的应用场景，对本申请进行进一步说明。
应用场景一：机器人问答。
以向量转换模型和目标风格转换模型部署在手机中为例，参阅图9B所示，手机响应于输入操作，获取输入的待解答信息B和目标文本风格转换信息B，其中，输入的待解答信息B为“中国哪个省份的风景最好？”，目标文本风格转换信息B指示目标文本风格为“醉酒的李白”。
手机中部署有训练完毕的向量转换模型和训练完毕的对应“醉酒的李白”设置的目标风格转换模型。手机查找到待解答信息B对应的应答文本B，并将应答文本B作为待转换文本B后，将待转换文本B输入已训练的向量转换模型中，得到待转换文本B对应的目标语义向量B，进而，将目标语义向量B输入，已训练的对应“醉酒的李白”设置的目标风格转换模型中，获得目标文本风格文本B，其中，目标文本风格文本B为{“云南”看了那么多，就没有推送我云南的吗？_？(插播一句，不吹不黑，云南人实在，和和气气长长久久)---手动分割，刚从云南回来，怒答云南有好多的东西别人没有，因为只有云南有，云南有昆明的四季如春，有玉溪的春山绿水，有高黎贡山的高原彩虹，有丽江的古城情怀……等等，其中……}。
以向量转换模型和目标风格转换模型部署在服务器中为例，假设，终端设备为智能音响，用户可以通过智能音响，语音输入待解答信息B和目标文本风格转换信息B，其中，输入的待解答信息B为“中国哪个省份的风景最好？”，目标文本风格转换信息B指示目标文本风格为“醉酒的李白”。
服务器获取待解答信息B和目标文本风格转换信息B，在得到待解答信息B对应的应答文本B之后，应答文本B作为待转换文本B，进而基于待转换文本B、目标文本风格转换信息B、已训练的向量转换模型和已训练的对应“醉酒的李白”设置的目标风格转换模型，得到目标文本风格文本B。进而，服务器器将目标文本风格文本B返回至智能音响，以使智能音响通过语音播报目标文本风格文本B。
应用场景二：机器翻译。
机器翻译是指将一种语言翻译成另一语言。在机器翻译应用场景中，文本风格用于表征文本的语言类型。
以向量转换模型和目标风格转换模型部署在手机中为例，参阅图10所示，终端设备响应于输入操作，直接获取输入的待转换文本C和目标文本风格转换信息C，其中，待转换文本C为“我在周日看了一本书”，目标文本风格转换信息C指示将中文转换为英文。
终端设备中部署有训练完毕的向量转换模型和训练完毕的对应英文设置的目标风格转换模型。终端设备将待转换文本C输入已训练的向量转换模型中，得到待转换文本C对应的目标语义向量C，进而，将目标语义向量C输入，已训练的对应英文设置的目标风格转换模型中，得到并呈现目标文本风格文本C，其中，目标文本风格文本C为“I read a bookSunday”。
应用场景三：文本生成。
本申请实施例中，文本生成包括但不限于问题生成、标题生成等。其中，问题生成是指给定一段文字和相应的答案，根据文字和相应的答案来生成答案对应的问题，标题生成是指给定一段文字，根据文字生成对应的标题。
以问题生成为例，文本风格迁移装置获取待处理文本和相应的答案之后，将答案作为待转换文本D，然后，将待转换文本D，输入已训练的向量转换模型中，得到待转换文本D对应的目标语义向量D，进而，将目标语义向量D输入，已训练的对应疑问句设置的目标风格转换模型中，得到目标文本风格文本D。
以标题生成为例，文本风格迁移装置获取待处理文本之后，将待处理文本作为待转换文本E，然后，将待转换文本E，输入已训练的向量转换模型中，得到对应的目标语义向量E，进而，将目标语义向量E输入，已训练的对应摘要风格设置的目标风格转换模型中，得到目标文本风格文本E。
基于相同的发明构思，本申请实施例提供一种文本风格迁移装置。如图11所示，其为文本风格迁移装置1100的结构示意图，可以包括：
获取单元1101，用于响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息；
向量转换单元1102，用于将所述待转换文本输入已训练的向量转换模型中，得到所述待转换文本对应的目标语义向量；
确定单元1103，用于基于所述目标文本风格转换信息，确定对应设置的已训练的目标风格转换模型；
风格转换单元1104，用于将所述目标语义向量输入所述已训练的目标风格转换模型中，获得目标文本风格文本。
可选的，还包括训练单元1105，所述训练单元1105用于：
获取第一训练数据集，所述第一训练数据集中的每个第一训练样本为初始文本风格或目标文本风格；
将所述第一训练数据集，输入所述向量转换模型中进行迭代训练，直至满足预设的第一收敛条件为止，输出训练完毕的向量转换模型，其中，一次迭代过程包括：
获取所述第一训练数据集中的一个第一训练样本，并将所述一个第一训练样本输入所述向量转换模型，获得所述一个第一训练样本对应的第一语义向量；
将所述第一语义向量输入对应所述向量转换模型设置的文本还原模型中，得到第一预测样本；
基于所述第一预测样本和所述一个第一训练样本之间的第一损失值，对所述向量转换模型进行参数调整，其中，所述文本还原模型和所述向量转换模型之间的参数共享。
可选的，所述基于所述第一预测样本和所述一个第一训练样本之间的第一损失值，对所述向量转换模型进行参数调整时，所述训练单元1105具体用于：
基于所述第一损失值确定所述向量转换模型上参数的梯度；
按照所述梯度的方向对所述向量转换模型进行参数调整。
可选的，包括训练单元1105，所述训练单元1105用于：
获取第二训练数据集，所述第二训练数据集中的每个第二训练样本为目标文本风格；
将所述第二训练数据集，输入所述目标风格转换模型中进行迭代训练，直至满足预设的第二收敛条件为止，输出训练完毕的目标风格转换模型，其中，一次迭代过程包括：
获取所述第二训练数据集中的一个第二训练样本，并将所述一个第二训练样本输入所述向量转换模型，获得所述一个第二训练样本对应的第二语义向量；
将所述第二语义向量输入目标风格转换模型中，得到所述一个第二训练样本对应的第二预测样本；
基于所述第二预测样本和所述一个第二训练样本之间的第二损失值，对所述目标风格转换模型进行参数调整。
可选的，所述响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息之前，所述获取单元1101还用于：
响应于输入操作，获取输入的待解答信息和所述目标文本风格转换信息；
在指定存储位置中，查找与所述待解答信息对应的应答文本，并将所述应答文本作为所述待转换文本；
所述获得目标文本风格文本之后，所述风格转换单元1104还用于：
呈现所述目标文本风格文本。
可选的，所述呈现所述目标文本风格文本时，所述风格转换单元1104具体用于：
通过语音播报所述目标文本风格文本；或者，
通过人机交互界面呈现所述目标文本风格文本。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
关于上述实施例中的装置，其中各个单元执行请求的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在介绍了本申请示例性实施方式文本风格迁移方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
图12是根据一示例性实施例示出的一种电子设备1200的框图，该装置包括：
处理器1210；
用于存储处理器1210可执行指令的存储器1220；
其中，处理器1210被配置为执行指令，以实现本公开实施例中的文本风格迁移方法，例如图3A、图5或图7中所示的步骤。
在示例性实施例中，还提供了一种包括操作的存储介质，例如包括操作的存储器1220，上述操作可由电子设备1200的处理器1210执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、便携式紧凑盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
基于同一发明构思，参阅图13所示，本申请实施例还提供了一种终端设备1300，该终端设备1300包括但不限于是手机、电脑、智能语音交互设备、智能家电、车载终端等电子设备。
该终端设备1300包括显示单元1340、处理器1380以及存储器1320，其中，显示单元1340包括显示面板1341，用于显示由用户输入的信息或提供给用户的信息以及终端设备1300的各种操作界面等，在本申请实施例中主要用于显示终端设备1300中已安装的应用程序的操作界面、快捷窗口等。可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)或OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板1341。
处理器1380用于读取计算机程序，然后执行计算机程序定义的方法，例如处理器1380读取应用，从而在该终端设备1300上运行应用，在显示单元1340上显示操作界面。处理器1380可以包括一个或多个通用处理器，还可包括一个或多个DSP(Digital SignalProcessor，数字信号处理器)，用于执行相关操作，以实现本申请实施例所提供的技术方案。
存储器1320一般包括内存和外存，内存可以为RAM，ROM，以及高速缓存(CACHE)等。外存可以为硬盘、光盘、USB盘、软盘或磁带机等。存储器1320用于存储计算机程序和其他数据，该计算机程序包括应用程序等，其他数据可包括操作系统或应用程序被运行后产生的数据，该数据包括系统数据(例如操作系统的配置参数)和用户数据。本申请实施例中程序指令存储在存储器1320中，处理器1380执行存储器1320中的程序指令，实现前文论述的文本风格迁移方法。
此外，终端设备1300还可以包括显示单元1340，用于接收输入的数字信息、字符信息或接触式触摸操作/非接触式手势，以及产生与终端设备1300的用户设置以及功能控制有关的信号输入等。具体地，本申请实施例中，该显示单元1340可以包括显示面板1341。显示面板1341例如触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在显示面板1341上或在显示面板1341的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，显示面板1341可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。在本申请实施例中，若用户对操作界面中的控件进行选中操作，则在显示面板1341中的触摸检测装置检测到触摸操作，则将检测到的触摸操作对应的信号发送的触摸控制器，触摸控制器将信号转换成触点坐标发送给处理器1380，处理器1380根据接收到的触点坐标确定用户选中的控件。
其中，显示面板1341可以采用电阻式、电容式、红外线以及表面声波等多种类型实现。除了显示单元1340，终端设备1300还可以包括输入单元1330，输入单元1330可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。图13中是以输入单元1330包括图像输入设备1331和其它输入设备1332为例。
除以上之外，终端设备1300还可以包括用于给其他模块供电的电源1390、音频电路1360、近场通信模块1370和RF电路1310。终端设备1310还可以包括一个或多个传感器1350，例如加速度传感器、光传感器、压力传感器等。音频电路1360具体包括扬声器1361和麦克风1362等，例如用户可以使用语音控制，终端设备1300可以通过麦克风1362采集用户的声音，可以用户的声音进行控制，并在需要提示用户时，通过扬声器1361播放对应的提示音。
基于同一发明构思，本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的文本风格迁移方法。
在一些可能的实施方式中，本申请提供的音频库的生成方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在计算机设备上运行时，计算机程序用于使计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的文本风格迁移方法中的步骤，例如，计算机设备可以执行如图3A、图5或图7中所示的步骤。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(EPROM或闪存)、光纤、CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请的实施方式的程序产品可以采用CD-ROM并包括程序代码，并可以在计算装置上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种文本风格迁移方法，其特征在于，包括：
响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息；
将所述待转换文本输入已训练的向量转换模型中，得到所述待转换文本对应的目标语义向量；
基于所述目标文本风格转换信息，确定对应设置的已训练的目标风格转换模型；
将所述目标语义向量输入所述已训练的目标风格转换模型中，获得目标文本风格文本。
2.如权利要求1所述的方法，其特征在于，所述向量转换模型是采用以下方式训练得到的：
获取第一训练数据集，所述第一训练数据集中的每个第一训练样本为初始文本风格或目标文本风格；
将所述第一训练数据集，输入所述向量转换模型中进行迭代训练，直至满足预设的第一收敛条件为止，输出训练完毕的向量转换模型，其中，一次迭代过程包括：
获取所述第一训练数据集中的一个第一训练样本，并将所述一个第一训练样本输入所述向量转换模型，获得所述一个第一训练样本对应的第一语义向量；
将所述第一语义向量输入对应所述向量转换模型设置的文本还原模型中，得到第一预测样本；
基于所述第一预测样本和所述一个第一训练样本之间的第一损失值，对所述向量转换模型进行参数调整，其中，所述文本还原模型和所述向量转换模型之间的参数共享。
3.如权利要求2所述的方法，其特征在于，所述基于所述第一预测样本和所述一个第一训练样本之间的第一损失值，对所述向量转换模型进行参数调整，具体包括：
基于所述第一损失值确定所述向量转换模型上参数的梯度；
按照所述梯度的方向对所述向量转换模型进行参数调整。
4.如权利要求1、2或3所述的方法，其特征在于，所述目标风格转换模型是采用以下方式训练得到的：
获取第二训练数据集，所述第二训练数据集中的每个第二训练样本为目标文本风格；
将所述第二训练数据集，输入所述目标风格转换模型中进行迭代训练，直至满足预设的第二收敛条件为止，输出训练完毕的目标风格转换模型，其中，一次迭代过程包括：
获取所述第二训练数据集中的一个第二训练样本，并将所述一个第二训练样本输入所述向量转换模型，获得所述一个第二训练样本对应的第二语义向量；
将所述第二语义向量输入目标风格转换模型中，得到所述一个第二训练样本对应的第二预测样本；
基于所述第二预测样本和所述一个第二训练样本之间的第二损失值，对所述目标风格转换模型进行参数调整。
5.如权利要求1-3中任一项所述的方法，其特征在于，所述响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息之前，还包括：
响应于输入操作，获取输入的待解答信息和所述目标文本风格转换信息；
在指定存储位置中，查找与所述待解答信息对应的应答文本，并将所述应答文本作为所述待转换文本；
所述获得目标文本风格文本之后，还包括：
呈现所述目标文本风格文本。
6.如权利要求5所述的方法，其特征在于，所述呈现所述目标文本风格文本，包括：
通过语音播报所述目标文本风格文本；或者，
通过人机交互界面呈现所述目标文本风格文本。
7.一种文本风格迁移装置，其特征在于，包括：
获取单元，用于响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息；
向量转换单元，用于将所述待转换文本输入已训练的向量转换模型中，得到所述待转换文本对应的目标语义向量；
确定单元，用于基于所述目标文本风格转换信息，确定对应设置的已训练的目标风格转换模型；
风格转换单元，用于将所述目标语义向量输入所述已训练的目标风格转换模型中，获得目标文本风格文本。
8.如权利要求7所述的装置，其特征在于，还包括训练单元，所述训练单元用于：
获取第一训练数据集，所述第一训练数据集中的每个第一训练样本为初始文本风格或目标文本风格；
将所述第一训练数据集，输入所述向量转换模型中进行迭代训练，直至满足预设的第一收敛条件为止，输出训练完毕的向量转换模型，其中，一次迭代过程包括：
获取所述第一训练数据集中的一个第一训练样本，并将所述一个第一训练样本输入所述向量转换模型，获得所述一个第一训练样本对应的第一语义向量；
将所述第一语义向量输入对应所述向量转换模型设置的文本还原模型中，得到第一预测样本；
基于所述第一预测样本和所述一个第一训练样本之间的第一损失值，对所述向量转换模型进行参数调整，其中，所述文本还原模型和所述向量转换模型之间的参数共享。
9.如权利要求8所述的装置，其特征在于，所述基于所述第一预测样本和所述一个第一训练样本之间的第一损失值，对所述向量转换模型进行参数调整时，所述训练单元具体用于：
基于所述第一损失值确定所述向量转换模型上参数的梯度；
按照所述梯度的方向对所述向量转换模型进行参数调整。
10.如权利要求7、8或9所述的装置，其特征在于，包括训练单元，所述训练单元用于：
获取第二训练数据集，所述第二训练数据集中的每个第二训练样本为目标文本风格；
将所述第二训练数据集，输入所述目标风格转换模型中进行迭代训练，直至满足预设的第二收敛条件为止，输出训练完毕的目标风格转换模型，其中，一次迭代过程包括：
获取所述第二训练数据集中的一个第二训练样本，并将所述一个第二训练样本输入所述向量转换模型，获得所述一个第二训练样本对应的第二语义向量；
将所述第二语义向量输入目标风格转换模型中，得到所述一个第二训练样本对应的第二预测样本；
基于所述第二预测样本和所述一个第二训练样本之间的第二损失值，对所述目标风格转换模型进行参数调整。
11.如权利要求7、8或9所述的装置，其特征在于，所述响应于文本风格转换请求，获取待转换文本和目标文本风格转换信息之前，所述获取单元还用于：
响应于输入操作，获取输入的待解答信息和所述目标文本风格转换信息；
在指定存储位置中，查找与所述待解答信息对应的应答文本，并将所述应答文本作为所述待转换文本；
所述获得目标文本风格文本之后，所述风格转换单元还用于：
呈现所述目标文本风格文本。
12.如权利要求11所述的装置，其特征在于，所述呈现所述目标文本风格文本时，所述风格转换单元具体用于：
通过语音播报所述目标文本风格文本；或者，
通过人机交互界面呈现所述目标文本风格文本。
13.一种电子设备，其特征在于，其包括处理器和存储器，其中，所述存储器存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6中任一所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其包括计算机程序，当所述计算机程序在电子设备上运行时，所述计算机程序用于使所述电子设备执行权利要求1～6中任一所述方法的步骤。
CN202110691090.3A 2021-06-22 2021-06-22 一种文本风格迁移方法、装置、电子设备和存储介质 Pending CN113822064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110691090.3A CN113822064A (zh) 2021-06-22 2021-06-22 一种文本风格迁移方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110691090.3A CN113822064A (zh) 2021-06-22 2021-06-22 一种文本风格迁移方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113822064A true CN113822064A (zh) 2021-12-21

Family

ID=78923918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110691090.3A Pending CN113822064A (zh) 2021-06-22 2021-06-22 一种文本风格迁移方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113822064A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795039A (zh) * 2023-02-08 2023-03-14 成都索贝数码科技股份有限公司 基于深度学习的风格标题生成方法、设备及介质
CN115879469A (zh) * 2022-12-30 2023-03-31 北京百度网讯科技有限公司 文本数据处理方法、模型训练方法、装置及介质
JP7400181B1 (ja) 2023-05-26 2023-12-19 株式会社Bridgebooks 回答出力装置、回答出力システム、回答出力プログラム及び回答出力方法
CN117933195A (zh) * 2024-03-25 2024-04-26 腾讯科技（深圳）有限公司 导航播报数据处理方法、装置、计算机设备和存储介质
CN117932043A (zh) * 2024-03-22 2024-04-26 杭州食方科技有限公司 对话风格迁移答复信息显示方法、装置、设备和可读介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115879469A (zh) * 2022-12-30 2023-03-31 北京百度网讯科技有限公司 文本数据处理方法、模型训练方法、装置及介质
CN115879469B (zh) * 2022-12-30 2023-10-03 北京百度网讯科技有限公司 文本数据处理方法、模型训练方法、装置及介质
CN115795039A (zh) * 2023-02-08 2023-03-14 成都索贝数码科技股份有限公司 基于深度学习的风格标题生成方法、设备及介质
CN115795039B (zh) * 2023-02-08 2023-06-02 成都索贝数码科技股份有限公司 基于深度学习的风格标题生成方法、设备及介质
JP7400181B1 (ja) 2023-05-26 2023-12-19 株式会社Bridgebooks 回答出力装置、回答出力システム、回答出力プログラム及び回答出力方法
CN117932043A (zh) * 2024-03-22 2024-04-26 杭州食方科技有限公司 对话风格迁移答复信息显示方法、装置、设备和可读介质
CN117932043B (zh) * 2024-03-22 2024-06-21 杭州食方科技有限公司 对话风格迁移答复信息显示方法、装置、设备和可读介质
CN117933195A (zh) * 2024-03-25 2024-04-26 腾讯科技（深圳）有限公司 导航播报数据处理方法、装置、计算机设备和存储介质
CN117933195B (zh) * 2024-03-25 2024-07-23 腾讯科技（深圳）有限公司 导航播报数据处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111767405B (zh) 文本分类模型的训练方法、装置、设备及存储介质
CN110490213B (zh) 图像识别方法、装置及存储介质
CN111897964B (zh) 文本分类模型训练方法、装置、设备及存储介质
CN111897941B (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
CN113822064A (zh) 一种文本风格迁移方法、装置、电子设备和存储介质
CN109844741B (zh) 在自动聊天中生成响应
US10509864B2 (en) Language model translation and training method and apparatus
WO2018195875A1 (en) Generating question-answer pairs for automated chatting
CN111368079B (zh) 一种文本分类的方法、模型训练的方法、装置及存储介质
CN110379225A (zh) 互动式语言习得的系统和方法
US11721333B2 (en) Electronic apparatus and control method thereof
CN109726396A (zh) 问答文本的语义匹配方法、装置、介质及电子设备
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN108846077A (zh) 问答文本的语义匹配方法、装置、介质及电子设备
CN113392210A (zh) 文本分类方法、装置、电子设备及存储介质
WO2021136131A1 (zh) 一种信息推荐方法以及相关设备
CN111898636B (zh) 一种数据处理方法及装置
KR20190105182A (ko) 전자 장치 및 그 제어 방법
CN112100375A (zh) 文本信息生成方法、装置、存储介质及设备
CN109710760A (zh) 短文本的聚类方法、装置、介质及电子设备
CN111738000B (zh) 一种短语推荐的方法以及相关装置
Nakamura et al. Ensemble-of-concept models for unsupervised formation of multiple categories
KR102398386B1 (ko) 복수 개의 메시지들을 필터링하는 방법 및 이를 위한 장치
Li et al. Intention understanding in human–robot interaction based on visual-NLP semantics
CN117972138B (zh) 预训练模型的训练方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination