CN109635253A - 文本风格转换方法、装置及存储介质、计算机设备 - Google Patents
文本风格转换方法、装置及存储介质、计算机设备 Download PDFInfo
- Publication number
- CN109635253A CN109635253A CN201811348277.8A CN201811348277A CN109635253A CN 109635253 A CN109635253 A CN 109635253A CN 201811348277 A CN201811348277 A CN 201811348277A CN 109635253 A CN109635253 A CN 109635253A
- Authority
- CN
- China
- Prior art keywords
- corpus
- text
- model
- style
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000008451 emotion Effects 0.000 claims abstract description 49
- 239000013598 vector Substances 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 29
- 238000004519 manufacturing process Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 230000002889 sympathetic effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/151—Transformation
- G06F40/16—Automatic learning of transformation rules, e.g. from examples
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种文本风格转换方法、装置及存储介质、计算机设备，所述方法包括：根据文本的应用场景获取文本语料，生成文本语料集；从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料；将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练；根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。上述方法实现文本的不同风格的转换，为文本创作、写作提供了自动化方式。
Description
技术领域
本发明涉及计算机技术领域，具体而言，本发明涉及一种文本风格转换方法、装置及存储介质、计算机设备。
背景技术
当前，随着人工智能技术的高速发展，“深度学习+大数据”成为人工智能发展的主要技术路线。人工智能的研究包括机器人、文字以及语音的识别、图像处理以及语音合成等。其中，机器学习是人工智能技术的一个重要研究方向。机器学习算法包括分层聚类算法、基于密度的聚类DBSCAN、朴素贝叶斯算法、决策树算法以及逻辑回归算法等。
通过机器学习算法实现了文本的主题分析以及文本主题的挖掘等。然而，目前还没实现通过机器学习完成文本的风格转换，以实现文本风格的自动化转换。
发明内容
本发明提出一种文本风格转换方法、装置及存储介质、计算机设备，以实现文本的不同风格的转换，为文本创作、写作提供了自动化方式。
本发明提供以下方案：
一种文本风格转换方法，包括：根据文本的应用场景获取文本语料，生成文本语料集；从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料；将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练；根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。
在其中一个实施例中，所述从所述文本语料集中获取对齐语料，包括：对所述文本语料集进行词向量训练，得到所述文本语料对应的词向量；通过余弦相似度算法计算所述文本语料对应的词向量中，各个词向量的距离；根据所述各个词向量的距离获取所述对齐语料。
在其中一个实施例中，所述对齐语料包括源文本语料和转换文本语料；所述源文本语料为根据文本文字直接表达的情感风格的语料；所述转换文本语料为根据文本文字延伸的表达的情感风格不同于所述源文本表达的情感风格的语料；所述将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行文本风格转换训练，包括：将所述源文本语料作为所述seq2seq模型的模型输入，所述转换文本语料作为所述seq2seq模型的模型输出，对所述seq2seq模型进行情感风格转换训练。
在其中一个实施例中，所述将所述源文本语料作为所述seq2seq模型的模型输入，所述转换文本语料作为所述seq2seq模型的模型输出，对所述seq2seq模型进行情感风格转换训练，包括：获取所述对齐语料中一个所述源文本语料，以及该源文本语料对应的多个所述转换文本语料；将一个所述源文本语料作为所述seq2seq模型中的encoder结构的输入文本，将多个所述转换文本语料作为所述seq2seq模型中的decoder结构的输出文本，有监督训练不同情感风格的所述decoder结构。
在其中一个实施例中，所述根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料之后，还包括：采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化。
在其中一个实施例中，所述采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化，包括：将所述已训练的seq2seq模型作为所述GAN生成式对抗网络模型中的生成模型，卷积神经网络CNN模型作为所述GAN生成式对抗网络模型中的判别模型，对所述seq2seq模型输出的所述转换语料进行评分，将所述评分的结果反馈至所述生成模型。
在其中一个实施例中，所述根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料之后，还包括：对所述seq2seq模型的encoder结构中用于控制不同情感风格转换的门单元进行编码控制；所述门单元用于控制所述encoder结构产生不同的语义编码，以控制所述seq2seq模型的decoder结构输出不同情感风格的转换语料。
一种文本风格转换装置，包括：生成模块，用于根据文本的应用场景获取文本语料，生成文本语料集；获取模块，用于从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料；训练模块，用于将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练；转换模块，用于根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。
一种存储介质，其上存储有计算机程序；所述计算机程序适于由处理器加载并执行上述任一实施例所述的文本风格转换方法。
一种计算机设备，其包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据上述任一实施例所述的文本风格转换方法。
上述实施例提供的文本风格转换方法，在文本对应的应用场景中获取文本语料，根据该文本语料生成文本语料集，用于作为后续模型的训练语料。进一步，从文本语料集中获取对齐语料输入到seq2seq模型，以对seq2seq模型进行情感风格转换训练，从而训练出能够将文本转换为多种情感风格的seq2seq模型。当从应用场景获取目标文本，并将目标文本输入已训练的seq2seq模型，即可得到相应情感风格的转换语料。因此，可通过深度学习方法，实现文本不同风格的转换，为文本创作、写作提供了自动化工具。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明提供的文本风格转换方法的应用场景的一实施例中的结构示意图；
图2为本发明提供的一种文本风格转换方法的一实施例中的方法流程图；
图3为本发明提供的一种文本风格转换方法的另一实施例中的方法流程图；
图4为本发明提供的一种文本风格转换方法的再一实施例中的方法流程图；
图5为本发明提供的一种文本风格转换方法的又一实施例中的方法流程图；
图6为本发明提供的一种文本风格转换方法的又一实施例中的方法流程图；
图7为本发明提供的一种文本风格转换装置的一实施例中的结构框图；
图8为本发明提供的一种计算机设备的一实施例中的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式，这里使用的“第一”、“第二”仅用于区别同一技术特征，并不对该技术特征的顺序和数量等加以限定。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本发明提供的一种文本风格转换方法，适用于各种将文本风格进行转化的平台、终端或者服务器。系统通过该文本风格转换方法对用户输入的文本进行相应的文本风格转换，从而获取多种风格的语料。以下先对该文本风格转换的应用环境进行先导性说明：
如图1所示，服务器100与用户终端位于同一个网络200环境中，后服务器100与用户终端通过网络200进行数据信息的交互。用户终端可包括手机303以及pad等移动终端，也可以包括笔记本电脑以及台式电脑等。网络200可包括无线网络和/或有线网络。服务器100通过网络200获取用户输入的文本，根据本发明所述的文本风格转换方法将该文本转化为不同情感风格的语料。服务器100的数量与用户终端中的用户的数量均不作限定，图1所示只作为示例说明。用户终端中安装有接收文本输入的客户端。用户可以通过客户端与对应的服务器100进行信息交互。客户端与服务器100相对应，共同遵循同一套数据协议，使得服务器100跟客户端能够互相解析出对方的数据，向用户下发文本风格转换后的语料。
本发明提供一种文本风格转换方法。在一实施例中，如图2所示，该文本风格转换方法，包括以下步骤：
S100，根据文本的应用场景获取文本语料，生成文本语料集。
在本实施例中，通过文本的应用场景获取文本语料。不同的应用场景获取到的文本语料也不同。如对话场景下获取到的文本语料为一般对话用语中常用到的语句形成的文本语料，音乐领域场景下获取的文本语料为多首歌词的歌词文本内容形成的文本语料，或者各种文章领域的文本内容形成的文本语料。通过获取文本的应用场景中的大量文本语料，可生成对应的文本语料集。此处的文本语料集用于作为后续模型训练的训练语料。
S200，从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料。
在本实施例中，从文本语料集中获取对齐语料。此处的对齐语料为表达内容相同但表示不同情感的文本语料。对齐语料可以包括多对非平行语料。如文本语料A、文本语料B、文本语料C和文本语料D，均表达同样的内容，但表达出的情感却不相同。此时文本语料A、文本语料B、文本语料C和文本语料D为一对非平行语料。系统从文本语料集中获取多对非平行语料，以作为seq2seq模型的训练语料，并对seq2seq模型进行有监督训练。
在一实施例中，所述从所述文本语料集中获取对齐语料，包括：对所述文本语料集进行词向量训练，得到所述文本语料对应的词向量；通过余弦相似度算法计算所述文本语料对应的词向量中，各个词向量的距离；根据所述各个词向量的距离获取所述对齐语料。
在该实施例中，系统获取对齐语料的方式为：将文本语料集进行词向量训练。词向量训练的方式可以采用传统的词嵌入方式进行，通过采用word2vec算法从文本语料集中获得大量的词向量。进一步地，采用余弦相似度算法获取每个词向量的距离，根据该距离获取对齐语料。此处，可以是当两个词向量的距离满足预设条件时，确定该两个词向量的内容为对齐语料。例如，当两个词向量的距离预置值时，将该两个词向量的内容确定为对齐语料。
S300，将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练。
在本实施例中，系统将训练语料输入到seq2seq模型，对seq2seq模型进行情感风格转换训练。文本语料集中包括多种对齐语料，一个对齐语料中又包括多种情感风格的文本语料。因此，将包含不同情感风格文本语料的对齐语料输入seq2seq模型中对seq2seq模型训练，以使得seq2seq模型具备将文本转化为多种情感风格语料的功能。
在一实施例中，所述对齐语料包括源文本语料和转换文本语料；所述源文本语料为根据文本文字直接表达的情感风格的语料；所述转换文本语料为根据文本文字延伸的表达的情感风格不同于所述源文本表达的情感风格的语料。如图3所示，步骤S300，包括：
S310，将所述源文本语料作为所述seq2seq模型的模型输入，所述转换文本语料作为所述seq2seq模型的模型输出，对所述seq2seq模型进行情感风格转换训练。
在该实施例中，源文本语料为根据文本文字直接表达的情感风格的语料。此处为系统通过对文本中文字内容进行识别，根据文字内容意思确定出的情感风格。如高兴，表达令人感到快乐的、愉快的情绪。因此，快乐的、愉快的情绪即为高兴的源文本语料。转换文本语料则为根据文本文字延伸的表达的情感风格的语料。该语料不同于源文本表达的情感风格的语料，由系统根据对文本延伸表达意思确定其情感风格。如，在某些应用场景中(例如对话场景中)，“高兴”用不同的语气表达“悲哀”、“无奈”或“反讽”的意思，因此“悲哀”、“无奈”或“反讽”为其转换文本语料。将源文本语料作为seq2seq模型的模型输入，将源文本语料对应的转换文本语料作为seq2seq模型的模型输出，即可训练出可将文本转化为多种情感风格输出的seq2seq模型。
在该实施例的一个实施方式中，如图4所示，步骤S310，包括：
S311，获取所述对齐语料中一个所述源文本语料，以及该源文本语料对应的多个所述转换文本语料。
S313，将一个所述源文本语料作为所述seq2seq模型中的encoder结构的输入文本，将多个所述转换文本语料作为所述seq2seq模型中的decoder结构的输出文本，有监督训练不同情感风格的所述decoder结构。
在该实施方式中，对齐语料，也即不同情感但表达内容相同的文本，其包括源文本语料和转换文本语料，例如负面情感文本与正面情感文本，并将该对齐语料作为seq2seq模型的训练语料。具体地，通过向seq2seq模型输入源文本语料(例如负面情感)，其中seq2seq模型的encoder结构将输入文本进行编程提取抽象语义，并将转换文本语料(例如正面情感)作为模型输出的目标语句，以进行有监督训练不同风格的seq2seq模型的decoder结构。完成训练的seq2seq模型即可通过encoder结构和decoder结构的步骤将文本应用场景中的文本的风格(例如情感)转换成对应的风格。
S400，根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。
在本实施例中，系统可根据应用场景获取需要进行情感风格转换的目标文本，将该目标文本输入到已完成训练的seq2seq模型中，从而输出不同情感风格的转换语料。
在具体的实施方式中，上述文本风格转换方法基于非平行语料的训练，应用seq2seq加情感模块等的深度学习方法，可以生成多种情感，多种文风的迁移。可以将多种情感的迁移应用到情感对话系统之中，通过情感风格控制以模拟带有情感的人的回答，实现与对话者的共鸣；也可以应用到不同曲风(民谣，摇滚等)，不同情感(喜悦，悲伤等)的歌词或者文章生成之中。进一步地，可生成多种风格且可控的语料，在对话系统中，让生成的对话更加人性化，可进行对话方向的引导；在歌词或者文章的自动生成中，让生成的文本风格更加多变。
在一实施例中，如图5所示，步骤S400之后，还包括：
S410，采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化。
在该实施例中，GAN(Generative Adversarial Networks，生成式对抗网络)是一种无监督的深度学习模型，其主要包括生成模型和判别模型。强化学习是学习一个可以让本体在特定环境中，根据当前的状态做出行动，从而获得最大回报。根据前期对seq2seq模型的训练，使得将目标文本输入到seq2seq模型之后，可获得相应各种情感风格转换之后的语料。为了使得seq2seq模型输出的情感风格更加准确以及更加贴近用户需求，可采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化。
具体地，所述采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化，包括：将所述已训练的seq2seq模型作为所述GAN生成式对抗网络模型中的生成模型，卷积神经网络CNN模型作为所述GAN生成式对抗网络模型中的判别模型，对所述seq2seq模型输出的所述转换语料进行评分，将所述评分的结果反馈至所述生成模型。
在该实施例中，首先需要声明的是，seq2seq模型主要由encoder结构和decoder结构组成，其中encoder结构将对输入源文本语料进行语义编码，而decoder结构则将语义编码通过RNN神经网络解码成目标风格的文本语料。
由于该实施例目标是实现文本风格的转换，因此在训练过程中需要对decoder结构的解码结果进行分析判别，根据风格转换的效果进行模型的优化。其中，对风格的判别结果反馈至seq2seq模型进行优化的方式可以包括两种方法，强化学习方法和GAN生成式对抗网络模型方法。以GAN为例，GAN主要包括生成模型和判别模型两部分，其中生成模型可以是上述的seq2seq模型，也即可生成目标风格的文本语料。判别模型则可以由卷积神经网络(CNN)组成，根据CNN卷积神经网络对生成的文本进行分析以形成目标风格的评分，而这个评分又可以反馈至生成模型网络当中进行优化。之外，强化学习也是采用相似的训练过程，此处不再详述。
在一实施例中，如图6所示，步骤S400之后，还包括：
S420，对所述seq2seq模型的encoder结构中用于控制不同情感风格转换的门单元进行编码控制；所述门单元用于控制所述encoder结构产生不同的语义编码，以控制所述seq2seq模型的decoder结构输出不同情感风格的转换语料。
在该实施例中，seq2seq模型中，其控制生成模型的输出由encoder结构产生的语义编码以及风格控制的门单元所控制。系统通过对门单元进行编码，即可实现对应的文本情感风格转换。例如，编码为0001时，转换为正面情感。编码为0010时，转换为与正面情感相近的其他情感。编码为0011时，转换为与正面情感相反的其他情感。
本发明还提供一种文本风格转换装置。在一实施例中，如图7所示，该文本风格转换装置包括生成模块10、获取模块20、训练模块30和转换模块40。
生成模块10用于根据文本的应用场景获取文本语料，生成文本语料集。在本实施例中，通过文本的应用场景获取文本语料。不同的应用场景获取到的文本语料也不同。如对话场景下获取到的文本语料为一般对话用语中常用到的语句形成的文本语料，音乐领域场景下获取的文本语料为多首歌词的歌词文本内容形成的文本语料，或者各种文章领域的文本内容形成的文本语料。通过获取文本的应用场景中的大量文本语料，可生成对应的文本语料集。此处的文本语料集用于作为后续模型训练的训练语料。
获取模块20用于从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料。在本实施例中，从文本语料集中获取对齐语料。此处的对齐语料为表达内容相同但表示不同情感的文本语料。对齐语料可以包括多对非平行语料。如文本语料A、文本语料B、文本语料C和文本语料D，均表达同样的内容，但表达出的情感却不相同。此时文本语料A、文本语料B、文本语料C和文本语料D为一对非平行语料。系统从文本语料集中获取多对非平行语料，以作为seq2seq模型的训练语料，并对seq2seq模型进行有监督训练。
在一实施例中，所述从所述文本语料集中获取对齐语料，包括：对所述文本语料集进行词向量训练，得到所述文本语料对应的词向量；通过余弦相似度算法计算所述文本语料对应的词向量中，各个词向量的距离；根据所述各个词向量的距离获取所述对齐语料。
在该实施例中，系统获取对齐语料的方式为：将文本语料集进行词向量训练。词向量训练的方式可以采用传统的词嵌入方式进行，通过采用word2vec算法从文本语料集中获得大量的词向量。进一步地，采用余弦相似度算法获取每个词向量的距离，根据该距离获取对齐语料。此处，可以是当两个词向量的距离满足预设条件时，确定该两个词向量的内容为对齐语料。例如，当两个词向量的距离预置值时，将该两个词向量的内容确定为对齐语料。
训练模块30用于将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练。在本实施例中，系统将训练语料输入到seq2seq模型，对seq2seq模型进行情感风格转换训练。文本语料集中包括多种对齐语料，一个对齐语料中又包括多种情感风格的文本语料。因此，将包含不同情感风格文本语料的对齐语料输入seq2seq模型中对seq2seq模型训练，以使得seq2seq模型具备将文本转化为多种情感风格语料的功能。
转换模块40用于根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。在本实施例中，系统可根据应用场景获取需要进行情感风格转换的目标文本，将该目标文本输入到已完成训练的seq2seq模型中，从而输出不同情感风格的转换语料。
在具体的实施方式中，上述文本风格转换装置基于非平行语料的训练，应用seq2seq加情感模块等的深度学习方法，可以生成多种情感，多种文风的迁移。可以将多种情感的迁移应用到情感对话系统之中，通过情感风格控制以模拟带有情感的人的回答，实现与对话者的共鸣；也可以应用到不同曲风(民谣，摇滚等)，不同情感(喜悦，悲伤等)的歌词或者文章生成之中。进一步地，可生成多种风格且可控的语料，在对话系统中，让生成的对话更加人性化，可进行对话方向的引导；在歌词或者文章的自动生成中，让生成的文本风格更加多变。
在其他实施例中，本发明提供的文本风格转换装置中的各个模块还用于执行本发明所述的文本风格转换方法中，对应各个步骤执行的操作，在此不再做详细的说明。
本发明还提供一种存储介质。该存储介质上存储有计算机程序；所述计算机程序被处理器执行时，实现上述任一实施例所述的文本风格转换方法。该存储介质可以是存储器。例如，内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储介质包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
本发明还提供一种计算机设备。一种计算机设备包括：一个或多个处理器；存储器；一个或多个应用程序。其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述任一实施例所述的文本风格转换方法。
图8为本发明一实施例中的计算机设备的结构示意图。本实施例所述计算机设备可以是服务器、个人计算机以及网络设备。如图8所示，设备包括处理器803、存储器805、输入单元807以及显示单元809等器件。本领域技术人员可以理解，图8示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器805可用于存储应用程序801以及各功能模块，处理器803运行存储在存储器805的应用程序801，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元807用于接收信号的输入，以及接收用户输入的关键字。输入单元807可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元809可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元809可采用液晶显示器、有机发光二极管等形式。处理器803是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器803内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
在一实施方式中，设备包括一个或多个处理器803，以及一个或多个存储器805，一个或多个应用程序801。其中所述一个或多个应用程序801被存储在存储器805中并被配置为由所述一个或多个处理器803执行，所述一个或多个应用程序801配置用于执行以上实施例所述的文本风格转换方法。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括存储器、磁盘或光盘等。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
应该理解的是，在本发明各实施例中的各功能单元可集成在一个处理模块中，也可以各个单元单独物理存在，也可以两个或两个以上单元集成于一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种文本风格转换方法，其特征在于，包括：
根据文本的应用场景获取文本语料，生成文本语料集；
从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料；
将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练；
根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。
2.根据权利要求1所述的方法，其特征在于，所述从所述文本语料集中获取对齐语料，包括：
对所述文本语料集进行词向量训练，得到所述文本语料对应的词向量；
通过余弦相似度算法计算所述文本语料对应的词向量中，各个词向量的距离；
根据所述各个词向量的距离获取所述对齐语料。
3.根据权利要求1所述的方法，其特征在于，所述对齐语料包括源文本语料和转换文本语料；所述源文本语料为根据文本文字直接表达的情感风格的语料；所述转换文本语料为根据文本文字延伸的表达的情感风格不同于所述源文本表达的情感风格的语料；
所述将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行文本风格转换训练，包括：
将所述源文本语料作为所述seq2seq模型的模型输入，所述转换文本语料作为所述seq2seq模型的模型输出，对所述seq2seq模型进行情感风格转换训练。
4.根据权利要求3所述的方法，其特征在于，所述将所述源文本语料作为所述seq2seq模型的模型输入，所述转换文本语料作为所述seq2seq模型的模型输出，对所述seq2seq模型进行情感风格转换训练，包括：
获取所述对齐语料中一个所述源文本语料，以及该源文本语料对应的多个所述转换文本语料；
将一个所述源文本语料作为所述seq2seq模型中的encoder结构的输入文本，将多个所述转换文本语料作为所述seq2seq模型中的decoder结构的输出文本，有监督训练不同情感风格的所述decoder结构。
5.根据权利要求1所述的方法，其特征在于，所述根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料之后，还包括：
采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化。
6.根据权利要求5所述的方法，其特征在于，所述采用GAN生成式对抗网络模型算法或强化学习方法对所述已训练的seq2seq模型进行优化，包括：
将所述已训练的seq2seq模型作为所述GAN生成式对抗网络模型中的生成模型，卷积神经网络CNN模型作为所述GAN生成式对抗网络模型中的判别模型，对所述seq2seq模型输出的所述转换语料进行评分，将所述评分的结果反馈至所述生成模型。
7.根据权利要求1所述的方法，其特征在于，所述根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料之后，还包括：
对所述seq2seq模型的encoder结构中用于控制不同情感风格转换的门单元进行编码控制；所述门单元用于控制所述encoder结构产生不同的语义编码，以控制所述seq2seq模型的decoder结构输出不同情感风格的转换语料。
8.一种文本风格转换装置，其特征在于，包括：
生成模块，用于根据文本的应用场景获取文本语料，生成文本语料集；
获取模块，用于从所述文本语料集中获取对齐语料，将所述对齐语料作为seq2seq模型的训练语料；所述对齐语料为表达内容相同但表示不同情感的文本语料；
训练模块，用于将所述训练语料输入所述seq2seq模型，以对所述seq2seq模型进行情感风格转换训练；
转换模块，用于根据所述应用场景获取目标文本，将所述目标文本输入已训练的seq2seq模型，得到相应情感风格的转换语料。
9.一种存储介质，其特征在于，其上存储有计算机程序；所述计算机程序适于由处理器加载并执行上述权利要求1至7中任一项所述的文本风格转换方法。
10.一种计算机设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据权利要求1至7任一项所述的文本风格转换方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811348277.8A CN109635253B (zh) | 2018-11-13 | 2018-11-13 | 文本风格转换方法、装置及存储介质、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811348277.8A CN109635253B (zh) | 2018-11-13 | 2018-11-13 | 文本风格转换方法、装置及存储介质、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109635253A true CN109635253A (zh) | 2019-04-16 |
| CN109635253B CN109635253B (zh) | 2024-05-28 |
Family
ID=66067812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811348277.8A Active CN109635253B (zh) | 2018-11-13 | 2018-11-13 | 文本风格转换方法、装置及存储介质、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635253B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111125154A (zh) * | 2019-12-31 | 2020-05-08 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
| CN111241250A (zh) * | 2020-01-22 | 2020-06-05 | 中国人民大学 | 一种情感对话生成系统和方法 |
| CN111326131A (zh) * | 2020-03-03 | 2020-06-23 | 北京香侬慧语科技有限责任公司 | 一种歌曲转换方法、装置、设备以及介质 |
| CN111737983A (zh) * | 2020-06-22 | 2020-10-02 | 网易（杭州）网络有限公司 | 文本写作风格处理方法、装置、设备及存储介质 |
| CN111931496A (zh) * | 2020-07-08 | 2020-11-13 | 广东工业大学 | 一种基于递归神经网络模型的文本风格转换系统及方法 |
| CN111950695A (zh) * | 2019-05-15 | 2020-11-17 | 辉达公司 | 使用一个或更多个神经网络进行语法迁移 |
| CN112446190A (zh) * | 2019-08-16 | 2021-03-05 | 北京大数医达科技有限公司 | 生成风格转化文本的方法和装置 |
| CN112489652A (zh) * | 2020-12-10 | 2021-03-12 | 北京有竹居网络技术有限公司 | 一种语音信息的文本获取方法、装置和存储介质 |
| CN112818082A (zh) * | 2019-11-15 | 2021-05-18 | 北京沃东天骏信息技术有限公司 | 评价文本推送方法和装置 |
| CN113343648A (zh) * | 2021-05-21 | 2021-09-03 | 湖北大学 | 基于潜在空间编辑的文本风格转换方法 |
| CN113535969A (zh) * | 2020-04-20 | 2021-10-22 | 南京大学 | 语料扩充方法、装置、计算机设备及存储介质 |
| CN113625885A (zh) * | 2020-05-08 | 2021-11-09 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和用于输入的装置 |
| WO2022105229A1 (zh) * | 2020-11-20 | 2022-05-27 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和用于输入的装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110112825A1 (en) * | 2009-11-12 | 2011-05-12 | Jerome Bellegarda | Sentiment prediction from textual data |
| US20120251016A1 (en) * | 2011-04-01 | 2012-10-04 | Kenton Lyons | Techniques for style transformation |
| US20170039174A1 (en) * | 2015-08-07 | 2017-02-09 | Google Inc. | Text classification and transformation based on author |
| CN108304436A (zh) * | 2017-09-12 | 2018-07-20 | 深圳市腾讯计算机系统有限公司 | 风格语句的生成方法、模型的训练方法、装置及设备 |
| CN108595436A (zh) * | 2018-04-28 | 2018-09-28 | 合肥工业大学 | 情感对话内容的生成方法和系统、存储介质 |
| GB201814860D0 (en) * | 2017-11-14 | 2018-10-31 | Adobe Systems Inc | Predicting style breaches within textual content |
-
2018
- 2018-11-13 CN CN201811348277.8A patent/CN109635253B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110112825A1 (en) * | 2009-11-12 | 2011-05-12 | Jerome Bellegarda | Sentiment prediction from textual data |
| US20120251016A1 (en) * | 2011-04-01 | 2012-10-04 | Kenton Lyons | Techniques for style transformation |
| US20170039174A1 (en) * | 2015-08-07 | 2017-02-09 | Google Inc. | Text classification and transformation based on author |
| CN108304436A (zh) * | 2017-09-12 | 2018-07-20 | 深圳市腾讯计算机系统有限公司 | 风格语句的生成方法、模型的训练方法、装置及设备 |
| GB201814860D0 (en) * | 2017-11-14 | 2018-10-31 | Adobe Systems Inc | Predicting style breaches within textual content |
| CN109783796A (zh) * | 2017-11-14 | 2019-05-21 | 奥多比公司 | 预测文本内容中的样式破坏 |
| CN108595436A (zh) * | 2018-04-28 | 2018-09-28 | 合肥工业大学 | 情感对话内容的生成方法和系统、存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| AYUSH SINGH ET.AL: "Sentiment Transfer using Seq2Seq Adversarial Autoencoders", 《ARXIV:1804.04003V1》, pages 1 - 8 * |
| 梁俊杰;韦舰晶;蒋正锋;: "生成对抗网络GAN综述", 计算机科学与探索, no. 01 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111950695A (zh) * | 2019-05-15 | 2020-11-17 | 辉达公司 | 使用一个或更多个神经网络进行语法迁移 |
| CN112446190A (zh) * | 2019-08-16 | 2021-03-05 | 北京大数医达科技有限公司 | 生成风格转化文本的方法和装置 |
| CN112818082A (zh) * | 2019-11-15 | 2021-05-18 | 北京沃东天骏信息技术有限公司 | 评价文本推送方法和装置 |
| US11449500B2 (en) | 2019-12-31 | 2022-09-20 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for outputting structured query sentence |
| CN111125154B (zh) * | 2019-12-31 | 2021-04-02 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
| CN111125154A (zh) * | 2019-12-31 | 2020-05-08 | 北京百度网讯科技有限公司 | 用于输出结构化查询语句的方法和装置 |
| CN111241250B (zh) * | 2020-01-22 | 2023-10-24 | 中国人民大学 | 一种情感对话生成系统和方法 |
| CN111241250A (zh) * | 2020-01-22 | 2020-06-05 | 中国人民大学 | 一种情感对话生成系统和方法 |
| CN111326131A (zh) * | 2020-03-03 | 2020-06-23 | 北京香侬慧语科技有限责任公司 | 一种歌曲转换方法、装置、设备以及介质 |
| CN111326131B (zh) * | 2020-03-03 | 2023-06-02 | 北京香侬慧语科技有限责任公司 | 一种歌曲转换方法、装置、设备以及介质 |
| CN113535969B (zh) * | 2020-04-20 | 2023-11-03 | 南京大学 | 语料扩充方法、装置、计算机设备及存储介质 |
| CN113535969A (zh) * | 2020-04-20 | 2021-10-22 | 南京大学 | 语料扩充方法、装置、计算机设备及存储介质 |
| CN113625885A (zh) * | 2020-05-08 | 2021-11-09 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和用于输入的装置 |
| CN111737983A (zh) * | 2020-06-22 | 2020-10-02 | 网易（杭州）网络有限公司 | 文本写作风格处理方法、装置、设备及存储介质 |
| CN111737983B (zh) * | 2020-06-22 | 2023-07-25 | 网易（杭州）网络有限公司 | 文本写作风格处理方法、装置、设备及存储介质 |
| CN111931496A (zh) * | 2020-07-08 | 2020-11-13 | 广东工业大学 | 一种基于递归神经网络模型的文本风格转换系统及方法 |
| WO2022105229A1 (zh) * | 2020-11-20 | 2022-05-27 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和用于输入的装置 |
| CN112489652A (zh) * | 2020-12-10 | 2021-03-12 | 北京有竹居网络技术有限公司 | 一种语音信息的文本获取方法、装置和存储介质 |
| CN113343648A (zh) * | 2021-05-21 | 2021-09-03 | 湖北大学 | 基于潜在空间编辑的文本风格转换方法 |
| CN113343648B (zh) * | 2021-05-21 | 2023-05-26 | 湖北大学 | 基于潜在空间编辑的文本风格转换方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109635253B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635253A (zh) | 文本风格转换方法、装置及存储介质、计算机设备 | |
| Ma et al. | A survey on empathetic dialogue systems | |
| Li et al. | Speech emotion recognition using recurrent neural networks with directional self-attention | |
| Kamath et al. | Deep learning for NLP and speech recognition | |
| Liu et al. | Audio self-supervised learning: A survey | |
| Fung et al. | Towards empathetic human-robot interactions | |
| Mai et al. | Locally confined modality fusion network with a global perspective for multimodal human affective computing | |
| Su et al. | LSTM-based text emotion recognition using semantic and emotional word vectors | |
| Jeong et al. | Triangular-chain conditional random fields | |
| Liu et al. | Multistage fusion with forget gate for multimodal summarization in open-domain videos | |
| Zheng et al. | BLSTM-CRF Based End-to-End Prosodic Boundary Prediction with Context Sensitive Embeddings in a Text-to-Speech Front-End. | |
| Zhou et al. | Speech synthesis with mixed emotions | |
| Zhao et al. | Multi-level fusion of wav2vec 2.0 and bert for multimodal emotion recognition | |
| CN108153831A (zh) | 音乐添加方法及装置 | |
| CN110010136A (zh) | 韵律预测模型的训练和文本分析方法、装置、介质和设备 | |
| Lu et al. | A syllable-structured, contextually-based conditionally generation of chinese lyrics | |
| Zhou et al. | Neural conversation generation with auxiliary emotional supervised models | |
| Latif et al. | Multitask learning from augmented auxiliary data for improving speech emotion recognition | |
| Yao et al. | Non-deterministic and emotional chatting machine: learning emotional conversation generation using conditional variational autoencoders | |
| Kahuttanaseth et al. | Commanding mobile robot movement based on natural language processing with RNN encoderdecoder | |
| Wang et al. | Information-enhanced hierarchical self-attention network for multiturn dialog generation | |
| Yao | Attention-based BiLSTM neural networks for sentiment classification of short texts | |
| Khan et al. | MSER: Multimodal speech emotion recognition using cross-attention with deep fusion | |
| CN113590983A (zh) | 描述文本生成方法和装置、文本处理模型的训练方法 | |
| CN112115718A (zh) | 内容文本生成方法和装置、音乐评论文本生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |