CN114912434A - 一种风格文本的生成方法及装置、存储介质、电子设备 - Google Patents

一种风格文本的生成方法及装置、存储介质、电子设备 Download PDF

Info

Publication number
CN114912434A
CN114912434A CN202210495306.3A CN202210495306A CN114912434A CN 114912434 A CN114912434 A CN 114912434A CN 202210495306 A CN202210495306 A CN 202210495306A CN 114912434 A CN114912434 A CN 114912434A
Authority
CN
China
Prior art keywords
text
style
target
model
bert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210495306.3A
Other languages
English (en)
Inventor
张传新
刘春阳
张旭
解峥
付金叶
李秋丹
彭鑫
曾大军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
National Computer Network and Information Security Management Center
Original Assignee
Institute of Automation of Chinese Academy of Science
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, National Computer Network and Information Security Management Center filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210495306.3A priority Critical patent/CN114912434A/zh
Publication of CN114912434A publication Critical patent/CN114912434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种风格文本的生成方法及装置、存储介质、电子设备，其中，该方法包括：根据特征词和观点词构建句法模板；根据所述句法模板提取文本特征标签组合；确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。通过本发明，解决了相关技术采用网络模型生成的文本风格单一的技术问题，本方案可用于在信息传播过程中生成更多优质内容和个性化内容，提高文本的丰富度，提升传播影响力。

Description

一种风格文本的生成方法及装置、存储介质、电子设备
技术领域
本发明涉及计算机领域，更具体地，涉及一种风格文本的生成方法及装置、存储介质、电子设备。
背景技术
相关技术中，文本生成任务是自然语言处理中非常重要的部分，由于在现实应用中存在各种不同特殊要求，在文本生成的过程中难免会有诸多约束，因此条件文本生成有了广泛的应用。条件文本生成是根据一些特定的条件生成目标文本，条件的约束大致分为两类，一类是软约束，通常通过特定的属性(如情感、主题)来对文本进行限制，生成结果需要在语义上与这些属性相关联，一般可将其转换为风格迁移类问题解决；另一类是硬约束，一般给定关键词，要求生成文本中必须包含或者屏蔽这些关键词，解决这类问题一方面需要在数据层面做好优化，另一方面需要优化模型结构使模型能学习到目标特征。根据具体任务的不同，条件文本生成在实际应用中还需考虑生成文本的多样性、个性化等。
相关技术中，被广泛采用的基于神经网络的文本生成方法绝大部分为数据驱动，但是在现实应用中却缺乏优质的标注数据，面临“数据饥渴”问题，这一问题可通过预训练模型得到一定缓解。然而经过模型生成的文本风格太过单一，缺乏个性，并且大部份预训练模型难以针对特定领域或者特定词汇生成文本，无法解决带有条件约束的文本生成问题。
针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。
发明内容
为了解决现有技术的不足，本发明提供了一种风格文本的生成方法及装置、存储介质、电子设备。
根据本申请实施例的一个方面，提供了一种风格文本的生成方法，包括：根据特征词和观点词构建句法模板；根据所述句法模板提取文本特征标签组合；确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
进一步地，根据特征词和观点词构建句法模板包括：根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。
进一步地，根据句法模板提取文本特征标签组合包括：从源数据中获取文本xi；识别所述文本xi中各个词的词性，以及相邻词之间的依存关系；将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合Wi，其中，
Figure BDA0003632770950000021
Figure BDA0003632770950000022
表示文本xi的第j个特征，
Figure BDA0003632770950000023
代表文本xi的第j个特征对应的观点。
进一步地，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型，包括：通过嵌入矩阵提取所述目标写作风格的嵌入表示；确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。
进一步地，将所述嵌入表示融合至所述Bert生成模型的标准化层包括：提取所述Bert生成模型标准化层中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；将所述融合条件添加至所述Bert生成模型的标准化层。
进一步地，以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本，包括：将所述文本特征标签组合和所述目标风格文本进行拼接后得到模型输入特征；将所述模型输入特征输入所述目标Bert语言表征模型的，并对所述文本特征标签组合进行双向注意力编码，通过集束搜索解码生成与所述目标写作风格对应的条件文本。
进一步地，在将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中之前，所述方法还包括：获取样本风格文件的样本特征标签；将所述样本特征标签与所述样本风格文件进行拼接后得到以下输入数据Inputi：Inputi＝[CLS]Wi[SEP]xi[SEP]；采用所述输入数据Inputi训练初始Bert语言表征模型，得到Bert生成模型，其中，所述初始Bert语言表征模型的输入部分Inputi使用双向注意力编码，所述初始Bert语言表征模型的输出部分xi[SEP]使用单向注意力解码，目标函数只计算输出部分的损失，其中，[CLS]为句首的标志位，[SEP]为相邻句的分隔标志位。
根据本申请实施例的另一方面，还提供了一种风格文本的生成装置，包括：构建模块，用于根据特征词和观点词构建句法模板；提取模块，用于根据所述句法模板提取文本特征标签组合；嵌入模块，用于确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；生成模块，用于以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
进一步地，所述构建模块包括：构建单元，用于根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。
进一步地，所述提取模块包括：提取单元，用于从源数据中获取文本xi；识别单元，用于识别所述文本xi中各个词的词性，以及相邻词之间的依存关系；输出单元，用于将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合Wi，其中，
Figure BDA0003632770950000031
表示文本xi的第j个特征，
Figure BDA0003632770950000032
代表文本xi的第j个特征对应的观点。
进一步地，所述嵌入模块包括：提取单元，用于通过嵌入矩阵提取所述目标写作风格的嵌入表示；融合单元，用于确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。
进一步地，所述融合单元包括：提取子单元，用于提取所述Bert生成模型标准化层中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；运算子单元，用于采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；添加子单元，用于将所述融合条件添加至所述Bert生成模型的标准化层。
进一步地，所述生成模块包括：拼接单元，用于将所述文本特征标签组合和所述目标风格文本进行拼接后得到模型输入特征；生成单元，用于将所述模型输入特征输入所述目标Bert语言表征模型的，并对所述文本特征标签组合进行双向注意力编码，通过集束搜索解码生成与所述目标写作风格对应的条件文本。
进一步地，所述装置还包括：获取模块，用于在所述嵌入模块将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中之前，获取样本风格文件的样本特征标签；拼接模块，用于将所述样本特征标签与所述样本风格文件进行拼接后得到以下输入数据Inputi：Inputi＝[CLS]Wi[SEP]xi[SEP]；训练模块，用于采用所述输入数据Inputi训练初始Bert语言表征模型，得到Bert生成模型，其中，所述初始Bert语言表征模型的输入部分Inputi使用双向注意力编码，所述初始Bert语言表征模型的输出部分xi[SEP]使用单向注意力解码，目标函数只计算输出部分的损失，其中，[CLS]为句首的标志位，[SEP]为相邻句的分隔标志位。
根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序运行时执行上述的方法步骤。
根据本申请实施例的另一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：存储器，用于存放计算机程序；处理器，用于通过运行存储器上所存放的程序来执行上述的方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法中的步骤。
通过本发明，根据特征词和观点词构建句法模板，根据句法模板提取文本特征标签组合，确定目标风格文本的目标写作风格，将目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型，以文本特征标签组合为目标Bert语言表征模型的输入，生成与目标写作风格对应的条件文本，通过设计句法模版提取文本特征标签，并将其与写作风格一起作为条件通过不同方式融入到预训练模型中，生成符合特征的个性化文本，自动生成风格多样性的文本，解决了相关技术采用网络模型生成的文本风格单一的技术问题，本方案可用于在信息传播过程中生成更多优质内容和个性化内容，提高文本的丰富度，提升传播影响力。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种计算机的硬件结构框图；
图2是根据本发明实施例的一种风格文本的生成方法的流程图；
图3是本发明实施例的实施流程图；
图4是根据本发明实施例的一种风格文本的生成装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“预设”、“再次”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本申请实施例一所提供的方法实施例可以在服务器、计算机、或者类似的运算装置中执行。以运行在计算机上为例，图1是本发明实施例的一种计算机的硬件结构框图。如图1所示，计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机的结构造成限定。例如，计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种风格文本的生成方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种风格文本的生成方法，图2是根据本发明实施例的一种风格文本的生成方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，根据特征词和观点词构建句法模板；
可选的，特征词为名词或者名词短语(n)，观点词为形容词(adj)短语。
步骤S204，根据句法模板提取文本特征标签组合；
其中，文本特征标签组合包括多个文本特征标签，例如采用句法模板从样本数据中提取多个文本特征标签；
步骤S206，确定目标风格文本的目标写作风格，将目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；
可选的，目标写作风格可以是一个或者是多个风格，如幽默风趣，严肃认真，童真无邪等风格，目标写作风格的数量是输出的条件文本的条数相同，可以预置一个写作风格知识库，该知识库包括了所有的写作风格。
可选的，目标风格文本与提取文本特征标签组合的源文本相同，可以基于写作风格知识库设立规则分析得到语料文本中每条文本的写作风格，得到目标写作风格；
步骤S208，以文本特征标签组合为目标Bert语言表征模型的输入，生成与目标写作风格对应的条件文本。
通过上述步骤，根据特征词和观点词构建句法模板，根据句法模板提取文本特征标签组合，确定目标风格文本的目标写作风格，将目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型，以文本特征标签组合为目标Bert语言表征模型的输入，生成与目标写作风格对应的条件文本，通过设计句法模版提取文本特征标签，并将其与写作风格一起作为条件通过不同方式融入到预训练模型中，生成符合特征的个性化文本，自动生成风格多样性的文本，解决了相关技术采用网络模型生成的文本风格单一的技术问题，本方案可用于在信息传播过程中生成更多优质内容和个性化内容，提高文本的丰富度，提升传播影响力。
在本实施例的一个实施方式中，根据特征词和观点词构建句法模板包括：根据特征词和观点词的词性规律及依存关系构建句法模板，其中依存关系包括：直接正向关系、直接反向关系和间接关系。
本实施例根据语料设计有效的句法规则并构建模版，对文本进行词性标注及依存句法分析，从中抽取符合句法规则的核心词及依赖词，将原始文本凝练为“特征-观点词”形式的特征标签，同时为生成模型提供训练数据。
首先构建文本特征标签的句法模版。对语料库进行依存句法分析与词性标注后总结发现，特征词为名词或者名词短语(n)，而观点词则以形容词(adj)居多，根据依存关系中核心词与特征词、观点词的对应可将其分为直接正向关系、直接反向关系、间接关系，例如，直接正向关系定义为：特征词为依赖词，观点词为核心词，两者之间为主谓关系，依存路径为“n-SBV-adj”。因此可以根据核心词和依赖词的词性规律以及依存关系构建模版。
在一个示例中，根据句法模板提取文本特征标签组合包括：从源数据中获取文本xi；识别文本xi中各个词的词性，以及相邻词之间的依存关系；将词性的词性标注和相邻词之间的依存关系输入句法模板，输出文本特征标签组合Wi，其中，
Figure BDA0003632770950000071
表示文本xi的第j个特征，
Figure BDA0003632770950000072
代表文本xi的第j个特征对应的观点。
依据句法模版，综合利用词性标注和依存句法分析工具从文本xi中提取出特征标签组合Wi。
在一个示例中，将目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型，包括：
S11，通过嵌入矩阵提取目标写作风格的嵌入表示；
不同性格的人的写作风格不尽相同，为了使模型能够生成更贴近人类表达的个性化内容，本方案构建写作风格知识库，包括不同风格下的常用的虚词、情感词、标点符号、表情符等。然后基于写作风格知识库设立规则分析得到语料中每条文本的写作风格
Figure BDA0003632770950000073
提取目标写作风格的嵌入表示。
S12，确定Bert生成模型，将嵌入表示融合至Bert生成模型的标准化层，得到目标Bert语言表征模型。
在一个示例中，将嵌入表示融合至Bert生成模型的标准化层包括：提取Bert生成模型标准化层中的第一参数和第二参数，其中，第一参数和第二参数均为无条件的参数；采用第一变换矩阵将嵌入表示变换到与第一参数相同的维度之后与第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将嵌入表示变换到与第二参数相同的维度之后与第二参数相加，得到融合条件的第二参数；将融合条件添加至Bert生成模型的标准化层。
在BERT(Bidirectional Encoder Representation from Transformers，基于转换器的双向编码表征)等以Transformer(转换器)为基础架构的模型中，主要的Normalization方法为LayerNormalization(条件标准化层)，本实施例基于图像生成领域中条件批标准化方法，将其中的参数变为写作风格变量的函数，来控制模型的生成行为。具体做法如下：
首先通过一个嵌入矩阵得到文本xi的写作风格的嵌入表示Ci，然后将写作风格Ci融合到LayerNormalization的原始参数β和γ中，由于预训练好的Bert已经存在现成的、无条件的β和γ，因此可以增加两个全连接层，即通过两个不同的变换矩阵将Ci变换到与β、γ相同的维度，然后将变换后的结果与β和γ相加，从而达到通过写作风格来控制个性化文本生成的目的。条件标准化层的结构如下：
Figure BDA0003632770950000081
γ(Ci)＝γ+WγCi
β(Ci)＝β+WβCi
Figure BDA0003632770950000082
其中，CLN()表示条件标准化层,ai为文本xi对应的该层的输入向量，Emb()为写作风格嵌入层，Wγ、Wβ为参数，μ代表该层的均值，σ代表标准差，∈是防止分母为0的无穷小值。
本实施例在训练过程中为了避免干扰模型原来的权重，将两个变换矩阵进行全零初始化处理，使得模型在初始状态与原来的预训练模型保持一致。
在本实施例的一个实施方式中，以文本特征标签组合为目标Bert语言表征模型的输入，生成与目标写作风格对应的条件文本，包括：将文本特征标签组合和目标风格文本进行拼接后得到模型输入特征；将模型输入特征输入目标Bert语言表征模型的，并对文本特征标签组合进行双向注意力编码，通过集束搜索解码生成与目标写作风格对应的条件文本。
可选的，在将目标写作风格的风格参数作为生成条件嵌入Bert生成模型中之前，还包括：获取样本风格文件的样本特征标签；将样本特征标签与样本风格文件进行拼接后得到以下输入数据Inputi：Inputi＝[CLS]Wi[SEP]xi[SEP]；采用输入数据Inputi训练初始Bert语言表征模型，得到Bert生成模型，其中，初始Bert语言表征模型的输入部分Inputi使用双向注意力编码，初始Bert语言表征模型的输出部分xi[SEP]使用单向注意力解码，目标函数只计算输出部分的损失，其中，[CLS]为句首的标志位，[SEP]为相邻句的分隔标志位。
为了保证生成结果的流畅性和可读性，本方案采用预训练Bert模型，利用前缀双向注意力机制使Bert可以完成Seq2Seq任务。
在训练阶段将文本特征标签Wi与文本xi进行拼接得到Bert模型的输入Inputi；
Inputi＝[CLS]Wi[SEP]xi[SEP]
对于原始输入部分[CLS]Wi[SEP]使用双向注意力，而对于输出部分xi[SEP]使用单向注意力，目标函数只计算输出部分的损失，由此Bert模型可以同时完成编码器和解码器的工作。[CLS]和[SEP]是Bert输入中的标志位，其中[CLS]放在第一个句子的首位，[SEP]用于分开两个输入句子。
本实施例在预测阶段和模型应用阶段采用BeamSearch方法解码，从而使生成结果更加具有多样性。
图3是本发明实施例的实施流程图，本实施例模型的输入数据为大规模语料库、句法模版、写作风格知识库，输出结果为满足用户表达观点且符合用户写作风格的文本。流程包括：基于句法模版的文本特征标签抽取；基于条件层标准化的写作风格嵌入；基于前缀双向注意力的条件文本生成。
在基于句法模版的文本特征标签抽取过程中，根据语料设计有效的句法规则并构建模版，对文本进行词性标注及依存句法分析，从中抽取符合句法规则的核心词及依赖词，将原始文本凝练为“特征-观点词”形式的特征标签，同时为生成模型提供训练数据。
在基于条件层标准化的写作风格嵌入过程中，构建写作风格知识库，设定规则分析得到文本的写作风格，通过训练写作风格嵌入矩阵获取其向量化表示，使其可作为条件融合到层标准化参数中进而控制文本生成。
在基于前缀注意力的条件文本生成过程中,根据文本特征标签重构Bert模型输入，利用前缀双向可见的注意力机制，在Bert预训练权重基础上进行微调，最终采用BeamSearch方法解码以保证生成文本的多样性。
采用本实施例的方案，提出了基于句法模版的文本特征标签抽取方法，通过构建模版从文本中提取出“特征-观点词”形式的特征标签，在不损失观点和主旨的前提下将原始文本凝练为更加简洁、形式结构化的特征描述。提出了基于条件层标准化的写作风格嵌入方法，通过将写作风格嵌入到层标准化的参数中控制文本生成，从而使生成结果更加个性化。利用提取出的文本特征标签重构Bert模型输入，结合前缀双向注意力机制，使Bert模型可以根据特征标签生成文本，同时BeamSearch解码保证了生成结果的多样性。通过设计句法模版提取文本特征标签，并将其与写作风格一起作为条件通过不同方式融入到预训练模型中，生成符合特征的个性化文本，本方案可用于在信息传播过程中生成优质内容，提升传播影响力。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用机械设备的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件控制机械设备的形式体现出来，该软件存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台机械设备执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种风格文本的生成装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的一种风格文本的生成装置的结构框图，如图4所示，该装置包括：构建模块40，提取模块42，嵌入模块44，生成模块46，其中，
构建模块40，用于根据特征词和观点词构建句法模板；
提取模块42，用于根据所述句法模板提取文本特征标签组合；
嵌入模块44，用于确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；
生成模块46，用于以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
可选的，所述构建模块包括：构建单元，用于根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。
可选的，所述提取模块包括：提取单元，用于从源数据中获取文本xi；识别单元，用于识别所述文本xi中各个词的词性，以及相邻词之间的依存关系；输出单元，用于将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合Wi，其中，
Figure BDA0003632770950000101
表示文本xi的第j个特征，
Figure BDA0003632770950000102
代表文本xi的第j个特征对应的观点。
可选的，所述嵌入模块包括：提取单元，用于通过嵌入矩阵提取所述目标写作风格的嵌入表示；融合单元，用于确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。
可选的，所述融合单元包括：提取子单元，用于提取所述Bert生成模型标准化层中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；运算子单元，用于采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；添加子单元，用于将所述融合条件添加至所述Bert生成模型的标准化层。
可选的，所述生成模块包括：拼接单元，用于将所述文本特征标签组合和所述目标风格文本进行拼接后得到模型输入特征；生成单元，用于将所述模型输入特征输入所述目标Bert语言表征模型的，并对所述文本特征标签组合进行双向注意力编码，通过集束搜索解码生成与所述目标写作风格对应的条件文本。
可选的，所述装置还包括：获取模块，用于在所述嵌入模块将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中之前，获取样本风格文件的样本特征标签；拼接模块，用于将所述样本特征标签与所述样本风格文件进行拼接后得到以下输入数据Inputi：Inputi＝[CLS]Wi[SEP]xi[SEP]；训练模块，用于采用所述输入数据Inputi训练初始Bert语言表征模型，得到Bert生成模型，其中，所述初始Bert语言表征模型的输入部分Inputi使用双向注意力编码，所述初始Bert语言表征模型的输出部分xi[SEP]使用单向注意力解码，目标函数只计算输出部分的损失，其中，[CLS]为句首的标志位，[SEP]为相邻句的分隔标志位。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，根据特征词和观点词构建句法模板；
S2，根据所述句法模板提取文本特征标签组合；
S3，确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；
S4，以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，根据特征词和观点词构建句法模板；
S2，根据所述句法模板提取文本特征标签组合；
S3，确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；
S4，以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种风格文本的生成方法，其特征在于，包括：
根据特征词和观点词构建句法模板；
根据所述句法模板提取文本特征标签组合；
确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；
以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
2.如权利要求1所述的方法，其特征在于，根据特征词和观点词构建句法模板包括：
根据特征词和观点词的词性规律及依存关系构建句法模板，其中所述依存关系包括：直接正向关系、直接反向关系和间接关系。
3.如权利要求1所述的方法，其特征在于，根据句法模板提取文本特征标签组合包括：
从源数据中获取文本xi；
识别所述文本xi中各个词的词性，以及相邻词之间的依存关系；
将所述词性的词性标注和所述相邻词之间的依存关系输入所述句法模板，输出文本特征标签组合Wi，其中，
Figure FDA0003632770940000011
Figure FDA0003632770940000012
表示文本xi的第j个特征，
Figure FDA0003632770940000013
代表文本xi的第j个特征对应的观点。
4.如权利要求1所述的方法，其特征在于，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型，包括：
通过嵌入矩阵提取所述目标写作风格的嵌入表示；
确定Bert生成模型，将所述嵌入表示融合至所述Bert生成模型的标准化层，得到目标Bert语言表征模型。
5.如权利要求4所述的方法，其特征在于，将所述嵌入表示融合至所述Bert生成模型的标准化层包括：
提取所述Bert生成模型标准化层中的第一参数和第二参数，其中，所述第一参数和所述第二参数均为无条件的参数；
采用第一变换矩阵将所述嵌入表示变换到与所述第一参数相同的维度之后与所述第一参数相加，得到融合条件的第一参数，采用第二变换矩阵将所述嵌入表示变换到与所述第二参数相同的维度之后与所述第二参数相加，得到融合条件的第二参数；
将所述融合条件添加至所述Bert生成模型的标准化层。
6.如权利要求1所述的方法，其特征在于，以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本，包括：
将所述文本特征标签组合和所述目标风格文本进行拼接后得到模型输入特征；
将所述模型输入特征输入所述目标Bert语言表征模型的，并对所述文本特征标签组合进行双向注意力编码，通过集束搜索解码生成与所述目标写作风格对应的条件文本。
7.如权利要求1所述的方法，其特征在于，在将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中之前，所述方法还包括：
获取样本风格文件的样本特征标签；
将所述样本特征标签与所述样本风格文件进行拼接后得到以下输入数据Inputi：Inputi＝[CLS]Wi[SEP]xi[SEP]；
采用所述输入数据Inputi训练初始Bert语言表征模型，得到Bert生成模型，其中，所述初始Bert语言表征模型的输入部分Inputi使用双向注意力编码，所述初始Bert语言表征模型的输出部分xi[SEP]使用单向注意力解码，目标函数只计算输出部分的损失，其中，[CLS]为句首的标志位，[SEP]为相邻句的分隔标志位。
8.一种风格文本的生成装置，其特征在于，包括：
构建模块，用于根据特征词和观点词构建句法模板；
提取模块，用于根据所述句法模板提取文本特征标签组合；
嵌入模块，用于确定目标风格文本的目标写作风格，将所述目标写作风格的风格参数作为生成条件嵌入Bert生成模型中，生成目标Bert语言表征模型；
生成模块，用于以所述文本特征标签组合为所述目标Bert语言表征模型的输入，生成与所述目标写作风格对应的条件文本。
9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7中任一项所述的方法步骤。
10.一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；其中：
存储器，用于存放计算机程序；
处理器，用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法步骤。
CN202210495306.3A 2022-05-07 2022-05-07 一种风格文本的生成方法及装置、存储介质、电子设备 Pending CN114912434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210495306.3A CN114912434A (zh) 2022-05-07 2022-05-07 一种风格文本的生成方法及装置、存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210495306.3A CN114912434A (zh) 2022-05-07 2022-05-07 一种风格文本的生成方法及装置、存储介质、电子设备

Publications (1)

Publication Number Publication Date
CN114912434A true CN114912434A (zh) 2022-08-16

Family

ID=82766487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210495306.3A Pending CN114912434A (zh) 2022-05-07 2022-05-07 一种风格文本的生成方法及装置、存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN114912434A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227428A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116227428A (zh) * 2023-05-08 2023-06-06 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法
CN116227428B (zh) * 2023-05-08 2023-07-18 中国科学技术大学 一种基于迁移模式感知的文本风格迁移方法

Similar Documents

Publication Publication Date Title
KR102577514B1 (ko) 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체
Silberztein Formalizing natural languages: The NooJ approach
CN111611810B (zh) 一种多音字读音消歧装置及方法
CN110532573A (zh) 一种翻译方法和系统
CN113128214B (zh) 一种基于bert预训练模型的文本摘要生成方法
CN110309282B (zh) 一种答案确定方法及装置
CN111832282B (zh) 融合外部知识的bert模型的微调方法、装置及计算机设备
CN113051371A (zh) 中文机器阅读理解方法、装置、电子设备及存储介质
CN111144140A (zh) 基于零次学习的中泰双语语料生成方法及装置
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
KR101929509B1 (ko) 형태소 합성 장치 및 방법
CN114912434A (zh) 一种风格文本的生成方法及装置、存储介质、电子设备
WO2003079224A1 (fr) Procede et dispositif de generation de texte
CN114298031A (zh) 文本处理方法、计算机设备及存储介质
CN110852063B (zh) 基于双向lstm神经网络的词向量生成方法及装置
Archer Internationalisation, technology and translation
CN113918031A (zh) 使用子字符信息进行中文标点恢复的系统和方法
CN111950281B (zh) 一种基于深度学习和上下文语义的需求实体共指检测方法和装置
CN114970524B (zh) 可控文本生成方法及装置
CN110866404B (zh) 基于lstm神经网络的词向量生成方法及装置
CN115994522A (zh) 文本处理方法、文章生成方法以及文本处理模型训练方法
CN115809658A (zh) 平行语料的生成方法及装置和无监督同义转写方法及装置
CN115017870A (zh) 一种闭环的话术扩写方法、装置、计算机设备及存储介质
CN110852112B (zh) 词向量嵌入方法及装置
CN113160793A (zh) 基于低资源语言的语音合成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination