CN113254604A - 一种基于参考规范的专业文本生成方法及装置 - Google Patents

一种基于参考规范的专业文本生成方法及装置 Download PDF

Info

Publication number
CN113254604A
CN113254604A CN202110798010.4A CN202110798010A CN113254604A CN 113254604 A CN113254604 A CN 113254604A CN 202110798010 A CN202110798010 A CN 202110798010A CN 113254604 A CN113254604 A CN 113254604A
Authority
CN
China
Prior art keywords
text
generator
generated
professional
discriminator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110798010.4A
Other languages
English (en)
Other versions
CN113254604B (zh
Inventor
孙宇清
胡宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110798010.4A priority Critical patent/CN113254604B/zh
Publication of CN113254604A publication Critical patent/CN113254604A/zh
Application granted granted Critical
Publication of CN113254604B publication Critical patent/CN113254604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

一种基于参考规范的专业文本生成方法，采用k个生成器，分别负责生成一种知识点匹配程度的专业文本，各生成器均为结合注意力机制的自编码器结构，包括编码器和解码器两部分。在训练过程中，生成器每次生成一个词语，n次迭代后生成完整的文本，对不完整的文本需要进行文本补全。本发明还采用两个判别器从多个角度评价生成文本，其中连贯性判别器用于评价生成文本的语言规范和鼓励文本多样性，专业性判别器用于评价生成文本与参考规范的语义相关性和知识点匹配性，通过两个判别器得到一个综合评分，并将其返回给生成器，生成器通过这个综合评分来更新相应的参数，以使生成文本获得更高的综合评分，从而训练获得一种专业文本生成方法及装置。

Description

一种基于参考规范的专业文本生成方法及装置
技术领域
本发明公开一种基于参考规范的专业文本生成方法及装置，属于自然语言处理的技术领域。
背景技术
文本自动生成任务是指面向特定目标，对输入的数据进行加工处理，自动生成一段满足条件的文本，具有广泛的应用场景，如新闻生成、作文生成等。一些场景中需要对生成文本进行语义控制，如生成不同情绪类别的诗歌。在基于参考规范的专业文本生成场景中，参考规范是对知识点的相关描述，不同参考规范描述不同知识点的相关内容，用于指导生成文本满足与参考规范的语义相关性和知识点匹配性，知识点的匹配程度有多种，如完全正确描述了知识点，或是与知识点矛盾。在特定匹配程度下，生成的专业文本和真实的专业文本在知识点描述上的相似性即为知识点匹配性。基于参考规范的专业文本生成有重要的应用价值，例如在自动文本评阅系统中，通过一个评阅模型来对文本进行打分，而训练模型过程需要大量标注样本，在实际场景中难以满足，可以使用基于参考规范的专业文本生成技术产生标注样本，辅助训练评阅模型。这种应用在其他类似的监督学习任务中同样适用，本发明探索面向自然语言文本处理的知识空间预训练模型，具有重要的理论价值。
可控文本生成技术是自然语言处理领域的研究热点，随着深度学习技术的不断进展，前沿工作主要采用深度网络模型，在控制生成文本语义方面分两种形式，一种为控制生成文本的属性类别，如生成不同情感的文本；另一种为控制生成文本与指导性文本的语义相关性，如根据标题生成新闻；但这些控制方法主要针对生成文本的语言连贯性和与指导性文本的语义相关性，没有从逻辑层面评价与参考文本的专业知识匹配程度，因此不能对知识点匹配程度进行约束，无法满足本发明场景要求的文本。
本发明针对给定的参考规范，设计专业文本生成方法及装置，用于指导生成文本满足与参考规范的语义相关性和知识点匹配性，生成的专业文本需同时具备语言连贯性和文本形式多样性。
发明内容
发明概述
针对现有技术的问题，本发明公开了一种基于参考规范的专业文本生成方法。
本发明还公开一种针对上述专业文本生成方法的对抗训练方法。
本发明还公开一种实现基于参考规范的专业文本生成方法的装置。
本发明采用k个生成器，分别负责生成一种知识点匹配程度的专业文本，各生成器均为结合注意力机制的自编码器结构，包括编码器和解码器两部分。在训练过程中，生成器每次生成一个词语，n次迭代后生成完整的文本；本发明采用两个判别器从多个角度评价生成文本，其中连贯性判别器用于评价生成文本的语言规范性和鼓励文本多样性，专业性判别器用于评价生成文本与参考规范的语义相关性和知识点匹配性，通过两个判别器反馈，得到一个综合评分，并将其返回给生成器，生成器通过此综合评分来更新模型参数；在生成文本每一步评价过程中，对不完整文本需要进行文本补全后送判别器进行评价；模型训练目标为使生成文本获得更高综合评分，从而获得一种专业文本生成方法及装置。
技术术语解释
知识点：特指教科书上或考试题中涉及的一个特定知识规则。例如，“名义股东在未经实际持股人同意投资而造成损失，并被实际持股人要求赔偿的情况下，有责任赔偿”是一个知识点。
参考规范：在本发明中指对特定的一个或多个专业知识点的相关规则、问题或案例描述文本。
专业文本：在本发明中指与参考规范语义相关，且与知识点具有特定类型的匹配程度的文本。
语义相关性：在本发明中指生成文本的描述内容和参考规范的描述内容的主题相关性。
知识点匹配程度：在本发明中是指专业文本与参考规范中描述的各知识点匹配正确或错误的情况。知识点匹配程度被划分为多个种类，令种类数为k，则真实专业文本和生成的专业文本均包含k个种类。
知识点匹配性：是指生成的专业文本同真实的专业文本在知识点匹配程度方面的一致性。
本发明的技术方案如下：
一种基于参考规范的专业文本生成方法，其特征在于，包括：
1）对输入的参考规范文本，利用生成器进行处理，输出已生成文本；
2）对已生成文本进行补全后，输入至判别器模块，经判别后得到综合评分；其中所述判别器模块包括连贯性判别器和专业性判别器：
所述连贯性判别器的输入为已生成的部分文本，简称PartT，用于评价生成文本的语言规范，其中PartT是指生成器迭代生成文本过程中某一时刻已经生成的不完整文本；
所述专业性判别器的输入为参考规范文本和将PartT补全后文本，后者简称PartTA，用于评价生成文本PartTA与参考规范的语义相关性和知识点匹配性；
3）利用综合评分对所述生成器进行训练。
根据本发明优选的，所述方法还包括：
利用上述步骤1）-3）所述方法训练完成得到的生成器，在使用时，直接对输入的参考规范文本进行处理以生成专业文本。
根据本发明优选的，所述生成器、连贯性判别器和专业性判别器均为神经网络，其参数是指网络结构中的各个参数，所述步骤1）中包括k个生成器，其中，每个生成器包括编码器和解码器，生成器的个数和知识点匹配程度的种类数k相同；
所述编码器用于提取参考规范文本中的特征信息，使用单向循环神经网络，简记为
Figure DEST_PATH_IMAGE001
，令一条参考规范文本为
Figure DEST_PATH_IMAGE002
，本发明采用预训练词嵌入，
Figure DEST_PATH_IMAGE003
的第i个词的词嵌入为
Figure DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
表示编码器第i个时间步的隐藏状态：
Figure DEST_PATH_IMAGE006
(1)
Figure DEST_PATH_IMAGE007
为参考规范文本R的特征信息：
Figure DEST_PATH_IMAGE008
(2)
其中，r为参考规范文本的长度；
所述解码器根据参考规范文本的特征信息生成文本：使用单向循环神经网络，简记为
Figure DEST_PATH_IMAGE009
，使用注意力机制将参考规范文本R的特征信息
Figure DEST_PATH_IMAGE010
融合到生成文本过程，
Figure DEST_PATH_IMAGE011
为解码器第t个时间步的隐藏状态：
Figure DEST_PATH_IMAGE012
(3)
其中，
Figure DEST_PATH_IMAGE013
表示t-1时刻生成的词语的词向量。
根据本发明优选的，在生成器的解码器中，使用双线性注意力机制将
Figure DEST_PATH_IMAGE014
与生成器对为参考规范文本R的特征信息
Figure DEST_PATH_IMAGE015
进行交互，以提取关键信息，其中
Figure DEST_PATH_IMAGE016
为权重矩阵，r为参考规范文本的长度，得到向量序列
Figure DEST_PATH_IMAGE017
：
Figure DEST_PATH_IMAGE018
(4)
使用softmax函数对
Figure DEST_PATH_IMAGE019
进行归一化得到权重序列
Figure DEST_PATH_IMAGE020
：
Figure DEST_PATH_IMAGE021
(5)
根据
Figure DEST_PATH_IMAGE022
和
Figure DEST_PATH_IMAGE023
计算得到相关性信息
Figure DEST_PATH_IMAGE024
，即为参考规范文本R的特征信息
Figure DEST_PATH_IMAGE025
中对生成器当前时刻
Figure DEST_PATH_IMAGE026
最重要的信息，其中，
Figure DEST_PATH_IMAGE027
为向量
Figure DEST_PATH_IMAGE028
中的第i个元素：
Figure DEST_PATH_IMAGE029
(6)
将
Figure DEST_PATH_IMAGE030
和
Figure DEST_PATH_IMAGE031
相加得到
Figure DEST_PATH_IMAGE032
，作为该时间步的输出：
Figure DEST_PATH_IMAGE033
(7)
最后采用softmax函数对
Figure DEST_PATH_IMAGE034
计算得到字典中各词语作为当前生成词语的概率
Figure DEST_PATH_IMAGE035
，字典为数据集中所有词语及词语对应的索引组成的集合：
Figure DEST_PATH_IMAGE036
(8)
其中，依据
Figure DEST_PATH_IMAGE037
进行随机采样，得到当前时刻生成的词语
Figure DEST_PATH_IMAGE038
；
Figure DEST_PATH_IMAGE039
(9)
其中，所述
Figure DEST_PATH_IMAGE040
表示在给定参考规范
Figure DEST_PATH_IMAGE041
和已生成的文本
Figure DEST_PATH_IMAGE042
情况下，第i个生成器
Figure DEST_PATH_IMAGE043
在第t步生成词汇
Figure DEST_PATH_IMAGE044
的概率，其中
Figure DEST_PATH_IMAGE045
为第i个生成器
Figure DEST_PATH_IMAGE046
中的所有的参数。
本技术特征的技术优点在于：采用注意力机制可以更有针对性地整合参考规范的信息，一方面使生成文本反映参考规范的内容，另一方面，在生成文本的不同时间步，对参考规范的关注点又有差异。
根据本发明优选的，所述连贯性判别器的工作流程，包括：
所述连贯性判别器，简记为
Figure DEST_PATH_IMAGE047
，用于评价生成文本是否符合语言学规范，采用经过预训练的语言模型
Figure DEST_PATH_IMAGE048
，可以得到较为准确的连贯性信息；步骤如下：
2-1）通过预训练的语言模型提取已生成的文本
Figure DEST_PATH_IMAGE049
的特征向量，该提取过程记为
Figure DEST_PATH_IMAGE050
；
2-2）输入到softmax函数中，得到字典中各词语作为下一个词语的概率
Figure DEST_PATH_IMAGE051
：
Figure DEST_PATH_IMAGE052
(10)
其中，t时刻生成的词语为
Figure DEST_PATH_IMAGE053
，对应
Figure 956722DEST_PATH_IMAGE053
作为已生成的文本
Figure DEST_PATH_IMAGE054
的下一个词语的概率即为
Figure DEST_PATH_IMAGE055
；
2-3）对连贯性进行评价，同时鼓励文本多样性，故采用如下动态阈值方式：
首先，设置两个超参数i和
Figure DEST_PATH_IMAGE056
,i为上述词汇选择概率
Figure DEST_PATH_IMAGE057
中由高到低排序的第i个排名，
Figure 998497DEST_PATH_IMAGE056
为大于1的实数，用于缩小阈值，可根据需要进行调整。
对上述
Figure DEST_PATH_IMAGE058
中的概率值由大到小进行排序，得到
Figure DEST_PATH_IMAGE059
，
Figure DEST_PATH_IMAGE060
中第i大的概率值即为
Figure DEST_PATH_IMAGE061
。选择阈值
Figure DEST_PATH_IMAGE062
：
Figure DEST_PATH_IMAGE063
(11)
然后，对已生成文本的连贯性评分记为
Figure DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE066
(12)
其中，当
Figure DEST_PATH_IMAGE067
大于等于
Figure DEST_PATH_IMAGE068
时，
Figure DEST_PATH_IMAGE069
的值均设置为1；当
Figure DEST_PATH_IMAGE070
小于
Figure DEST_PATH_IMAGE071
时，
Figure DEST_PATH_IMAGE072
的值设置为
Figure DEST_PATH_IMAGE073
。
本技术特征的优势在于：使得评分能够真实反映出文本连贯性的同时，增加生成文本的多样性。生成器为了获取更高的综合评分，会倾向于生成连贯性高的词语，当
Figure DEST_PATH_IMAGE074
大于等于
Figure DEST_PATH_IMAGE075
时，连贯性得分均相同，使得在连贯性评价指标上生成器生成这些词语的收益相近，通过这种方式使得概率较高的词语获得合适的综合评分，即适当而不是过高评分，一定程度上提升了生成文本的多样性。使用
Figure DEST_PATH_IMAGE076
可以对
Figure DEST_PATH_IMAGE077
进行一定程度的缩小，使得连贯性和
Figure DEST_PATH_IMAGE078
相近的词语也能够获得合理的综合评分。
根据本发明优选的，所述连贯性判别器对应的预训练语言模型为RoBERTa Tiny。
根据本发明优选的，所述专业性判别器的工作流程，包括：
专业性判别器为一个多分类器，用于评价生成文本与参考规范的语义相关性和知识点匹配性，简记为
Figure DEST_PATH_IMAGE079
；
2-4）将所述生成文本按照与参考规范的关系，分为相关和不相关两大类；根据知识点匹配程度的不同，将与参考规范相关的文本分为相应的匹配种类，令知识点匹配程度的种类数为k；
加上与参考规范不相关的种类，最终
Figure DEST_PATH_IMAGE080
需要将文本分为k+1类；
2-5）
Figure 73507DEST_PATH_IMAGE080
仅能对完整的文本进行评价，因此需要先将生成的不完整文本补全：
Figure DEST_PATH_IMAGE081
经过补全后的文本记为L，文本补全过程为将生成的不完整文本输入到步骤1）所述生成器中，再依次生成下一个词语，直到达到最大生成文本长度，最大生成文本长度可以根据实际需求设置；
在
Figure DEST_PATH_IMAGE082
中分别对补全的文本L和参考规范文本
Figure DEST_PATH_IMAGE083
进行编码，均采用卷积神经网络CNN：
对参考规范文本
Figure 593350DEST_PATH_IMAGE083
先使用多种不同窗口大小的卷积操作分别特征编码，然后再通过池化操作得到多个向量，使用第i种窗口大小的CNN时的操作网络简记为
Figure DEST_PATH_IMAGE084
；
再将上述
Figure DEST_PATH_IMAGE085
的输出拼接在一起得到
Figure DEST_PATH_IMAGE086
的特征向量
Figure DEST_PATH_IMAGE087
：
Figure DEST_PATH_IMAGE088
(13)
对补全的文本L先使用多种不同窗口大小的卷积操作分别特征编码，然后再通过池化操作得到多个向量，使用第i种窗口大小的CNN时的操作网络简记为
Figure DEST_PATH_IMAGE089
；
再将上述
Figure 860252DEST_PATH_IMAGE089
的输出拼接在一起得到L的特征向量
Figure DEST_PATH_IMAGE090
：
Figure DEST_PATH_IMAGE091
(14)
使用全连接层分别对
Figure DEST_PATH_IMAGE092
和
Figure DEST_PATH_IMAGE093
进行降维后拼接在一起，得到向量
Figure DEST_PATH_IMAGE094
：
Figure DEST_PATH_IMAGE095
(15)
其中，
Figure DEST_PATH_IMAGE096
和
Figure DEST_PATH_IMAGE097
分别为
Figure 604086DEST_PATH_IMAGE092
使用的全连接层的权重系数和偏置值，
Figure DEST_PATH_IMAGE098
和
Figure DEST_PATH_IMAGE099
分别为
Figure 730174DEST_PATH_IMAGE093
使用的全连接层的权重系数和偏置值；
使用softmax函数得到
Figure DEST_PATH_IMAGE100
属于各个种类的概率
Figure DEST_PATH_IMAGE101
：
Figure DEST_PATH_IMAGE102
(16)
其中，第1至k类分别表示L与参考规范相关且属于相应的知识点匹配种类的概率；第k+1类表示L与参考规范不相关的概率；
2-6）生成文本与参考规范的语义相关性评分记为
Figure DEST_PATH_IMAGE103
Figure DEST_PATH_IMAGE104
(17)
其中，所述
Figure DEST_PATH_IMAGE105
中第
Figure DEST_PATH_IMAGE106
个概率值为
Figure DEST_PATH_IMAGE107
，表示生成文本与参考规范的不相关程度，
Figure 50482DEST_PATH_IMAGE107
越大，则表示越不相关；
Figure DEST_PATH_IMAGE108
越大表示生成文本与参考规范相关性越好，因此使用
Figure DEST_PATH_IMAGE109
来表示生成文本与参考规范的相关程度；
2-7）生成文本与参考规范的知识点匹配性评分记为
Figure DEST_PATH_IMAGE110
：
期望的文本种类对应的概率为
Figure DEST_PATH_IMAGE111
，所有与参考规范相关的文本种类对应的概率和为
Figure DEST_PATH_IMAGE112
，将两者的比值作为对
Figure DEST_PATH_IMAGE113
知识点匹配性的评价：
Figure DEST_PATH_IMAGE114
(18)。
根据本发明优选的，所述生成器的损失函数计算过程：经过连贯性判别器和专业性判别器对第i个生成器生成的文本
Figure DEST_PATH_IMAGE115
进行评价后，得到
Figure DEST_PATH_IMAGE116
和
Figure DEST_PATH_IMAGE117
，对这些评分进行加权平均，得到综合的评分
Figure DEST_PATH_IMAGE118
：
Figure DEST_PATH_IMAGE119
(19)
其中
Figure DEST_PATH_IMAGE120
，且
Figure DEST_PATH_IMAGE121
。
根据本发明优选的，为了使专业性判别器
Figure DEST_PATH_IMAGE122
对生成文本
Figure DEST_PATH_IMAGE123
的评分更加准确，对
Figure 237923DEST_PATH_IMAGE123
进行M次的文本补全，专业性判别器
Figure 523411DEST_PATH_IMAGE122
对所有补全文本评分的均值,即为
Figure 791581DEST_PATH_IMAGE123
的最终评分，记为
Figure DEST_PATH_IMAGE124
；当
Figure 580545DEST_PATH_IMAGE123
的长度为生成文本的最大长度时不需要进行补全，
Figure DEST_PATH_IMAGE125
即为最终评分：
Figure DEST_PATH_IMAGE126
(20)
其中，search表示生成器的一次补全操作，l为生成文本的最大长度；
第i个生成器
Figure DEST_PATH_IMAGE127
获取到判别器的评分
Figure DEST_PATH_IMAGE128
后，计算损失：两个判别器对生成文本的综合评分越高，则表示生成的文本越好；生成器以获得更高的综合评分为目标，通过梯度下降的方式来更新
Figure 400603DEST_PATH_IMAGE127
中的参数，第i个生成器
Figure 173387DEST_PATH_IMAGE127
的损失函数：
Figure DEST_PATH_IMAGE129
(21)。
一种针对上述专业文本生成方法的对抗训练方法，其特征在于，包括：
本发明专业文本生成方法包括预训练和对抗训练两个阶段，通过预训练来使得对抗训练时生成器能够更快地收敛，并一定程度上缓解梯度消失问题；
基于对抗架构的专业文本生成模型，即Professional Text GenerativeAdversarial Networks，简称PT-GAN；预训练PT-GAN时，需要分别预训练各个生成器和专业性判别器
Figure DEST_PATH_IMAGE130
，并对连贯性判别器
Figure DEST_PATH_IMAGE131
进行微调；
预训练每个生成器时，先使用各个种类的文本汇总后的数据集进行训练，然后再分别用各个种类的文本训练对应的生成器，将训练集中的真实专业文本按照文本序列预测方式使用，即转换为一段文本以及其下一个词语的形式，分别记为x和y。具体过程为：先取文本中的一段文本x，以y表示x的下一个词语；并将y转换为词汇表字典的独热one-hot形式；将x和其对应的参考规范文本作为生成器的输入，y作为参考值，并通过最大似然估计来计算损失进行训练；训练集包含多条参考规范，每条参考规范对应多个知识点匹配种类的文本。对每个生成器，先使用各个种类的文本汇总后的数据集进行训练，然后再使用对应种类的文本进行训练；预训练生成器的流程图如附图1所示；
所述对连贯性判别器
Figure DEST_PATH_IMAGE132
进行微调：先加载预训练语言模型LM的权重，该权重通过在百度百科、新浪新闻等组成的大型语料库上训练得到；然后将各个种类的专业文本汇总作为微调训练集，数据的处理方式和预训练生成器的文本序列处理方式相同，然后以较小的学习率进行训练；微调
Figure DEST_PATH_IMAGE133
的流程图如附图2所示；微调过程中，“较小的学习率”通常指初始学习率为从头开始训练的初始学习率的1/10。从头开始训练的初始学习率根据优化器的选择不同而不同，在许多优化器中提供了默认的初始学习率，属于本领域技术人员所熟知的技术内容；
所述预训练专业性判别器
Figure DEST_PATH_IMAGE134
时，使用生成器的生成文本作为与参考规范不相关的文本，其他种类的专业文本分别使用对应的真实文本。
在对抗训练PT-GAN时，先使用预训练保存的模型权重进行初始化，然后对生成器和
Figure DEST_PATH_IMAGE135
进行迭代训练；训练生成器时，先让生成器生成文本，经过补全后通过连贯性判别器和专业性判别器获得综合评分，生成器根据所述综合评分来计算损失更新自身的参数，此时
Figure DEST_PATH_IMAGE136
、
Figure 369882DEST_PATH_IMAGE134
保持不变；训练
Figure 544511DEST_PATH_IMAGE135
时，和对
Figure 676415DEST_PATH_IMAGE135
进行预训练的方式相同，此时生成器和
Figure 936495DEST_PATH_IMAGE136
保持不变。
一种实现基于参考规范的专业文本生成方法的装置，其特征在于，包括生成器和判别器模块；
所述生成器用于：对输入的参考规范文本进行处理，输出已生成文本；
所述判别器模块包括连贯性判别器和专业性判别器；所述连贯性判别器的输入为已经生成的部分文本，用于评价生成文本的语言规范；所述专业性判别器的输入为参考规范和补全后的文本，用于评价生成文本与参考规范的语义相关性和知识点匹配性。
根据本发明优选的，所述生成器为k个生成器，每个所述生成器分别负责生成一种知识点匹配程度的专业文本；每个所述生成器均为结合注意力机制的自编码器结构，包括编码器和解码器。
根据本发明优选的，所述生成器每次生成一个词语，n次迭代后生成完整的文本，对不完整的文本进行文本补全。“n次迭代”中的“n次”即指生成完整文本所需要的迭代次数，由于不同的句子词语的数量不同，因此需要的迭代次数也不相同,n是自然数。
本发明的优势在于：
（1）本发明提出了基于参考规范的条件生成器结构。采用多个独立的生成器，分别生成不同知识点匹配种类的文本，并且在生成文本的每一步进行评价和反馈，指导专业文本生成过程，本技术能够使生成器更好地获得参考规范包含的知识点语义。每个生成器均为自编码器结构，包括编码器和解码器。将已知的参考规范作为输入，生成的专业文本作为输出。在生成器中先对参考规范进行编码，然后使用注意力机制得到当前时刻对参考规范中的各个词语的不同关注程度，融合已经生成的部分文本的特征信息，指导生成下一个词语；在相同参考规范下，生成不同知识点匹配种类的文本时，不同生成器对参考规范的关注点不同，而各个生成器中的编码器提取得到的特征也不同；这种信息融合方式，能够有针对性地提取对当前时刻更重要的信息，从而有效地指导文本生成过程，更利于生成符合相应知识点匹配种类的文本。
（2）本发明提出多角度评价生成文本的方式，能够更好地指导生成文本满足语言学和专业知识点要求。采用多判别器相结合的方式，对生成文本同时进行连贯性、与参考规范的语义相关性以及知识点匹配性的约束。连贯性判别器为一个语言模型，用于对生成文本的语言规范进行评价，通过本发明阈值设定方法，鼓励生成多样性文本。专业性判别器为一个多分类器，用于对生成文本与参考规范的语义相关性和知识点匹配性进行评价。然后将判别器的分析结果进行汇总，得到一个综合的评价，这样就能使得生成器得到的反馈值包含更多的信息。同时，本技术对于文本生成过程进行评价，针对生成过程的每一个词汇通过多个补全文本，从不同角度对生成的部分文本进行分析。这种评价方式相较于传统的生成完整文本评价方式或是单一判别器方式，能够使生成器更好地学习到专业知识和语言学知识，生成更高质量的符合要求的专业文本。
附图说明
图1是本发明所述生成器的预训练流程图；
图2是本发明所述连贯性判别器的微调过程流程图；
图3是本发明所述针对基于参考规范的专业文本生成方法的对抗训练方法构架图；
图4是本发明所述基于参考规范的专业文本生成方法中的生成器经过训练后生成专业文本时的构架图。
具体实施方式
下面结合实施例和说明书附图对本发明做详细的说明，但不限于此。
实施例1、
如附图3所示，一种基于参考规范的专业文本生成方法，包括：
1）对输入的参考规范文本，利用生成器进行处理，输出已生成文本；
2）对已生成文本进行补全后，输入至判别器模块，经判别后得到综合评分；其中所述判别器模块包括连贯性判别器和专业性判别器：
所述连贯性判别器的输入为已生成的部分文本，简称PartT，用于评价生成文本的语言规范，其中PartT是指生成器迭代生成文本过程中某一时刻已经生成的不完整文本；
所述专业性判别器的输入为参考规范文本和将PartT补全后文本，后者简称PartTA，用于评价生成文本PartTA与参考规范的语义相关性和知识点匹配性；
3）利用综合评分对所述生成器进行训练。
所述生成器、连贯性判别器和专业性判别器均为神经网络，其参数是指网络结构中的各个参数，所述步骤1）中包括k个生成器，其中，每个生成器包括编码器和解码器，生成器的个数和知识点匹配程度的种类数k相同；
所述编码器用于提取参考规范文本中的特征信息，使用单向循环神经网络，本实施例优选LSTM作为编码器，简记为
Figure DEST_PATH_IMAGE137
，令一条参考规范文本为
Figure DEST_PATH_IMAGE138
的第i个词的预训练向量为
Figure DEST_PATH_IMAGE139
表示编码器第i个时间步的隐藏状态：
Figure DEST_PATH_IMAGE140
(1)
Figure DEST_PATH_IMAGE141
为参考规范文本R的特征信息：
Figure DEST_PATH_IMAGE142
(2)
其中，r为参考规范文本的长度；
所述解码器根据参考规范文本的特征信息生成文本：使用单向循环神经网络，本实施例优选LSTM作为解码器，使用注意力机制将参考规范文本R的特征信息
Figure DEST_PATH_IMAGE143
融合到LSTM生成文本过程，
Figure DEST_PATH_IMAGE144
为解码器第t个时间步的隐藏状态：
Figure DEST_PATH_IMAGE145
(3)
其中，
Figure DEST_PATH_IMAGE146
表示t-1时刻生成的词语的词向量。
在生成器的解码器中，使用双线性注意力机制将
Figure DEST_PATH_IMAGE147
与生成器对参考规范文本R的特征信息
Figure DEST_PATH_IMAGE148
进行交互，以提取关键信息，其中
Figure DEST_PATH_IMAGE149
为权重矩阵，r为参考规范文本的长度，得到向量序列
Figure DEST_PATH_IMAGE150
：
Figure DEST_PATH_IMAGE151
(4)
使用softmax函数对
Figure DEST_PATH_IMAGE152
进行归一化得到权重序列
Figure DEST_PATH_IMAGE153
：
Figure DEST_PATH_IMAGE154
(5)
根据
Figure DEST_PATH_IMAGE155
和
Figure DEST_PATH_IMAGE156
计算得到相关性信息
Figure DEST_PATH_IMAGE157
，即为参考规范文本R的特征信息
Figure DEST_PATH_IMAGE158
中对生成器当前时刻t最重要的信息，其中，
Figure DEST_PATH_IMAGE159
为向量
Figure DEST_PATH_IMAGE160
中的第i个元素：
Figure DEST_PATH_IMAGE161
(6)
将
Figure DEST_PATH_IMAGE162
和
Figure DEST_PATH_IMAGE163
相加得到
Figure DEST_PATH_IMAGE164
，作为该时间步的输出：
Figure DEST_PATH_IMAGE165
(7)
最后采用softmax函数对
Figure DEST_PATH_IMAGE166
计算得到字典中各词语作为当前生成词语的概率
Figure DEST_PATH_IMAGE167
，字典为数据集中所有词语及词语对应的索引组成的集合：
Figure DEST_PATH_IMAGE168
(8)
其中，依据
Figure DEST_PATH_IMAGE169
进行随机采样，得到当前时刻生成的词语
Figure DEST_PATH_IMAGE170
；
Figure DEST_PATH_IMAGE171
(9)
其中，所述
Figure DEST_PATH_IMAGE172
表示在给定参考规范
Figure DEST_PATH_IMAGE173
和已生成的文本
Figure DEST_PATH_IMAGE174
情况下，第i个生成器
Figure DEST_PATH_IMAGE175
在第t步生成词汇
Figure DEST_PATH_IMAGE176
的概率，其中
Figure DEST_PATH_IMAGE177
为第i个生成器
Figure DEST_PATH_IMAGE178
中的所有的参数。
所述连贯性判别器的工作流程，包括：
所述连贯性判别器，简记为
Figure DEST_PATH_IMAGE179
，用于评价生成文本是否符合语言学规范，采用经过预训练的语言模型
Figure DEST_PATH_IMAGE180
，可以得到较为准确的连贯性信息；步骤如下：
2-1）通过预训练的语言模型提取已生成的文本
Figure DEST_PATH_IMAGE181
的特征向量，该提取过程记为LM；
2-2）输入到softmax函数中，得到字典中各词语作为下一个词语的概率
Figure DEST_PATH_IMAGE182
：
Figure DEST_PATH_IMAGE183
(10)
其中，t时刻生成的词语为
Figure DEST_PATH_IMAGE184
，对应
Figure 402593DEST_PATH_IMAGE184
作为已生成的文本
Figure DEST_PATH_IMAGE185
的下一个词语的概率即为
Figure DEST_PATH_IMAGE186
；
2-3）对连贯性进行评价，同时鼓励文本多样性，故采用如下动态阈值方式：
首先，设置两个超参数i和
Figure DEST_PATH_IMAGE187
,i为上述词汇选择概率
Figure DEST_PATH_IMAGE188
中由高到低排序的第i个排名，
Figure 290783DEST_PATH_IMAGE187
为大于1的实数，用于缩小阈值，可根据需要进行调整。
对上述
Figure 593589DEST_PATH_IMAGE188
中的概率值由大到小进行排序，得到
Figure DEST_PATH_IMAGE189
，
Figure 809806DEST_PATH_IMAGE188
中第i大的概率值即为
Figure DEST_PATH_IMAGE190
。选择阈值
Figure DEST_PATH_IMAGE191
：
Figure DEST_PATH_IMAGE192
(11)
然后，对已生成文本的连贯性评分记为
Figure DEST_PATH_IMAGE193
Figure DEST_PATH_IMAGE194
(12)
其中，当
Figure DEST_PATH_IMAGE195
大于等于
Figure DEST_PATH_IMAGE196
时，
Figure DEST_PATH_IMAGE197
的值均设置为1；当
Figure DEST_PATH_IMAGE198
小于
Figure 90801DEST_PATH_IMAGE196
时，
Figure 767770DEST_PATH_IMAGE197
的值设置为
Figure DEST_PATH_IMAGE199
。
所述连贯性判别器对应的预训练语言模型为RoBERTa Tiny。
所述专业性判别器的工作流程，包括：
专业性判别器为一个多分类器，用于评价生成文本与参考规范的语义相关性和知识点匹配性，简记为
Figure DEST_PATH_IMAGE200
；
2-4）将所述生成文本按照与参考规范的关系，分为相关和不相关两大类；根据知识点匹配程度的不同，将与参考规范相关的文本分为相应的匹配种类，令知识点匹配程度的种类数为k；
加上与参考规范不相关的种类，最终
Figure DEST_PATH_IMAGE201
需要将文本分为k+1类；
2-5）
Figure 799180DEST_PATH_IMAGE201
仅能对完整的文本进行评价，因此需要先将生成的不完整文本补全：
Figure DEST_PATH_IMAGE202
经过补全后的文本记为L，文本补全过程为将生成的不完整文本输入到步骤1）所述生成器中，再依次生成下一个词语，直到达到最大生成文本长度，最大生成文本长度可以根据实际需求设置；
在
Figure DEST_PATH_IMAGE203
中分别对补全的文本L和参考规范文本
Figure DEST_PATH_IMAGE204
进行编码，均采用卷积神经网络CNN：
对参考规范文本
Figure 610010DEST_PATH_IMAGE204
先使用多种不同窗口大小的卷积操作分别特征编码，然后再通过池化操作得到多个向量，使用第i种窗口大小的CNN时的操作网络简记为
Figure DEST_PATH_IMAGE205
；
再将上述
Figure 348159DEST_PATH_IMAGE205
的输出拼接在一起得到
Figure DEST_PATH_IMAGE206
的特征向量
Figure DEST_PATH_IMAGE207
：
Figure DEST_PATH_IMAGE208
(13)
对补全的文本L先使用多种不同窗口大小的卷积操作分别特征编码，然后再通过池化操作得到多个向量，使用第i种窗口大小的CNN时的操作网络简记为
Figure DEST_PATH_IMAGE209
；
再将上述
Figure DEST_PATH_IMAGE210
的输出拼接在一起得到L的特征向量
Figure DEST_PATH_IMAGE211
：
Figure DEST_PATH_IMAGE212
(14)
使用全连接层分别对
Figure 648559DEST_PATH_IMAGE092
和
Figure 370527DEST_PATH_IMAGE093
进行降维后拼接在一起，得到向量
Figure DEST_PATH_IMAGE213
：
Figure DEST_PATH_IMAGE214
(15)
其中，
Figure DEST_PATH_IMAGE215
和
Figure DEST_PATH_IMAGE216
分别为
Figure DEST_PATH_IMAGE217
使用的全连接层的权重系数和偏置值，
Figure DEST_PATH_IMAGE218
和
Figure DEST_PATH_IMAGE219
分别为
Figure DEST_PATH_IMAGE220
使用的全连接层的权重系数和偏置值；
使用softmax函数得到L属于各个种类的概率
Figure DEST_PATH_IMAGE221
：
Figure DEST_PATH_IMAGE222
(16)
其中，第1至k类分别表示L与参考规范相关且属于相应的知识点匹配种类的概率；第k+1类表示L与参考规范不相关的概率；
2-6）生成文本与参考规范的语义相关性评分记为
Figure 578524DEST_PATH_IMAGE103
Figure DEST_PATH_IMAGE223
(17)
其中，所述
Figure DEST_PATH_IMAGE224
中第
Figure DEST_PATH_IMAGE225
个概率值为
Figure DEST_PATH_IMAGE226
，表示生成文本与参考规范的不相关程度，
Figure DEST_PATH_IMAGE227
越大，则表示越不相关；
Figure DEST_PATH_IMAGE228
越大表示生成文本与参考规范相关性越好，因此使用
Figure DEST_PATH_IMAGE229
来表示生成文本与参考规范的相关程度；
2-7）生成文本与参考规范的知识点匹配性评分记为
Figure DEST_PATH_IMAGE230
：
期望的文本种类对应的概率为
Figure DEST_PATH_IMAGE231
，所有与参考规范相关的文本种类对应的概率和为
Figure DEST_PATH_IMAGE232
，将两者的比值作为对L知识点匹配性的评价：
Figure DEST_PATH_IMAGE233
(18)。
所述生成器的损失函数计算过程：经过连贯性判别器和专业性判别器对第i个生成器生成的文本
Figure DEST_PATH_IMAGE234
进行评价后，得到
Figure DEST_PATH_IMAGE235
和
Figure DEST_PATH_IMAGE236
，对这些评分进行加权平均，得到综合的评分
Figure DEST_PATH_IMAGE237
：
Figure DEST_PATH_IMAGE238
(19)
其中
Figure DEST_PATH_IMAGE239
，且
Figure DEST_PATH_IMAGE240
。
实施例2、
如实施例1所述的一种基于参考规范的专业文本生成方法，对
Figure DEST_PATH_IMAGE241
进行M次的文本补全，专业性判别器
Figure DEST_PATH_IMAGE242
对所有补全文本评分的均值,即为
Figure 219644DEST_PATH_IMAGE241
的最终评分，记为
Figure DEST_PATH_IMAGE243
；当
Figure 897750DEST_PATH_IMAGE241
的长度为生成文本的最大长度时不需要进行补全，
Figure DEST_PATH_IMAGE244
即为最终评分：
Figure DEST_PATH_IMAGE245
(20)
其中，search表示生成器的一次补全操作，l为生成文本的最大长度；
第i个生成器
Figure DEST_PATH_IMAGE246
获取到判别器的评分
Figure DEST_PATH_IMAGE247
后，计算损失：两个判别器对生成文本的综合评分越高，则表示生成的文本越好；生成器以获得更高的综合评分为目标，通过梯度下降的方式来更新
Figure 315962DEST_PATH_IMAGE246
中的参数，第i个生成器
Figure 28703DEST_PATH_IMAGE246
的损失函数：
Figure DEST_PATH_IMAGE248
(21)。
实施例3、
一种针对实施例1、2所述专业文本生成方法的对抗训练方法，包括：
基于对抗架构的专业文本生成模型，即Professional Text GenerativeAdversarial Networks，简称PT-GAN。预训练PT-GAN时，需要分别预训练各个生成器和专业性判别器
Figure DEST_PATH_IMAGE249
，并对连贯性判别器
Figure DEST_PATH_IMAGE250
进行微调；
预训练每个生成器时，先使用各个种类的文本汇总后的数据集进行训练，然后再分别用各个种类的文本训练对应的生成器，将训练集中的真实专业文本按照文本序列预测方式使用，即转换为一段文本以及其下一个词语的形式，分别记为x和y。具体过程为：先取文本中的一段文本x，以y表示x的下一个词语；并将y转换为词汇表字典的独热one-hot形式；将x和其对应的参考规范文本作为生成器的输入，y作为参考值，并通过最大似然估计来计算损失进行训练；训练集包含多条参考规范，每条参考规范对应多个知识点匹配种类的文本。对每个生成器，先使用各个种类的文本汇总后的数据集进行训练，然后再使用对应种类的文本进行训练；预训练生成器的流程图如附图1所示；
所述对连贯性判别器
Figure 811851DEST_PATH_IMAGE250
进行微调：先加载预训练语言模型LM的权重，该权重通过在百度百科、新浪新闻等组成的大型语料库上训练得到；然后将各个种类的专业文本汇总作为微调训练集，数据的处理方式和预训练生成器的文本序列处理方式相同，然后以较小的学习率进行训练；微调
Figure 446095DEST_PATH_IMAGE250
的流程图如附图2所示；
所述预训练专业性判别器
Figure DEST_PATH_IMAGE251
时，使用生成器的生成文本作为与参考规范不相关的文本，其他种类的专业文本分别使用对应的真实文本。
在对抗训练PT-GAN时，先使用预训练保存的模型权重进行初始化，然后对生成器和
Figure DEST_PATH_IMAGE252
进行迭代训练；训练生成器时，先让生成器生成文本，经过补全后通过连贯性判别器和专业性判别器获得综合评分，生成器根据所述综合评分来计算损失更新自身的参数，此时
Figure DEST_PATH_IMAGE253
、
Figure 605681DEST_PATH_IMAGE251
保持不变；训练
Figure 438508DEST_PATH_IMAGE252
时，和对
Figure 619257DEST_PATH_IMAGE252
进行预训练的方式相同，此时生成器和
Figure 537535DEST_PATH_IMAGE253
保持不变。
实施例4、
一种实现基于参考规范的专业文本生成方法的装置，包括生成器和判别器模块；
所述生成器用于：对输入的参考规范文本进行处理，输出已生成文本；
所述判别器模块包括连贯性判别器和专业性判别器；所述连贯性判别器的输入为已经生成的部分文本，用于评价生成文本的语言规范；所述专业性判别器的输入为参考规范和补全后的文本，用于评价生成文本与参考规范的语义相关性和知识点匹配性。
所述生成器为k个生成器，每个所述生成器分别负责生成一种知识点匹配程度的专业文本；每个所述生成器均为结合注意力机制的自编码器结构，包括编码器和解码器。
所述生成器每次生成一个词语，n次迭代后生成完整的文本，对不完整的文本进行文本补全。
实施例5、
利用实施例1-4进行处理的方法，包括：
利用上述步骤1）-3）所述方法训练完成得到的生成器，在使用时，直接对输入的参考规范文本进行处理以生成专业文本。
应用例1、
将本发明应用到具体场景1，具体如下：
其中，数据集包含多条参考规范文本，每条参考规范文本对应若干的专业文本；参考规范均包含两个知识点，专业文本根据知识点匹配程度的不同被分为三类，分别记为种类1、种类2和种类3，知识点匹配程度的种类数k为3，生成器的个数和知识点匹配程度的种类数k相同，因此生成器的个数也为3。
种类1对应知识点1错误而知识点2正确以及两个知识点都错误的情况；
种类2对应知识点1正确而知识点2错误的情况；
种类3对应知识点1和知识点2都正确的情况。
如附图3所示，结合对抗训练，所述3个生成器的训练过程为：
将参考规范文本输入到各个生成器中，第i个生成器的计算过程为：
对输入的参考规范根据实施例1-3中的公式（1）-（9）计算，得到生成的不完整文本
Figure DEST_PATH_IMAGE254
，即为“答：不可以。股东变更需经其他”。
将
Figure DEST_PATH_IMAGE255
，即“答：不可以。股东变更需经”输入到连贯性判别器中，连贯性判别器根据
Figure DEST_PATH_IMAGE256
，即“其他”通过公式（10）-（12）得到
Figure DEST_PATH_IMAGE257
。
通过对
Figure DEST_PATH_IMAGE258
进行文本补全，得到：“答：不可以。股东变更需经其他合伙人一致同意”，将这些文本依次输入到专业性判别器中，通过公式（13）-（18）得到
Figure DEST_PATH_IMAGE259
和
Figure DEST_PATH_IMAGE260
。
通过公式（19），根据
Figure DEST_PATH_IMAGE261
和
Figure DEST_PATH_IMAGE262
计算得到一次补全的评分结果
Figure DEST_PATH_IMAGE263
。
对
Figure DEST_PATH_IMAGE264
进行M次文本补全得到M个完整的文本，通过公式（20）-（21），得到第i个生成器的损失，通过梯度下降的方式来更新自身的参数，此时两个判别器保持不变。
对抗训练中，两个判别器的训练过程为：
连贯性判别器保持不变，不参加对抗训练。
向专业性判别器中输入参考规范文本R和经过补全后的完整文本，得到预测的概率向量，通过交叉熵计算损失来更新自身参数。
使用生成器生成专业文本的过程如附图4所示：
一条参考规范文本R为：“……张某未经王某、赵某同意能否变更为甲公司股东
Figure DEST_PATH_IMAGE266
简要说明理由。”，包含两个知识点：
第1个知识点的正确回答为“不能”，错误回答为“能”；
第2个知识点的正确回答为“没有得到其他股东半数以上同意”，其他意义的回答均为错误。
将所述R输入到各个生成器中，第1个生成器生成若干与R语义相关的种类1的专业文本，第2个生成器生成若干与R语义相关的种类2的专业文本，第3个生成器生成若干与R语义相关的种类3的专业文本，生成的专业文本样例如表1所示：
表1 生成文本样例
Figure DEST_PATH_IMAGE267
应用例2、
将本发明应用到具体场景2，具体如下：
数据集包含多条参考规范，每条参考规范对应若干的专业文本。参考规范均包含两个知识点，专业文本根据知识点匹配程度的不同被分为三类，分别记为种类1、种类2和种类3，知识点匹配程度的种类数k为3，生成器的个数和知识点匹配程度的种类数k相同，因此生成器的个数也为3。
种类1对应知识点1错误而知识点2正确以及两个知识点都错误的情况；
种类2对应知识点1正确而知识点2错误的情况；
种类3对应知识点1和知识点2都正确的情况。
如附图3所示，结合对抗训练，所述3个生成器的训练过程为：
将参考规范输入到各个生成器中，第i个生成器的计算过程为：
对输入的参考规范根据公式（1）-（9）计算，得到生成的不完整文本
Figure DEST_PATH_IMAGE268
，“甲公司不应对李某所受损害承担赔偿”。
将
Figure DEST_PATH_IMAGE269
，即“甲公司不应对李某所受损害承担”输入到连贯性判别器中，连贯性判别器根据
Figure DEST_PATH_IMAGE270
，即“赔偿”通过公式（10）-（12）得到
Figure DEST_PATH_IMAGE271
。
通过对
Figure DEST_PATH_IMAGE272
进行文本补全，得到：“甲公司不应对李某所受损害承担赔偿责任”将这些文本依次输入到专业性判别器中，通过公式（13）-（18）得到
Figure DEST_PATH_IMAGE273
。
通过公式（19），根据
Figure DEST_PATH_IMAGE274
和
Figure DEST_PATH_IMAGE275
计算得到一次补全的评分结果
Figure DEST_PATH_IMAGE276
。
对
Figure DEST_PATH_IMAGE277
进行M次文本补全得到M个完整的文本，通过公式（20）-（21），得到第i个生成器的损失，通过梯度下降的方式来更新自身的参数，此时两个判别器保持不变。
对抗训练中，两个判别器的训练过程为：
连贯性判别器保持不变，不参加对抗训练。
向专业性判别器中输入参考规范R和经过补全后的完整文本，得到预测的概率向量，通过交叉熵计算损失来更新自身参数。
使用生成器生成专业文本的过程如附图4所示：
一条参考规范文本R为：“……李某是否有权拒绝承担补充赔偿责任
Figure DEST_PATH_IMAGE279
简要说明理由。”，包含两个知识点：
第1个知识点的正确回答为“无权”，错误回答为“有权”；
第2个知识点的正确回答为“名义出资股东应当承担补充赔偿责任”，其他意义的回答均为错误。
将所述R输入到各个生成器中，第1个生成器生成若干与R语义相关的种类1的专业文本，第2个生成器生成若干与R语义相关的种类2的专业文本，第3个生成器生成若干与R语义相关的种类3的专业文本，生成的专业文本样例如表2所示。生成器生成文本时从开始迭代生成下一个词语，直到生成完整的文本或达到最大生成文本长度，其中最大生成文本长度可设置，如表2所示：
表2 生成文本样例
Figure DEST_PATH_IMAGE280

Claims (8)

1.一种基于参考规范的专业文本生成方法，其特征在于，包括：
1）对输入的参考规范文本，利用生成器进行处理，输出已生成文本；
2）对已生成文本进行补全后，输入至判别器模块，经判别后得到综合评分；其中所述判别器模块包括连贯性判别器和专业性判别器：
所述连贯性判别器的输入为已生成的部分文本，简称PartT，用于评价生成文本的语言规范，其中PartT是指生成器迭代生成文本过程中某一时刻已经生成的不完整文本；
所述专业性判别器的输入为参考规范文本和将PartT补全后文本，后者简称PartTA，用于评价生成文本PartTA与参考规范的语义相关性和知识点匹配性；
3）利用综合评分对所述生成器进行训练；
所述生成器、连贯性判别器和专业性判别器均为神经网络，所述步骤1）中包括k个生成器，其中，每个生成器包括编码器和解码器，生成器的个数和知识点匹配程度的种类数k相同；
所述编码器用于提取参考规范文本中的特征信息，使用单向循环神经网络，简记为
Figure 148153DEST_PATH_IMAGE001
，令一条参考规范文本为
Figure 787075DEST_PATH_IMAGE002
，本发明采用预训练词嵌入，
Figure 89881DEST_PATH_IMAGE003
的第i个词的词嵌入为
Figure 306099DEST_PATH_IMAGE004
，
Figure 578817DEST_PATH_IMAGE005
表示编码器第i个时间步的隐藏状态：
Figure 462459DEST_PATH_IMAGE006
(1)
Figure 670587DEST_PATH_IMAGE007
为参考规范文本R的特征信息：
Figure 249467DEST_PATH_IMAGE008
(2)
其中，r为参考规范文本的长度；
所述解码器根据参考规范文本的特征信息生成文本：使用单向循环神经网络，简记为
Figure 935663DEST_PATH_IMAGE009
，使用注意力机制将参考规范文本R的特征信息
Figure 939391DEST_PATH_IMAGE010
融合到生成文本过程，
Figure 443054DEST_PATH_IMAGE011
为解码器第t个时间步的隐藏状态：
Figure 633864DEST_PATH_IMAGE012
(3)
其中，
Figure 389330DEST_PATH_IMAGE013
表示t-1时刻生成的词语的词向量；
在生成器的解码器中，使用双线性注意力机制将
Figure 591772DEST_PATH_IMAGE014
与生成器对参考规范文本R的特征信息
Figure 141702DEST_PATH_IMAGE015
进行交互，以提取关键信息，其中
Figure 819808DEST_PATH_IMAGE016
为权重矩阵，r为参考规范文本的长度，得到向量序列
Figure 113386DEST_PATH_IMAGE017
：
Figure 685182DEST_PATH_IMAGE018
(4)
使用softmax函数对
Figure 406013DEST_PATH_IMAGE019
进行归一化得到权重序列
Figure 571415DEST_PATH_IMAGE020
：
Figure 278471DEST_PATH_IMAGE021
(5)
根据
Figure 111298DEST_PATH_IMAGE022
和
Figure 737452DEST_PATH_IMAGE023
计算得到相关性信息
Figure 514784DEST_PATH_IMAGE024
，即为参考规范文本R的特征信息
Figure 150164DEST_PATH_IMAGE025
中对生成器当前时刻
Figure 306339DEST_PATH_IMAGE026
最重要的信息，其中，
Figure 368973DEST_PATH_IMAGE027
为向量
Figure 384334DEST_PATH_IMAGE028
中的第i个元素：
Figure 823405DEST_PATH_IMAGE029
(6)
将
Figure 489879DEST_PATH_IMAGE030
和
Figure 723414DEST_PATH_IMAGE031
相加得到
Figure 85125DEST_PATH_IMAGE032
，作为该时间步的输出：
Figure 62309DEST_PATH_IMAGE033
(7)
最后采用softmax函数对
Figure 334021DEST_PATH_IMAGE034
计算得到字典中各词语作为当前生成词语的概率
Figure 738458DEST_PATH_IMAGE035
，字典为数据集中所有词语及词语对应的索引组成的集合：
Figure 587465DEST_PATH_IMAGE036
(8)
其中，依据
Figure 764411DEST_PATH_IMAGE037
进行随机采样，得到当前时刻生成的词语
Figure 156210DEST_PATH_IMAGE038
；
Figure 731547DEST_PATH_IMAGE039
(9)
其中，所述
Figure 333430DEST_PATH_IMAGE040
表示在给定参考规范
Figure 777050DEST_PATH_IMAGE041
和已生成的文本
Figure 882409DEST_PATH_IMAGE042
情况下，第i个生成器
Figure 894227DEST_PATH_IMAGE043
在第t步生成词汇
Figure 327614DEST_PATH_IMAGE044
的概率，其中
Figure 450291DEST_PATH_IMAGE045
为第i个生成器
Figure 675736DEST_PATH_IMAGE046
中的所有的参数；
所述连贯性判别器的工作流程，包括：
所述连贯性判别器，简记为
Figure 717510DEST_PATH_IMAGE047
，用于评价生成文本是否符合语言学规范，采用经过预训练的语言模型
Figure 28405DEST_PATH_IMAGE048
，步骤如下：
2-1）通过预训练的语言模型提取已生成的文本
Figure 689194DEST_PATH_IMAGE049
的特征向量，该提取过程记为
Figure 503566DEST_PATH_IMAGE050
；
2-2）输入到softmax函数中，得到字典中各词语作为下一个词语的概率
Figure 998133DEST_PATH_IMAGE051
：
Figure 530745DEST_PATH_IMAGE052
(10)
其中，t时刻生成的词语为
Figure 995224DEST_PATH_IMAGE053
，对应
Figure 54316DEST_PATH_IMAGE053
作为已生成的文本
Figure 578838DEST_PATH_IMAGE054
的下一个词语的概率即为
Figure 598747DEST_PATH_IMAGE055
；
2-3）对连贯性进行评价，同时鼓励文本多样性，故采用如下动态阈值方式：
首先，设置两个超参数i和
Figure 476704DEST_PATH_IMAGE056
,i为上述词汇选择概率
Figure 265669DEST_PATH_IMAGE057
中由高到低排序的第i个排名;
对上述
Figure 226672DEST_PATH_IMAGE058
中的概率值由大到小进行排序，得到
Figure 592931DEST_PATH_IMAGE059
，
Figure 399213DEST_PATH_IMAGE060
中第i大的概率值即为
Figure 714788DEST_PATH_IMAGE061
;选择阈值
Figure 315533DEST_PATH_IMAGE062
：
Figure 310034DEST_PATH_IMAGE063
(11)
然后，对已生成文本的连贯性评分记为
Figure 654428DEST_PATH_IMAGE064
Figure 579844DEST_PATH_IMAGE067
(12)
其中，当
Figure 61641DEST_PATH_IMAGE068
大于等于
Figure 350671DEST_PATH_IMAGE069
时，
Figure 968734DEST_PATH_IMAGE070
的值均设置为1；当
Figure 176862DEST_PATH_IMAGE071
小于
Figure 5009DEST_PATH_IMAGE072
时，
Figure 956785DEST_PATH_IMAGE073
的值设置为
Figure 694934DEST_PATH_IMAGE074
;
所述专业性判别器的工作流程，包括：
专业性判别器为一个多分类器，用于评价生成文本与参考规范的语义相关性和知识点匹配性，简记为
Figure 683750DEST_PATH_IMAGE075
；
2-4）将所述生成文本按照与参考规范的关系，分为相关和不相关两大类；根据知识点匹配程度的不同，将与参考规范相关的文本分为相应的匹配种类，令知识点匹配程度的种类数为k；
加上与参考规范不相关的种类，最终
Figure 874559DEST_PATH_IMAGE076
需要将文本分为k+1类；
2-5）
Figure 630026DEST_PATH_IMAGE076
仅能对完整的文本进行评价，因此需要先将生成的不完整文本补全：
Figure 347315DEST_PATH_IMAGE077
经过补全后的文本记为L，文本补全过程为将生成的不完整文本输入到步骤1）所述生成器中，再依次生成下一个词语，直到达到最大生成文本长度；
在
Figure 897245DEST_PATH_IMAGE078
中分别对补全的文本L和参考规范文本
Figure 575351DEST_PATH_IMAGE079
进行编码，均采用卷积神经网络CNN：
对参考规范文本
Figure 603350DEST_PATH_IMAGE079
先使用多种不同窗口大小的卷积操作分别特征编码，然后再通过池化操作得到多个向量，使用第i种窗口大小的CNN时的操作网络简记为
Figure 191457DEST_PATH_IMAGE080
；
再将上述
Figure 912289DEST_PATH_IMAGE081
的输出拼接在一起得到
Figure 77691DEST_PATH_IMAGE082
的特征向量
Figure 317172DEST_PATH_IMAGE083
：
Figure 618840DEST_PATH_IMAGE084
(13)
对补全的文本L先使用多种不同窗口大小的卷积操作分别特征编码，然后再通过池化操作得到多个向量，使用第i种窗口大小的CNN时的操作网络简记为
Figure 510573DEST_PATH_IMAGE085
；
再将上述
Figure 38637DEST_PATH_IMAGE085
的输出拼接在一起得到L的特征向量
Figure 408438DEST_PATH_IMAGE086
：
Figure 95772DEST_PATH_IMAGE087
(14)
使用全连接层分别对
Figure 283039DEST_PATH_IMAGE088
和
Figure 157455DEST_PATH_IMAGE089
进行降维后拼接在一起，得到向量
Figure 596526DEST_PATH_IMAGE090
：
Figure 13732DEST_PATH_IMAGE091
(15)
其中，
Figure 247267DEST_PATH_IMAGE092
和
Figure 608979DEST_PATH_IMAGE093
分别为
Figure 320583DEST_PATH_IMAGE088
使用的全连接层的权重系数和偏置值，
Figure 841563DEST_PATH_IMAGE094
和
Figure 511578DEST_PATH_IMAGE095
分别为
Figure 360586DEST_PATH_IMAGE089
使用的全连接层的权重系数和偏置值；
使用softmax函数得到
Figure 751247DEST_PATH_IMAGE096
属于各个种类的概率
Figure 267679DEST_PATH_IMAGE097
：
Figure 843017DEST_PATH_IMAGE098
(16)
其中，第1至k类分别表示L与参考规范相关且属于相应的知识点匹配种类的概率；第k+1类表示L与参考规范不相关的概率；
2-6）生成文本与参考规范的语义相关性评分记为
Figure 303954DEST_PATH_IMAGE099
Figure 993878DEST_PATH_IMAGE100
(17)
其中，所述
Figure 615484DEST_PATH_IMAGE101
中第
Figure 173504DEST_PATH_IMAGE102
个概率值为
Figure 561760DEST_PATH_IMAGE103
；
2-7）生成文本与参考规范的知识点匹配性评分记为
Figure 646259DEST_PATH_IMAGE104
：
期望的文本种类对应的概率为
Figure 563400DEST_PATH_IMAGE105
，所有与参考规范相关的文本种类对应的概率和为
Figure 139875DEST_PATH_IMAGE106
，将两者的比值作为对
Figure 676029DEST_PATH_IMAGE107
知识点匹配性的评价：
Figure 490402DEST_PATH_IMAGE108
(18)。
2.根据权利要求1所述的一种基于参考规范的专业文本生成方法，其特征在于，所述方法还包括：利用上述步骤1）-3）所述方法训练完成得到的生成器，在使用时，直接对输入的参考规范文本进行处理以生成专业文本。
3.根据权利要求1所述的一种基于参考规范的专业文本生成方法，其特征在于，所述生成器的损失函数计算过程：经过连贯性判别器和专业性判别器对第i个生成器生成的文本
Figure 844023DEST_PATH_IMAGE109
进行评价后，得到
Figure 376635DEST_PATH_IMAGE110
和
Figure 965748DEST_PATH_IMAGE111
，对这些评分进行加权平均，得到综合的评分
Figure 900206DEST_PATH_IMAGE112
：
Figure 424729DEST_PATH_IMAGE113
(19)
其中
Figure 320003DEST_PATH_IMAGE114
，且
Figure 588174DEST_PATH_IMAGE115
。
4.根据权利要求3所述的一种基于参考规范的专业文本生成方法，其特征在于，对
Figure 377138DEST_PATH_IMAGE116
进行M次的文本补全，专业性判别器
Figure 931616DEST_PATH_IMAGE117
对所有补全文本评分的均值,即为
Figure 438821DEST_PATH_IMAGE116
的最终评分，记为
Figure 510682DEST_PATH_IMAGE118
；当
Figure 29519DEST_PATH_IMAGE116
的长度为生成文本的最大长度时不需要进行补全，
Figure 895844DEST_PATH_IMAGE119
即为最终评分：
Figure 890345DEST_PATH_IMAGE120
(20)
其中，search表示生成器的一次补全操作，l为生成文本的最大长度；
第i个生成器
Figure 624952DEST_PATH_IMAGE121
获取到判别器的评分
Figure 388508DEST_PATH_IMAGE122
后，计算损失：两个判别器对生成文本的综合评分越高，则表示生成的文本越好；生成器以获得更高的综合评分为目标，通过梯度下降的方式来更新
Figure 160155DEST_PATH_IMAGE121
中的参数，第i个生成器
Figure 641952DEST_PATH_IMAGE121
的损失函数：
Figure 665403DEST_PATH_IMAGE123
(21)。
5.根据权利要求4所述的一种基于参考规范的专业文本生成方法，其特征在于，所述方法还包括对抗训练方法：
基于对抗架构的专业文本生成模型，即Professional Text Generative AdversarialNetworks，简称PT-GAN；预训练PT-GAN时，需要分别预训练各个生成器和专业性判别器
Figure 549045DEST_PATH_IMAGE124
，并对连贯性判别器
Figure 491593DEST_PATH_IMAGE125
进行微调；
所述对连贯性判别器
Figure 591180DEST_PATH_IMAGE126
进行微调：先加载预训练语言模型LM的权重，将各个种类的专业文本汇总作为微调训练集，数据的处理方式和预训练生成器的文本序列处理方式相同，然后以较小的学习率进行训练；
所述预训练专业性判别器
Figure 542955DEST_PATH_IMAGE127
时，使用生成器的生成文本作为与参考规范不相关的文本，其他种类的专业文本分别使用对应的真实文本。
6.根据权利要求1所述的一种基于参考规范的专业文本生成方法，其特征在于,所述步骤2-3）所述连贯性判别器对应的预训练语言模型为RoBERTa Tiny。
7.一种实现基于参考规范的专业文本生成方法的装置，其特征在于，包括生成器和判别器模块；
所述生成器用于：对输入的参考规范文本进行处理，输出已生成文本；
所述判别器模块包括连贯性判别器和专业性判别器；所述连贯性判别器的输入为已经生成的部分文本，用于评价生成文本的语言规范；所述专业性判别器的输入为参考规范和补全后的文本，用于评价生成文本与参考规范的语义相关性和知识点匹配性；
所述生成器为k个生成器，每个所述生成器分别负责生成一种知识点匹配程度的专业文本；每个所述生成器均为结合注意力机制的自编码器结构，包括编码器和解码器。
8.根据权利要求7所述的一种实现基于参考规范的专业文本生成方法的装置，其特征在于，所述生成器每次生成一个词语，n次迭代后生成完整的文本，对不完整的文本进行文本补全。
CN202110798010.4A 2021-07-15 2021-07-15 一种基于参考规范的专业文本生成方法及装置 Active CN113254604B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110798010.4A CN113254604B (zh) 2021-07-15 2021-07-15 一种基于参考规范的专业文本生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110798010.4A CN113254604B (zh) 2021-07-15 2021-07-15 一种基于参考规范的专业文本生成方法及装置

Publications (2)

Publication Number Publication Date
CN113254604A true CN113254604A (zh) 2021-08-13
CN113254604B CN113254604B (zh) 2021-10-01

Family

ID=77191259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110798010.4A Active CN113254604B (zh) 2021-07-15 2021-07-15 一种基于参考规范的专业文本生成方法及装置

Country Status (1)

Country Link
CN (1) CN113254604B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988027A (zh) * 2021-09-23 2022-01-28 阿里巴巴达摩院(杭州)科技有限公司 文本生成方法、装置、设备及存储介质
CN116432605A (zh) * 2023-06-14 2023-07-14 山东大学 融入先验知识的作文评语生成方法及装置
CN116432663A (zh) * 2023-06-12 2023-07-14 山东山大鸥玛软件股份有限公司 基于要素简图的可控多样性专业文本生成方法及系统
WO2023159762A1 (zh) * 2022-02-22 2023-08-31 平安科技（深圳）有限公司 基于人工智能的文本分类方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024329B1 (en) * 2006-06-01 2011-09-20 Monster Worldwide, Inc. Using inverted indexes for contextual personalized information retrieval
CN104679728A (zh) * 2015-02-06 2015-06-03 中国农业大学 一种文本相似度检测方法
CN104820724A (zh) * 2015-05-29 2015-08-05 蓝舰信息科技南京有限公司 文本类教育资源知识点预测模型获得方法及模型应用方法
CN107423282A (zh) * 2017-05-24 2017-12-01 南京大学 基于混合特征的文本中语义连贯性主题与词向量并发提取方法
CN110019421A (zh) * 2018-07-27 2019-07-16 山东大学 一种基于数据特征片段的时间序列数据分类方法
CN110263150A (zh) * 2019-03-05 2019-09-20 腾讯科技（深圳）有限公司 文本生成方法、装置、计算机设备及存储介质
CN112818159A (zh) * 2021-02-24 2021-05-18 上海交通大学 一种基于生成对抗网络的图像描述文本生成方法
CN113032559A (zh) * 2021-03-15 2021-06-25 新疆大学 一种用于低资源黏着性语言文本分类的语言模型微调方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8024329B1 (en) * 2006-06-01 2011-09-20 Monster Worldwide, Inc. Using inverted indexes for contextual personalized information retrieval
CN104679728A (zh) * 2015-02-06 2015-06-03 中国农业大学 一种文本相似度检测方法
CN104820724A (zh) * 2015-05-29 2015-08-05 蓝舰信息科技南京有限公司 文本类教育资源知识点预测模型获得方法及模型应用方法
CN107423282A (zh) * 2017-05-24 2017-12-01 南京大学 基于混合特征的文本中语义连贯性主题与词向量并发提取方法
CN110019421A (zh) * 2018-07-27 2019-07-16 山东大学 一种基于数据特征片段的时间序列数据分类方法
CN110263150A (zh) * 2019-03-05 2019-09-20 腾讯科技（深圳）有限公司 文本生成方法、装置、计算机设备及存储介质
CN112818159A (zh) * 2021-02-24 2021-05-18 上海交通大学 一种基于生成对抗网络的图像描述文本生成方法
CN113032559A (zh) * 2021-03-15 2021-06-25 新疆大学 一种用于低资源黏着性语言文本分类的语言模型微调方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINGZHU LI ET AL.: ""Short Text based Cooperative Classification for Multiple Platforms"", 《INTERNATIONAL CONFERENCE ON COMPUTER SUPPORTED COOPERATIVE WORK IN DESIGN》 *
汤世平 等: ""基于潜在语义分析的文本连贯性分析"", 《计算机应用与软件》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988027A (zh) * 2021-09-23 2022-01-28 阿里巴巴达摩院(杭州)科技有限公司 文本生成方法、装置、设备及存储介质
WO2023159762A1 (zh) * 2022-02-22 2023-08-31 平安科技（深圳）有限公司 基于人工智能的文本分类方法、装置、设备和存储介质
CN116432663A (zh) * 2023-06-12 2023-07-14 山东山大鸥玛软件股份有限公司 基于要素简图的可控多样性专业文本生成方法及系统
CN116432663B (zh) * 2023-06-12 2023-10-13 山东山大鸥玛软件股份有限公司 基于要素简图的可控多样性专业文本生成方法及系统
CN116432605A (zh) * 2023-06-14 2023-07-14 山东大学 融入先验知识的作文评语生成方法及装置
CN116432605B (zh) * 2023-06-14 2023-09-22 山东大学 融入先验知识的作文评语生成方法及装置

Also Published As

Publication number Publication date
CN113254604B (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN113254604B (zh) 一种基于参考规范的专业文本生成方法及装置
CN110413729B (zh) 基于尾句-上下文双重注意力模型的多轮对话生成方法
CN111160467A (zh) 一种基于条件随机场和内部语义注意力的图像描述方法
CN117009490A (zh) 基于知识库反馈的生成式大语言模型的训练方法和装置
CN113297364A (zh) 一种面向对话系统中的自然语言理解方法及装置
CN111125333B (zh) 一种基于表示学习与多层覆盖机制的生成式知识问答方法
CN112925918B (zh) 一种基于疾病领域知识图谱的问答匹配系统
CN115510814B (zh) 一种基于双重规划的篇章级复杂问题生成方法
CN112926337B (zh) 一种结合重构句法信息的端到端方面级情感分析方法
CN111814451A (zh) 文本处理方法、装置、设备和存储介质
CN115392252A (zh) 一种融合自注意力与层级残差记忆网络的实体识别方法
CN110532555A (zh) 一种基于强化学习的语言评价生成方法
CN112818106A (zh) 一种生成式问答的评价方法
CN117573843B (zh) 一种基于知识校准和检索增强的医疗辅助问答方法及系统
CN114429143A (zh) 一种基于强化蒸馏的跨语言属性级情感分类方法
CN112948558B (zh) 面向开放域对话系统的上下文增强的问题生成方法及装置
Jeon et al. Dropout prediction over weeks in MOOCs via interpretable multi-layer representation learning
CN115204143B (zh) 一种基于prompt的文本相似度计算方法及系统
CN112182439A (zh) 一种基于自注意力网络的搜索结果多样化方法
CN114943216B (zh) 基于图注意力网络的案件微博属性级观点挖掘方法
CN116561251A (zh) 一种自然语言处理方法
CN115905852A (zh) 基于预训练提示的故事生成方法、系统、存储介质和终端
Deriu et al. End-to-end trainable system for enhancing diversity in natural language generation
CN114579605A (zh) 表格问答数据处理方法、电子设备及计算机存储介质
CN114742073A (zh) 一种基于深度学习的对话情绪自动识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant