CN116402064A - 一种评论生成方法、系统、存储介质及电子设备 - Google Patents
一种评论生成方法、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN116402064A CN116402064A CN202310681608.4A CN202310681608A CN116402064A CN 116402064 A CN116402064 A CN 116402064A CN 202310681608 A CN202310681608 A CN 202310681608A CN 116402064 A CN116402064 A CN 116402064A
- Authority
- CN
- China
- Prior art keywords
- comment
- training
- text
- model
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 146
- 239000013598 vector Substances 0.000 claims abstract description 94
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000000873 masking effect Effects 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 7
- 241000220225 Malus Species 0.000 description 15
- 235000021016 apples Nutrition 0.000 description 15
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000007730 finishing process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种评论生成方法、系统、存储介质及电子设备，获取文本数据，通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论。通过上述方案，通过对待训练评论模型进行预训练操作得到的预设训练评论模型，确保预设训练评论模型所生成的句子的连贯性，并且通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。
Description
技术领域
本申请涉及计算机网络技术领域，更具体地说，涉及一种评论生成方法、系统、存储介质及电子设备。
背景技术
随着网络不断发展，新闻在网络平台上的传播使得用户通过评论可以发表自己的观点。新闻评论一方面可以对新闻内容做进一步的解释，另一方面可以吸引更多用户的讨论。
现有的新闻评论生成方式是通过编解码模型（seq2seq）生成新闻评论，即通过seq2seq的解码器进行新闻评论的生成。
由于现有新闻评论生成方式需要从解码器逐字输入，容易导致曝光偏差（根据当前生成的当前字（词）去推导下一个字（词）出现的概率，容易产生局部的混淆，使得预训练生成模型推导出错误的下一个字（词）），从而导致生成的新闻评论难以阅读，造成用户阅读体验差。
发明内容
有鉴于此，本申请公开了一种评论生成方法、系统、存储介质及电子设备，旨在提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。
为了实现上述目的，其公开的技术方案如下：
本申请第一方面公开了一种评论生成方法，所述方法包括：
获取文本数据；
通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论；
其中，所述预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到；所述预训练操作用于确保所述预设训练评论模型所生成的句子的连贯性；所述文本数据对应的评论表征评论的位置编码发生偏移的评论。
优选的，利用训练数据对待训练评论模型进行预训练操作的过程，包括：
根据标点符号对训练数据进行分句，得到分句后的训练数据；
按照预设遮掩方式，对所述分句后的训练数据进行遮掩，得到遮掩后的句子；
将所述遮掩后的句子输入到待训练评论模型的编码器，通过所述编码器将所述遮掩后的句子发送至待训练评论模型的解码器，触发所述解码器对所述遮掩后的句子进行还原操作，以完成待训练评论模型的预训练操作。
优选的，在将所述遮掩后的句子输入到待训练评论模型的编码器，通过所述编码器将所述遮掩后的句子发送至待训练评论模型的解码器之后，还包括：
通过所述解码器对遮掩后的句子进行层次分类，得到各个类型的分类结果；
根据所述各个类型的分类结果进行条件层归一化操作；所述条件层归一化操作为根据各个类型的分类结果生成不同评论风格的操作。
优选的，所述文本数据包括文本标题和文本内容，提取文本数据的文本特征向量的过程，包括：
通过预设训练模型中的编码器，对所述文本标题和所述文本内容进行自注意力机制计算，得到各个关联权重；
将所述各个关联权重进行加权求和，得到文本特征向量。
优选的，通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，包括：
通过所述预设训练评论模型和预设遮掩方式，对所述文本特征向量进行遮掩，得到知识增强后的文本特征向量。
优选的，对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论，包括：
获取预设训练评论模型中的解码器提供的键值key和解码器提供的值项value；
通过跨注意力机制算法，对编码器输出的文本特征向量、解码器提供的键值key和解码器提供的值项value进行计算，得到注意力值；
按照预设替换方式和头部概率归一化，对知识增强后的文本特征向量进行替换，得到替换后的文本特征向量；所述替换后的文本特征向量用于减缓曝光偏差；
通过所述解码器、所述注意力值和不完全信任损失函数，对所述替换后的文本特征向量进行还原，得到文本数据对应的评论；所述不完全信任损失函数用于提高生成评论的流畅性。
本申请第二方面公开了一种评论生成系统，所述系统包括：
获取单元，用于获取文本数据；
处理单元，用于通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论；其中，所述预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到；所述预训练操作用于确保所述预设训练评论模型所生成的句子的连贯性；所述文本数据对应的评论表征评论的位置编码发生偏移的评论。
优选的，利用训练数据对待训练评论模型进行预训练操作的处理单元，包括：
分句模块，用于根据标点符号对训练数据进行分句，得到分句后的训练数据；
遮掩模块，用于按照预设遮掩方式，对所述分句后的训练数据进行遮掩，得到遮掩后的句子；
触发模块，由于将所述遮掩后的句子输入到待训练评论模型的编码器，通过所述编码器将所述遮掩后的句子发送至待训练评论模型的解码器，触发所述解码器对所述遮掩后的句子进行还原操作，以完成待训练评论模型的预训练操作。
本申请第三方面公开了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的评论生成方法。
本申请第四方面公开了一种电子设备，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的评论生成方法。
经由上述技术方案可知，本申请公开了一种评论生成方法、系统、存储介质及电子设备，获取文本数据，通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论，其中，预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到，预训练操作用于确保预设训练评论模型所生成的句子的连贯性，文本数据对应的评论表征评论的位置编码发生偏移的评论。通过上述方案，通过对待训练评论模型进行预训练操作得到的预设训练评论模型，确保预设训练评论模型所生成的句子的连贯性，并且通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种评论生成方法的流程示意图；
图2为本申请实施例公开的预设训练评论模型的示意图；
图3为本申请实施例公开的一种评论生成系统的结构示意图；
图4为本申请实施例公开的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知，由于现有新闻评论生成方式需要从解码器逐字输入，容易导致曝光偏差（根据当前生成的当前字（词）去推导下一个字（词）出现的概率，容易产生局部的混淆，使得预训练生成模型推导出错误的下一个字（词）），从而导致生成的新闻评论难以阅读，造成用户阅读体验差。
为了解决上述问题，本申请实施例公开了一种评论生成方法、系统、存储介质及电子设备，通过对待训练评论模型进行预训练操作得到的预设训练评论模型，确保预设训练评论模型所生成的句子的连贯性，并且通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。具体实现方式通过下述实施例进行说明。
参考图1所示，为本申请实施例公开的一种评论生成方法的流程示意图，该评论生成方法主要包括如下步骤：
S101：获取文本数据。
其中，文本数据包括文本标题（如，新闻标题）、文本内容（如，新闻内容）等。
S102：通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论；其中，预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到；预训练操作用于确保预设训练评论模型所生成的句子的连贯性；文本数据对应的评论表征评论的位置编码发生偏移的评论。
在S102中，将文本数据输入至预设训练评论模型中的编码器（Encoder），通过编码器和自注意力机制（self-attention），对文本数据进行特征向量转换，得到文本特征向量。
其中，具体通过预设训练评论模型提取文本数据的文本特征向量的过程，如A1-A2所示。
A1：通过预设训练模型中的编码器，对文本标题和文本内容进行self-attention计算，得到各个关联权重。
A2：将各个关联权重进行加权求和，得到文本特征向量。
通过预设训练评论模型和预设遮掩方式，对文本特征向量进行遮掩，得到知识增强后的文本特征向量。
文本特征向量即为编码器所输出的特征向量中的query向量。
编码器所输出的特征向量包括编码器所输出的query向量、编码器所输出的值项value和编码器所输出的键值key。下述通过跨注意力机制算法计算注意力值的过程只使用了编码器所输出的query向量，即文本特征向量。
预设遮掩方式可以是为对文本特征向量进行随机掩码（MASK）的方式，也可以是对文本特征向量的预设词汇进行MASK操作的方式等。具体预设遮掩方式的确定本申请不做具体限定。
随机掩码方式为当输入一段文字时，随机将其中的某几个字进行去除，例如：“我喜欢吃苹果”变为“我喜欢吃MASK果”，“苹”就被遮掩掉了。
预设词可以是人物的性别、转折词、人物与事件的关系等词汇。具体预设词的确定根据实际情况进行设置，本申请不做具体限定。
知识增强用于提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。
为了方便理解通过预设训练评论模型和预设遮掩方式，对文本特征向量进行遮掩，得到知识增强后的文本特征向量的过程，这里举例进行说明：
例如，预设遮掩方式为随机MASK方式时，输入文本数据“我喜欢吃苹果，但是不能吃太多”至预设训练评论模型，通过预设训练评论模型对文本数据“我喜欢吃苹果，但是不能吃太多”进行随机MASK后的结果为“我喜欢吃苹果，[MASK]不能吃太多”，然后转换为文本特征向量x。
利用训练数据对待训练评论模型进行预训练操作的过程如B1-B3所示。
B1：根据标点符号对训练数据进行分句，得到分句后的训练数据。
比如，训练数据为我喜欢吃苹果但是不能吃太多，根据标点符号对训练数据进行分句，即为“我喜欢吃苹果，但是不能吃太多”。
B2：按照预设遮掩方式，对分句后的训练数据进行遮掩（掩码），得到遮掩后的句子。
为了方便理解按照预设遮掩方式，对分句后的训练数据进行遮掩，得到遮掩后的句子，这里举例进行说明：
例如，按照预设遮掩方式对分句后的训练数据进行遮掩，随机遮掩一个字数长度大于5的句子。
B3：将遮掩后的句子输入到待训练评论模型的编码器，通过编码器将遮掩后的句子发送至待训练评论模型的解码器，触发解码器对遮掩后的句子进行还原操作，以完成待训练评论模型的预训练操作。
具体预设训练评论模型的结构如图2所示。
图2中，预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到。待训练评论模型由生成模型、多任务学习模型和知识增强模型联合构建得到。
图2中，预训练操作的主要目的是保证预设训练评论模型所生成的句子足够流畅，减缓前后不一致的现象。经申请人研究发现，先让待训练评论模型学习简单的任务，再把任务难度提高会更适合生成模型，所以在加载了基础预训练模型（BART）的基础权重之后，对训练数据中的标点符号进行分句，并随机掩码其中一个句子输入到编码器中，并在预设训练评论模型中生成模型的解码器（Decoder）中进行还原操作，较好的提升了生成模型句子级别的还原能力和流畅度。其中，还原操作过程中涉及到还原损失函数、不完全信任损失函数、稀疏软最大值、联合损失函数、通过解码器进行偏置等；其中，通过还原损失函数和不完全信任损失函数确定联合损失函数。在预训练操作的过程中，还涉及到通过解码器训练解码，通过编码器读取新闻内容。
BART是一种用于预训练序列到序列模型的去噪自编码器，这是一种符合生成任务的预训练方法，即兼具上下文语境信息和自回归特性的Transformer.BART将残缺文本经过编码器的输出结合了自回归解码器，让模型针对原文本先做了完形填空，接着做默写，先训练编码，再训练解码，最终的预训练目标又回归到原文本，充分利用了编码器和解码器的优点来提升自身的性能。
图2中，生成模型提供了一个seq2seq的结构，seq2seq同时拥有编码器和解码器的结构。将文本数据输入到编码器中，对其进行特征向量转换，得到文本向量特征，将文本向量特征输入到解码器，并将发生偏移之后的评论在解码器输出，期间解码器的输入只能看到当前词和当前词之前的内容，在进行self-attention之后与编码器中提供的键值key，值项value进行跨注意力机制（cross-attention）计算，最后通过生成模型逐字生成评论。
为了方便理解通过生成模型逐字生成评论的过程，结合场景实施例进行说明：
例如，输入文本数据“我喜欢吃苹果”到生成模型，生成模型将“我喜欢吃苹果”，转化成文本特征向量（0.1，0.2，0.3，0.4，0.5，0.6），计算第一个attention时候，就是用0.1找到第二词的0.2，0.1*0.2再*“喜”这个词的value，这是attention的过程，在解码器端，当输入[start]输出“我”，然后把第一步的输入当做第二步的输入，输入“我”，输出“喜”；在输入“喜”，再输出“欢”；循环整个过程，最后输出：“我喜欢吃苹果”这一评论。
图2中，多任务学习模型主要目的是通过给不同类型的文本数据（若文本数据为新闻内容，则为不同频道（如，体育、娱乐、情感、科技等频道）的新闻内容提供共享参数层，通过相互学习提供语言能力的同时赋予不同的评论风格。最后通过修改层次归一化（LayerNorm）的参数
和/>
，增加这些不同频道组合，通过修改Layernorm公式完成多任务学习，使一个模型能够同时完成多个任务。其中，LayerNorm把一个样本中所有数据作为元素做标准化，类似于统计学中的“组内”，计算一个批处理（batch）中所有特征中所有参数的均值和方差，然后进行归一化。
LayerNorm的计算式如公式（1）所示。
其中，y为函数的输出；x为函数的输入；
为常量，防止分母=0；/>
为可训练的参数，/>
用于调整曲线的高矮胖瘦；/>
为可训练的参数，/>
用于调整顶点坐标。
图2中，知识增强模型是对人物的性别，转折词，人物与事件的关系等进行掩码操作（如转折掩码，替换、性别掩码，替换、任务掩码，替换）并重建还原，将这一系列任务并行的加到生成模型中，能够很好的提高知识的准确性。比如，输入文本数据“我喜欢吃苹果，但是不能吃太多”，通过知识增强模型对文本数据“我喜欢吃苹果，但是不能吃太多”中的转折词“但是”进行MASK后的结果为“我喜欢吃苹果，[MASK]不能吃太多”。
知识增强模型会将各种类型的外部知识，例如百科全书、知识图谱、词典等，通过特定的语义表示方式融入到模型中。这使得知识增强模型能够更好地理解和表达语义，从而生成更加准确、连贯、合理的评论。
对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论的过程，如C1-C4所示。
C1：获取预设训练评论模型中的解码器所提供的键值key和解码器所提供的值项value。
其中，解码器也提供了query向量、值项value和键值key这三种向量，但是下述计算注意力值的过程只使用了解码器提供的键值key和解码器提供的值项value。
C2：通过跨注意力机制算法，对编码器输出的文本特征向量、解码器提供的键值key和解码器提供的值项value进行计算，得到注意力值。
其中，跨注意力机制算法即为cross-attention，由解码器提供键值key，解码器提供的值项value，编码器提供的文本特征向量（query向量），进行query*key*value的计算，得到注意力值。
C3：按照预设替换方式和头部概率归一化（Sparse Softmax），对知识增强后的文本特征向量进行替换，得到替换后的文本特征向量；替换后的文本特征向量用于减缓曝光偏差。
其中，在生成模型和多任务训练模型的预训练的过程中，为了减缓曝光偏差，精简词表中随机替换了解码器输入，按照预设概率（如50%）进行替换，每次替换预设替换量（如30%）的词汇量，以及将原始的概率归一化（softmax）替换为sparse softmax。
预设概率和预设替换量的确定，根据实际情况进行设置，本申请不做具体限定。
C4：通过解码器、注意力值和不完全信任损失函数，对替换后的文本特征向量进行还原，得到文本数据对应的评论；不完全信任损失函数用于提高生成评论的流畅性。
C4中，为了处理训练数据中的脏数据，采用了不完全信任损失函数，为了保证生成文本的流畅性，将BART的预训练的破坏后重建的任务（DAE任务）加入到了模型微调（finetune）过程，以保证文本数据的预处理（即为下述B1和B2中的分句和遮掩）和finetune过程足够契合，训练过程中采用对抗训练（FGM）和热身算法（WARM-UP）提高了鲁棒性。
文本数据对应的评论为位置编码发生偏移的评论。位置编码发生偏移的评论指的是评论的位置编码本身是0，1，2，3，4，...，n，现在变成了1，2，3，4，...，n+1，整体向右平移，目的是为了训练next-token也就是下一个单词的准确度。
为了方便理解破坏后重建的任务，这里举例进行说明：
例如，输入文本数据“我喜欢吃苹果，但是不能吃太多”，进行随机MASK后的结果为“我喜欢吃苹果，[MASK]不能吃太多”，然后转换为特征向量x，解码器将x还原为“我喜欢吃苹果，但是不能吃太多”这一过程即为重建任务。同样的，如果文本数据中包含性别、任务关系词语（例如父亲，母亲）等，可以MASK男，女；MASK人物关系词语，等词语。
在将随机遮掩后的句子输入到待训练评论模型的编码器，通过编码器将随机遮掩后的句子发送至待训练评论模型的解码器之后，通过解码器对随机遮掩后的句子进行层次分类，得到各个类型的分类结果，根据各个类型的分类结果进行条件层归一化操作（conditional layernorm）；条件层归一化操作为根据各个类型的分类结果生成不同评论风格的操作。
其中，分类结果包括体育分类、娱乐分类、科技分类等。
不同评论风格包括不同频道色彩的，例如体育的，娱乐的，科技等。
为了方便理解评论生成方法，结合场景实施例进行说明：
例如，步骤1：将文本数据进行预处理，按照标点符号进行分句，并随机MASK一个字数长度大于5的句子。
步骤2：将MASK后的句子输入到编码器中并在解码器中进行句子级别的还原，整个过程重复3轮。
步骤3：加载步骤2的权重，利用BART训练评论模型，将新闻的题目和内容输入到编码器，解码器输出评论。
步骤4：对输入到BART中的新闻在步骤3的解码器中进行预处理，首先进行层次分类，然后根据不同的分类进行conditional layernorm。
步骤5：对人物的性别，转折词，人物与事件的关系进行掩码操作并重建还原，将这一系列任务并行的加到步骤3中。通过人物MASK，性别MASK，转折词MASK对知识进行了增强。
步骤6：随机替换了解码器端输入，按照50%的概率进行替换，每次替换30%的词汇量。将原始的softmax替换为sparse softmax。
步骤7：采用了不完全信任损失函数，为了保证生成文本的流畅性。
步骤8：通过步骤1-7执行10轮，并保存所得到的finetune（模型微调）之后的BART结果。
步骤9：在步骤8中得到的BART模型中输入新闻，利用集束搜索（Beamsearch）推理得到对应的评论。
本申请实施例中，通过对待训练评论模型进行预训练操作得到的预设训练评论模型，确保预设训练评论模型所生成的句子的连贯性，并且通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。
基于上述实施例图1公开的一种评论生成方法，本申请实施例还对应公开了一种评论生成系统，如图3所示，该评论生成系统包括获取单元301和处理单元302。
获取单元301，用于获取文本数据。
处理单元302，用于通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论；其中，预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到；预训练操作用于确保预设训练评论模型所生成的句子的连贯性；文本数据对应的评论表征评论的位置编码发生偏移的评论。
进一步的，利用训练数据对待训练评论模型进行预训练操作的处理单元302，包括分句模块、遮掩模块和触发模块。
分句模块，用于根据标点符号对训练数据进行分句，得到分句后的训练数据。
遮掩模块，用于按照预设遮掩方式，对分句后的训练数据进行遮掩，得到遮掩后的句子。
触发模块，用于将遮掩后的句子输入到待训练评论模型的编码器，通过编码器将遮掩后的句子发送至待训练评论模型的解码器，触发解码器对遮掩后的句子进行还原操作，以完成待训练评论模型的预训练操作。
进一步的，评论生成系统还包括分类单元和操作单元。
分类单元，用于通过解码器对遮掩后的句子进行层次分类，得到各个类型的分类结果。
操作单元，用于根据各个类型的分类结果进行条件层归一化操作；条件层归一化操作为根据各个类型的分类结果生成不同评论风格的操作。
进一步的，提取文本数据的文本特征向量的处理单元302包括第一计算模块和加权求和模块。
第一计算模块，用于通过预设训练模型中的编码器，对文本标题和文本内容进行自注意力机制计算，得到各个关联权重。
加权求和模块，用于将各个关联权重进行加权求和，得到文本特征向量。
通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理的处理单元302，具体用于通过预设训练评论模型和预设遮掩方式，对文本特征向量进行遮掩，得到知识增强后的文本特征向量。
进一步的，对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论的处理单元302包括获取模块、第二计算模块、替换模块和还原模块。
获取模块，用于获取预设训练评论模型中的解码器提供的键值key和解码器提供的值项value。
第二计算模块，用于通过跨注意力机制算法，对编码器输出的文本特征向量、解码器提供的键值key和解码器提供的值项value进行计算，得到注意力值。
替换模块，用于按照预设替换方式和头部概率归一化，对知识增强后的文本特征向量进行替换，得到替换后的文本特征向量；替换后的文本特征向量用于减缓曝光偏差。
还原模块，用于通过解码器、注意力值和不完全信任损失函数，对替换后的文本特征向量进行还原，得到文本数据对应的评论；不完全信任损失函数用于提高生成评论的流畅性。
本申请实施例中，通过对待训练评论模型进行预训练操作得到的预设训练评论模型，确保预设训练评论模型所生成的句子的连贯性，并且通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，提高文本特征向量的知识的准确性，避免出现生成前后逻辑混乱的评论的情况，从而确保生成的评论的连贯性，提高用户阅读体验。
本申请实施例还提供了一种存储介质，存储介质包括存储的指令，其中，在指令运行时控制存储介质所在的设备执行上述评论生成方法。
本申请实施例还提供了一种电子设备，其结构示意图如图4所示，具体包括存储器401，以及一个或者一个以上的指令402，其中一个或者一个以上指令402存储于存储器401中，且经配置以由一个或者一个以上处理器403执行所述一个或者一个以上指令402执行上述评论生成方法。
上述各个实施例的具体实施过程及其衍生方式，均在本申请的保护范围之内。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为聚类部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种评论生成方法，其特征在于，所述方法包括：
获取文本数据；
通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论；
其中，所述预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到；所述预训练操作用于确保所述预设训练评论模型所生成的句子的连贯性；所述文本数据对应的评论表征评论的位置编码发生偏移的评论。
2.根据权利要求1所述的方法，其特征在于，利用训练数据对待训练评论模型进行预训练操作的过程，包括：
根据标点符号对训练数据进行分句，得到分句后的训练数据；
按照预设遮掩方式，对所述分句后的训练数据进行遮掩，得到遮掩后的句子；
将所述遮掩后的句子输入到待训练评论模型的编码器，通过所述编码器将所述遮掩后的句子发送至待训练评论模型的解码器，触发所述解码器对所述遮掩后的句子进行还原操作，以完成待训练评论模型的预训练操作。
3.根据权利要求2所述的方法，其特征在于，在将所述遮掩后的句子输入到待训练评论模型的编码器，通过所述编码器将所述遮掩后的句子发送至待训练评论模型的解码器之后，还包括：
通过所述解码器对遮掩后的句子进行层次分类，得到各个类型的分类结果；
根据所述各个类型的分类结果进行条件层归一化操作；所述条件层归一化操作为根据各个类型的分类结果生成不同评论风格的操作。
4.根据权利要求1所述的方法，其特征在于，所述文本数据包括文本标题和文本内容，提取文本数据的文本特征向量的过程，包括：
通过预设训练模型中的编码器，对所述文本标题和所述文本内容进行自注意力机制计算，得到各个关联权重；
将所述各个关联权重进行加权求和，得到文本特征向量。
5.根据权利要求1所述的方法，其特征在于，通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，包括：
通过所述预设训练评论模型和预设遮掩方式，对所述文本特征向量进行遮掩，得到知识增强后的文本特征向量。
6.根据权利要求5所述的方法，其特征在于，对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论，包括：
获取预设训练评论模型中的解码器提供的键值key和解码器提供的值项value；
通过跨注意力机制算法，对编码器输出的文本特征向量、解码器提供的键值key和解码器提供的值项value进行计算，得到注意力值；
按照预设替换方式和头部概率归一化，对知识增强后的文本特征向量进行替换，得到替换后的文本特征向量；所述替换后的文本特征向量用于减缓曝光偏差；
通过所述解码器、所述注意力值和不完全信任损失函数，对所述替换后的文本特征向量进行还原，得到文本数据对应的评论；所述不完全信任损失函数用于提高生成评论的流畅性。
7.一种评论生成系统，其特征在于，所述系统包括：
获取单元，用于获取文本数据；
处理单元，用于通过预设训练评论模型对文本数据的文本特征向量进行知识增强处理，并对知识增强处理后的文本特征向量进行还原，得到文本数据对应的评论；其中，所述预设训练评论模型由利用训练数据对待训练评论模型进行预训练操作得到；所述预训练操作用于确保所述预设训练评论模型所生成的句子的连贯性；所述文本数据对应的评论表征评论的位置编码发生偏移的评论。
8.根据权利要求7所述的系统，其特征在于，利用训练数据对待训练评论模型进行预训练操作的处理单元，包括：
分句模块，用于根据标点符号对训练数据进行分句，得到分句后的训练数据；
遮掩模块，用于按照预设遮掩方式，对所述分句后的训练数据进行遮掩，得到遮掩后的句子；
触发模块，由于将所述遮掩后的句子输入到待训练评论模型的编码器，通过所述编码器将所述遮掩后的句子发送至待训练评论模型的解码器，触发所述解码器对所述遮掩后的句子进行还原操作，以完成待训练评论模型的预训练操作。
9.一种存储介质，其特征在于，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行如权利要求1至6任意一项所述的评论生成方法。
10.一种电子设备，其特征在于，包括存储器，以及一个或者一个以上的指令，其中一个或者一个以上指令存储于存储器中，且经配置以由一个或者一个以上处理器执行如权利要求1至6任意一项所述的评论生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310681608.4A CN116402064B (zh) | 2023-06-09 | 2023-06-09 | 一种评论生成方法、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310681608.4A CN116402064B (zh) | 2023-06-09 | 2023-06-09 | 一种评论生成方法、系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116402064A true CN116402064A (zh) | 2023-07-07 |
| CN116402064B CN116402064B (zh) | 2023-09-12 |
Family
ID=87020308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310681608.4A Active CN116402064B (zh) | 2023-06-09 | 2023-06-09 | 一种评论生成方法、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402064B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591948A (zh) * | 2024-01-19 | 2024-02-23 | 北京中科闻歌科技股份有限公司 | 评论生成模型训练方法和装置、信息生成方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287278A (zh) * | 2019-06-20 | 2019-09-27 | 北京百度网讯科技有限公司 | 评论生成方法、装置、服务器及存储介质 |
| CN111626041A (zh) * | 2020-05-07 | 2020-09-04 | 杭州东信北邮信息技术有限公司 | 一种基于深度学习的音乐评论生成方法 |
| CN112257452A (zh) * | 2020-09-21 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 情感识别模型的训练方法、装置、设备和存储介质 |
| US20210374352A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for training language model based on various word vectors, device and medium |
| CN114444481A (zh) * | 2022-01-27 | 2022-05-06 | 四川大学 | 一种新闻评论的情感分析与生成方法 |
| CN114443829A (zh) * | 2021-12-27 | 2022-05-06 | 广州城市职业学院 | 一种基于关键句组、新闻原文的新闻评论过滤方法及系统 |
| CN114492407A (zh) * | 2022-01-26 | 2022-05-13 | 中国科学技术大学 | 一种新闻评论生成方法、系统、设备及存储介质 |
| CN115640398A (zh) * | 2022-10-31 | 2023-01-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 评论生成模型训练方法、评论生成方法、设备及存储介质 |
-
2023
- 2023-06-09 CN CN202310681608.4A patent/CN116402064B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287278A (zh) * | 2019-06-20 | 2019-09-27 | 北京百度网讯科技有限公司 | 评论生成方法、装置、服务器及存储介质 |
| CN111626041A (zh) * | 2020-05-07 | 2020-09-04 | 杭州东信北邮信息技术有限公司 | 一种基于深度学习的音乐评论生成方法 |
| US20210374352A1 (en) * | 2020-05-29 | 2021-12-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for training language model based on various word vectors, device and medium |
| CN112257452A (zh) * | 2020-09-21 | 2021-01-22 | 北京达佳互联信息技术有限公司 | 情感识别模型的训练方法、装置、设备和存储介质 |
| CN114443829A (zh) * | 2021-12-27 | 2022-05-06 | 广州城市职业学院 | 一种基于关键句组、新闻原文的新闻评论过滤方法及系统 |
| CN114492407A (zh) * | 2022-01-26 | 2022-05-13 | 中国科学技术大学 | 一种新闻评论生成方法、系统、设备及存储介质 |
| CN114444481A (zh) * | 2022-01-27 | 2022-05-06 | 四川大学 | 一种新闻评论的情感分析与生成方法 |
| CN115640398A (zh) * | 2022-10-31 | 2023-01-24 | 腾讯音乐娱乐科技（深圳）有限公司 | 评论生成模型训练方法、评论生成方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 徐菲菲;冯东升;: "文本词向量与预训练语言模型研究", 上海电力大学学报, no. 04 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591948A (zh) * | 2024-01-19 | 2024-02-23 | 北京中科闻歌科技股份有限公司 | 评论生成模型训练方法和装置、信息生成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116402064B (zh) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108628823B (zh) | 结合注意力机制和多任务协同训练的命名实体识别方法 | |
| CN111368996B (zh) | 可传递自然语言表示的重新训练投影网络 | |
| CN113792818B (zh) | 意图分类方法、装置、电子设备及计算机可读存储介质 | |
| CN109960800B (zh) | 基于主动学习的弱监督文本分类方法及装置 | |
| Sordoni et al. | A hierarchical recurrent encoder-decoder for generative context-aware query suggestion | |
| Su et al. | A two-stage transformer-based approach for variable-length abstractive summarization | |
| US11397892B2 (en) | Method of and system for training machine learning algorithm to generate text summary | |
| CN111444320A (zh) | 文本检索方法、装置、计算机设备和存储介质 | |
| US11704714B2 (en) | Reformulation of tail queries for product searches | |
| CN111859940B (zh) | 一种关键词提取方法、装置、电子设备及存储介质 | |
| KR102379660B1 (ko) | 딥러닝 기반 의미역 분석을 활용하는 방법 | |
| CN111859964A (zh) | 一种语句中命名实体的识别方法及装置 | |
| CN109815400A (zh) | 基于长文本的人物兴趣提取方法 | |
| Kawakami et al. | Learning to discover, ground and use words with segmental neural language models | |
| CN116402064B (zh) | 一种评论生成方法、系统、存储介质及电子设备 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN111597326A (zh) | 生成商品描述文本的方法及装置 | |
| Poomka et al. | Machine learning versus deep learning performances on the sentiment analysis of product reviews | |
| Chen et al. | A cheaper and better diffusion language model with soft-masked noise | |
| Cho et al. | A personalized dialogue generator with implicit user persona detection | |
| CN113704393A (zh) | 关键词提取方法、装置、设备及介质 | |
| CN114519353B (zh) | 模型的训练方法、情感消息生成方法和装置、设备、介质 | |
| Cathcart | Toward a deep dialectological representation of Indo-Aryan | |
| Kumar et al. | Self-attention enhanced recurrent neural networks for sentence classification | |
| Cui et al. | Fine-grained Chinese named entity recognition with RoBERTa and convolutional attention networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |