CN115146607B - 评论信息情感偏好识别模型训练方法、识别方法及设备 - Google Patents
评论信息情感偏好识别模型训练方法、识别方法及设备 Download PDFInfo
- Publication number
- CN115146607B CN115146607B CN202211078798.2A CN202211078798A CN115146607B CN 115146607 B CN115146607 B CN 115146607B CN 202211078798 A CN202211078798 A CN 202211078798A CN 115146607 B CN115146607 B CN 115146607B
- Authority
- CN
- China
- Prior art keywords
- training
- comment information
- model
- emotion preference
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 185
- 230000008451 emotion Effects 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 66
- 239000013604 expression vector Substances 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 33
- 230000002996 emotional effect Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 238000012552 review Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000035945 sensitivity Effects 0.000 abstract 1
- 238000009826 distribution Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000000052 comparative effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000008909 emotion recognition Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000005065 mining Methods 0.000 description 2
- JXASPPWQHFOWPL-UHFFFAOYSA-N Tamarixin Natural products C1=C(O)C(OC)=CC=C1C1=C(OC2C(C(O)C(O)C(CO)O2)O)C(=O)C2=C(O)C=C(O)C=C2O1 JXASPPWQHFOWPL-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了评论信息情感偏好识别模型训练方法、识别方法及设备，属于自然语言处理技术领域。评论信息情感偏好识别模型训练方法包括在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换原始文本模板中比较对象的位置后形成的镜像文本模板，其中每组评论训练数据均包括评论信息、两个比较对象和属性；基于各个评论信息、原始文本模板和镜像文本模板，对原始通道和镜像通道中的情感偏好识别模型进行训练及优化，以使情感偏好识别模型用于输出评论信息中两个比较对象针对该属性的情感偏好结果。本发明通过双通道模型训练，降低了比较对象在评论信息句子中的顺序敏感度，在对比情感分析的实际应用中提高了识别准确度。
Description
技术领域
本发明涉及自然语言处理技术领域，尤其涉及评论信息情感偏好识别模型训练方法、识别方法及相关的电子设备和计算机可读存储介质。
背景技术
网络媒体已经成为用户分享观点和情感的平台。分析发布在网络上的评论信息的观点和情感偏好是非常重要的，在企业或组织的未来决策中具有较高的参考价值。对比情感（Comparative Opinion）是观点挖掘和情感偏好分析的一个子领域，主要处理识别和提取以比较形式表达的信息，例如可以比较用户针对某两个目标给出的评论文本信息的情感对比结果。如“产品A的操控性比产品B好，我很喜欢；但是产品B的内饰实在太漂亮了，这让我难以选择”。在这个示例中，很显然得表达了对两个对比目标“产品A”和“产品B”在“操控性”和“内饰美感度”方面的情感对比现象。基于产品调研等需求，企业或组织等可以了解用户对不同产品的某些属性的情感偏好，例如了解用户对自家产品和竞争产品在使用性能上的情感偏好等，因此，需要挖掘对比情感（Comparative Opinion Mining），也就是识别用户给出的针对两个目标的评论信息中的情感偏好。
现有技术中的评论信息情感偏好识别机制一般采用基于规则的识别，或者采用基于特征工程和分类器相结合的传统机器学习模型识别。然而，由于现有的评论信息情感偏好识别方法很容易受到对比较对象在句子中的顺序的影响，即对比较对象在句子中的顺序比较敏感。如果交换比较对象在评论信息中的位置，则对比情感的分辨准确率会急剧下降。并且现有的情感识别模型都属于初级模型，识别手段的智能化程度和准确率都比较低，无法支撑对比情感识别的实际应用。
发明内容
为了解决现有技术中存在的对比情感分析和识别手段的智能化程度低的问题，本发明提供了如下技术方案。
本发明在第一方面提供了一种评论信息情感偏好识别模型训练方法，包括：
在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换所述原始文本模板中比较对象的位置后形成的镜像文本模板，其中，每组所述评论训练数据均包括：评论信息、以及自该评论信息中提取的两个比较对象和属性；
基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，以使所述情感偏好识别模型用于输出评论信息中两个比较对象针对所述属性的情感偏好结果。
优选地，所述情感偏好识别模型包括：预训练模型和分类器；
所述预训练模型用于对输入的评论信息以及该评论信息对应的原始文本模板或镜像文本模板进行编码，以输出该评论信息的结果数据，其中，所述结果数据包括：句子表达向量和观点表达向量；
所述分类器用于根据同一通道中的所述预训练模型输出的结果数据生成所述评论信息对应的情感偏好预测结果，其中，该情感偏好预测结果包括：情感偏好中相同、更好和更差各自的占比。
优选地，所述基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，进一步包括：
基于各个所述评论信息及原始文本模板对所述原始通道中的第一预训练模型进行训练，并采用该原始通道中的第一分类器基于该第一预训练模型输出的结果数据生成所述评论信息对应的第一情感偏好预测结果；
以及，基于各个所述评论信息及镜像文本模板对所述镜像通道中的第二预训练模型进行训练，并采用该镜像通道中的第二分类器基于该第二预训练模型输出的结果数据生成所述评论信息对应的第二情感偏好预测结果；
根据所述第一情感偏好预测结果和所述第二情感偏好预测结果生成当前的观点目标，以及，根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标；
应用所述当前的比较目标和所述观点目标对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，并对优化后的第一预训练模型、第二预训练模型、第一分类器和第二分类器进行迭代训练。
优选地，所述根据所述第一情感偏好预测结果和所述第二情感偏好预测结果生成当前的观点目标，进一步包括：
以所述原始通道和所述镜像通道的交叉熵函数作为观点目标损失函数，对所述第一情感偏好预测结果和所述第二情感偏好预测结果进行交叉熵函数最小化计算，以得到当前的观点目标。
优选地，所述根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标，进一步包括：
获取所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量之间的余弦相似度；
若所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量分别为：更好和更差，则以所述余弦相似度的铰链损失函数作为比较目标损失函数，对所述第一预训练模型和第二预训练模型各自输出的观点表达向量进行距离最大化计算，以得到当前的比较目标。
优选地，所述根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标，进一步包括：
若所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量均为：相同，则以所述余弦相似度的铰链损失函数作为比较目标损失函数，对所述第一预训练模型和第二预训练模型各自输出的观点表达向量进行距离最小化计算，以得到当前的比较目标。
优选地，所述应用所述当前的比较目标和所述观点目标对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，进一步包括：
基于所述当前的比较目标和所述观点目标计算模型训练的目标函数；
根据所述目标函数对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，其中，所述第一预训练模型和第二预训练模型共享参数，所述第一分类器和第二分类器也共享参数。
本发明第二方面提供了一种评论信息情感偏好识别方法，包括：
获取待识别的目标评论信息，所述目标评论信息包括两个比较对象及目标属性；
根据所述两个比较对象和目标属性生成所述目标评论信息的目标文本模板，其中该目标文本模板包括：原始文本模板和/或镜像文本模板；
将所述目标文本模板输入预设的情感偏好识别模型，以使该情感偏好识别模型输出所述目标评论信息中两个比较对象针对所述目标属性的情感偏好结果；
其中，所述情感偏好识别模型预先基于前述第一方面所述的评论信息情感偏好识别模型训练方法训练得到，且该情感偏好识别模型基于所述目标文本模板选取原始通道中的情感偏好识别模型和/或镜像通道中的情感偏好识别模型。
本发明在第三方面提供了一种评论信息情感偏好识别模型训练装置，包括：
编码单元，用于在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换所述原始文本模板中比较对象的位置后形成的镜像文本模板，其中，每组所述评论训练数据均包括：评论信息、两个比较对象和属性；
训练单元，用于基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，以使所述情感偏好识别模型用于输出评论信息中两个比较对象针对所述属性的情感偏好结果。
本发明第四方面提供了一种评论信息情感偏好识别装置，包括：
获取单元，用于获取待识别的目标评论信息，所述目标评论信息包括两个比较对象及目标属性；
编码单元，用于根据所述两个比较对象和目标属性生成所述评论信息的目标文本模板，其中该目标文本模板包括：原始文本模板和/或镜像文本模板；
识别单元，用于将所述目标文本模板输入预设的情感偏好识别模型，以使该情感偏好识别模型输出所述目标评论信息中两个比较对象针对所述目标属性的情感偏好结果；
其中，所述情感偏好识别模型预先基于前述第一方面所述的评论信息情感偏好识别模型训练方法训练得到，且该情感偏好识别模型基于所述目标文本模板选取原始通道中的情感偏好识别模型和/或镜像通道中的情感偏好识别模型。
本发明又一方面提供了一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行前述第一或第二方面的方法。
本发明又一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行前述第一或第二方面的方法。
本发明的有益效果是：
本发明的模型训练方法将比较对象在句子中的不同的相对位置输入模型进行预训练，使模型对比较对象在句子中的相对顺序更加不敏感，提高了情感偏好识别的准确率，在评论训练数据集较小的情况下仍然可以得到较好的情感识别结果。
附图说明
图1是本发明所述的评论信息情感偏好识别模型结构示意图。
图2是本发明所述的评论信息情感偏好识别模型训练方法的流程图。
图3是本发明所述的评论信息情感偏好识别方法的流程图。
具体实施方式
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。
存储器可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory，ROM）。存储器可用于存储指令、程序、代码、代码集或指令。
显示屏用于显示各个应用程序的用户界面。
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
为了提高评论信息情感偏好识别的准确性和有效性，降低改变比较对象在句子中的相对顺序对识别结果的影响，本发明提出一种评论信息情感偏好识别模型训练方法，以及基于该模型训练方法的评论信息情感偏好识别方法。在模型的构建和训练阶段，采用双通道建模的方式来有效表述用户情感。使用双通道结构，将比较对象具有不同相对位置的句子输入预训练模型进行预训练，使模型对比较对象在句子中的相对顺序更不敏感，从而即使将比较对象互换，也能达到很好的效果。在模型的应用阶段，使用预训练模型的提示学习（Prompt Learning）方法，使用较少的训练数据也能达到很好的效果，提高对比情感分析性能，达到实际可用的程度。
参见图1，本发明采用基于预训练模型形成的双通道的评论信息情感偏好识别模型，具体包含模型训练阶段与模型应用阶段。评论信息情感偏好识别模型包括两个观点通道，分别称为原始通道和镜像通道，以及一个比较模块。每个通道内依次包括提示单元、编码单元以及分类器。原始通道和镜像通道的输出端与比较模块相连接。
其中，所述提示单元用于根据用户预设的比较对象和属性生成当前通道的文本模板，并发送到编码单元PLM。所述编码单元用于将预先获取的原始句子和当前通道的文本模板组成输入数据，并进行编码运算，产生图1中[CLS]位置的句子表达向量以及[MASK]位置的观点表达向量。预先获取的原始句子可以来自历史评论信息所构成的大规模训练集。所述分类器用于根据编码单元输出的句子表达向量和观点表达向量进行预测，得到当前通道的观点。镜像通道和原始通道中的两个编码单元可以共享编码参数。所述比较模块应用在模型训练阶段，用于接收双通道输出的观点，并将相反观点进行显著区分，以提高模型在不同的观点表达的鲁棒性。
实施例一
如图2所示，本发明第一方面提供了一种评论信息情感偏好识别模型训练方法，包括：
S101、在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换所述原始文本模板中比较对象的位置后形成的镜像文本模板，其中，每组所述评论训练数据均包括评论信息、以及从评论信息中提取出的两个比较对象和属性。
本发明的原始通道和镜像通道生成的文本模板区别就在于两个比较对象的出现顺序不同，目的是激发预训练模型对于比较句子的深层含义的解读。在给定一个句子
，比较对象为
，待比较的属性为
的情况下，提示单元可以为原始通道生成模板
：“
”， 以相似的方式，生成镜像通道的模板
：“
”。其中[MASK]可以表示比较结果，如“更好”（better）、“相同”（same）或“更差”（worse）。[SEP]是BERT模型的特殊字符。在这里代表原始句和模板句的分隔符。不同的预训练语言模型可以定义不同的分隔符。本发明旨在通过这种结构的设计来激发预训练模型本身关于比较句子的知识表达。
其中，情感偏好中的“相同”、“更好”和“更差”是三种不同表达程度的情感偏好标识。“相同”的标识用于表示发出评论信息的评论用户在情感偏好上认为两个比较对象在目标属性上是等同的，没有好坏之分。“更好”的标识用于表示发出评论信息的评论用户在情感偏好上认为其中一个比较对象在目标属性上好于另一个比较对象。与此相反，“更差”标识用于表示发出评论信息的评论用户认为其中一个比较对象在目标属性上差于另一个比较对象。
可以理解的是，情感偏好标识具体可以根据实际应用需要设定为更多的程度标识，例如“更好”标识还可以进一步划分为“略好”标识（a little better）以及“好太多”标识（much better）等，而不限于当前的标识数量，具体可以根据实际需求来指定。
参见图1所描述的示例，原始通道的文本模板为“my D200 is [MASK] than D1Xin balance”，而镜像通道的文本模板是“D1X is [MASK] than my D200 in balance”。比较对象可以是两种产品my D200和D1X，待比较的属性可以是balance（平衡性）。
可以看出，两个通道的模板只有比较对象的顺序不相同，其余部分均相同。相应地，原始文本模板和镜像文本模板的真实标签在训练过程中必然是相反的，例如分别是更好和更差。
S102、基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，以使所述情感偏好识别模型用于输出评论信息中两个比较对象针对所述属性的情感偏好结果。
本发明的情感偏好识别模型可以分为预训练模型和分类器两个模块。在双通道结构中，原始通道的情感偏好识别模型又可以分为第一预训练模型和第一分类器。镜像通道的情感偏好识别模型相应地可以分为第二预训练模型和第二分类器。本领域技术人员可以理解，由于双通道结构的相似性，镜像通道的具体训练流程与原始通道类似。本文仅对原始通道的训练流程进行详细说明。
进一步地，本发明的步骤S102的训练过程可以包括以下步骤：
S1021：基于各个评论信息和原始文本模板对所述原始通道中的第一预训练模型进行训练，并采用该原始通道中的第一分类器基于该第一预训练模型输出的结果数据生成所述评论信息对应的第一情感偏好预测结果；以及基于各个评论信息和镜像文本模板对所述镜像通道中的第二预训练模型进行训练，并采用该镜像通道中的第二分类器基于该第二预训练模型输出的结果数据生成所述评论信息对应的第二情感偏好预测结果。
首先，预训练模型作为编码单元，用于对输入的评论信息以及其后紧跟的对应的原始文本模板或镜像文本模板进行编码，以输出该评论信息的结果数据，所述结果数据可以包括句子表达向量和观点表达向量。
经过提示单元处理的文本作为输入被编码单元进行编码。以原始通道的模板
为例，经过编码可以得到句子表达向量（即全局表达向量）
（图1中[CLS]位置的隐藏向量）以及观点表达向量
（图1中[MASK]位置的隐藏向量）：
PLM代表预训练语言模型。参见图1，最终的待分类向量可以是将
与
进行连接运算，组成向量
。
在具体的实施例中，可以选取任一种通用的预训练模型：RoBERTa，BERT或XLNet。
所述分类器用于根据当前通道中的预训练模型输出的结果数据
生成评论信息的观点概率分布，作为所述评论信息对应的情感偏好预测结果。其中，该情感偏好预测结果包括情感偏好的不同表达方式（相同same、更好better和更差worse）各自的占比情况。
在一个优选的实施例中，观点概率分布
可以通过最终表达
经过
层计算得到：
其中，
和
是网络学习的参数。
双通道结构的设计体现了比较观点的语言意义。比如“A款汽车的操纵性比B款汽车好”和“B款汽车的操纵性比A款汽车差”意义是相同的，尽管待比较目标的顺序不同。
相应地，所述镜像通道采用相似的方式来计算：
其中，
和
是镜像通道的全局表达向量以及观点表达向量。类似地，预训练模型输出的结果数据
是镜像通道的最终表达。观点概率分布
也可以采用相同的计算方式。可以看出，当观点不是
（相同）时，
和
的真实标签应当是相反的。
S1022：根据所述第一情感偏好预测结果和所述第二情感偏好预测结果，生成当前的观点目标，以及根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标。
为了将相反观点进行显著区分，提高模型在不同的观点表达中的鲁棒性，本发明的预训练模型计算两个训练目标值：观点目标以及比较目标。其中观点目标旨在用于最小化两个通道的观点分布的交叉熵函数。而比较目标用于将彼此相反的观点进行显著性区分，即当观点是
或者是
的情况下最大化两个通道的[MASK]表达距离，当观点是
时最小化该距离。
因此，当根据第一和第二情感偏好预测结果生成当前的观点目标时，以所述原始通道和所述镜像通道的交叉熵函数作为观点目标损失函数，对所述第一和第二情感偏好预测结果进行交叉熵函数最小化计算。
在以上优选的实施例中，通过两个通道的每一个输入实例，模型得到两个观点概率分布
和
，计算观点目标损失函数
，即两个通道的交叉熵损失函数：
其中，cross-entropy（）是表示交叉熵运算。
和
分别是原始通道和镜像通道的损失函数，
和
是模型的超参数。
表示第i个实例原始通道真实的观点，
是第i个实例原始通道的预测的观点概率，
和
分别是第i个实例在镜像通道真实观点以及预测的观点概率。
本发明为不同的预训练模型预定义不同的超参数。
当根据第一和第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标时，具体可以获取第一和第二预训练模型输出的结果数据中的观点表达向量之间的余弦相似度。
举例而言，由于待比较目标顺序的交换，当原始通道的观点
是
的情况下，镜像通道相应的观点
一定是
，反之亦然。但原始通道的观点
是
的情况下，镜像通道相应的观点
一定也是
。因此，比较模块旨在当观点
或
是
或是
的情况下最大化两个通道的观点表达向量的距离，同理，当观点
或
是
的情况下最小化两个通道的距离。例如，可以设计以下训练目标来考虑比较模块计算的距离。
其中，
是通过余弦相似度计算的距离；
和
是网络学习的参数。
此时，如果第一和第二预训练模型输出的结果数据中的观点表达向量分别为更好
和更差
，则可以以所述余弦相似度的铰链（hinge）损失函数作为比较目标损失函数，对所述第一和第二预训练模型各自输出的观点表达向量
和
进行距离最大化计算，以得到当前的比较目标。
另一方面，如果所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量均为
（相同），则以所述余弦相似度的铰链损失函数作为比较目标损失函数，对所述第一预训练模型和第二预训练模型各自输出的观点表达向量
和
进行距离最小化计算，以得到当前的比较目标。
在该实施例中，将上述铰链损失函数用公式表示为比较目标损失
:
S1023：应用所述当前的比较目标和所述观点目标对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，并对优化后的第一和第二预训练模型以及第一和第二分类器进行迭代训练。
在对所述第一和第二预训练模型、第一和第二分类器进行目标优化的过程中，可以基于当前的所述比较目标和所述观点目标计算模型训练的目标函数。
考虑两个目标，最终的目标函数
是
和
之和：
其中，
是预训练模型的预定义超参数。
最后，基于观点目标以及比较目标得到的最终目标函数
，对所述评论信息情感偏好识别模型中的第一和第二预训练模型（编码器）、第一和第二分类器进行目标微调优化。在可选的实施例中，可以进一步迭代执行上述训练方法，多次对该评论信息情感偏好识别模型进行训练，直到模型收敛。最终得到的训练结果包括原始通道的第一编码器和第一分类器，以及镜像通道的第二编码器和第二分类器。
其中，第一预训练模型和第二预训练模型的参数是共享的，第一分类器和第二分类器的参数也是共享的。
可以看出，通过本发明的上述方法，利用高性能的双通道设计来有效表述用户情感，将比较对象在句子中的不同的相对位置输入模型进行预训练，使模型对比较对象在句子中的相对顺序更加不敏感，使得即使将比较对象互换，也能达到很好的识别效果，提高了情感偏好识别的准确率。基于本发明的预训练模型的提示学习方法，使得在评论训练数据集较小的情况下仍然可以得到较好的情感识别结果，对比情感分析性能可以达到工业界能够实际使用的程度。
实施例二
在上述第一方面的评论信息情感偏好识别模型训练方法的基础上，如图3所示，本发明在第二方面提供了一种评论信息情感偏好识别方法，包括：
S201、获取待识别的目标评论信息，所述目标评论信息包括两个比较对象及目标属性；
S202、根据所述两个比较对象和目标属性生成所述评论信息的目标文本模板，其中该目标文本模板包括：原始文本模板和/或镜像文本模板；
S203、将所述目标文本模板输入预设的情感偏好识别模型，其中，所述情感偏好识别模型是预先基于前述实施例一的评论信息情感偏好识别模型训练方法训练得到的。
由于模型基于双通道结构，两个通道在训练后得到了成对的情感偏好识别模型，因此在模型应用阶段，所使用的情感偏好识别模型可以基于所述目标文本模板选取原始通道中的情感偏好识别模型和/或镜像通道中的情感偏好识别模型，以使该情感偏好识别模型输出所述目标评论信息中两个比较对象针对所述目标属性的情感偏好结果。
以下结合一个具体的示例，描述模型应用阶段的情感偏好识别过程。
S1：获取待识别的目标评论信息、两个比较对象及目标属性；例如，用户在电商网站发布的目标评论信息为“座椅A比座椅B价格低，但不如座椅B舒服，还在犹豫买哪款”。为了识别该目标评论信息中用户对两款产品针对舒适度方面的情感偏好，将座椅A和座椅B确定为两个比较对象，属性为“舒适度”。
S2：分别在训练好的情感偏好识别模型的原始通道和镜像通道的提示单元，根据所述目标评论信息、两个比较对象和属性生成原始文本模板和镜像文本模板，其中，所述原始文本模板和所述镜像文本模板中的比较对象的位置为镜像设置。即，可以将原始文本模板中的比较对象“座椅A”设置在主语位置上，而镜像文本模板中的比较对象“座椅A”则在宾语位置上。例如，原始文本模板为“座椅A在舒适度上比座椅B[MASK]”；镜像文本模板为“座椅B在舒适度上比座椅A[MASK]”。
S3：将所述原始评论信息和原始文本模板在原始通道中输入基于预训练模型生成的第一编码器，以使该第一编码器输出所述原始文本模板对应的全局表达
和观点表达
，参见公式1；
将所述原始评论信息和镜像文本模板在镜像通道中输入基于预训练模型生成的第二编码器，以使该第二编码器输出所述镜像文本模板对应的全局表达
和观点表达
；其中第一编码器和第二编码器参数共享。
S4：将原始文本模板对应的全局表达
和观点表达
输入所述原始通道对应的第一分类器，以使该第一分类器输出所述原始文本模板对应的观点概率分布
，参见公式2。该结果
包括各个情感偏好标签的占比。例如：情感偏好标签的种类可以有三种，分别为：更好（better）、相同（same）和更差（worse），并且观点概率分布P例如可以包括：“更好”占比11%；“相同”占比23%；“更差”占比66%。表明大多数观点认为“座椅A在舒适度上比座椅B更差”。
同样地，将所述镜像文本模板对应的全局表达
和观点表达
输入所述镜像通道对应的第二分类器（公式3），以使该第二分类器输出所述镜像文本模板对应的观点概率分布
（公式4），该观点
类似地包括各个情感偏好标签的占比。例如：
可以包括：“更好”占比75%；“相同”占比19%；“更差”占比6%。其中第一分类器和第二分类器参数共享。观点概率分布
表明大多数观点认为“座椅B在舒适度上比座椅A更好”。
S5：根据原始文本模板对应的观点概率分布
和/或所述镜像文本模板对应的观点概率分布
，确定两个比较对象的情感偏好识别结果。例如：所述原始文本模板对应的观点概率分布
代表的情感偏好为“座椅A在舒适度上比座椅B[更差]”。所述镜像文本模板对应的观点概率分布
表达的情感偏好为“座椅B在舒适度上比座椅A[更好]”。
最终得到的情感偏好识别结果可以包含下述两句中的至少一句：
“座椅A在舒适度上比座椅B[更差]”；或
“座椅B在舒适度上比座椅A[更好]”。
可以看出，经过第一和第二情感偏好预测结果的情感标签是相反的，但相反的观点被执行显著性区分处理，使得识别模型在不同的观点表达中提高了鲁棒性。预测得到的两个句子在观点上恰好是完全一致的。无论目标评论信息中两个比较对象顺序如何交换，情感偏好识别方法所得到的结果都不会被“误导”，用户对于某个比较对象的倾向性得以准确地获取。
实施例三
本发明的另一方面还包括与前述实施例一的评论信息情感偏好识别模型训练方法完全对应一致的功能模块架构，即提供了一种评论信息情感偏好识别模型训练装置，包括：
编码单元，用于在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换所述原始文本模板中比较对象的位置后形成的镜像文本模板，其中，每组所述评论训练数据均包括：评论信息、两个比较对象和属性；
训练单元，用于基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，以使所述情感偏好识别模型用于输出评论信息中两个比较对象针对所述属性的情感偏好结果。
该装置可通过上述实施例一提供的评论信息情感偏好识别模型训练方法实现，具体的实现方式可参见实施例一中的描述，在此不再赘述。
实施例四
本发明的另一方面还包括与前述实施例二的评论信息情感偏好识别方法完全对应一致的功能模块架构，即一种评论信息情感偏好识别装置，包括：
获取单元，用于获取待识别的目标评论信息，所述目标评论信息包括两个比较对象及目标属性；
编码单元，用于根据所述两个比较对象和目标属性生成所述评论信息的目标文本模板，其中该目标文本模板包括：原始文本模板和/或镜像文本模板；
识别单元，用于将所述目标文本模板输入预设的情感偏好识别模型，以使该情感偏好识别模型输出所述目标评论信息中两个比较对象针对所述目标属性的情感偏好结果；
其中，所述情感偏好识别模型预先基于前述第一方面所述的评论信息情感偏好识别模型训练方法训练得到，且该情感偏好识别模型基于所述目标文本模板选取原始通道中的情感偏好识别模型和/或镜像通道中的情感偏好识别模型。
实施例五
本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行前述实施例一和二中的任一种方法。其中处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。处理器可以为中央处理器（Central Processing Unit，CPU）。处理器还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific IntegratedCircuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的医疗OCR数据优化模型训练方法、优化方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明还提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一和二中的任意一种方法。该计算机可读存储介质可以是有形存储介质，诸如随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种评论信息情感偏好识别模型训练方法，其特征在于，包括：
在原始通道中生成各组评论训练数据各自对应的原始文本模板，并在镜像通道中生成交换所述原始文本模板中比较对象的位置后形成的镜像文本模板，其中，每组所述评论训练数据均包括：评论信息、以及自该评论信息中提取的两个比较对象和属性；
基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，以使所述情感偏好识别模型用于输出评论信息中两个比较对象针对所述属性的情感偏好结果。
2.根据权利要求1所述的评论信息情感偏好识别模型训练方法，其特征在于，所述情感偏好识别模型包括：预训练模型和分类器；
所述预训练模型用于对输入的评论信息以及该评论信息对应的原始文本模板或镜像文本模板进行编码，以输出该评论信息的结果数据，其中，所述结果数据包括：句子表达向量和观点表达向量；
所述分类器用于根据同一通道中的所述预训练模型输出的结果数据生成所述评论信息对应的情感偏好预测结果，其中，该情感偏好预测结果包括：情感偏好中相同、更好和更差各自的占比。
3.根据权利要求2所述的评论信息情感偏好识别模型训练方法，其特征在于，所述基于各个所述评论信息、原始文本模板和镜像文本模板，对所述原始通道和所述镜像通道中的情感偏好识别模型进行训练及优化，进一步包括：
基于各个所述评论信息和原始文本模板对所述原始通道中的第一预训练模型进行训练，并采用该原始通道中的第一分类器基于该第一预训练模型输出的结果数据生成所述评论信息对应的第一情感偏好预测结果；
以及，基于各个所述评论信息和镜像文本模板对所述镜像通道中的第二预训练模型进行训练，并采用该镜像通道中的第二分类器基于该第二预训练模型输出的结果数据生成所述评论信息对应的第二情感偏好预测结果；
根据所述第一情感偏好预测结果和所述第二情感偏好预测结果生成当前的观点目标，以及，根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标；
应用所述当前的比较目标和所述观点目标对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，并对优化后的第一预训练模型、第二预训练模型、第一分类器和第二分类器进行迭代训练。
4.根据权利要求3所述的评论信息情感偏好识别模型训练方法，其特征在于，所述根据所述第一情感偏好预测结果和所述第二情感偏好预测结果生成当前的观点目标，进一步包括：
以所述原始通道和所述镜像通道的交叉熵函数作为观点目标损失函数，对所述第一情感偏好预测结果和所述第二情感偏好预测结果进行交叉熵函数最小化计算，以得到当前的观点目标。
5.根据权利要求3所述的评论信息情感偏好识别模型训练方法，其特征在于，所述根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标，进一步包括：
获取所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量之间的余弦相似度；
若所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量分别为：更好和更差，则以所述余弦相似度的铰链损失函数作为比较目标损失函数，对所述第一预训练模型和第二预训练模型各自输出的观点表达向量进行距离最大化计算，以得到当前的比较目标。
6.根据权利要求5所述的评论信息情感偏好识别模型训练方法，其特征在于，所述根据所述第一预训练模型和所述第二预训练模型分别输出的结果数据中的观点表达向量生成当前的比较目标，进一步包括：
若所述第一预训练模型和所述第二预训练模型输出的结果数据中的观点表达向量均为：相同，则以所述余弦相似度的铰链损失函数作为比较目标损失函数，对所述第一预训练模型和第二预训练模型各自输出的观点表达向量进行距离最小化计算，以得到当前的比较目标。
7.根据权利要求3至6任一项所述的评论信息情感偏好识别模型训练方法，其特征在于，所述应用所述当前的比较目标和所述观点目标对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，进一步包括：
基于所述当前的比较目标和所述观点目标计算模型训练的目标函数；
根据所述目标函数对所述第一预训练模型、第二预训练模型、第一分类器和第二分类器进行目标优化，其中，所述第一预训练模型和第二预训练模型共享参数，所述第一分类器和第二分类器也共享参数。
8.一种评论信息情感偏好识别方法，其特征在于，包括：
获取待识别的目标评论信息，所述目标评论信息包括两个比较对象及目标属性；
根据所述两个比较对象和目标属性生成所述目标评论信息的目标文本模板，其中该目标文本模板包括：原始文本模板和/或镜像文本模板；
将所述目标文本模板输入预设的情感偏好识别模型，以使该情感偏好识别模型输出所述目标评论信息中两个比较对象针对所述目标属性的情感偏好结果；
其中，所述情感偏好识别模型预先基于权利要求1至7任一项所述的评论信息情感偏好识别模型训练方法训练得到，且该情感偏好识别模型基于所述目标文本模板选取原始通道中的情感偏好识别模型和/或镜像通道中的情感偏好识别模型。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如权利要求1至7任一项所述的评论信息情感偏好识别模型训练方法，或者执行如权利要求8所述的评论信息情感偏好识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如权利要求1至7任一项所述的评论信息情感偏好识别模型训练方法，或者执行如权利要求8所述的评论信息情感偏好识别方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211078798.2A CN115146607B (zh) | 2022-09-05 | 2022-09-05 | 评论信息情感偏好识别模型训练方法、识别方法及设备 |
| US18/137,662 US20240078384A1 (en) | 2022-09-05 | 2023-04-21 | Method of training sentiment preference recognition model for comment information, recognition method, and device thereof |
| EP23275068.7A EP4332823A1 (en) | 2022-09-05 | 2023-04-28 | Method of training sentiment preference recognition model for comment information, recognition method, and device thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211078798.2A CN115146607B (zh) | 2022-09-05 | 2022-09-05 | 评论信息情感偏好识别模型训练方法、识别方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115146607A CN115146607A (zh) | 2022-10-04 |
| CN115146607B true CN115146607B (zh) | 2022-11-04 |
Family
ID=83415712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211078798.2A Active CN115146607B (zh) | 2022-09-05 | 2022-09-05 | 评论信息情感偏好识别模型训练方法、识别方法及设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240078384A1 (zh) |
| EP (1) | EP4332823A1 (zh) |
| CN (1) | CN115146607B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115496076B (zh) * | 2022-11-01 | 2023-03-24 | 之江实验室 | 一种价值需求特征驱动的文本情感识别、训练方法及装置 |
| CN115620699B (zh) * | 2022-12-19 | 2023-03-31 | 深圳元象信息科技有限公司 | 语音合成方法、语音合成系统、语音合成设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108415972A (zh) * | 2018-02-08 | 2018-08-17 | 合肥工业大学 | 文本情感处理方法 |
| WO2018217665A1 (en) * | 2017-05-23 | 2018-11-29 | BrainofT Inc. | Multi-modal interactive home-automation system |
| CN111144374A (zh) * | 2019-12-31 | 2020-05-12 | 泰康保险集团股份有限公司 | 人脸表情识别方法及装置、存储介质和电子设备 |
| CN114979346A (zh) * | 2022-05-18 | 2022-08-30 | 上海华客信息科技有限公司 | 通话数据处理方法、系统、设备及存储介质 |
-
2022
- 2022-09-05 CN CN202211078798.2A patent/CN115146607B/zh active Active
-
2023
- 2023-04-21 US US18/137,662 patent/US20240078384A1/en active Pending
- 2023-04-28 EP EP23275068.7A patent/EP4332823A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018217665A1 (en) * | 2017-05-23 | 2018-11-29 | BrainofT Inc. | Multi-modal interactive home-automation system |
| CN108415972A (zh) * | 2018-02-08 | 2018-08-17 | 合肥工业大学 | 文本情感处理方法 |
| CN111144374A (zh) * | 2019-12-31 | 2020-05-12 | 泰康保险集团股份有限公司 | 人脸表情识别方法及装置、存储介质和电子设备 |
| CN114979346A (zh) * | 2022-05-18 | 2022-08-30 | 上海华客信息科技有限公司 | 通话数据处理方法、系统、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| A Dual-Channel Framework for Sarcasm Recognition by Detecting;Yiyi Liu 等;《arxiv》;20211231;1-11 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4332823A1 (en) | 2024-03-06 |
| US20240078384A1 (en) | 2024-03-07 |
| CN115146607A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115146607B (zh) | 评论信息情感偏好识别模型训练方法、识别方法及设备 | |
| WO2022022173A1 (zh) | 药物分子属性确定方法、装置及存储介质 | |
| CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
| EP3992975A1 (en) | Compound property analysis method and apparatus, compound property analysis model training method, and storage medium | |
| JP7266674B2 (ja) | 画像分類モデルの訓練方法、画像処理方法及び装置 | |
| CN112164391A (zh) | 语句处理方法、装置、电子设备及存储介质 | |
| CN111353033B (zh) | 一种训练文本相似度模型的方法和系统 | |
| CN110210027B (zh) | 基于集成学习的细粒度情感分析方法、装置、设备及介质 | |
| CN111966800A (zh) | 情感对话生成方法、装置及情感对话模型训练方法、装置 | |
| CN110188158B (zh) | 关键词及话题标签生成方法、装置、介质及电子设备 | |
| CN114564593A (zh) | 多模态知识图谱的补全方法、装置和电子设备 | |
| CN111831783B (zh) | 一种篇章级关系抽取方法 | |
| CN112883149A (zh) | 一种自然语言处理方法以及装置 | |
| CN113360711B (zh) | 视频理解任务的模型训练和执行方法、装置、设备及介质 | |
| CN110580341A (zh) | 一种基于半监督学习模型的虚假评论检测方法及系统 | |
| CN113657100A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
| CN112463989A (zh) | 一种基于知识图谱的信息获取方法及系统 | |
| CN114357155A (zh) | 面向自然语言的方面情感分析方法及系统 | |
| Wang et al. | Application of an emotional classification model in e-commerce text based on an improved transformer model | |
| Zhu et al. | Dual-decoder transformer network for answer grounding in visual question answering | |
| CN116705197B (zh) | 一种合成及逆合成分子图预测模型的处理方法和装置 | |
| CN112989829A (zh) | 一种命名实体识别方法、装置、设备及存储介质 | |
| CN115206421B (zh) | 药物重定位方法、重定位模型的训练方法及装置 | |
| CN113157829A (zh) | 一种兴趣点名称比对方法、装置、电子设备和存储介质 | |
| CN114897183A (zh) | 问题数据处理方法、深度学习模型的训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |