CN109308318B - 跨领域文本情感分类模型的训练方法、装置、设备及介质 - Google Patents
跨领域文本情感分类模型的训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109308318B CN109308318B CN201810922343.1A CN201810922343A CN109308318B CN 109308318 B CN109308318 B CN 109308318B CN 201810922343 A CN201810922343 A CN 201810922343A CN 109308318 B CN109308318 B CN 109308318B
- Authority
- CN
- China
- Prior art keywords
- domain
- sample set
- emotion
- target
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 237
- 238000013145 classification model Methods 0.000 title claims abstract description 99
- 238000012549 training Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000006870 function Effects 0.000 claims description 77
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明适用自然语言处理技术领域，提供了一种跨领域文本情感分类模型的训练方法、装置、设备及介质，该方法包括：在根据源领域样本集和目标领域样本集对跨领域文本情感分类模型进行初次训练后，根据训练好的跨领域文本情感分类模型对目标领域样本集进行情感分类，得到目标领域样本集中每个目标样本对应的情感预测标签和每个目标样本属于每个情感类别的隶属度，根据隶属度，通过模糊值公式计算每个目标样本的情感模糊值，将情感模糊值低于模糊阈值的目标样本和该目标样本对应的情感预测标签添加到源领域样本集中，根据该源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练，从而提高跨领域文本情感分类模型的情感分类准确率。
Description
技术领域
本发明属于自然语言处理技术领域，尤其涉及一种跨领域文本情感分类模型的训练方法、装置、设备及介质。
背景技术
文本情感分析是领域敏感的，由于不同领域的评论有不同的词分布，例如，“干净”一词在酒店评论中很常见，然而在书籍评论中却很少使用，所以，仅使用带标签的书籍评论数据训练的情感分类器对无标签的酒店评论数据进行情感倾向预测，则无法在酒店评论中获得令人满意的结果。
领域自适应算法旨在利用相关领域(源域)大量带标签样本来改进目标域样本的预测效果。领域对抗神经网络(Domain Adversarial Neural Network，简称DANN)使用领域分类器和梯度反转层进行无监督跨领域情感分类，并取得了较好的结果。DANN思想来源于生成对抗神经网络，不同之处在于生成对抗网络是用来生成数据的，而领域分类器使用梯度反转层来实现对抗训练，其目标是使领域分类器无法识别领域之间的差异，从而获得领域不变的特征表示，当获得了领域不变的特征表示后，任何监督学习的方法都可以用来在源域带标签样本上训练分类器。
对于跨领域情感分类来说领域不变的特征和样本本身的特性都是重要的，然而，通过DANN、双转移深层神经网络(Bi-transferring Deep Neural Networks，简称BTDNNs)或者最大平均差异(Maximum Mean Discrepancy，简称MMD)等用来约束源域和目标域之间分布一致性的方法，更多地关注领域不变特征而忽略样本本身的特性，造成情感分类不准确的问题。
此外，Bruzzone和Habrard等提出了迭代领域自适应图像处理方法，每次迭代使用类别均匀的目标域样本及其预测标签来替换相同数量的源域样本，不断进行训练以提高目标域图像分类准确率，在跨领域情感分类任务上尚未发现这种迭代训练的做法。
发明内容
本发明的目的在于提供一种跨领域文本情感分类模型的训练方法、装置、设备及介质，旨在解决由于现有技术无法提供一种有效的跨领域文本情感分类模型的训练方法，导致跨领域文本情感分类模型的情感分类不准确的问题。
一方面，本发明提供了一种跨领域文本情感分类模型的训练方法，所述方法包括下述步骤：
根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述目标领域样本集中的每个目标样本为无标签样本；
根据训练好的所述跨领域文本情感分类模型对所述目标领域样本集进行情感分类，得到所述每个目标样本对应的情感预测标签和所述每个目标样本属于预设的每个情感类别的隶属度；
根据所述隶属度，通过预设的模糊值公式计算所述每个目标样本的情感模糊值，得到对应的情感模糊值集；
将所述情感模糊值集中低于预设模糊阈值的情感模糊值对应的目标样本和所述目标样本对应的情感预测标签添加到所述源领域样本集中，以对所述源领域样本集进行扩充；
根据扩充后的所述源领域样本集和所述目标领域样本集对所述跨领域文本情感分类模型进行再次训练，以完成对所述跨领域文本情感分类模型的训练。
优选地，所述跨领域文本情感分类模型由自动编码器、领域分类器以及情感分类器组成。
优选地，根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练的步骤，包括：
根据预设的模型代价损失函数、所述源领域样本集以及所述目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，其中，lSC为预设的所述情感分类器的代价损失函数，lAE为预设的所述自动编码器的代价损失函数，α为预设的所述自动编码器的损失权衡参数，lDC为预设的所述领域分类器的代价损失函数，β为预设的所述领域分类器的损失权衡参数。
进一步优选地，根据预设的模型代价损失函数、所述源领域样本集以及所述目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练的步骤，包括：
根据所述自动编码器的代价损失函数和所述源领域样本集对所述自动编码器进行训练，根据所述领域分类器的代价损失函数、所述源领域样本集以及所述目标领域样本集对所述领域分类器进行训练，根据所述情感分类器的代价损失函数和所述源领域样本集对所述情感分类器进行训练。
另一方面，本发明提供了一种跨领域文本情感分类模型的训练装置，所述装置包括：
模型初次训练单元，用于根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述目标领域样本集中的每个目标样本为无标签样本；
情感分类单元，用于根据训练好的所述跨领域文本情感分类模型对所述目标领域样本集进行情感分类，得到所述每个目标样本对应的情感预测标签和所述每个目标样本属于预设的每个情感类别的隶属度；
模糊值计算单元，用于根据所述隶属度，通过预设的模糊值公式计算所述每个目标样本的情感模糊值，得到对应的情感模糊值集；
源样本集扩充单元，用于将所述情感模糊值集中低于预设模糊阈值的情感模糊值对应的目标样本和所述目标样本对应的情感预测标签添加到所述源领域样本集中，以对所述源领域样本集进行扩充；以及
模型再次训练单元，用于根据扩充后的所述源领域样本集和所述目标领域样本集对所述跨领域文本情感分类模型进行再次训练，以完成对所述跨领域文本情感分类模型的训练。
优选地，所述跨领域文本情感分类模型由自动编码器、领域分类器以及情感分类器组成。
优选地，所述模型初次训练单元包括：
模型训练子单元，用于根据预设的模型代价损失函数、所述源领域样本集以及所述目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，其中，lSC为预设的所述情感分类器的代价损失函数，lAE为预设的所述自动编码器的代价损失函数，α为预设的所述自动编码器的损失权衡参数，lDC为预设的所述领域分类器的代价损失函数，β为预设的所述领域分类器的损失权衡参数。
进一步优选地，所述模型训练子单元包括：
分类器训练单元，用于根据所述自动编码器的代价损失函数和所述源领域样本集对所述自动编码器进行训练，根据所述领域分类器的代价损失函数、所述源领域样本集以及所述目标领域样本集对所述领域分类器进行训练，根据所述情感分类器的代价损失函数和所述源领域样本集对所述情感分类器进行训练。
另一方面，本发明还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述跨领域文本情感分类模型的训练方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述跨领域文本情感分类模型的训练方法所述的步骤。
本发明在根据源领域样本集和目标领域样本集对跨领域文本情感分类模型进行初次训练后，根据训练好的跨领域文本情感分类模型对目标领域样本集进行情感分类，得到目标领域样本集中每个目标样本对应的情感预测标签和每个目标样本属于每个情感类别的隶属度，根据隶属度，通过模糊值公式计算每个目标样本的情感模糊值，将情感模糊值低于模糊阈值的目标样本和该目标样本对应的情感预测标签添加到源领域样本集中，根据该源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练，从而提高跨领域文本情感分类模型的情感分类准确率。
附图说明
图1是本发明实施例一提供的跨领域文本情感分类模型的训练方法的实现流程图；
图2是本发明实施例二提供的跨领域文本情感分类模型的训练装置的结构示意图；
图3是本发明实施例二提供的跨领域文本情感分类模型的训练装置的优选结构示意图；以及
图4是本发明实施例三提供的计算设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的跨领域文本情感分类模型的训练方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练。
本发明实施例适用于文本或自然语言处理平台、系统或设备，例如，个人计算机、服务器等。根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，其中，该源领域样本集包含带标签样本和无标签样本，该目标领域样本集中的每个目标样本为无标签样本。
在本发明实施例中，优选地，跨领域文本情感分类模型由自动编码器、领域分类器以及情感分类器组成，其中，自动编码器用于捕捉样本本身与情感相关特征，领域分类器用于捕捉领域不变的情感特征，从而提高情感分类器分类的准确率。
进一步优选地，自动编码器是由输入层、隐藏层以及输出层组成的无监督三层神经网络，自动编码器又被分为编码器Ge和解码器Gd两部分，编码器Ge通过编码函数
将源领域样本集中带标签的第i个源样本
的输入映射为隐藏层表示h1，解码器Gd通过解码函数Gd(h1)＝f(wdh1+bd)从隐藏层表示h1重构原始输入
从而提高从隐藏层表示中重构原始输入向量的重构效果，其中，we和be为编码器Ge的权重和偏置参数，wd和bd为解码器Gd的权重和偏置参数，f为非线性激活函数(例如，Sigmoid，Tanh或者Relu函数等)。
在根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练时，优选地，根据预设的模型代价损失函数、源领域样本集以及目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，从而通过最小化模型代价损失函数lALL来优化跨领域文本情感分类模型的各模型参数，提高了对跨领域文本情感分类模型训练的训练效果，其中，lSC为预设的情感分类器的代价损失函数，lAE为预设的自动编码器的代价损失函数，α为预设的自动编码器的损失权衡参数，lDC为预设的领域分类器的代价损失函数，β为预设的领域分类器的损失权衡参数。
在根据预设的模型代价损失函数、源领域样本集以及目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练时，优选地，根据自动编码器的代价损失函数和源领域样本集对自动编码器进行训练，根据领域分类器的代价损失函数、源领域样本集以及目标领域样本集对领域分类器进行训练，根据情感分类器的代价损失函数和源领域样本集对情感分类器进行训练，从而提高了对跨领域文本情感分类模型训练的训练效果。
在根据自动编码器的代价损失函数和源领域样本集对自动编码器进行训练时，优选地，根据源领域样本集，通过最小化自动编码器的代价损失函数对自动编码器进行训练，自动编码器的代价损失函数lAE为
从而提高对自动编码器训练的训练效果，其中，
是源领域样本集中带标签的第i个源样本，we和be为自动编码器中编码器Ge的权重和偏置参数，wd和bd为自动编码器中解码器Gd的权重和偏置参数，
为源领域样本集中带标签的源样本数量。
在对自动编码器进行训练时，进一步优选地，通过随机梯度下降法或者批梯度下降法对自动编码器中编码器和解码器的权重和偏置参数进行优化，从而进一步提高对自动编码器训练的训练效果。
在根据领域分类器的代价损失函数、源领域样本集以及目标领域样本集对领域分类器进行训练时，优选地，领域分类器的代价损失函数为交叉熵损失函数
使用源领域样本集和目标领域样本集中所有的样本，通过最小化交叉熵损失函数lDC来对领域分类器进行训练，从而提高对领域分类器训练的训练效果，其中，di∈{0,1}是输入到领域分类器中的样本xi的实际领域标签，来自于源领域样本集的样本则该样本的领域标签为1，来自于目标领域样本集的样本则该样本的领域标签则为0，
是样本xi来自于源领域样本集的预测概率值，
是源领域样本集中带标签样本数量
和无标签样本数量
的总数量，Nt为目标领域样本集中目标样本数量。
在根据领域分类器的代价损失函数、源领域样本集以及目标领域样本集对领域分类器进行训练之前，优选地，通过边缘堆叠去噪自动编码器(Marginalized StackedDenoising Auto-encoder，简称mSDA)对待输入领域分类器的样本进行初始化，从而提高跨领域情感分类的准确率。
在本发明实施例中，优选地，领域分类器为逻辑回归分类模型，其包含特征提取层(即隐藏层)和领域分类层，从而使得领域分类器无法找到源领域样本集和目标领域样本集中样本间的差异。
进一步优选地，在领域分类器的特征提取层和领域分类层之间加入梯度反转层(Gradient Reversal Layer，简称GRL)，GRL用于在领域分类器正向传播过程中保留原有输入，在反向传播的梯度下降时反转梯度，具体地，正向传播过程GRL为恒等函数Qβ(xgrl)＝xgrl，反向传播过程GRL通过函数
将后一层传递的梯度乘以-1后再传递到前一层，其中，xgrl为GRL的输入，Qβ为梯度反转层起到的作用，I为预设的单位矩阵，从而进一步提高对领域分类器训练的训练效果。
进一步优选地，根据公式h2＝Gf(xi)＝f(wxi+b)和
通过GRL完成领域分类器的对抗训练，具体地，将样本xi输入领域分类器，得到隐藏层表示h2，再将h2传递给GRL，再将GRL层的输出作为Sigmoid层的输入，以完成领域分类器的对抗训练，从而通过优化wdc和bdc提高领域分类器辨别源样本和目标样本的能力，通过优化w和b降低领域分类器的准确性，进而提高对领域分类器训练的训练效果，其中，w和b为特征提取层Gf的权重和偏置参数，wdc和bdc为领域分类层Gdc的权重和偏置参数，样本xi为源领域样本集或者目标领域样本集中的样本。
在根据情感分类器的代价损失函数和源领域样本集对情感分类器进行训练时，优选地，将自动编码器的隐藏层表示h1和领域分类器的隐藏层表示h2被连接起来作为情感分类器的输入，通过最小化情感分类器的代价损失函数
对情感分类器进行训练，其中，
是实际的one-hot情感类别标签，
是情感分类器预测的情感类别概率值，维度和
一样，v和t分别为情感分类器中的权重和偏置参数，从而提高对情感分类器训练的训练效果。
在步骤S102中，根据训练好的跨领域文本情感分类模型对目标领域样本集进行情感分类，得到目标领域样本集中每个目标样本对应的情感预测标签和每个目标样本属于预设的每个情感类别的隶属度。
在本发明实施例中，将目标领域样本集输入到初次训练好的跨领域文本情感分类模型中后，跨领域文本情感分类模型会对目标领域样本集中的每个目标样本进行情感模糊划分，分配给每个目标样本属于每个情感类别的隶属度，根据隶属度，给该隶属度对应的目标样本分配相应的情感预测标签。
在本发明实施例中，优选地，隶属度满足
uij∈[0，1]，从而提高隶属度的合理性，其中，uij为第i个目标样本xi属于情感类别中第j类的隶属度，C为情感类别数，N为目标领域样本集中目标样本数量。
在步骤S103中，根据隶属度，通过预设的模糊值公式计算每个目标样本的情感模糊值，得到对应的情感模糊值集。
在本发明实施例中，优选地，模糊值公式为
从而提高情感模糊值计算的精确性，其中，uij为第i个目标样本xi属于情感类别中第j类的隶属度，C为情感类别数，μi＝(μi1,μi2,...,μiC)T为第i个目标样本xi属于每个情感类别的隶属度
的隶属度集。
在步骤S104中，将情感模糊值集中低于预设模糊阈值的情感模糊值对应的目标样本和该目标样本对应的情感预测标签添加到源领域样本集中，以对源领域样本集进行扩充。
在本发明实施例中，将情感模糊值集中的情感模糊值和预设模糊阈值进行比较，当情感模糊值低于预设模糊阈值时，将该情感模糊值对应的目标样本以及该目标样本对应的情感预测标签添加到源领域样本集中，以对源领域样本集进行扩充，从而增加了对更多目标样本的监督信息。
在步骤S105中，根据扩充后的源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练，以完成对跨领域文本情感分类模型的训练。
在本发明实施例中，将扩充后的源领域样本集和目标领域样本集输入到初次训练好的跨领域文本情感分类模型中，对经过初次训练的该跨领域文本情感分类模型进行再次训练，以完成对该跨领域文本情感分类模型的训练。
在根据扩充后的源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练时，优选地，根据模型代价损失函数、扩充后的源领域样本集以及目标领域样本集对初次训练后的跨领域文本情感分类模型进行再次训练，模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，从而通过最小化模型代价损失函数lALL来再次优化跨领域文本情感分类模型的各模型参数，进一步提高了对跨领域文本情感分类模型训练的训练效果，其中，lSC为情感分类器的代价损失函数，lAE为自动编码器的代价损失函数，α为自动编码器的损失权衡参数，lDC为领域分类器的代价损失函数，β为领域分类器的损失权衡参数。
在根据模型代价损失函数、扩充后的源领域样本集以及目标领域样本集对初次训练后的跨领域文本情感分类模型进行再次训练时，优选地，根据自动编码器的代价损失函数和扩充后的源领域样本集对自动编码器进行再次训练，根据领域分类器的代价损失函数、扩充后的源领域样本集以及目标领域样本集对领域分类器进行再次训练，根据情感分类器的代价损失函数和扩充后的源领域样本集对情感分类器进行再次训练，从而进一步提高了对跨领域文本情感分类模型训练的训练效果。
对跨领域文本情感分类模型中的自动编码器、领域分类器以及情感分类器进行再次训练的具体实施方式可参考步骤S101中对自动编码器进行训练、对领域分类器进行训练、对情感分类器进行训练的描述，在此不再赘述。
在本发明实施例中，通过对跨领域文本情感分类模型进行多次训练，并在对跨领域文本情感分类模型进行训练过程中引入情感模糊值，以对源领域样本集进行相应的扩充，从而增加了对目标样本的监督信息，提高了跨领域文本情感分类模型的情感分类准确率。
实施例二：
图2示出了本发明实施例二提供的跨领域文本情感分类模型的训练装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
模型初次训练单元21，用于根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练；
情感分类单元22，用于根据训练好的跨领域文本情感分类模型对目标领域样本集进行情感分类，得到目标领域样本集中每个目标样本对应的情感预测标签和每个目标样本属于预设的每个情感类别的隶属度；
模糊值计算单元23，用于根据隶属度，通过预设的模糊值公式计算每个目标样本的情感模糊值，得到对应的情感模糊值集；
源样本集扩充单元24，用于将情感模糊值集中低于预设模糊阈值的情感模糊值对应的目标样本和该目标样本对应的情感预测标签添加到源领域样本集中，以对源领域样本集进行扩充；以及
模型再次训练单元25，用于根据扩充后的源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练，以完成对跨领域文本情感分类模型的训练。
如图3所示，优选地，模型初次训练单元21包括：
模型训练子单元211，用于根据预设的模型代价损失函数、源领域样本集以及目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，其中，lSC为预设的情感分类器的代价损失函数，lAE为预设的自动编码器的代价损失函数，α为预设的自动编码器的损失权衡参数，lDC为预设的领域分类器的代价损失函数，β为预设的领域分类器的损失权衡参数。
模型训练子单元211包括：
分类器训练单元2111，用于根据自动编码器的代价损失函数和源领域样本集对自动编码器进行训练，根据领域分类器的代价损失函数、源领域样本集以及目标领域样本集对领域分类器进行训练，根据情感分类器的代价损失函数和源领域样本集对情感分类器进行训练。
在本发明实施例中，跨领域文本情感分类模型的训练装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。具体地，各单元的实施方式可参考前述实施例一的描述，在此不再赘述。
实施例三：
图4示出了本发明实施例三提供的计算设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的计算设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述跨领域文本情感分类模型的训练方法实施例中的步骤，例如图1所示的步骤S101至S105。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图2所示单元21至25的功能。
在本发明实施例中，在根据源领域样本集和目标领域样本集对跨领域文本情感分类模型进行初次训练后，根据训练好的跨领域文本情感分类模型对目标领域样本集进行情感分类，得到目标领域样本集中每个目标样本对应的情感预测标签和每个目标样本属于每个情感类别的隶属度，根据隶属度，通过模糊值公式计算每个目标样本的情感模糊值，将情感模糊值低于模糊阈值的目标样本和该目标样本对应的情感预测标签添加到源领域样本集中，根据该源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练，从而提高跨领域文本情感分类模型的情感分类准确率。
本发明实施例的计算设备可以为个人计算机、服务器。该计算设备4中处理器40执行计算机程序42时实现跨领域文本情感分类模型的训练方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例四：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述跨领域文本情感分类模型的训练方法实施例中的步骤，例如，图1所示的步骤S101至S105。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图2所示单元21至25的功能。
在本发明实施例中，在根据源领域样本集和目标领域样本集对跨领域文本情感分类模型进行初次训练后，根据训练好的跨领域文本情感分类模型对目标领域样本集进行情感分类，得到目标领域样本集中每个目标样本对应的情感预测标签和每个目标样本属于每个情感类别的隶属度，根据隶属度，通过模糊值公式计算每个目标样本的情感模糊值，将情感模糊值低于模糊阈值的目标样本和该目标样本对应的情感预测标签添加到源领域样本集中，根据该源领域样本集和目标领域样本集对跨领域文本情感分类模型进行再次训练，从而提高跨领域文本情感分类模型的情感分类准确率。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种跨领域文本情感分类模型的训练方法，其特征在于，所述方法包括下述步骤：
根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述目标领域样本集中的每个目标样本为无标签样本，所述跨领域文本情感分类模型由自动编码器、领域分类器以及情感分类器组成；
根据训练好的所述跨领域文本情感分类模型对所述目标领域样本集进行情感分类，得到所述每个目标样本对应的情感预测标签和所述每个目标样本属于预设的每个情感类别的隶属度；
根据所述隶属度，通过预设的模糊值公式计算所述每个目标样本的情感模糊值，得到对应的情感模糊值集；
将所述情感模糊值集中低于预设模糊阈值的情感模糊值对应的目标样本和所述目标样本对应的情感预测标签添加到所述源领域样本集中，以对所述源领域样本集进行扩充；
根据扩充后的所述源领域样本集和所述目标领域样本集对所述跨领域文本情感分类模型进行再次训练，以完成对所述跨领域文本情感分类模型的训练；
根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练的步骤，包括：
根据预设的模型代价损失函数、所述源领域样本集以及所述目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，其中，lSC为预设的所述情感分类器的代价损失函数，lAE为预设的所述自动编码器的代价损失函数，α为预设的所述自动编码器的损失权衡参数，lDC为预设的所述领域分类器的代价损失函数，β为预设的所述领域分类器的损失权衡参数。
2.如权利要求1所述的方法，其特征在于，根据预设的模型代价损失函数、所述源领域样本集以及所述目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练的步骤，包括：
根据所述自动编码器的代价损失函数和所述源领域样本集对所述自动编码器进行训练，根据所述领域分类器的代价损失函数、所述源领域样本集以及所述目标领域样本集对所述领域分类器进行训练，根据所述情感分类器的代价损失函数和所述源领域样本集对所述情感分类器进行训练。
3.一种跨领域文本情感分类模型的训练装置，其特征在于，所述装置包括：
模型初次训练单元，用于根据预设的源领域样本集和预设的目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述目标领域样本集中的每个目标样本为无标签样本，所述跨领域文本情感分类模型由自动编码器、领域分类器以及情感分类器组成；
情感分类单元，用于根据训练好的所述跨领域文本情感分类模型对所述目标领域样本集进行情感分类，得到所述每个目标样本对应的情感预测标签和所述每个目标样本属于预设的每个情感类别的隶属度；
模糊值计算单元，用于根据所述隶属度，通过预设的模糊值公式计算所述每个目标样本的情感模糊值，得到对应的情感模糊值集；
源样本集扩充单元，用于将所述情感模糊值集中低于预设模糊阈值的情感模糊值对应的目标样本和所述目标样本对应的情感预测标签添加到所述源领域样本集中，以对所述源领域样本集进行扩充；以及
模型再次训练单元，用于根据扩充后的所述源领域样本集和所述目标领域样本集对所述跨领域文本情感分类模型进行再次训练，以完成对所述跨领域文本情感分类模型的训练；
所述模型初次训练单元包括：
模型训练子单元，用于根据预设的模型代价损失函数、所述源领域样本集以及所述目标领域样本集对预先构建的跨领域文本情感分类模型进行初次训练，所述模型代价损失函数lALL为lALL＝lSC+αlAE+βlDC，其中，lSC为预设的所述情感分类器的代价损失函数，lAE为预设的所述自动编码器的代价损失函数，α为预设的所述自动编码器的损失权衡参数，lDC为预设的所述领域分类器的代价损失函数，β为预设的所述领域分类器的损失权衡参数。
4.如权利要求3所述的装置，其特征在于，所述模型训练子单元包括：
分类器训练单元，用于根据所述自动编码器的代价损失函数和所述源领域样本集对所述自动编码器进行训练，根据所述领域分类器的代价损失函数、所述源领域样本集以及所述目标领域样本集对所述领域分类器进行训练，根据所述情感分类器的代价损失函数和所述源领域样本集对所述情感分类器进行训练。
5.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810922343.1A CN109308318B (zh) | 2018-08-14 | 2018-08-14 | 跨领域文本情感分类模型的训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810922343.1A CN109308318B (zh) | 2018-08-14 | 2018-08-14 | 跨领域文本情感分类模型的训练方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109308318A CN109308318A (zh) | 2019-02-05 |
| CN109308318B true CN109308318B (zh) | 2021-06-04 |
Family
ID=65223882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810922343.1A Expired - Fee Related CN109308318B (zh) | 2018-08-14 | 2018-08-14 | 跨领域文本情感分类模型的训练方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109308318B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110084290B (zh) * | 2019-04-12 | 2021-03-05 | 北京字节跳动网络技术有限公司 | 训练分类器的方法、装置、电子设备和计算机可读存储介质 |
| CN110197183B (zh) * | 2019-04-17 | 2022-10-04 | 深圳大学 | 一种图像盲去噪的方法、装置、计算机设备和存储介质 |
| CN110188791B (zh) * | 2019-04-18 | 2023-07-07 | 南开大学 | 基于自动估计的视觉情感标签分布预测方法 |
| CN110399492A (zh) * | 2019-07-22 | 2019-11-01 | 阿里巴巴集团控股有限公司 | 针对用户问句的问题分类模型的训练方法和装置 |
| CN111881287B (zh) * | 2019-09-10 | 2021-08-17 | 马上消费金融股份有限公司 | 一种分类模糊性分析方法及装置 |
| CN111881286B (zh) * | 2019-09-10 | 2021-08-24 | 马上消费金融股份有限公司 | 一种分类模糊性分析方法及装置 |
| CN112989032A (zh) * | 2019-12-17 | 2021-06-18 | 医渡云（北京）技术有限公司 | 实体关系分类方法、装置、介质及电子设备 |
| CN111259674B (zh) * | 2020-01-13 | 2023-07-25 | 山东浪潮科学研究院有限公司 | 基于gan网络的文字校对和情感分析方法、设备及介质 |
| US11423333B2 (en) | 2020-03-25 | 2022-08-23 | International Business Machines Corporation | Mechanisms for continuous improvement of automated machine learning |
| CN113723088A (zh) * | 2020-05-25 | 2021-11-30 | 阿里巴巴集团控股有限公司 | 自然语言处理方法、装置、文本处理方法、设备和介质 |
| CN111738455B (zh) * | 2020-06-02 | 2021-05-11 | 山东大学 | 一种基于集成域自适应的故障诊断方法及系统 |
| CN111753092B (zh) * | 2020-06-30 | 2024-01-26 | 青岛创新奇智科技集团股份有限公司 | 一种数据处理方法、模型训练方法、装置及电子设备 |
| CN111813940B (zh) * | 2020-07-14 | 2023-01-17 | 科大讯飞股份有限公司 | 一种文本的领域分类方法、装置、设备及存储介质 |
| CN111831826B (zh) * | 2020-07-24 | 2022-10-18 | 腾讯科技（深圳）有限公司 | 跨领域的文本分类模型的训练方法、分类方法以及装置 |
| CN112084788B (zh) * | 2020-08-19 | 2024-05-14 | 北京影谱科技股份有限公司 | 一种影像字幕隐式情感倾向自动标注方法及系统 |
| CN112015896B (zh) * | 2020-08-27 | 2024-02-06 | 腾讯科技（深圳）有限公司 | 基于人工智能的情感分类方法、以及装置 |
| CN114254146A (zh) * | 2020-09-21 | 2022-03-29 | 京东方科技集团股份有限公司 | 图像数据的分类方法、装置和系统 |
| CN112199505B (zh) * | 2020-10-30 | 2022-06-03 | 福州大学 | 一种基于特征表示学习的跨领域情感分类方法及系统 |
| CN112464931B (zh) * | 2020-11-06 | 2021-07-30 | 马上消费金融股份有限公司 | 文本检测方法、模型训练方法及相关设备 |
| KR102389610B1 (ko) * | 2020-11-27 | 2022-04-21 | 연세대학교 산학협력단 | 화자 정보와의 적대적 학습을 활용한 음성 신호 기반 스트레스 인식 장치 및 방법 |
| CN112364945B (zh) * | 2021-01-12 | 2021-04-16 | 之江实验室 | 一种基于域-不变特征的元-知识微调方法及平台 |
| GB2608344A (en) | 2021-01-12 | 2022-12-28 | Zhejiang Lab | Domain-invariant feature-based meta-knowledge fine-tuning method and platform |
| CN112784911B (zh) * | 2021-01-29 | 2024-01-19 | 北京百度网讯科技有限公司 | 训练样本的生成方法、装置、电子设备和存储介质 |
| CN113779249B (zh) * | 2021-08-31 | 2022-08-16 | 华南师范大学 | 跨领域文本情感分类方法、装置、存储介质以及电子设备 |
| CN114020879B (zh) * | 2022-01-04 | 2022-04-01 | 深圳佑驾创新科技有限公司 | 多源跨领域的文本情感分类网络的训练方法 |
| CN114443849B (zh) | 2022-02-09 | 2023-10-27 | 北京百度网讯科技有限公司 | 一种标注样本选取方法、装置、电子设备和存储介质 |
| CN114757183B (zh) * | 2022-04-11 | 2024-05-10 | 北京理工大学 | 一种基于对比对齐网络的跨领域情感分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770580A (zh) * | 2009-01-04 | 2010-07-07 | 中国科学院计算技术研究所 | 一种跨领域的文本情感分类器的训练方法和分类方法 |
| CN104239554A (zh) * | 2014-09-24 | 2014-12-24 | 南开大学 | 跨领域跨类别的新闻评论情绪预测方法 |
| CN105224949A (zh) * | 2015-09-23 | 2016-01-06 | 电子科技大学 | 基于跨领域迁移学习的sar图像地物分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9292492B2 (en) * | 2013-02-04 | 2016-03-22 | Microsoft Technology Licensing, Llc | Scaling statistical language understanding systems across domains and intents |
-
2018
- 2018-08-14 CN CN201810922343.1A patent/CN109308318B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770580A (zh) * | 2009-01-04 | 2010-07-07 | 中国科学院计算技术研究所 | 一种跨领域的文本情感分类器的训练方法和分类方法 |
| CN104239554A (zh) * | 2014-09-24 | 2014-12-24 | 南开大学 | 跨领域跨类别的新闻评论情绪预测方法 |
| CN105224949A (zh) * | 2015-09-23 | 2016-01-06 | 电子科技大学 | 基于跨领域迁移学习的sar图像地物分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Deep Transfer Learning for Social Media Cross-Domain Sentiment Classification";Chuanjun Zhao等;《Chinese National Conference on Social Media Processing》;20171026;第232-243页 * |
| "基于集成深度迁移学习的多源跨领域情感分类";赵传君等;《山西大学学报（自然科学版）》;20180404;第41卷(第4期);第709-717页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109308318A (zh) | 2019-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109308318B (zh) | 跨领域文本情感分类模型的训练方法、装置、设备及介质 | |
| US10635858B2 (en) | Electronic message classification and delivery using a neural network architecture | |
| Ruiz et al. | The generalized reparameterization gradient | |
| CN110765775B (zh) | 一种融合语义和标签差异的命名实体识别领域自适应的方法 | |
| Zhao et al. | Learning hierarchical features from generative models | |
| CN111783462A (zh) | 基于双神经网络融合的中文命名实体识别模型及方法 | |
| CN110046248B (zh) | 用于文本分析的模型训练方法、文本分类方法和装置 | |
| Berger | Large scale multi-label text classification with semantic word vectors | |
| CN116415654A (zh) | 一种数据处理方法及相关设备 | |
| CN114090780B (zh) | 一种基于提示学习的快速图片分类方法 | |
| Atkinson et al. | Structured Bayesian Gaussian process latent variable model: Applications to data-driven dimensionality reduction and high-dimensional inversion | |
| CN109447096B (zh) | 一种基于机器学习的扫视路径预测方法和装置 | |
| CN112749274A (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| Salimans | A structured variational auto-encoder for learning deep hierarchies of sparse features | |
| CN114925205B (zh) | 基于对比学习的gcn-gru文本分类方法 | |
| CN111639186A (zh) | 动态嵌入投影门控的多类别多标签文本分类模型及装置 | |
| US20220067579A1 (en) | Dynamic ontology classification system | |
| CN116431597A (zh) | 用于训练数据分类模型的方法、电子设备和计算机程序产品 | |
| CN115129807A (zh) | 基于自注意的社交媒体主题评论的细粒度分类方法及系统 | |
| Nguyen et al. | Loss-based active learning for named entity recognition | |
| Su et al. | Low‐Rank Deep Convolutional Neural Network for Multitask Learning | |
| Goyal et al. | Hierarchical class-based curriculum loss | |
| CN112560440A (zh) | 一种基于深度学习的面向方面级情感分析的句法依赖方法 | |
| CN115066690A (zh) | 搜索归一化-激活层架构 | |
| CN111046157B (zh) | 一种基于平衡分布的通用英文人机对话生成方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210604 |