CN109492099A - 一种基于领域对抗自适应的跨领域文本情感分类方法 - Google Patents

Abstract

本发明公开了一种基于领域对抗自适应的跨领域文本情感分类方法，该方法包括：输入源领域和目标领域样本的词向量矩阵、类别标签和领域标签；利用基于卷积神经网络的特征提取模块，提取样本的低层特征；在主任务模块构建基于源领域和目标领域分布一致性的约束，将低层样本映射到再生核希尔伯特空间，学习具有可转移性的高层特征；将源领域的高层特征输入类别分类器，在减小领域差异的基础上，保证分类器对样本具备类别判别性；在辅助任务模块构建基于对抗学习的领域不变性约束，将低层特征输入具有对抗性质的领域分类器，令分类器尽可能无法判别样本所属领域，从而提取具有领域不变性的高层特征，有效解决了源领域分类器到目标领域的迁移问题。

Description

一种基于领域对抗自适应的跨领域文本情感分类方法

技术领域

本发明属于文本分析技术领域，具体涉及一种基于领域对抗自适应的跨领域文本情感分类方法。

背景技术

近年来随着人工智能、机器学习技术的蓬勃发展，文本情感分类技术应运而生，该技术可自动地对文本数据的情感趋向分类，有效解决了人工判断费时费力的难题。传统的文本情感分类方法通常利用标定数据，为某个领域单独训练特定的情感分类器以完成情感分类任务。但是随着社交媒体的发展，与日俱增的新语料使得领域范围逐渐扩大，且每个领域的数据量非常庞大，传统的文本情感分类方法需要单独为每一个新增的领域手工标注大量的数据，以完成情感分类器的训练，该人工标注样本过程效率较低。同时随着时间的推移和社会的发展，已知领域的新特征词将逐步增加，因原样本与新样本的特征分布存在一定的差异，该领域原有的情感分类器将无法准确预测新评论数据的情感倾向。

为解决领域间样本存在差异导致情感分类器分类准确率较低的问题，研究者通常采用以下五种迁移学习技术实现源领域分类器到目标领域的迁移，其一是基于加权重采样(Re-weighting)的领域自适应技术，该技术令源领域样本逼近目标领域，使样本分布尽可能相似，从而减小领域间的分布差异。第二种基于特征对齐的领域自适应技术，将源领域和目标领域的样本投影到公共子空间学习公共的特征表示，从而令源领域的经验误差尽可能趋近目标领域的经验误差，实现领域特征分布的一致性，主要方法包括子空间统一(Subspace Unification)、流行对齐(Manifold Alignment)和子空间重建(SubspaceReconstruction)。其三是基于主题的领域自适应，通过提取领域的共有潜在特征以减小领域间样本分布的差异。近年来随着深度学习和生成式对抗学习的发展，基于深度模型和对抗式的迁移学习技术也逐渐应用在跨领域情感分类问题中，而深度模型通常采用微调(Fine-tune)、最大平均差异正则化(MMD-regularized)和领域混淆(Domain Confusion)的方法减小源领域和目标领域的差异，完成领域间特征的对齐。

发明内容

本发明的目的在于提供了一种基于领域对抗自适应的跨领域文本情感分类方法，该方法利用领域自适应和对抗学习的思想，通过构建基于源领域和目标领域分布一致性的约束和基于对抗学习的领域不变性约束，学习具备可转移性、领域不变性和对标签具有判别性的高层特征，从而在源领域和目标领域样本分布差异较大，且目标领域标定样本不足的情况下，获得适用于目标领域的情感分类器。

为实现上述目的，本发明采用以下技术方案：一种基于领域对抗自适应的跨领域文本情感分类方法，首先采用词向量矩阵的方式表示文本数据；其次将矩阵输入基于卷积神经网络(Convolutional Neural Network,CNN)的特征提取模块，获取样本的低层特征；接下来在主任务模块构建基于源领域和目标领域分布一致性的约束，即通过高斯核函数将低层特征映射到再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)，并利用最大平均差异(Maximum Mean Discrepancies,MMD)进行约束，从而在公共的特征映射空间中，保证源领域和目标领域样本特征分布的相似性，以学习具备领域间可转移性的高层特征；然后将高层特征输入类别分类器，在减小领域差异的基础上，保证分类器对样本具备类别判别性；此外引入辅助任务模块，加入梯度反转层，并将低层特征输入具有对抗性质的领域分类器，使分类器无法判别样本所属领域，以构建基于对抗学习的领域不变性约束，从而提取具有领域不变性的特征。

一种基于领域对抗自适应的跨领域文本情感分类方法，该方法包括以下步骤：

步骤1，输入源领域和目标领域样本的词向量矩阵、情感类别标签和领域标签。

步骤2，利用基于CNN的特征提取模块，提取源领域和目标领域样本的低层特征。

步骤3，构建主任务模块，提取具有可转移性、对标签具有判别性的高层特征。

步骤3.1，通过高斯核函数将低层特征映射到RKHS，在该空间中利用MMD度量源领域和目标领域样本的距离。

步骤3.2，将源领域高层特征作为训练数据输入类别分类器。

步骤4，构建辅助任务模块，将低层特征作为训练数据输入具有对抗性质的领域分类器，提取具有领域不变性的高层特征。

步骤5，将目标领域样本输入已训练好的模型，输出文本数据情感类别的结果。

与现有技术相比，本发明具有以下明显优势：

本发明在源领域和目标领域样本分布存在较大差异，且目标领域标定样本不足的情况下，通过在主任务模块构建基于源领域和目标领域分布一致性的约束，在辅助任务模块构建基于对抗学习的领域不变性约束，实现了无监督情感分类任务中源领域情感分类器到目标领域的迁移。

附图说明

图1为本发明的模型结构图；

图2为本发明的方法流程图；

图3为卷积过程示例图；

图4为池化过程示例图。

具体实施方式

以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明方法模型结构如图1所示，所述方法的流程图如图2所示，具体包括以下步骤：

步骤1，输入源领域和目标领域样本的词向量矩阵、情感类别标签和领域标签。

由于计算机无法直接处理文本数据，因此需要将文本输入数据转化成计算机可识别的数据类型。令矩阵的行数n表示段落中总单词数，矩阵的列数k表示词向量的维度，首先将输入文本中每个单词转化成1×k的词向量，其次按照单词在文本中出现的顺序，将词向量拼接成n×k的矩阵。最后根据不同的深度学习框架，转化成对应的存储格式，作为网络的输入。

步骤2，利用基于CNN的特征提取模块，提取样本的低层特征。

将源领域和目标领域的样本输入卷积神经网络，通过该特征提取模块提取样本的低层特征，将样本依次输入卷积层(Convolutional Layer)、池化层(Pooling Layer)和全连接层(Full Connected Layer)，实现特征图的提取、特征图的下采样过程以及特征图向下一层的传输，卷积示例如图3所示，池化过程示例如图4所示。其中卷积层的中卷积核的宽度应与词向量维度相同。

步骤3，构建主任务模块，提取具有可转移性、对标签具有判别性的高层特征。

步骤3.1，通过高斯核函数将低层特征映射到RKHS，在该空间中利用MMD度量源领域和目标领域样本的距离。

该方法取最大平均差异(Maximum Mean Discrepancy,MMD)作为检验统计量，度量领域间的分歧，数学表达式如下所示：

是原始空间中连续函数f的集合，s代表源领域，t代表目标领域，x^s为源领域的样本，x^t为目标领域的样本，p代表源领域样本服从的特征分布，即x^s～p，q代表目标领域样本服从的特征分布，即x^t～q，E_p为源领域样本分布的期望值，E_q为目标领域样本分布的期望值，n_s为源领域样本的数量，n_t为目标领域样本的数量，为源领域的第i个样本，为目标领域的第i个样本。当源领域和目标领域的样本分布一致时p＝q，期望值相同，此时MMD的值为0，当源领域和目标领域样本分布不一致且函数空间足够大时，MMD的值大于零。当给定两个特征分布p和q时，MMD的结果依赖给定的连续函数集合若过大，MMD的值趋近于无穷，不利于衡量样本差异。因此为了准确计算样本的距离，应满足下面两条性质，性质1：当且仅当p和q分布相同时，MMD等于零；并且为保证检验具备连续性，应满足性质2：MMD的经验估计可以随特征分布规模的增大迅速收敛到期望，需具备约束性。经证明当是再生核希尔伯特空间中的单位球时，即||f||_H≤1，可满足上述两点性质。

一个完备的内积空间被称为希尔伯特空间(Hilbert Space)，在这里将其记为f。若用空间内的点积表示映射f→f(x)，即：

则希尔伯特空间被转化为再生核希尔伯特空间(Reproducing Kernel HilbertSpace,RKHS)，这里φ表示的映射，即φ为原始空间的样本到希尔伯特空间的映射函数，因为空间中的点积可以表示函数到点的映射关系，因此函数f(x)可拆分为两部分，即f以及自变量x，该操作令f更容易被抽离出来实现最大化。此时引入分布，用E[φ(x)]替代φ(x)，这里E[φ(x)]称为核嵌入分布(Kernelembeddingofdistributions)，则源领域样本在希尔伯特空间的平均分布E_p[f(x^s)]被表示为f与E_p[φ(x^s)]的点积形式E_p[<φ(x^s),f>_H]，即采用核函数的方式计算希尔伯特空间中的点积，同理，目标领域样本在希尔伯特空间的平均分布E_q[f(x^t)]也可以被表示为f和E_q[φ(x^t)]的点积形式Ε_q[<φ(x^t),f>_H]。

其中μ_p＝E_p[f(x^s)]，μ_q＝E_q[f(x^t)]，由此看出源领域和目标领域的MMD距离用RKHS中两个点的距离表示，因此对上式等号两侧进行平方操作：

其中表示源领域中的第i个样本，表示源领域中的第j个样本，表示目标领域中的第i个样本，表示目标领域中的第j个样本，且i≠j，能够采用核函数计算，是RKHS中的单位球，因此采用高斯核函数或拉普拉斯核函数，若采用无穷维的高斯核函数则实现核嵌入方式表示的样本到再生核希尔伯特空间的映射，并利用高斯核函数计算领域间的MMD距离作为约束值，构建基于源领域和目标领域分布一致性的约束，实现源领域样本到目标领域的可迁移性，则领域对齐层的损失函数可被表示为下式。

代表源领域样本集合，即 代表源领域样本集合，即其中的表达式为：

步骤3.2，将源领域高层特征作为训练数据输入类别分类器。

在样本特征对齐的基础上，将源领域高层特征输入类别分类器，判断样本所属类别，保证分类器的有效性。其数学描述如下，源领域具有n_s个独立同分布的标定样本目标领域具有n_t个独立同分布的未标定样本 表示源领域样本集，表示目标领域样本集，和均属于样本集合X，即 源领域样本的标签标签集合Y＝{0,1,...,L-1}，。源领域样本和目标领域样本服从分布p和q，其中p≠q。通过训练目标领域的样本获得适用于目标领域的类别分类器η:y＝η(x)，该分类器在目标领域样本集上的损失函数如下式所示，其中Pr(η(x^t)≠y)表示输入x^t经分类后结果与其对应的标签y不相等的概率。

步骤4，构建辅助任务模块，将低层特征作为训练数据输入具有对抗性质的领域分类器，提取具有领域不变性的高层特征。

接下来将低层特征同时输入辅助任务模块，令具有对抗性质的领域分类器在准确判别样本所属领域的同时，通过梯度反转层引入对抗思想，将领域分类器看作生成式对抗网络中的判别器，在训练类别分类器时，使领域分类器无法判定样本的领域来源，以学习领域不变特征。领域分类器的损失函数如下所示：

其中，n_s和n_t分别表示源领域和目标领域样本的数量，则n_s+n_t表示两个领域中样本的总数，η_domain为领域分类器，φ为映射函数，x_i为需要判别的样本，d_i为样本x_i的领域标签，该标签是一个二值变量，因此损失函数采用交叉熵损失函数，展开式如下示，x_i通过函数φ被映射到公共特征空间后，由领域分类器η_domain判别该特征样本所属的领域类别。

步骤5，将目标领域样本输入已训练好的模型，输出文本数据情感类别的结果

在训练过程中，通过优化步骤2和步骤3中三个损失函数，包括最小化类别分类器η_label的损失函数，最大化领域分类器η_domain的损失函数，以及最小化领域对齐层的损失函数可减小源领域和目标领域样本的差异，完成基于无监督领域对抗自适应的跨领域情感分类网络的训练，获得适用于目标领域的情感分类器，整个方法的损失函数如下所示，其中λ₁和λ₂为超参数，分别决定主任务模块和辅助任务模块占损失函数的影响比重。

最后在测试阶段，将目标领域的样本输入已训练好的模型，通过类别分类器输出样本所属情感类别。

至此，本发明的具体实施过程描述完毕。

Claims (5)

1.一种基于领域对抗自适应的跨领域文本情感分类方法，其特征在于：该方法包括以下步骤：

步骤1，输入源领域和目标领域样本的词向量矩阵、情感类别标签和领域标签；

步骤2，利用基于CNN的特征提取模块，提取源领域和目标领域样本的低层特征；

步骤3，构建主任务模块，提取具有可转移性、对标签具有判别性的高层特征；

步骤3.1，通过高斯核函数将低层特征映射到RKHS，在该空间中利用MMD度量源领域和目标领域样本的距离；

步骤3.2，将源领域高层特征作为训练数据输入类别分类器；

步骤4，构建辅助任务模块，将低层特征作为训练数据输入具有对抗性质的领域分类器，提取具有领域不变性的高层特征。

步骤5，将目标领域样本输入已训练好的模型，输出文本数据情感类别的结果。

2.根据权利要求1所述的一种基于领域对抗自适应的跨领域文本情感分类方法，其特征在于：具体包括以下步骤：

步骤1，输入源领域和目标领域样本的词向量矩阵、情感类别标签和领域标签；

由于计算机无法直接处理文本数据，因此需要将文本输入数据转化成计算机可识别的数据类型；令矩阵的行数n表示段落中总单词数，矩阵的列数k表示词向量的维度，首先将输入文本中每个单词转化成1×k的词向量，其次按照单词在文本中出现的顺序，将词向量拼接成n×k的矩阵；最后根据不同的深度学习框架，转化成对应的存储格式，作为网络的输入。

3.根据权利要求1所述的一种基于领域对抗自适应的跨领域文本情感分类方法，其特征在于：步骤2，利用基于CNN的特征提取模块，提取样本的低层特征；

将源领域和目标领域的样本输入卷积神经网络，通过该特征提取模块提取样本的低层特征，将样本依次输入卷积层(Convolutional Layer)、池化层(Pooling Layer)和全连接层(Full Connected Layer)，实现特征图的提取、特征图的下采样过程以及特征图向下一层的传输；其中卷积层的中卷积核的宽度应与词向量维度相同。

4.根据权利要求1所述的一种基于领域对抗自适应的跨领域文本情感分类方法，其特征在于：步骤3，构建主任务模块，提取具有可转移性、对标签具有判别性的高层特征；

步骤3.1，通过高斯核函数将低层特征映射到RKHS，在该空间中利用MMD度量源领域和目标领域样本的距离；

该方法取最大平均差异MMD作为检验统计量，度量领域间的分歧，数学表达式如下所示：

是原始空间中连续函数f的集合，s代表源领域，t代表目标领域，x^s为源领域的样本，x^t为目标领域的样本，p代表源领域样本服从的特征分布，即x^s～p，q代表目标领域样本服从的特征分布，即x^t～q，E_p为源领域样本分布的期望值，E_q为目标领域样本分布的期望值，n_s为源领域样本的数量，n_t为目标领域样本的数量，为源领域的第i个样本，为目标领域的第i个样本；当源领域和目标领域的样本分布一致时p＝q，期望值相同，此时MMD的值为0，当源领域和目标领域样本分布不一致且函数空间足够大时，MMD的值大于零；当给定两个特征分布p和q时，MMD的结果依赖给定的连续函数集合若过大，MMD的值趋近于无穷，不利于衡量样本差异；因此为了准确计算样本的距离，应满足下面两条性质，性质1：当且仅当p和q分布相同时，MMD等于零；并且为保证检验具备连续性，应满足性质2：MMD的经验估计可以随特征分布规模的增大迅速收敛到期望，需具备约束性；经证明当是再生核希尔伯特空间中的单位球时，即||f||_H≤1，可满足上述两点性质；

一个完备的内积空间被称为希尔伯特空间(Hilbert Space)，在这里将其记为f；若用空间内的点积表示映射f→f(x)，即：

则希尔伯特空间被转化为再生核希尔伯特空间(Reproducing Kernel HilbertSpace,RKHS)，这里φ表示的映射，即φ为原始空间的样本到希尔伯特空间的映射函数，因为空间中的点积可以表示函数到点的映射关系，因此函数f(x)可拆分为两部分，即f以及自变量x，该操作令f更容易被抽离出来实现最大化；此时引入分布，用E[φ(x)]替代φ(x)，这里E[φ(x)]称为核嵌入分布(Kernel embedding of distributions)，则源领域样本在希尔伯特空间的平均分布E_p[f(x^s)]被表示为f与E_p[φ(x^s)]的点积形式E_p[<φ(x^s),f>_H]，即采用核函数的方式计算希尔伯特空间中的点积，同理，目标领域样本在希尔伯特空间的平均分布E_q[f(x^t)]也可以被表示为f和E_q[φ(x^t)]的点积形式Ε_q[<φ(x^t),f>_H]；

其中μ_p＝E_p[f(x^s)]，μ_q＝E_q[f(x^t)]，由此看出源领域和目标领域的MMD距离用RKHS中两个点的距离表示，因此对上式等号两侧进行平方操作：

其中表示源领域中的第i个样本，表示源领域中的第j个样本，表示目标领域中的第i个样本，表示目标领域中的第j个样本，且i≠j，能够采用核函数计算，是RKHS中的单位球，因此采用高斯核函数或拉普拉斯核函数，若采用无穷维的高斯核函数则实现核嵌入方式表示的样本到再生核希尔伯特空间的映射，并利用高斯核函数计算领域间的MMD距离作为约束值，构建基于源领域和目标领域分布一致性的约束，实现源领域样本到目标领域的可迁移性，则领域对齐层的损失函数可被表示为下式；

代表源领域样本集合，即 代表源领域样本集合，即其中的表达式为：

步骤3.2，将源领域高层特征作为训练数据输入类别分类器；

在样本特征对齐的基础上，将源领域高层特征输入类别分类器，判断样本所属类别，保证分类器的有效性；其数学描述如下，源领域具有n_s个独立同分布的标定样本目标领域具有n_t个独立同分布的未标定样本 表示源领域样本集，表示目标领域样本集，和均属于样本集合X，即源领域样本的标签标签集合Y＝{0,1,...,L-1}；源领域样本和目标领域样本服从分布p和q，其中p≠q；通过训练目标领域的样本获得适用于目标领域的类别分类器η:y＝η(x)，该分类器在目标领域样本集上的损失函数如下式所示，其中Pr(η(x^t)≠y)表示输入x^t经分类后结果与其对应的标签y不相等的概率：

5.根据权利要求1所述的一种基于领域对抗自适应的跨领域文本情感分类方法，其特征在于：步骤4，构建辅助任务模块，将低层特征作为训练数据输入具有对抗性质的领域分类器，提取具有领域不变性的高层特征；

接下来将低层特征同时输入辅助任务模块，令具有对抗性质的领域分类器在准确判别样本所属领域的同时，通过梯度反转层引入对抗思想，将领域分类器看作生成式对抗网络中的判别器，在训练类别分类器时，使领域分类器无法判定样本的领域来源，以学习领域不变特征；领域分类器的损失函数如下所示：

其中，n_s和n_t分别表示源领域和目标领域样本的数量，则n_s+n_t表示两个领域中样本的总数，η_domain为领域分类器，φ为映射函数，x_i为需要判别的样本，d_i为样本x_i的领域标签，该标签是一个二值变量，因此损失函数采用交叉熵损失函数，展开式如下示，x_i通过函数φ被映射到公共特征空间后，由领域分类器η_domain判别该特征样本所属的领域类别；

步骤5，将目标领域样本输入已训练好的模型，输出文本数据情感类别的结果；

在训练过程中，通过优化步骤2和步骤3中三个损失函数，包括最小化类别分类器η_label的损失函数，最大化领域分类器η_domain的损失函数，以及最小化领域对齐层的损失函数可减小源领域和目标领域样本的差异，完成基于无监督领域对抗自适应的跨领域情感分类网络的训练，获得适用于目标领域的情感分类器，整个方法的损失函数如下所示，其中λ₁和λ₂为超参数，分别决定主任务模块和辅助任务模块占损失函数的影响比重；

最后在测试阶段，将目标领域的样本输入已训练好的模型，通过类别分类器输出样本所属情感类别。