CN108846128B - 一种基于自适应噪音降噪编码器的跨领域文本分类方法 - Google Patents

Abstract

本发明公开了一种基于自适应噪音降噪编码器的跨领域文本分类方法，其特征是：采用适用于跨领域任务的特征选择方法，过滤在源领域数据集合和目标领域数据集合中的样本中出现频率较低和无意义的特征词，并跟据源领域集合和目标领域集合中的样本之间的分布差异自适应地计算出较优噪音干扰系数，利用较优噪音干扰系数对特征空间进行干扰，采用堆叠边缘降噪编码器方法构建新的特征空间并构建分类器。本发明能更好地挖掘领域间潜在特征之间的关系，减小领域差异，从而能够提高分类的正确性。

Description

一种基于自适应噪音降噪编码器的跨领域文本分类方法

技术领域

本发明涉及一种基于自适应噪音降噪编码器的跨领域文本分类方法，并对网络文本数据信息进行分类，更具体的说是针对不同领域、不同数据分布的网络文本数据信息进行跨领域分类。

背景技术

近年来，随着博客、微信、微博等网络社交平台的迅速兴起，互联网上产生了大量的文本信息，这些海量的数据中往往蕴含着巨大的潜在商业价值，例如，商家通过分析消费者评论信息，可以有针对地进行产品改进或升级，从而满足消费者需求，提高市场竞争力；对消费者而言，商品的评论信息在一定程度上左右了消费者的购买意愿，即口碑好的商品更会受到消费者的青睐。鉴于此，文本分类等相关领域的研究具有极其重要的价值和意义。

然而，由于网络中数据受用户，时间等多因素的影响，其数据分布在不断发生变化，因此，较难收集到满足同一分布的充足的有效训练数据，从而给传统的分类方法带来了挑战。例如在网络评论中，对于新电子产品评论往往较少，难以进行有效的分类，而某些具有充足训练样本的领域，其他的如书籍，电影或者旧的电子产品，其数据分布又与新领域不同，直接利用这些领域的分类器难以取得理想的效果。随着信息的高速发展，每天都会涌现新的领域。从而使得文本分类问题变得更加复杂，也使得传统的数据挖掘算法和已有的机器学习方法面临严峻的挑战。

深度学习在自然处理领域研究成果显著，多种神经网络模型被用于文本分类，如卷积神经网络(CNNs)，循环神经网络(RNNs)。其中，边缘降噪自动编码器通过堆叠多层能获取中间潜在特征，从而更好地用于分类任务，然而其计算成本很高且缺乏对高维特征的可扩展性。此外，其分类精度受限于噪音干扰系数的设定。现有的方法多通过人为指定或在数据集上反复训练得到一个经验值，不具有普适性，从而限制了在应用中的使用。

综上，现有技术中基于边缘降噪自动编码器的跨领域文本分类面临着以下的挑战：

一是文本数据具有高维、稀疏的特点。跨领域分类任务需要同时处理多个不同领域的特征，使得特征空间进一步加大，更进一步加剧了文本数据的高维、稀疏性，从而使得有意义特征的选择变得困难，给学习一个公共的特征空间用于跨领域分类带来了挑战。

二是尽管边缘降噪编码器在跨领域分类任务中能学习一个较为强健的特征空间，然而，其学习结果对噪音系数敏感。如何针对不同的领域和不同的跨领域任务制定合理的噪音系数计算方法也是跨领域分类中边缘降噪编码器的另一挑战问题。

发明内容

本发明是为避免上述现有技术所存在的不足，提供一种基于自适应噪音降噪编码器的跨领域文本分类方法，以期在合理的特征空间基础上，自适应地计算出较优的噪音干扰系数，以挖掘领域间特征的潜在关系，从而获得公共的潜在特征空间，进而提高跨领域文本分类的正确性。

本发明为实现发明目的采用如下技术方案：

本发明基于自适应噪音降噪编码器的跨领域文本分类方法的特点是按如下步骤进行：

步骤1：统计源领域和目标领域的特征词及其出现频率

分别获取目标领域数据集合DT，以及带有标签信息的源领域数据集合DS，

ti为目标领域数据集合DT中的第i个样本，

n_t为目标领域数据集合DT中的样本个数，

表示所述目标领域数据集合DT中第i个样本t_i中的第a个特征词，a＝1,2,…,nw_t，nw_t为目标领域数据集合DT中样本的特征词个数；

s_j为源领域数据集合DS中的第j个样本，

n_s为源领域数据集合DS中的样本个数，

表示所述源领域数据集合DS中第j个样本s_j中的第b个特征词，b＝1,2,…,nw_s，nw_s为源领域数据集合DT中样本的特征词个数；y_j为源领域数据集合DS中第j个样本s_j的标签，且

c_d表示所述源领域数据集合DS中样本的第d个类别，d＝1,2,…,n_c，n_c表示所述源领域数据集合DS中样本类别个数；

对所述源领域数据集合DS和目标领域数据集合DT中样本的特征词作并集操作，得到特征空间Z，

z_e为特征空间Z中的第e个特征词，e＝1,2,…,n_e，n_e为特征空间Z中特征词个数；

统计所述特征空间Z中每个特征词在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率，分别记为F_s和F_t，

和

分别表示所述特征空间中的第e个特征词z_e在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；

步骤2：过滤低频率和无意义的特征词

从所述特征空间Z中选取在所述源领域数据集合DS和目标领域数据集合DT样本中出现次数都大于设定次数α的特征词，组成候选特征集CW,

w_g为候选特征集CW中第g个特征词，g＝1,2,…,n_cw，n_cw为候选特征集CW中的特征词个数。

由式(1)计算获得候选特征集CW中每个特征词w_g的强化权重似然比WLLU(w_g,c_d)；

由式(2)计算获得每个特征词w_g的频率综合指标r(w_g,c_d)；

和

分别表示候选特征集CW中特征词w_g在类别y_g＝c_d和y_g≠c_d条件下出现的概率，y_g为特征词w_g所属类别；

和

分别表示所述候选特征集CW中的第g个特征词w_g在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；

对所述候选特征集CW中所有特征词根据频率综合指标r(w_g,c_d)进行降序排序，选取前若干个特征词构成共享特征词集IW，

v_k为共享特征集IW中第k个特征词，k＝1,2,…,n_iw，n_iw为共享特征集IW中的特征词个数，以所述共享特征词集IW作为参与领域适应任务的特征空间；

步骤3：自适应地计算较优噪音干扰系数

将所述共享特征集IW中第k个特征词v_k的中间特征映射空间记为

和

分别表示所述共享特征集IW中第k个特征词v_k在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；

利用式(3)计算获得所述共享特征集IW中每个特征v_k到中间特征映射空间

的KL距离KLD，利用式(4)计算获得较优噪音干扰系数noises：

步骤4：获取新的特征空间并构建分类器

将所述源领域数据集合DS和目标领域数据集合DT中的样本进行合并，得到合并集合X，

以X为初始输入，利用堆叠L层边缘降噪自动编码方法学习获得新的特征空间；

步骤5：基于所获得的新的特征空间，通过对源领域数据集合DS中样本进行训练获得分类器，利用所获得的分类器对目标领域数据集合DT中的样本进行分类预测。

本发明基于自适应噪音降噪编码器的跨领域文本分类方法的特点也在于：所述利用堆叠L层边缘降噪自动编码方法学习获得新的特征空间是按如下过程进行：

将第l层的输入记为h^l-1，l＝1,2,…,L，h⁰＝X，以噪音干扰系数noises对所述第l层的输入h^l-1进行随机损坏，得到损坏数据

即

重构误差L(U^l)由式(5)所表征：

式(5)中的λ为常数，U^l的最优解为：U^l＝P^l(Q^l)^-1，其中

Q^l的表达式如式(6)，式6中()_mu表示矩阵的第m行第u列元素。

由此获得第l层的输出特征空间h^l＝tanh(U^lh^l-1)，tanh()为双曲正切函数；

按同样的方法堆叠L层，得到最终特征空间H，H＝{h⁰,h¹,…,h^L}，h^layer为所述最终特征空间H第layer层特征表示，layer＝0,1,…,L；基于所述最终特征空间H对所述源领域数据集合DS和目标领域数据集合DT中的样本进行特征表示；分别得到这两个领域中样本新的特征表示形式DS'和DT'，

为源领域数据集合DS中样本的第layer层特征表示，

为目标领域数据集合DT中样本的第layer层特征表示；

基于所述源领域数据集合DS中样本新的特征表示形式DS'训练分类器，再对目标领域数据集合DT中基于新的特征表示形式DT'中的样本进行分类预测。

与已有技术相比，本发明有益效果体现在：

1、为了减小特征空间的高维、稀疏性，使特征空间更有利于进一步的特征学习，本发明提出了适用于跨领域任务的特征选择指标，即：强化权重比指标，用于对原始特征空间进行筛选，过滤对跨领域任务无用的特征，从而有效减小了特征空间的维度，降低稀疏性。

2、为了捕获更加强健的、具有目标领域适应性的文本特征空间，本发明根据领域之间的差异自适应地计算一个较优的噪音系数，有利于学习更高质量潜在特征空间，该噪音系数根据数据分布计算，不需要人为参与。

3、本发明采用边缘化降噪方法，使用线性去噪器作为基础构建模型，对特征进行边缘化损坏处理。相比已有技术中的SDA方法，本发明不需要通过随机梯度下降的方法或者其它优化算法来学习超参数，很大程度上减小了训练时间，而且适应于高维特征空间，克服了深度学习方法中训练模型计算成本高的问题。

4、本发明面向实际应用领域，如：用户在社交网络发表对事件看法的情感分类，可用于政府部门及时发现并掌握舆论走向；对网上购物用户对商品评论的情感倾向，可为商家、消费者提供预测、预警工作，为商家的销售、服务质量调整策略提供建议以及为消费者的购物行为进行推荐，具有非常好的实用性。

附图说明

图1是本发明流程图；

具体实施方式

参见图1，本实施例中基于自适应噪音降噪编码器的跨领域文本分类方法是按如下步骤进行：

步骤1：统计源领域和目标领域的特征词及其出现频率

分别获取目标领域数据集合DT，以及带有标签信息的源领域数据集合DS，

t_i为目标领域数据集合DT中的第i个样本，

n_t为目标领域数据集合DT中的样本个数，

表示目标领域数据集合DT中第i个样本t_i中的第a个特征词，a＝1,2,…,nw_t，nw_t为目标领域数据集合DT中样本的特征词个数。

s_j为源领域数据集合DS中的第j个样本，

n_s为源领域数据集合DS中的样本个数，w_b ^j表示源领域数据集合DS中第j个样本s_j中的第b个特征词，b＝1,2,…,nw_s，nw_s为源领域数据集合DT中样本的特征词个数；y_j为源领域数据集合DS中第j个样本s_j的标签，且

c_d表示源领域数据集合DS中样本的第d个类别，d＝1,2,…,n_c，n_c表示源领域数据集合DS中样本类别个数。

对源领域数据集合DS和目标领域数据集合DT中样本的特征词作并集操作，得到特征空间Z，

z_e为特征空间Z中的第e个特征词，e＝1,2,…,n_e，n_e为特征空间Z中特征词个数。

统计特征空间Z中每个特征词在源领域数据集合DS和目标领域数据集合DT样本中出现的频率，分别记为F_s和F_t，

和

分别表示特征空间中的第e个特征词z_e在源领域数据集合DS和目标领域数据集合DT样本中出现的频率。

步骤2：过滤低频率和无意义的特征词

共享特征词是领域适应效果的关键。共享特征词的选取须具有两个条件：共享特征词在源领域数据集合DS和目标领域数据集合DT样本中有较高的极性，并且在两个领域样本中出现频率相对较高。因此，选择在源领域数据集合DS和目标领域数据集合DT样本中出现频率高且极性强的特征作为共享特征。

从特征空间Z中选取在源领域数据集合DS和目标领域数据集合DT样本中出现次数都大于设定次数α的特征词，组成候选特征集CW,

w_g为候选特征集CW中第g个特征词，g＝1,2,…,n_cw，n_cw为候选特征集CW中的特征词个数。

由式(1)计算获得候选特征集CW中每个特征词w_g的强化权重似然比WLLU(w_g,c_d)；

由式(2)计算获得每个特征词w_g的频率综合指标r(w_g,c_d)；

以

和

分别表示候选特征集CW中特征词w_g在类别y_g＝c_d和y_g≠c_d条件下出现的概率，y_g为特征词w_g所属类别；

和

分别表示候选特征集CW中的第g个特征词w_g在源领域数据集合DS和目标领域数据集合DT样本中出现的频率。

对候选特征集CW中所有特征词根据频率综合指标r(w_g,c_d)进行降序排序，选取前若干个特征词构成共享特征词集IW，

v_k为共享特征集IW中第k个特征词，k＝1,2,…,n_iw，n_iw为共享特征集IW中的特征词个数，以共享特征词集IW作为参与领域适应任务的特征空间。

WLLU(·)是在已有WLLR的基础上进行改进的，为了更能突出特征w_g对分类的影响程度，用

替换了原WLLR计算公式中的

使得重要的特征其WLLU(·)取值更大，从而有利于对特征的筛选。同时，r(·)指标在WLLU(·)基础上增加了

用于度量特征w_g对目标领域集合DT的依赖性。若

则表示特征w_g对目标领域集合DT的依赖性较强，反之则较弱。因此，依据r(·)指标降序排序，可以过滤掉在源领域集合DS样本中较为重要,但在目标领域集合DT样本中较少出现或不重要的特征词被选为共享特征参与领域适应任务。

步骤3：自适应地计算较优噪音干扰系数

将共享特征集IW中第k个特征词v_k的中间特征映射空间记为

和

分别表示共享特征集IW中第k个特征词v_k在源领域数据集合DS和目标领域数据集合DT样本中出现的频率。

利用式(3)计算获得共享特征集IW中每个特征v_k到中间特征映射空间

的KL距离KLD，利用式(4)计算获得较优噪音干扰系数noises：

步骤4：获取新的特征空间并构建分类器

将源领域数据集合DS和目标领域数据集合DT中的样本进行合并，得到合并集合X，

以X为初始输入，利用堆叠L层边缘降噪自动编码方法学习获得新的特征空间。

步骤5：基于所获得的新的特征空间，通过对源领域数据集合DS中样本进行训练获得分类器，利用所获得的分类器对目标领域数据集合DT中的样本进行分类预测。

具体实施中，利用堆叠L层边缘降噪自动编码方法学习获得新的特征空间是按如下过程进行：

将第l层的输入记为h^l-1，l＝1,2,…,L，h⁰＝X，以噪音干扰系数noises对第l层的输入h^l-1进行随机损坏，得到损坏数据

即

重构误差L(U^l)由式(5)所表征：

式(5)中的λ为常数，U^l的最优解为：U^l＝P^l(Q^l)-¹，其中

Q^l的表达式如式(6)，式(6)中()_mu表示矩阵的第m行第u列元素。

由此获得第l层的输出特征空间h^l＝tanh(U^lh^l-1)，tanh()为双曲正切函数；

按同样的方法堆叠L层，得到最终特征空间H，H＝{h⁰,h¹,…,h^L}，h^layer为最终特征空间H第layer层特征表示，layer＝0,1,…,L；基于最终特征空间H对源领域数据集合DS和目标领域数据集合DT中的样本进行特征表示；分别得到这两个领域中样本新的特征表示形式DS'和DT'，

为源领域数据集合DS中样本的第layer层特征表示，

为目标领域数据集合DT中样本的第layer层特征表示；基于源领域数据集合DS中样本新的特征表示形式DS'训练分类器，再对目标领域数据集合DT中基于新的特征表示形式DT'中的样本进行分类预测。

本发明给出了适用于跨领域的评判指标，用于过滤无意义特征，并根据源领域和目标领域之间的差异自适应地计算领域间的较优噪音干扰系数，能更好的挖掘领域间潜在特征之间的关系，减小领域差异，从而能够提高分类的正确性。

Claims (1)

1.一种基于自适应噪音降噪编码器的跨领域文本分类方法，其特征是按如下步骤进行：

步骤1：统计源领域和目标领域的特征词及其出现频率

分别获取目标领域数据集合DT，以及带有标签信息的源领域数据集合DS，

t_i为目标领域数据集合DT中的第i个样本，

n_t为目标领域数据集合DT中的样本个数，

表示所述目标领域数据集合DT中第i个样本t_i中的第a个特征词，a＝1,2,…,nw_t，nw_t为目标领域数据集合DT中样本的特征词个数；

s_j为源领域数据集合DS中的第j个样本，

n_s为源领域数据集合DS中的样本个数，

表示所述源领域数据集合DS中第j个样本s_j中的第b个特征词，b＝1,2,…,nw_s，nw_s为源领域数据集合DT中样本的特征词个数；y_j为源领域数据集合DS中第j个样本s_j的标签，且

c_d表示所述源领域数据集合DS中样本的第d个类别，d＝1,2,…,n_c，n_c表示所述源领域数据集合DS中样本类别个数；

对所述源领域数据集合DS和目标领域数据集合DT中样本的特征词作并集操作，得到特征空间Z，

z_e为特征空间Z中的第e个特征词，e＝1,2,…,n_e，n_e为特征空间Z中特征词个数；

统计所述特征空间Z中每个特征词在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率，分别记为F_s和F_t，

和

分别表示所述特征空间中的第e个特征词z_e在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；

步骤2：过滤低频率和无意义的特征词

从所述特征空间Z中选取在所述源领域数据集合DS和目标领域数据集合DT样本中出现次数都大于设定次数α的特征词，组成候选特征集CW,

w_g为候选特征集CW中第g个特征词，g＝1,2,…,n_cw，n_cw为候选特征集CW中的特征词个数；

由式(1)计算获得候选特征集CW中每个特征词w_g的强化权重似然比WLLU(w_g,c_d)；

由式(2)计算获得每个特征词w_g的频率综合指标r(w_g,c_d)；

和

分别表示候选特征集CW中特征词w_g在类别y_g＝c_d和y_g≠c_d条件下出现的概率，y_g为特征词w_g所属类别；

和

分别表示所述候选特征集CW中的第g个特征词w_g在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；

对所述候选特征集CW中所有特征词根据频率综合指标r(w_g,c_d)进行降序排序，选取前若干个特征词构成共享特征词集IW，

v_k为共享特征集IW中第k个特征词，k＝1,2,…,n_iw，n_iw为共享特征集IW中的特征词个数，以所述共享特征词集IW作为参与领域适应任务的特征空间；

步骤3：自适应地计算较优噪音干扰系数

将所述共享特征集IW中第k个特征词v_k的中间特征映射空间记为

和

分别表示所述共享特征集IW中第k个特征词v_k在所述源领域数据集合DS和目标领域数据集合DT样本中出现的频率；

利用式(3)计算获得所述共享特征集IW中每个特征v_k到中间特征映射空间

的KL距离KLD，利用式(4)计算获得较优噪音干扰系数noises：

步骤4：获取新的特征空间并构建分类器

将所述源领域数据集合DS和目标领域数据集合DT中的样本进行合并，得到合并集合X，

以X为初始输入，按如下过程利用堆叠L层边缘降噪自动编码方法学习获得新的特征空间：

将第l层的输入记为h^l-1，l＝1,2,…,L，h⁰＝X，以噪音干扰系数noises对所述第l层的输入h^l-1进行随机损坏，得到损坏数据

即

重构误差L(U^l)由式(5)所表征：

式(5)中的λ为常数，U^l的最优解为：U^l＝P^l(Q^l)^-1，其中

Q^l的表达式如式(6)，式6中()_mu表示矩阵的第m行第u列元素；

由此获得第l层的输出特征空间h^l＝tanh(U^lh^l-1)，tanh()为双曲正切函数；

按同样的方法堆叠L层，得到最终特征空间H，H＝{h⁰,h¹,…,h^L}，h^layer为所述最终特征空间H第layer层特征表示，layer＝0,1,…,L；基于所述最终特征空间H对所述源领域数据集合DS和目标领域数据集合DT中的样本进行特征表示；分别得到这两个领域中样本新的特征表示形式DS'和DT'，

为源领域数据集合DS中样本的第layer层特征表示，

为目标领域数据集合DT中样本的第layer层特征表示；

基于所述源领域数据集合DS中样本新的特征表示形式DS'训练分类器，再对目标领域数据集合DT中基于新的特征表示形式DT’中的样本进行分类预测；

步骤5：基于所获得的新的特征空间，通过对源领域数据集合DS中样本进行训练获得分类器，利用所获得的分类器对目标领域数据集合DT中的样本进行分类预测。

Images