CN104462487A - 一种融合多信息源的个性化在线新闻评论情绪预测方法 - Google Patents

Abstract

本发明提出了一种融合多信息源的个性化在线新闻评论情绪预测方法。本发明的方法是在基于单一信息源的在线新闻评论情绪预测的基础上提出了一种融合多信息源的在线新闻评论情绪预测方法。单一的信息源从用户评论，新闻文本和用户情绪投票这三个方面分别对在线新闻评论情绪进行预测，本发明通过结合多种异构信息源，极大地提高了预测的准确性。本发明提出的方法显著地优于其他在线新闻评论情绪预测的替代方法，并且在处理大量差异较大的评论集合时更具优势。本发明可用于用户情感分析和舆情监督。

Description

一种融合多信息源的个性化在线新闻评论情绪预测方法

技术领域

本发明属于web信息检索与挖掘领域，具体涉及异构新闻内容，评论内容，用户情感等多种信息源，对在线新闻评论情绪进行预测的方法。

背景技术

在线新闻服务作为主要的网络信息载体，已经成为人们生活中不可或缺的新闻信息来源。在线新闻逐渐取代了报纸、广播、电视新闻等传统的新闻接收方式，以及时、全面、便捷的特点深受广大网民的喜爱。越来越多的人养成了每天在网络上浏览新闻的习惯，从在线新闻中实时了解新闻讯息，同时针对新闻事件或其他用户的观点，发表自己的评论，抒发自己的主观情感。

情感预测(sentiment prediction)是情感分析研究中最重要的子任务之一，是指对给定文本所蕴含的情感进行预测。情感预测问题通常采用分类的方法来解决，即给定一个带有情感的文本，假设它蕴含的整体情感是唯一的一种，将该文本的整体情感划分到某一种情感类别中，达到预测该文本情感的目的。利用分类方法解决的情感预测问题，又被称为情感分类(sentiment classification)。情感分类与文本分类(text classification)都是基于文本内容的分类问题，但文本分类的目标是识别文本的主题(topic)，而情感分类是判别文本所蕴含的情感信息。

情感分析方面的研究工作现在主要是基于情感类别标注数据的监督学习方法。基于情感类别标注训练数据集，构建高性能情感分类器，来分析文本的情感类别。Pang等最早提出利用监督学习方法来解决文本情感分类问题，其策略是选用多种特征选择方法，利用朴素贝叶斯(Bayes)、最大熵(maximum entropy)和支持向量机(support vector machine,SVM)等模型对电影评论中所蕴含的情感进行极性划分。Mullen和Collier基于短语语义倾向信息、形容词、文本主题知识等多种信息源，利用支持向量机模型对电影评论进行情感分类。Pang等将文本的主观/客观分类问题转换为求解句子连接图的最小分割问题，构建了一个基于最小分割的分类器对文本进行分类。Gamon利用对数似然比进行特征选择，使用支持向量机模型对顾客反馈数据进行情感分析。在中文文本情感分析方面，Tan针对文档级别提出了一种基于经验学习的方法，利用四种特征选取方法和五种机器学习方法对中文文档进行情感分类，测试和比较各方法的性能。

上述工作是对新闻文章的情绪进行分类和预测，一般来说，新闻文章所含有的情绪更多地属于新闻撰写者，并不能代表所有用户阅读新闻之后的情绪。本发明则是针对在线新闻的用户评论，研究用户在阅读新闻之后的观点和情绪。

同时，在新闻评论情绪预测问题中，单一的信息源不能反映所有用户的情感，不同的信息源可从不同的角度解读新闻评论中的用户情绪，且对于不同的评论，不同信息源的情绪预测指示性和可靠性不同。对于不同的评论，某些信息源可能比其他的信息源更值得信赖且更具有指示性，不同的信息源应该有不同的权重，以反映它们对不同评论的重要程度。如何结合多种异构信息源进行在线新闻评论情绪预测，如何为不同的评论分配相应的异构信息源结合权重，从而提高情绪预测的准确性，是一个重要的研究问题。

发明内容

针对目前绝大部分情感分析是针对新闻文章而进行分类和预测的，本发明融合了新闻的评论，新闻本身和用户情绪投票三种方法对用户的情感进行预测，同时通过分配恰当的权重，使情绪预测的结果更准确。

本发明提出了一种融合多信息源的个性化在线新闻评论情绪预测方法，结合了多种异构信息源，采用再分类的方法，解决用户新闻评论的情绪预测问题。

该方法可自动地根据评论的特征来识别评论的不同潜在类别，为每一个类别的评论建立二层逻辑斯谛回归模型预测评论的情绪。根据评论的类型特征不同，不同类的评论将采取不同的异构信息源结合权重。

本发明提出的一种融合多信息源的个性化在线新闻评论情绪预测方法的主要步骤如下：

第1、基于单一信息源的在线新闻评论情绪预测

第1.1、基于评论内容的情绪预测

定义1：输入文本的特征向量的定义

①.所有文档的标引词组成的空间为特征空间Ω＝{t₁,t₂,…,t_n}，t_i,i＝1,2,…,n，为在所有文档中互异的标引词，包括字、单词或词组，n为特征的个数；

②.一个文档d可以在特征空间Ω上用标引词组成的向量来表示，即输入文本的特征向量d＝{t_x1,t_x2,…,t_xn}，t_xi表示文档d中第i个标引词t_i的权重；

③.本发明使用的是将标引词在文档中出现的次数作为特征权重；

定义2：评论文档的形式化定义

给定一个用户新闻评论文档集合C，C＝{c⁽¹⁾,c⁽²⁾,…,c^(N)}；

定义3：新闻文档的形式化定义

存在一个与评论文档集合C对应的在线新闻文档集合D，D＝{d⁽¹⁾,d⁽²⁾,…,d^(M)}；

定义4：情绪类别的形式化定义

用户在阅读新闻d^(j)∈D后对其中的新闻事件发表了自己的评论c⁽ⁱ⁾∈C，同时抒发了某种情绪，即本文研究所关注的新闻评论中的用户情绪；

给定一个预定义的情绪类别标签(class label)集合E，E＝{e₁,e₂,…,e_K}，e_k代表新闻评论中可能表达情绪的类别标签，集合E即是该情绪分类问题的输出空间；

定义5：评论特征向量的表示

选取新闻评论c⁽ⁱ⁾∈C的一些特征构成特征向量来表示该评论， $x^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_n^{\left(i\right)}\},$ 表示评论c⁽ⁱ⁾的第j个特征；

所有特征向量存在的空间构成了该情绪分类问题的特征空间，同时也是该情绪分类问题的输入空间；

定义6：评论标注向量的表示

每个评论c⁽ⁱ⁾∈C对应一个标注向量y⁽ⁱ⁾表示评论c⁽ⁱ⁾表达的情绪，如果评论c⁽ⁱ⁾标注的情绪是e_k类，则

$y_r^{\left(i\right)}=\left\{\begin{array}{cc}1,& r=k\\ 0,& r\≠k\end{array}\right.r,k=\mathrm{1,2},...,K---\left(1.1\right)$

定义7：训练集的形式化定义

整个训练集可以表示为T＝{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…(x^(N),y^(N))}；在输入空间和输出空间上分别定义随机变量X和Y，所有的输入评论特征向量与输出情绪类别标签均看成是随机变量X和Y的取值；

定义8：基于评论内容的逻辑斯谛回归模型的定义

给定一个评论c及其特征向量x，根据多元逻辑斯谛回归模型，它被分到情绪ek类的条件概率分布为由特征线性函数表示的软最大函数，

$P(Y=e_k|X=x)=\frac{\exp ({\mathrm{\ω}}_k\·x)}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\ω}}_r\·x)},k=\mathrm{1,2},...,K---\left(1.2\right)$

其中，x＝{x₁,x₂,…,x_n,1}∈Rⁿ⁺¹，ω_k＝{ω_k1,ω_k2,…,ω_kn,b_k}∈Rⁿ⁺¹为对于情绪e_k的权值向量参数；

定义9：基于评论内容的逻辑斯谛回归模型优化目标函数定义

经验风险是关于训练数据集的平均损失，按照经验风险最小化求最优模型，即求解最优化问题：

${\mathrm{\ω}}^{*}=\arg \underset{\mathrm{\ω}}{\min }-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\ω}}_k\·x^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\ω}}_r\·x^{\left(i\right)})}+\mathrm{\λ}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{kj}}^2---\left(1.3\right)$

该模型在定义8的基础上使用了负的极小化对数似然函数，其中N表示文档类型的数目，K表示情绪类别的个数，λ≥0是系数，用以权衡经验风险和正则化项；

第1.2、基于用户情绪投票的情绪预测

对于一个新闻d，用户在阅读该新闻后可对其中的新闻事件发表评论以抒发情绪，也可使用网站提供的用户情绪投票功能，在给定的候选情绪类别标签集合E＝{e₁,e₂,…,e _K}中选择与自己想要表达的情绪相同或相近的情绪类别标签；

定义10：用户投票的形式化定义

将新闻的用户情绪投票信息作为针对该新闻发表的所有评论的元数据(meta data)，即，每个评论c含有与其对应新闻相同的用户情绪投票信息，用ρ＝{ρ₁,ρ₂,…ρ_k}表示，ρ_k是用户对情绪e_k的投票数目；

定义11：评论表达情绪条件概率的定义

假设新闻评论中情绪的分布与用户情绪投票中各情绪的分布相同，给定一个评论c，可用情绪e_k所得票数占总票数的比例，作为该评论c表达情绪e_k的条件概率，即

${\mathrm{\μ}}_k=P(Y=e_k|\mathrm{\ρ})=\frac{{\mathrm{\ρ}}_k}{{\mathrm{\Σ}}_{r=1}^K{\mathrm{\ρ}}_r}---\left(1.4\right)$

第1.3、基于新闻内容的情绪预测

定义12：标引词的形式化定义

选取新闻文本内容和评论文本内容的标引词，Ω＝{t₁,t₂,…,t_m}，t_i,i＝1,2,…,m,为在所有新闻文档和评论文档中互异的标引词；每个标引词在文档中的权重构成该文档的特征向量，特征向量存在的空间构成了该分类问题的特征空间，也是该分类问题的输入空间；

定义13：新闻特征向量的表示

计算新闻d⁽ⁱ⁾∈D中标引词的权重，用标引词权重构成的特征向量表示该新闻的文本内容，则新闻d⁽ⁱ⁾表示为 表示新闻d⁽ⁱ⁾的第j个特征，即标引词t_j,j＝1,2,…,m,在新闻d⁽ⁱ⁾的权重；

定义14：新闻标注向量的表示

每个新闻d⁽ⁱ⁾∈D含有的用户情绪投票信息，用表示，其中是用户对情绪e_k,k＝1,2,…,K,的投票数目；

对新闻的用户情绪投票统计信息进行归一化处理，得到每个情绪e_k所得票数占总票数的比例，即

${\mathrm{\μ}}_k^{\left(i\right)}=\frac{{\mathrm{\ρ}}_k^{\left(i\right)}}{{\mathrm{\Σ}}_{r=1}^K{\mathrm{\ρ}}_r^{\left(i\right)}},i=\mathrm{1,2},...,M---\left(1.5\right)$

将作为其对应新闻d⁽ⁱ⁾所表达情绪的概率分布，即新闻d⁽ⁱ⁾的情绪标注向量；

定义15：训练集的形式化定义

Θ和μ是定义在输入空间和输出空间上的随机变量；整个评论训练数据集表示为T＝{(θ⁽¹⁾,μ⁽¹⁾),(θ⁽²⁾,μ⁽²⁾),…,(θ^(M),μ^(M))}，由P(Θ,μ)独立同分布产生；

定义16：基于新闻内容的逻辑斯谛回归模型的定义

给定一个新闻d⁽ⁱ⁾及其特征向量θ⁽ⁱ⁾，根据多元逻辑斯谛回归模型，该新闻被分到情绪e_k类的条件概率分布为由特征线性函数表示的软最大函数，即

$P(Y=e_k|\mathrm{\Θ}={\mathrm{\θ}}^{\left(i\right)})=\frac{\exp ({\mathrm{\υ}}_k\·{\mathrm{\θ}}^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\υ}}_r\·{\mathrm{\θ}}^{\left(i\right)})},k=\mathrm{1,2},...,K---\left(1.6\right)$

其中，υ_k＝{υ_k1,υ_k2,…,υ_km,b_k}∈R^m+1为对于情绪e_k的权值向量参数；

定义17：基于新闻内容的逻辑斯谛回归模型优化目标函数的定义

与以评论内容作为信息源的逻辑斯谛回归模型类似，基于新闻内容的优化目标函数采用结构风险最小策略选取最优模型，即选取经验风险与正则化项之和最小的模型；

设：整个训练数据集T的似然是每个实例似然的乘积

整个训练数据集的对数似然函数为

$L\left(\mathrm{\υ}\right)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\μ}}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\υ}}_k\·{\mathrm{\θ}}^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\υ}}_r\·{\mathrm{\θ}}^{\left(i\right)})}---\left(1.8\right)$

经验风险是关于训练数据集的平均损失，按照经验风险最小化求最优模型，即求解最优化问题：

${\mathrm{\υ}}^{*}=\arg \underset{\mathrm{\υ}}{\min }-\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\μ}}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\υ}}_k\·{\mathrm{\θ}}^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\υ}}_r\·{\mathrm{\θ}}^{\left(i\right)})}+\mathrm{\λ}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{m+1}{\mathrm{\Σ}}}{\mathrm{\υ}}_{\mathrm{kj}}^2---\left(1.9\right)$

其中，λ≥0是系数，用以权衡经验风险和正则化项；

第2、融合多信息源的个性化在线新闻评论情绪预测

第2.1、问题的形式化定义

定义18：特征向量的表示

对于评论c⁽ⁱ⁾∈C，将其由多种单一信息源情绪预测方法输出的对于每个情绪类别e_k∈E(k＝1,2,…,K)的条件概率分布与常量1一起作为该评论的特征ψ⁽ⁱ⁾，n为特征的个数，为情绪类别个数K的整倍数，即n＝βK，β∈N，β即异构信息源种类的个数；所有特征向量存在的空间构成该分类问题的特征空间，也是输入空间；

采用以评论内容作为信息源的基于逻辑斯谛回归模型的情绪预测方法S_CC、以新闻内容作为信息源的情绪预测方法S_CN以及以用户情绪投票作为信息源的情绪预测方法S_UEV这三种异构信息源的输出结果进行情绪预测，则特征向量ψ⁽ⁱ⁾为

${\mathrm{\ψ}}^{\left(i\right)}=\{{\mathrm{\ξ}}_1^{\left(i\right)},{\mathrm{\ξ}}_2^{\left(i\right)},...,{\mathrm{\ξ}}_K^{\left(i\right)},{\mathrm{\η}}_1^{\left(i\right)},{\mathrm{\η}}_2^{\left(i\right)},...,{\mathrm{\η}}_K^{\left(i\right)},{\mathrm{\μ}}_K^{\left(i\right)},{\mathrm{\μ}}_1^{\left(i\right)},{\mathrm{\μ}}_2^{\left(i\right)},...,{\mathrm{\μ}}_K^{\left(i\right)},1\}---\left(2.1\right)$

其中，分别是方法S_CC、S_CN、S_UEV输出的对于情绪类别e_k∈E的条件概率分布k＝1,2,…,K；

定义19：标注向量的表示

每个评论c⁽ⁱ⁾∈C对应一个标注向量y⁽ⁱ⁾来表示评论c⁽ⁱ⁾表达的情绪， ⁾如果评论c⁽ⁱ⁾标注的情绪是e_k类，则

$y_r^{\left(i\right)}=\left\{\begin{array}{cc}1,& r=k\\ 0,& r\≠k\end{array}\right.---\left(2.2\right)$

定义20：训练集的形式化定义

于是整个训练集可以表示为T＝{(ψ⁽¹⁾,y⁽¹⁾),(ψ⁽²⁾,y⁽²⁾),…(ψ^(N),y^(N))}；在输入空间和输出空间上分别定义随机变量X和Y，所有的输入评论与输出情绪类别分别看成是随机变量X和Y的取值；

第2.2、基于潜在评论类别的个性化情绪预测方法

定义21：基于潜在评论类别的再分类方法的定义

$P\left(e_k\right|c^{\left(i\right)})=P_{\mathrm{\ω},\mathrm{\α}}\left(e_k\right|{\mathrm{\ψ}}^{\left(i\right)},f^{\left(i\right)})=\underset{z=1}{\overset{Z}{\mathrm{\Σ}}}\frac{\exp ({\mathrm{\α}}_z\·f^{\left(i\right)})}{{\mathrm{\Σ}}_{l=1}^Z\exp ({\mathrm{\α}}_l\·f^{\left(i\right)})}\frac{\exp ({\mathrm{\ω}}_{\mathrm{zk}}\·{\mathrm{\ψ}}^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^k\exp ({\mathrm{\ω}}_{\mathrm{zr}}\·{\mathrm{\ψ}}^{\left(i\right)})}---\left(2.3\right)$

其中，Z为潜在评论类别的个数，f⁽ⁱ⁾是评论c⁽ⁱ⁾的用于选择评论潜在类别的特征向量，α_z是潜在类别z的权重参数；这就是结合多种异构信息源基于潜在类别再分类方法的形式化表述；

定义22：潜在类别个数定义

本发明选择Akaike信息量准则(Akaike Information Criteria，AIC)作为模型选择准则来获取最优的潜在类别个数

$Z^{*}=\arg \underset{Z}{\min }2(\mathrm{ZKn}+\mathrm{Zm})-2L_Z(\mathrm{\ω},\mathrm{\α})$

其中Z是潜在类别的个数，K是情绪类别的个数，n是异构信息源特征向量的维数，m是用于选择评论潜在类别的特征向量的维数，Z×K×n即所有参数ω的个数，Z×m是所有参数α的个数。

本发明的优点和积极效果：

本发明对在线新闻评论及跨领域在线新闻评论的情绪预测问题进行了系统和深入的研究。归纳起来，本发明主要的优点和积极效果包括：

第一，提出了基于单一信息源的情绪预测系列方法。包括以评论文本内容作为信息源、分别基于逻辑斯谛回归模型和朴素贝叶斯模型两种概率模型的新闻评论情绪预测方法S_CC和S_CC_NB，以新闻文本内容作为信息源的基于逻辑斯谛回归模型的新闻评论情绪预测方法S_CN和以用户情绪投票信息作为信息源的基于统计方法的新闻评论情绪预测方法S_UEV。

第二，提出了一种融合多信息源的个性化在线新闻评论情绪预测方法。基于评论潜在类别的再分类方法LMC可自动识别用户评论的潜在类别，为每个类别的评论学习最优的多种异构信息源合并策略，在处理大量差异较大的评论集合时更具优势。

了解新闻评论中的用户情感，掌握网民态度和情绪变化，可辅助在线新闻服务商理解用户的偏好，为用户提供更好的个性化服务；同时，有助于政府进行民意问询和公共管理决策，有效实现舆情分析和监控。因此，自动判别用户在新闻评论中所表达的情感，尤其是具体情绪，具有重要的理论意义和实用价值。

附图说明

图1是整个发明的流程示意图。

图2是评论内容和新闻内容的范例。

图3是评论内容和新闻内容分词后的结果。

图4是查找情感词汇表后的结果(基于评论内容的)。

图5是查找情感词汇表后的结果(基于新闻内容的)。

图6是评论的标注结果。

图7是用户的投票。

图8是新闻内容的用户投票比例。

图9是基于潜在评论类别的再分类方法。

图10是新浪新闻社会数据集的评论标注情绪类别的统计信息。

具体实施方式

本发明属于情感分析问题，提出了一种融合多信息源的个性化在线新闻评论情绪预测方法，方法整体流程如图1所示。

本发明以新浪数据集作为示例，包括2011年1月至2011年6月部分新浪新闻社会频道(Society Channel)点击量较多的热点新闻，和它们的热点评论以及用户情绪投票信息，图10为数据集的统计信息。

对于数据集中的每一条评论，请专家标注情绪类别标签。文本特征采用新闻评论文本内容中情绪词汇的词频。首先使用中国科学院计算技术研究所研制的汉语词法分析系统ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System)提供的中文分词功能，对新闻和评论的文本内容进行分词，再使用NTU情感分析词典和Hownet情感词典抽取表达情绪的词汇，最后统计情绪词汇的出现次数，即为词频，用词频构成每一条评论或者新闻的特征向量。

本发明以评论内容(见图2)的情感为预测目标，之后其它的附图对该方法的核心内容加以解释。

第1、基于单一信息源的在线新闻评论情绪预测

第1.1、基于评论内容的情绪预测

对于图2所示的评论内容：“祝周昌奎一家幸福平安，要照顾好二个家庭父母，你的选择是对的！”进行分词，如图3：“祝、周昌奎、幸福、平安、要、照顾、好、二个、家庭、父母、你、选择、对”。查找情感词汇表后的结果为幸福和平安各出现一次，如图4所示，所以最后的评论特征向量x为{1,0,1,0,0……0}。所有这样的特征向量存在的空间构成了该情绪分类问题的输入空间。

接下来将评论的特征向量和标注向量带入模型的损失函数

${\mathrm{\ω}}^{*}=\arg \underset{\mathrm{\ω}}{\min }-\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\ω}}_k\·x^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\ω}}_r\·x^{\left(i\right)})}+\mathrm{\λ}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{kj}}^2$

按照梯度下降法的流程或BFGS拟牛顿法流程即可求得模型中参数的最优解ω^*。具体算法如下：

算法1：求正则化逻辑斯谛模型最优系数的交叉验证算法

输入：用户评论文档集合C，C对应的评论训练数据集T，系数变化值ρ，系数可取的最小值λ_min和最大值λ_max，交叉验证折数S

输出：使正则化逻辑斯谛模型损失最小的系数λ^*

①./*不同λ取值时模型误差的集合*/

②.取初始值λ＝λ_min；

③.将训练数据集分成S个子集，置子集标识变量t＝1；

④.将第t个子集T_t作为测试集，其余S-1份子集作为训练集；

⑤.用BFGS拟牛顿法在S-1份子集组成的训练集上解目标函数为

$\underset{\mathrm{\ω}\∈R^{n+1}}{\min }E\left(\mathrm{\ω}\right)+\mathrm{\λR}\left(\mathrm{\ω}\right)=-\underset{i\∈T-T_t}{\mathrm{\Σ}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\ω}}_k\·x^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\mathrm{\ω}}_r\·x^{\left(i\right)})}+\mathrm{\λ}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{\mathrm{kj}}^2$

的最优化问题，求得参数的估计值

⑥.取第t个子集T_t中的每一个评论c⁽ⁱ⁾，根据其特征向量计算

$P(Y=e_k|X=x^{\left(i\right)})=\frac{\exp ({\widehat{\mathrm{\ω}}}_k\·x^{\left(i\right)})}{{\mathrm{\Σ}}_{r=1}^K\exp ({\widehat{\mathrm{\ω}}}_r\·x^{\left(i\right)})},k=\mathrm{1,2},...,K$

确定评论c⁽ⁱ⁾的情绪类别 ${\hat{e}}^{\left(i\right)}=\arg \underset{k}{\max }P(Y=e_k|X=x^{\left(i\right)})$

计算评论c⁽ⁱ⁾的损失

则整个子集T_t的测试误差和为

⑦.累积当系数是λ时训练数据集的测试误差，

Error[(λ-λ_min)/ρ+1]＝Error[(λ-λ_min)/ρ+1]+err_t；

⑧.则t<S，则t＝t+1，转向步骤④；

⑨.若λ＜λ_max，则λ＝λ+ρ，转向步骤③；

⑩.确定使训练集上测试误差最小的系数

在最后得到λ^*的最优值，然后使用以评论内容作为信息源的情绪预测方法(S_CC方法)，其具体流程如下：

算法2：以评论内容作为信息源的情绪预测方法(S_CC方法)

输入：用户评论文档集合C，C对应的评论训练数据T，测试评论c，c的特征向量x

输出：评论c的情绪类别y

①.用算法1在训练数据集中学习出最优的系数

②.用BFGS拟牛顿法解目标函数为

$\underset{\mathrm{\&omega;}\&Element;R^{n+1}}{\min }E\left(\mathrm{\&omega;}\right)+\widehat{\mathrm{\&lambda;}}R\left(\mathrm{\&omega;}\right)=-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&omega;}}_k\&CenterDot;x^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_r\&CenterDot;x^{\left(i\right)})}+\widehat{\mathrm{\&lambda;}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n+1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{kj}}^2$

的最优化问题，求得参数的估计值

③.对于给定的测试评论c，根据其特征向量x＝{x₁,x₂,…,x_K}，计算

$P(Y=e_k|X=x)=\frac{\exp ({\widehat{\mathrm{\&omega;}}}_k\&CenterDot;x)}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\widehat{\mathrm{\&omega;}}}_r\&CenterDot;x)},k=1,2,...,K$

最后得到的情绪概率分别为{41.0％，23.7％，0.1％，0.9％，0.6％，0％，32.6％，1.1％}；④.确定评论c的情绪类别 $y=\arg \underset{e_k}{\max }P(Y=e_k|X=x)$

最后选择上一步中概率最大的情绪感动，41％，预测最后的情绪为感动。

第1.2、基于用户情绪投票的情绪预测

对于一个新闻d，用户在阅读该新闻后可对其中的新闻事件发表评论以抒发情绪，同时也会使用网站提供的用户情绪投票功能，如图7，{35,3,0,9,6,1,20,11}为一用户的投票数目，带入模型中

${\mathrm{\&mu;}}_k=P(Y=e_k|\mathrm{\&rho;})=\frac{{\mathrm{\&rho;}}_k}{{\mathrm{\&Sigma;}}_{r=1}^K{\mathrm{\&rho;}}_r}$

具体数据见图8，算法如下：

算法3：以用户情绪投票信息作为信息源的情绪预测方法(S_UEV方法)

输入：测试评论c，用户对集合E中情绪的投票信息ρ

输出：评论c的情绪类别y

①.对于给定的测试评论c，根据其用户情绪投票信息ρ＝(ρ₁,ρ₂,…,ρ_K)，计算

$P(Y=e_k|\mathrm{\&rho;})=\frac{{\mathrm{\&rho;}}_k}{{\mathrm{\&Sigma;}}_{r=1}^K{\mathrm{\&rho;}}_r},k=\mathrm{1,2},...,K$

根据图8，用户情绪为感动的概率为其它的情绪概率计算类似；

②.确定评论c的情绪类别

$y=\arg \underset{e_k}{\max }P(Y=e_k|\mathrm{\&rho;})$

最后选择上一步中概率最大的情绪感动，41.2％，预测最后的情绪为感动。

第1.3、基于新闻内容的情绪预测

分词后的新闻内容和评论内容的结果如图3所示，最后的标引词的结果如图5所示。最后的评论特征向量为{1,0,1,0,1,1……0}，如图5所示。所有这样的特征向量存在的空间构成了该情绪分类问题的输入空间。如图8所示，最后的新闻标注向量为{41.0％,23.7％,0.1％,0.9％,0.6％,0％,32.6％,1.1％}。所有这样的特征向量存在的空间构成了该情绪分类问题的输出空间。

接下来将评论的特征向量和标注向量带入模型的损失函数

${\mathrm{\&omega;}}^{*}=\arg \underset{\mathrm{\&omega;}}{\min }-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&omega;}}_k\&CenterDot;x^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_r\&CenterDot;x^{\left(i\right)})}+\mathrm{\&lambda;}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n+1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{kj}}^2$

按照梯度下降法的流程或BFGS拟牛顿法流程即可求得模型中参数的最优解ω^*。具体算法如下：

算法4：以新闻内容作为信息源的新闻评论情绪预测方法(S_CN方法)

输入：新闻文档集合D，D对应的新闻训练数据集T，测试评论c及其特征向量x

输出：评论c的情绪类别y

①.用交叉验证的方法在新闻训练数据集中学习出最优的系数

②.用BFGS拟牛顿法解目标函数为

$\underset{\mathrm{\&upsi;}\&Element;R^{m+1}}{\min }E\left(\mathrm{\&upsi;}\right)+\widehat{\mathrm{\&lambda;}}R\left(\mathrm{\&upsi;}\right)=-\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_k^{\left(i\right)}\log \frac{\exp \left({\mathrm{\&upsi;}}_k^T{\mathrm{\&theta;}}^{\left(i\right)}\right)}{{\mathrm{\&Sigma;}}_{r=1}^K\exp \left({\mathrm{\&upsi;}}_r^T{\mathrm{\&theta;}}^{\left(i\right)}\right)}+\widehat{\mathrm{\&lambda;}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m+1}{\mathrm{\&Sigma;}}}{\mathrm{\&upsi;}}_{\mathrm{kj}}^2$

的最优化问题，求得参数的估计值

③.对于给定的测试评论c，根据其特征向量x＝{x₁,x₂,…,x_m}，计算

$P(Y=e_k|Z=x)=\frac{\exp ({\widehat{\mathrm{\&upsi;}}}_k\&CenterDot;x)}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\widehat{\mathrm{\&upsi;}}}_r\&CenterDot;x)},k=\mathrm{1,2},...,K$

最后得到的情绪概率分别为{41.0％,23.7％,0.1％,0.9％,0.6％,0％,32.6％,1.1％}；

④.确定评论c的情绪类别

$y=\arg \underset{e_k}{\max }P(Y=e_k|\mathrm{\&theta;}=x)$

最后选择上一步中概率最大的情绪感动，41％，预测最后的情绪为感动。

第2、融合多信息源的个性化在线新闻评论情绪预测

在经过基于单一信息源的在线新闻评论情绪预测之后，采用以评论内容作为信息源的基于逻辑斯谛回归模型的情绪预测方法S_CC、以新闻内容作为信息源的情绪预测方法S_CN以及以用户情绪投票作为信息源的情绪预测方法S_UEV，这三种异构信息源的输出结果进行情绪预测，则特征向量ψ⁽ⁱ⁾为

${\mathrm{\&psi;}}^{\left(i\right)}=\{{\mathrm{\&xi;}}_1^{\left(i\right)},{\mathrm{\&xi;}}_2^{\left(i\right)},...,{\mathrm{\&xi;}}_K^{\left(i\right)},{\mathrm{\&eta;}}_1^{\left(i\right)},{\mathrm{\&eta;}}_2^{\left(i\right)},...,{\mathrm{\&eta;}}_K^{\left(i\right)},{\mathrm{\&mu;}}_1^{\left(i\right)},{\mathrm{\&mu;}}_2^{\left(i\right)},...,{\mathrm{\&mu;}}_K^{\left(i\right)},1\}$

例如：以评论内容作为信息源的基于逻辑斯谛回归模型的情绪预测方法S_CC的输出是{41.0％,23.7％,0.1％,0.9％,0.6％,0％,32.6％,1.1％}；

以新闻内容作为信息源的情绪预测方法S_CN的输出是{11.0％,33.7％,0.1％,1.9％,0.6％,0.1％,32.3％,1.3％}；

以用户情绪投票作为信息源的情绪预测方法S_UEV的输出是{1.0％,53.7％,0.6％,1.4％,0％,0％,33.2％,1.1％}；

那么最后的输入的特征向量应该是：{41.0％,23.7％,0.1％,0.9％,0.6％,0％,32.6％,1.1％,11.0％,33.7％,0.1％,1.9％,0.6％,0.1％,32.3％,1.3％,1.0％,53.7％,0.6％,1.4％,0％,0％,33.2％,1.1％,1}。

所有这样的特征向量存在的空间构成了该情绪分类问题的输入空间。

接下来将评论的特征向量和标注向量带入模型的损失函数然后按照梯度下降法的流程或BFGS拟牛顿法流程即可求得模型中参数的最优解。具体算法如下：

算法5(基于潜在类别再分类模型参数估计的EM算法)

输入：用户评论文档集合C，C对应的评论观测变量数据T，计算精度ε

输出：模型参数ω^*和α^*

①.选择参数的初值ω⁽⁰⁾和α⁽⁰⁾，置s＝0，开始迭代；

②.E步：记ω^(s)和α^(s)为第s次迭代参数ω和α的估计值，在第s+1次迭代的E步，计算在给定观测数据((ψ^(s),f^(s)),y^(s))和当前的参数估计ω^(s)和α^(s)下隐变量z的条件概率分布，

$Q_i^{\left(s\right)}\left(z\right)=\frac{\exp ({\mathrm{\&alpha;}}_z^{\left(s\right)}\&CenterDot;f^{\left(i\right)})\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\frac{\exp ({\mathrm{\&omega;}}_{\mathrm{zk}}^{\left(s\right)}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_{\mathrm{zr}}^{\left(s\right)}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}}{{\mathrm{\&Sigma;}}_{l=1}^Z\left(\exp ({\mathrm{\&alpha;}}_l^{\left(s\right)}\&CenterDot;f^{\left(i\right)})\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\frac{\exp ({\mathrm{\&omega;}}_{\mathrm{lk}}^{\left(z\right)}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_{\mathrm{lr}}^{\left(s\right)}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}\right)}$

并得到将要极大化的对数似然函数的下界L(ω^(s),α^(s))，

$L({\mathrm{\&omega;}}^{\left(s\right)},{\mathrm{\&alpha;}}^{\left(s\right)})=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{z}{\mathrm{\&Sigma;}}{Q}_i^{\left(s\right)}\left(z\right)(\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&alpha;}}_z^{\left(s\right)}\&CenterDot;f^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{l=1}^Z\exp ({\mathrm{\&alpha;}}_l^{\left(s\right)}\&CenterDot;{f\left(i\right)}^{})}\frac{\exp ({\mathrm{\&omega;}}_{\mathrm{zk}}^{\left(s\right)}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_{\mathrm{zr}}^{\left(s\right)}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}-\log Q_i^{\left(s\right)}\left(z\right))$

当||L(ω^(s),α^(s))-L(ω^(s-1),α^(s-1))||<ε(s>1)时，停止迭代；

③.M步：极小化负的对数似然函数

$\underset{\mathrm{\&omega;},\mathrm{\&alpha;}}{\min }E(\mathrm{\&omega;},\mathrm{\&alpha;})=-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{z}{\mathrm{\&Sigma;}}{Q}_i^{\left(s\right)}\left(z\right)(\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&alpha;}}_z\&CenterDot;f^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{l=1}^Z\exp ({\mathrm{\&alpha;}}_l\&CenterDot;f^{\left(i\right)})}\frac{\exp ({\mathrm{\&omega;}}_{\mathrm{zk}}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_{\mathrm{zr}}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}-\log Q_i^{\left(s\right)}\left(z\right))$

分别对参数ω和α进行极小化优化，目标函数为

${\mathrm{\&alpha;}}^{(s+1)}=\arg \underset{\mathrm{\&alpha;}}{\min }-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{z=1}{\overset{Z}{\mathrm{\&Sigma;}}}{Q}_i\left(z\right)\log \frac{\exp ({\mathrm{\&alpha;}}_z\&CenterDot;f^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{l=1}^Z\exp ({\mathrm{\&alpha;}}_l\&CenterDot;f^{\left(i\right)})}$

梯度函数分别为

$\frac{\&PartialD;E(\mathrm{\&omega;},\mathrm{\&alpha;})}{\&PartialD;{\mathrm{\&omega;}}_{\mathrm{zj}}}=-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{Q}_i\left(z\right)\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}(I_{\mathrm{kj}}-\frac{\exp ({\mathrm{\&omega;}}_{\mathrm{zk}}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_{\mathrm{zr}}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}){\mathrm{\&psi;}}^{\left(i\right)},j=\mathrm{1,2},...,K$

$\frac{\&PartialD;E(\mathrm{\&omega;},\mathrm{\&alpha;})}{\&PartialD;{\mathrm{\&alpha;}}_j}=-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{z}{\mathrm{\&Sigma;}}{Q}_i\left(z\right)(I_{\mathrm{zj}}-\frac{\exp ({\mathrm{\&alpha;}}_z\&CenterDot;f^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{l=1}^Z\exp ({\mathrm{\&alpha;}}_l\&CenterDot;f^{\left(i\right)})})f^{\left(i\right)},j=\mathrm{1,2},...,Z$

这里，I_kj为指示函数，即当k＝j时，I_kj为1，否则I_kj为0；I_zj为指示函数，即当z＝j时，I_zj为1，否则I_zj为0；

用BFGS算法拟牛顿法求得第s+1次迭代的参数ω和α的估计值ω^(s+1)和α^(s+1)，置s＝s+1，转E步；

④.令ω^*＝ω^(s)，α^*＝α^(s)；

最后得到ω^*，α^*的最优值，然后使用结合异构信息源的基于潜在类别的再分类情绪预测方法(Latent Meta Classification，LMC)，其具体流程如下：

算法6：结合异构信息源的基于潜在类别的再分类情绪预测方法(LMC方法)

输入：用户评论文档集合C，C对应的训练数据集合T，潜在类别个数Z，测试评论c，c的异构信息源特征向量ψ和用于选择评论潜在类别的特征向量f

输出：评论c的情绪类别y

①.用算法5求得参数的估计值和

其中为Z×K×n的三维矩阵，代表文本特征的权重，α为Z×m的二维矩阵，代表潜在变量的权重，因为维数太高，就不在这里举例说明。

②.对于给定的测试评论c，根据其特征向量ψ＝{ψ₁,ψ₂,…,ψ_n,1}和f＝{f₁,f₂,…,f_m,1}，计算

$P\left(e_k\right|\mathrm{\&psi;},f)=\underset{z=1}{\overset{Z}{\mathrm{\&Sigma;}}}\frac{\exp ({\widehat{\mathrm{\&alpha;}}}_z\&CenterDot;f)}{{\mathrm{\&Sigma;}}_{l=1}^Z\exp ({\widehat{\mathrm{\&alpha;}}}_l\&CenterDot;f)}\frac{\exp ({\widehat{\mathrm{\&omega;}}}_{\mathrm{zk}}\&CenterDot;\mathrm{\&psi;})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\widehat{\mathrm{\&omega;}}}_{\mathrm{zr}}\&CenterDot;\mathrm{\&psi;})},k=\mathrm{1,2},...,K$

对于如图2的新闻，新闻评论和图7的情感投票带入到以上公式中后，计算每类情感相应的概率P(e_k|ψ,f)＝{27.1％,13.4％,20.8％,8.1％,12.6％,14.5％,2％,1.5％}

③.确定评论c的情绪类别

$y=\arg \underset{e_k}{\max }P\left(e_k\right|\mathrm{\&psi;},f)$

此步骤即比较得到的P(e_k|ψ,f)k＝1,2,...,K的大小，取值比较大的那个情况下的情感倾向性为评论的情绪类别，根据第二步中，故预测该评论的情绪类别为感动，和专家标注的情感一致，从中可以看到本发明算法的准确性。

Claims (1)

1.一种融合多信息源的个性化在线新闻评论情绪预测方法，包括如下步骤：

第1、基于单一信息源的在线新闻评论情绪预测

第1.1、基于评论内容的情绪预测

定义1：输入文本的特征向量的定义

①.所有文档的标引词组成的空间为特征空间Ω＝{t₁,t₂,…,t_n}，t_i,i＝1,2,…,n，为在所有文档中互异的标引词，包括字、单词或词组，n为特征的个数；

②.一个文档d在特征空间Ω上用标引词组成的向量来表示，即输入文本的特征向量d＝{t_x1,t_x2,…,t_xn}，t_xi表示文档d中第i个标引词t_i的权重；

③.本发明是将标引词在文档中出现的次数作为特征权重；

定义2：评论文档的形式化定义

给定一个用户新闻评论文档集合C，C＝{c⁽¹⁾,c⁽²⁾,…,c^(N)}；

定义3：新闻文档的形式化定义

存在一个与评论文档集合C对应的在线新闻文档集合D，D＝{d⁽¹⁾,d⁽²⁾,…,d^(M)}；

定义4：情绪类别的形式化定义

用户在阅读新闻d^(j)∈D后对其中的新闻事件发表了自己的评论c⁽ⁱ⁾∈C，同时抒发了某种情绪，即本文研究所关注的新闻评论中的用户情绪；

给定一个预定义的情绪类别标签(class label)集合E，E＝{e₁,e₂,…,e_K}，e_k代表新闻评论中可能表达情绪的类别标签，集合E即是该情绪分类问题的输出空间；

定义5：评论特征向量的表示

选取新闻评论c⁽ⁱ⁾∈C的一些特征构成特征向量来表示该评论， $x^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_n^{\left(i\right)}\},$ 表示评论c⁽ⁱ⁾的第j个特征；

所有特征向量存在的空间构成了该情绪分类问题的特征空间，同时也是该情绪分类问题的输入空间；

定义6：评论标注向量的表示

每个评论c⁽ⁱ⁾∈C对应一个标注向量y⁽ⁱ⁾表示评论c⁽ⁱ⁾表达的情绪，如果评论c⁽ⁱ⁾标注的情绪是e_k类，则

$y_r^{\left(i\right)}=\left\{\begin{array}{c}1,r=k\\ 0,r\&NotEqual;k\end{array}\right.,r,k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,K---\left(1.1\right)$

定义7：训练集的形式化定义

整个训练集表示为T＝{(x⁽¹⁾,y⁽¹⁾),(x⁽²⁾,y⁽²⁾),…(x^(N),y^(N))}；在输入空间和输出空间上分别定义随机变量X和Y，所有的输入评论特征向量与输出情绪类别标签均看成是随机变量X和Y的取值；

定义8：基于评论内容的逻辑斯谛回归模型的定义

给定一个评论c及其特征向量x，根据多元逻辑斯谛回归模型，它被分到情绪e_k类的条件概率分布为由特征线性函数表示的软最大函数，

$P=(Y=e_k|X=x)=\frac{\exp ({\mathrm{\&omega;}}_k\&CenterDot;x)}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_r\&CenterDot;x)},k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;K\left(1.2\right)$

其中，x＝{x₁,x₂,…,x_n,1}∈Rⁿ⁺¹，ω_k＝{ω_k1,ω_k2,…,ω_kn,b_k}∈Rⁿ⁺¹为对于情绪e_k的权值向量参数；

定义9：基于评论内容的逻辑斯谛回归模型优化目标函数定义

经验风险是训练数据集的平均损失，按照经验风险最小化求最优模型，即求解最优化问题：

${\mathrm{\&omega;}}^{*}\arg \underset{\mathrm{\&omega;}}{\min }-\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{y}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&omega;}}_k\&CenterDot;x^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_r\&CenterDot;x^{\left(i\right)})}+\mathrm{\&lambda;}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n+1}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{\mathrm{kj}}^2---\left(1.3\right)$

该模型在定义8的基础上使用了负的极小化对数似然函数，其中N表示文档类型的数目，K表示情绪类别的个数，λ≥0是系数，用以权衡经验风险和正则化项；

第1.2、基于用户情绪投票的情绪预测

对于一个新闻d，用户在阅读该新闻后可对其中的新闻事件发表评论以抒发情绪，也可使用网站提供的用户情绪投票功能，在给定的候选情绪类别标签集合E＝{e₁,e₂,…,e_K}中选择与自己想要表达的情绪相同或相近的情绪类别标签；

定义10：用户投票的形式化定义

将新闻的用户情绪投票信息作为针对该新闻发表的所有评论的元数据(meta data)，即每个评论c含有与其对应新闻相同的用户情绪投票信息，用ρ＝{ρ₁,ρ₂,…ρ_K}表示，ρ_k是用户对情绪e_k的投票数目；

定义11：评论表达情绪条件概率的定义

假设新闻评论中情绪的分布与用户情绪投票中各情绪的分布相同，给定一个评论c，可用情绪e_k所得票数占总票数的比例，作为该评论c表达情绪e_k的条件概率，即

${\mathrm{\&mu;}}_k=P(Y=e_k|\mathrm{\&rho;})=\frac{{\mathrm{\&rho;}}_k}{{\mathrm{\&Sigma;}}_{r=1}^K{\mathrm{\&rho;}}_r}---\left(1.4\right)$

第1.3、基于新闻内容的情绪预测

定义12：标引词的形式化定义

选取新闻文本内容和评论文本内容的标引词，Ω＝{t₁,t₂,…,t_m}，t_i,i＝1,2,…,m,为在所有新闻文档和评论文档中互异的标引词；每个标引词在文档中的权重构成该文档的特征向量，特征向量存在的空间构成了该分类问题的特征空间，也是该分类问题的输入空间；

定义13：新闻特征向量的表示

计算新闻d⁽ⁱ⁾∈D中标引词的权重，用标引词权重构成的特征向量表示该新闻的文本内容，则新闻d⁽ⁱ⁾表示为表示新闻d⁽ⁱ⁾的第j个特征，即标引词t_j,j＝1,2,…,m,在新闻d⁽ⁱ⁾的权重；

定义14：新闻标注向量的表示

每个新闻d⁽ⁱ⁾∈D含有的用户情绪投票信息，用表示，其中是用户对情绪e_k,k＝1,2,…,K,的投票数目；

对新闻的用户情绪投票统计信息进行归一化处理，得到每个情绪e_k所得票数占总票数的比例，即

${\mathrm{\&mu;}}_k^{\left(i\right)}=\frac{{\mathrm{\&rho;}}_k^{\left(i\right)}}{{\mathrm{\&Sigma;}}_{r=1}^K{\mathrm{\&rho;}}_r^{\left(i\right)}},i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,M---\left(1.5\right)$

将作为其对应新闻d⁽ⁱ⁾所表达情绪的概率分布，即新闻d⁽ⁱ⁾的情绪标注向量；

定义15：训练集的形式化定义

Θ和μ是定义在输入空间和输出空间上的随机变量；整个评论训练数据集表示为T＝{(θ⁽¹⁾,μ⁽¹⁾),(θ⁽²⁾,μ⁽²⁾),…,(θ^(M),μ^(M))}，由P(Θ,μ)独立同分布产生；

定义16：基于新闻内容的逻辑斯谛回归模型的定义

给定一个新闻d⁽ⁱ⁾及其特征向量θ⁽ⁱ⁾，根据多元逻辑斯谛回归模型，该新闻被分到情绪e_k类的条件概率分布为由特征线性函数表示的软最大函数，即

$P(Y=e_k|\mathrm{\&Theta;}{=\mathrm{\&theta;}}^{\left(i\right)})=\frac{\exp ({\mathrm{\&upsi;}}_k\&CenterDot;{\mathrm{\&theta;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&upsi;}}_r\&CenterDot;{\mathrm{\&theta;}}^{\left(i\right)})},k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,K---\left(1.6\right)$

其中，υ_k＝{υ_k1,υ_k2,…,υ_km,b_k}∈R^m+1为对于情绪e_k的权值向量参数；

定义17：基于新闻内容的逻辑斯谛回归模型优化目标函数的定义

与以评论内容作为信息源的逻辑斯谛回归模型类似，基于新闻内容的优化目标函数采用结构风险最小策略选取最优模型，即选取经验风险与正则化项之和最小的模型；

设：整个训练数据集T的似然是每个实例似然的乘积

$l\left(\mathrm{\&upsi;}\right)=\underset{i=1}{\overset{M}{\mathrm{\&Pi;}}}\underset{k=1}{\overset{K}{\mathrm{\&Pi;}}}{\mathrm{\&eta;}}_k^{{\left(i\right)}^{{\mathrm{\&mu;}}_k^{\left(i\right)}}}---\left(1.7\right)$

整个训练数据集的对数似然函数为

$L\left(\mathrm{\&upsi;}\right)=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&upsi;}}_k\&CenterDot;{\mathrm{\&theta;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&upsi;}}_r\&CenterDot;{\mathrm{\&theta;}}^{\left(i\right)})}---\left(1.8\right)$

经验风险是关于训练数据集的平均损失，按照经验风险最小化求最优模型，即求解最优化问题：

${\mathrm{\&upsi;}}^{*}=\mathrm{arh}\underset{\mathrm{\&upsi;}}{\min }-\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&mu;}}_k^{\left(i\right)}\log \frac{\exp ({\mathrm{\&upsi;}}_k\&CenterDot;{\mathrm{\&theta;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&upsi;}}_r\&CenterDot;{\mathrm{\&theta;}}^{\left(i\right)})}+\mathrm{\&lambda;}\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{m+1}{\mathrm{\&Sigma;}}}{\mathrm{\&upsi;}}_{\mathrm{kj}}^2---\left(1.9\right)$

其中，λ≥0是系数，用以权衡经验风险和正则化项；

第2、融合多信息源的个性化在线新闻评论情绪预测

第2.1、问题的形式化定义

定义18：特征向量的表示

对于评论c⁽ⁱ⁾∈C，将其由多种单一信息源情绪预测方法输出的对于每个情绪类别e_k∈E(k＝1,2,…,K)的条件概率分布与常量1一起作为该评论的特征ψ⁽ⁱ⁾，n为特征的个数，为情绪类别个数K的整倍数，即n＝βK，β∈N，β即异构信息源种类的个数；所有特征向量存在的空间构成该分类问题的特征空间，也是输入空间；

采用以评论内容作为信息源基于逻辑斯谛回归模型的情绪预测方法S_CC、以新闻内容作为信息源的情绪预测方法S_CN以及以用户情绪投票作为信息源的情绪预测方法S_UEV这三种异构信息源的输出结果进行情绪预测，则特征向量ψ⁽ⁱ⁾为

${\mathrm{\&psi;}}^{\left(i\right)}=\{{\mathrm{\&xi;}}_1^{\left(i\right)},{\mathrm{\&xi;}}_2^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&xi;}}_K^{\left(i\right)},{\mathrm{\&eta;}}_1^{\left(i\right)},{\mathrm{\&eta;}}_2^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&eta;}}_K^{\left(i\right)},{\mathrm{\&mu;}}_1^{\left(i\right)},{\mathrm{\&mu;}}_2^{\left(i\right)},\&CenterDot;\&CenterDot;\&CenterDot;,{\mathrm{\&mu;}}_K^{\left(i\right)},1\}---\left(2.1\right)$

其中，分别是方法S_CC、S_CN、S_UEV输出的对于情绪类别e_k∈E的条件概率分布k＝1,2,…,K；

定义19：标注向量的表示

每个评论c⁽ⁱ⁾∈C对应一个标注向量y⁽ⁱ⁾来表示评论c⁽ⁱ⁾表达的情绪，如果评论c⁽ⁱ⁾标注的情绪是e_k类，则

$y_r^{\left(i\right)}=\left\{\begin{array}{c}1,r=k\\ 0,r\&NotEqual;k\end{array}\right.---\left(2.2\right)$

定义20：训练集的形式化定义

于是整个训练集表示为T＝{(ψ⁽¹⁾,y⁽¹⁾),(ψ⁽²⁾,y⁽²⁾),…,(ψ^(N),y^(N))}；在输入空间和输出空间上分别定义随机变量X和Y，所有的输入评论与输出情绪类别分别看成是随机变量X和Y的取值；

第2.2、基于潜在评论类别的个性化情绪预测方法

定义21：基于潜在评论类别的再分类方法的定义

$P\left(e_k\right|c^{\left(i\right)})=P_{\mathrm{\&omega;},\mathrm{\&alpha;}}\left(e_k\right|{\mathrm{\&psi;}}^{\left(i\right)},f^{\left(i\right)})=\underset{z=1}{\overset{Z}{\mathrm{\&Sigma;}}}\frac{\exp ({\mathrm{\&alpha;}}_z\&CenterDot;f^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{l=1}^Z\exp ({\mathrm{\&alpha;}}_l\&CenterDot;f^{\left(i\right)})}\frac{\exp ({\mathrm{\&omega;}}_{\mathrm{zk}}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}{{\mathrm{\&Sigma;}}_{r=1}^K\exp ({\mathrm{\&omega;}}_{\mathrm{zr}}\&CenterDot;{\mathrm{\&psi;}}^{\left(i\right)})}---\left(2.3\right)$

其中，Z为潜在评论类别的个数，f⁽ⁱ⁾是评论c⁽ⁱ⁾的用于选择评论潜在类别的特征向量，a_z是潜在类别z的权重参数；这就是结合多种异构信息源基于潜在类别再分类方法的形式化表述；

定义22：潜在类别个数定义

本发明选择Akaike信息量准则(Akaike Information Criteria，AIC)作为模型选择准则来获取最优的潜在类别个数

$\begin{array}{cc}{Z}^{*}=\arg \underset{Z}{\min }& 2(\mathrm{ZKn}+\mathrm{Zm})-2L_Z(\mathrm{\&omega;},\mathrm{\&alpha;})\end{array}$

其中，Z是潜在类别的个数，K是情绪类别的个数，n是异构信息源特征向量的维数，m是用于选择评论潜在类别的特征向量的维数，Z×K×n即所有参数ω的个数，Z×m是所有参数α的个数。