CN109299258A - 一种舆情事件检测方法、装置及设备 - Google Patents

Abstract

本申请公开了一种舆情事件检测方法、装置及设备，其中方法包括：在经过源领域的大量数据训练获得的基础模型的基础上，分别利用其他各个领域的少量数据进行再次迁移学习训练，得到能够对相应的领域进行舆情检测的文本分类模型，将基础模型作为对源领域进行舆情检测的文本分类模型。从上述得到的多个文本分类模型中获取待检测事件所属的目标领域的文本分类模型，对待检测事件进行舆情分析，分析出其属于目标领域舆情事件的概率值，并根据该概率值与相应的预定阈值比较的结果，判断该待检测事件是否是目标领域的舆情事件，进而及时对该舆情事件进行公关处理。本方案不但能缩减建模时间，还能避免对应领域低数据量对模型舆情检测精度的影响。

Description

一种舆情事件检测方法、装置及设备

技术领域

本申请涉及语义分析技术领域，特别是涉及一种舆情事件检测方法、装置及设备。

背景技术

近几年来，随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步。

针对互联网中产生的舆论压力，可以通过舆情检测技术，相关部门可以及时了解舆情动态，从而可以及时对舆情事件预警，及时纠正网络中的舆论影响。

但是，目前传统舆情事件语义分析模型，需要根据对应领域的舆情事件的数据进行建立，如果每个领域的舆情事件的数据的数量较多，则对应语义分析模型的建立过程比较耗时，如果每个领域的舆情事件的数据的数量较少，则建立的语义分析模型的精度比较低，影响舆情检测的准确性。

发明内容

有鉴于此，本申请提供了一种舆情事件检测方法、装置及设备。主要目的在于解决目前网络中的进行舆情检测的语义分析模型都是采用单独建模的方式，但是单独建模较为耗时，且精度可能受到低数据量的影响的技术问题。

依据本申请的第一方面，提供了一种舆情事件检测方法，所述方法包括：

提取待检测事件的待检测文本信息；

根据所述待检测文本信息确定所述待检测事件所属的目标领域；

从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型，其中，所述多个文本分类模型包括预先利用源领域的样本数据，对卷积神经网络进行初次训练得到的源领域对应的基础模型，以及利用其他各个领域中每个领域的样本数据通过迁移学习方式分别对所述基础模型进行再次训练后，得到的与其他各个领域的每个领域一一对应的多个文本分类模型，所述源领域的样本数据的数量大于其他各个领域的每个领域的样本数据的数量，所述源领域的样本数据包括：包含源领域类别标识的舆情文本数据和源领域的舆情结果标签，所述其他各个领域中每个领域的样本数据包括：包含其他各个领域中每个领域类别标识的舆情文本数据和其他各个领域中每个领域的舆情结果标签；

将所述待检测文本信息输入所述目标领域的文本分类模型进行处理，得出所述待检测事件属于目标领域的舆情事件的概率值；

将所述概率值与预定阈值进行比对，若所述概率值大于等于所述预定阈值，则确定所述待检测事件为目标领域的舆情事件，若所述概率值小于所述预定阈值，则确定所述待检测事件为正常事件。

依据本申请的第二方面，提供了一种舆情事件检测装置，其特征在于，所述装置包括：

提取单元，用于提取待检测事件的待检测文本信息；

领域确定单元，用于根据所述待检测文本信息确定所述待检测事件所属的目标领域；

模型获取单元，用于从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型，其中，所述多个文本分类模型包括预先利用源领域的样本数据，对卷积神经网络进行初次训练得到的源领域对应的基础模型，以及利用其他各个领域中每个领域的样本数据通过迁移学习方式分别对所述基础模型进行再次训练后，得到的与其他各个领域的每个领域一一对应的多个文本分类模型，所述源领域的样本数据的数量大于其他各个领域的每个领域的样本数据的数量，所述源领域的样本数据包括：包含源领域类别标识的舆情文本数据和源领域的舆情结果标签，所述其他各个领域中每个领域的样本数据包括：包含其他各个领域中每个领域类别标识的舆情文本数据和其他各个领域中每个领域的舆情结果标签；

处理单元，用于将所述待检测文本信息输入所述目标领域的文本分类模型进行处理，得出所述待检测事件属于目标领域的舆情事件的概率值；

判断单元，用于将所述概率值与预定阈值进行比对，若所述概率值大于等于所述预定阈值，则确定所述待检测事件为目标领域的舆情事件，若所述概率值小于所述预定阈值，则确定所述待检测事件为正常事件。

依据本申请的第三方面，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述舆情事件检测方法的步骤。

依据本申请的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述舆情事件检测方法的步骤。

借由上述技术方案，本申请提供的一种舆情事件检测方法、装置和设备，能够在经过源领域的大量数据训练获得的基础模型的基础上，分别利用其他各个领域的少量数据进行再次迁移学习训练，得到能够精确的对相应的领域进行舆情检测的文本分类模型，将基础模型作为对源领域进行舆情检测的文本分类模型，然后从上述得到的多个文本分类模型中获取待检测事件所属的目标领域的文本分类模型，对待检测事件的待检测文本信息进行舆情分析，分析出该待检测事件属于目标领域舆情事件的概率值，并通过该概率值与相应的预定阈值进行比较的结果，判断该待检测事件是否是目标领域的舆情事件，进而及时对该舆情事件进行公关处理。这样，本申请的方案不但能大大缩减了建模时间，还能避免对应领域低数据量对模型舆情检测精度的影响。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请的舆情事件检测方法的一个实施例的流程图；

图2为本申请的舆情事件检测装置的一个实施例的结构框图；

图3为本申请的计算机设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本申请实施例提供了一种舆情事件检测方法，在需要对其他领域进行舆情事件检测时，无需再利用大量数据进行模型训练，只需使用少量的其他领域的数据进行迁移学习训练，即可得到文本分类模型，不但能够提高模型的检测精度，还能节省建模时间。

如图1所示，本申请实施例提供了一种舆情事件检测方法，方法包括如下步骤：

步骤101，提取待检测事件的待检测文本信息。

在该步骤中，由于想要进行舆情检测的待检测事件中，包含图片信息、数字信息、文本信息等，文本分类模型只能对文字信息进行舆情检测，因此需要将待检测事件中的图片信息和数字信息过滤出去，保留文字信息，作为后续进行舆情检测的待检测文本信息。

步骤102，根据待检测文本信息确定待检测事件所属的目标领域；

在该步骤中，每个待检测事件的待检测文本信息都包含符合其领域的标签，预先将各个领域及其对应的标签列表存储，这样就可以根据待检测文本信息中包含的标签，从表格中查找确定出待检测事件所属的领域即目标领域。

步骤103，从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型，其中，多个文本分类模型包括预先利用源领域的样本数据，对卷积神经网络进行初次训练得到的源领域对应的基础模型，以及利用其他各个领域中每个领域的样本数据通过迁移学习方式分别对基础模型进行再次训练后，得到的与其他各个领域的每个领域一一对应的多个文本分类模型，源领域的样本数据的数量大于其他各个领域的每个领域的样本数据的数量，源领域的样本数据包括：包含源领域类别标识的舆情文本数据和源领域的舆情结果标签，其他各个领域中每个领域的样本数据包括：包含其他各个领域中每个领域类别标识的舆情文本数据和其他各个领域中每个领域的舆情结果标签。

在该步骤中，提取源领域的样本数据中的包含源领域类别标识的舆情文本数据，将包含源领域类别标识的舆情文本数据输入卷积神经网络，经过卷积神经网络的卷积处理之后输出舆情结果，并与对应的源领域的舆情结果标签进行比对，如果舆情结果与对应的源领域的舆情结果标签相同，则输入下一个包含源领域类别标识的舆情文本数据进行处理，如果舆情结果与对应的源领域的舆情结果标签不同，则对卷积神经网络进行调整使输出结果与对应的源领域的舆情结果标签相同，然后再输入下一个包含源领域类别标识的舆情文本数据进行处理，重复上述过程直至所有的源领域的样本数据全部训练完成为止，将训练完成的卷积神经网络作为基础模型。

提取其他各个领域中每个领域的样本数据中其他各个领域中每个领域类别标识的舆情文本数据，利用其他各个领域中每个领域的舆情文本数据输入基础模型，通过迁移学习方式进行再次训练，并将再次训练输出的舆情结果与对应的其他各个领域中每个领域的舆情结果标签进行对比，如果舆情结果与对应的其他各个领域中每个领域的舆情结果标签相同，则输入下一个包含其他各个领域中每个领域类别标识的舆情文本数据进行处理，如果舆情结果与对应的其他各个领域中每个领域的舆情结果标签不同，则利用迁移学习的方式对基础模型的各项数据进行调整使输出结果与对应的其他各个领域中每个领域的舆情结果标签相同，然后再输入下一个包含其他各个领域中每个领域类别标识的舆情文本数据进行处理，重复上述过程直至其他各个领域的每个领域全部训练完成为止，得到与其他各个领域的每个领域一一对应的多个文本分类模型。

初次训练使用的源领域的样本数据的数量比较大，这样使得初次训练后的基础模型，能够有较高的检测识别精度。再次训练使用的其他各个领域(除源领域之外)的样本数据的数量比较少，对基础模型经过迁移学习训练之后，即使使用较少的样本数据，也能够精确的对其他各个领域进行舆情检测。这样用户想要对其他任一领域进行舆情检测时，只需利用该领域较少的样本数据对基础模型进行再次训练即可。由于再次训练的数据量较少，所以训练消耗的时间较少。

另外，将基础模型作为能够对源领域进行舆情检测的文本分类模型，如果用户想要进行舆情检测的待检测事件属于源领域，则直接调取与源领域对应的基础模型即可。

本申请得到的文本分类模型有多个，分别对应各个领域，将每个领域与相应的文本分类模型进行关联，并存储在表格中。这样，就可以直接从表格中获取对应目标领域的文本分类模型。

其中，可以使用常见的领域作为源领域，例如，新闻领域、娱乐领域、科技领域等，进而使得源领域的大量舆情文本数据比较好获取。

步骤104，将待检测文本信息输入目标领域的文本分类模型进行处理，得出待检测事件属于目标领域的舆情事件的概率值。

在该步骤中，文本分类模型中包含输入层、处理层和输出层，将待见的文本信息从输入层输入之后，到达处理层，对输入的文本信息进行语义分析，得出该待检测文本信息属于该目标领域的舆情事件的概率值，然后将概率值从输出层输出。

步骤105，将概率值与预定阈值进行比对，若概率值大于等于预定阈值，则确定待检测事件为目标领域的舆情事件，若概率值小于预定阈值，则确定待检测事件为正常事件。

在该步骤中，用户可以根据实际情况为每个领域设置对应的预定阈值，也可以将各个领域的预定阈值统一设置一个预定阈值。如果确定出该待检测事件为舆情事件，则需要对该事件进行公关处理(例如，删除该事件的所有信息，或者将该事件的所有信息都标记为有害信息)。如果确定出该待检测事件属于正常事件，则对该事件放行，进行下一个事件的检测。

例如，确定出待检测事件的领域属于国防领域，则将待检测事件的文本信息输入国防领域的文本检测模型之后，输出的概率值为23％，而国防领域的预定阈值是70％，则确定该待检测事件属于正常事件，不需要对该待检测事件进行公关处理。

通过上述技术方案，能够在经过源领域的大量数据训练获得的基础模型的基础上，利用其他各个领域的少量数据进行再次迁移学习训练，得到能够精确的对相应的领域进行舆情检测的文本分类模型，这样大大缩减了建模时间，还能避免对应领域低数据量对模型舆情检测精度的影响。

基础模型的获取步骤如下：

步骤(1)，从源领域的样本数据中提取包含源领域类别标识的舆情文本数据，并将包含源领域类别标识的舆情文本数据转换为初次训练词向量。

在该步骤中，先从源领域的样本数据中提取包含源领域类别标识的舆情文本数据，并对包含源领域类别标识的舆情文本数据进行分词处理，得到源领域的分词数据，然后将源领域的分词数据中的虚词(例如，的、呢、吗、了等)去除，避免这些虚词影响对整体语义的分析。将去除虚词的分词数据进行向量转换，转换为初次训练词向量。

步骤(2)，以所述初次训练词向量的维度作为横向维度，以设定长度为纵向维度，为所述卷积神经网络建立卷积核，其中，所述设定长度包括多种数值，则对应的纵向维度的长度数值也为多种数值。

在该步骤中，卷积核是一个向量矩阵，包括表示向量矩阵宽度的横向维度，和表示向量矩阵长度的纵向维度。初次训练词向量的维度是指对应分词数据的分词数量，以该初次训练词向量的维度作为卷积核的横向维度方便初次训练词向量的输入。为纵向维度的长度数值设置多种数值，该设置长度的多种数值可以根据初次训练词向量中各个分词的字数进行设定。例如，初次训练词向量中的分词包括：明天、有、小行星、撞击、地球、世界末日、即将、到来，对应的分词字数为：2、1、3、2、2、4、2、2，则将该组数值作为卷积核的纵向维度。

步骤(3)，为卷积神经网络设置预定数量的隐层。

在该步骤中，每个卷积神经网络都有对应的隐层，隐层的数量可以根据实际情况设定，需要分析的舆情文本数据越复杂则对应的隐层数量设置的越多。

步骤(4)，将初次训练词向量输入卷积神经网络，对卷积神经网络进行初次训练得到基础模型。

在该步骤中，经过上述步骤卷积神经网络的卷积核和隐层数量均设置完成后，就可以利用该卷积神经网络进行学习训练了，将初次训练词向量输入卷积神经网络后，经过隐层的处理，输出属于源领域的舆情事件的概率。由于用来对卷积神经网络进行训练的源领域的舆情文本数据都属于舆情事件，因此，若输出的概率小于预定阈值(例如，75％)，则需要对输出的概率进行修改，然后再将下一个初次训练词向量输入卷积神经网络，重复上述方案，直至所有的初次训练词向量全部输入完成，就完成了对该卷积神经网络得学习训练，并将训练完成的卷积神经网络作为基础模型。

通过上述方案，能够利用源领域的大量舆情文本数据对卷积神经网络进行初次训练，这样得到能够对源领域的事件进行高精度舆情检测的基础模型。用户可以在该基础模型的基础上再利用少量的其他领域的数据对其进行迁移学习训练，以获得同样对其他领域的事件进行高精度舆情检测的文本分类模型。

具体文本分类模型的获取步骤如下：

步骤(A)，从基础模型中所有的参数值中，提取需要进行修改的变动参数值。

在该步骤中，得到的基础模型中有多个参数值，例如，卷积核参数、全连接层参数等，可以将卷积核参数作为不变参数值，无需对其进行进一步的学习训练，将全连接层参数作为需要进一步训练修改的的变动参数值。

步骤(B)为变动参数值设置初始权重值。该初始权重值的大小可以根据用户的实际需要进行设定，例如，设置为1。

步骤(C)，从其他各个领域中每个领域的样本数据中提取其他各个领域中每个领域类别标识的舆情文本数据，并将包含其他各个领域中每个领域类别标识的舆情文本数据，按照领域分别输入基础模型，对变动参数值的初始权重值进行迁移学习训练，得到与变动参数值相对应的最终权重值。

在该步骤中，如果舆情文本数据与对应领域的相关，则需要升高该初始权重值，得到最终权重值；如果舆情文本数据与对应领域不相关，则需要降低初始权重值，得到最终权重值。

步骤(D)，将变动参数值与对应的最终权重值相乘，得到最终参数值。

步骤(E)，利用最终权重值替换所述基础模型中对应的变动参数值，得到其他各个领域的每个领域一一对应的多个文本分类模型，其中每个文本分类模型能够对对应领域进行舆情监控。

通过上述方案，只需将基础模型中一部分的参数作为变动参数值进行修改，无需对基础模型的全部参数进行变动修改，完成对基础模型的再次训练，这样不但能够节省再次训练的时间，还能够得到对对应领域进行精确舆情检测的文本分类模型。

步骤(C)具体包括：

步骤(C1)，将包含其他各个领域中每个领域类别标识的舆情文本数据转换为再次训练词向量，并将再次训练词向量按照领域进行分类存储。

在该步骤中，先对其他各个领域的舆情文本数据进行转换处理，转换成能够输入初始模型的再次训练词向量，具体转换过程如同步骤(1)中初次训练词向量的步骤。

步骤(C2)，在基础模型中查找变动参数值对应的输入节点和瓶颈层。

在该步骤中，基础模型中每个参数值都有相应的输入节点和瓶颈层，将每个变动参数的输入节点和瓶颈层找出之后，就能够利用对应的输入节点和瓶颈层对每个领域的再次训练词向量进行处理，处理步骤如下步骤(C3)。

步骤(C3)，将每个领域的再次训练词向量分别从输入节点输入，经过瓶颈层处理后输出与对应领域相关的相关度值。

在该步骤中，该相关度值可以是百分数或者其他数值，百分数或者其他数值越高证明该再次训练词向量对应的舆情文本数据与对应领域越相关，具体根据相关度值的判断过程如下步骤(C4)。

步骤(C4)，将相关度值与预定相关度值进行比较，若相关度值大于等于预定相关度值，则将初始权重值增加预定数值作为最终权重值，若相关度值小于预定相关度值，则将初始权重值减少预定数值作为最终权重值。

例如，全连接层参数的初始权重值为5，得到的P舆情文本数据的相关度值为0.25，预定相关度值为0.5，0.25＜0.5，预先设置的预定数值为1，则将初始权重值5减1得4，则将4作为全连接层参数的最终权重值。

通过上述技术方案，能够根据其他各个领域的舆情文本数据，完成对基础各个变动参数值的初始权重值的迁移学习训练的过程，得到各个变动参数值对应的最终权重值，并将二者相乘后的参数结果重新代入基础模型，得到能够对对应领域进行精确舆情检测的文本分类模型。

步骤104具体包括：

步骤1041，对待检测文本信息进行分词处理得到分词数据。

步骤1042，将分词数据中的虚词去除进行去噪处理。

步骤1043，将去燥后的分词数据进行向量转换，转换为待检测词向量。

步骤1044，将待检测词向量输入目标领域的文本分类模型进行处理，得出待检测事件属于目标领域的舆情事件的概率值。

上述技术方案，能够利用目标领域的文本分类模型能够根据待检测词向量，对每组分词数据中的每个分词以及分词之间的语义进行分析，判断该待检测文本信息属于该目标领域的舆情事件的概率值。

步骤101具体包括：

步骤1011，从网络中获取目标文章的评论数、转发量和阅读量。

步骤1012，利用公式：评论数*评论权值+转发量*转发权值+阅读量*阅读权值，计算所述目标文章的总权重值。

步骤1013，当所述总权重值大于等于预定权重阈值时，将所述目标文章作为待检测事件。

步骤1014，提取待检测事件的关键字，为所述关键字匹配相应领域的类别标识，将所述关键字和相应领域的类别标识作为待检测文本信息。

则步骤102具体包括：根据所述待检测文本信息中的类别标识确定所述待检测事件所属的目标领域。

在上述技术方案中，通过计算得出的目标文章的总权重值的大小，确定该目标文章是否有必要进行舆情处理。如果计算得出的总权重值较大，大于等于预定权重阈值，证明该目标文章受大众的关注度较大，其舆论效果会给社会带来影响，需要对其进行舆情处理，则将该目标文章确定为待检测事件。反之，证明该目标文章受大众的关注度较小，其舆论效果不会给社会带来影响，无需对其进行舆情处理。

然后，再根据待检测事件中的关键字，为其匹配相应领域的类别标识，以便根据类别标识确定待检测事件所属的目标领域。这样便于根据目标领域查找对应的文本分类模型，对待检测事件进行舆情检测。

本申请的舆情事件检测方法，在确定待检测事件属于对应目标领域的舆情事件之后，还包括如下步骤：

步骤106，获取舆情事件的相关信息，以及处理舆情事件的相关部门的网络地址。

步骤107，将相关信息发送至网络地址，以供相关部门对舆情事件进行公关处理。

在该技术方案中，确定待检测事件属于对应目标领域的舆情事件之后，为了能够对该舆情事件及时进行公关处理，需要获取该舆情事件的全部内容(包括，图片、数字、文字、字符等)，以及该舆情事件的发布者信息、发布时间、发布地址、传播者信息、传播时间、传播地址、阅读量等，将获取的这些信息作为舆情事件的相关信息，发送至能够处理该舆情事件的相关部门(例如，公安局、国防局等)的网络地址。这样相关部门就能及时根据接收到该舆情事件的相关信息进行公关处理。公关处理包括:删除该舆情事件的所有发布内容和传播内容，向该舆情事件的发布者和传播者发送警告信息，对该舆情事件进行危险标记等。

在本申请的另一个实施例的舆情事件检测方法的包括如下步骤：

一、建立基础模型

将大数据量的附带标签数据的舆情文本数据库作为源领域，舆情文本数据库中每个样本含有相关文本语句，以及对应的标签识别源领域的类别，以源领域舆情文本数据库为样本，对卷积神经网络进行学习训练，获得能够对源领域的舆情事件进行检测分析的基础模型。

具体建立过程为：

对每个样本进行转换，转换为词向量，将词向量维度设置为64，该样本的语句长度小于64则在后面进行补0处理，进而保证词向量的维度始终为64。为卷积神经网络设置卷积核，该卷积核的横向维度与词向量维度相同，而纵向维度取2至10长度(也可是其他长度值区间)，构成多种纵向维度的卷积核。为卷积神经网络设置隐层数量，该隐层的数量可以根据实际应用进行调整选取。

该卷积神经网络设置完成后，可采用源领域的舆情文本数据库作为训练集，对卷积神经网络进行训练建立卷积神经网络模型(即基础模型)。所建立的卷积神经网络模型可完成源领域的舆情文本语义分析任务。

二、通过迁移学习方法对基础模型进行再次训练得到文本分类模型

当我们需要采用基础模型对其他领域的舆情事件(目标领域舆情事件)进行识别操作时，我们则可利用其他领域的舆情文本数据库在原有基础模型基础上进行迁移学习的再次训练。

其中，源领域的舆情文本数据库的数据量较大得到的基础模型能够对源领域的舆情事件进行精准的检测分析，其他领域的舆情舆情文本数据库的数据量较少涉及某单个领域的舆情事件(例如，新闻领域、国家安全领域、宗教信仰领域、金融领域、娱乐领域等)。

进行再次训练的具体方法是，保留原有基础模型部分参数(例如，卷积核参数等)，即在再次训练过程中不更新此类参数，而基础模型中不被保留的参数(全连接层参数等)则是迁移学习进行再次训练过程中的更新对象。

利用迁移学习方法更新不被保留的参数的过程为：

首先，为不被保留的参数设置初始权重值。

然后，获取基础模型中不被保留的参数对应的输入节点的名称和瓶颈层(瓶颈层，是从神经网络的输入开始算起，一直到神经网络的最后一层的前向传播称为瓶颈层)。获取目标领域舆情事件的文本信息，并对该文本信息进行去燥处理(即，将文本信息中的虚词去除)，将去燥后的文本信息从不被保留的参数对应的输入节点中输入，经过瓶颈层进行处理之后，获取瓶颈层的输出数据，根据该输出数据判断不被保留的参数与目标领域舆情事件的相关程度。

再然后，如果输出相关程度≥一定阈值，则认为对应的不被保留的参数与目标领域舆情事件相关，将对应的初始权重值升高(升高的具体数值根据实际情况进行设定，例如，将初始权重值加1)；如果输出相关程度＜一定阈值，则认为对应的不被保留的参数与目标领域舆情事件不相关，将对应的初始权重值降低(例如，将初始权重值减1)；进而得到各个不被保留的参数对应的最终权重值。

最后，将各个不被保留的参数值与对应的权重值相乘，完成对各个不被保留的参数值的修改，将修改后的参数值重新代入基础模型中，得到能够对目标领域进行舆情监控的文本分类模型。

三、文本分类模型的使用

本方案通过源领域的大量舆情文本数据对卷积神经网络进行初次训练得到基础模型，然后再通过某个目标领域的少量舆情文本数据利用迁移学习方法对该基础模型进行再次训练，能够得到针对某个目标领域的事件进行舆情监控的文本分类模型。本方案可以针对各个不同的领域对基础模型进行再次训练，进而得到分别针对各个不同领域的文本分类模型。

当某个领域需要进行舆情监控时，只需将调取对应领域的文本分类模型，将待检测的文本信息输入对应领域的文本分类模型进行处理，对应领域的文本分类模型就会输出该待检测文本信息属于该领域的舆情事件的概率，如果该概率值超过预定阈值(例如，50％)则认为该带检测文本信息属于舆情事件。获取该舆情事件的全部内容、发布者信息和传播者信息，将这些信息发送至相关部门进行相应处理。

综上所述，在需要对其他领域进行舆情事件检测时，无需再利用大量数据进行模型训练，只需使用少量的其他领域的数据在基础模型的基础上进行迁移学习训练，即可得到文本分类模型，不但能够提高模型的检测精度，还能节省建模时间。

进一步的，作为图1方法的具体实现，本申请实施例提供了一种舆情事件检测装置，如图2所示，装置包括：提取单元21、领域确定单元22、模型获取单元23、处理单元24和判断单元25。

提取单元21，用于提取待检测事件的待检测文本信息；

领域确定单元22，用于根据待检测文本信息确定待检测事件所属的目标领域；

模型获取单元23，用于从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型，其中，所述多个文本分类模型包括预先利用包含源领域类别标识的舆情文本数据，对卷积神经网络进行初次训练得到的源领域对应的基础模型，以及利用包含其他各个领域中每个领域类别标识的舆情文本数据通过迁移学习方式分别对所述基础模型进行再次训练后，得到的与其他各个领域的每个领域一一对应的多个文本分类模型，所述源领域的舆情文本数据的数量大于其他领域的舆情文本数据的数量；

处理单元24，用于将待检测文本信息输入目标领域的文本分类模型进行处理，得出待检测事件属于目标领域的舆情事件的概率值；

判断单元25，用于将概率值与预定阈值进行比对，若概率值大于等于预定阈值，则确定待检测事件为目标领域的舆情事件，若概率值小于预定阈值，则确定待检测事件为正常事件。

在具体实施例中，装置还包括：

词向量转换单元，用于从源领域的样本数据中提取包含源领域类别标识的舆情文本数据，并将包含源领域类别标识的舆情文本数据转换为初次训练词向量；

卷积核建立单元，用于以初次训练词向量的维度作为横向维度，以设定长度为纵向维度，为卷积神经网络建立卷积核，其中，所述设定长度包括多种数值，则对应的纵向维度的长度数值也为多种数值；

隐层设置单元，用于为卷积神经网络设置预定数量的隐层；

初次训练单元，用于将初次训练词向量输入卷积神经网络，对卷积神经网络进行初次训练得到基础模型。

在具体实施例中，提取单元，还用于从基础模型中所有的参数值中，提取需要进行修改的变动参数值；

装置还包括：

权重值设置单元，用于为变动参数值设置初始权重值；

权重值设置单元，还用于从其他各个领域中每个领域的样本数据中提取其他各个领域中每个领域类别标识的舆情文本数据，并将包含其他各个领域中每个领域类别标识的舆情文本数据，按照领域分别输入基础模型，对变动参数值的初始权重值进行迁移学习训练，得到与变动参数值相对应的最终权重值；

相乘单元，用于将变动参数值与对应的最终权重值相乘，得到最终参数值；

替换单元，用于利用最终权重值替换所述基础模型中对应的变动参数值，得到其他各个领域的每个领域一一对应的多个文本分类模型，其中每个文本分类模型能够对对应领域进行舆情监控。

在具体实施例中，权重值设置单元具体包括：

分类模块，用于将包含其他各个领域中每个领域类别标识的舆情文本数据转换为再次训练词向量，并将所述再次训练词向量按照领域进行分类存储；

查找模块，用于在基础模型中查找变动参数值对应的输入节点和瓶颈层；

处理模块，用于将每个领域的再次训练词向量分别从输入节点输入，经过瓶颈层处理后输出与对应领域相关的相关度值；

比较模块，用于将相关度值与预定相关度值进行比较，若相关度值大于等于预定相关度值，则将初始权重值增加预定数值作为最终权重值，若相关度值小于预定相关度值，则将初始权重值减少预定数值作为最终权重值。

在具体实施例中，处理单元24具体包括：

分词模块，用于对待检测文本信息进行分词处理得到分词数据；

去燥模块，用于将分词数据中的虚词去除进行去噪处理；

向量转换模块，用于将去燥后的分词数据进行向量转换，转换为待检测词向量；

处理模块，用于将待检测词向量输入目标领域的文本分类模型进行处理，得出待检测事件属于目标领域的舆情事件的概率值。

在具体实施例中，提取单元21具体包括：

网络获取模块，用于从网络中获取目标文章的评论数、转发量和阅读量；

权重计算模块，用于利用公式：评论数*评论权值+转发量*转发权值+阅读量*阅读权值，计算所述目标文章的总权重值；

确定模块，用于当所述总权重值大于等于预定权重阈值时，将所述目标文章作为待检测事件；

标识匹配模块，用于提取待检测事件的关键字，为所述关键字匹配相应领域的类别标识，将所述关键字和相应领域的类别标识作为待检测文本信息；

则领域确定单元22，还用于根据所述待检测文本信息中的类别标识确定所述待检测事件所属的目标领域。

在具体实施例中，在确定待检测事件为目标领域的舆情事件之后，该舆情事件检测装置还包括：

获取单元，用于获取舆情事件的相关信息，以及处理舆情事件的相关部门的网络地址；

发送单元，用于将相关信息发送至网络地址，以供相关部门对舆情事件进行公关处理。

基于上述图1所示方法和图2所示装置的实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，如图3所示，包括存储器32和处理器31，其中存储器32和处理器31均设置在总线33上存储器32存储有计算机程序，处理器31执行计算机程序时实现图1所示的舆情事件检测方法。

基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储器(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。

可选地，该设备还可以连接用户接口、网络接口、摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。

基于上述如图1所示方法和图2所示装置的实施例，相应的，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图1所示的舆情事件检测方法。

本领域技术人员可以理解，本实施例提供的一种计算机设备的结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储介质中还可以包括操作系统、网络通信模块。操作系统是管理计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与计算机设备中其它硬件和软件之间通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。

通过应用本申请的技术方案，能够在经过源领域的大量数据训练获得的基础模型的基础上，分别利用其他各个领域的少量数据进行再次迁移学习训练，得到能够精确的对相应的领域进行舆情检测的文本分类模型，将基础模型作为对源领域进行舆情检测的文本分类模型，然后从上述得到的多个文本分类模型中获取待检测事件所属的目标领域的文本分类模型，对待检测事件的待检测文本信息进行舆情分析，分析出该待检测事件属于目标领域舆情事件的概率值，并通过该概率值与相应的预定阈值进行比较的结果，判断该待检测事件是否是目标领域的舆情事件，进而及时对该舆情事件进行公关处理。这样，本申请的方案不但能大大缩减了建模时间，还能避免对应领域低数据量对模型舆情检测精度的影响。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (10)

1.一种舆情事件检测方法，其特征在于，所述方法包括：

提取待检测事件的待检测文本信息；

根据所述待检测文本信息确定所述待检测事件所属的目标领域；

从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型，其中，所述多个文本分类模型包括预先利用源领域的样本数据，对卷积神经网络进行初次训练得到的源领域对应的基础模型，以及利用其他各个领域中每个领域的样本数据通过迁移学习方式分别对所述基础模型进行再次训练后，得到的与其他各个领域的每个领域一一对应的多个文本分类模型，所述源领域的样本数据的数量大于其他各个领域的每个领域的样本数据的数量，所述源领域的样本数据包括：包含源领域类别标识的舆情文本数据和源领域的舆情结果标签，所述其他各个领域中每个领域的样本数据包括：包含其他各个领域中每个领域类别标识的舆情文本数据和其他各个领域中每个领域的舆情结果标签；

将所述待检测文本信息输入所述目标领域的文本分类模型进行处理，得出所述待检测事件属于目标领域的舆情事件的概率值；

将所述概率值与预定阈值进行比对，若所述概率值大于等于所述预定阈值，则确定所述待检测事件为目标领域的舆情事件，若所述概率值小于所述预定阈值，则确定所述待检测事件为正常事件。

2.根据权利要求1所述的舆情事件检测方法，其特征在于，所述从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型之前，还包括：

从所述源领域的样本数据中提取所述包含源领域类别标识的舆情文本数据，并将所述包含源领域类别标识的舆情文本数据转换为初次训练词向量；

以所述初次训练词向量的维度作为横向维度，以设定长度为纵向维度，为所述卷积神经网络建立卷积核，其中，所述设定长度包括多种数值，则对应的纵向维度的长度数值也为多种数值；

为所述卷积神经网络设置预定数量的隐层；

将所述初次训练词向量输入所述卷积神经网络，对所述卷积神经网络进行初次训练得到基础模型。

3.根据权利要求1或2所述的舆情事件检测方法，其特征在于，所述从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型之前，还包括：

从所述基础模型中所有的参数值中，提取需要进行修改的变动参数值；

为所述变动参数值设置初始权重值；

从所述其他各个领域中每个领域的样本数据中提取所述其他各个领域中每个领域类别标识的舆情文本数据，并将所述包含其他各个领域中每个领域类别标识的舆情文本数据，按照领域分别输入所述基础模型，对所述变动参数值的初始权重值进行迁移学习训练，得到与变动参数值相对应的最终权重值；

将变动参数值与对应的最终权重值相乘，得到最终参数值；

利用最终权重值替换所述基础模型中对应的变动参数值，得到其他各个领域的每个领域一一对应的多个文本分类模型，其中每个文本分类模型能够对对应领域进行舆情监控。

4.根据权利要求3所述的舆情事件检测方法，其特征在于，所述将包含其他各个领域中每个领域类别标识的舆情文本数据，按照领域分别输入所述基础模型，对所述变动参数值的初始权重值进行迁移学习训练，得到与变动参数值相对应的最终权重值，具体包括：

将包含其他各个领域中每个领域类别标识的舆情文本数据转换为再次训练词向量，并将所述再次训练词向量按照领域进行分类存储；

在所述基础模型中查找所述变动参数值对应的输入节点和瓶颈层；

将每个领域的再次训练词向量分别从输入节点输入，经过所述瓶颈层处理后输出与对应领域相关的相关度值；

将所述相关度值与预定相关度值进行比较，若所述相关度值大于等于预定相关度值，则将所述初始权重值增加预定数值作为最终权重值，若所述相关度值小于预定相关度值，则将所述初始权重值减少预定数值作为最终权重值。

5.根据权利要求1所述的舆情事件检测方法，其特征在于，将所述待检测文本信息输入所述目标领域的文本分类模型进行处理，得出所述待检测事件属于目标领域的舆情事件的概率值，具体包括：

对所述待检测文本信息进行分词处理得到分词数据；

将所述分词数据中的虚词去除进行去噪处理；

将去燥后的分词数据进行向量转换，转换为待检测词向量；

将所述待检测词向量输入所述目标领域的文本分类模型进行处理，得出所述待检测事件属于目标领域的舆情事件的概率值。

6.根据权利要求1所述的舆情事件检测方法，其特征在于，所述提取待检测事件的待检测文本信息，具体包括：

从网络中获取目标文章的评论数、转发量和阅读量；

利用公式：评论数*评论权值+转发量*转发权值+阅读量*阅读权值，计算所述目标文章的总权重值；

当所述总权重值大于等于预定权重阈值时，将所述目标文章作为待检测事件；

提取待检测事件的关键字，为所述关键字匹配相应领域的类别标识，将所述关键字和相应领域的类别标识作为待检测文本信息；

则根据所述待检测文本信息确定所述待检测事件所属的目标领域，具体包括：

根据所述待检测文本信息中的类别标识确定所述待检测事件所属的目标领域。

7.根据权利要求1-6任一项所述的舆情事件检测方法，其特征在于，在确定所述待检测事件为目标领域的舆情事件之后，还包括：

获取所述舆情事件的相关信息，以及处理所述舆情事件的相关部门的网络地址；

将所述相关信息发送至所述网络地址，以供所述相关部门对所述舆情事件进行公关处理。

8.一种舆情事件检测装置，其特征在于，所述装置包括：

提取单元，用于提取待检测事件的待检测文本信息；

领域确定单元，用于根据所述待检测文本信息确定所述待检测事件所属的目标领域；

模型获取单元，用于从对应各个领域的多个文本分类模型中获取目标领域对应的文本分类模型，其中，所述多个文本分类模型包括预先利用源领域的样本数据，对卷积神经网络进行初次训练得到的源领域对应的基础模型，以及利用其他各个领域中每个领域的样本数据通过迁移学习方式分别对所述基础模型进行再次训练后，得到的与其他各个领域的每个领域一一对应的多个文本分类模型，所述源领域的样本数据的数量大于其他各个领域的每个领域的样本数据的数量，所述源领域的样本数据包括：包含源领域类别标识的舆情文本数据和源领域的舆情结果标签，所述其他各个领域中每个领域的样本数据包括：包含其他各个领域中每个领域类别标识的舆情文本数据和其他各个领域中每个领域的舆情结果标签；

处理单元，用于将所述待检测文本信息输入所述目标领域的文本分类模型进行处理，得出所述待检测事件属于目标领域的舆情事件的概率值；

判断单元，用于将所述概率值与预定阈值进行比对，若所述概率值大于等于所述预定阈值，则确定所述待检测事件为目标领域的舆情事件，若所述概率值小于所述预定阈值，则确定所述待检测事件为正常事件。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的舆情事件检测方法的步骤。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的舆情事件检测方法的步骤。