CN111144575A - 舆情预警模型的训练方法、预警方法、装置、设备及介质 - Google Patents
舆情预警模型的训练方法、预警方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN111144575A CN111144575A CN201911235651.8A CN201911235651A CN111144575A CN 111144575 A CN111144575 A CN 111144575A CN 201911235651 A CN201911235651 A CN 201911235651A CN 111144575 A CN111144575 A CN 111144575A
- Authority
- CN
- China
- Prior art keywords
- public opinion
- information
- early warning
- meta
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本说明书的一个或多个实施例公开了一种舆情预警模型的训练方法、预警方法、装置、设备及介质,该舆情预警模型包括宽度学习模型和深度学习模型,该训练方法包括:获取舆情样本训练集,舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;将元信息特征输入宽度学习模型,以获取元信息特征处理结果;将内容特征输入深度学习模型,以获取内容特征处理结果;根据元信息特征处理结果和内容特征处理结果,确定舆情预警结果;根据舆情预警结果以及舆情标签,调整宽度学习模型和深度学习模型的参数。
Description
技术领域
本说明书属于计算机领域,尤其涉及一种舆情预警模型的训练方法、预警方法、装置、设备及介质。
背景技术
随着移动互联网、物联网等新技术的迅速发展,人类进入数据时代,数据带来的信息风暴正改变着我们的生活、工作和思维方式,同时对网络舆情管理也带来深刻影响。随着新舆情时代的到来,组织机构在密切关注舆情风险的同时,需要深入挖掘舆情大数据的价值,倾听社会、市场和用户的广泛声音。
在上述背景下推出了舆情预警业务,舆情预警业务是通过算法能力,借助于现有的舆情平台,分析舆情数据,通过自动化的手段来判断是否需要人工干预处理,以及更早一步发现舆情。但是,目前的舆情预警结果并不是很准确。
发明内容
本说明书实施例提供一种舆情预警模型的训练方法、预警方法、装置、设备及介质,能够提高舆情预警的准确性。
第一方面,本说明书实施例提供一种舆情预警模型的训练方法,所述舆情预警模型包括宽度学习模型和深度学习模型,所述方法包括:
获取舆情样本训练集,所述舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;
将所述元信息特征输入所述宽度学习模型,以获取元信息特征处理结果;
将所述内容特征输入所述深度学习模型,以获取内容特征处理结果;
根据所述元信息特征处理结果和所述内容特征处理结果,确定舆情预警结果;
根据所述舆情预警结果以及所述舆情标签,调整所述宽度学习模型和所述深度学习模型的参数。
第二方面,本说明书实施例提供了一种舆情预警方法,包括:
获取待处理舆情信息;
将所述待处理舆情信息输入到舆情预警模型,得到所述待处理舆情信息的舆情预警结果,所述舆情预警模型是利用所述的舆情预警模型的训练方法训练得到的。
第三方面,本说明书实施例提供了一种舆情预警模型的训练装置,所述舆情预警模型包括宽度学习模型和深度学习模型,所述装置包括:
样本获取模块,用于获取舆情样本训练集,所述舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;
第一特征处理模块,用于将所述元信息特征输入所述宽度学习模型,以获取元信息特征处理结果;
第二特征处理模块,用于将所述内容特征输入所述深度学习模型,以获取内容特征处理结果;
预警结果确定模块,用于根据所述元信息特征处理结果和所述内容特征处理结果,确定舆情预警结果;
第一模型训练模块,用于根据所述舆情预警结果以及所述舆情标签,调整所述宽度学习模型和所述深度学习模型的参数。
第四方面,本说明书实施例提供了一种舆情预警装置,包括:
舆情信息获取模块,用于获取待处理舆情信息;
舆情预警模块,用于将所述待处理舆情信息输入到舆情预警模型,得到所述待处理舆情信息的舆情预警结果,所述舆情预警模型是利用所述的舆情预警模型的训练方法训练得到的。
第五方面,本说明书实施例提供了一种计算机设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现所述的舆情预警模型的训练方法或者舆情预警方法。
第六方面,本说明书实施例提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现所述的舆情预警模型的训练方法或者舆情预警方法。
本说明书实施例的舆情预警模型的训练方法、预警方法、装置、设备及介质,由于舆情样本的内容比较丰富,无法直接从舆情样本的内容中得到舆情预警的结果,所以需要利用深度学习模型对舆情样本的内容进行深度学习,从而可以准确地获取到舆情样本与舆情预警结果之间的关系。而舆情样本的元信息在一定程度上会直接体现舆情预警的结果,即舆情样本的元信息与舆情预警的结果之间存在线性关系,因此使用宽度学习模型来学习元信息,从而可以较为准确地学习得到元信息与舆情之间的关系。舆情预警模型将深度学习模型与宽度学习模型结合,使得舆情预警模型既有特征深度学习的属性,又不失宽度学习模型方便易用的特点,各显其长地分别对元信息特征和内容特征进行学习,提高舆情预警的精度。
附图说明
为了更清楚地说明本说明书实施例的技术方案,下面将对本说明书实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本说明书一个实施例提供的舆情预警模型的结构示意图;
图2示出了本说明书一个实施例提供的舆情预警模型的训练方法的流程示意图;
图3示出了本说明书另一个实施例提供的舆情预警模型的结构示意图;
图4示出了本说明书又一个实施例提供的舆情预警模型的结构示意图;
图5示出了本说明书一个实施例提供的舆情预警方法的流程示意图;
图6示出了本说明书一个实施例提供的舆情预警模型的训练装置的结构示意图;
图7示出了本说明书一个实施例提供的舆情预警装置的结构示意图;
图8示出了本说明书一个实施例提供的计算机设备的硬件结构示意图。
具体实施方式
下面将详细描述本说明书的各个方面的特征和示例性实施例,为了使本说明书的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本说明书进行进一步详细描述。对于本领域技术人员来说,本说明书可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本说明书的示例来提供对本说明书更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了解决现有技术问题,本说明书实施例提供了一种舆情预警模型的训练方法、预警方法、装置、设备及介质。下面首先对本说明书实施例所提供的舆情预警模型的训练方法进行介绍。
图1示出了本说明书一个实施例提供的舆情预警模型的结构示意图。如图1所示,舆情预警模型包括宽度学习模型和深度学习模型。舆情样本的元信息特征是宽度学习模型的输入,舆情样本的内容特征是深度学习模型的输入;根据宽度学习模型的输出和深度学习模型的输出进行舆情预警,从而得到舆情预警结果。由此可以看出,舆情预警模型结合了宽度学习模型和深度学习模型来实现舆情预警,宽度学习模型和深度学习模型的输入不同。
图2示出了本说明书一个实施例提供的舆情预警模型的训练方法的流程示意图。该舆情预警模型包括宽度学习模型和深度学习模型,如图2所示,舆情预警模型的训练方法包括:
S102,获取舆情样本训练集,舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签。
在本说明书一个实施例中,元信息特征包括以下的至少一项:点击率、阅读数、发文时间、转发量、评论数、点赞数、发文作者的等级、发文作者的粉丝数量、发文作者发表信息的总量、发文作者的关注量、发表舆情样本的网站的用户量。
在本说明书一个实施例中,内容特征包括以下的至少一项:文章标题、正文文本、正文图片。比如,内容特征包括:文章标题和正文文本。
对于舆情标签,舆情标签表示舆情样本是否为需要进行舆情预警的信息。比如,舆情样本A是一篇需要进行舆情预警的信息,舆情样本A的舆情标签是1;舆情样本B是一篇不需要进行舆情预警的信息,舆情样本B的舆情标签是0。
S104,将元信息特征输入宽度学习模型,以获取元信息特征处理结果。
参考图3,宽度学习模型包括两个部分,分别是特征转换部分和线性模型。其中,可以利用特征转换部分对元信息特征进行特征转换,得到转换元信息特征,将转换元信息特征和原始的元信息特征输入到线性模型,线性模型输出元信息特征处理结果。
对于特征转换部分,其中的一种特征转换可以是交叉转换,可以采用如下的公式进行交叉转换:
其中,φk(u)是对元信息特征u进行交叉转换得到的第k个交叉转换元信息特征,cki是布尔(boolean)值变量,若第i个元信息特征是参与第k个交叉转换元信息特征φk转换的一部分,则cki=1;若第i个特征不是参与第k个交叉转换元信息特征φk转换的一部分,则cki=0;d是元信息特征u的总个数。
比如,对于一个二进制特征,交叉转换可以简单理解为“和”,即“AND”。例如:(性别=女)and(语言=英语),就是由两个特征进行交叉转换而成,当“性别=女”取值为1,并且“语言=英语”也取值为1时,经过交叉转换得到交叉转换结果为1。
对于线性模型,线性模型可以是广义线性模型(Generalized Linear Model),将转换元信息特征和元信息特征输入到线性模型,输出元信息特征处理结果y1:
S106,将内容特征输入深度学习模型,以获取内容特征处理结果。
参考图3,深度学习模型包括嵌入(Embedding)函数和深度神经网络,嵌入函数用于将内容特征转换成内容特征向量,内容特征向量输入到深度神经网络中,得到内容特征处理结果y2:
S108,根据元信息特征处理结果和内容特征处理结果,确定舆情预警结果。
参考图3,将元信息特征处理结果和内容特征处理结果输入到合并层,以输出舆情预警结果。关于输出的舆情预警结果,比如,舆情预警结果为舆情样本是需要进行舆情预警的信息,或者,舆情预警结果为舆情样本是不需要进行舆情预警的信息。
其中,合并层包括激活函数,激活函数为:
P(Y=1|u)=σ(y1+y2) (4)
将上述的y1和y2代入到公式(4)中,得到:
σ是激活函数,比如是sigmoid函数;Y=1表示舆情样本是需要进行舆情预警的信息,P(Y=1|u)表示在使用元信息特征u的情况下Y=1的概率,b=b1+b2。
S110,根据舆情预警结果以及舆情标签,调整宽度学习模型和深度学习模型的参数。
其中,调整宽度学习模型和深度学习模型的参数,直到舆情预警模型满足预定条件为止。比如,预定条件包括训练的次数达到预定次数阈值,或者,预定条件包括由损失函数计算出的数值小于预定数值,损失函数(loss function)用于估量舆情预警模型的预测值(舆情预警结果)与真实值(舆情标签)之间的不一致程度。本说明书实施例并不限定预定条件。
在本说明书实施例中,由于舆情样本的内容比较丰富,无法直接从舆情样本的内容中得到舆情预警的结果,所以需要利用深度学习模型对舆情样本的内容进行深度学习,从而可以准确地学习到舆情样本与舆情预警结果之间的关系。而舆情样本的元信息在一定程度上会直接体现舆情预警的结果,即舆情样本的元信息与舆情预警的结果之间存在线性关系,因此使用宽度学习模型来学习元信息,从而可以较为准确地学习得到元信息与舆情之间的关系。
因此,舆情预警模型将深度学习模型与宽度学习模型结合,使得舆情预警模型既有深度学习特征的属性,又不失宽度学习模型方便易用的特点,各显其长地分别对元信息特征和内容特征进行学习,可以避免机器学习时泛化能力不强或者过度泛化导致影响舆情预警的精度,从而提高舆情预警的准确性。比如,元信息特征可以是非文本类的特征,内容特征可以是文本类的特征,利用宽度学习模型处理非文本类的特征,利用深度学习模型处理文本类的特征,可以发挥宽度学习模型和深度学习模型各自的优点。
而且,舆情预警模型从多个维度(元信息特征和内容特征)对舆情样本进行分析,可以进一步地提高了舆情预警结果的精度。
在本说明书的一个实施例中,舆情预警模型的训练方法还包括:初始化所述宽度学习模型的参数,具体包括:
将舆情样本训练集中的舆情样本的元信息特征输入到特征重要程度计算模型,以获取用于表示元信息特征对于舆情预警的重要程度的数值;将数值作为宽度学习模型中的元信息特征的权重的初始值。
通过为宽度学习模型中的元信息特征的权重设置质量较好的初始值,即舆情预警模型在训练之前位于一个好的起点,这样便于得到较好的训练结果,进一步地保证了训练后的舆情预警模型预警的精度。
对于宽度学习模型中的其他权重,可以采用正态截断分布的方式进行初始化。
在本说明书的一个实施例中,舆情预警模型的训练方法还包括:
根据舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到特征重要程度计算模型。特征重要程度计算模型可以是基于树模型的集成模型,boosting算法包括:XGBoost算法、梯度提升树(Gradient Boosting Decison Tree,GBDT)算法或者轻量级梯度提升机(Light gradient boosting machine,LightGBM)算法。
在本说明书的一个实施例中,参考图4,在S104之前,舆情预警模型的训练方法还包括:
将元信息特征输入到特征学习模型中,以获取影响舆情预警的元信息舆情特征。
S104包括:将元信息舆情特征和元信息特征输入宽度学习模型,以获取元信息特征处理结果。具体地,将元信息舆情特征和元信息特征输入宽度学习模型中的特征转换部分,特征转换部分的输出(组合元信息特征)输入到线性模型,线性模型输出元信息特征处理结果。
通过特征学习模型对元信息特征进行学习,以从元信息特征学习到影响舆情预警的元信息舆情特征,将元信息舆情特征和元信息特征输入到宽度学习模型,使得宽度学习模型的输出结果可以更好地反映出舆情,从而可以得到更准确的舆情预警结果。
在本说明书的一个实施例中,舆情预警模型的训练方法还包括:
根据舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到特征学习模型。特征学习模型可以是基于树模型的集成模型,boosting算法包括:XGBoost算法、GBDT算法或者LightGBM算法。
在本说明书的一个实施例中,深度学习模型可以包括:对舆情样本进行深度学习的语言模型、用于计算词向量的连续词袋(Continuous Bag-Of-Words,CBOW)模型或者用于计算词向量的Skip-gram模型。语言模型可以包括:转换器的双向编码表示(BidirectionalEncoder Representation from Transformers,BERT)、语言模型的嵌入(Embedding fromLanguage Models,ELMo)、生成预训练(Generative Pre-Training,GPT)或者XLNet(extrallong Net)。深度学习(Deep Learning)是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
在本说明书的一个或多个实施例中,至少有三种方式利用舆情样本训练集中的舆情样本进行模型训练:
方式一
将舆情样本训练集中的所有舆情样本输入到舆情预警模型中,调整宽度学习模型和深度学习模型的参数,然后重新将舆情样本训练集中的所有舆情样本输入到舆情预警模型中,以此类推进行训练,直到舆情预警模型满足预定条件为止。
方式二
将舆情样本训练集中的一个舆情样本输入到舆情预警模型中,调整宽度学习模型和深度学习模型的参数,然后将舆情样本训练集中的下一个舆情样本输入到舆情预警模型中,以此类推进行训练,直到舆情预警模型满足预定条件为止。
方式三
将舆情样本训练集中的一组舆情样本输入到舆情预警模型中,调整宽度学习模型和深度学习模型的参数,然后将舆情样本训练集中的下一组舆情样本输入到舆情预警模型中,以此类推进行训练,直到舆情预警模型满足预定条件为止。其中,每组舆情样本包括多个舆情样本。
其中,由于舆情预警模型的训练与深度学习模型的训练类似,所以在此不再对舆情预警模型的训练做过多的说明。
图5示出了本说明书一个实施例提供的舆情预警方法的流程示意图。如图5所示,该舆情预警方法包括:
S202,获取待处理舆情信息。
S204,将待处理舆情信息输入到舆情预警模型,得到待处理舆情信息的舆情预警结果,舆情预警模型是利用上述的舆情预警模型的训练方法训练得到的。
其中,本说明书实施例中的舆情预警结果可以是舆情信息是否为需要进行舆情预警的信息,如果该舆情信息是需要进行舆情预警的信息,那么将该舆情信息从众多的待处理舆情信息中筛选出来。在筛选出来之后,可以由人工对该舆情信息进行进一步地审查,以确定是否进行舆情预警,或者由计算机设备对筛选出的舆情信息进行进一步地处理以确定是否进行舆情预警。
图6示出了本说明书一个实施例提供的舆情预警模型的训练装置的结构示意图。舆情预警模型包括宽度学习模型和深度学习模型,如图6所示,舆情预警模型的训练装置300包括:
样本获取模块302,用于获取舆情样本训练集,舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签。
第一特征处理模块304,用于将元信息特征输入宽度学习模型,以获取元信息特征处理结果。
第二特征处理模块306,用于将内容特征输入深度学习模型,以获取内容特征处理结果。
预警结果确定模块308,用于根据元信息特征处理结果和内容特征处理结果,确定舆情预警结果。
第一模型训练模块310,用于根据舆情预警结果以及舆情标签,调整宽度学习模型和深度学习模型的参数。
在本发明的一个实施例中,舆情预警模型的训练装置300还包括:
初始化模块,用于初始化所述宽度学习模型的参数。
其中,初始化模块包括:
数值获取模块,用于将舆情样本训练集中的舆情样本的元信息特征输入到特征重要程度计算模型,以获取用于表示元信息特征对于舆情预警的重要程度的数值。
权重初始化模块,用于将数值作为宽度学习模型中的元信息特征的权重的初始值。
在本发明的一个实施例中,舆情预警模型的训练装置300还包括:
第二模型训练模块,用于根据舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到特征重要程度计算模型。
在本发明的一个实施例中,舆情预警模型的训练装置300还包括:
舆情特征获取模块,用于将元信息特征输入到特征学习模型中,以获取影响舆情预警的元信息舆情特征。
第一特征处理模块,用于将元信息舆情特征和元信息特征输入宽度学习模型,以获取元信息特征处理结果。
在本发明的一个实施例中,舆情预警模型的训练装置300还包括:
第三模型训练模块,用于根据舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到特征学习模型。
在本发明的一个实施例中,深度学习模型包括:对舆情样本进行深度学习的语言模型、用于计算词向量的连续词袋模型或者用于计算词向量的Skip-gram模型。
在本发明的一个实施例中,元信息特征包括以下的至少一项:点击率、阅读数、发文时间、转发量、评论数、点赞数、发文作者的等级、发文作者的粉丝数量、发文作者发表信息的总量、发文作者的关注量、发表舆情样本的网站的用户量。
在本发明的一个实施例中,内容特征包括以下的至少一项:文章标题、正文文本、正文图片。
图7示出了本说明书一个实施例提供的舆情预警装置的结构示意图。如图7所示,舆情预警装置400包括:
舆情信息获取模块402,用于获取待处理舆情信息。
舆情预警模块404,用于将待处理舆情信息输入到舆情预警模型,得到待处理舆情信息的舆情预警结果,舆情预警模型是利用上述的舆情预警模型的训练方法训练得到的舆情预警模型。
图8示出了本说明书一个实施例提供的计算机设备的硬件结构示意图。
计算机设备可以包括处理器502以及存储有计算机程序指令的存储器504。
具体地,上述处理器502可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本说明书实施例的一个或多个集成电路。
存储器504可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器504可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器504可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器504可在综合网关容灾设备的内部或外部。在特定实施例中,存储器504是非易失性固态存储器。在特定实施例中,存储器504包括只读存储器(ROM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器502通过读取并执行存储器504中存储的计算机程序指令,以实现上述实施例中的任意一种舆情预警模型的训练方法或者舆情预警方法。
在一个示例中,计算机设备还可包括通信接口506和总线510。其中,如图8所示,处理器502、存储器504、通信接口506通过总线510连接并完成相互间的通信。
通信接口506,主要用于实现本说明书实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者,将计算机设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线510可包括一个或多个总线。尽管本说明书实施例描述和示出了特定的总线,但本说明书考虑任何合适的总线或互连。
该计算机设备可以执行本说明书实施例中的舆情预警模型的训练方法或者舆情预警方法,从而实现结合图5至图8描述的舆情预警模型的训练方法、舆情预警方法和装置。
另外,结合上述实施例中的舆情预警模型的训练方法和舆情预警方法,本说明书实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种舆情预警模型的训练方法或者舆情预警方法。
需要明确的是,本说明书并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本说明书的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本说明书的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本说明书的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本说明书中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本说明书不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上所述,仅为本说明书的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本说明书的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本说明书的保护范围之内。
Claims (20)
1.一种舆情预警模型的训练方法,所述舆情预警模型包括宽度学习模型和深度学习模型,所述方法包括:
获取舆情样本训练集,所述舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;
将所述元信息特征输入所述宽度学习模型,以获取元信息特征处理结果;
将所述内容特征输入所述深度学习模型,以获取内容特征处理结果;
根据所述元信息特征处理结果和所述内容特征处理结果,确定舆情预警结果;
根据所述舆情预警结果以及所述舆情标签,调整所述宽度学习模型和所述深度学习模型的参数。
2.根据权利要求1所述的方法,其中,所述方法还包括初始化所述宽度学习模型的参数,具体包括:
将所述舆情样本训练集中的舆情样本的元信息特征输入到特征重要程度计算模型,以获取用于表示元信息特征对于舆情预警的重要程度的数值;
将所述数值作为所述宽度学习模型中的元信息特征的权重的初始值。
3.根据权利要求2所述的方法,其中,所述方法还包括:
根据所述舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到所述特征重要程度计算模型。
4.根据权利要求1所述的方法,其中,将所述元信息特征输入所述宽度学习模型之前,所述方法还包括:
将所述元信息特征输入到特征学习模型中,以获取影响舆情预警的元信息舆情特征;
其中,将所述元信息特征输入所述宽度学习模型,以获取元信息特征处理结果,包括:
将所述元信息舆情特征和所述元信息特征输入所述宽度学习模型,以获取所述元信息特征处理结果。
5.根据权利要求4所述的方法,其中,所述方法还包括:
根据所述舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到所述特征学习模型。
6.根据权利要求1所述的方法,其中,所述深度学习模型包括:对舆情样本进行深度学习的语言模型、用于计算词向量的连续词袋CBOW模型或者用于计算词向量的Skip-gram模型。
7.根据权利要求1所述的方法,其中,
所述元信息特征包括以下的至少一项:点击率、阅读数、发文时间、转发量、评论数、点赞数、发文作者的等级、发文作者的粉丝数量、发文作者发表信息的总量、发文作者的关注量、发表舆情样本的网站的用户量。
8.根据权利要求1所述的方法,其中,所述内容特征包括以下的至少一项:文章标题、正文文本、正文图片。
9.一种舆情预警方法,包括:
获取待处理舆情信息;
将所述待处理舆情信息输入到舆情预警模型,得到所述待处理舆情信息的舆情预警结果,所述舆情预警模型是利用如权利要求1-8中任一项所述的舆情预警模型的训练方法训练得到的。
10.一种舆情预警模型的训练装置,所述舆情预警模型包括宽度学习模型和深度学习模型,所述装置包括:
样本获取模块,用于获取舆情样本训练集,所述舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;
第一特征处理模块,用于将所述元信息特征输入所述宽度学习模型,以获取元信息特征处理结果;
第二特征处理模块,用于将所述内容特征输入所述深度学习模型,以获取内容特征处理结果;
预警结果确定模块,用于根据所述元信息特征处理结果和所述内容特征处理结果,确定舆情预警结果;
第一模型训练模块,用于根据所述舆情预警结果以及所述舆情标签,调整所述宽度学习模型和所述深度学习模型的参数。
11.根据权利要求10所述的装置,其中,所述装置还包括:
初始化模块,用于初始化所述宽度学习模型的参数;
其中,所述初始化模块包括:
数值获取模块,用于将所述舆情样本训练集中的舆情样本的元信息特征输入到特征重要程度计算模型,以获取用于表示元信息特征对于舆情预警的重要程度的数值;
权重初始化模块,用于将所述数值作为所述宽度学习模型中的元信息特征的权重的初始值。
12.根据权利要求11所述的装置,其中,所述装置还包括:
第二模型训练模块,用于根据所述舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到所述特征重要程度计算模型。
13.根据权利要求10所述的装置,其中,所述装置还包括:
舆情特征获取模块,用于将所述元信息特征输入到特征学习模型中,以获取影响舆情预警的元信息舆情特征;
所述第一特征处理模块,用于将所述元信息舆情特征和所述元信息特征输入所述宽度学习模型,以获取所述元信息特征处理结果。
14.根据权利要求13所述的装置,其中,所述装置还包括:
第三模型训练模块,用于根据所述舆情样本训练集中的多个舆情样本的元信息特征,采用boosting算法进行模型训练,得到所述特征学习模型。
15.根据权利要求10所述的装置,其中,所述深度学习模型包括:对舆情样本进行深度学习的语言模型、用于计算词向量的连续词袋CBOW模型或者用于计算词向量的Skip-gram模型。
16.根据权利要求10所述的装置,其中,所述元信息特征包括以下的至少一项:点击率、阅读数、发文时间、转发量、评论数、点赞数、发文作者的等级、发文作者的粉丝数量、发文作者发表信息的总量、发文作者的关注量、发表舆情样本的网站的用户量。
17.根据权利要求10所述的装置,其中,所述内容特征包括以下的至少一项:文章标题、正文文本、正文图片。
18.一种舆情预警装置,包括:
舆情信息获取模块,用于获取待处理舆情信息;
舆情预警模块,用于将所述待处理舆情信息输入到舆情预警模型,得到所述待处理舆情信息的舆情预警结果,所述舆情预警模型是利用如权利要求1-8中任一项所述的舆情预警模型的训练方法训练得到的。
19.一种计算机设备,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-9中任意一项所述的方法。
20.一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-9中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911235651.8A CN111144575B (zh) | 2019-12-05 | 2019-12-05 | 舆情预警模型的训练方法、预警方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911235651.8A CN111144575B (zh) | 2019-12-05 | 2019-12-05 | 舆情预警模型的训练方法、预警方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111144575A true CN111144575A (zh) | 2020-05-12 |
CN111144575B CN111144575B (zh) | 2022-08-12 |
Family
ID=70517641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911235651.8A Active CN111144575B (zh) | 2019-12-05 | 2019-12-05 | 舆情预警模型的训练方法、预警方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111144575B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111639183A (zh) * | 2020-05-19 | 2020-09-08 | 民生科技有限责任公司 | 一种基于深度学习算法的金融同业舆情分析方法及系统 |
CN113205409A (zh) * | 2021-05-28 | 2021-08-03 | 中国工商银行股份有限公司 | 贷款业务处理方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544255A (zh) * | 2013-10-15 | 2014-01-29 | 常州大学 | 基于文本语义相关的网络舆情信息分析方法 |
CN104200146A (zh) * | 2014-08-29 | 2014-12-10 | 华侨大学 | 一种结合视频人脸和数字唇动密码的身份验证方法 |
CN107330049A (zh) * | 2017-06-28 | 2017-11-07 | 北京搜狐新媒体信息技术有限公司 | 一种新闻热度预估方法及系统 |
US20190050750A1 (en) * | 2017-08-11 | 2019-02-14 | Linkedln Corporation | Deep and wide machine learned model for job recommendation |
CN109446394A (zh) * | 2018-09-27 | 2019-03-08 | 武汉大学 | 针对网络舆情事件的基于模块化的舆情监测方法及系统 |
WO2019112117A1 (ko) * | 2017-12-05 | 2019-06-13 | (주)아크릴 | 텍스트 콘텐츠 작성자의 메타정보를 추론하는 방법 및 컴퓨터 프로그램 |
CN110008336A (zh) * | 2019-01-14 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种基于深度学习的舆情预警方法及系统 |
CN110020426A (zh) * | 2019-01-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 将用户咨询分配到客服业务组的方法及装置 |
TW201939404A (zh) * | 2018-03-13 | 2019-10-01 | 香港商阿里巴巴集團服務有限公司 | 資訊推薦的方法、裝置及設備 |
-
2019
- 2019-12-05 CN CN201911235651.8A patent/CN111144575B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103544255A (zh) * | 2013-10-15 | 2014-01-29 | 常州大学 | 基于文本语义相关的网络舆情信息分析方法 |
CN104200146A (zh) * | 2014-08-29 | 2014-12-10 | 华侨大学 | 一种结合视频人脸和数字唇动密码的身份验证方法 |
CN107330049A (zh) * | 2017-06-28 | 2017-11-07 | 北京搜狐新媒体信息技术有限公司 | 一种新闻热度预估方法及系统 |
US20190050750A1 (en) * | 2017-08-11 | 2019-02-14 | Linkedln Corporation | Deep and wide machine learned model for job recommendation |
WO2019112117A1 (ko) * | 2017-12-05 | 2019-06-13 | (주)아크릴 | 텍스트 콘텐츠 작성자의 메타정보를 추론하는 방법 및 컴퓨터 프로그램 |
TW201939404A (zh) * | 2018-03-13 | 2019-10-01 | 香港商阿里巴巴集團服務有限公司 | 資訊推薦的方法、裝置及設備 |
CN109446394A (zh) * | 2018-09-27 | 2019-03-08 | 武汉大学 | 针对网络舆情事件的基于模块化的舆情监测方法及系统 |
CN110008336A (zh) * | 2019-01-14 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 一种基于深度学习的舆情预警方法及系统 |
CN110020426A (zh) * | 2019-01-21 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 将用户咨询分配到客服业务组的方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111639183A (zh) * | 2020-05-19 | 2020-09-08 | 民生科技有限责任公司 | 一种基于深度学习算法的金融同业舆情分析方法及系统 |
CN111639183B (zh) * | 2020-05-19 | 2023-11-28 | 民生科技有限责任公司 | 一种基于深度学习算法的金融同业舆情分析方法及系统 |
CN113205409A (zh) * | 2021-05-28 | 2021-08-03 | 中国工商银行股份有限公司 | 贷款业务处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111144575B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112966712B (zh) | 语言模型训练方法、装置、电子设备和计算机可读介质 | |
CN110147456B (zh) | 一种图像分类方法、装置、可读存储介质及终端设备 | |
CN108197652B (zh) | 用于生成信息的方法和装置 | |
CN109086265B (zh) | 一种语义训练方法、短文本中多语义词消歧方法 | |
CN112712069B (zh) | 一种判题方法、装置、电子设备及存储介质 | |
CN111259647A (zh) | 基于人工智能的问答文本匹配方法、装置、介质及电子设备 | |
CN111737978A (zh) | 一种购物评价情感分析的方法、装置及电子设备 | |
CN111144575B (zh) | 舆情预警模型的训练方法、预警方法、装置、设备及介质 | |
CN113140012B (zh) | 图像处理方法、装置、介质及电子设备 | |
CN112667803A (zh) | 一种文本情感分类方法及装置 | |
CN116127060A (zh) | 一种基于提示词的文本分类方法及系统 | |
CN112307210B (zh) | 一种文档标签预测方法、系统、介质及电子器件 | |
CN116956289B (zh) | 动态调整潜在黑名单和黑名单的方法 | |
CN110705279A (zh) | 一种词汇表的选择方法、装置及计算机可读存储介质 | |
CN111859933B (zh) | 马来语识别模型的训练方法、识别方法、装置、设备 | |
CN115062783B (zh) | 实体对齐方法及相关装置、电子设备、存储介质 | |
CN111026849A (zh) | 数据处理方法和装置 | |
CN116092101A (zh) | 训练方法、图像识别方法、装置、设备及可读存储介质 | |
CN115062126A (zh) | 一种语句分析方法、装置、电子设备及可读存储介质 | |
CN110569331A (zh) | 一种基于上下文的关联性预测方法、装置及存储设备 | |
CN115879446B (zh) | 文本处理方法、深度学习模型训练方法、装置以及设备 | |
CN110750979B (zh) | 一种篇章连贯性的确定方法以及检测装置 | |
CN118171727B (zh) | 三元组的生成方法、装置、设备、介质及程序产品 | |
CN117874269A (zh) | 一种图像的推送方法、装置、电子设备及可读存储介质 | |
CN118535695A (zh) | 信息处理方法、装置、设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |