CN107766577A - 一种舆情监测方法、装置、设备及存储介质 - Google Patents
一种舆情监测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN107766577A CN107766577A CN201711131841.6A CN201711131841A CN107766577A CN 107766577 A CN107766577 A CN 107766577A CN 201711131841 A CN201711131841 A CN 201711131841A CN 107766577 A CN107766577 A CN 107766577A
- Authority
- CN
- China
- Prior art keywords
- public sentiment
- sample
- sentiment monitoring
- model
- original sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明实施例公开了一种舆情监测方法、装置、设备及存储介质。其中,该方法包括:依据原始样本和原始样本的舆情监测结果对所述原始样本进行脱敏处理,得到所述原始样本的对抗样本,且将所述原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果;依据所述对抗样本以及所述对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;采用所述舆情监测模型进行舆情监测。本发明实施例提供的技术方案,通过引入对抗学习机制,利用对抗样本,提高了模型抗干扰能力、抗噪能力及抗迷惑能力,进而提高了舆情监控的准确率和召回率。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种舆情监测方法、装置、设备及存储介质。
背景技术
在信息时代,随着互联网技术发展,越来越多的新闻资讯进入大众视野,信息科技相关产品与网民日常生活息息相关。越来越多的人功过通过信息化产品进行聊天,如微信等,但是很多不法分子利用通讯工具做非法的事情。论坛等场所也可能被不法分子利用。针对互联网产品中文本的舆情监控尤为重要。舆情监控旨在监测出文本中是否有危险行为,是一个分类任务,对每一句话做分类,分类结果为:危险或不危险两类。
目前,现有舆情监控方法主要包括:1)基于字面匹配的舆情监测,通过列出一些危险关键字,若命中关键词则确定分类结果是危险;2)传统机器学习任务的舆情监控,通过提取一些特征使用机器学习模型进行分类:3)传统深度神经网络进行舆情监控,通过自动学习特征,进行危险分类。
但是,上述舆情监控方法分别存在如下问题:1)基于字面匹配的舆情监测存在召回率低,容易被类似的关键词伪装迷惑的问题;2)传统机器学习任务的舆情监控存在准确率和召回率不好控制,需要大量人工的特征工程的问题;3)传统深度神经网络进行舆情监控,虽然不需要大量人工的特征工程,但仍有些样本容易被迷惑,导致类别识别错误,召回率低,但整体上准确率和召回率比传统机器学习模型、关键词匹配好。
发明内容
本发明实施例提供一种舆情监测方法、装置、设备及存储介质,可以提高模型抗干扰能力、抗噪能力及抗迷惑能力,进而提高舆情监控的准确率和召回率。
第一方面,本发明实施例提供了一种舆情监测方法,该方法包括:
依据原始样本和原始样本的舆情监测结果对所述原始样本进行脱敏处理,得到所述原始样本的对抗样本,且将所述原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果;
依据所述对抗样本以及所述对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;
采用所述舆情监测模型进行舆情监测。
第二方面,本发明实施例还提供了一种舆情监测装置,该装置包括:
对抗样本生成模块,用于依据原始样本和原始样本的舆情监测结果对所述原始样本进行脱敏处理,得到所述原始样本的对抗样本,且将所述原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果;
舆情监测模型生成模块,用于依据所述对抗样本以及所述对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;
舆情监测模块,用于采用所述舆情监测模型进行舆情监测。
第三方面,本发明实施例还提供了一种设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面中任意所述的舆情监测方法。
第四方面,本发明实施例还提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任意所述的舆情监测方法。
本发明实施例提供的舆情监测方法、装置、设备及存储介质,通过依据原始样本和原始样本的舆情监测结果对原始样本进行脱敏处理后,得到对抗样本,利用对抗样本及其舆情监测结果进行深度神经网络训练最终得到舆情监测模型,利用该舆情监测模型进行舆情监测,提高了模型抗干扰能力、抗噪能力及抗迷惑能力,进而提高了舆情监控的准确率和召回率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1是本发明实施例一中提供的一种舆情监测方法的流程图;
图2是本发明实施例二中提供的一种舆情监测方法的流程图;
图3是本发明实施例二中提供的一种舆情监测方法的结构示意图;
图4是本发明实施例三中提供的一种舆情监测装置的结构框图;
图5是本发明实施例四中提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
实施例一
图1为本发明实施例一提供的一种舆情监测方法的流程图,本实施例基于深度学习与对抗训练可用来监测不法分子有意仿造的、用一些隐晦的话代替原始文本使得难以区分该文本类别的情况。该方法可以由本发明实施例提供的舆情监测装置/设备/计算机可读存储介质来执行,该装置/设备/计算机可读存储介质可采用软件和/或硬件的方式实现。参见图1,该方法具体包括:
S110,依据原始样本和原始样本的舆情监测结果对原始样本进行脱敏处理,得到原始样本的对抗样本,且将原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果。
其中,舆情监测是指整合互联网信息采集技术及信息智能处理技术通过对互联网海量信息自动抓取、自动分类聚类、主题监测、专题聚焦,实现用户的网络舆情监测和新闻专题追踪等信息需求,形成简报、报告、图表等分析结果,为客户全面掌握群众思想动态,做出正确舆论引导,提供分析依据。对于文本处理领域而言,舆情监测旨在监测出文本中是否有危险行为,是一个分类任务,即对每一句话做分类,分类结果为:危险或不危险两类。
为了监测出文本中是否有危险行为,一般采用神经网络模型进行判断,而一般的神经网络模型由输入层、中间层即隐藏层和输出层构成。其中,隐藏层根据模型训练的难以程度以及实际目标情况等因素一般有多层,其功能主要是增加神经网络的复杂性,以能够模拟复杂的非线性关系。一般的神经网络模型训练过程是把大量的原始样本和样本的舆情监测结果输入到神经网络模型中进行训练,通过各样本训练之后,使得该模型慢慢具有了判断能力。当把一个待确定类别的样本输入到已经训练好的神经网络模型中,模型会结合该模型现有的参数,对输入样本,做出一个判断,并输出判断的结果。
例如对于一个句子情感分类任务,目标是对一个句子的情感倾向分类,比如包含“积极”、“消极”两类。把原始样本为句子“我今天很开心”输入到已训练好的模型中,对应的模型的判断结果即原始样本的舆情监测结果为“积极”。
即当给定神经网络一个优化目标的情况下,该神经网络就会每一步算出一个更新量,按照这个更新量更新使得模型逐渐接近目标,反复执行,直到达到优化目标。其中,优化目标即使得模型能够准确区分输入样本分类结果的目标;由于神经网络的学习过程就是不断调整权重的过程,因此更新量即为权重变量;为了使得一个神经网络模型具有判断的能力所输入的训练样本即为原始样本,本实施例中的原始样本可选自互联网产品中的文本,如论坛等,对应的原始样本的舆情监测结果即分类结果为危险或不危险。
对于一个已经训练好的分类模型,将训练集中的原始样本数据做一些微小的改变,即使这些改动小到人眼都无法识别,也会导致模型很难区分改动之后的样本是否危险或给出一个完全错误的分类结果。而这些相对于原始样本做微小改动,使得改动之后成为一个很难区分是否危险的样本即为对抗样本。
因此,为了能够辨别出对抗样本的分类结果即危险或不危险,首先要获取对抗样本,本实施例中通过将原始样本进行脱敏处理得到对抗样本。具体的,脱敏处理可以是在原始样本的基础上加一些噪声即细微的干扰,比如加一些隐晦的词使得模型难以区分该输入样本的分类结果;也可以是取原始样本经神经网络模型生成逼近优化目标的更新量的反方向等。
由于对抗样本是只在原始样本的基础上增加了一些干扰后得到的,因而其分类结果没有变,即对抗样本的舆情监测结果与原始样本的舆情监测结果一致。
S120,依据对抗样本以及对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型。
其中,深度神经网络模型是指具有很多隐藏层的神经网络。舆情监测模型是指具有判断输入样本是否危险能力的模型。为了使舆情监测模型不仅能够区分原始样本的分类结果,也能够很好的区分对抗样本的分类结果,本实施例中把由原始样本脱敏处理得到的对抗样本及其对应的舆情监测结果输入到深度神经网络模型中进行训练学习,直到当把待判断样本输入到该模型中,该模型能够精准的确定输入样本的分类结果。
示例性的,得到舆情监测模型的方法也可以是依据原始样本,对抗样本,原始样本的舆情监测结果以及对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;还可以直接将原始样本及原始样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型。
S130,采用舆情监测模型进行舆情监测。
当通过深度神经网络模型训练得到舆情监测模型后,就可以利用该舆情监测模型对输入样本进行舆情监测。
本发明实施例提供的舆情监测方法,通过依据原始样本和原始样本的舆情监测结果对原始样本进行脱敏处理后,得到对抗样本,利用对抗样本及其舆情监测结果进行深度神经网络训练最终得到舆情监测模型,利用该舆情监测模型进行舆情监测,不仅能够区分原始样本的类别,也能够很好的区分对抗样本的分类结果,提高了模型抗干扰能力、抗噪能力及抗迷惑能力,进而提高了舆情监控的准确率和召回率。
实施例二
图2为本发明实施例二提供的一种舆情监测方法流程图,图3为本发明实施例二提供的一种舆情监测方法的结构示意图。该舆情监测方法以本发明实施例一为基础,进一步的提供了一种依据原始样本和原始样本的舆情监测结果对原始样本进行脱敏处理,得到原始样本的对抗样本的方法。结合图2和图3,该方法包括:
S210,依据原始样本和原始样本的舆情监测结果对初始神经网络模型进行训练得到初步舆情监测模型,并记录初步舆情监测模型的训练过程中每一步的权重更新向量。
其中,初始舆情监测模型为能够很好的区分出原始样本的分类结果,但是很难区分出对抗样本的分类结果。初始神经网络模型可以是未经训练的神经网络模型,神经网络模型的训练过程包括前向传播和后向传播,在神经网络模型前向传播训练中,为了使模型接近目标,就需要不断调整输入层和隐藏层间的权重,即用权重来更新模型即为权重更新量。由于训练过程中的每一步都对应一个权重更新量,把这些权重更新量按一定的顺序组合起来就可以构成权重更新向量。当把原始样本和原始样本的舆情监测结果输入到初始神经网络模型中经过不断的更新训练,即可以得到能够区分出原始样本的类别的初步舆情监测模型。
S220,对记录的各权重更新向量进行取反操作,得到各权重更新向量的反向权重更新向量。
由于各权重更新向量是一个向量,对应的取反的操作就是直接在各权重更新向量前面加一个负号,即变为与各权重更新向量大小相等方向相反的向量。
示例性的,对记录的各权重更新向量进行取反操作,得到各权重更新向量的反向权重更新向量可以是:将各权重更新向量的相反向量确定为各权重更新向量的反向权重更新向量。
S230,以原始样本为输入,各反向权重更新向量作为权重更新量对初始神经网络模型进行训练得到对抗样本生成模型。
其中,为了得到对抗样本,首先要得到用来生成对抗样本模型的对抗样本生成模型。神经网络模型的训练过程包括前向传播和后向传播,当实际输出与期望输出不符时,就需要进行模型更新,此时进入后向传播阶段。具体的训练过程为:通过输出层,按梯度下降算法的方式修正各层权值,向隐藏层、输入层逐层反传,不断调整各层权值的过程。
在微积分里面,对多元函数的参数求偏导数,把求得的各个参数的偏导数以向量的形式写出来即为梯度,对于函数f(x,y),在点(x0,y0),沿着梯度向量的方向就是的方向是f(x,y)增加最快的地方。反过来说,沿着梯度向量相反的方向,也就是的方向,梯度减少最快,就是梯度下降。在机器学习算法中,使用梯度下降算法是为了找出损失函数的最小值,使得模型向着“尽量把样本判断对”的方向发展。其中,为了评估模型好坏,通常用损失函数来度量拟合的程度。损失函数极小化,意味着拟合程度最好,对应的模型参数即为最优参数。
本实施例中当把原始样本输入到初始神经网络中,以反向权重更新向量作为权重更新量对初始神经网络模型进行训练的过程即为神经网络模型后向传播,最终得到对抗样本生成模型。
S240,将原始样本作为对抗样本生成模型的输入,得到原始样本对应的对抗样本。
将原始样本输入到对抗样本生成模型中,输出结果即为与原始样本对应的对抗样本。
S250,将原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果。
S260,依据对抗样本以及对抗样本的舆情监测结果对初步舆情监测模型进行训练,得到新的舆情监测模型。
其中,新的舆情监测模型为不仅能够很好的区分出原始样本的分类结果,而且能够区分出对抗样本的分类结果。因此,为了得到新的舆情监测模型,将步骤S240得到的对抗样本以及S250得到的对抗样本的舆情监测结果输入到已经得到的初步舆情监测模型中,对该模型重新进行训练,直到能够准确的判断出对抗样本是否危险时停止训练,得到的模型即为新的舆情监测模型。也可以直接用原始样本及原始样本的舆情监测结果对初始初步舆情监测模进行训练来得到新的舆情监测模型,此外,还可以将原始样本、对抗样本、原始样本的舆情监测结果以及对抗样本的舆情监测结果对初始神经网络模型进行训练来得到新的舆情监测模型。
S270,采用新的舆情监测模型进行舆情监测。
本发明实施例提供的舆情监测方法,通过一层训练过程,得到对抗样本,再利用对抗样本及其舆情监测结果进行深度神经网络训练最终得到舆情监测模型,利用该舆情监测模型进行舆情监测,不仅能够区分原始样本的分类结果,也能够很好的区分对抗样本的分类结果,提高了模型抗干扰能力、抗噪能力及抗迷惑能力,进而提高了舆情监控的准确率和召回率。
实施例三
图4为本发明实施例三提供的一种舆情监测装置的结构框图,该装置可执行本发明任意实施例所提供的舆情监测方法,具备执行方法相应的功能模块和有益效果。如图4所示,该装置可以包括:
对抗样本生成模块410,用于依据原始样本和原始样本的舆情监测结果对原始样本进行脱敏处理,得到原始样本的对抗样本,且将原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果;
舆情监测模型生成模块420,用于依据对抗样本以及对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;
舆情监测模块430,用于采用舆情监测模型进行舆情监测。
本发明实施例提供的舆情监测装置,通过依据原始样本和原始样本的舆情监测结果对原始样本进行脱敏处理后,得到对抗样本,利用对抗样本及其舆情监测结果进行深度神经网络训练最终得到舆情监测模型,利用该舆情监测模型进行舆情监测,提高了模型抗干扰能力、抗噪能力及抗迷惑能力,进而提高了舆情监控的准确率和召回率。
进一步地,对抗样本生成模块410具体包括:
初步舆情监测模型生成单元,用于依据原始样本和原始样本的舆情监测结果对初始神经网络模型进行训练得到初步舆情监测模型,并记录初步舆情监测模型的训练过程中每一步的权重更新向量;
反向权重更新向量生成单元,用于对记录的各权重更新向量进行取反操作,得到各权重更新向量的反向权重更新向量;
对抗样本模型生成单元,用于以原始样本为输入,各反向权重更新向量作为权重更新量对初始神经网络模型进行训练得到对抗样本生成模型;
对抗样本生成单元,用于将原始样本作为对抗样本生成模型的输入,得到原始样本对应的对抗样本。
示例性的,舆情监测模型生成模块420具体用于:
依据对抗样本以及对抗样本的舆情监测结果对初步舆情监测模型进行训练,得到新的舆情监测模型。
可选的,反向权重更新向量生成单元具体用于:
将各权重更新向量的相反向量确定为各权重更新向量的反向权重更新向量。
实施例四
图5为本发明实施例四提供的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,该设备12以通用计算设备的形式表现。该设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示,通常称为“硬盘驱动器”)。尽管图5中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该设备交互的设备通信,和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与设备12的其它模块通信。应当明白,尽管图中未示出,可以结合设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的舆情监测方法。
实施例五
本发明实施例五还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述实施例中任意的舆情监测方法。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上述实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个计算装置上,或者分布在多个计算装置所组成的网络上,可选地,他们可以用计算机装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件的结合。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间的相同或相似的部分互相参见即可。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种舆情监测方法,其特征在于,包括:
依据原始样本和原始样本的舆情监测结果对所述原始样本进行脱敏处理,得到所述原始样本的对抗样本,且将所述原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果;
依据所述对抗样本以及所述对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;
采用所述舆情监测模型进行舆情监测。
2.根据权利要求1所述的方法,其特征在于,依据原始样本和原始样本的舆情监测结果对所述原始样本进行脱敏处理,得到所述原始样本的对抗样本,包括:
依据原始样本和原始样本的舆情监测结果对初始神经网络模型进行训练得到初步舆情监测模型,并记录所述初步舆情监测模型的训练过程中每一步的权重更新向量;
对记录的各权重更新向量进行取反操作,得到所述各权重更新向量的反向权重更新向量;
以所述原始样本为输入,所述各反向权重更新向量作为权重更新量对所述初始神经网络模型进行训练得到对抗样本生成模型;
将所述原始样本作为所述对抗样本生成模型的输入,得到所述原始样本对应的对抗样本。
3.根据权利要求2所述的方法,其特征在于,依据对抗样本以及对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型,包括:
依据所述对抗样本以及所述对抗样本的舆情监测结果对所述初步舆情监测模型进行训练,得到新的舆情监测模型。
4.根据权利要求2所述的方法,其特征在于,对记录的各权重更新向量进行取反操作,得到各权重更新向量的反向权重更新向量,包括:
将所述各权重更新向量的相反向量确定为所述各权重更新向量的反向权重更新向量。
5.一种舆情监测装置,其特征在于,包括:
对抗样本生成模块,用于依据原始样本和原始样本的舆情监测结果对所述原始样本进行脱敏处理,得到所述原始样本的对抗样本,且将所述原始样本的舆情监测结果作为对应的对抗样本的舆情监测结果;
舆情监测模型生成模块,用于依据所述对抗样本以及所述对抗样本的舆情监测结果进行深度神经网络模型训练得到舆情监测模型;
舆情监测模块,用于采用所述舆情监测模型进行舆情监测。
6.根据权利要求5所述的装置,其特征在于,所述对抗样本生成模块具体包括:
初步舆情监测模型生成单元,用于依据原始样本和原始样本的舆情监测结果对初始神经网络模型进行训练得到初步舆情监测模型,并记录所述初步舆情监测模型的训练过程中每一步的权重更新向量;
反向权重更新向量生成单元,用于对记录的各权重更新向量进行取反操作,得到所述各权重更新向量的反向权重更新向量;
对抗样本模型生成单元,用于以所述原始样本为输入,所述各反向权重更新向量作为权重更新量对所述初始神经网络模型进行训练得到对抗样本生成模型;
对抗样本生成单元,用于将所述原始样本作为所述对抗样本生成模型的输入,得到所述原始样本对应的对抗样本。
7.根据权利要求6所述的装置,其特征在于,所述舆情监测模型生成模块具体用于:
依据所述对抗样本以及所述对抗样本的舆情监测结果对所述初步舆情监测模型进行训练,得到新的舆情监测模型。
8.根据权利要求6所述的装置,其特征在于,所述反向权重更新向量生成单元具体用于:
将所述各权重更新向量的相反向量确定为所述各权重更新向量的反向权重更新向量。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的舆情监测方法。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的舆情监测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711131841.6A CN107766577B (zh) | 2017-11-15 | 2017-11-15 | 一种舆情监测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711131841.6A CN107766577B (zh) | 2017-11-15 | 2017-11-15 | 一种舆情监测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107766577A true CN107766577A (zh) | 2018-03-06 |
CN107766577B CN107766577B (zh) | 2020-08-21 |
Family
ID=61279232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711131841.6A Active CN107766577B (zh) | 2017-11-15 | 2017-11-15 | 一种舆情监测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107766577B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628974A (zh) * | 2018-04-25 | 2018-10-09 | 平安科技(深圳)有限公司 | 舆情信息分类方法、装置、计算机设备和存储介质 |
CN109117482A (zh) * | 2018-09-17 | 2019-01-01 | 武汉大学 | 一种面向中文文本情感倾向性检测的对抗样本生成方法 |
CN110188571A (zh) * | 2019-06-05 | 2019-08-30 | 深圳市优网科技有限公司 | 基于敏感数据的脱敏方法及系统 |
CN110472251A (zh) * | 2018-05-10 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 翻译模型训练的方法、语句翻译的方法、设备及存储介质 |
CN111797333A (zh) * | 2020-06-04 | 2020-10-20 | 南京擎盾信息科技有限公司 | 舆情传播任务展示的方法及装置 |
CN112215629A (zh) * | 2019-07-09 | 2021-01-12 | 百度在线网络技术(北京)有限公司 | 基于构造对抗样本的多目标广告生成系统及其方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105786929A (zh) * | 2014-12-26 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 一种信息监测方法及装置 |
US9513764B2 (en) * | 2014-05-14 | 2016-12-06 | International Business Machines Corporation | Detection of communication topic change |
CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
CN107025284A (zh) * | 2017-04-06 | 2017-08-08 | 中南大学 | 网络评论文本情感倾向的识别方法及卷积神经网络模型 |
-
2017
- 2017-11-15 CN CN201711131841.6A patent/CN107766577B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9513764B2 (en) * | 2014-05-14 | 2016-12-06 | International Business Machines Corporation | Detection of communication topic change |
CN105786929A (zh) * | 2014-12-26 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 一种信息监测方法及装置 |
CN106296692A (zh) * | 2016-08-11 | 2017-01-04 | 深圳市未来媒体技术研究院 | 基于对抗网络的图像显著性检测方法 |
CN107025284A (zh) * | 2017-04-06 | 2017-08-08 | 中南大学 | 网络评论文本情感倾向的识别方法及卷积神经网络模型 |
Non-Patent Citations (1)
Title |
---|
MARGARITA OSADCHY 等: "《No Bot Expects the DeepCAPTCHA! Introducing Immutable Adversarial Examples, With Applications to CAPTCHA Generation》", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108628974A (zh) * | 2018-04-25 | 2018-10-09 | 平安科技(深圳)有限公司 | 舆情信息分类方法、装置、计算机设备和存储介质 |
CN108628974B (zh) * | 2018-04-25 | 2023-04-18 | 平安科技(深圳)有限公司 | 舆情信息分类方法、装置、计算机设备和存储介质 |
CN110472251A (zh) * | 2018-05-10 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 翻译模型训练的方法、语句翻译的方法、设备及存储介质 |
US11900069B2 (en) | 2018-05-10 | 2024-02-13 | Tencent Technology (Shenzhen) Company Limited | Translation model training method, sentence translation method, device, and storage medium |
CN109117482A (zh) * | 2018-09-17 | 2019-01-01 | 武汉大学 | 一种面向中文文本情感倾向性检测的对抗样本生成方法 |
CN109117482B (zh) * | 2018-09-17 | 2021-07-06 | 武汉大学 | 一种面向中文文本情感倾向性检测的对抗样本生成方法 |
CN110188571A (zh) * | 2019-06-05 | 2019-08-30 | 深圳市优网科技有限公司 | 基于敏感数据的脱敏方法及系统 |
CN112215629A (zh) * | 2019-07-09 | 2021-01-12 | 百度在线网络技术(北京)有限公司 | 基于构造对抗样本的多目标广告生成系统及其方法 |
CN112215629B (zh) * | 2019-07-09 | 2023-09-01 | 百度在线网络技术(北京)有限公司 | 基于构造对抗样本的多目标广告生成系统及其方法 |
CN111797333A (zh) * | 2020-06-04 | 2020-10-20 | 南京擎盾信息科技有限公司 | 舆情传播任务展示的方法及装置 |
CN111797333B (zh) * | 2020-06-04 | 2021-04-20 | 南京擎盾信息科技有限公司 | 舆情传播任务展示的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107766577B (zh) | 2020-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766577A (zh) | 一种舆情监测方法、装置、设备及存储介质 | |
Pan et al. | Hidden trigger backdoor attack on {NLP} models via linguistic style manipulation | |
Tu et al. | Interpretable Objective Assessment of Dysarthric Speech Based on Deep Neural Networks. | |
CN107168992A (zh) | 基于人工智能的文章分类方法及装置、设备与可读介质 | |
CN110516791B (zh) | 一种基于多重注意力的视觉问答方法及系统 | |
CN106940788A (zh) | 智能评分方法及装置、计算机设备及计算机可读介质 | |
CN110427625A (zh) | 语句补全方法、装置、介质及对话处理系统 | |
CN108053840A (zh) | 一种基于pca-bp的情绪识别方法及系统 | |
CN108961032A (zh) | 借贷处理方法、装置以及服务器 | |
CN113239914B (zh) | 课堂学生表情识别及课堂状态评估方法、装置 | |
US20210133752A1 (en) | Identification of behavioral pattern of simulated transaction data | |
US11188798B1 (en) | Detecting artificial multimedia content using deep network response analysis | |
CN108879732A (zh) | 电力系统暂态稳定评估方法及装置 | |
CN107943940A (zh) | 数据处理方法、介质、系统和电子设备 | |
Lazaridou et al. | A multitask objective to inject lexical contrast into distributional semantics | |
Xu et al. | Review conversational reading comprehension | |
Zheng et al. | Knowledge-grounded dialogue generation with term-level de-noising | |
US20210133771A1 (en) | Identification of behavioral pattern of simulated transaction data | |
US11488185B2 (en) | System and method for unsupervised abstraction of sensitive data for consortium sharing | |
US11475467B2 (en) | System and method for unsupervised abstraction of sensitive data for realistic modeling | |
US11475468B2 (en) | System and method for unsupervised abstraction of sensitive data for detection model sharing across entities | |
CN108268443A (zh) | 确定话题点转移以及获取回复文本的方法、装置 | |
US20210133489A1 (en) | System and method for unsupervised abstraction of sensitive data for realistic modeling | |
Reddy et al. | Neural networks for prediction of loan default using attribute relevance analysis | |
Du et al. | DBWE-Corbat: Background network traffic generation using dynamic word embedding and contrastive learning for cyber range |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |