CN110929683A - 一种基于人工智能的视频舆情监测方法及系统 - Google Patents

Abstract

本申请公开了一种视频舆情监测方法及监测系统，该方法包括如下步骤：获取由视频数据及相关信息构成的实时流数据；基于所述实时流数据中的视频数据进行信息提取；确定所述视频数据及相关信息是否匹配；若匹配则生成舆情信息并存储。本申请充分发挥人工智能相关技术的优势，深度挖掘视频数据及相关信息中的舆情信息，灵活满足不同的视频舆情监测需求，实现自动化、智能化的视频舆情监测。

Description

一种基于人工智能的视频舆情监测方法及系统

技术领域

本申请涉及计算机领域，特别的涉及一种基于人工智能的视频舆情监测方法及系统。

背景技术

随着移动互联网和5G通信技术的快速发展，视频作为更便捷有效的信息传播方式，呈现出高速发展的态势。特别是随着短视频平台、直播行业的迅速崛起，视频量呈现出爆炸式增长，网民均可以通过视频在网络上表达观点、传播思想。但随之而来的是有些网民在网上传播负能量，造谣传谣，发表涉黄涉暴、低俗媚俗的不当言论，严重的甚至侮辱英烈，损害党和政府的形象。因此加强视频舆情的监测与监管对于净化网络空间，加强网络空间治理，营造天朗气清、生态良好的亿万民众共同的精神家园具有重要意义。

现有的舆情监测方法以基于文本的监测为主，通过采集各大网站、论坛、微博、相关App等的文章标题、内容、评论等公开的文本信息，根据关键词匹配得出不同关键词对应的舆情信息，并展示给用户。以上传统的文本舆情监测方法重在数据的获取，而对数据的处理与挖掘不够深入，且对于视频舆情难以有效监测，如果部分视频不存在标题和内容等文本信息，则无法基于文本信息实现监测。传统的基于关键词匹配的方法也显得不够灵活，像与、或、非等逻辑关系无法应用到监测中，难以满足用户特定的舆情监测需求。

随着人工智能与大数据技术的发展，特别是人脸检测、图像识别、知识图谱等技术的发展，给视频舆情监测提供了良好的技术基础，应用以上人工智能技术，可以在传统文本舆情监测的基础上实现更加自动化、智能化的视频舆情监测，更好的服务于国家的网络空间安全战略。

发明内容

本申请请求保护一种视频舆情监测方法，包括如下步骤：获取由视频数据及相关信息构成的实时流数据；基于所述实时流数据中的视频数据进行信息提取；确定所述视频数据及相关信息是否匹配；若匹配则生成舆情信息并存储。

优选地，其中基于所述实时流数据中的视频数据进行信息提取包括图像识别、人脸检测、通用物体检测与识别、OCR文字提取以及视频特征矩阵提取中的一种或几种。

优选地，其中预先建立匹配规则确定所述视频数据及相关信息是否匹配，建立步骤如下：根据匹配逻辑定义匹配规则；基于知识图谱对所述匹配规则进行扩充；根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图，执行后续匹配过程。

优选地，其中根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图包括如下子步骤：以逻辑运算节点为根构建树形结构；将匹配规则中所包含的规则项添加到该树形结构中；依据构建的树形结构生成匹配程序执行图。

优选地，其中在有多个匹配规则时，每个匹配规则生成一个树形结构，每个树形结构生成一个匹配程序执行图。

本申请还提供一种视频舆情监测系统，包括如下部件：视频数据及相关信息获取模块，获取由视频数据及相关信息构成的实时流数据；视频数据处理模块，基于所述实时流数据中的视频数据进行信息提取；匹配模块，确定所述视频数据及相关信息是否匹配；若匹配则生成舆情信息；舆情信息存储模块，存储匹配模块命中的数据。

优选地，其中视频数据处理模块基于所述实时流数据中的视频数据进行信息提取包括图像识别、人脸检测、通用物体检测与识别、OCR文字提取以及视频特征矩阵提取中的一种或几种。

优选地，其中还包括匹配规则解析模块和匹配规则扩充模块，其中：

匹配规则解析模块，根据匹配逻辑定义匹配规则，根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图，执行后续匹配过程；匹配规则扩充模块，基于知识图谱对所述匹配规则进行扩充；

优选地，其中匹配规则解析模块根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图包括：以逻辑运算节点为根构建树形结构；将匹配规则中所包含的规则项添加到该树形结构中；依据构建的树形结构生成匹配程序执行图。

优选地，其中在有多个匹配规则时，每个匹配规则生成一个树形结构，每个树形结构生成一个匹配程序执行图。

基于上述介绍的视频舆情监测方法及系统，可充分发挥人工智能相关技术的优势，深度挖掘视频数据及相关信息中的舆情信息，灵活满足不同的视频舆情监测需求，实现自动化、智能化的视频舆情监测，大幅提高对舆情话题的覆盖率和识别准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本申请所述视频舆情监测方法一实施例的流程图；

图2是本申请所述视频舆情监测系统一实施例的系统结构图。

具体实施方式

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请所述视频舆情监测方法一实施例的流程图，包括：

步骤S110、获取由视频数据及相关信息构成的实时流数据；

在本实施例中，首先需要获取实时的视频数据及视频的相关信息。从各个公开的网络平台采集平台用户发布的公开的视频数据，以及视频对应的URL、分享链接、发布平台信息、发布时间、发布地点、发布者信息、文字标题、文字内容、评论内容、评论发布者信息、点赞数、转发数、评论数、传播轨迹等相关信息，将以上视频数据及相关信息合并作为一条采集数据。由于平台用户在不停的上传视频数据，因此从多个平台实时获取的采集数据也组成了实时流数据。

步骤S120、基于所述实时流数据中的视频数据进行信息提取；

当获取到实时的流数据后，需要对流数据中的每一条采集数据进行处理，挖掘其中的信息。每一条采集数据由视频数据和相关信息构成，由于视频数据中蕴含有丰富的信息，因此可以从以下五个方面对视频数据的每一帧或关键帧进行处理：

(1)图像识别，主要使用图像分类技术识别图像中是否存在色情、低俗、暴力、恐怖主义、政治敏感等违法信息。由于上述信息的特征相对明显，因此采用如sift匹配算法等的图像处理算法进行初步识别，使用基于卷积神经网络的图像识别算法进行精确识别。如果识别出违法信息，需记录帧的编号与识别结果的对应关系。

(2)人脸检测，人脸检测算法是广泛应用的算法，需要综合考虑检测速度、检测精度等因素选取合适的算法，并且需要对同一视频中同一人脸的多张图像去重，同时考虑到后续匹配效果，保留尽可能多的不同角度的人脸图像。

(3)通用物体检测与识别，考虑到图像识别只能识别上述特征明显的场景，因此作为补充，利用通用物体检测与识别技术，可以识别视频中出现的上万种物体。结合视频舆情的监测场景的不同，可根据需求选取部分物体作为识别对象，如暴力监测场景中选取刀、枪、斧等管制刀具、恐怖组织图标、重点建筑物外观等作为识别对象。

(4)OCR文字提取，对视频中文字的识别对于视频舆情的匹配十分重要，因此视频中出现的字幕、弹幕、贴纸、口播以及物体表面的文字等信息需要尽可能的提取出来。视频中的文字信息一般为水平展示或垂直展示，所以针对两种不同情况分别进行提取，同时视频中出现的文字可能不只有汉字，所以对英文等外文和藏文、维吾尔文等少数民族文字进行了识别。由于不同语言文字的书写方向和书写格式不同，需要针对不同语言训练不同的OCR文字提取模型。

(5)视频特征矩阵提取，建立端到端的深度神经网络提取视频的特征向量，对于每一帧或关键帧图像，基于上述的人脸监测结果图像、通用物体监测与识别结果图像、OCR文字提取出的文字以及原始图像分别使用不同的神经网络分支提取特征向量，并通过基于注意力机制的特征向量聚合模块聚合上述4个分支的特征向量，进一步通过基于注意力机制的多帧融合模块融合多帧的特征向量得到最终的视频特征矩阵。视频特征矩阵可以用于后续视频匹配，针对单个视频的匹配效果优于文本匹配和图像匹配。

进一步地，对视频数据处理完成后，将原始视频数据进行压缩处理或提取视频摘要，并将视频处理结果与采集数据合并，考虑到后续的存储成本，在此不保留原始视频数据。

步骤S130、确定所述视频数据及相关信息是否与特定信息匹配；

其中，特定信息由用户提供或系统自动提供。

在提供的特定信息是图片或文字时，根据预先建立的匹配规则确定所述视频数据及相关信息是否与特定信息匹配。

匹配规则建立的步骤如下：

步骤S1301、根据匹配逻辑定义匹配规则；

在用户侧，用户可以结合本地区的舆情监测需求，以及关注的舆情话题等，根据匹配逻辑定义匹配规则，或者使用舆情专家制定的匹配规则。匹配规则需精确表达匹配逻辑，满足匹配需求。

在本实施例中，匹配规则由一个或多个规则项构成，不同规则项之间存在与、或的逻辑关系，规则项本身存在是、非的逻辑关系，规则项内由文本关键词、图片、过滤条件等构成。

每个规则项针对特定域，上述规则项间的逻辑关系可以添加任意多个。

步骤S1302、基于知识图谱对所述匹配规则进行扩充；

由于匹配规则多为用户制定，难免存在覆盖不全的问题，因此可以基于知识图谱对匹配规则进行扩充。知识图谱一般为基于互联网公开数据构建的实体-关系图谱，通过采集维基百科、百度百科等百科类网站和各垂类网站、敏感信息网站等的数据构建得到，当然也可以是与视频舆情监测相关的名词图谱、地名图谱、方言图谱等，或者是以上各种图谱的任意形式的组合，应当明确的是，知识图谱只是一个统称。除对文本关键词的扩充，知识图谱还可以对规则项中的图片进行扩充，扩充方式为根据实体的图片属性扩充。在查询知识图谱进行扩充时，可能出现一个文本对应多个实体的一对多关系，可利用多个实体集合间的总和关系路径最短策略或者其他处理策略识别对应实体。相应地，对举例的匹配规则生成的匹配程序执行图进行如上类似的扩充。

步骤S1303、根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图，执行后续匹配过程。包括如下子步骤：

步骤S13031、以逻辑运算节点为根构建树形结构；

步骤S13032、将匹配规则中所包含的规则项添加到该树形结构中。

添加的过程如下：将规则项作为该树形结构的根节点的子节点。依据规则项间的逻辑关系构建树形结构，即不断添加逻辑运算节点，使用逻辑运算关系和规则项间的层级结构表达规则项间的逻辑关系。

逻辑运算节点及下一级所有子节点的整体，成为逻辑组，该逻辑组可作为更大粒度的规则项，参与新的条件组合，这样最终实现多级逻辑关系配置，能够灵活设置两级以上嵌套逻辑条件。

可选地，还可以根据用户的输入拆分树形结构中的多个规则项经过条件组合组成的逻辑组，实现逻辑关系调整。

可选地，匹配规则可有多个，这些匹配规则可由一个匹配规则拆分得来，从而每个匹配规则对应一个匹配单元，实现匹配速度的升级，同时也可避免重复匹配。

步骤S13033、依据构建的树形结构生成匹配程序执行图。

根据树形结构发出调用命令，响应于调用命令，生成对应于该调用命令的脚本代码，根据脚本代码以及树形结构创建匹配程序执行图。

在有多个匹配规则时，每个匹配规则生成一个树形结构，每个树形结构生成一个匹配程序执行图。因此，可进一步的对匹配程序执行图进行合并与优化。

使用上述步骤生成匹配规则，根据匹配规则确定所述视频数据及相关信息是否匹配包括：针对实时流数据中的每一条采集数据，应用匹配规则进行匹配。

匹配过程根据预先建立的匹配程序执行图执行，根据匹配程序执行图中的逻辑关系自动优化匹配执行过程，提高匹配效率。

进一步地，可依据采集数据的类型执行不同的匹配逻辑，例如文本和图片即可采用不同的匹配逻辑，执行不同的匹配任务。例如数据处理量较大的类型例如图片采用多个匹配执行图提高计算速度，而数据处理量相对较小的类型例如文本采用一个匹配执行图即可。合并匹配任务的执行结果得出最终匹配结果。

进一步地，用户可针对匹配规则开启自动推送，若开启，则将实时流数据中的匹配数据自动推送给用户。

在提供的特定信息是视频时，根据以下步骤确定所述视频数据及相关信息是否与特定信息匹配。具体步骤如下：

步骤P1、提取特定信息的特征矩阵；

由于特定信息是视频信息，因此对特定信息进行与前述视频特征矩阵提取相同的方式提取特定信息的视频特征矩阵。进一步地，由于要使用到视频特征矩阵，因此，上述步骤S120基于所述实时流数据中的视频数据进行信息提取中，需要对视频数据进行视频特征矩阵的提取。

步骤P2、使用特定信息的特征矩阵进行视频匹配。

分为实时匹配和离线匹配两部分，实时匹配将实时流数据中的每一个视频的特征矩阵和特定信息的特征矩阵输入一个siamese结构的深度神经网络检测是否匹配；

离线匹配对已存储的视频特征矩阵采用矢量量化的方式进行匹配，使用层次聚类算法建立已存储视频的特征聚类树，通过多层聚类的方法，缩小匹配候选集，在缩小的候选集中应用siamese网络判断是否与特定信息匹配。最终的匹配结果综合实时匹配和离线匹配两部分的结果作为所述视频数据及相关信息是否与特定信息匹配的结果。

步骤S140、若匹配则生成舆情信息并存储。

将命中上述匹配规则或者符合视频匹配的所述视频数据及相关信息格式化后存储至各舆情话题对应的数据库中，存储的信息包括压缩后的原始视频(或视频摘要)，视频发布者信息、评论等相关信息，视频数据处理结果(包含文字与图片)，以及匹配规则或者视频匹配命中信息。同时，考虑到数据可能会被后来制定的匹配规则或者视频匹配命中，因此需要将上述各项数据离线存储，在满足匹配规则时效性的基础上保留一定期限。

以上是针对本发明方法实施例的介绍，以下通过系统实施例进行进一步说明。

图2为本发明所述视频舆情监测系统一实施例的结构图，包括：

视频数据及相关信息获取模块210，根据系统预设的公开网络平台，实时采集对应网络平台上用户发布的视频数据及相关信息，由于网络平台众多且格式不统一，所以采集的视频数据及相关数据由固有schema和扩充schema构成。

视频数据处理模块220，用于将视频数据拆分为关键帧，并对关键帧并行处理，进行图像识别、人脸检测、通用物体检测与识别、OCR文字提取以及视频特征矩阵提取中的一种或多种，并将帧编号与检测和识别结果一一对应，对结果进行聚类去重后输出。如果视频数据的处理结果中存在违法信息，则自动推送给用户以得到及时的处理。由于视频数据处理模块对计算资源的消耗较大，因此采用多机分布式并行计算，提高视频数据处理模块的吞吐量。

匹配规则解析模块230，用于根据匹配逻辑定义匹配规则，根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图，执行后续匹配过程。。

匹配规则扩充模块240，根据已有知识图谱对生成的匹配执行图中的规则项进行扩充，扩充可以通过文本关键词扩充图片，也可以通过图片扩充文本关键词，得到新的匹配程序执行图。知识图谱根据不同视频舆情监测需求包含不同信息，如通用实体-关系图谱、特殊名称图谱、方言图谱等。

视频数据及相关信息存储模块250，存储最近一段时间内采集的全量视频数据、视频相关信息和视频数据处理结果，对以上信息建立全文索引、图片索引、视频索引等，并提供查询API供用户查询和尝试匹配规则。由于全量数据占用大量存储空间，因此该模块采用分布式存储集群存储数据，可以实现横向扩展和动态扩容以应对存储需求。

匹配模块260，确定所述视频数据及相关信息是否匹配；生成与匹配规则相对应的树形图；依据树形图生成匹配程序执行图；对匹配程序执行图进行合并与优化；依据文本和图片的不同匹配逻辑，执行不同的匹配任务，图片采用多级匹配程序执行图提高计算速度，合并匹配任务的执行结果得出最终匹配结果。用户可针对匹配规则开启自动推送，若开启，则匹配模块将实时流数据中的匹配数据自动推送给用户。

舆情信息存储模块270，存储匹配模块命中的数据，包括实时流数据和离线数据，并按照相应结构化格式存储。

进一步地，匹配模块260在输入的特定信息是图片或文字时根据预先建立的匹配规则确定所述视频数据及相关信息是否与特定信息匹配；在输入的特定信息是视频时执行上述步骤P1和步骤P2。

对应于图1中的方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述安全控制的方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述在线签发eSIM证书的方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频舆情监测方法，包括如下步骤：

获取由视频数据及相关信息构成的实时流数据；

基于所述实时流数据中的视频数据进行信息提取；

确定所述视频数据及相关信息是否匹配；

若匹配则生成舆情信息并存储。

2.如权利要求1所述的监测方法，其中基于所述实时流数据中的视频数据进行信息提取包括图像识别、人脸检测、通用物体检测与识别、OCR文字提取以及视频特征矩阵提取中的一种或几种。

3.如权利要求1所述的监测方法，其中预先建立匹配规则确定所述视频数据及相关信息是否匹配，建立步骤如下：

根据匹配逻辑定义匹配规则；

基于知识图谱对所述匹配规则进行扩充；

根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图，执行后续匹配过程。

4.如权利要求3所述的监测方法，其中根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图包括如下子步骤：

以逻辑运算节点为根构建树形结构；

将匹配规则中所包含的规则项添加到该树形结构中；

依据构建的树形结构生成匹配程序执行图。

5.如权利要求1所述的监测方法，其中在有多个匹配规则时，每个匹配规则生成一个树形结构，每个树形结构生成一个匹配程序执行图。

6.一种视频舆情监测系统，包括如下部件：

视频数据及相关信息获取模块，获取由视频数据及相关信息构成的实时流数据；

视频数据处理模块，基于所述实时流数据中的视频数据进行信息提取；

匹配模块，确定所述视频数据及相关信息是否匹配；若匹配则生成舆情信息；

舆情信息存储模块，存储匹配模块命中的数据。

7.如权利要求6所述的监测系统，其中视频数据处理模块基于所述实时流数据中的视频数据进行信息提取包括图像识别、人脸检测、通用物体检测与识别、OCR文字提取以及视频特征矩阵提取中的一种或几种。

8.如权利要求6所述的监测系统，其中还包括匹配规则解析模块和匹配规则扩充模块，其中：

匹配规则解析模块，根据匹配逻辑定义匹配规则，根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图，执行后续匹配过程；

匹配规则扩充模块，基于知识图谱对所述匹配规则进行扩充。

9.如权利要求8所述的监测系统，其中匹配规则解析模块根据匹配规则中所包含的规则项的逻辑关系，由外至内生成树形结构的匹配程序执行图包括：

以逻辑运算节点为根构建树形结构；

将匹配规则中所包含的规则项添加到该树形结构中；

依据构建的树形结构生成匹配程序执行图。

10.如权利要求6所述的监测系统，其中在有多个匹配规则时，每个匹配规则生成一个树形结构，每个树形结构生成一个匹配程序执行图。

Images