CN111582587A - 一种视频舆情的预测方法及预测系统 - Google Patents

一种视频舆情的预测方法及预测系统 Download PDF

Info

Publication number
CN111582587A
CN111582587A CN202010396130.7A CN202010396130A CN111582587A CN 111582587 A CN111582587 A CN 111582587A CN 202010396130 A CN202010396130 A CN 202010396130A CN 111582587 A CN111582587 A CN 111582587A
Authority
CN
China
Prior art keywords
video
feature
prediction
information
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010396130.7A
Other languages
English (en)
Other versions
CN111582587B (zh
Inventor
袁振龙
张玉鹏
卢永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fule Technology Co ltd
Original Assignee
Shenzhen Fule Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fule Technology Co ltd filed Critical Shenzhen Fule Technology Co ltd
Priority to CN202010396130.7A priority Critical patent/CN111582587B/zh
Publication of CN111582587A publication Critical patent/CN111582587A/zh
Application granted granted Critical
Publication of CN111582587B publication Critical patent/CN111582587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种视频舆情的预测方法及预测系统，其中视频舆情的预测方法，具体包括如下步骤：获取视频信息，根据视频信息获取舆情话题视频；对舆情话题视频进行处理，获得信息特征；对获取的信息特征进行融合，得到高级特征值；将高级特征值输入预测模型得到预测结果；根据预测结果优化预测模型。本申请可充分发挥人工智能相关技术的优势，深度挖掘视频数据及相关信息中的舆情信息，深度表征舆情态势发展趋势，快速迭代更新舆情预测模型，实现自动化、智能化的视频舆情预测，大幅提高对舆情话题的预测准确度。

Description

一种视频舆情的预测方法及预测系统
技术领域
本申请涉及人工智能与大数据分析领域，具体地，涉及一种视频舆情的预测方法及预测系统。
背景技术
随着移动互联网和5G通信技术的快速发展，视频作为更便捷有效的信息传播方式，呈现出高速发展的态势。特别是随着短视频平台、直播行业的迅速崛起，视频量呈现出爆炸式增长，网民均可以通过视频在网络上表达观点、传播思想。但随之而来的是有些网民在网上传播负能量，造谣传谣，发表涉黄涉暴、低俗媚俗的不当言论，严重的甚至侮辱英烈，损害党和政府的形象。因此加强视频舆情的监测，及时追踪视频舆情动态信息，根据已有信息快速预测未来舆情趋势，从而制定更灵活、针对性更强的舆论监管和引导措施。对于净化网络空间，加强网络空间治理，营造天朗气清、生态良好的亿万民众共同的精神家园具有重要意义。
现有的舆情预测方法以基于文本的舆情预测为主，通过采集各大新闻网站、论坛、微博、公众号等平台的文本信息、用户公开信息等，对文本信息进行预处理后，提取出舆情信息，结合相应的舆情预测模型预测不同舆情信息的舆情变化指数。随着视频作为更广泛的信息载体，如果用户发表的内容不存在文本信息，现有的文本舆情预测方法将无法监测并利用相关舆情信息进行预测，如果用户发表的内容既存在文本信息也存在视频信息，现有的文本舆情预测方法将只利用文本信息及相关舆情信息进行预测，因此对于舆情的预测存在一定的偏差。
因此，如何能够有效的对视频舆情进行预测从而预测检测结果的正确性是本领域人员目前急需解决的问题。
发明内容
本申请的目的在于提供一种视频舆情的预测方法及预测系统，实现更加自动化、智能化的视频舆情预测，并获得更为精准、精确的舆情态势。
为达到上述目的，本申请提供了一种视频舆情的预测方法，具体包括如下步骤：获取视频信息，根据视频信息获取舆情话题视频；对舆情话题视频进行处理，获得信息特征；对获取的信息特征进行融合，得到高级特征值；将高级特征值输入预测模型得到预测结果；根据预测结果优化预测模型。
如上的，其中，根据视频信息获取舆情话题视频中，还包括，判断获取的视频信息中是否存在相同的视频数据，若存在相同的视频数据，则将相同视频数据作为同一舆情话题视频进行合并存储。
如上的，其中，获取信息特征具体包括：获取视频特征、获取文本特征、获取属性特征以及获取传播特征。
如上的，其中，获取视频特征具体包括以下子步骤：获取低语义的视频特征矩阵；基于低语义的视频特征矩阵生成视频标签、主题、文字描述深层语义信息；将深层语义信息向量化后作为视频特征。
如上的，其中，获取低语义的视频特征矩阵具体包括以下子步骤：利用卷积神经网络提取舆情话题视频中的多帧图像的特征向量；融合多帧图像的特征向量得到低语义的视频特征矩阵；其中融合多帧图像的特征向量得到低语义的视频特征矩阵具体包括以下子步骤：获取每一帧图像的特征向量的通道注意力特征图，以及根据通道注意力特征图获取每一帧图像的特征向量的空间注意力特征图；根据每一帧图像的空间注意力特征图获取多帧图像的特征向量序列的时序注意力特征图；融合多帧图像的特征向量序列的时序注意力特征图，获得视频特征矩阵。
如上的，其中，其中通道注意力特征图
Figure BDA0002486660270000021
表示为：
Figure BDA0002486660270000031
其中，MLP为多层感知机网络，σ(·)为激活函数，AvgPool为平均池化，MaxPool为最大值池化，
Figure BDA0002486660270000032
为hadamard乘积，Ac表示获得通道注意力的函数，vi表示多帧图像特征向量序列中的某一帧图像的特征向量；
空间注意力特征图
Figure BDA0002486660270000033
表示为：
Figure BDA0002486660270000034
其中，AvgPool为平均池化，MaxPool为最大值池化，
Figure BDA0002486660270000035
为hadamard乘积，σ(·)为激活函数，
Figure BDA0002486660270000036
表示通道注意力特征图，ω表示网络参数，As表示获得空间注意力的函数；
时序注意力特征图
Figure BDA0002486660270000037
表示为：
Figure BDA0002486660270000038
其中，ω0、ω1、ω2、b为网络参数，h为隐状态，T表示矩阵转置，
Figure BDA0002486660270000039
表示空间注意力特征图，
Figure BDA00024866602700000310
为hadamard乘积，σ(·)为激活函数，其中
Figure BDA00024866602700000311
表示由空间注意力特征图
Figure BDA00024866602700000312
组成的矩阵，At表示获得时序注意力的函数，tanh表示双曲正切函数。
其中视频特征矩阵F具体表示为：
Figure BDA00024866602700000313
其中，ω表示网络参数，H、W分别为视频帧通道的高度、宽度，其中
Figure BDA00024866602700000314
表示由时序注意力特征图
Figure BDA00024866602700000315
组成的矩阵。
如上的，其中，对获取的信息特征进行融合，得到高级特征值具体包括以下子步骤：根据信息特征建立特征融合模型；将信息特征输入特征融合模型，获得高级特征值；其中t时刻高级特征j的特征值
Figure BDA00024866602700000316
具体表示为：
Figure BDA00024866602700000317
j∈[0，6]，其中，MStacking为叠加多个特征融合模型的元模型，M(·)为特征融合模型，FV表示视频特征，FW文本特征，FP表示属性特征，FS表示传播特征，MV、MW、MP表示元模型，MS表示时序模型。
如上的，其中，将高级特征输入预测模型Mpredict中，得到预测结果，其中预测结果包括预测得到的t时刻的舆情热度指数Pt以及t+1时刻的高级特征值
Figure BDA0002486660270000041
具体表示为：
Figure BDA0002486660270000042
其中，
Figure BDA0002486660270000043
表示t时刻的预测模型，
Figure BDA00024866602700000411
表示表示t时刻高级特征j的高级特征值。
如上的，其中，根据预测结果优化预测模型包括，在t+1时刻，根据预测的高级特征值
Figure BDA0002486660270000044
和真实高级特征值
Figure BDA0002486660270000045
的误差训练网络，得到t+1时刻的预测模型
Figure BDA0002486660270000046
其中t+1时刻的预测模型
Figure BDA0002486660270000047
具体表示为：
Figure BDA0002486660270000048
其中，
Figure BDA0002486660270000049
表示预测的高级特征值，
Figure BDA00024866602700000410
表示真实高级特征值，concat表示矩阵沿着某一个维度进行连接，training表示训练过程。
一种视频舆情的预测系统，具体包括获取单元、处理单元、融合单元以及预测优化单元；获取单元，用于获取视频信息，根据视频信息获取舆情话题视频；处理单元，用于对舆情话题视频进行处理，获得信息特征；融合单元，用于对获取的信息特征进行融合，得到高级特征值；预测优化单元，用于将高级特征值输入预测模型进行预测，并根据预测结果优化预测模型。
本申请具有的有益效果是：
本申请提供的视频舆情的预测方法及预测系统，可充分发挥人工智能相关技术的优势，深度挖掘视频数据及相关信息中的舆情信息，深度表征舆情态势发展趋势，快速迭代更新舆情预测模型，实现自动化、智能化的视频舆情预测，大幅提高对舆情话题的预测准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的视频舆情的预测方法流程图；
图2是根据本申请实施例提供的视频舆情的预测系统的内部结构图；
图3是根据本申请实施例提供的视频舆情的预测系统的子模块的内部结构图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请涉及一种视频舆情的预测方法及预测系统。根据本申请，实现更加自动化、智能化的视频舆情预测，并获得更为精准、精确的舆情态势，更好的服务于国家的网络空间安全战略。
如图1所示为本申请提供的视频舆情的预测方法流程图，具体包括以下步骤：
步骤S110：获取视频信息，根据视频信息获取舆情话题视频。
具体地，其中视频信息包括一条视频数据和与该视频数据对应的采集数据，采集数据具体为与该视频数据对应的URL(Uniform Resource Locator，统一资源定位符)、分享链接、发布平台信息、发布时间、发布地点、发布者信息、文字标题、文字内容、评论内容、评论发布者信息、点赞数、转发数、评论数、点赞关系、转发关系、评论关系、传播时空轨迹等数据。
由于平台用户在不停的上传视频数据，因此从多个平台实时获取的视频信息为多个。
进一步地，在获取视频信息后还包括，判断获取的多个视频信息中是否存在相同的视频数据。
其中判断相同的视频数据具体为：判断同一平台的转发视频是否为同一视频、同一平台的非转发视频以及不同平台的视频是否为同一视频。
其中判断同一平台的转发视频是否为同一视频，可以根据转发关系判断是否为同一视频，作为举例，转发关系可以为微博或其他平台中的转发关系。
同一平台的非转发视频以及不同平台的视频是否为同一视频，可根据视频和文本相似性进行判断。视频相似性判断算法采用现有技术中的关键帧phash算法，文本相似性判断算法为现有技术中的编辑距离算法，具体算法在此不进行阐述。
若判断存在相同的视频数据，则将相同视频数据作为同一舆情话题视频进行合并存储，以及与该视频对应的采集数据也进行合并存储，同时执行步骤S120。
若判断不存在相同的视频数据，则视频信息中的数据不需要合并，将获取的多个视频信息中的视频数据作为多个舆情话题视频进行存储，执行步骤S120。
步骤S120：对舆情话题视频进行处理，获得信息特征。
具体地，其中对舆情话题视频进行处理包括对舆情话题视频自身以及与该舆情话题视频对应的采集数据进行处理，从而获取信息特征。其中信息特征包括：视频特征、文本特征、属性特征、传播特征，步骤S120具体包括以下子步骤：
步骤S1201：获取视频特征。
其中步骤S1201，获得视频特征具体包括以下子步骤：
步骤D1：获取低语义的视频特征矩阵。
具体地，其中步骤D1包括以下子步骤：
步骤D101：利用卷积神经网络提取舆情话题视频中的多个帧图像的特征向量。
其中多帧图像具体为每个舆情话题视频中的每一帧或关键帧图像。
其中，通过现有技术中的卷积神经网络进行多帧图像的特征向量的提取。设提取的多帧图像的特征向量序列为V＝(v1，v1，vi…vn)＝φ(X)，
Figure BDA0002486660270000071
φ(·)表示用于提取特征向量的残差神经网络，(v1，v1，vi…vn)表示多帧图像中的每一帧图像的特征向量，C、H、W分别为视频帧通道数、高度、宽度，
Figure BDA0002486660270000077
表示实数空间。
步骤D102：融合多个帧图像的特征向量得到低语义的视频特征矩阵。
具体地，通过基于混合空间注意力与时序注意力机制的多帧融合算法融合多帧图像的特征向量得到低语义的视频特征矩阵。
其中步骤D102具体包括以下子步骤：
步骤D1021：获取每一帧图像的特征向量的通道注意力特征图，以及根据通道注意力特征图获取每一帧图像的特征向量的空间注意力特征图。
具体地，其中基于神经网络中出现的算法，例如通道注意力机制、空间注意力机制，获取每个帧图像的特征向量的通道注意力特征图和空间注意力特征图。
其中通道注意力特征图
Figure BDA0002486660270000072
表示为：
Figure BDA0002486660270000073
其中，MLP为多层感知机网络，σ(·)为激活函数，AvgPool为平均池化，MaxPool为最大值池化，
Figure BDA0002486660270000074
为hadamard乘积，Ac表示获得通道注意力的函数，vi表示多帧图像特征向量序列中的某一帧图像的特征向量。
其中空间注意力特征图
Figure BDA0002486660270000075
表示为：
Figure BDA0002486660270000076
其中，AvgPool为平均池化，MaxPool为最大值池化，
Figure BDA0002486660270000081
为hadamard乘积，σ(·)为激活函数，
Figure BDA0002486660270000082
表示通道注意力特征图，ω表示网络参数，AS表示获得空间注意力的函数。
步骤D1022：根据每一帧图像的空间注意力特征图获取多帧图像的特征向量序列的时序注意力特征图。
具体地，多个帧图像的特征向量构成特征向量序列。其中，基于LSTM(Long Short-Term Memory，长短时记忆网络)网络与时序注意力机制，根据每一帧图像的空间注意力特征图
Figure BDA0002486660270000083
获取多帧图像特征向量序列的时序注意力特征图
Figure BDA0002486660270000084
其中时序注意力特征图
Figure BDA0002486660270000085
表示为：
Figure BDA0002486660270000086
其中，ω0、ω1、ω2、b为网络参数，h为隐状态，T表示矩阵转置，
Figure BDA0002486660270000087
表示空间注意力特征图，
Figure BDA0002486660270000088
为hadamard乘积，σ(·)为激活函数，其中
Figure BDA0002486660270000089
表示由空间注意力特征图
Figure BDA00024866602700000810
组成的矩阵，At表示获得时序注意力的函数，tanh表示双曲正切函数。
步骤D1023：融合多帧图像的特征向量序列的时序注意力特征图，获得视频特征矩阵。
具体地，在序列维度使用步长为3的卷积神经网络融合多帧图像的特征向量序列的时序注意力特征图，获得融合后的视频特征矩阵。
其中视频特征矩阵F具体表示为：
Figure BDA00024866602700000811
其中，ω表示网络参数，H、W分别为视频帧通道的高度、宽度，其中
Figure BDA00024866602700000812
表示由时序注意力特征图
Figure BDA00024866602700000813
组成的矩阵。
步骤D2：基于低语义的视频特征矩阵生成视频标签、主题、文字描述深层语义信息。
其中，通过建立三个不同的端到端的深度神经网络，分别生成视频的标签、主题和文字描述深层语义信息。
具体地，视频标签采用结合层次softmax的多标签分类算法获得，主题采用多分类算法获得，文字描述采用混合软注意力机制的Encoder-Decoder循环神经网络生成。
其中视频的标签体系包括上万个标签，视频的主题包括上百个主题。举例如某短视频为在医院的场景中出现了医患纠纷，则经过视频特征挖掘后，获得如医生、病房、医院、击打、多人、暴力事件等标签，主题为医闹，生成的文字描述为“在医院，医生被击打”。可以看出，上述生成的标签、主题等基本可以表达出一个视频的核心语义信息。
步骤D3：将深层语义信息向量化后作为视频特征向量。
其中向量化深层语义后的视频特征FV表示为：
FV＝{Flabel，Fcate，Fdes}
其中，Flabel为标签向量，Fcate为主题向量，Fdes为文字向量。
步骤S1202：获取文本特征。
如果舆情话题视频还包含其他文本信息如视频标题、视频描述性文字等，则可以对这些文本信息提取文本特征。其中步骤S1202，获取文本特征具体包括以下子步骤：
步骤P1：对文本进行向量化。
具体地，对文本进行分词，去停用词，利用word2vec将文本向量化。
步骤P2：在向量化的文本中提取文本内容的主题词向量。
具体地，利用LDA(Latent Dirichlet Allocation，隐狄利克雷分布)算法提取文本内容的主题词向量。
步骤P3：在向量化的文本中提取文本内容的情感类别向量。
具体地，基于CRF(Conditional Random Field，条件随机场)的情感分析算法等分析视频发布人的情感倾向性、情感极性，提取情感类别向量。
步骤P4：在向量化的文本中提取文本内容的敏感词向量。
具体地，利用敏感词库等判断文本信息中包含的不同类型的敏感词，并作为敏感词向量。
步骤P5：将获取的主题词向量、情感类别向量以及敏感词向量，作为文本特征。
具体地，其中文本特征FW具体表示为：
FW＝{Fsubject，Femo，Fsensitive}
其中Fsubject为主题词向量，Femo为情感类别向量，Fsensitive为敏感词向量。
步骤S1203：获取属性特征。
具体地，属性特征作为与舆情话题视频或者用户绑定的特征，包含两部分：舆情视频属性特征和用户画像特征。其中舆情视频属性特征是完全由采集的舆情视频相关信息中抽取而来，如发布时间段、发布媒体、报道位置等。用户画像特征则主要为舆情视频发布者的特征，包含从视频相关信息中抽取而来的如媒体等级、粉丝数量等信息，以及根据一定的打分规则计算得到的活跃度、粉丝活跃度等特征。
优选地，通过归一化对得到的舆情视频属性特征和用户画像特征进行向量化，得到属性特征。其中属性特征FP表示为：
FP＝{Fattr，Fprofile}
Fattr为向量化后的舆情视频属性特征，Fprofile为向量化后的用户画像特征。
步骤S1204：获取传播特征。
具体地，传播特征主要为离散的时序统计特征。对于舆情话题视频，其在不同的时间段内，转发量、评论量、点赞量、曝光量等都在发生变化，因此需要在不同的时间段内统计其变化情况，作为舆情话题视频传播程度的客观反映。
其中传播特征FS具体表示为：
Figure BDA0002486660270000111
其中，
Figure BDA0002486660270000112
表示0时刻的时序统计特征，
Figure BDA0002486660270000113
表示1时刻的时序统计特征，
Figure BDA0002486660270000114
表示t时刻的时序统计特征。
步骤S130：对获取的信息特征进行融合，得到高级特征值。
其中步骤S130具体包括以下步骤：
步骤S1301：根据信息特征建立特征融合模型。
在本实施例中，使用stacking的方式结合多种不同的机器学习模型建立特征融合模型。其中根据视频、文本、属性特征建立MV、MW、MP元模型，MV、MW、MP可采用GBDT(GradientBoosting Decision Tree，梯度提升决策树)、XGboost等元模型。根据传播特征建立MS时序模型，MS可采用GRU(Gate Recurrent Unit，门控循环单元)时序模型。
步骤S1302：将信息特征输入特征融合模型，获得高级特征值。
具体地，其中t时刻高级特征j的高级特征值
Figure BDA0002486660270000115
具体表示为：
Figure BDA0002486660270000116
其中，MStacking为叠加多个特征融合模型的元模型，M(·)为特征融合模型，FV表示视频特征，FW文本特征，FP表示属性特征，FS表示传播特征，MV、MW、MP表示元模型，MS表示时序模型。
其中高级特征j作为决定预测效果好坏的重要指标，需要仔细挑选并调优特征融合模型获得更准确的高级特征值，优选地，j∈[0，6]。
进一步地，具体包括以下高级特征：舆情视频新颖度F0、敏感度F1、群体度F2、与已有舆情热点相关度F3、大众支持度F4、媒体支持度F5、当事人反馈度F6。
将获取的视频特征FV、文本特征FW、属性特征FP、传播特征FS作为基础特征.即直观上对舆情话题视频的理解。然后需要融合上述4种基本特征做为高级特征，相当于对基础特征的进一步分析和判断。
步骤S140：将高级特征值输入预测模型得到预测结果。
具体地，使用基于注意力机制的循环神经网络作为预测模型Mpredict，将步骤S130中得到的高级特征输入预测模型，得到预测结果。
具体地，其中预测结果包括预测得到的t时刻的舆情热度指数Pt以及t+1时刻的高级特征值
Figure BDA0002486660270000121
其中Pt的正负值表示舆情热度增加或减少，Pt绝对值大小表示舆情热度的变化幅度，具体表示为：
Figure BDA0002486660270000122
其中，
Figure BDA0002486660270000123
表示t时刻的预测模型，
Figure BDA0002486660270000124
表示t时刻高级特征j的高级特征值，concat表示矩阵沿着某一个维度进行连接。
步骤S150：根据预测结果优化预测模型。
具体地，在t+1时刻，根据预测的高级特征值
Figure BDA0002486660270000125
和真实高级特征值
Figure BDA0002486660270000126
的误差训练网络，得到t+1时刻的预测模型
Figure BDA0002486660270000127
其中t+1时刻的预测模型
Figure BDA0002486660270000128
具体表示为：
Figure BDA0002486660270000129
其中，
Figure BDA00024866602700001210
表示预测的高级特征值，
Figure BDA00024866602700001211
表示真实高级特征值，concat表示矩阵沿着某一个维度进行连接，concat表示矩阵沿着某一个维度进行连接，training表示训练过程。
进一步地，根据t+1时刻的预测模型进行预测，得到t+1时刻的舆情热度指数以及t+2时刻的高级特征值，重复上述步骤，不断得到预测后的舆情热度指数以及高级特征值，并根据预测后的高级特征值进行预测模型的更新，从而实现模型更新和持续预测。
综上，随着时间的变化，采集到的视频在发生变化，舆情话题视频的基础特征和融合后的高级特征在发生变化，预测模型也在持续更新，预测值也发生变化，所以整个视频舆情预测方法是一个能够动态自适应的方法，且不需要人工参与预测过程，可以大大提高视频舆情的预测时效和准确性。本实施例提供的预测方法的准确率较高，且由于模型持续更新，因此具有较低的趋势跟踪误差，
本申请提供了视频舆情的预测系统，如图2所示，其中预测系统中包括获取单元201、处理单元202、融合单元203、预测优化单元204。
其中获取单元201用于获取视频信息，根据视频信息获取舆情话题视频。
具体地，获取单元201还包括，判断模块、合并模块与存储模块。
其中判断模块用于判断获取的视频信息之间是否存在相同的视频数据。
合并模块与判断模块连接，用于若存在相同的视频数据，则将视频信息中的视频数据以及与视频数据对应的采集数据进行合并。
存储模块与合并模块连接，用于对不需要合并的视频信息以及需要合并的视频信息进行存储。
处理单元202与获取单元201连接，用于对舆情话题视频进行处理，获得信息特征。
具体地，如图3所示，其中处理单元202包括视频特征获取模块301、文本特征获取模块302、属性特征获取模块303、传播特征获取模块304。
其中视频特征获取模块301用于获取视频特征。
具体地，视频特征获取模块301包括以下子模块：视频特征矩阵获取模块、深层语义特征生成模块、深层语义信息向量化模块。
其中视频特征矩阵获取模块用于获取低语义的视频特征矩阵。
深层语义特征生成模块与视频特征矩阵获取模块连接，用于基于低语义的视频特征矩阵生成视频标签、主题、文字描述深层语义特征。
深层语义信息向量化模块与深层语义特征生成模块连接，用于将深层语义信息向量化后作为视频特征。
文本特征获取模块302用于获取文本特征。
具体地，文本特征获取模块302包括以下子模块：文本向量化模块、主题词提取模块、情感类别提取模块、敏感词提取模块、向量融合模块。
其中文本向量化模块用于对文本进行向量化。
主题词提取模块与文本向量化模块连接，用于在向量化的文本中提取文本内容的主题词向量。
情感类别提取模块与文本向量化模块连接，用于在向量化的文本中提取文本内容的情感类别向量。
敏感词提取模块与文本向量化模块连接，用于在向量化的文本中提取文本内容的敏感词向量。
向量融合模块分别与主题词提取模块、情感类别提取模块以及敏感词提取模块连接，用于融合主题词向量、情感类别向量以及敏感词向量，作为文本特征。
属性特征获取模块303用于获取属性特征。
传播特征获取模块304用于获取穿模特征。
融合单元203与处理单元202连接，用于对获取的信息特征进行融合，得到高级特征值。
具体地，融合单元203具体包括以下子模块：模型建立模块、高级特征获取模块。
其中模型建立模块用于根据信息特征建立特征融合模型。
高级特征获取模块与模型建立模块连接，用于将信息特征输入特征融合模型，获得高级特征值。
预测优化单元204与融合单元203连接，用于将高级特征值输入预测模型进行预测，并根据预测结果优化预测模型。
本申请具有的有益效果是：
本申请提供的视频舆情的预测方法及预测系统，可充分发挥人工智能相关技术的优势，深度挖掘视频数据及相关信息中的舆情信息，深度表征舆情态势发展趋势，快速迭代更新舆情预测模型，实现自动化、智能化的视频舆情预测，大幅提高对舆情话题的预测准确度。
虽然当前申请参考的示例被描述，其只是为了解释的目的而不是对本申请的限制，对实施方式的改变，增加和/或删除可以被做出而不脱离本申请的范围。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频舆情的预测方法，其特征在于，具体包括如下步骤：
获取视频信息，根据视频信息获取舆情话题视频；
对舆情话题视频进行处理，获得信息特征；
对获取的信息特征进行融合，得到高级特征值；
将高级特征值输入预测模型得到预测结果；
根据预测结果优化预测模型。
2.根据权利要求1所述的视频舆情的的预测方法，其特征在于，根据视频信息获取舆情话题视频中，还包括，判断获取的视频信息中是否存在相同的视频数据，若存在相同的视频数据，则将相同视频数据作为同一舆情话题视频进行合并存储。
3.根据权利要求1所述的视频舆情的的预测方法，其特征在于，获取信息特征具体包括：获取视频特征、获取文本特征、获取属性特征以及获取传播特征。
4.根据权利要求3所述的视频舆情的的预测方法，其特征在于，获取视频特征具体包括以下子步骤：
获取低语义的视频特征矩阵；
基于低语义的视频特征矩阵生成视频标签、主题、文字描述深层语义信息；
将深层语义信息向量化后作为视频特征。
5.根据权利要求4所述的视频舆情的预测方法，其特征在于，获取低语义的视频特征矩阵具体包括以下子步骤：
利用卷积神经网络提取舆情话题视频中的多帧图像的特征向量；
融合多帧图像的特征向量得到低语义的视频特征矩阵；
其中融合多帧图像的特征向量得到低语义的视频特征矩阵具体包括以下子步骤：
获取每一帧图像的特征向量的通道注意力特征图，以及根据通道注意力特征图获取每一帧图像的特征向量的空间注意力特征图；
根据每一帧图像的空间注意力特征图获取多帧图像的特征向量序列的时序注意力特征图；
融合多帧图像的特征向量序列的时序注意力特征图，获得视频特征矩阵。
6.根据权利要求5所述的视频舆情的的预测方法，其特征在于，其中通道注意力特征图
Figure FDA0002486660260000021
表示为：
Figure FDA0002486660260000022
其中，MLP为多层感知机网络，σ(·)为激活函数，AvgPool为平均池化，MaxPool为最大值池化，
Figure FDA0002486660260000023
为hadamard乘积，Ac表示获得通道注意力的函数，vi表示多帧图像特征向量序列中的某一帧图像的特征向量；
空间注意力特征图
Figure FDA0002486660260000024
表示为：
Figure FDA0002486660260000025
其中，AvgPool为平均池化，MaxPool为最大值池化，
Figure FDA0002486660260000026
为hadamard乘积，σ(·)为激活函数，
Figure FDA0002486660260000027
表示通道注意力特征图，ω表示网络参数，As表示获得空间注意力的函数；
时序注意力特征图
Figure FDA0002486660260000028
表示为：
Figure FDA0002486660260000029
其中，ω0、ω1、ω2、b为网络参数，h为隐状态，T表示矩阵转置，
Figure FDA00024866602600000210
表示空间注意力特征图，
Figure FDA00024866602600000211
为hadamard乘积，σ(·)为激活函数，其中
Figure FDA00024866602600000212
表示由空间注意力特征图
Figure FDA00024866602600000213
组成的矩阵，At表示获得时序注意力的函数，tanh表示双曲正切函数；
其中视频特征矩阵F具体表示为：
Figure FDA00024866602600000214
其中，ω表示网络参数，H、W分别为视频帧通道的高度、宽度，其中
Figure FDA0002486660260000031
表示由时序注意力特征图
Figure FDA0002486660260000032
组成的矩阵。
7.根据权利要求1所述的视频舆情的的预测方法，其特征在于，对获取的信息特征进行融合，得到高级特征值具体包括以下子步骤：
根据信息特征建立特征融合模型；
将信息特征输入特征融合模型，获得高级特征值；
其中t时刻高级特征j的特征值
Figure FDA0002486660260000033
具体表示为：
Figure FDA0002486660260000034
其中，MStacking为叠加多个特征融合模型的元模型，M(·)为特征融合模型，FV表示视频特征，FW文本特征，FP表示属性特征，Fs表示传播特征，MV、MW、MP表示元模型，Ms表示时序模型。
8.如权利要求7所述的视频舆情的预测方法，其特征在于，将高级特征输入预测模型Mpredict中，得到预测结果，其中预测结果包括预测得到的t时刻的舆情热度指数Pt以及t+1时刻的高级特征值
Figure FDA0002486660260000035
具体表示为：
Figure FDA0002486660260000036
其中，
Figure FDA0002486660260000037
表示t时刻的预测模型，
Figure FDA0002486660260000038
表示表示t时刻高级特征j的高级特征值。
9.如权利要求8所述的视频舆情的预测方法，其特征在于，根据预测结果优化预测模型包括，在t+1时刻，根据预测的高级特征值
Figure FDA0002486660260000039
和真实高级特征值
Figure FDA00024866602600000310
的误差训练网络，得到t+1时刻的预测模型
Figure FDA00024866602600000311
其中t+1时刻的预测模型
Figure FDA00024866602600000312
具体表示为：
Figure FDA00024866602600000313
其中，
Figure FDA00024866602600000314
表示预测的高级特征值，
Figure FDA00024866602600000315
表示真实高级特征值，concat表示矩阵沿着某一个维度进行连接，training表示训练过程。
10.一种视频舆情的预测系统，其特征在于，具体包括获取单元、处理单元、融合单元以及预测优化单元；
获取单元，用于获取视频信息，根据视频信息获取舆情话题视频；
处理单元，用于对舆情话题视频进行处理，获得信息特征；
融合单元，用于对获取的信息特征进行融合，得到高级特征值；
预测优化单元，用于将高级特征值输入预测模型进行预测，并根据预测结果优化预测模型。
CN202010396130.7A 2020-05-11 2020-05-11 一种视频舆情的预测方法及预测系统 Active CN111582587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010396130.7A CN111582587B (zh) 2020-05-11 2020-05-11 一种视频舆情的预测方法及预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010396130.7A CN111582587B (zh) 2020-05-11 2020-05-11 一种视频舆情的预测方法及预测系统

Publications (2)

Publication Number Publication Date
CN111582587A true CN111582587A (zh) 2020-08-25
CN111582587B CN111582587B (zh) 2021-06-04

Family

ID=72124919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010396130.7A Active CN111582587B (zh) 2020-05-11 2020-05-11 一种视频舆情的预测方法及预测系统

Country Status (1)

Country Link
CN (1) CN111582587B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364168A (zh) * 2020-11-24 2021-02-12 中国电子科技集团公司电子科学研究院 一种基于多属性信息融合的舆情分类方法
CN112800343A (zh) * 2021-02-01 2021-05-14 中慧绿浪科技(天津)集团有限公司 一种基于大数据的网络舆情的监控方法及系统
CN112950291A (zh) * 2021-03-31 2021-06-11 北京奇艺世纪科技有限公司 模型的偏差优化方法、装置、设备及计算机可读介质
CN114548083A (zh) * 2022-02-15 2022-05-27 平安科技（深圳）有限公司 标题生成方法、装置、设备及介质
CN118377971A (zh) * 2024-06-24 2024-07-23 长沙识达科技有限公司 基于大数据分析的企业热点话题智能化监测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222578A (zh) * 2007-12-07 2008-07-16 西安电子科技大学 基于判别光流张量和hmm的视频语义单元检测方法
CN109101948A (zh) * 2018-08-28 2018-12-28 电子科技大学 一种基于时空及通道的多注意力机制视频描述方法
CN109299322A (zh) * 2018-08-28 2019-02-01 南京葡萄诚信息科技有限公司 一种将短文本分类应用于视频中的状态判断方法
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN110083741A (zh) * 2019-04-11 2019-08-02 中国科学技术大学 文本与图像联合建模的面向人物的视频摘要提取方法
CN110110689A (zh) * 2019-05-15 2019-08-09 东北大学 一种行人重识别方法
CN110837581A (zh) * 2019-11-04 2020-02-25 云目未来科技(北京)有限公司 视频舆情分析的方法、装置以及存储介质
CN110990631A (zh) * 2019-12-16 2020-04-10 腾讯科技（深圳）有限公司 视频筛选方法、装置、电子设备和存储介质
CN110990630A (zh) * 2019-11-29 2020-04-10 清华大学 一种基于图建模视觉信息的利用问题指导的视频问答方法
CN111079444A (zh) * 2019-12-25 2020-04-28 北京中科研究院 一种基于多模态关系的网络谣言检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222578A (zh) * 2007-12-07 2008-07-16 西安电子科技大学 基于判别光流张量和hmm的视频语义单元检测方法
CN109101948A (zh) * 2018-08-28 2018-12-28 电子科技大学 一种基于时空及通道的多注意力机制视频描述方法
CN109299322A (zh) * 2018-08-28 2019-02-01 南京葡萄诚信息科技有限公司 一种将短文本分类应用于视频中的状态判断方法
CN109344288A (zh) * 2018-09-19 2019-02-15 电子科技大学 一种基于多模态特征结合多层注意力机制的结合视频描述方法
CN110083741A (zh) * 2019-04-11 2019-08-02 中国科学技术大学 文本与图像联合建模的面向人物的视频摘要提取方法
CN110110689A (zh) * 2019-05-15 2019-08-09 东北大学 一种行人重识别方法
CN110837581A (zh) * 2019-11-04 2020-02-25 云目未来科技(北京)有限公司 视频舆情分析的方法、装置以及存储介质
CN110990630A (zh) * 2019-11-29 2020-04-10 清华大学 一种基于图建模视觉信息的利用问题指导的视频问答方法
CN110990631A (zh) * 2019-12-16 2020-04-10 腾讯科技（深圳）有限公司 视频筛选方法、装置、电子设备和存储介质
CN111079444A (zh) * 2019-12-25 2020-04-28 北京中科研究院 一种基于多模态关系的网络谣言检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364168A (zh) * 2020-11-24 2021-02-12 中国电子科技集团公司电子科学研究院 一种基于多属性信息融合的舆情分类方法
CN112800343A (zh) * 2021-02-01 2021-05-14 中慧绿浪科技(天津)集团有限公司 一种基于大数据的网络舆情的监控方法及系统
CN112800343B (zh) * 2021-02-01 2022-09-30 霍尔果斯大颜色信息科技有限公司 一种基于大数据的网络舆情的监控方法及系统
CN112950291A (zh) * 2021-03-31 2021-06-11 北京奇艺世纪科技有限公司 模型的偏差优化方法、装置、设备及计算机可读介质
CN114548083A (zh) * 2022-02-15 2022-05-27 平安科技（深圳）有限公司 标题生成方法、装置、设备及介质
CN114548083B (zh) * 2022-02-15 2024-01-30 平安科技（深圳）有限公司 标题生成方法、装置、设备及介质
CN118377971A (zh) * 2024-06-24 2024-07-23 长沙识达科技有限公司 基于大数据分析的企业热点话题智能化监测系统

Also Published As

Publication number Publication date
CN111582587B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN111582587B (zh) 一种视频舆情的预测方法及预测系统
CN114064918B (zh) 一种多模态事件知识图谱构建方法
CN111079444A (zh) 一种基于多模态关系的网络谣言检测方法
CN112307351A (zh) 用户行为的模型训练、推荐方法、装置和设备
Jain et al. Tweet recommender model using adaptive neuro-fuzzy inference system
CN110929683B (zh) 一种基于人工智能的视频舆情监测方法及系统
Wang et al. Self‐Information Loss Compensation Learning for Machine‐Generated Text Detection
CN116776889A (zh) 一种基于图卷积网络和外部知识嵌入的粤语谣言检测方法
Shaalan et al. Detecting singleton spams in reviews via learning deep anomalous temporal aspect-sentiment patterns
CN113239184B (zh) 知识库获取方法、装置、计算机设备及存储介质
Kaliyar et al. Understanding the use and abuse of social media: Generalized fake news detection with a multichannel deep neural network
Clarizia et al. A sentiment analysis approach for evaluation of events in field of cultural heritage
CN118069927A (zh) 基于知识感知和用户多兴趣特征表示的新闻推荐方法及系统
Surekha et al. Digital misinformation and fake news detection using WoT integration with Asian social networks fusion based feature extraction with text and image classification by machine learning architectures
CN113741759A (zh) 评论信息的展示方法、装置、计算机设备和存储介质
Krishna et al. A Deep Parallel Hybrid Fusion Model for disaster tweet classification on Twitter data
Zhong A convolutional neural network based online teaching method using edge-cloud computing platform
Zeng Application of conditional random field model based on machine learning in online and offline integrated educational resource recommendation
CN117033626A (zh) 一种文本审核方法、装置、设备及存储介质
Liu et al. Semantic Association and Decision‐Making for the Internet of Things Based on Partial Differential Fuzzy Unsupervised Models
Chen et al. Deep chaosnet for action recognition in videos
Ben Abdessalem Karaa et al. [Retracted] Intelligent Recommendations of Startup Projects in Smart Cities and Smart Health Using Social Media Mining
Bide et al. Cross event detection and topic evolution analysis in cross events for man-made disasters in social media streams
Sreenivasulu et al. Image Based Classification of Rumor Information from the Social Network Platform.
Cai et al. A Rumor Detection Method Incorporating Correlation Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant