CN115550684A - 一种改进的视频内容过滤方法和系统 - Google Patents

一种改进的视频内容过滤方法和系统 Download PDF

Info

Publication number
CN115550684A
CN115550684A CN202111651302.1A CN202111651302A CN115550684A CN 115550684 A CN115550684 A CN 115550684A CN 202111651302 A CN202111651302 A CN 202111651302A CN 115550684 A CN115550684 A CN 115550684A
Authority
CN
China
Prior art keywords
data stream
video
video data
key
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111651302.1A
Other languages
English (en)
Other versions
CN115550684B (zh
Inventor
苏长君
曾祥禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhimei Internet Technology Co ltd
Original Assignee
Beijing Zhimei Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhimei Internet Technology Co ltd filed Critical Beijing Zhimei Internet Technology Co ltd
Priority to CN202111651302.1A priority Critical patent/CN115550684B/zh
Publication of CN115550684A publication Critical patent/CN115550684A/zh
Application granted granted Critical
Publication of CN115550684B publication Critical patent/CN115550684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种改进的视频内容过滤方法和系统，通过将接收的视频数据流经过两重视频采样，得到携带有边界和区域局部特征的高维图像，将其的帧定义为关键帧，通过关键帧映射回原视频数据流，提取出修剪后的数据流，对它进行物体识别和语义分析，判断是否合规，可以更快地检测判断。

Description

一种改进的视频内容过滤方法和系统
技术领域
本申请涉及网络多媒体领域，尤其涉及一种改进的视频内容过滤方法和系统。
背景技术
网络视频是一种比较特殊的媒体形式，无结构、规格也不统一，很难给视频内容进行有效表示的和特征规格化。同时随着词汇量增加到一定程度，文档进行有效表示的向量长度会快速增长，并且向量值为零的部分也会增多，使得向量变得进一步稀疏。
因此，急需一种针对性的改进的视频内容过滤方法和系统。
发明内容
本发明的目的在于提供一种改进的视频内容过滤方法和系统，通过将接收的视频数据流经过两重视频采样，得到携带有边界和区域局部特征的高维图像，将其的帧定义为关键帧，通过关键帧映射回原视频数据流，提取出修剪后的数据流，对它进行物体识别和语义分析，判断是否合规，可以更快地检测判断。
第一方面，本申请提供一种改进的视频内容过滤方法，所述方法包括：
服务器接收视频数据流，将接收后的所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化，所述量化的方程是随机从大类方程中选取；
将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果；
所述第一中间结果的每一个点生成一个锚点，锚点的值是由每个点的特征与四周相邻点的特征加权平均计算得到的；若干个锚点组成一个滑动窗，组成该滑动窗所需的锚点数目由最中间锚点所属的点的特征大小决定；
使用所述滑动窗再次对视频流量进行视频采样，提到第二图像特征，将所述第二图像特征进行向量化，输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第二中间结果；
对所述第二中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
将所述关键帧映射到所述服务器接收的视频数据流，得到修剪后的视频数据流，其中当前后两个关键帧之间的帧图像数量少于预设阈值时，则将该该前后两个关键帧进行合并，当前后两个关键帧之间的帧图像数量大于预设阈值时，则通过随机采样的方式进行帧数量选取，有效保证视频重要内容的完整性；
分析所述修剪后的视频数据流，识别出包含的物体和运动方式，检测出该物体和运动方式是否合规，以及按照语义逐项判断是否包括指定关键词、语句含义和语境特征，如果不合规则将该微小视频数据流过滤除去。
结合第一方面，在第一方面第一种可能的实现方式中，所述N层卷积单元是由N个依次连接的卷积运算模块组成，N的值反映服务器负载处理的能力。
结合第一方面，在第一方面第二种可能的实现方式中，所述语句含义是指弹幕语句所指代的意思，所述语境特征是指弹幕语句所处的场景，该场景是根据语义分析模拟推测的。
结合第一方面，在第一方面第三种可能的实现方式中，所述识别图像中的物体和运动方式的过程中采用了神经网络模型。
第二方面，本申请提供一种改进的视频内容过滤系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
本发明提供一种改进的视频内容过滤方法和系统，通过将接收的视频数据流经过两重视频采样，得到携带有边界和区域局部特征的高维图像，将其的帧定义为关键帧，通过关键帧映射回原视频数据流，提取出修剪后的数据流，对它进行物体识别和语义分析，判断是否合规，可以更快地检测判断。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的改进的视频内容过滤方法的流程图，包括：
服务器接收视频数据流，将接收后的所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化，所述量化的方程是随机从大类方程中选取；
将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果；
所述第一中间结果的每一个点生成一个锚点，锚点的值是由每个点的特征与四周相邻点的特征加权平均计算得到的；若干个锚点组成一个滑动窗，组成该滑动窗所需的锚点数目由最中间锚点所属的点的特征大小决定；
使用所述滑动窗再次对视频流量进行视频采样，提到第二图像特征，将所述第二图像特征进行向量化，输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第二中间结果；
对所述第二中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
将所述关键帧映射到所述服务器接收的视频数据流，得到修剪后的视频数据流，其中当前后两个关键帧之间的帧图像数量少于预设阈值时，则将该该前后两个关键帧进行合并，当前后两个关键帧之间的帧图像数量大于预设阈值时，则通过随机采样的方式进行帧数量选取，有效保证视频重要内容的完整性；
分析所述修剪后的视频数据流，识别出包含的物体和运动方式，检测出该物体和运动方式是否合规，以及按照语义逐项判断是否包括指定关键词、语句含义和语境特征，如果不合规则将该微小视频数据流过滤除去。
方法还包括将视频数据流传递到情感分类模型；
所述情感分类模型按照语义逐项分析，判断所述视频数据流是否包括指定关键词、语句含义、以及提取语境特征，根据所述语境特征和所述语句含义，判断弹幕的情感类型；
根据所述情感分类模型确定的情感类型，判断所述视频数据流携带的指定关键词是否符合该情感类型限定的合理范围，如果是则认定该视频数据流合规，允许播放，反之则认定该视频数据流不合规，将该视频数据流过滤除去。
在一些优选实施例中，所述N层卷积单元是由N个依次连接的卷积运算模块组成，N的值反映服务器负载处理的能力。
在一些优选实施例中，所述语句含义是指弹幕语句所指代的意思，所述语境特征是指弹幕语句所处的场景，该场景是根据语义分析模拟推测的。
在一些优选实施例中，所述识别图像中的物体和运动方式的过程中采用了神经网络模型。
本申请提供一种改进的视频内容过滤系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (6)

1.一种改进的视频内容过滤方法，其特征在于，所述方法包括：
服务器接收视频数据流，将接收后的所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化，所述量化的方程是随机从大类方程中选取；
将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果；
所述第一中间结果的每一个点生成一个锚点，锚点的值是由每个点的特征与四周相邻点的特征加权平均计算得到的；若干个锚点组成一个滑动窗，组成该滑动窗所需的锚点数目由最中间锚点所属的点的特征大小决定；
使用所述滑动窗再次对视频流量进行视频采样，提到第二图像特征，将所述第二图像特征进行向量化，输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第二中间结果；
对所述第二中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
将所述关键帧映射到所述服务器接收的视频数据流，得到修剪后的视频数据流，其中当前后两个关键帧之间的帧图像数量少于预设阈值时，则将该该前后两个关键帧进行合并，当前后两个关键帧之间的帧图像数量大于预设阈值时，则通过随机采样的方式进行帧数量选取，有效保证视频重要内容的完整性；
分析所述修剪后的视频数据流，识别出包含的物体和运动方式，检测出该物体和运动方式是否合规，以及按照语义逐项判断是否包括指定关键词、语句含义和语境特征，如果不合规则将该微小视频数据流过滤除去。
2.根据权利要求1所述的方法，其特征在于：所述N层卷积单元是由N个依次连接的卷积运算模块组成，N的值反映服务器负载处理的能力。
3.根据权利要求1-2任一项所述的方法，其特征在于：所述语句含义是指弹幕语句所指代的意思，所述语境特征是指弹幕语句所处的场景，该场景是根据语义分析模拟推测的。
4.根据权利要求1-3任一项所述的方法，其特征在于：所述识别图像中的物体和运动方式的过程中采用了神经网络模型。
5.一种改进的视频内容过滤系统，其特征在于，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。
CN202111651302.1A 2021-12-30 2021-12-30 一种改进的视频内容过滤方法和系统 Active CN115550684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111651302.1A CN115550684B (zh) 2021-12-30 2021-12-30 一种改进的视频内容过滤方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111651302.1A CN115550684B (zh) 2021-12-30 2021-12-30 一种改进的视频内容过滤方法和系统

Publications (2)

Publication Number Publication Date
CN115550684A true CN115550684A (zh) 2022-12-30
CN115550684B CN115550684B (zh) 2023-07-25

Family

ID=84722889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111651302.1A Active CN115550684B (zh) 2021-12-30 2021-12-30 一种改进的视频内容过滤方法和系统

Country Status (1)

Country Link
CN (1) CN115550684B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010020981A1 (en) * 2000-03-08 2001-09-13 Lg Electronics Inc. Method of generating synthetic key frame and video browsing system using the same
US20090274364A1 (en) * 2008-05-01 2009-11-05 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN105025392A (zh) * 2015-06-25 2015-11-04 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
CN110852231A (zh) * 2019-11-04 2020-02-28 云目未来科技(北京)有限公司 违规视频检测方法、装置以及存储介质
US20200372292A1 (en) * 2019-05-23 2020-11-26 Webkontrol, Inc. Video Content Indexing and Searching

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010020981A1 (en) * 2000-03-08 2001-09-13 Lg Electronics Inc. Method of generating synthetic key frame and video browsing system using the same
US20090274364A1 (en) * 2008-05-01 2009-11-05 Yahoo! Inc. Apparatus and methods for detecting adult videos
CN105025392A (zh) * 2015-06-25 2015-11-04 西北工业大学 基于摘要空间特征学习的视频摘要关键帧提取方法
CN109151501A (zh) * 2018-10-09 2019-01-04 北京周同科技有限公司 一种视频关键帧提取方法、装置、终端设备及存储介质
US20200372292A1 (en) * 2019-05-23 2020-11-26 Webkontrol, Inc. Video Content Indexing and Searching
CN110852231A (zh) * 2019-11-04 2020-02-28 云目未来科技(北京)有限公司 违规视频检测方法、装置以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHRUTI JADON等: "Unsupervised video summarization framework using keyframe extraction and video skimming", 《ARXIV:1910.04792V2 [CS.IR] 30 JUN 2020》 *
彭乐;薛一波;王春露;: "网络视频内容的识别和过滤综述", 计算机工程与设计, no. 10, pages 1 - 3 *

Also Published As

Publication number Publication date
CN115550684B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN107085581B (zh) 短文本分类方法和装置
CN110188194B (zh) 一种基于多任务学习模型的假新闻检测方法及系统
Zong et al. Cross-database micro-expression recognition: A benchmark
CN110633745B (zh) 一种基于人工智能的图像分类训练方法、装置及存储介质
CN111339305B (zh) 文本分类方法、装置、电子设备及存储介质
CN109902289B (zh) 一种面向模糊文本挖掘的新闻视频主题分割方法
CN110807314A (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
CN113779308B (zh) 一种短视频检测和多分类方法、装置及存储介质
CN110956038B (zh) 图文内容重复判断方法及装置
CN111783712A (zh) 一种视频处理方法、装置、设备及介质
CN110851594A (zh) 一种基于多通道深度学习模型的文本分类方法及其装置
CN110858217A (zh) 微博敏感话题的检测方法、装置及可读存储介质
CN112052687A (zh) 基于深度可分离卷积的语义特征处理方法、装置及介质
CN112188306A (zh) 一种标签生成方法、装置、设备及存储介质
CN109960730B (zh) 一种基于特征扩展的短文本分类方法、装置以及设备
CN111488813A (zh) 视频的情感标注方法、装置、电子设备及存储介质
CN115550684B (zh) 一种改进的视频内容过滤方法和系统
CN113179250B (zh) web未知威胁检测方法及系统
CN112035670B (zh) 基于图像情感倾向的多模态谣言检测方法
CN112632229A (zh) 文本聚类方法及装置
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN114155461A (zh) 微小视频内容过滤与净化的方法和系统
CN117591752B (zh) 一种多模态虚假信息检测方法、系统及存储介质
CN111860662B (zh) 一种相似性检测模型的训练方法及装置、应用方法及装置
CN115527138A (zh) 基于关键帧的视觉语义检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037

Applicant after: Beijing Guorui Digital Intelligence Technology Co.,Ltd.

Address before: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037

Applicant before: Beijing Zhimei Internet Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant