CN115527138A - 基于关键帧的视觉语义检测方法和系统 - Google Patents
基于关键帧的视觉语义检测方法和系统 Download PDFInfo
- Publication number
- CN115527138A CN115527138A CN202111609817.5A CN202111609817A CN115527138A CN 115527138 A CN115527138 A CN 115527138A CN 202111609817 A CN202111609817 A CN 202111609817A CN 115527138 A CN115527138 A CN 115527138A
- Authority
- CN
- China
- Prior art keywords
- frame
- key
- image
- sample set
- data stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 230000009191 jumping Effects 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于关键帧的视觉语义检测方法和系统，通过计算帧图像的直方图在梯度方向的特征值，得到特征值跳跃点，进行视频采样、向量化和卷积运算得到关键帧，在该关键帧处进行维度转换和划分平面，将同一平面的帧图像进行图形分析，判断帧图像以及数据流是否合规。
Description
技术领域
本申请涉及网络多媒体领域，尤其涉及一种基于关键帧的视觉语义检测方法和系统。
背景技术
现有网络中存在很多视频，其不包含或包含少量语义信息，根据现有的语义检测方法很难准确识别和解析。然而这些视频都会有若干个关键帧，关键帧为视频中最能代表其内容的视频帧。如果利用好关键帧进行视频检测，成为本领域技术人员研究的重点方向。
因此，急需一种针对性的基于关键帧的视觉语义检测方法和系统。
发明内容
本发明的目的在于提供一种基于关键帧的视觉语义检测方法和系统，通过计算帧图像的直方图在梯度方向的特征值，得到特征值跳跃点，进行视频采样、向量化和卷积运算得到关键帧，在该关键帧处进行维度转换和划分平面，将同一平面的帧图像进行图形分析，判断帧图像以及数据流是否合规。
第一方面，本申请提供一种基于关键帧的视觉语义检测方法，所述方法包括：
获取视频数据流，计算每一帧图像的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，对所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化；
将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果，对所述第一中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
将所述关键帧的图像向量化后进行维度转换，输入高维度样本集合，调用分类器对该高维度样本集合进行分类，集合的两两特征值在预设差值范围内的划为一组，计算组的平均特征值，将所述组与组之间的平均特征值差值大于阈值的不同组划为不同的平面；
将同一平面的帧图像输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容；
如果帧图像包括的图形内容不合规，则删除该段视频数据流。
结合第一方面，在第一方面第一种可能的实现方式中，所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
结合第一方面，在第一方面第二种可能的实现方式中，所述调用分类器对该高维度样本集合进行分类，包括输入向量与高维度样本集合间的内积运算。
结合第一方面，在第一方面第三种可能的实现方式中，所述语义分析模型和图形分析模型的内核均使用神经网络模型。
第二方面，本申请提供一种基于关键帧的视觉语义检测系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
本发明提供一种基于关键帧的视觉语义检测方法和系统，通过计算帧图像的直方图在梯度方向的特征值，得到特征值跳跃点，进行视频采样、向量化和卷积运算得到关键帧，在该关键帧处进行维度转换和划分平面，将同一平面的帧图像进行图形分析，判断帧图像以及数据流是否合规。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的基于关键帧的视觉语义检测方法的流程图，包括：
获取视频数据流，计算每一帧图像的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，对所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化；
将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果，对所述第一中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
将所述关键帧的图像向量化后进行维度转换，输入高维度样本集合，调用分类器对该高维度样本集合进行分类，集合的两两特征值在预设差值范围内的划为一组，计算组的平均特征值，将所述组与组之间的平均特征值差值大于阈值的不同组划为不同的平面；
将同一平面的帧图像输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容；
如果帧图像包括的图形内容不合规，则删除该段视频数据流。
在一些优选实施例中，所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
在一些优选实施例中，所述调用分类器对该高维度样本集合进行分类，包括输入向量与高维度样本集合间的内积运算。
在一些优选实施例中，所述语义分析模型和图形分析模型的内核均使用神经网络模型。
本申请提供一种基于关键帧的视觉语义检测系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (6)
1.一种基于关键帧的视觉语义检测方法，其特征在于，所述方法包括：
获取视频数据流，计算每一帧图像的直方图在梯度方向的特征值，当所述帧与帧之间的所述特征值之差大于预设的阈值时，对所述视频数据流进行视频采样，所述视频采样使用基础过滤单元来提取第一图像特征，将所述第一图像特征进行向量化，根据向量化后的特征值大小判断出若干个关键点，对所述若干个关键点进行聚类运算，映射到相应的视觉词典进行量化；
将所述量化的结果输入到N层卷积单元，根据所述N层卷积单元的输出结果，得到第一中间结果，对所述第一中间结果进行平滑处理，得到携带有边界和区域局部特征的高维图像，将所述高维图像的帧定义为关键帧；
将所述关键帧的图像向量化后进行维度转换，输入高维度样本集合，调用分类器对该高维度样本集合进行分类，集合的两两特征值在预设差值范围内的划为一组，计算组的平均特征值，将所述组与组之间的平均特征值差值大于阈值的不同组划为不同的平面；
将同一平面的帧图像输入图形分析模型，识别该帧图像中包含的物体信息，获取关键物体特征，判断该帧图像是否包括不合规的图形内容；
如果帧图像包括的图形内容不合规，则删除该段视频数据流。
2.根据权利要求1所述的方法，其特征在于：所述直方图在梯度方向的特征值包括检测图像的灰度质心位置的变化。
3.根据权利要求1-2任一项所述的方法，其特征在于：所述调用分类器对该高维度样本集合进行分类，包括输入向量与高维度样本集合间的内积运算。
4.根据权利要求1-3任一项所述的方法，其特征在于：所述语义分析模型和图形分析模型的内核均使用神经网络模型。
5.一种基于关键帧的视觉语义检测系统，其特征在于，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111609817.5A CN115527138A (zh) | 2021-12-27 | 2021-12-27 | 基于关键帧的视觉语义检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111609817.5A CN115527138A (zh) | 2021-12-27 | 2021-12-27 | 基于关键帧的视觉语义检测方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115527138A true CN115527138A (zh) | 2022-12-27 |
Family
ID=84694029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111609817.5A Pending CN115527138A (zh) | 2021-12-27 | 2021-12-27 | 基于关键帧的视觉语义检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115527138A (zh) |
-
2021
- 2021-12-27 CN CN202111609817.5A patent/CN115527138A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11416710B2 (en) | Feature representation device, feature representation method, and program | |
| CN110807314A (zh) | 文本情感分析模型训练方法、装置、设备及可读存储介质 | |
| CN109685065B (zh) | 试卷内容自动分类的版面分析方法、系统 | |
| CN113869449A (zh) | 一种模型训练、图像处理方法、装置、设备及存储介质 | |
| CN112800919A (zh) | 一种检测目标类型视频方法、装置、设备以及存储介质 | |
| CN111368632A (zh) | 一种签名识别方法及设备 | |
| CN114639101A (zh) | 一种乳状液液滴识别系统、方法、计算机设备及存储介质 | |
| CN114581928A (zh) | 一种表格识别方法及系统 | |
| CN112241470A (zh) | 一种视频分类方法及系统 | |
| CN117078970A (zh) | 一种图片识别方法、装置、电子设备及存储介质 | |
| CN111340139A (zh) | 一种图像内容复杂度的判别方法及装置 | |
| CN117076455A (zh) | 一种基于智能识别的保单结构化存储方法、介质及系统 | |
| CN109657710B (zh) | 数据筛选方法、装置、服务器及存储介质 | |
| CN115527138A (zh) | 基于关键帧的视觉语义检测方法和系统 | |
| CN115546554A (zh) | 敏感图像的识别方法、装置、设备和计算机可读存储介质 | |
| CN113158745B (zh) | 一种基于多特征算子的乱码文档图片识别方法及系统 | |
| CN112633394B (zh) | 一种智能用户标签确定方法、终端设备及存储介质 | |
| CN114494678A (zh) | 文字识别方法和电子设备 | |
| CN114399497A (zh) | 文本图像质量检测方法、装置、计算机设备及存储介质 | |
| CN115550684B (zh) | 一种改进的视频内容过滤方法和系统 | |
| CN111708884A (zh) | 文本分类方法、装置及电子设备 | |
| CN114241367A (zh) | 视觉语义检测方法和系统 | |
| CN111625672B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN113139382A (zh) | 命名实体识别方法及装置 | |
| Jyothirmayi et al. | Identification of brain tumors using deep learning techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037 Applicant after: Beijing Guorui Digital Intelligence Technology Co.,Ltd. Address before: 607a, 6 / F, No. 31, Fuchengmenwai street, Xicheng District, Beijing 100037 Applicant before: Beijing Zhimei Internet Technology Co.,Ltd. |