CN112149751A - 一种基于3d-cnn与cvv-glcm的融媒体信息获取方法 - Google Patents

Abstract

本发明涉及基于3D‑CNN与CVV‑GLCM的融媒体信息获取方法，是一种对安全生产中危化品事故的融媒体信息获取方法，属于智能安全领域，其特征在于采用如下步骤：(1)确定像素值处的特征单位值；(2)确定帧间的Hamming距离；(3)确定视频帧的CCV特征；(4)确定归一化矩阵；(5)确定图像的对比度和相关性；(6)确定图像的能量和同质性度量矩阵；(7)确定GLCM纹理特征帧间的相似度；(8)确定关键帧。本发明克服了传统普通检测关键帧冗余的问题，解决了传统的融媒体信息获取过程中关键信息检索速度以及检测精度等无法达到很好效果的问题，提升关键信息获取的效率和准确度。为融媒体信息获取领域提供了一种拥有较高准确率的方法。

Description

一种基于3D-CNN与CVV-GLCM的融媒体信息获取方法

技术领域

本发明涉及智能安全领域，主要是一种对安全生产中危化品事故的融媒体信息获取方法。

背景技术

随着融媒体信息的不断发展，如何从相关视频信息中获取关键数据信息正逐渐被重视，传统的视频信息的获取方法，主要是对视频图像进行逐帧的数据的采集，并利用人工或机器进行逐帧比对，这个方式对于小数据量的处理有着一定的处理能力，但是由于一般视频数据时长较长，所以产生的视频帧通常存在大量冗余，所以此时通过人工或机器进行数据的处理关键信息的提取，需要消耗大量的工作时间，不能达到及时高效的工作目的，并且传统的图像特征如颜色直方图以及尺度不变特征变换等对视频拷贝检测中检索速度以及检测精度等问题无法达到很好的效果。所以需要一种高效准确的方法来进行视频关键信息的获取。

对与融媒体视频的获取，对相关视频信息的处理，我们可以通过颜色特征、纹理特征以及深度特征相结合的方式，通过多维度从不同角度对视频信息进行处理，将多特征数据进行融合，达到高效准确的目的。在此基础上我们提出了一种基于3D-CNN与CVV-GLCM的融媒体信息获取方法，通过对视频中的颜色特征图块进行提取计算图像块的颜色聚合向量特征，将特征与模板进行比对，判断相似性。提取视频信息的纹理特征以及深度特征，最后融合颜色特征、纹理特征和深度特征提取关键帧，以达到高效准确得提取关键信息的目的，从而提高检测精度，达到较好的视频检索准确度。

发明内容

针对上述现有技术中存在的问题，本发明要解决的技术问题是提供一种基于3D-CNN与CVV-GLCM的融媒体信息获取方法，其具体流程如图1所示。

技术方案实施步骤如下：

步骤一：确定像素值处的特征单位值

式中，b_ij表示特征图的偏置值，

表示连接第n个特征图的核第(p,q,r)的值，P_i和Q_i表示核的高和宽，R_i表示卷积核在时间维度的大小，p,q,r分别代表高、宽、维度的计数值，i，j表示像素的灰度，(x,y)表示像素值，z表示像素点上的维度值；

步骤二：确定帧间的Hamming距离D：

使用哈希算法处理图像的深度特征，建立卷积神经网络函数，构造Hash码，通过Hash码计算视频帧的Hamming距离D：

式中，α、β分别指两帧的Hash码，α_i、β_i分别指两帧的Hash码第i个码，I()表示相似度矩阵，通过Hamming距离表达视频帧的相似度，Hamming距离越小，视频帧的相似度S_df越高；

步骤三：确定视频帧的CCV特征：

将图像进行平滑滤波,采用均匀量化方法把0～255的颜色区间量化为一定个数的颜色区间，即直方图的bin,划分相关性像素的连通区域,每一个连通区域只有一个量化的灰度值,计算颜色聚合向量CCV:

CCV＝[(C₁,N₁)、(C₂,N₂)、…、(C_i,N_i)、…、(C_n,N_n)]；

式中，i指每一个颜色区间的灰度级，对应直方图的每一个bin，C_i指聚合像素的个数，即灰度值为i的所有大的连通区域像素之和，N_i指非聚合像素的个数，即灰度值为i的所有零散的小连通区域像素之和，确定帧间的颜色相似度S_CCV；

步骤四：确定归一化矩阵N(p,q)：

式中，p,q＝0,…,L,1≤i,j≤L，f(i,j)是具有值z_i和z_j的像素对的数目，f(p,q)是共生矩阵中的元素，L是最大灰度级数；

步骤五：确定图像的对比度Contrast和相关性Correlation：

式中，对比度的数值范围从0到(L-1)²，相关性的值在[-1,1]之间，相关性的大小反映了图像中局部灰度相关性的情况；

步骤六：确定图像的能量Energy和同质性度量矩阵Homogeneity：

式中，能量值范围在[0,1]之间，灰度一致的图像能量为1，Homogeneity值范围在[0,1]之间；

步骤七：确定GLCM纹理特征帧间的相似度S_glcm：

确定对比度、相关性、能量和同质性的均值和标准差作为最终的纹理特征，

式中，glcm_i，glcm_j分别是帧i，j的GLCM纹理特征；

步骤八：加权融合，确定关键帧S：

S＝w₁·S_df+w₂·S_CCV+w₃·S_glcm；

式中，w₁、w₂、w₃分别为深度特征、颜色特征和纹理特征的权重因子。

本发明比现有技术的优点：

(1)本发明运用多特征融合的方法，将融媒体视频信息的多种特征相融合结合卷积神经网络，大大提升了对关键信息提取的处理能力，相对以往关键帧提取方法有更好的表现力。

(2)本发明采用颜色特征识别与纹理特征相结合的方法，对视频数据进行处理，克服了传统普通检测关键帧冗余的问题，精确了特定关键帧，提升了系统处理效率。

(3)本发明解决了传统的融媒体信息获取过程中关键信息检索速度以及检测精度等无法达到很好效果的问题，提升关键信息获取的效率和准确度。

附图说明

为了更好地理解本发明，下面结合附图作进一步的说明。

图1是建立基于3D-CNN与CVV-GLCM的融媒体信息获取方法的步骤流程图；

图2是建立基于3D-CNN与CVV-GLCM的融媒体信息获取方法的算法流程图；

图3是3D-CNN神经网络的主要模块示意图；

图4是利用本发明对四组融媒体信息获取的结果；

具体实施方案

下面通过实施案例对本发明作进一步详细说明。

本实施案例选用的数据集来自安全生产中危化品事故视频，该数据集一共有1000个视频片段。其中，3D-CNN的训练中，采用随机抽样的方法从数据集中抽取训练样本850组，剩下的150组样本作为测试集，进行实验。从1000个样本集中，进行颜色聚合向量和灰度共生矩阵的特征获取。

本发明所提供的3D-CNN与CVV-GLCM的融媒体信息获取方法的整体流程如图1所示，具体步骤如下：

(1)确定像素值处的特征单位值

式中，b_ij表示特征图的偏置值，

表示连接第n个特征图的核第(p,q,r)的值，P_i和Q_i表示核的高和宽，R_i表示卷积核在时间维度的大小，(x,y)表示像素值。

(2)确定帧间的Hamming距离D：

使用哈希算法处理图像的深度特征，建立卷积神经网络函数，构造Hash码，通过Hash码计算视频帧的Hamming距离D：

式中，α、β指两帧的Hash码。通过Hamming距离表达视频帧的相似度，Hamming距离越小，视频帧的相似度S_df越高。

(3)确定视频帧的CCV特征：

将图像进行平滑滤波,采用均匀量化方法把0～255的颜色区间量化为32个颜色区间，即直方图的32个bin,划分相关性像素的连通区域,每一个连通区域只有一个量化的灰度值,计算颜色聚合向量CCV:

CCV＝[(C₁,N₁)、(C₂,N₂)、…、(C_i,N_i)、…、(C_n,N_n)]

式中，i指每一个颜色区间的灰度级，对应直方图的每一个bin，C_i指聚合像素的个数，即灰度值为i的所有大的连通区域像素之和，N_i指非聚合像素的个数，即灰度值为i的所有零散的小连通区域像素之和，确定帧间的颜色相似度S_CCV。

(4)确定归一化矩阵N(p,q)：

式中，p,q＝0,…,L,1≤i,j≤L，f(i,j)是具有值z_i和z_j的像素对的数目，f(p,q)是共生矩阵中的元素，L是最大灰度级数。

(5)确定图像的对比度Contrast和相关性Correlation：

式中，对比度的数值范围从0到(L-1)²，相关性的值在[-1,1]之间，i，j表示像素的灰度，相关性的大小反映了图像中局部灰度相关性的情况。

(6)确定图像的能量Energy和同质性度量矩阵Homogeneity：

式中，能量值范围在[0,1]之间，灰度一致的图像能量为1，Homogeneity值范围在[0,1]之间。

(7)确定GLCM纹理特征帧间的相似度S_glcm：

确定对比度、相关性、能量和同质性的均值和标准差作为最终的纹理特征。

式中，glcm_i，glcm_j分别是帧i，j的GLCM纹理特征。

(8)进行加权融合，确定关键帧S：

S＝w₁·S_df+w₂·S_CCV+w₃·S_glcm

式中，w₁、w₂、w₃分别为深度特征、颜色特征和纹理特征的权重因子。其中，经过实验，得到w₁为0.5，w₂为0.25，w₃为0.25，得到的融媒体关键帧能够达到很高的准确度。

为了验证本发明对融媒体信息获取的准确性，对本发明进行了四组信息获取实验，实验结果如图4所示。由图4可知，本发明所建立的基于3D-CNN与CVV-GLCM的融媒体信息获取方法准确率均保持在90％以上，能够达到较高的准确率，获取信息效果良好。这表明本发明建立的3D-CNN与CVV-GLCM的融媒体信息获取方法是有效的，为建立精确的安全生产中危化品事故融媒体信息获取模型提供了更好的方法，具有一定的实用性。

Claims (1)

1.一种基于3D-CNN与CVV-GLCM的融媒体信息获取方法，本发明特征在于：(1)确定像素值处的特征单位值；(2)确定帧间的Hamming距离；(3)确定视频帧的CCV特征；(4)确定归一化矩阵；(5)确定图像的对比度和相关性；(6)确定图像的能量和同质性度量矩阵；(7)确定GLCM纹理特征帧间的相似度；(8)确定关键帧，具体包括以下八个步骤：

步骤一：确定像素值处的特征单位值

式中，b_ij表示特征图的偏置值，

表示连接第n个特征图的核第(p,q,r)的值，P_i和Q_i表示核的高和宽，R_i表示卷积核在时间维度的大小，p,q,r分别代表高、宽、维度的计数值，i，j表示像素的灰度，(x,y)表示像素值，z表示像素点上的维度值；

步骤二：确定帧间的Hamming距离D：

使用哈希算法处理图像的深度特征，建立卷积神经网络函数，构造Hash码，通过Hash码计算视频帧的Hamming距离D：

式中，α、β分别指两帧的Hash码，α_i、β_i分别指两帧的Hash码第i个码，I()表示相似度矩阵，通过Hamming距离表达视频帧的相似度，Hamming距离越小，视频帧的相似度S_df越高；

步骤三：确定视频帧的CCV特征：

将图像进行平滑滤波,采用均匀量化方法把0～255的颜色区间量化为一定个数的颜色区间，即直方图的bin,划分相关性像素的连通区域,每一个连通区域只有一个量化的灰度值,计算颜色聚合向量CCV:

CCV＝[(C₁,N₁)、(C₂,N₂)、…、(C_i,N_i)、…、(C_n,N_n)]；

式中，i指每一个颜色区间的灰度级，对应直方图的每一个bin，C_i指聚合像素的个数，即灰度值为i的所有大的连通区域像素之和，N_i指非聚合像素的个数，即灰度值为i的所有零散的小连通区域像素之和，确定帧间的颜色相似度S_CCV；

步骤四：确定归一化矩阵N(p,q)：

式中，p,q＝0,…,L,1≤i,j≤L，f(i,j)是具有值z_i和z_j的像素对的数目，f(p,q)是共生矩阵中的元素，L是最大灰度级数；

步骤五：确定图像的对比度Contrast和相关性Correlation：

式中，对比度的数值范围从0到(L-1)²，相关性的值在[-1,1]之间，相关性的大小反映了图像中局部灰度相关性的情况；

步骤六：确定图像的能量Energy和同质性度量矩阵Homogeneity：

式中，能量值范围在[0,1]之间，灰度一致的图像能量为1，Homogeneity值范围在[0,1]之间；

步骤七：确定GLCM纹理特征帧间的相似度S_glcm：

确定对比度、相关性、能量和同质性的均值和标准差作为最终的纹理特征，

式中，glcm_i，glcm_j分别是帧i，j的GLCM纹理特征；

步骤八：加权融合，确定关键帧S：

S＝w₁·S_df+w₂·S_CCV+w₃·S_glcm；

式中，w₁、w₂、w₃分别为深度特征、颜色特征和纹理特征的权重因子。

Images