CN109934283B - 一种融合cnn和sift光流的自适应运动目标检测方法 - Google Patents

Abstract

本发明公布了一种融合CNN和SIFT光流的自适应运动目标检测方法，包括以下步骤：首先对图像的SIFT特征和CNN特征提取并融合；然后基于高斯过程回归超分辨率重建CNN光流；并对光流进行加权平均处理；最后结合自适应阈值进行高精度运动目标检测。本发明将图形SIFT特征和CNN结构特征相融合进行光流计算，并提出将超分辨率重建技术应用到卷积神经网络CNN光流重建计算中，可以提高现有计算方法的精确性和鲁棒性，提高系统在运算时的稳定性。

Description

一种融合CNN和SIFT光流的自适应运动目标检测方法

技术领域

本发明涉及计算机视觉运动图像分析领域，尤其涉及一种融合CNN和SIFT光流的自适应运动目标检测方法。

背景技术

运动目标检测是指通过计算机视觉的方法减除视频中时间和空间上的冗余信息，有效地提取出发生空间位置变化的物体的过程，广泛应用于智能监控、多媒体应用等领域。光流作为机器视觉运动图像分析技术的重要研究内容之一，是一种更高层次的视觉表达，携带了有关物体运动和三维结构的丰富信息，能够以更接近人类视觉特性的感受野模型来获取计算机视觉的三维信息，可以用于模式识别、运动目标检测、运动目标跟踪、恢复目标的运动与结构信息、目标分割以及运动补偿编码、三维重建等,因此对光流场的研究一直被视为是解决视觉运动分析的有效途径之一。从光流算法提出到现在，涌现出了很多新的方法和算法，这些方法大概可以分为：微分法，区域匹配法，能量法，相位法，以及基于神经网络等方法，虽然光流计算方法在很多方面得到了应用，但缺乏有力的理论支持，在实际计算中也存在很多问题需要解决，光流计算的精确度问题、图像大位移光流计算问题、边界遮挡情况光流计算、多目标和复杂背景光流计算等情况。从光流算法提出到现在，涌现出了很多新的方法和算法，使得光流计算的精确度，鲁棒性，时效性等都得到了很大的提高。但由于其一些理论基础不完备，在实际计算中仍存在很多问题，使得其广泛的应用推广受到一定阻碍，对光流估计方法进行进一步的探究，对光流计算中存在的显著问题进行研究对进一步推动机器视觉广泛应用有重要的意义。

发明内容

本发明的目的在于，为了提高现有光流计算的精确性和鲁棒性，设计一种融合CNN特征和SIFT特征的光流计算方法并结合自适应阈值分析进行运动目标检测。

一种融合CNN和SIFT光流的自适应运动目标检测方法，包括以下步骤：

S1:对图像的SIFT特征和CNN特征提取并融合；

S2:基于高斯过程回归超分辨率重建CNN光流；

S3:对光流进行加权平均处理；

S4:对运动目标进行自适应阈值分析。

进一步的，所述步骤S1包括以下子步骤:

S21:由不同尺度的高斯差分核函数与图像卷积生成DOG尺度空间，计算公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

        ＝L(x,y,kσ)-L(x,y,σ)

L(x,y,σ)＝G(x,y,σ)*I(x,y)

式中：D为图像的高斯差尺度空间DOG，

L为图像尺度空间表示，通过原始图像与二维高斯函数卷积得到；

I为原始图像坐标表示，(x，y)为空间坐标；

G为尺度变化的高斯函数，(x，y)为空间坐标；

K为常数，表示不同尺度的高斯核函；

σ为尺度坐标，小尺度反应图像的细节特征，大尺度对应图像概貌特征；

*表示卷积计算；

S22：在DOG尺度空间寻找关键极值点位置：

对上述等式求异并令方程等于零，可以得到关键极值点位置X＝(x,y,σ)^T，T表示转置运算；

在不同尺度上为提取到的关键极值点附加方向的等信息：

W(x,y)＝(w₁,w₂,…w_n)

式中：m为根据空间邻域内像素点方向确定的关键极值点的梯度值；

θ为根据空间邻域内像素点方向确定的关键极值点的方向；

W为特征点的多维特征向量表示；

w为特征点邻域的描述子；

N表示维度；

S23：通过卷积神经网络提取图像CNN结构特征：

式中：

为第i层第j个特征图中位置(x，y)值；

b_ij为第i层第j个特征图的偏差值；

m为第i-1层的通道数；

P_i为第i层卷积核的大小；

Q_i为第i层卷积核的大小；

为第i层与第m个特征图连接的卷积核函数；

f为非线性的激活函数；

S24:将SIFT特征与CNN特征进行特征级融合，将SIFT特征与CNN特征进行相加运算，形成信息更丰富的SIFT_CNN特征。

进一步的，所述步骤S2具体内容为：采用的神经网络模型以3帧相邻序列图像的原始像素为输入，每层卷积核个数均采用24个，经过7*7大小卷积核提取出24帧特征图像，经过2*2池化层，采用最大池采样对特征图像进行降维，输出为二分之一原始图像大小的2D光流，CNN光流超分辨率重建公式为：

式中：O为低分辨率光流图像；

d为低分率光流上采样因子；

为低分辨率图上采样得到光流图像；

为

下采样得到光流图像；

d'为低分率光流下采样因子；

H为得到的高分辨率光流图像。

进一步的，所述步骤S3具体内容为：在特定权重参数下，将CNN_SIFT特征融合得到的光流与CNN超分辨率重建光流进行加权平均计算，计算公式为：

式中：u,v为最终二维光流矢量；

u₂,v₂代表基于CNN特征和SIFT特征融合计算得到的光流分量；

u₁,v₁代表CNN经过超分辨率重建的光流分量；

α,β为权重参数，其中有β＝1-α。

进一步的，所述步骤S4具体内容为：对光流表征的粗糙前景目标进行自适应阈值分割，进一步精确定位运动目标。首先用三种不同方式对粗糙前景目标光流大小进行归一化：

式中：F_MM为最小最大归一化，对原始数据的线性变换；

F_sig为Sigmoid函数归一化，对数据进行对数变换；

F_LOG为对数归一化，对数据进行对数变换；

X_min,X_max为粗糙前景目标区域中光流的最小值和最大值；

x为粗糙前景区域中某一点光流大小值；

然后对以上三种归一化粗糙前景光流大小值进行自适应阈值分析，进一步对前景目标光流进行精细化：

g＝w₀(μ₀-μ)²+w₁(μ₁-μ)²

w₀＝n₀/n，w₁＝n₁/n

μ＝w₀*μ₀+w₁*μ₁

通过遍历图像寻找使得最大类间方差g取得最大值时的阈值T_m；

式中：g表示最大类间方差，通过遍历图像寻找最大类间方差；

n,n₀,n₁分别为图像的像素个数，小于阈值T_m的像素个数，大于阈值T_m的像素个数；

w₀,w₁分别表示小于阈值和大于阈值像素个数所占总像素比列；

μ表示图像的总平均灰度；

最后从三种阈值中选择能够取得最大类间方差的阈值T_m，最后通过阈值分割确定运动目标：

式中：M表示分割出运动目标的二值图像。

有益效果：本发明将图形SIFT特征和CNN结构特征相融合进行光流计算，并提出将超分辨率重建技术应用到卷积神经网络CNN光流重建计算中，可以提高现有计算方法的精确性和鲁棒性，提高系统在运算时的稳定性，对计算出光流进行自适应阈值分析，极大抑制噪声，准确分割出前景运动目标。

附图说明

图1为本发明的算法流程图；

图2为本发明的卷积神经网络结构图；

图3为本发明的特征融合算法结构图；

图4为本发明的加权平均处理和自适应阈值分析结构图。

具体实施方式

对本发明做进一步的描述，但本发明的保护范围不局限于以下所述。

一种融合CNN和SIFT光流的自适应运动目标检测方法，包括以下步骤：

S1:对图像的SIFT特征和CNN特征提取并融合；

S2:基于高斯过程回归超分辨率重建CNN光流；

S3:对光流进行加权平均处理；

S4:对运动目标进行自适应阈值分析。

进一步的，所述步骤S1包括以下子步骤:

S21:由不同尺度的高斯差分核函数与图像卷积生成DOG尺度空间，计算公式如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)

        ＝L(x,y,kσ)-L(x,y,σ)

L(x,y,σ)＝G(x,y,σ)*I(x,y)

式中：D为图像的高斯差尺度空间DOG，

L为图像尺度空间表示，通过原始图像与二维高斯函数卷积得到；

I为原始图像坐标表示，(x，y)为空间坐标；

G为尺度变化的高斯函数，(x，y)为空间坐标；

K为常数，表示不同尺度的高斯核函；

σ为尺度坐标，小尺度反应图像的细节特征，大尺度对应图像概貌特征；

*表示卷积计算；

S22：在DOG尺度空间寻找关键极值点位置：

对上述等式求异并令方程等于零，可以得到关键极值点位置X＝(x,y,σ)^T，T表示转置运算；

在不同尺度上为提取到的关键极值点附加方向的等信息：

W(x,y)＝(w₁,w₂,…w_n)

式中：m为根据空间邻域内像素点方向确定的关键极值点的梯度值；

θ为根据空间邻域内像素点方向确定的关键极值点的方向；

W为特征点的多维特征向量表示；

w为特征点邻域的描述子；

N表示维度；

S23：通过卷积神经网络提取图像CNN结构特征：

式中：

为第i层第j个特征图中位置(x，y)值；

b_ij为第i层第j个特征图的偏差值；

m为第i-1层的通道数；

P_i为第i层卷积核的大小；

Q_i为第i层卷积核的大小；

为第i层与第m个特征图连接的卷积核函数；

f为非线性的激活函数；

S24:将SIFT特征与CNN特征进行特征级融合，将SIFT特征与CNN特征进行相加运算，形成信息更丰富的SIFT_CNN特征。

进一步的，所述步骤S2具体内容为：采用的神经网络模型以3帧相邻序列图像的原始像素为输入，每层卷积核个数均采用24个，经过7*7大小卷积核提取出24帧特征图像，经过2*2池化层，采用最大池采样对特征图像进行降维，输出为二分之一原始图像大小的2D光流，CNN光流超分辨率重建公式为：

式中：O为低分辨率光流图像；

d为低分率光流上采样因子；

为低分辨率图上采样得到光流图像；

为

下采样得到光流图像；

d'为低分率光流下采样因子；

H为得到的高分辨率光流图像。

进一步的，所述步骤S3具体内容为：在特定权重参数下，将CNN_SIFT特征融合得到的光流与CNN超分辨率重建光流进行加权平均计算，计算公式为：

式中：u,v为最终二维光流矢量；

u₂,v₂代表基于CNN特征和SIFT特征融合计算得到的光流分量；

u₁,v₁代表CNN经过超分辨率重建的光流分量；

α,β为权重参数，其中有β＝1-α。

进一步的，所述步骤S4具体内容为：对光流表征的粗糙前景目标进行自适应阈值分割，进一步精确定位运动目标。首先用三种不同方式对粗糙前景目标光流大小进行归一化：

式中：F_MM为最小最大归一化，对原始数据的线性变换；

F_sig为Sigmoid函数归一化，对数据进行对数变换；

F_LOG为对数归一化，对数据进行对数变换；

X_min,X_max为粗糙前景目标区域中光流的最小值和最大值；

x为粗糙前景区域中某一点光流大小值；

然后对以上三种归一化粗糙前景光流大小值进行自适应阈值分析，进一步对前景目标光流进行精细化：

g＝w₀(μ₀-μ)²+w₁(μ₁-μ)²

w₀＝n₀/n，w₁＝n₁/n

μ＝w₀*μ₀+w₁*μ₁

通过遍历图像寻找使得最大类间方差g取得最大值时的阈值T_m；

式中：g表示最大类间方差，通过遍历图像寻找最大类间方差；

n,n₀,n₁分别为图像的像素个数，小于阈值T_m的像素个数，大于阈值T_m的像素个数；

w₀,w₁分别表示小于阈值和大于阈值像素个数所占总像素比列；

μ表示图像的总平均灰度；

最后通过阈值T_m分割确定运动目标：

式中：M表示分割出运动目标的二值图像。

实施例1

下面以某视频序列图像为例，结合附图对本发明的步骤进行详细说明。

一种基于融合CNN特征和SIFT特征的光流计算方法依次包括以下步骤：

初始化权重参数α＝0.5,β＝0.5；

输入:序列图像相邻两帧图像作为输入；

步骤1：提取出图像的CNN结构特征和尺度不变SIFT特征；

步骤2:对1中得到两种特征进行融合处理，计算出融合特征光流；

步骤3：计算CNN光流并改进原始网络机构中的重建方法为超分辨率方法；

步骤4：使用超分辨率技术进行重建，得到原始大小图像；

步骤5：将2中得到光流与3中得到超分辨率重建光流进行加权平均处理；

通过实验调整权重参数最终为α＝0.3,β＝0.7；

步骤6：通过改进光流计算得到粗糙运动前景目标光流，对其大小进行不同归一化处理；

步骤7：将不同归一化结果结合自适应阈值分析，得到不同的分割阈值；

步骤8：从不同阈值中选择使得最大类间方差值取得最大时的阈值，进行图像前景分割；

输出：精细化图像运动前景目标。

有益效果：本发明将图形SIFT特征和CNN结构特征相融合进行光流计算，并提出将超分辨率重建技术应用到卷积神经网络CNN光流重建计算中，得到粗糙前景目标的光流，通过三种不同归一化方式结合自适应阈值分析，分割出精细化的前景运动目标。本算法可以提高现有计算方法的精确性和鲁棒性，提高系统在运算时的稳定性。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (2)

1.一种融合CNN和SIFT光流的自适应运动目标检测方法，其特征在于，包括以下步骤：

S1：对图像的SIFT特征和CNN特征提取并融合；

S11：由不同尺度的高斯差分核函数与图像卷积生成DOG尺度空间，计算公式如下：

D(x，y，σ)＝(G(x，y，kσ)-G(x，y，σ))*I(x，y)

        ＝L(x，y，kσ)-L(x，y，σ)

L(x，y，σ)＝G(x，y，σ)*I(x，y)

式中：D为图像的高斯差尺度空间DOG，

L为图像尺度空间表示，通过原始图像与二维高斯函数卷积得到；

I为原始图像坐标表示，(x，y)为空间坐标；

G为尺度变化的高斯函数，(x，y)为空间坐标；

K为常数，表示不同尺度的高斯核函；

σ为尺度坐标，小尺度反应图像的细节特征，大尺度对应图像概貌特征；

*表示卷积计算；

S12：在DOG尺度空间寻找关键极值点位置：

对上述等式求异并令方程等于零，可以得到关键极值点位置X＝(x，y，σ)^T，T表示转置运算；

在不同尺度上为提取到的关键极值点附加方向的等信息：

W(x，y)＝(w₁，w₂，…w_n)

式中：m为根据空间邻域内像素点方向确定的关键极值点的梯度值；

θ为根据空间邻域内像素点方向确定的关键极值点的方向；

W为特征点的多维特征向量表示；

w为特征点邻域的描述子；

N表示维度；

S13：通过卷积神经网络提取图像CNN结构特征：

式中：

为第i层第j个特征图中位置(x，y)值；

b_ij为第i层第j个特征图的偏差值；

m为第i-1层的通道数；

P_i为第i层卷积核的大小；

Q_i为第i层卷积核的大小；

为第i层与第m个特征图连接的卷积核函数；

f为非线性的激活函数；

S14：将SIFT特征与CNN特征进行特征级融合，将SIFT特征与CNN特征进行相加运算，形成信息更丰富的SIFT_CNN特征；

S2：基于高斯过程回归超分辨率重建CNN光流；

步骤S2具体内容为：采用的神经网络模型以3帧相邻序列图像的原始像素为输入，每层卷积核个数均采用24个，经过7*7大小卷积核提取出24帧特征图像，经过2*2池化层，采用最大池采样对特征图像进行降维，输出为二分之一原始图像大小的2D光流，CNN光流超分辨率重建公式为：

式中：O为低分辨率光流图像；

d为低分率光流上采样因子；

为低分辨率图上采样得到光流图像；

为

下采样得到光流图像；

d′为低分率光流下采样因子；

H为得到的高分辨率光流图像；

S3：对光流进行加权平均处理；

在特定权重参数下，将CNN_SIFT特征融合得到的光流与CNN超分辨率重建光流进行加权平均计算，计算公式为：

式中：u，v为最终二维光流欠量；

u₂，v₂代表基于CNN特征和SIFT特征融合计算得到的光流分量；

u₁，v₁代表CNN经过超分辨率重建的光流分量；

α，β为权重参数，其中有β＝1-α；

S4：对运动目标进行自适应阈值分析。

2.如权利要求1所述的一种融合CNN和SIFT光流的自适应运动目标检测方法，其特征在于，所述步骤S4具体内容为：对光流表征的粗糙前景目标进行自适应阈值分割，进一步精确定位运动目标，首先用三种不同方式对粗糙前景目标光流大小进行归一化：

式中：F_MM为最小最大归一化，对原始数据的线性变换；

F_sig为Sigmoid函数归一化，对数据进行对数变换；

F_LOG为对数归一化，对数据进行对数变换；

X_min，X_max为粗糙前景目标区域中光流的最小值和最大值；

x为粗糙前景区域中某一点光流大小值；

然后对以上三种归一化粗糙前景光流大小值进行自适应阈值分析，进一步对前景目标光流进行精细化：

g＝w₀(μ₀-μ)²+w₁(μ₁-μ)²

w₀＝n₀/n，w₁＝n₁/n

μ＝w₀*μ₀+w₁*μ₁

通过遍历图像寻找使得最大类间方差g取得最大值时的阈值T_m：将不同归一化结果结合自适应阈值分析，得到不同的分割阈值，从不同阈值中选择使得最大类间方差值取得最大时的阈值，进行图像前景分割；

式中：g表示最大类间方差，通过遍历图像寻找最大类间方差；

n，n₀，n₁分别为图像的像素个数，小于阈值T_m的像素个数，大于阈值T_m的像素个数；

w₀，w₁分别表示小于阈值和大于阈值像素个数所占总像素比列；

μ表示图像的总平均灰度；

最后通过阈值T分割确定运动目标：

式中：M表示分割出运动目标的二值图像。

Images