CN111340852B - 一种基于优化语义分割的图像序列光流计算方法 - Google Patents

Abstract

一种基于优化语义分割的图像序列光流计算方法，它包含如下步骤：一、输入连续两帧图片，利用去均值归一化光流模型计算连续两帧间的前景后景光流；二、输入连续两帧图片，利用

语义模型分割出连续两帧的标签图；三、将步骤一计算出的光流以及步骤二的标签图作为输入，利用全连接分层算法，得到优化分割图像；四、将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量，利用前景光流模型计算最终光流结果；本发明采用全连接去均值归一化模型上加入了边窗滤波计算光流，然后使用全连接分层模型优化的分割图先验信息，最终利用前景光流模型优化最终光流，克服了针对光照突变场景图像序列光流计算结果精度较低的问题。

Description

一种基于优化语义分割的图像序列光流计算方法

技术领域

本发明涉及图像序列光流计算技术领域，具体涉及一种基于优化语义分割的图像序列光流计算方法。

背景技术

光流场是分析序列图像中运动目标的重要方法。光流场不仅包含了被观察物体的运动信息，而且携带有光景物三维结构的信息，所以光流场在不同的领域中具有很重要的作用：在计算机视觉中，诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等及其重要的任务；光流场计算在工业和军事应用领域具有重要的现实意义，诸如在完成各种工业或军事任务的机器人视觉系统，基于运动分析的空间卫星跟踪系统；地对空导弹火控系统，进行资源勘探、天气预报或卫星照片的自动分析系统，医学上器官异常的分析和诊断系统等中均有广泛应用。

近年来，随着光流估计方法的发展，针对简单场景图像序列光流估计技术已经取得较大进步，但是在针对图像序列包含诸如运动边缘保护，光照突变等具有挑战性的困难场景光流估计仍然具有较大误差。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于优化语义分割的图像序列光流计算方法，首先对输入图像序列并利用ZNCC算法减少图像序列中光照突变的影响计算出初始光流，然后同时利用全连接分层模型对图像序列分割图进行优化，将初始图象、优化分割图与初始光流同时作为输入，建立光流估计模型，以解决针对场景图像序列的光照突变以及运动边缘保护的问题。

为实现上述目的，本发明采用的技术方案是：它包含如下步骤：

一、输入连续两帧图片，利用去均值归一化光流模型计算连续两帧间的前景后景光流，模型如式(1)所示：

E(u,v)＝λ·E_data(u,v)+E_smooth(u,v) (1)

式(1)中数据项E_data能量泛函如式(2)：

式中u是光流的水平方向分量；v是光流的垂直方向分量；u_i表示像素i的光流的水平方向分量；v_i表示像素i的光流的垂直方向分量；Ω＝{(x,y)|1≤x≤N,1≤y≤M}代表图像中的所有像素点集合；k代表图像金字塔的层数；w_i＝(u_i,v_i)^T表示像素i的光流值；C(·)代表匹配块之间的去均值归一化；

平滑项E_smooth(u,v)为：

式中：

代表像素i的邻域像素；Ω代表图像中的所有像素点集合；bf_i,s代表平滑项权重，表示像素i和s属于同一物体的可能性；i和s属于同一个对象时bf_i,s接近于1，如果该度量值bf_i,s接近零，忽略该像素；bf_i,s的计算公式如下：

式中Δ_c(i,s)为的i和s之间的的Lab颜色空间距离；Δ_d(i,s)计算的i和s之间的位置距离；σ_c和σ_d代表相似性测度系数；

二、输入连续两帧图片，利用Deeplabv3+语义模型分割出连续两帧的标签图；

三、将步骤一计算出的光流以及步骤二的标签图作为输入，利用全连接分层算法，得到优化分割图像，式(5)为全连接局部分层模型：

其中，式中u是光流的水平方向分量；v是光流的垂直方向分量；g代表物体所属的标签类别；θ表示输出运动模型的参数；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_time表示时间项系数；λ_space表示空间项系数；g_t代表当前帧像素的语义标签；g_t+1代表当下一帧像素的语义标签；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；

数据项E_data公式如下：

其中u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；g_t代表物体当前帧时间所属的标签类别；g_t+1代表物体下一帧时间所属的标签类别；

表示当前帧像素p的语义标签，

表示下一帧像素q的语义标签，k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；

代表当

和

的两层的负对数似然；

空间项E_space公式如下：

其中，

表示空间项的权重系数；

表示当前帧像素p的语义标签；

表示当前帧像素r的语义标签，当

时，

不是相邻空间的像素，施加空间惩罚项；当

时，

像素处于相邻空间；

时间项E_time公式如下：

其中，

表示当前帧像素p的语义标签；

表示下一帧像素q的语义标签，当

时，

施加时间惩罚项；当

时，

两对应像素具有相同标签；

四、将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量，利用前景光流模型计算最终光流结果：

其中，u是光流的水平方向分量；v是光流的垂直方向分量；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_motion表示运动项系数；λ_time表示时间项系数；λ_space表示空间项系数；k_t代表当前帧像素的标签层；k_t+1代表当下一帧像素的标签层；I_t代表当前帧图像的灰度，I_t+1代表下一帧图像的灰度；

E_data数据项表示为：

其中，u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；p表示当前帧的像素点；q表示像素p在下一帧的匹配像素；ρ_D表示鲁棒惩罚函数；

表示当前帧像素p的灰度值；

表示下一帧像素q的灰度值；λ_D表示对遮挡像素的恒定惩罚；

表示指示函数；

表示当前帧像素p的所在层，

表示下一帧像素q的所在层，并当

时，表示像素p与像素q处于不同的层，发生遮挡，此时

E_data同时施加外观一致性和遮挡惩罚；当

时，表示像素p与经过运动后的匹配像素q处于相同的前景或背景层，未发生遮挡，此时

E_data仅施加外观一致性；

运动项E_motion公式如下：

其中，r表示像素p的相邻像素；第一项中N_p包含像素p的四个最近邻域，ρ表示运动项惩罚函数，

表示当前帧像素p的运动向量，

表示当前帧像素r的运动向量，

表示当前帧像素p的所处层，

表示当前帧像素r的所处层，当

时，表明像素p与相邻像素r处于同一前景层，则像素p与相邻像素r具有相似的运动，施加相似运动一致项；第二项中λ_aff表示仿射运动的平滑系数，ρ_aff表示添加形变后的仿射运动惩罚函数；

表示全局运动模型；

空间项E_space鼓励分层的空间邻接性，对非相邻空间的像素施加惩罚，表示为：

其中，

为空间项权重，

表示当前帧像素p的所处层，

表示前帧像素r的所处层，当

时，

当

时，

像素p与像素r处于相邻空间；

E_time时间项代表着相同像素在时间的推移下前后景不会发生改变，保证了分层模型的时间一致性：

其中，

表示当前帧像素p的所处层，

表示下一帧像素q的所处层，当

时，

当

时，

最小化能量泛函，最终输出计算光流。

采用上述方案后，本发明有益效果为：本发明所述的一种基于优化语义分割的图像序列光流计算方法，采用全连接去均值归一化模型上加入了边窗滤波计算光流，然后使用全连接分层模型优化的分割图先验信息，最终利用前景光流模型优化最终光流，克服了针对光照突变场景图像序列光流计算结果精度较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中KITTI图像序列连续两帧图片的第一帧图像；

图2是本发明实施例中KITTI图像序列连续两帧图片的第二帧图像；

图3是本发明实施例中去均值归一化光流估计程序流程框图；

图4是本发明实施例中语义分割图像优化模型图；

图5是KITTI图像序列连续两帧分割图像优化分割图；

图6是本发明实施例完整程序流程框图；

图7是本发明实施例计算所得的KITTI图像序列光流图。

具体实施方式

下面结合附图，对本发明作进一步的说明。

本实施例采用的技术方案是：它包含如下步骤：参看图6所示，

一、输入图1和图2是KITTI图像序列中连续两帧图片；其中图1是第一帧图像，图2是第二帧图像；

利用deeplabv3+语义模型分割出的KITTI图像序列连续两帧分割图像；

如图1-2所示，将原始图像序列建立去均值归一化光流模型计算连续两帧间的前景后景光流，模型如式(1)：

E(u,v)＝λ·E_data(u,v)+E_smooth(u,v) (1)

式(1)中数据项E_data能量泛函如下：

式中u是光流的水平方向分量；v是光流的垂直方向分量；u_i表示像素i的光流的水平方向分量；v_i表示像素i的光流的垂直方向分量；Ω＝{(x,y)|1≤x≤N,1≤y≤M}代表图像中的所有像素点集合；k代表图像金字塔的层数；w_i＝(u_i,v_i)^T表示像素i的光流值；C(·)代表匹配块之间的去均值归一化；

平滑项E_smooth(u,v)为：

代表像素i的邻域像素；Ω代表图像中的所有像素点集合；bf_i,s代表平滑项权重，表示像素i和s属于同一物体的可能性；i和s属于同一个对象时bf_i,s接近于1，如果该度量值bf_i,s接近零，忽略该像素；bf_i,s的计算公式如下：

式中Δ_c(i,s)为的i和s之间的的Lab颜色空间距离；Δ_d(i,s)计算的i和s之间的位置距离；σ_c和σ_d代表相似性测度系数；

二、输入步骤一中连续两帧图片，利用Deeplabv3+语义模型分割出连续两帧的标签图；

三、如图3-5所示，将步骤一计算出的光流以及步骤二标签图作为输入，利用全连接分层算法，得到优化分割图像，建立全连接局部分层，模型如式(5)所示：

其中，u是光流的水平方向分量；v是光流的垂直方向分量；g代表物体所属的标签类别；θ表示输出运动模型的参数；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_time表示时间项系数；λ_space表示空间项系数；g_t代表当前帧像素的语义标签；g_t+1代表当下一帧像素的语义标签；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；

数据项E_data公式如下：

其中，u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；g_t代表物体当前帧时间所属的标签类别；g_t+1代表物体下一帧时间所属的标签类别；

表示当前帧像素p的语义标签，

表示下一帧像素q的语义标签，k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；

代表当

和

的两层的负对数似然；

空间项E_space公式如下：

其中，

表示空间项的权重系数；

表示当前帧像素p的语义标签；

表示当前帧像素r的语义标签，当

时，

不是相邻空间的像素，施加空间惩罚项；当

时，

像素处于相邻空间；

时间项E_time公式如下：

其中，

表示当前帧像素p的语义标签；

表示下一帧像素q的语义标签，当

时，

施加时间惩罚项；当

时，

两对应像素具有相同标签；

四、如图7所示，将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量，建立前景光流模型，模型如式(9)所示：

其中，u是光流的水平方向分量；v是光流的垂直方向分量；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_motion表示运动项系数；λ_time表示时间项系数；λ_space表示空间项系数；k_t代表当前帧像素的标签层；k_t+1代表当下一帧像素的标签层；I_t代表当前帧图像的灰度，I_t+1代表下一帧图像的灰度；

E_data数据项表示为：

其中，u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；p表示当前帧的像素点；q表示像素p在下一帧的匹配像素；ρ_D表示鲁棒惩罚函数；

表示当前帧像素p的灰度值；

表示下一帧像素q的灰度值；λ_D表示对遮挡像素的恒定惩罚；

表示指示函数；

表示当前帧像素p的所在层，

表示下一帧像素q的所在层，并当

时，表示像素p与像素q处于不同的层，发生遮挡，此时

E_data同时施加外观一致性和遮挡惩罚；当

时，表示像素p与经过运动后的匹配像素q处于相同的前景或背景层，未发生遮挡，此时

E_data仅施加外观一致性；

运动项E_motion公式如下：

其中，r表示像素p的相邻像素；第一项中N_p包含像素p的四个最近邻域，ρ表示运动项惩罚函数，

表示当前帧像素p的运动向量，

表示当前帧像素r的运动向量，

表示当前帧像素p的所处层，

表示当前帧像素r的所处层，当

时，表明像素p与相邻像素r处于同一前景层，则像素p与相邻像素r具有相似的运动，施加相似运动一致项；第二项中λ_aff表示仿射运动的平滑系数，ρ_aff表示添加形变后的仿射运动惩罚函数；

表示全局运动模型；

空间项E_space鼓励分层的空间邻接性，对非相邻空间的像素施加惩罚，表示为：

其中，

为空间项权重，

表示当前帧像素p的所处层，

表示前帧像素r的所处层，当

时，

当

时，

像素p与像素r处于相邻空间；

E_time时间项代表着相同像素在时间的推移下前后景不会发生改变，保证了分层模型的时间一致性：

其中，

表示当前帧像素p的所处层，

表示下一帧像素q的所处层，当

时，

当

时，

最小化能量泛函，最终输出计算光流，图7展示了光流计算的结果。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种基于优化语义分割的图像序列光流计算方法，其特征在于它包含如下步骤：

一、输入连续两帧图片，利用去均值归一化光流模型计算连续两帧间的前景后景光流，模型如式(1)所示：

E(u,v)＝λ·E_data(u,v)+E_smooth(u,v) (1)

式(1)中数据项E_data能量泛函如式(2)：

式中u是光流的水平方向分量；v是光流的垂直方向分量；u_i表示像素i的光流的水平方向分量；v_i表示像素i的光流的垂直方向分量；Ω＝{(x,y)|1≤x≤N,1≤y≤M}代表图像中的所有像素点集合；k代表图像金字塔的层数；w_i＝(u_i,v_i)^T表示像素i的光流值；C(·)代表匹配块之间的去均值归一化；

平滑项E_smooth(u,v)为：

式中：

代表像素i的邻域像素；Ω代表图像中的所有像素点集合；bf_i,s代表平滑项权重，表示像素i和s属于同一物体的可能性；i和s属于同一个对象时bf_i,s接近于1，如果该度量值bf_i,s接近零，忽略该像素；bf_i,s的计算公式如下:

式中Δ_c(i,s)为的i和s之间的Lab颜色空间距离；Δ_d(i,s)计算的i和s之间的位置距离；σ_c和σ_d代表相似性测度系数；

二、输入连续两帧图片，利用Deeplabv3+语义模型分割出连续两帧的标签图；

三、将步骤一计算出的光流以及步骤二的标签图作为输入，利用全连接分层算法，得到优化分割图像，式(5)为全连接局部分层模型：

其中，式中u是光流的水平方向分量；v是光流的垂直方向分量；g代表物体所属的标签类别；θ表示输出运动模型的参数；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_time表示时间项系数；λ_space表示空间项系数；g_t代表当前帧像素的语义标签；g_t+1代表当下一帧像素的语义标签；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；

数据项E_data公式如下：

其中u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；g_t代表物体当前帧时间所属的标签类别；g_t+1代表物体下一帧时间所属的标签类别；

表示当前帧像素p的语义标签，

表示下一帧像素q的语义标签，k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；

代表当

和

的两层的负对数似然；

空间项E_space公式如下：

其中，

表示空间项的权重系数；

表示当前帧像素p的语义标签；

表示当前帧像素r的语义标签，当

时，

不是相邻空间的像素，施加空间惩罚项；当

时，

像素处于相邻空间；

时间项E_time公式如下：

其中，

表示当前帧像素p的语义标签；

表示下一帧像素q的语义标签，当

时，

施加时间惩罚项；当

时，

两对应像素具有相同标签；

四、将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量，利用前景光流模型计算最终光流结果：

其中，u是光流的水平方向分量；v是光流的垂直方向分量；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_motion表示运动项系数；λ_time表示时间项系数；λ_space表示空间项系数；k_t代表当前帧像素的标签层；k_t+1代表当下一帧像素的标签层；I_t代表当前帧图像的灰度，I_t+1代表下一帧图像的灰度；

E_data数据项表示为：

其中，u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；p表示当前帧的像素点；q表示像素p在下一帧的匹配像素；ρ_D表示鲁棒惩罚函数；

表示当前帧像素p的灰度值；

表示下一帧像素q的灰度值；λ_D表示对遮挡像素的恒定惩罚；

表示指示函数；

表示当前帧像素p的所在层，

表示下一帧像素q的所在层，并当

时，表示像素p与像素q处于不同的层，发生遮挡，此时

E_data同时施加外观一致性和遮挡惩罚；当

时，表示像素p与经过运动后的匹配像素q处于相同的前景或背景层，未发生遮挡，此时

E_data仅施加外观一致性；

运动项E_motion公式如下：

其中，r表示像素p的相邻像素；第一项中N_p包含像素p的四个最近邻域，ρ表示运动项惩罚函数，

表示当前帧像素p的运动向量，

表示当前帧像素r的运动向量，

表示当前帧像素p的所处层，

表示当前帧像素r的所处层，当

时，表明像素p与相邻像素r处于同一前景层，则像素p与相邻像素r具有相似的运动，施加相似运动一致项；第二项中λ_aff表示仿射运动的平滑系数，ρ_aff表示添加形变后的仿射运动惩罚函数；

表示全局运动模型；

空间项E_space鼓励分层的空间邻接性，对非相邻空间的像素施加惩罚，表示为：

其中，

为空间项权重，

表示当前帧像素p的所处层，

表示前帧像素r的所处层，当

时，

当

时，

像素p与像素r处于相邻空间；

E_time时间项代表着相同像素在时间的推移下前后景不会发生改变，保证了分层模型的时间一致性：

其中，

表示当前帧像素p的所处层，

表示下一帧像素q的所处层，当

时，

当

时，

最小化能量泛函，最终输出计算光流。

Images