CN106991686A - 一种基于超像素光流场的水平集轮廓跟踪方法 - Google Patents

Abstract

本发明公开了一种基于超像素光流场的水平集轮廓跟踪方法，以超像素作为图像处理的基本单元，计算每个超像素内的局部光流方向直方图得到每个超像素的主运动方向和幅值，再根据运动目标的光流场在方向上的一致性和较大幅值的特点，统计所有超像素的全局光流方向直方图，通过选取大部分能量集中的超像素形成Mask模板，利用该模板区分光流灰度图中的目标和背景区域，再通过灰度分割阈值动态调整光流灰度值，最后基于改变的光流灰度图引导水平集轮廓进化。这样将光流特征引入水平集轮廓跟踪框架中，提高跟踪的准确性和鲁棒性，同时提高了抗噪性和抗干扰性，且简单有效，具有很好的应用前景。

Description

一种基于超像素光流场的水平集轮廓跟踪方法

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于超像素光流场的水平集轮廓跟踪方法。

背景技术

水平集(Level Sets)是以隐式方法描述轮廓的一种主动轮廓方法，由于其能灵活处理目标拓扑结构，动态捕捉目标形状信息，在目标跟踪领域被广泛应用。水平集方法是用一个n+1维的Level Sets函数的零值来表达一个n维的轮廓。常用的Level Sets函数为带符号的距离函数，轮廓内部和外部的符号相反。在基于Level Sets的跟踪方法中，轮廓根据底层特征进化到目标边缘处，这些底层特征可以是：灰度、颜色、纹理或运动信息等。这些特征往往是建立在底层视觉特征—像素的基础上。但由于单个像素容易被噪音干扰导致跟踪的不鲁棒性。近年来，由于富含语义信息以及灵活的处理方式，中层视觉特征(Mid-levelVisual Cue)已经作为一种非常有效的图像描述的工具，被广泛应用于图像分割和目标识别领域。特别是超像素(Superpixel)，它是将图像划分为颜色、亮度或纹理相似的邻近像素的集合。超像素具有计算效率高、富含语义、保持边界等优点，因此将超像素作为图像描述的基本单元，进行后续的建模和挖掘，比直接考虑底层视觉特征—像素更为有效。目前超像素有多种不同的表现形式，比如片段(Fragments)、三角形(Triangles)、过分割超像素(Over-segmented Superpixels)、图像块(Image Patches)等。

现有的水平集轮廓跟踪方法已有基于超像素来进行表观模型的建模。X.Zhou等人提出了一种基于超像素建模判别式表观模型的方法，将图像的颜色和梯度特征引入到水平集轮廓进化框架中。算法原理参见：X.Zhou,X.Li and W.M.Hu,Learning A Superpixel-Driven Speed Function for Level Set Tracking,IEEE Trans.on Cybernetics,vol.46,no.7,pp.1498-1510,2016。除了颜色、纹理、梯度等特征之外，目标的运动也是一种非常有效的可用于跟踪的特征，特别是在目标相对于背景有明显运动趋势的场景下，运动信息可以作为颜色、梯度等表观特征的有效的补充。光流法作为刻画运动信息的一种手段被广泛应用到图像亮度模式中。由光流引申出的光流场，是指图像中所有像素点构成的一种二维瞬时速度场。该速度场刻画了每个像素点运动速度的大小和方向。而目前现有文献中鲜有论文特别介绍利用运动信息的水平集进化方法。因此在具有明显相对运动的场景下，如何只利用运动信息有效区分目标和背景，引入到水平集轮廓进化框架中，减少噪音的干扰，即将成为本发明要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于超像素光流场的水平集轮廓跟踪方法，将光流特征引入水平集轮廓跟踪框架中，提高跟踪的准确性和鲁棒性。

为实现上述发明目的，本发明一种基于超像素光流场的水平集轮廓跟踪方法，其特征在于，包括以下步骤：

(1)、基于超像素的局部和全局光流方向直方图统计

(1.1)、选取图像中感兴趣区域，利用稠密光流计算法计算感兴趣区域的光流场，再利用孟塞尔颜色系统将光流场进行可视化，得到光流场彩色图像；

(1.2)、将光流场彩色图像转换成光流场灰度图；

(1.3)、利用SLIC算法对光流场彩色图像进行超像素分割，得到多个超像素块；

(1.4)、以超像素块为基本单元，先统计每个超像素块的局部主光流方向直方图，再统计所有超像素块的全局光流方向直方图，取全局光流方向直方图的最大幅值前M％对应的区域为目标区域，其他为背景区域，得到由目标区域和背景区域组成的二值化mask模板，；

(2)、根据目标区域和背景区域的分割阈值动态调整光流灰度级

(2.1)、将mask模板与光流场灰度图做点乘运算，分别得到目标区域和背景区域的光流灰度值；

(2.2)、根据目标区域和背景区域的光流灰度值分别估算两个高斯分布概率密度函数，再由最小错误率贝叶斯准则，找到两个高斯分布概率密度函数的交点对应的横坐标的值，即为目标区域和背景区域的分割阈值T；

(2.3)、利用分割阈值T动态调整光流灰度级

其中，Coeffi_adjust为灰度级调整系数；sign为符号函数，x表示像素点的光流灰度值，k与σ为控制指数函数变化幅度的参数，对于分别位于阈值T两边的像素点的光流灰度值x，为了更好地逼近真实的分布，σ分别取其对应的光流场灰度图中目标区域和背景区域的方差，即：

其中，σ_obj表示目标区域高斯分布的方差，σ_bac表示背景区域高斯分布的方差；

将光流场灰度图中像素点的灰度值乘以灰度级调整系数Coeffi_adjust，得到每个像素点改变后的光流灰度值，并将灰度级改变后的光流场灰度图标记为I_adjust；

(3)、基于边缘的DRLSE模型进行水平集轮廓进化

(3.1)、计算跟图像灰度梯度相关的边缘标记函数g：

其中，▽表示计算梯度，G_σ是标准方差为σ的高斯核函数，对灰度图I_adjust起着平滑，降低噪音的作用；

(3.2)、根据边缘的DRLSE模型方程进行水平集轮廓进化；

其中，φ表示水平集函数，μ、λ和α为常数，div是散度算子，δ_ε(φ)表示Diracdelta函数，d_p(s)定义为

本发明的发明目的是这样实现的：

本发明中涉及的一种基于超像素光流场的水平集轮廓跟踪方法，以超像素作为图像处理的基本单元，计算每个超像素内的局部光流方向直方图得到每个超像素的主运动方向和幅值，再根据运动目标的光流场在方向上的一致性和较大幅值的特点，统计所有超像素的全局光流方向直方图，通过选取大部分能量集中的超像素形成Mask模板，利用该模板区分光流灰度图中的目标和背景区域，再通过灰度分割阈值动态调整光流灰度值，最后基于改变的光流灰度图引导水平集轮廓进化。这样将光流特征引入水平集轮廓跟踪框架中，提高跟踪的准确性和鲁棒性，同时提高了抗噪性和抗干扰性，且简单有效，具有很好的应用前景。

附图说明

图1是本发明基于超像素光流场的水平集轮廓跟踪方法流程图；

图2是目标感兴趣区域、光流场彩色图和灰度图；

图3是超像素内部局部光流直方图示意图；

图4是超像素主光流结果以及目标模板Mask示意图；

图5是目标和背景区域的光流灰度概率密度分布曲线；

图6是根据分割阈值动态调整光流灰度级与未改变之前的对比示意图；

图7是Lemming序列上的对比实验结果。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于超像素光流场的水平集轮廓跟踪方法流程图。

本实施例的重点在于如何建立光流灰度置信图。首先得到代表运动趋势的光流场，以超像素作为基本单元，分别统计每个超像素内局部和全局所有超像素的主光流方向直方图，得到可能的目标区域和背景区域。然后分别假定两个区域的光流灰度值满足正态分布，采用基于最小错误率贝叶斯决策方法，自适应得到两个区域的分割阈值。根据该阈值，对光流灰度值进行动态变化，改变的趋势(增加或减少)由与阈值差值的符号来确定，改变的幅度由离阈值的距离远近决定，最终得到一个能反映真实目标运动的光流置信图，初始轮廓基于该置信图完成迭代收敛到目标边缘处。

下面结合图1所示，对本发明一种基于超像素光流场的水平集轮廓跟踪方法进行详细说明，具体包括以下步骤：

S1、基于超像素的局部和全局光流方向直方图统计

S1.1、选取图像中感兴趣区域，利用稠密光流计算法计算感兴趣区域的光流场，再利用孟塞尔颜色系统将光流场进行可视化，得到光流场彩色图像；

在本实施例中，首先对图像中感兴趣的区域计算光流场，感兴趣的区域是以目标为中心的一个邻域区域，目标的位置可以由上一帧轮廓位置决定，如果是初始帧，则可以由手动标定。

光流场的计算采用的是Sun等人提出的稠密光流计算方法，算法原理可参见：D.Q.Sun,S.Roth,M.J.Black.A Quantitative Analysis of Current Practices inOptical Flow Estimation and the Principles Behind Them.International Journalof Computer Vsions,106,pp.115-137,2014。

采用了孟塞尔颜色系统将光流场可视化，不同的颜色代表不同的运动方向，颜色的深浅则代表运动的幅度大小，即颜色越深，代表运动越快，反之越慢。如图2所示，其中，图2(a)包含目标的感兴趣区域；图2(b)是对应的光流场颜色可视化示意图，即光流场彩色图像。

S1.2、将光流场彩色图像转换成光流场灰度图；

在本实施例中，将光流场彩色图像按照如下公式转换得到光流场灰度图：I＝0.2989*R+0.5870*G+0.1140*B，其中R，G和B分别代表彩色空间三个通道的值。光流场灰度图如图2(c)所示。

S1.3、利用SLIC算法对光流场彩色图像进行超像素分割，得到多个超像素块；

由于单个像素容易受噪音的干扰，因此，本实施例采用超像素作为图像处理的基本单元。首先对光流场彩色图像采用SLIC方法(R.Achanta,A.Shaji,K.Smith andA.Lucchi.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].IEEE Trans.on Pattern Analysis and Machine Intelligence,2012,34(11):2274-2282)进行超像素分割，统计每个超像素内的光流信息作为该超像素的代表运动信息，如速度大小和方向。

S1.4、以超像素块为基本单元，先统计每个超像素块的局部主光流方向直方图：将方向区间(-180度～180度)划分成12个bin子区间，每个子区间依次增加30度，直方图的横坐标取0-360度，将落入每个方向bin子区间内的像素光流幅值进行累加作为直方图的纵坐标，归一化后得到每个超像素块的局部光流方向直方图，再在每个局部光流方向直方图中，选取幅值最大的那一个bin所在的方向和幅值作为该超像素的光流主方向；

在本实施例中，图3是超像素内部局部光流直方图示意图。其中，黑色和灰色分别代表两个超像素分割，分别对这两个超像素统计光流方向直方图，幅值最大的方向就为该超像素的主方向。如图4(a)展示了超像素的光流主方向结果，每个超像素用质心点的一个主方向代表，箭头所指的方向即为光流主方向，箭头的长短代表幅值的大小，即箭头越长，幅值越大。具有较小光流幅值的超像素则忽略不计。

接着统计所有超像素块的全局光流方向直方图：将方向区间划分成12个bin子区间，每个子区间依次增加30度，直方图的横坐标取0-360度，将落入每个方向bin子区间内的超像素块的主光流幅值进行累加求和，并作为直方图的纵坐标，得到所有超像素块的全局光流方向直方图。

最后，将所有方向bin子区间内的主光流幅值按从大到小排序，取最大幅值前70％对应的区域为目标区域，其他为背景区域，得到由目标区域和背景区域组成的二值化mask模板，再将mask模板置于光流场灰度图上，进而区分出光流场灰度图中的目标区域和背景区域；如图4(b)展示了包含了前70％最大运动幅值的目标模板，从图中可以看出，该方法计算得到的模板确实以较高的精度实现了目标和背景区域的分割。

S2、根据目标区域和背景区域的分割阈值动态调整光流灰度级

S2.1、将mask模板与光流场灰度图做点乘运算，分别得到目标区域和背景区域的光流灰度值；

S2.2、根据目标区域和背景区域的光流灰度值分别估算两个高斯分布概率密度函数，再由最小错误率贝叶斯准则，找到两个高斯分布概率密度函数的交点对应的横坐标的值，即为目标区域和背景区域的分割阈值T；

在本实施例中，假定光流灰度值服从正态分布，对目标区域灰度和背景区域的光流灰度值采用最大似然估计分别估计出正态分布的即均值和方差，两个正态分布类条件概率密度函数P(x|ω_obj)和P(x|ω_bac)曲线图如图5所示。根据贝叶斯公式，某一像素点的灰度值x属于类别ω的后验概率为由最小错误率贝叶斯准则可知，把类别决策判断为后验概率大的一类，则使总体错误率最小，即：

P(ω_obj|x)＞P(ω_bac|x),x∈ω_obj

P(ω_obj|x)＜P(ω_bac|x),x∈ω_bac

假设每个类别等先验概率的情况下，后验概率正比于类条件概率密度，即：P(ω|x)∝P(x|ω)，判别准则可以近似由下式给出：若P(x|ω_obj)＞P(x|ω_bac)，则x属于ω_obj；反之，则x属于ω_bac。这种决策的分界线是两个类条件概率密度的交点，即目标区域和背景区域的分割阈值T。如果像素点的灰度值x位于阈值T的左侧则归为目标obj类，落在右侧则归为背景bac类，距离阈值越远的那些像素点，说明它们属于某个类别的置信度越高，反之如果位于阈值近邻的像素点，则本身具有极大的不确定性。

S2.3、利用分割阈值T动态调整光流灰度级

其中，Coeffi_adjust为灰度级调整系数；sign为符号函数，x表示像素点的光流灰度值，k与σ为控制指数函数变化幅度的参数，对于分别位于阈值T两边的像素点的光流灰度值x，为了更好地逼近真实的分布，σ分别取其对应的光流场灰度图中目标区域和背景区域的方差，即：

其中，σ_obj表示目标区域高斯分布的方差，σ_bac表示背景区域高斯分布的方差；

将光流场灰度图中像素点的灰度值乘以灰度级调整系数Coeffi_adjust，得到每个像素点改变后的光流灰度值，并将灰度级改变后的光流场灰度图标记为I_adjust；在本实施例中，图6展示了根据分割阈值动态调整光流灰度级与未改变之前的对比示意图，可以看出，通过调整灰度级，目标和背景的区分度更加明显，分界处更加清晰准确。

S3、基于边缘的DRLSE模型进行水平集轮廓进化

在得到光流场灰度图I_adjust以后，采用基于边缘的DRLSE(Distance RegularizedLevel Set Evolution)模型引导水平集轮廓进化，该模型不需要重新初始化，通过构造一个距离规则化因子保证了稳定的数值解，保持了轮廓进化过程中水平集函数(带符号的距离函数)的规则化，下面进行详细说明。

S3.1、计算跟图像灰度梯度相关的边缘标记函数g：

其中，▽表示计算梯度，G_σ是标准方差为σ的高斯核函数，对灰度图I_adjust起着平滑，降低噪音的作用；在图像的边缘处，即梯度最大的地方，该函数取极小值。

S3.2、根据边缘的DRLSE模型方程进行水平集轮廓进化；

其中，φ表示水平集函数，在本实施例中，所采用的水平集函数为带符号的距离函数；μ、λ和α为常数，div是散度算子，δ_ε(φ)表示Dirac delta函数，d_p(s)定义为s表示变量；

上述方程的具体参数以及具体算法参见参考文献：C.M.Li,C.Y.Xu,C.F.Gui andM.D.Fox,Distance Regularized Level Set Evolution and Its Application to ImageSegmentation,IEEE Trans.on Image Processing,vol.19,no.12,pp.3243-3254,2010.

在给定初始轮廓后，目标轮廓就按照上述进化方程逐渐收敛得到。

实例

本实施例中个，在lemming视频序列上做了经过灰度调整与未经过灰度调整的比较实验。只考虑光流信息，将基于光流灰度调整以后的轮廓跟踪结果与未进行灰度调整的轮廓跟踪结果进行了定性的比较。实验结果如图7所示。在整个lemming序列上，我们列出了五帧实验结果，分别对应序列的第24、35、120、233和第379帧。在图7中，第一列对应的是超像素在光流彩色图上的分割结果，可以看出不同的运动方向对应着不同的颜色色度，不同的运动大小对应着不同的颜色深浅。第二列和第三列分别对应我们方法的轮廓跟踪结果以及未进行灰度调整的轮廓跟踪结果。每个结果图的右上角是跟踪结果的放大示意图。从结果可以很明显看出，我们提出的经过灰度调整后的轮廓跟踪结果比没有调整后的更加准确和鲁棒。作为常用表观特征的有效补充，融合多个特征可以使得跟踪结果更加优化。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于超像素光流场的水平集轮廓跟踪方法，其特征在于，包括以下步骤：

(1)、基于超像素的局部和全局光流方向直方图统计

(1.1)、选取图像中感兴趣区域，利用稠密光流计算法计算感兴趣区域的光流场，再利用孟塞尔颜色系统将光流场进行可视化，得到光流场彩色图像；

(1.2)、将光流场彩色图像转换成光流场灰度图；

(1.3)、利用SLIC算法对光流场彩色图像进行超像素分割，得到多个超像素块；

(1.4)、以超像素块为基本单元，先统计每个超像素块的局部主光流方向直方图，再统计所有超像素块的全局光流方向直方图，在全局光流方向直方图中，将所有方向bin子区间内的主光流幅值按从大到小排序，取最大幅值前M％对应的区域为目标区域，其他为背景区域，得到由目标区域和背景区域组成的二值化mask模板；

(2)、根据目标区域和背景区域的分割阈值动态调整光流灰度级

(2.1)、将mask模板与光流场灰度图做点乘运算，分别得到目标区域和背景区域的光流灰度值；

(2.2)、根据目标区域和背景区域的光流灰度值分别估算两个高斯分布概率密度函数，再由最小错误率贝叶斯准则，找到两个高斯分布概率密度函数的交点对应的横坐标的值，即为目标区域和背景区域的分割阈值T；

(2.3)、利用分割阈值T动态调整光流灰度级

$Coeffi\_adjust=e^{\left(sign\right(x-T\left)\frac{{(x-T)}^2}{{\mathrm{k\σ}}^2}\right)}$

其中，Coeffi_adjust为灰度级调整系数系数；sign为符号函数，x表示像素点的光流灰度值，k与σ为控制指数函数变化幅度的参数，对于分别位于阈值T两边的像素点的光流灰度值x，为了更好地逼近真实的分布，σ分别取其对应的光流场灰度图中目标区域和背景区域的方差，即：

$\mathrm{\σ}=\left\{\begin{array}{cc}{\mathrm{\σ}}_{obj}& if(x\≤T)\\ {\mathrm{\σ}}_{bac}& if(x>T)\end{array}\right.$

其中，σ_o表示目标区域高斯分布的方差，σ_bac表示背景区域高斯分布的方差；

将光流场灰度图中像素点的灰度值乘以灰度级调整系数Coeffi_adjust，得到每个像素点改变后的光流灰度值，并将灰度级改变后的光流场灰度图标记为I_adjust；

(3)、基于边缘的DRLSE模型进行水平集轮廓进化

(3.1)、计算跟图像灰度梯度相关的边缘标记函数g：

$g=\frac{1}{1+|\▿G_{\mathrm{\σ}}*I_{adjust}{|}^2}$

其中，▽表示计算梯度，G_σ是标准方差为σ的高斯核函数，对灰度图I_adjust起着平滑，降低噪音的作用；

(3.2)、根据边缘的DRLSE模型方程进行水平集轮廓进化；

$\frac{\∂\mathrm{\φ}}{\∂t}=\mathrm{\μ}div\left(d_p\right(|\▿\mathrm{\φ}|)\▿\mathrm{\φ})+{\mathrm{\λ\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)div\left(g\frac{\▿\mathrm{\φ}}{|\▿\mathrm{\φ}|}\right)+{\mathrm{\αg\δ}}_{\mathrm{\ϵ}}\left(\mathrm{\φ}\right)$

其中，φ表示水平集函数，μ、λ和α为常数，div是散度算子，δ_ε(φ)表示Dirac delta函数，d_p(s)定义为

2.根据权利要求1所述的一种基于超像素光流场的水平集轮廓跟踪方法，其特征在于，所述步骤(1.4)中，统计每个超像素块的局部主光流方向直方图的具体方法为：将方向区间划分成12个bin子区间，每个子区间依次增加30度，直方图的横坐标取0-360度，将落入每个方向bin子区间内的像素光流幅值进行累加作为直方图的纵坐标，归一化后得到每个超像素块的局部光流方向直方图，再在每个局部光流方向直方图中，选取幅值最大的那一个bin所在的方向和幅值作为该超像素的光流主方向；

统计所有超像素块的全局光流方向直方图的具体方法为：将方向区间划分成12个bin子区间，每个子区间依次增加30度，直方图的横坐标取0-360度，将落入每个方向bin子区间内的超像素块的主光流幅值进行累加求和，并作为直方图的纵坐标，得到所有超像素块的全局光流方向直方图。