CN109448019B - 一种变分光流模型平滑参数的自适应方法 - Google Patents

Abstract

本发明公开了一种变分光流模型平滑参数的自适应方法，包括步骤：1)应用SLIC算法进行图像序列的超像素分割；2)分别计算每个超像素区域的图像品质参数，包括对比度、分辨率及图像信噪比；3)利用图像品质参数值及sigmoid函数计算每个超像素区域的变分光流模型平滑参数。通过本发明可以有效提高同一图像序列中不同图像区域的平滑参数契合度，进一步提高了变分光流模型算法准确率。

Description

一种变分光流模型平滑参数的自适应方法

技术领域

本发明涉及图像处理算法研究及运动目标检测与分割算法研究的技术领域，尤其是指一种变分光流模型平滑参数的自适应方法。

背景技术

运动目标检测与分割是动态场景分析中的核心问题,它被广泛应用于运动分割、目标跟踪和视频监控等实际应用中。光流法是其中应用最广的方法之一,它旨在估计两幅邻近图像中的每个图像像素点的空间位移。

变分光流算法是当前最流行的光流法之一，如何提高变分光流算法的精确性是变分光流运动估计技术的核心，也是推动变分光流技术不断向前发展的内在动力。数据项、平滑项以及平滑权重因子λ作为3个独立又相互影响的要素构成了变分光流模型最基本的框架。为了提高变分光流算法的精确性，研究者们围绕对数据项和平滑项的改进展开了大量的研究。各种鲁棒函数，处理大位移的方法，增强数据项抗噪声干扰、抗光照变化的技术，减少平滑项对边缘模糊的策略、增强平滑项的噪声处理能力的滤波技术等如雨后春笋般涌现。但是却很少有研究者关注如何选取合适的平滑权重因子λ。平滑权重因子λ作为维持数据项与平滑项两者之间平衡的纽带，直接影响着光流算法的最终结果。因此如何动态选取最优平滑权重因子λ是改善变分光流技术性能的关键方法之一。

然而现有的平滑参数自动选取技术存在着或多或少的缺陷-要不计算复杂，要不被限定于某些特定的状态，实用性差。而且以前的研究中，平滑参数在整幅图像中都是固定不变的。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种变分光流模型平滑参数的自适应方法，可以根据不同图像区域的内容特征自适应调整变分光流模型平滑参数。

为实现上述目的，本发明所提供的技术方案为：一种变分光流模型平滑参数的自适应方法，该方法主要是通过量化的图像品质参数值为一个图像序列中的不同图像区域自适应分配不同的变分光流模型平滑参数，包括以下步骤：

1)选用超像素算法进行图像分割；

2)计算每个超像素区域的图像品质参数；

3)利用图像品质参数值计算每个超像素区域的变分光流模型平滑参数。

在步骤1)中，选用简单线性迭代聚类SLIC的超像素分割算法，具体如下：

超像素分割是一种局部聚类技术，它把图像中局部区域内包含了相同或相似特征的像素点聚类到同一个子区域中，进而，图像被分割成若干个特征相同或相似的子区域；子区域的形状、大小及个数由分割策略及其相关参数决定；简单线性迭代聚类技术SLIC是一种常用的超像素分割技术，因其只需要设定一个唯一的参数，即子区域的个数，且仅通过简单的计算，就能输出均匀的、致密的超像素，被广泛应用于各种图像分割中；

应用SLIC策略，在(R,G,B,x,y)五维空间中对光流向量进行聚类，聚类后，局部区域内，相同或者相似的颜色空间被划分到同一个超像素区域中，具体的聚类步骤如下：

设颜色被划分为K个相同尺寸的超像素区域，N表示图像的像素点个数，则每个颜色空间包含N/K个像素点，那么相邻超像素区域中心的间隔为

进而得到K个颜色空间中心，在五维坐标下，该中心的坐标点设为：C_a＝[R_a,G_a,B_a,x_a,y_a]^T，其中，a∈[1,K]，任何超像素的空间延伸为s²，认为属于该超像素的点分布在以该超像素为中心的2s×2s范围内；在此范围内搜索属于该超像素区域的像素点，通过计算邻域内的像素点与中心点的欧氏距离来判断邻域点是否属于该中心点的超像素区域，聚类公式如下：

其中，d_RGB表示颜色差值；R_i，G_i，B_i为中心点邻域内某个点的颜色值；R_a，G_a，B_a为某个超像素区域中心点颜色值；d_xy为空间距离；(x_a,y_a)为中心点坐标，(x_i,y_i)为邻域点坐标；空间距离的权重与超像素区域的尺寸有关，超像素区域的尺寸越大，则空间距离的权重越低，而颜色差值并不受该参数影响，因而，必须把颜色差值d_RGB及空间距离d_xy分开来计算，在空间距离项增加权重

其中，m为补偿系数，用于控制超像素区域的紧密度，m越大，空间距离所占权重也就越大，图像也越紧密；m越小，则颜色差值所占比重越大，图像中同一超像素的颜色值越接近；D_s为光流差值与归一化后的空间距离之和,该值被用于判断某个像素点属于哪个超像素区域；

SLIC的具体实施过程如下：

1.1)以相邻超像素区域中心的间隔s初始化聚类中心：C_a＝[R_a,G_a,B_a,x_a,y_a]；

1.2)在初始聚类中心的5×5邻域内，寻找最低梯度的位置，以此确定新的聚类中心，这样做能够避免聚类中心为边缘点或者噪音点；

1.3)对于每个新的聚类中心C_a，在中心点的2s×2s邻域内，按上面公式(1)、(2)、(3)，寻找与该聚类中心相差达到要求的像素点，找够N/K个，再使用这些像素点计算新的聚类中心；

1.4)每次得到聚类中心后都计算残差误差

若该误差大于阈值则返回步骤1.2)，若该误差小于阈值，则结束。

在步骤2)中，图像品质参数的计算方法如下：

根据变分光流模型所需求的图像特征，选取对比度S₁、分辨率S₂、图像信噪比S₃相结合的方法计算每个超像素区域中的图像品质参数Pz，具体如下：

①对比度

图像对比度代表像素点像素值之间的差异程度，其值越大，图像品质越好；

通过计算某个超像素区域中某个像素点像素值的均方根差分来获得：

其中，N代表该超像素区域中所包含的像素点个数，p_b代表像素点灰度值，

代表区域中像素点平均值；

当单个像素点亮度值与平均亮度值相差大于40，则人眼已经能很好地区分图像内容，而差值再大也并不会引起图像品质的变化，故此，图像对比度按

如下公式计算：

②分辨率

图像由一个个像素点构成，分辨率即图像中单位面积内包含像素点的个数，分辨率参数计算方法如下：

首先，将图像变换为统一尺寸，再计算单位面积内像素点的个数N_m，NM代表单位面积内像素点的最大个数；

③信噪比

图像信噪比为邻域内图像梯度的均值与方差的比值，表征邻域像素点像素值的变化程度，用分贝数表示，目标点邻域内像素点像素值变化越频繁，则该目标点的信噪比越小，反之越大，同时信噪比表征信息噪声的比率，信噪比越大，噪声越小，故而，信噪比越大，则图像品质越好；

图像信噪比的计算过程如下：

令图像亮度函数I(i,j,t)的梯度向量为：

其中：

I_t＝|I(i,j,t)-I(i,j,t-1)| (9)

则像素点(i,j,t)的亮度梯度值为：

设μ为以(i,j,t)为中心点的11×11窗口区域内的

的均值，δ为对应的标准差，则该点的信噪比为：

则：

其中，SNR_max代表图像信噪比的阈值；

进而，得到品质参数：

Pz＝weight₁S₁+weight₂S₂+weight₃S₃ (13)

其中，weight₁、weight₂、weight₃代表品质参数的权值，且weight₁+weight₂+weight₃＝1。

在步骤3)中，通过以下方法计算平滑参数：

在大多数变分光流模型中，平滑参数λ的取值范围为：[0，30]，通过大量实验发现，平滑参数λ与图像品质参数Pz成sigmoid函数，且品质参数越小，则平滑参数越大，综上可得平滑参数的具体计算公式：

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明新颖地将图像品质参数用于光流模型的平滑参数计算中，根据光流算法的特点，选取图像对比度、分辨率及信噪比计算图像品质参数。

2、本发明新颖地采用sigmoid函数，通过图像品质参数计算平滑参数。

3、本发明针对不同的图像区域分配不同的平滑参数，以往的方法在整幅图像中都采用同一个平滑参数。

附图说明

图1为本发明方法流程图。

图2a为采集到的图像序列示意图之一。

图2b为采集到的图像序列示意图之二。

图3a为SLIC图像分割示意图(K＝200)。

图3b为SLIC图像分割示意图(K＝2000)。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的变分光流模型平滑参数的自适应方法，主要是通过分析不同超像素区域的图像品质参数来计算该区域平滑参数，包括以下步骤：

1)选用简单线性迭代聚类(SLIC)的超像素分割算法进行图像分割，具体如下：

超像素分割是一种局部聚类技术，它把图像中局部区域内包含了相同或相似特征的像素点聚类到同一个子区域中，进而，图像被分割成若干个特征相同或相似的子区域。子区域的形状、大小及个数由分割策略及其相关参数决定。简单线性迭代聚类技术(SLIC)是一种常用的超像素分割技术，因其只需要设定一个唯一的参数(子区域的个数)，且仅通过简单的计算，就能输出均匀的、致密的超像素，被广泛应用于各种图像分割中。

本文应用SLIC策略，在(R,G,B,x,y)五维空间中对光流向量进行聚类，聚类后，局部区域内，相同或者相似的颜色空间被划分到同一个超像素区域中。具体的聚类步骤如下：

设颜色被划分为K个大致相同尺寸的超像素区域，N表示该图像的像素点个数，则每个颜色空间大致包含N/K个像素点，那么相邻超像素区域中心的间隔为

进而，可得到K个颜色空间中心，在五维坐标下，该中心的坐标点可设为：C_a＝[R_a,G_a,B_a,x_a,y_a]^T，其中，a∈[1,K],任何超像素的空间延伸大致为s²，可认为属于该超像素的点分布在以该超像素为中心的2s×2s范围内。我们在此范围内搜索属于该超像素区域的像素点。通过计算邻域内的像素点与中心点的欧氏距离来判断该邻域点是否属于该中心点的超像素区域。聚类公式如下：

其中，d_RGB表示颜色差值；R_i，G_i，B_i为中心点邻域内某个点的颜色值；R_a，G_a，B_a为某个超像素区域中心点颜色值；d_xy为空间距离；(x_a,y_a)为中心点坐标，(x_i,y_i)为邻域点坐标。空间距离的权重与超像素区域的尺寸有关，超像素区域的尺寸越大，则空间距离的权重越低，而颜色差值并不受该参数影响。因而，必须把颜色差值d_RGB及空间距离d_xy分开来计算，在空间距离项增加权重

其中，m为补偿系数，用于控制超像素区域的紧密度，m越大，空间距离所占权重也就越大，图像也越紧密；m越小，则颜色差值所占比重越大，图像中同一超像素的颜色值越接近。本文选择m＝10，这个取值能提供光流值相似性及空间一致性的一个很好地平衡。D_s为光流差值与归一化后的空间距离之和,该值被用于判断某个像素点属于哪个超像素区域。

SLIC的具体实施过程如下：

1.1)以相邻超像素区域中心的间隔s初始化聚类中心：C_a＝[R_a,G_a,B_a,x_a,y_a]；

1.2)在初始聚类中心的5×5邻域内，寻找最低梯度的位置，以此确定新的聚类中心，这样做可以避免聚类中心为边缘点或者噪音点；

1.3)对于每个新的聚类中心C_a，在中心点的2s×2s邻域内，按公式(1)、(2)、(3)，寻找与该聚类中心相差很小的像素点，找够N/K个。再使用这些像素点计算新的聚类中心。

1.4)每次得到聚类中心后都计算残差误差

若该误差大于阈值，则返回步骤1.2)，若该误差小于阈值，则结束。

2)计算每个超像素区域的图像品质参数，具体如下：

采用对比度、分辨率及图像信噪比相结合的方法计算图像品质参数。

根据变分光流模型所需求的图像特征，本文选取对比度S₁、分辨率S₂、图像信噪比S₃相结合的方法计算每个超像素区域中的图像品质参数Pz。

①对比度

图像对比度代表像素点像素值之间的差异程度，其值越大，图像品质越好；通过计算某个超像素区域中某个像素点像素值的均方根差分来获得：

其中，N代表该超像素区域中所包含的像素点个数，p_b代表像素点灰度值，

代表区域中像素点平均值。

当单个像素点亮度值与平均亮度值相差大于M_max，则人眼已经能很好地区分图像内容，而差值再大也并不会引起图像品质的变化，故此，图像对比度可按如下公式计算：

②分辨率

图像由一个个像素点构成，分辨率即图像中单位面积内包含像素点的个数。如一张100*100像素的图像，代表它的长、宽都是由100个像素点构成，则该图像的总像素点为10000。本文的分辨率参数计算方法如下：

首先，将图像变换为统一尺寸，再计算单位面积内像素点的个数Nm，NM代表单位面积内像素点的最大个数。

③信噪比

图像信噪比为邻域内图像梯度的均值与方差的比值，表征邻域像素点像素值的变化程度，用分贝数表示。目标点邻域内像素点像素值变化越频繁，则该目标点的信噪比越小，反之越大，同时信噪比可表征信息噪声的比率，信噪比越大，噪声越小，故而，信噪比越大，则图像品质越好。

图像信噪比的计算过程如下：

令图像亮度函数I(i,j,t)的梯度向量为：

其中：

I_t＝|I(i,j,t)-I(i,j,t-1)| (9)

则像素点(i,j,t)的亮度梯度值为：

设μ为以(i,j,t)为中心点的11*11窗口区域内的

的均值,δ为对应的标准差。则该点的信噪比为：

则：

其中，SNR_max代表图像信噪比的阈值。

进而，得到本文的品质参数：

Pz＝weight₁S₁+weight₂S₂+weight₃S₃ (13)

其中，weight₁、weight₂、weight₃代表品质参数的权值，且weight₁+weight₂+weight₃＝1。

3)利用图像品质参数值计算每个超像素区域的变分光流模型平滑参数，具体如下：

通过以外研究也可以发现，平滑参数的选取跟图像品质有关，在光照均衡、清晰度高，对比度强的图像中，应该选用数值较小的λ；反之在光照不足，对比度低，模糊的图像中应该选用数值较大的λ。基于上述思路的启发，本文提出一种基于图像品质参数的自适应变分光流模型的平滑参数的方法。本文的平滑参数计算方法如下：

首先，将图像序列分割中若干个超像素区域；其次以超像素区域为范围计算图像品质参数，接着通过图像品质参数计算平滑参数λ。在大多数变分光流模型中，平滑参数λ的取值范围为：[0,30]。通过大量实验发现，平滑参数λ与图像品质参数Pz成sigmoid函数，且品质参数越小，则平滑参数越大，综上可得平滑参数的具体计算公式：

本文方法所用编程语言为matlab，仿真平台为Matlab 7.0，计算机平台为win 7，intel 3.3GHZ，16GB内存，所用的实验数据库为从一段手扶电梯监控视频中获取的一段户外实时图像序列，采样间隔为5帧。

输入图像序列如图2a和2b所示，对图像采用SLIC算法进行超像素区域分割。SLIC算法只需要设定区域的个数K，就能将图像分割成面积相似的K个区域。图3a和3b为将图像分割成200个区域及将图像分割成2000个区域的效果图。进而，针对每个超像素区域计算图像品质参数。

计算图像对比度时，选取M_max＝40；在整个图像序列中，图像分辨率都是不会发生变化，因而取固定值S₂＝40；计算图像信噪比时，取SNR_max＝100。计算图像品质值时，选取weight₁＝0.5，weight₂＝0.1，weight₃＝0.4。接着，按公式(13)计算平滑参数λ。通过本发明可以有效提高同一图像序列中不同图像区域的平滑参数契合度，进一步提高了变分光流模型算法准确率。

以上所述实施例只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (2)

1.一种变分光流模型平滑参数的自适应方法，其特征在于：该方法主要是通过量化的图像品质参数值为一个图像序列中的不同图像区域自适应匹配不同的变分光流模型平滑参数，包括以下步骤：

1)选用超像素算法进行图像分割；其中，选用简单线性迭代聚类SLIC的超像素分割算法，具体如下：

超像素分割是一种局部聚类技术，它把图像中局部区域内包含了相同或相似特征的像素点聚类到同一个子区域中，进而，图像被分割成若干个特征相同或相似的子区域；子区域的形状、大小及个数由分割策略及其相关参数决定；

应用SLIC策略，在(R,G,B,x,y)五维空间中对光流向量进行聚类，聚类后，局部区域内，相同或者相似的颜色空间被划分到同一个超像素区域中，具体的聚类步骤如下：

设颜色被划分为K个相同尺寸的超像素区域，N表示图像的像素点个数，则每个颜色空间包含N/K个像素点，那么相邻超像素区域中心的间隔为

进而得到K个颜色空间中心，在五维坐标下，该中心的坐标点设为：C_a＝[R_a,G_a,B_a,x_a,y_a]^T，其中，a∈[1,K],任何超像素的空间延伸为s²，认为属于该超像素的点分布在以该超像素为中心的2s×2s范围内；在此范围内搜索属于该超像素区域的像素点，通过计算邻域内的像素点与中心点的欧氏距离来判断邻域点是否属于该中心点的超像素区域，聚类公式如下：

其中，d_RGB表示颜色差值；R_i，G_i，B_i为中心点邻域内某个点的颜色值；R_a，G_a，B_a为某个超像素区域中心点颜色值；d_xy为空间距离；(x_a,y_a)为中心点坐标，(x_i,y_i)为邻域点坐标；空间距离的权重与超像素区域的尺寸有关，超像素区域的尺寸越大，则空间距离的权重越低，而颜色差值并不受该参数影响，因而，必须把颜色差值d_RGB及空间距离d_xy分开来计算，在空间距离项增加权重

其中，m为补偿系数，用于控制超像素区域的紧密度，m越大，空间距离所占权重也就越大，图像也越紧密；m越小，则颜色差值所占比重越大，图像中同一超像素的颜色值越接近；D_s为光流差值与归一化后的空间距离之和,该值被用于判断某个像素点属于哪个超像素区域；

SLIC的具体实施过程如下：

1.1)以相邻超像素区域中心的间隔s初始化聚类中心：C_a＝[R_a,G_a,B_a,x_a,y_a]；

1.2)在初始聚类中心的5×5邻域内，寻找最低梯度的位置，以此确定新的聚类中心，这样做能够避免聚类中心为边缘点或者噪音点；

1.3)对于每个新的聚类中心C_a，在中心点的2s×2s邻域内，按上面公式(1)、(2)、(3)，寻找与该聚类中心相差达到要求的像素点，找够N/K个，再使用这些像素点计算新的聚类中心；

1.4)每次得到聚类中心后都计算残差误差|

若该误差大于阈值则返回步骤1.2)，若该误差小于阈值，则结束；

2)计算每个超像素区域的图像品质参数；其中，图像品质参数的计算方法如下：

根据变分光流模型所需求的图像特征，选取对比度S₁、分辨率S₂、图像信噪比S₃相结合的方法计算每个超像素区域中的图像品质参数Pz，具体如下：

①对比度

图像对比度代表像素点像素值之间的差异程度，其值越大，图像品质越好；通过计算某个超像素区域中某个像素点像素值的均方根差分来获得：

其中，N代表该超像素区域中所包含的像素点个数，p_b代表像素点灰度值，

代表区域中像素点平均值；

当单个像素点亮度值与平均亮度值相差大于40，则人眼已经能很好地区分图像内容，而差值再大也并不会引起图像品质的变化，故此，图像对比度按如下公式计算：

②分辨率

图像由一个个像素点构成，分辨率即图像中单位面积内包含像素点的个数，分辨率参数计算方法如下：

首先，将图像变换为统一尺寸，再计算单位面积内像素点的个数N_m，NM代表单位面积内像素点的最大个数；

③信噪比

图像信噪比为邻域内图像梯度的均值与方差的比值，表征邻域像素点像素值的变化程度，用分贝数表示，目标点邻域内像素点像素值变化越频繁，则该目标点的信噪比越小，反之越大，同时信噪比表征信息噪声的比率，信噪比越大，噪声越小，故而，信噪比越大，则图像品质越好；

图像信噪比的计算过程如下：

令图像亮度函数I(i，j，t)的梯度向量为：

其中：

I_t＝|I(i，j，t)-I(i，j，t-1)| (9)

则像素点(i，j，t)的亮度梯度值为：

设μ为以(i，j,t)为中心点的11×11窗口区域内的||

的均值，δ为对应的标准差，则该点的信噪比为：

则：

其中，SNR_max代表图像信噪比的阈值；

进而，得到品质参数：

Pz＝weight₁S₁+weight₂S₂+weight₃S₃ (13)

其中，weight₁、weight₂、weight₃代表品质参数的权值，且weight₁+weight₂+weight₃＝1；

3)利用图像品质参数值计算每个超像素区域的变分光流模型的平滑参数。

2.根据权利要求1所述的一种变分光流模型平滑参数的自适应方法，其特征在于，在步骤3)中，通过以下方法计算平滑参数：

在大多数变分光流模型中，平滑参数λ的取值范围为：[0,30]，通过大量实验发现，平滑参数λ与图像品质参数Pz成sigmoid函数，且品质参数越小，则平滑参数越大，综上可得平滑参数的具体计算公式：

Images