CN110264417B - 基于分层模型的局部运动模糊区域自动检测提取方法 - Google Patents

Abstract

本发明公开了一种基于分层模型的局部运动模糊区域自动检测提取方法，先输入一幅大小为M×N的模糊图像，用滑动窗口对图像分块并利用频率域模糊度衡量算法对模糊图像按块计算出其对应的模糊区域映射图m(x,y)；再对其进行二值化阈值处理，得到初步模糊检测图像；再分别对初步模糊检测图像中的模糊区域与清晰区域进行腐蚀、膨胀处理，得到对应的前景、背景映射图；再利用前景、背景映射图对原始模糊图像进行标记，得到模糊图像所对应的trimap图；后利用k近邻抠图算法实现模糊区域的精确检测，得到模糊图像所对应的alpha图；后利用得到的alpha图提取出模糊图像所对应的模糊区域以及清晰区域。本发明为分层局部运动模糊图像复原方法提供了一种有效的预处理方法。

Description

基于分层模型的局部运动模糊区域自动检测提取方法

技术领域

本发明属于局部运动模糊区域提取图像处理技术领域，具体涉及一种基于分层模型的局部运动模糊区域自动检测提取方法。

背景技术

近年来，运动模糊图像复原技术成为图像复原技术研究的重要课题之一。

在采集图像信息过程中，相机抖动或者拍摄场景中存在运动目标均会产生运动模糊图像，严重影响了获取到的图像的质量。对于运动模糊图像的复原可以实现图像细节的恢复，从而获取更高分辨率的图像信息。这对于很多图像处理任务来说具有十分重要的现实意义。

然而目前大多数已有的运动模糊图像的盲复原研究主要集中在假设对整幅图像只存在一个模糊核的全局运动模糊图像进行操作，在这种假设下的去模糊被称作单核复原模型。整幅图像一致性模糊的假设是将运动模糊限定为相机运动导致的全局一致性运动模糊。但是在现实场景中更多的是由于拍摄场景中存在运动物体而导致的图像局部运动模糊。对局部运动模糊图像而言，图像中有一部分是呈模糊状态的，一部分是呈清晰状态的。所以此类图像模糊属于非一致性运动模糊。若利用单核模型对其进行复原，将会导致严重的振铃效应，图像降质严重。同时对此类模糊图像也可以采用多核模型进行复原，但是这会带来复杂的模型与运算。局部运动模糊图像的去模糊算法一般依赖于多帧图像，即使部分算法只需利用单帧图像进行去模糊，这也是建立在假设运动模糊图像是由匀速直线运动模糊导致的模糊图像，这往往缺乏普遍性与一般性。

因此，从局部运动模糊图像中快速且有效地检测提取出清晰和模糊区域，对于分层局部运动模糊图像复原方法是一个非常重要的预处理步骤。

发明内容

本发明的目的是提供一种基于分层模型的局部运动模糊区域自动检测提取方法，为分层局部运动模糊图像复原方法提供了一种有效的预处理方法。

本发明所采用的技术方案是，基于分层模型的局部运动模糊区域提取方法，其特征在于，包括以下步骤：

步骤1：输入一幅大小为M×N的模糊图像f(x,y)，用滑动窗口的方式对图像分块并利用频率域模糊度衡量算法对模糊图像按块计算出其对应的模糊区域映射图m(x,y)；

步骤2：利用Otsu算法对步骤1的映射图m(x,y)计算二值化阈值，然后根据阈值对映射图m(x,y)进行二值化处理，得到初步模糊检测图像d1(x,y)；

步骤3：对初步模糊检测图像d1(x,y)进行二值图像去噪操作，得到更加精确的模糊区域初步检测图d2(x,y)；

步骤4：分别采用腐蚀、膨胀算法对步骤3得到的检测图d2(x,y)中的模糊、清晰区域进行处理，得到对应的前景、背景映射图fg(x,y)、bg(x,y)；

步骤5：利用步骤4得到的前景、背景映射图fg(x,y)、bg(x,y)对模糊图像f(x,y)进行标记，得到模糊图像f(x,y)所对应的trimap三分图t(x,y)；

步骤6：利用步骤5得到的trimap三分图t(x,y)以及模糊图像f(x,y)，调用k近邻抠图算法实现模糊区域的精确检测，得到模糊图像f(x,y)所对应的alpha图a(x,y)；

步骤7：利用步骤6得到的alpha图a(x,y)提取出模糊图像f(x,y)所对应的模糊区域以及清晰区域。

本发明的特点还在于：

步骤1中的具体过程如下：

步骤1.1：把按照滑动窗口方式对图像f(x,y)进行分块得到的大小为k×k的图像块记为图像I(x,y)，利用如下公式对图像I(x,y)做傅里叶变换得到F：

其中，(x,y)表示空间变量，(u,v)表示频率域变量；

步骤1.2：利用如下公式把F的原点移到图像中心(u₀,v₀)得到Fc：

步骤1.3：假设Fc(u,v)＝a+bj，利用如下公式计算AF＝|Fc|，其中AF为图像I的中心傅里叶变换的模：

步骤1.4：统计AF中像素值大于0的像素个数，记为th；

步骤1.5：由如下公式计算图像模糊度(FM)：

图像模糊度

式中，th表示图像块中心傅里叶变换的模中非零值的个数，k表示图像块的行、列数。

步骤2中二值化处理过程如下：对于图像I(x,y)将前景与背景的分割阈值设为t；将属于前景的像素点的个数占整个图像总像素数的比例设为w₀，其像素均值设为u₀；将属于背景的像素点的个数占整个图像总像素数的比例设为w₁，其像素均值设为u₁；将整幅图像的像素均值记为u；

则按照公式迭代求解二值化阈值t_opt：

t_opt＝max(w₀(t)×(u₀(t)-u)²+w₁(t)×(u₁(t)-u)²)。

步骤6中模糊图像f(x,y)所对应的alpha图a(x,y)的具体过程如下：

步骤6.1：计算特征向量，给定像素i的特征向量定义如公式所示：

X(i)＝(cos(h),sin(h),s,v,x,y)

其中，h,s,v分别是HSV颜色空间的坐标值，(x,y)是像素i的空间坐标；

步骤6.2：按照如下公式计算内核函数：

其中，C是权值调节系数，保证k(i,j)∈[0,1],||X(i)-X(j)||是1范数，即两向量差的绝对值之和；

步骤6.3：按照如下公式求解拉普拉斯矩阵：

L＝D-A

其中，相似矩阵A_ij＝k(i,j)，对角矩阵

步骤6.4：按照如下公式求解trimap图中的未知α值：

α＝(L+λD)^-1(λv)

其中，L表示步骤3中得到拉普拉斯矩阵，D为一个二值化矩阵表示trimap图中标记出的前景，v为一个二值化矩阵表示trimap图中标记出的背景；

步骤6.5：按照求解出的α值对trimap图中的未知α值区域进行标记，得到alpha图。

本发明的有益效果是，本发明对局部运动模糊区域的自动检测提取提供了一个简洁、有效的方法。与现有检测提取方法相比，不仅没有进行过多的模糊特征提取增加计算量；同时把局部运动模糊图像看成前景和背景两层，通过对现有清晰图像抠图算法的改进，使得局部模糊区域的边缘检测更加准确，从而进一步使得我们提取到的模糊区域以及清晰区域比较准确。基于以上两点，采用本方法作为预处理步骤，进而进行的局部运动模糊图像复原工作将有望获得更好的复原效果。

附图说明

图1是本发明基于分层模型的局部运动模糊区域自动检测提取方法的流程图；

图2是实施例输入的一个模糊图像；

图3是在图2模糊图像的频率域上估计的模糊度映射图；

图4是对图3进行自动阈值二值化处理后得到的初步模糊检测图；

图5是对图4所对应的清晰区域进行腐蚀、膨胀后得到的前景映射图；

图6是对图4所对应的模糊区域进行膨胀、腐蚀后得到的背景映射图

图7是根据图5、6对图2进行标记后得到的trimap图；

图8是根据图7对图2利用改进后的knn-matting算法处理得到的alpha图；

图9是使用图8从图2中提取出的清晰区域；

图10是使用图8从图2中提取出的模糊区域；

图11是实施例输入的另一个模糊图像；

图12是在图11模糊图像的频率域上估计的模糊度映射图；

图13是对图12进行自动阈值二值化处理后得到的初步模糊检测图；

图14是对图13消除细小空洞后得到的初步模糊检测图；

图15是对图14消除错分区域，保留特定连通区域后得到的初步模糊检测图；

图16是对图15所对应的清晰区域进行腐蚀、膨胀后得到的前景映射图；

图17是对图15所对应的模糊区域进行膨胀、腐蚀后得到的背景映射图；

图18是根据图16、17对图11进行标记后得到的trimap图；

图19是根据图18对图11利用改进后的knn-matting算法处理得到的alpha图；

图20是使用图19从图11中提取出的清晰区域；

图21是使用图19从图11中提取出的模糊区域。

具体实施方式

下面结合附图和具体实施方式对本发明作详细说明。

本发明的基于分层模型的局部运动模糊区域自动检测提取方法，第一部分是按照滑动窗口的方式对图像进行分块，同时在频率域上估计图像块的模糊度作为图像对应像素点的模糊强度，从而得到模糊图像所对应的模糊度映射图；然后对模糊度映射图进行自动阈值二值化处理得到初步模糊检测结果；再对初步模糊检测结果进行一定的形态学处理最终得到模糊图像所对应的trimap图。第二部分是运用第一部分得到的trimap图，借助改进后的自然图像抠图算法对模糊区域的边缘模糊度进行准确估计，进而得到模糊图像所对应的alpha图，最终借助alpha图实现模糊区域的准确提取。

如图1所示，具体按照以下步骤实施：

步骤1，输入模糊图像f(x,y)，如图2、11所示，图2的大小为640×457，图11的大小为640×412。把图2、11分别按照大小为21×21，步长为1滑动窗口的方式进行分块(滑窗分块示意图如图21所示)，分别形成(640-21+1)×(457-21+1)、(640-21+1)×(457-21+1)个图像块，然后对每个图像块按照如下所示步骤求解模糊度：

输入：大小为k×k的图像块I(x,y)。

输出：图像质量评估(FM)，其中FM代表频率域图像模糊度评估值。

步骤1.1：利用公式1对图像I做傅里叶变换得到F。

其中，(x,y)表示空间变量，(u,v)表示频率域变量。

步骤1.2：利用公式2把F的原点移到图像中心(u₀,v₀)得到Fc。

步骤1.3：假设Fc(u,v)＝a+bj，利用公式3计算AF＝|Fc|，其中AF为图像I的中心傅里叶变换的模。

步骤1.4：统计AF中像素值大于0的像素个数，记为th。

步骤1.5：由公式4计算图像模糊度(FM)。

图像模糊度

最终，我们分别得到图像2、11所对应的大小为(640-21+1)×(457-21+1)、(640-21+1)×(457-21+1)的模糊度映射图。然后我们按照行数和列数均为(21-1)/2的填充规模，通过复制外边界中像素值的方式，把我们得到的图像2、11的模糊度映射图扩充成与原图像大小一致的矩阵，这样我们就得到了与图2、11所对应的同样大小的模糊度映射图，如图3、12所示。

步骤2：在估计出模糊度映射图的基础上，借助现有的Otsu算法可以估计出二值化阈值；根据二值化阈值分别对图3、12进行二值化处理得到图2、11所对应的初始模糊检测的结果，如图4、13所示。

Otsu算法又称为最大类间方差法。利用Otsu算法计算图像的最佳二值化阈值的具体步骤如下：

输入：大小为M×N的图像I(x,y).

输出：图像的最佳二值化阈值t_opt.

步骤2中二值化处理过程如下：对于图像I(x,y)将前景与背景的分割阈值设为t；将属于前景的像素点的个数占整个图像总像素数的比例设为w₀，其像素均值设为u₀；将属于背景的像素点的个数占整个图像总像素数的比例设为w₁，其像素均值设为u₁；将整幅图像的像素均值记为u；按照公式5迭代求解最佳二值化阈值t_opt：

t_opt＝max(w₀(t)×(u₀(t)-u)²+w₁(t)×(u₁(t)-u)²) (5)

步骤3：可以看出图13中存在一些小的空洞以及一些明显的错分区域。对于类似这一类的初步模糊检测结果，需要采用一系列的方法对其进行一定的调整。以图13为例，首先借助一个半径为5的圆盘型结构元素对图13做闭操作来消除图像中的小空洞，处理结果如图14所示；其次对于模糊检测而言图14中的一些小的白色块属于错分区域，可以通过先求解出图像中的各个连通区域，然后再有针对性的只保留指定连通区域，从而达到消除错分区域的效果，处理结果如图15所示。

步骤4：获取到初始模糊检测结果后，需要借助数字图像抠图技术实现模糊区域求精。数字图像抠图技术是把一幅图像看成前景与背景两层，然后把图像的前景层从图像中分离出来的一种技术。

在自然图像抠图中,认为图像上每一点的颜色都由前景颜色和背景颜色组合而成，其中前景层颜色所占的比重称为该点的alpha因子.1984年,Porter和Duff:给出了颜色组合方程:

I＝αF+(1-α)B (6)

在抠图问题中(6)式中的I、F和B分别表示图像上一点的合成色、前景色和背景色,α是该点的alpha值。确定前景层的alpha值为1，确定背景层的alpha值为0，前景背景重合部分的alpha值介于0到1之间。要实现图像抠图就是要在已知I的情况下求解F、B、α。

按照数字图像抠图算法的理论我们可以把局部运动模糊图像看成由模糊前景层和清晰背景层，或者是由模糊背景层和清晰前景层组合而成的分层图像。可以把公式(6)看成局部运动模糊图像的分层模型。在获取到初始模糊检测的情况下，要实现模糊区域求精，其实就是在公式(2)中已知I和部分F、B、alpha值的前提条件下，求解剩余的一小部分未知的F、B、alpha值的过程。

采用腐蚀和膨胀算法分别对图4、15中的模糊区域与清晰区域进行处理，即可获得一个确定的前景映射层以及一个确定的背景映射层。分别得到图2、11对应的前景、背景映射图，如图5、6、16、17所示。

步骤5：利用步骤4得到的前景、背景映射图5、6对待处理模糊图像图2进行标记，利用图16、17对待处理模糊图像图11进行标记，分别得到图2、11所对应的trimap图，如图7、18所示。

trimap图在一部分数字图像抠图方法中是需要用户手动标定的，主要用来表示可以降低公式(6)病态性的一些已知信息。然而本发明中我们先将初始模糊检测结果转换成trimap图以此来代替用户手动标定trimap图这一步骤，然后再进一步借助改进的数字图像抠图技术实现模糊区域求精，从而实现了局部运动模糊区域的自动检测。

以图2为例，获得trimap图的具体实施步骤为：同时遍历图5、6中的所有像素，如果图5中对应的像素值为0，则把图2中对应坐标位置的像素值设置为255；又或者图6中对应的像素值为0，则把图2中对应坐标位置的像素值设置为0；如果对于指定坐标位置而言，图5、6中对应的像素值均不为零，则把图2中对应坐标位置的像素值设置为127。最终，把由图2得到的标记图记为图7。(注：原模糊图像2为RGB图像，所以在标记时，应该同时给三个通道的像素值赋值，比如：赋值127时，应同时将图像三通道的像素值均设置为127。)在trimap图中，我们把已知前景区域、背景区域像素值分别设置成了255和0，255、0大致可以代表图像的alpha值—255对应于1代表前景部分，0对应于0代表背景部分；剩余区域的像素值设置成了127，代表着不确定区域，即待求解区域。我们调用抠图算法，就是要借助已知的trimap图以及原图来求解待定区域的alpha值。

步骤6：利用步骤5得到的trimap图7、18以及原模糊图像2、11，调用k近邻抠图算法求解出图2、11所对应的alpha图，分别如图8、19所示。

利用k近邻抠图算法求解alpha图的具体步骤如下：

输入：大小为M×N的图像I(x,y)，以及对应的trimap图t(x,y).

输出：图像I(x,y)对应的alpha图a(x,y).

步骤6.1：计算特征向量，给定像素i的特征向量定义如公式7所示：

X(i)＝(cos(h),sin(h),s,v,x,y). (7)

其中，h,s,v分别是HSV颜色空间的坐标值，(x,y)是像素i的空间坐标。

步骤6.2：按照公式8计算内核函数.

其中，C是权值调节系数，保证k(i,j)∈[0,1],||X(i)-X(j)||是1范数，即两向量差的绝对值之和。

步骤6.3：按照公式9求解拉普拉斯矩阵.

L＝D-A (9)

其中，相似矩阵A_ij＝k(i,j)，对角矩阵

步骤6.4：按照公式10求解trimap图中的未知α值。

α＝(L+λD)^-1(λv) (10)

其中，L表示步骤6.3中得到拉普拉斯矩阵，D为一个二值化矩阵表示trimap图中标记出的前景，v为一个二值化矩阵表示trimap图中标记出的背景。

步骤6.5：按照求解出的α值对trimap图中的未知α值区域进行标记，得到alpha图。

步骤7：利用步骤6求得的alpha图8、19，从原始模糊图像2、11中提取出模糊区域以及清晰区域，分别如图9、10、20、21。

以图11为例，提取清晰区域的具体步骤如下：首先对alpha图19进行二值化处理得到二值化alpha图；然后对二值化alpha图以及原模糊图像11进行遍历，若alpha图指定位置的像素值为0则把图11中对应位置的像素值置为0，若alpha图指定位置的像素值为1时图2中对应位置的像素值保持不变，最终可以提取出图11所对应的清晰区域，如图20同理，可以提取出模糊区域。

Claims (4)

1.基于分层模型的局部运动模糊区域自动检测提取方法，其特征在于，包括以下步骤：

步骤1：输入一幅大小为M×N的模糊图像f(x,y)，用滑动窗口的方式对图像分块并利用频率域模糊度衡量算法对模糊图像按块计算出其对应的模糊区域映射图m(x,y)；

步骤2：利用Otsu算法对步骤1的映射图m(x,y)计算二值化阈值，然后根据阈值对映射图m(x,y)进行二值化处理，得到初步模糊检测图像d1(x,y)；

步骤3：对初步模糊检测图像d1(x,y)进行二值图像去噪操作，得到更加精确的模糊区域初步检测图d2(x,y)；

步骤4：分别采用腐蚀、膨胀算法对步骤3得到的检测图d2(x,y)中的模糊区域、清晰区域进行处理，得到对应的前景映射图fg(x,y)、背景映射图bg(x,y)；

步骤5：利用步骤4得到的前景映射图fg(x,y)、背景映射图bg(x,y)对模糊图像f(x,y)进行标记，得到模糊图像f(x,y)所对应的trimap三分图t(x,y)；

步骤6：利用步骤5得到的trimap三分图t(x,y)以及模糊图像f(x,y)，调用k近邻抠图算法实现模糊区域的精确检测，得到模糊图像f(x,y)所对应的alpha图a(x,y)；

步骤7：利用步骤6得到的alpha图a(x,y)提取出模糊图像f(x,y)所对应的模糊区域以及清晰区域。

2.根据权利要求1所述的基于分层模型的局部运动模糊区域自动检测提取方法，其特征在于，所述步骤1中的具体过程如下：

步骤1.1：把按照滑动窗口方式对图像f(x,y)进行分块得到的大小为k×k的图像块记为图像I(x,y)，利用如下公式对图像I(x,y)做傅里叶变换得到F：

其中，(x,y)表示空间变量，(u,v)表示频率域变量；

步骤1.2：利用如下公式把F的原点移到图像中心(u₀,v₀)得到Fc：

步骤1.3：假设Fc(u,v)＝a+bj，利用如下公式计算AF＝|Fc|，其中AF为图像I的中心傅里叶变换的模：

步骤1.4：统计AF中像素值大于0的像素个数，记为th；

步骤1.5：由如下公式计算图像模糊度FM：

图像模糊度

式中，th表示AF中像素值大于0的像素个数，k表示图像块的行、列数。

3.根据权利要求1所述的基于分层模型的局部运动模糊区域自动检测提取方法，其特征在于，所述步骤2中二值化处理过程如下：对于图像I(x,y)将前景与背景的分割阈值设为t；将属于前景的像素点的个数占整个图像总像素数的比例设为w₀，其像素均值设为u₀；将属于背景的像素点的个数占整个图像总像素数的比例设为w₁，其像素均值设为u₁；将整幅图像的像素均值记为u；

则按照公式迭代求解二值化阈值t_opt：

t_opt＝max(w₀(t)×(u₀(t)-u)²+w₁(t)×(u₁(t)-u)²)。

4.根据权利要求1所述的基于分层模型的局部运动模糊区域自动检测提取方法，其特征在于，所述步骤6中模糊图像f(x,y)所对应的alpha图a(x,y)的具体过程如下：

步骤6.1：计算特征向量，给定像素i的特征向量定义如公式所示：

X(i)＝(cos(h),sin(h),s,v,x,y)

其中，h,s,v分别是HSV颜色空间的坐标值，(x,y)是像素i的空间坐标；

步骤6.2：按照如下公式计算内核函数：

其中，C是权值调节系数，保证k(i,j)∈[0,1],||X(i)-X(j)||是1范数，即两向量差的绝对值之和；

步骤6.3：按照如下公式求解拉普拉斯矩阵：

L＝D-A

其中，A＝[k(i,j)]表示相似矩阵，D表示对角矩阵；

步骤6.4：按照如下公式求解trimap图中的未知α值：

α＝(L+λV)^-1(λv)其中，L表示步骤6.3中得到拉普拉斯矩阵，V为一个二值化矩阵表示trimap图中标记出的前景，v为一个二值化矩阵表示trimap图中标记出的背景；

步骤6.5：按照求解出的α值对trimap图中的未知α值区域进行标记，得到alpha图。

Images