CN104537683A - 基于编码图像散粒特性的运动区域搜索方法 - Google Patents

Abstract

本发明公开了一种基于编码图像散粒特性的运动区域搜索方法。该方法针对像素曝光时间相同的编码成像方式，利用其观测图像中运动物体呈现出的散粒特性，通过高通滤波、像素相似性分析、图像8邻域梯度、区域灰度加权和区域分割等一系列过程，仅从单张观测图像中就能实现运动区域搜索与分割，可用于单张观测图像的运动目标搜索以及局部重建。

Description

基于编码图像散粒特性的运动区域搜索方法

技术领域

本发明涉及一种基于编码图像散点特性的运动区域搜索方法。

背景技术

运动目标检测中常用的方法主要为光流法、帧间差分法和背景减除法。基于光流的运动目标检测算法是利用光流方程计算出每个像素点的运动状态矢量,从而发现运动的像素点,并且能够对这些像素点进行跟踪。在摄像机运动、背景变化时,光流法也能检测出运动目标,且能同时完成运动目标检测和跟踪,但是该方法的计算复杂度高,在没有专用硬件支持的情况下很难做到实时检测。帧间差分法是检测相邻两帧图像之间变化的最简单方法，其主要思想就是利用视频图像序列中连续两帧或三帧的差异来检测发生运动的区域，一些用于实时视频流中运动目标检测的算法就是帧间差分的方法。帧间差分法的特点是动态性强,能够适应动态背景下的运动目标检测。这种方法的缺点是一般不能完全提取所有相关的特征像素点，在运动实体内部容易产生空洞现象。背景减除法通过统计前若干帧的变化情况,从而学习背景扰动的规律。此类算法的缺点是由于通常需要缓冲若干帧来学习背景,因此往往需要消耗大量的内存,这使其使用范围受到了限制。此外,对于大范围的背景扰动,此类算法的检测效果也不理想。Stauffer和Grimson提出的高斯混合模型是使用最为广泛的背景建模方法。高斯混合模型通过多个高斯分布对背景建模,每个分布对应一种背景像素的模态,从而能够适应像素层面上的背景扰动问题,并能通过对背景的不断更新,使系统能对背景的变化自适应。

尽管上述三类方法都能较好的对运动目标进行检测，但其共同问题是都需要多帧图像，在实际应用中，有时由于特定条件，使得无法获得多帧图像，比如对空间目标或地面目标的观测时，由于覆盖范围大，图像时间分辨率低，有时无法重复观测获取视频图像。基于压缩感知理论的单幅图像视频重建方法，通过对各像素的曝光时间进行编码调制获得观测图像，再利用重建算法重建出视频图像，从而提高时间分辨率。按照传统的运动目标探测方法，需要从重建后的多帧图像中进行检测，时间复杂度高、实时性差。利用编码观 测图像的散粒特点，直接从单张观测图像中提取运动目标区域，可大大提高搜索效率。

发明内容

本发明公开了一种基于编码图像散粒特性的运动区域搜索方法，该方法针对像素曝光时间相同的编码成像方式，利用其观测图像中运动物体呈现出的散粒特性，通过高通滤波、像素相似性分析、图像8邻域梯度、区域灰度加权和区域分割等一系列过程，仅从单张观测图像中就能实现运动区域搜索与分割，可用于单张观测图像的运动目标搜索以及局部重建。

本发明的技术方案为：

步骤1.观测图像获取与高通滤波，具体是：

1-1通过在曝光时间内按照所有像素曝光时间相等的原则对各像素进行编码调制获得观测图像I(x,y)；

1-2对观测图像I(x,y)进行中值滤波，得到滤波后图像K(x,y)。

1-3将观测图像I(x,y)减去滤波后图像K(x,y)，得到高通滤波后图像H(x,y)。

步骤2.像素相似性分析，具体是：

2-1设置灰度阈值t。

2-2对于步骤1-3得到的滤波图像H(x,y)，计算各像素8邻域中与自身灰度差值大于阈值t的个数N。

2-3将数值N作为相似性分析图J(x,y)中对应位置的像素值。

步骤3.计算8邻域梯度，具体是：对于步骤2-3得到的相似性分析图J(x,y)，计算各像素的8邻域梯度，从而得到8邻域梯度图G(x,y)。

步骤4.区域灰度加权，具体是：

4-1选取大小为m×m的搜索框。

4-2使用搜索框对步骤3得到的8邻域梯度图G(x,y)进行遍历搜索，构建区域加权图像W(x,y)，其各像素的值为以该像素为中心的搜索框在梯度图G(x,y)上所涵盖区域的像素值加权。

步骤5.区域分割，具体是：

5-1将步骤4-2获得的区域加权图像W(x,y)归一化，设定阈值并对图像W(x,y)二值化。

5-2对步骤5-1获得的二值化图像B(x,y)进行开操作，去除边缘毛刺。

5-3去除步骤5-2经过开操作后的图像中面积小于面积阈值的区域。

5-4合并邻近区域，扩大包含各区域的最小矩形框，若矩形框间相交或包含，则合并矩形框直至相互独立，矩形框包含区域即为搜索到的运动区域。

本发明的有益效果：在单张图像视频重建方法中，针对像素曝光时间相同的编码模式获得的观测图像，利用图像中运动区域呈现出的散粒性，通过高通滤波、像素相似性分析、图像8邻域梯度、区域灰度加权和区域分割等一系列过程，对观测图像进行运动区域搜索与分割，从而不需要重建出多帧图像，就能获得运动目标信息，实现单张图像的运动目标检测。此外，搜索结果还可用于局部视频重建，即仅重建运动区域，从而降低重建时间，提高重建精度。

附图说明

图1为观测图像。

图2为本发明方法流程示意图。

图3(a)为高通滤波后图像，(b)为相似性分析后图像，(c)为8邻域梯度图像，(d)为区域加权图像，(e)为二值化分割图像，(f)为去除小区域干扰后图像。

图4为像素8邻域梯度示意图。

图5为搜索区域大小与权重值关系示意图。

图6为运动目标搜索结果。

图7为区域重建结果。

具体实施方式

以下结合附图对本发明作进一步说明。

在单张图像视频重建方法中，通过像素等时长曝光编码方法获得的观测图像，由于各像素的曝光时间相同，因此呈现出静态背景清晰、运动区域散粒状的特性，如附图1所示。本发明针对这类观测图像，利用图像中运动物体呈现出的散粒特性，公开了一种运动区域搜索方法，从而不需要重建出多帧图像，就能获得运动目标信息，实现单张图像的运动目标检测。本发明的流程如附图2所示，主要包括高通滤波、像素相似性分析、8邻域梯度、区域灰度加权和区域分割等几个步骤。

步骤1.观测图像的获取与高通滤波

1-1通过在曝光时间内按照所有像素曝光时间相等的原则对各像素进行编码调制获得观测图像。

1-2考虑到运动区域的散点特性，可将散点作为散粒噪声进行处理，即通过高通滤波获得图像细节和噪声。首先获得图像低频成分，这里使用的是中值滤波。对观测图像I(x,y)进行中值滤波，得到图像的低频部分L(x,y)。

1-3使用原观测图像I(x,y)减去图像的低频部分L(x,y)，得到经过高通滤波后图像H(x,y)，H(x,y)包含原观测图像高频，即图像细节与噪声，如附图3(a)所示。

步骤2.像素相似性分析

2-1对于图像中的散点，其最基本特征为散点本身的像素值与其所有邻域像素的像素值存在较大差异，一般可通过梯度图来获取散点位置信息，但由于梯度图获得的是中间像素与邻域像素间像素值差值的总体趋势，使其很难区分图像细节和散点。此外，对于同一图像中的物体运动程度不同的情况，梯度图像往往只能获取运动程度更大的区域。这里提出像素相似性的方法，直接计算中间像素与邻域像素的像素差值超过阈值t的个数，从而能更好的利用散点的“孤立”性，且不受运动程度影响。灰度阈值t可根据图像类型调整，对于细节较多的图像，t值较小，这里取t＝30。

2-2对于步骤1-3得到的滤波图像H(x,y)，计算各像素8邻域中与自身灰度差值大于阈值t的个数N：

N_i,j＝||ε(|H(i′,j′)-H(i,j)|-t)||₀for(i′,j′)∈N₈(i,j)    (7) 

其中，ε(x)为单位阶跃函数：

$\mathrm{\&epsiv;}\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(8\right)$

||x||₀为x的零阶范数，即非零元素个数。N₈(i,j)为(i,j)的8邻域。

2-3将数值N作为相似性分析图J(x,y)中对应位置的像素值，J(i,j)＝N_i,j，如附图3(b)所示。

步骤3.计算8邻域梯度，具体是：

3-1对于步骤2-3得到的相似性分析图J(x,y)，通过式(3)计算各像素的8邻域梯度，得到8邻域梯度图G(x,y)，从而进一步分离散粒区域。8邻域梯度如附图4所示，处理结果如附图3(c)所示。

$G(i,j)\sqrt{\underset{i^{\&prime;},j^{\&prime;}\&Element;N_g(i,j)}{\mathrm{\&Sigma;}}{(J(i^{\&prime;},j^{\&prime;})-J(i,j))}^2}---\left(9\right)$

步骤4.区域灰度加权 

4-1选取大小为m×m的搜索框P，搜索框的大小可根据图像内容进行调整，这里取m＝11。

4-2对步骤3-1中的梯度图G(x,y)进行区域加权处理，其主要目的是：1、使图像平滑，便于后续分割；2、进一步减小图像细节和噪声对搜索精度的影响。使用搜索框对步骤3-1得到的8邻域梯度图G(x,y)进行遍历搜索，构建区域加权图像W(x,y)，其各像素的值为以该像素为中心的搜索框在梯度图G(x,y)上所涵盖区域的像素值加权：

$W(i,j)=\underset{(i,j)\&Element;P}{\mathrm{\&Sigma;}}K(i,j)\&CenterDot;G(i,j)---\left(10\right)$

其中K(i,j)为点(i,j)的权重系数，满足均值为零，标准差δ＝m/3的归一化高斯分布，如式(5)所示。

$K(i,j)=\exp \left(\frac{{((i^{\&prime;},j^{\&prime;})-(i,j))}^2}{2{\mathrm{\&delta;}}^2}\right),\mathrm{for}(i^{\&prime;},j^{\&prime;})\&Element;P---\left(11\right)$

标准差δ＝m/3会根据搜索框大小变化而变化，如附图5所示。处理结果如附图3(d)所示。

步骤5.区域分割

5-1将步骤4-2获得的区域加权图像W(x,y)归一化，设定阈值并对图像W(x,y)二值化。阈值太小会增大图像中细节区域对结果的影响，阈值太大则无法涵盖整个运动区域。可通过最大类间方差获得阈值或人工设置阈值。二值化结果如附图3(e)所示。

5-2对步骤5-1获得的二值化图像B(x,y)进行开操作，去除边缘毛刺。开操作为对图像先腐蚀再膨胀，可使对象的轮廓变得光滑，断开狭窄的间断和消除细的突出物。使用结构元素B对集合A进行开操作，定义为：

5-3去除步骤5-2经过开操作后的图像中面积小于128Pixel的区域，以进一步去除小的细节区域对搜索结果的影响，如附图3(f)所示。

5-4使用8连通对步骤5-3获得的图像进行标记，计算各区域中心位置C_i＝(x,y)与中心位置到边缘处的最大值L_i，合并邻近区域，邻近区域满足式(7)：

$\sqrt{{\left|\right|(C_i-C_j)\left|\right|}_2}\&le;\sqrt{2}|L_i+L_j|---\left(13\right)$

即两区域中心距离小于其中心到边缘最大值和的倍。为能涵盖整个运动区域，需扩大包含各区域的最小矩形框，这里使用的扩大倍率为可根据图像类型进行调整。若矩形框间相交或包含，则合并矩形框直至相互独立，最终达到运动目标检测的目的，搜索结果如附图6所示。

对于搜索出的运动区域，可利用单张图像视频重建方法进行重建，得到清晰图像，如附图7所示。

Claims (5)

1.一种基于编码图像散粒特性的运动区域搜索方法，其特征在于，该方法包括以下步骤：

(1)观测图像获取与高通滤波，具体是：

(1.1)通过在曝光时间内按照所有像素曝光时间相等的原则对各像素进行编码调制获得观测图像I(x,y)；

(1.2)对步骤(1.1)得到的观测图像I(x,y)进行中值滤波，得到图像的低频部分L(x,y)；

(1.3)使用原观测图像I(x,y)减去图像的低频部分L(x,y)，得到经过高通滤波后的滤波图像H(x,y)；

(2)像素相似性分析,具体是：

(2.1)设置灰度阈值t；

(2.2)对于步骤(1.3)得到的滤波图像H(x,y)，计算各像素8邻域中与自身灰度差值大于阈值t的个数N：

N_i,j＝||ε(|H(i′,j′)-H(i,j)|-t)||₀for(i′,j′)∈N₈(i,j)       (1)

其中，ε(x)为单位阶跃函数：

$\mathrm{\&epsiv;}\left(x\right)=\left\{\begin{array}{c}1,x\&GreaterEqual;0\\ 0,x<0\end{array}\right.---\left(2\right)$

||x||₀为x的零阶范数，即非零元素个数；N₈(i,j)为(i,j)的8邻域；

(2.3)构建相似性分析图J(x,y)，其中J(i,j)＝N_i,j；

(3)计算8邻域梯度，具体是：对于步骤(2.3)得到的相似性分析图J(x,y)，根据式(3)计算各像素的8邻域梯度，得到8邻域梯度图G(x,y)；

$G(i,j)=\sqrt{\underset{i^{\&prime;},j^{\&prime;}{N}_8(i,j)}{\mathrm{\&Sigma;}}{(J(i^{\&prime;},j^{\&prime;})-J(i,j))}^2}---\left(3\right)$

(4)区域灰度加权,具体是：

(4.1)选取大小为m×m的搜索框P，搜索框的大小可根据图像内容进行调整；

(4.2)使用搜索框对步骤(3)得到的8邻域梯度图G(x,y)进行遍历搜索，构建区域加权图像W(x,y)，其各像素的值为以该像素为中心的搜索框在梯度图G(x,y)上所涵盖区域的像素值的加权：

$W(i,j)=\underset{(i,j)\&Element;P}{\mathrm{\&Sigma;}}K(i,j)\&CenterDot;G(i,j)---\left(4\right)$

其中K(i,j)为点(i,j)的权重系数，满足均值为零，标准差δ＝m/3的归一化高斯分布：

$K(i,j)=\exp (-\frac{{((i^{\&prime;},j^{\&prime;})-(i,j))}^2}{2{\mathrm{\&delta;}}^2}),\mathrm{for}(i^{\&prime;},j^{\&prime;})\&Element;P---\left(5\right)$

(5)区域分割,具体是：

(5.1)将步骤(4.2)获得的区域加权图像W(x,y)归一化，对归一化图像二值化，得到二值化图像B(x,y)；

(5.2)对步骤(5.1)获得的二值化图像B(x,y)进行开操作，去除边缘毛刺；

(5.3)去除步骤(5.2)经过开操作后的图像中面积小于面积阈值的区域；

(5.4)使用8连通对步骤(5.3)获得的图像进行标记，计算各区域中心位置C_i＝(x,y)与中心位置到边缘处的最大值L_i，合并邻近区域，邻近区域满足式(6)：

$\sqrt{{\left|\right|(C_i-C_j)\left|\right|}_2}\&le;\sqrt{2}|L_i+L_j|---\left(6\right)$

即两区域中心距离小于其中心到边缘最大值和的倍；扩大包含各区域的最小矩形框，扩大倍率为可根据图像类型进行调整；若矩形框间相交或包含，则合并矩形框直至相互独立，矩形框包含区域即为搜索到的运动区域。

2.根据权利要求1所述一种基于图像散粒性的运动区域搜索方法，其特征在于，所述观测图像像素值范围为[0,255]，所述灰度阈值t取30。

3.根据权利要求1所述一种基于图像散粒性的运动区域搜索方法，其特征在于，步骤(4.1)中，所述搜索框大小取11×11。

4.根据权利要求1所述一种基于图像散粒性的运动区域搜索方法，其特征在于，步骤(5.1)中，所述二值化的阈值通过最大类间方差获得。

5.根据权利要求1所述一种基于图像散粒性的运动区域搜索方法，其特征在于，步骤(5.3)中，所述面积阈值取128像素。