CN104346800B - 一种基于纹理显著性的微光图像目标检测方法 - Google Patents

Abstract

本发明涉及一种基于纹理显著性的微光图像目标检测方法。本方法首先提取图像粗糙度特征图,进行二值化特征处理,合并属于同一目标区域,分别计算全局显著性、局部显著性和位置显著性，以此计算纹理显著性获得纹理显著图，最后利用纹理显著图进行图像目标检测。其核心内容是利用微光图像目标纹理与背景差异较大的特点，通过纹理显著性进行目标检测。利用本发明方法探测微光图像目标，目标轮廓性好、击中率高。

Description

一种基于纹理显著性的微光图像目标检测方法

技术领域

本发明属于图像处理技术领域，涉及一种基于纹理显著性的微光图像目标检测方法。

背景技术

微光技术是夜视技术的重要组成部分，微光成像系统利用夜天光的自然辐射和物体的反射在像增强器的作用下得到图像，提高了人眼在微弱光照条件下的观察能力。然而与一般可见光图像不同，它是经过多次光电转换和电子倍增而形成的，具有对比度低、信噪比低、灰度级有限等特征。这些特征使得微光图像目标受噪声干扰大，与周围环境对比度较低，目标显著性不明显，目标的自动探测难度较大。随着军事自动化水平要求的不断提高，夜视目标的自动检测与识别显得尤为重要，研究适合夜视目标的探测的技术是当前亟待解决的问题。

视觉注意机制可以将人类注意快速指向复杂场景中的重要或感兴趣目标。视觉注意机制实现有选择性地获取所探测目标的显著信息，将有限的硬件资源优先分配给那些容易引起注意的区域，提高了目标检测的效果和响应速度。

视觉显著性是一个广义的术语，当场景的特定区域具有被预先注意到的独特性质，并能够在人类初级视觉阶段产生特定形式的重要视觉刺激时，认为这个特定区域具有视觉显著性。视觉感受上在粗糙背景下光滑物体将会吸引人的注意力。

微光图像细节性丰富，保持了较好的纹理结构。微光图像的应用背景往往是野外军事目标探测，非自然物体，如人、车辆、人造建筑是所要探测的目标。这些目标纹理粗糙度显然与自然场景如树木、草地、山石不同，前者表面在视觉感受上趋于平滑，后者较为粗糙。相对于其他低级视觉特征，纹理粗糙度特征是微光图像更具有显著性的视觉特征，可以利用粗糙度特征进行微光图像的显著性计算。

利用视觉显著性进行目标检测成为近年来的研究热点，其中最为著名的Itti显著性算法及Walther目标检测方法。现有方法主要通过颜色、亮度等特征的显著性进行目标检测。然而由于微光图像无彩色信息，对比度低，这些方法应用于微光图像目标检测，往往击中率较低，虚警率较大，目标轮廓性较差。

发明内容

本发明的目的在于提供一种目标轮廓性好、击中率高的基于纹理显著性的微光图像自动探测方法。

实现本发明目的的技术解决方案为：

一种基于纹理显著性的微光图像目标检测方法，其特征在于，包括以下步骤：

步骤一：按如下方法提取图像粗糙度特征图：

1.1计算图像中大小为4k×4k活动窗口中像素的平均灰度值，

$A_k(x,y)=\underset{i=x-2k}{\overset{x+2k-1}{\Σ}}\underset{j=y-2k}{\overset{y+2k-1}{\Σ}}f(i,j)/{\left(4k\right)}^2---\left(1\right)$

其中，式中，k＝1,2,…,L_max；L_max为k的最大值；(i,j)为像素点坐标；f(i,j)是位于(i,j)的像素灰度值；当k＝0时，取窗口尺寸大小为3×3；(x,y)为各平均灰度图A_k的坐标；

1.2对于每个像素,分别计算它在水平和垂直方向上窗口之间的平均灰度差,水平方向平均灰度差计算方法如式(2a)所示，垂直方向平均灰度差计算方法如式(2b)所示，

E_k,h(x,y)＝|A_k'(x+ρ,y)-A_k(x,y)| (2a)

E_k,v(x,y)＝|A_k'(x,y+ρ)-A_k(x,y)| (2b)

式中，

k'＝max(k-L_b,0)，L_b为两个窗口偏差尺度，L_b＝L_max-α且L_b≥1；

参数α取值如下：

α＝3,L_max≥5；

α＝min(2,L_max-1),L_max＜5；

ρ为两个窗口偏心距，ρ＝2k'+1；

1.3计算每一像素点的最佳尺寸，计算公式如式(3a)所示，

S_best＝4k_max (3a)

E_k＝max(E_k,h,E_k,v) (3b)

E_max＝max(E_k),E_min＝min(E_k) (3c)

公式(3b)、(3c)为中间变量，式中，

E_k表示每个尺寸k在水平和垂直方向平均灰度差值的最大值,E_max为像素点最大平均灰度差值,E_min为像素点最小平均灰度差值，

k_max值按如下三种情形确定：

(i)若k＝0，E₀＞t_M，取k_max＝0，其中t_M为E₀所有像素点局部非零极大值的均值，否则转入(ii)；

(ii)若Numel(DE_k＜τ₀)＝L_max-1且E_max＜t_m，则取k_max＝L_max，其中Numel表示对满足条件的k计数，DE_k＝|E_k-E_k-1|，参数参数 为E_min的平均值，否则转入(iii)；

(iii)k_max＝argmax(E_k)；

1.4根据图像中每一像素点的最佳尺寸,计算该像素点的局部粗糙度，计算方法如式(4)所示,

F_crs(x,y)＝S_best(x,y) (4)；

步骤二：对特征图F_crs进行二值化处理，并根据格式塔知觉组织规则-接近律，对属于同一目标的两个区域进行合并；

步骤三：依次使用公式(5a)、(5b)计算全局显著性GS_i

A_i＝a_j,A_min＜a_j＜A_max (5a)

${\mathrm{GS}}_i=\frac{A_i}{max\left(A_i\right)}---\left(5b\right)$

式中，a_j为第j特征区域总像素数，A_i为重新标记后的区域，A_min是对a_j限定的最小值，A_max是对a_j限定的最大值；

步骤四：计算局部显著性LS_i，计算公式如式(6)所示，

${\mathrm{LS}}_i=\exp \left(\right|{\stackrel{\‾}{I}}_i-\stackrel{\‾}{I_{i\_surround}}|/M)-1---\left(6\right)$

为第i特征区域在粗糙度特征图中的灰度均值，M为特征图最大灰度值；为得到区域局部环境信息，将特征区域沿区域边界外延r宽度像素，是外延区域在粗糙度特征图中的灰度均值,r∈[5,7]；

步骤五：计算位置显著性PS_i，计算公式如式(7)所示，

${\mathrm{PS}}_i=\frac{1}{1+{({\left(\frac{y_{0i}-Y_0}{Y_0}\right)}^2+{\left(\frac{x_{0i}-X_0}{X_0}\right)}^2)}^{\mathrm{\η}/2}}---\left(7\right)$

式中，(X₀,Y₀)为图像中心坐标，(x_0i，y_0i)第i特征区域中心坐标，η为调节参数；

步骤六：计算纹理显著性大小，以获得显著图，计算纹理显著性大小的方法如式(8)所示，

${\mathrm{TS}}_i=\frac{1}{3}({\mathrm{GS}}_i+{\mathrm{LS}}_i+{\mathrm{PS}}_i)---\left(8\right)$

式中，GS_i,LS_i,PS_i均已归一化；

步骤七：显著图中的各显著区域即为提取原目标的感兴趣区域，对各感兴趣区域进行注意焦点转移，注意焦点为各感兴趣区域的中心，注意焦点转移的先后次序为区域显著性大小TS_i的递减顺序；根据抑制返回机制，已经注意过的区域立即被抑制，TS_i值归零。

本发明与现有技术相比，其显著优点：

相对于其他低级视觉特征，如亮度和颜色特征，纹理粗糙度特征是微光图像更具有显著性的视觉特征，本发明方法是基于纹理显著性进行微光图像目标检测。与经典的显著性算法Itti算法相比，目标击中率较高，虚警率较小，提取的目标感兴趣区域总体上更接近目标区域范围，并保持了更好的目标轮廓性。

附图说明

图1是本发明方法流程图。

图2是微光图像实验效果对比图，共五组实验效果图像，每组第一列上图为实验用原图、下图为人工标记图，每组第二列上图为使用本发明方法获得的显著图、下图为使用Itti算法获得的显著图，每组第三列上图为使用本发明方法获得的注意焦点转移图、下图为使用Walther算法获得的注意焦点转移图。

具体实施方式

如图1所示，本发明是一种基于纹理显著性的微光图像目标检测方法，包括以下步骤：

步骤一：按如下方法提取图像粗糙度特征图：

1.1计算图像中大小为4k×4k活动窗口中像素的平均灰度值，

$A_k(x,y)=\underset{i=x-2k}{\overset{x+2k-1}{\Σ}}\underset{j=y-2k}{\overset{y+2k-1}{\Σ}}f(i,j)/{\left(4k\right)}^2---\left(1\right)$

其中，式中，k＝1,2,…,L_max；L_max为k的最大值；(i,j)为像素点坐标；f(i,j)是位于(i,j)的像素灰度值；当k＝0时，取窗口尺寸大小为3×3；(x,y)为各平均灰度图A_k的坐标；

1.2对于每个像素,分别计算它在水平和垂直方向上窗口之间的平均灰度差,水平方向平均灰度差计算方法如式(2a)所示，垂直方向平均灰度差计算方法如式(2b)所示，

E_k,h(x,y)＝|A_k'(x+ρ,y)-A_k(x,y)| (2a)

E_k,v(x,y)＝|A_k'(x,y+ρ)-A_k(x,y)| (2b)

式中，

k'＝max(k-L_b,0)，L_b为两个窗口偏差尺度，L_b＝L_max-α且L_b≥1；

参数α取值如下：

α＝3,L_max≥5；

α＝min(2,L_max-1),L_max＜5；

ρ为两个窗口偏心距，ρ＝2k'+1；

1.3计算每一像素点的最佳尺寸，计算公式如式(3a)所示，

S_best＝4k_max (3a)

E_k＝max(E_k,h,E_k,v) (3b)

E_max＝max(E_k),E_min＝min(E_k) (3c)

公式(3b)、(3c)为中间变量，式中，

E_k表示每个尺寸k在水平和垂直方向平均灰度差值的最大值,E_max为像素点最大平均灰度差值,E_min为像素点最小平均灰度差值，

k_max值按如下三种情形确定：

(i)若k＝0，E₀＞t_M，取k_max＝0，其中t_M为E₀所有像素点局部非零极大值的均值，否则转入(ii)；

(ii)若Numel(DE_k＜τ₀)＝L_max-1且E_max＜t_m，则取k_max＝L_max，其中Numel表示对满足条件的k计数，DE_k＝|E_k-E_k-1|，参数参数 为E_min的平均值，否则转入(iii)；

(iii)k_max＝argmax(E_k)；

1.4根据图像中每一像素点的最佳尺寸,计算该像素点的局部粗糙度，计算方法如式(4)所示,

F_crs(x,y)＝S_best(x,y) (4)；

步骤二：对特征图F_crs进行二值化处理，并根据格式塔知觉组织规则-接近律，对属于同一目标的两个区域进行合并；

步骤三：依次使用公式(5a)、(5b)计算全局显著性GS_i

A_i＝a_j,A_min＜a_j＜A_max (5a)

${\mathrm{GS}}_i=\frac{A_i}{max\left(A_i\right)}---\left(5b\right)$

式中，a_j为第j特征区域总像素数，A_i为重新标记后的区域，A_min是对a_j限定的最小值，A_max是对a_j限定的最大值；

步骤四：计算局部显著性LS_i，计算公式如式(6)所示，

${\mathrm{LS}}_i=\exp \left(\right|{\stackrel{\‾}{I}}_i-\stackrel{\‾}{I_{i\_surround}}|/M)-1---\left(6\right)$

为第i特征区域在粗糙度特征图中的灰度均值，M为特征图最大灰度值；为得到区域局部环境信息，将特征区域沿区域边界外延r宽度像素，是外延区域在粗糙度特征图中的灰度均值,r∈[5,7]；

步骤五：计算位置显著性PS_i，计算公式如式(7)所示，

${\mathrm{PS}}_i=\frac{1}{1+{({\left(\frac{y_{0i}-Y_0}{Y_0}\right)}^2+{\left(\frac{x_{0i}-X_0}{X_0}\right)}^2)}^{\mathrm{\η}/2}}---\left(7\right)$

式中，(X₀,Y₀)为图像中心坐标，(x_0i，y_0i)第i特征区域中心坐标，η为调节参数；

步骤六：计算纹理显著性大小，以获得显著图，计算纹理显著性大小的方法如式(8)所示，

${\mathrm{TS}}_i=\frac{1}{3}({\mathrm{GS}}_i+{\mathrm{LS}}_i+{\mathrm{PS}}_i)---\left(8\right)$

式中，GS_i,LS_i,PS_i均已归一化；

步骤七：显著图中的各显著区域即为提取原目标的感兴趣区域，对各感兴趣区域进行注意焦点转移，注意焦点为各感兴趣区域的中心，注意焦点转移的先后次序为区域显著性大小TS_i的递减顺序；根据抑制返回机制，已经注意过的区域立即被抑制，TS_i值归零。

其中，对步骤一之步骤1.1中L_max的取值范围进一步限定为L_max∈[3,6]。

其中，步骤一之步骤1.4中，对最佳尺寸进行幂次变换，变换公式如式(9)所示：

F_crs(x,y)＝S_best(x,y)^γ (9)

式中，γ＞1。

其中，步骤二中，合并区域方法具体可以为：

对满足公式(10)的区域进行合并，

设e_k，e_l为区域k，l的边界，m∈e_k，n∈e_l

Num(d(m,n)≤δ)≥p·min(length(e_k),length(e_l)) (10)

式中，d(m,n)＝max(|x_m-x_n|,|y_m-y_n|)，Num对属于较短边界的像素点计数，满足条件的点仅计数一次，length(e_l)边界e_l总像素数；

进一步，δ为判断阈值,p为加权值，均取正实数，δ取4个像素，p取24％。

其中，步骤三中A_min＝max(45,0.16％*IA)，A_max＝33％*IA，IA为图像总面积。

其中，步骤五中η∈[2.1,2.3]。

其中，步骤六中对TS_i作对数变换，变换公式如式(11)所述：

TS_i'＝log(1+K·TS_i) (11)

进一步，K＝30。

本发明的效果可以通过以下仿真结果进一步说明：

如图2中每组第二列上图，是使用本发明方法获得的纹理显著图，该图是由在黑色背景下亮度递减的显著区域组成，各区域内具有相同的显著值，显著图抑制了大部分背景区域。

从图2中每组第三列的两幅注意焦点转移图(焦点转移图均为彩图)的实验结果可以看出，与Walther方法相比，本发明方法探测到目标所用转移次数更少，感兴趣区域总体上更接近目标区域范围，保持了更好的目标轮廓性。

实验定量分析：

用击中率(HR)及虚警率(FAR)来评估本发明方法应用于微光图像的目标探测能力。对每幅输入图像L(x)进行人工标记目标，第k个标记者的二值标记图记为M_k(x)。击中率(HR)及虚警率(FAR)分别为：

$HR=E\left(\underset{k}{\Π}{M}_k\right(x)\·S(x\left)\right)---\left(12a\right)$

$FAR=E\left(\underset{k}{\Π}\right(1-M_k\left(x\right))\·S(x\left)\right)---\left(12b\right)$

我们选用有微光专业背景的人对微光图像显著性目标进行标记。如图2中的人工标记图，白色区域表示击中图，黑色表示虚警图，灰色表示部分标记者选择而其他人未选择的区域。

HR及FAR实验结果如表1所示。结果表明，与Itti算法比较，本发明方法总体上具有击中率高、虚警率低，表明本发明方法具有更好的微光图像目标探测性能。

表1：实验结果分析

Claims (9)

1.一种基于纹理显著性的微光图像目标检测方法，其特征在于，包括以下步骤：

步骤一：按如下方法提取图像粗糙度特征图：

1.1 计算图像中大小为4k×4k活动窗口中像素的平均灰度值，

$A_k(x,y)=\underset{i=x-2k}{\overset{x+2k-1}{\Σ}}\underset{j=y-2k}{\overset{y+2k-1}{\Σ}}f(i,j)/{\left(4k\right)}^2---\left(1\right)$

式中，k＝1,2,…,L_max；L_max为k的最大值；(i,j)为像素点坐标；f(i,j)是位于(i,j)的像素灰度值；当k＝0时，取窗口尺寸大小为3×3；(x,y)为各平均灰度图A_k的坐标；

1.2对于每个像素,分别计算它在水平和垂直方向上窗口之间的平均灰度差,水平方向平均灰度差计算方法如式(2a)所示，垂直方向平均灰度差计算方法如式(2b)所示，

E_k,h(x,y)＝|A_k'(x+ρ,y)-A_k(x,y)| (2a)

E_k,v(x,y)＝|A_k'(x,y+ρ)-A_k(x,y)| (2b)

式中，

k'＝max(k-L_b,0)，L_b为两个窗口偏差尺度，L_b＝L_max-α且L_b≥1；

参数α取值如下：

α＝3,L _max≥5；

α＝min(2,L_max-1),L_max＜5；

ρ为两个窗口偏心距，ρ＝2k'+1；

1.3计算每一像素点的最佳尺寸，计算公式如式(3a)所示，

S_best＝4k_max (3a)

E_k＝max(E_k,h,E_k,v) (3b)

E_max＝max(E_k),E_min＝min(E_k) (3c)

公式(3b)、(3c)为中间变量，式中，

E_k表示每个尺寸k在水平和垂直方向平均灰度差值的最大值,E_max为像素点最大平均灰度差值,E_min为像素点最小平均灰度差值，

k_max值按如下三种情形确定：

(i)若k＝0，E₀＞t_M，取k_max＝0，其中t_M为E₀所有像素点局部非零极大值的均值，否则转入(ii)；

(ii)若Numel(DE_k＜τ₀)＝L_max-1且E_max＜t_m，则取k_max＝L_max，其中Numel表示对满足条件的k计数，DE_k＝|E_k-E_k-1|，参数参数为E_min的平均值，否则转入(iii)；

(iii)k_max＝argmax(E_k)；

1.4根据图像中每一像素点的最佳尺寸,计算该像素点的局部粗糙度，计算方法如式(4)所示,

F_crs(x,y)＝S_best(x,y) (4)；

步骤二：对特征图F_crs进行二值化处理，并根据格式塔知觉组织规则-接近律，对属于同一目标的两个区域进行合并；

步骤三：依次使用公式(5a)、(5b)计算全局显著性GS_i

A_i＝a_j,A_min＜a_j＜A_max (5a)

${\mathrm{GS}}_i=\frac{A_i}{\max \left(A_i\right)}---\left(5b\right)$

式中，a_j为第j特征区域总像素数，A_i为重新标记后的区域，A_min是对a_j限定的最小值，A_max是对a_j限定的最大值；

步骤四：计算局部显著性LS_i，计算公式如式(6)所示，

${\mathrm{LS}}_i=\exp \left(\right|{\stackrel{\‾}{I}}_i-\stackrel{\‾}{I_{i\_surround}}|/M)-1---\left(6\right)$

为第i特征区域在粗糙度特征图中的灰度均值，M为特征图最大灰度值；为得到区域局部环境信息，将特征区域沿区域边界外延r宽度像素，是外延区域在粗糙度特征图中的灰度均值，r∈[5，7]；

步骤五：计算位置显著性PS_i，计算公式如式(7)所示，

${\mathrm{PS}}_i=\frac{1}{1+{({\left(\frac{y_{0i}-Y_0}{Y_0}\right)}^2+{\left(\frac{x_{0i}-X_0}{X_0}\right)}^2)}^{\mathrm{\η}/2}}---\left(7\right)$

式中，(X₀，Y₀)为图像中心坐标，(x_0i，y_0i)第i特征区域中心坐标，η为调节参数；

步骤六：计算纹理显著性大小，以获得显著图，计算纹理显著性大小的方法如式(8)所示，

${\mathrm{TS}}_i=\frac{1}{3}({\mathrm{GS}}_i+{\mathrm{LS}}_i+{\mathrm{PS}}_i)---\left(8\right)$

式中，GS_i，LS_i，PS_i均已归一化；

步骤七：显著图中的各显著区域即为提取原目标的感兴趣区域，对各感兴趣区域进行注意焦点转移，注意焦点为各感兴趣区域的中心，注意焦点转移的先后次序为区域显著性大小TS_i的递减顺序；根据抑制返回机制，已经注意过的区域立即被抑制，TS_i值归零。

2.如权利要求1所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述步骤一之步骤1.1中L_max∈[3，6]。

3.如权利要求1所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述步骤一之步骤1.4中，对最佳尺寸进行幂次变换，变换公式如式(9)所示：

F_crs(x，y)＝S_best(x，y)^γ (9)

式中，γ＞1。

4.如权利要求1所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述步骤二中，合并区域方法可以为：

对满足公式(10)的区域进行合并，

设e_k，e_l为区域k，l的边界，m∈e_k，n∈e_l

Num(d(m，n)≤δ)≥p·min(length(e_k)，length(e_l)) (10)

式中，d(m，n)＝max(|x_m-x_n|，|y_m-y_n|)，Num对属于较短边界的像素点计数，满足条件的点仅计数一次，length(e_l)边界e_l总像素数，δ为判断阈值,p为加权值。

5.如权利要求4所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述δ取4个像素，p取24％。

6.如权利要求1所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述步骤三中A_min＝max(45,0.16％*IA)，A_max＝33％*IA，IA为图像总面积。

7.如权利要求1所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述步骤五中η∈[2.1,2.3]。

8.如权利要求1所述的基于纹理显著性的微光图像目标检测方法，其特征在于，所述步骤六中对TS_i作对数变换，变换公式如式(11)所示：

TS_i'＝log(1+K·TS_i) (11)。

9.如权利要求8所述的基于纹理显著性的微光图像目标检测方法，其特征在于，K＝30。