CN105654452A - 一种基于边缘结构的背景杂波度量方法 - Google Patents

Abstract

本发明涉及一种基于边缘结构的背景杂波度量方法，将背景图像分割成大小与目标图像大小相同的单元；建立图像结构特征空间上的目标图像与单元背景杂波图像之间的相似性度量；通过梯度直方图的方法建立目标图像与单元背景杂波图像的边缘结构特征描述，并选用巴氏系数计算图像边缘结构的相似性度量；以目标图像与单元背景杂波图像的边缘结构相似性度量对目标图像和单元背景杂波图像的结构相似性度量进行加权作为单元背景图像的杂波度量，所有单元背景图像杂波度量的平均值，作为整幅背景图像的杂波度量。本发明充分体现人眼视觉在目标识别中主要关注物体结构的特性，提高对成像系统外场性能预测和评估的准确度。

Description

一种基于边缘结构的背景杂波度量方法

技术领域

本发明涉及图像处理技术领域，具体地说是一种基于边缘结构的背景杂波度量方法。

背景技术

随着光学系统,探测器及电路设计的不断改进,背景杂波逐渐成为影响光电成像系统性能的主要因素。复杂的杂波背景环境包含很多类目标的场景内容，使观察者无法快速有效地获取目标，背景杂波效应成为影响观察者目标获取性能越来越重要的因素。

准确有效的杂波量化描述是当今光电成像系统性能评估以及图像处理领域研究的热点和难点之一，为建立准确的目标获取性能预测模型与修正模型奠定了基础。近二十年来,基于各种不同的人眼视觉基本特性,国外研究者提出了很多种杂波量化度量"这些背景杂波度量大致可分为三类"一类是数学统计尺度,如最早的统计方差(SV)度量；一类是基于图像纹理的度量,如基于灰度共生矩阵的杂波度量(COM)；还有一类是基于人眼视觉对高对比度区域敏感性的杂波度量,典型的杂波度量有边缘概率密度杂波度量(POE)和基于目标结构相似度的杂波度量(TSSIM)。SV定义简单、易于计算、适用于大多数自然地形，但对复杂杂波图像的表征描述不够准确。COM仅适用于图像中目标具有明显纹理分布的场景，因需要多次计算共生矩阵，计算量大。POE考虑了人眼视觉对物体边缘敏感的视觉特性，较之SV和COM有一定的优势,然而POE在表征过程中有阈值选择问题，需根据每幅图像的具体状况具体确定，不同观察者所得到的计算结果不具可比性。文章NewMetricsforClutterAffectingHumanTargetAcquisition在杂波度量方面引进图像质量评估领域广泛认可的图像结构相似性信息SSIM概念，并进行修改，提出目标结构相似性杂波度量(TSSIM)。TSSIM的定义具有对称性、有界性以及极大值唯一性，并且该结构信息的定义充分体现人眼视觉的基本感知特性：亮度掩盖效应和对比度掩盖效应；该杂波计算简单、结果唯一、没有阈值选择问题。但是只用到整幅图像的标准差、均值和协方差，对复杂杂波图像的表征描述不够准确。因此，至今仍没有一种杂波尺度能得到光电研究领域工作者的一致认可。

2010年荷兰TNO人类因素研究所Toet教授通过研究TSSIM与Search2数据库中目标探测特性的关系时，发现目标获取特性主要依赖于场景和目标的结构因素。许多研究者发现,人眼对于图像的边缘结构信息是最为敏感和重视的,也就是说,边缘结构信息很有可能是图像结构信息的最重要的部分，而作为SSIM最为重要的第三部分结构信息的比较,s(x,y)实质上求取的仅仅是原图像子块和比较图像子块之间像素值的相关系数,不能很好地反映图像的边缘和纹理结构信息,鉴于人眼对图像边缘纹理信息的极高的敏感度,而梯度能较好地反应图像的边缘纹理信息。

发明内容

针对现有技术的不足，本发明提供一种基于边缘结构的背景杂波度量方法，以充分体现人眼视觉在目标识别中主要关注物体结构的特性，提高对成像系统外场性能预测和评估的准确度。

本发明为实现上述目的所采用的技术方案是：一种基于边缘结构的背景杂波度量方法，包括以下步骤：

步骤1：将背景图像分割成大小与目标图像大小相同的单元；

步骤2：建立图像结构特征空间上的目标图像与单元背景杂波图像之间的相似性度量；

步骤3：通过梯度直方图的方法建立目标图像与单元背景杂波图像的边缘结构特征描述，并选用巴氏系数计算图像边缘结构的相似性度量；

步骤4：以目标图像与单元背景杂波图像的边缘结构相似性度量对目标图像和单元背景杂波图像的结构相似性度量进行加权作为单元背景图像的杂波度量，所有单元背景图像杂波度量的平均值，作为整幅背景图像的杂波度量。

所述整幅背景图像的杂波度量计算过程为：

$C_{\mathrm{ESSIM}}(T,C_i)=1-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\ρ}}_{\mathrm{ij}}*{\mathrm{SSIM}}_{\mathrm{ij}})/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left({\mathrm{\ρ}}_{\mathrm{ij}}\right)$

$C_{\mathrm{ESSIMrms}}=\sqrt{\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{C}_{\mathrm{ESSIM}}{(T,C_i)}^2}$

式中：T为目标图像，C_i为第i个单元背景杂波图像，SSIM_ij为图像结构相似性信息，ρ_ij为对应的梯度方向直方图加权信息，C_ESSIM(T,C_i)为第i个单元背景图像的杂波度量，m×n为图像大小，l为整幅图像中杂波模块数，C_ESSIMrms为整幅背景图像的杂波度量。

本发明具有以下有益效果及优点：

1.本发明结合目标与杂波的图像结构相似性度量，以光电图像中物体边缘方向的分布直方图来表征目标的结构特征，建立了基于边缘结构特征背景杂波度量，充分体现出人眼视觉在目标识别中主要关注物体结构的特性。

2.实验结果表明，所提出的杂波度量与Search2数据库提供的主观实验目标获取性能有很好的一致性，优于现有的背景杂波度量。

附图说明

图1为本发明的整体流程图；

图2为本发明的HOG特征示意图，其中a为目标图像、b为梯度图像、c为HOG特征；

图3为本发明的目标与杂波图像示例图；其中a为Search2数据库第13副图像、b为目标图像；

图4为本发明以及各杂波度量与目标探测概率的拟合曲线；其中a为统计度量与目标探测概率的拟合曲线、b为边缘概率密度杂波度量与目标探测概率的拟合曲线、c为目标结构相似性杂波度量与目标探测概率的拟合曲线、d为图像结构差异性杂波度量与目标探测概率的拟合曲线、e为本发明杂波度量与目标探测概率的拟合曲线；

图5为本发明以及各杂波度量与目标虚警概率的拟合曲线；其中a为统计度量与目标虚警概率的拟合曲线、b为边缘概率密度杂波度量与目标虚警概率的拟合曲线、c为目标结构相似性杂波度量与目标虚警概率的拟合曲线、d为图像结构差异性杂波度量与目标虚警概率的拟合曲线、e为本发明杂波度量与目标虚警概率的拟合曲线。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

参照图1，本发明基于边缘结构的背景杂波度量方法具体实施步骤如下：

步骤1：将背景图像分成l个大小相等的小单元，每个单元的大小与目标图像大小一致。

步骤2：参见结构相似性度量，建立图像结构特征空间上目标和背景杂波的相似性度量。

令T＝{t_i|i＝1,2,…N},c＝{c_i|i＝1,2,…,N}分别为目标和背景杂波信号，设X＝{x_i|i＝1,2,…,N}，Y＝{y_i|i＝1,2,…,N}分别为目标和背景杂波信号，μ_X，μ_Y，σ_X，σ_Y，σ_XY分别表示X,Y的均值、标准差以及协方差，各部分信息具体定义如下：

$l(X,Y)=(2{\mathrm{\μ}}_X{\mathrm{\μ}}_Y+{\mathrm{\ϵ}}_1)/({\mathrm{\μ}}_X^2+{\mathrm{\μ}}_Y^2+{\mathrm{\ϵ}}_1)---\left(1\right)$

$c(X,Y)=({2\mathrm{\σ}}_X{\mathrm{\σ}}_Y+{\mathrm{\ϵ}}_2)/({\mathrm{\σ}}_X^2+{\mathrm{\σ}}_Y^2+{\mathrm{\ϵ}}_2)---\left(2\right)$

s(X,Y)＝(σ_XY+ε₃)/(σ_Xσ_Y+ε₃)(3)

ε₁、ε₂、ε₃为防止分母趋于0的常数。

联合方程(1-3)得出信号X,Y的结构相似性度量：

SSIM(X,Y)＝[l(X,Y)]^α·[c(X,Y)]^β·[s(X,Y)]^γ(4)

其中α、β、γ为描述各对应部分的重要性。令α＝β＝γ＝1得：

$\mathrm{SSIM}(X,Y)=({2\mathrm{\μ}}_X{\mathrm{\μ}}_Y+{\mathrm{\ϵ}}_1)({2\mathrm{\σ}}_{\mathrm{XY}}+{\mathrm{\ϵ}}_2)/\left(({\mathrm{\μ}}_X^2+{\mathrm{\μ}}_Y^2+{\mathrm{\ϵ}}_1)({\mathrm{\σ}}_X^2+{\mathrm{\σ}}_Y^2+{\mathrm{\ϵ}}_2)\right)---\left(5\right)$

两幅图像的对应局部区域采用上公式得到一幅结构相似性度量图。

步骤3：计算边缘结构相似性度量

输入图像中像素点(x,y)的梯度为

G_x(x,y)＝H(x+1,y)-H(x-1,y)(6)

G_y(x,y)＝H(x,y+1)-H(x,y-1)(7)

式中,G_x(x,y)、G_y(x,y)、H(x,y)分别表示输入图像中像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。

像素点(x,y)处的梯度幅值和梯度方向为

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}---\left(8\right)$

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)---\left(9\right)$

提取HOG特征。

把样本图像分割为若干个8×8像素的单元(cell)。

把[0,π]的梯度方向平均划分为9个区间(bin)。

在每个cell内对所有像素的梯度幅值在各个方向bin区间进行直方图统计，得到一个9维的特征向量，

每相邻4个单元为一个块(block)，

把4个单元的特征向量联起来得到块的36维特征向量，

用block对样本图像进行扫描，扫描步长为一个cell，

将所有block的特征串联得到目标的HOG特征。具体过程如图2所示。

为了度量目标图像和背景杂波图像之间的相似度，选用巴氏系数来度量两个方向直方图的相似性。

假设q_u表示目标图像的方向直方图，p_u表示背景图像的方向直方图，则相似性距离度量为：

$\mathrm{\ρ}(p,q)=\underset{u=1}{\overset{m}{\mathrm{\Σ}}}\sqrt{p_u{q}_u}---\left(10\right)$

步骤4：采用目标T和杂波C的梯度方向直方图相似性与图像结构相似度量加权信息作为目标杂波度量。

具体的基于边缘结构特征的目标杂波度量的表达式如公式(11)所示

$C_{\mathrm{ESSIM}}(T,C)=1-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\ρ}}_{\mathrm{ij}}*{\mathrm{SSIIM}}_{\mathrm{ij}})/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left({\mathrm{\ρ}}_{\mathrm{ij}}\right)---\left(11\right)$

式中：SSIM_ij、ρ_ij分别为图像结构相似性信息以及对应的梯度方向直方图加权信息，m×n为图像大小。

整幅图像的杂波度量为求均值：

$C_{\mathrm{ESSIMrms}}=\sqrt{\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{C}_{\mathrm{ESSIM}}{(T,C_i)}^2}---\left(12\right)$

其中l为整幅图像中杂波模块数。

本发明的合理性和优越性可以通过以下实验和对比分析进一步描述：

实验验证：

实验条件

采用荷兰TNO人类因素研究所提供的外场实验Search_2图像数据库，来验证本论文中给出的图像杂波度量的有效性。Search_2图像数据库中包含44幅高分辨率的不同复杂场景的数字彩色图像，每幅图像中包含一辆军事装甲车，以及对应每幅图像的由64名专业观察者参与的视觉搜索和探测心理物理学实验结果。图(3)展示的是数据库中第13幅图像以及对应的搜索目标。

通过计算杂波度量的预测性能与观察者目标获取性能(探测概率PD、虚警概率FAR)的均方根误差和相关性来评价杂波度量的合理性。待评价的杂波度量包括：目前应用比较广泛的统计度量SV(记为C_SV)、边缘概率密度杂波度量POE(记为C_POE)、目标结构相似性杂波度量TSSIM(记为C_SSIM)，以及最近提出的基于人眼视觉特性的图像结构差异性杂波度量VSD(记为C_VSD)和本论文中提出的基于边缘结构特征的杂波度量ESSIM(记为C_ESSIM)。所采用的性能评价测度为均方根误差(△)、Pearson线性相关系数(r_p)、Spearman秩相关系数(r_s)以及Kendall相关系数(r_k)。目标探测概率预测模型、目标虚警概率预测模型采用美国空军D.L.Wilson提出的目标获取性能预测模型[14]，如下：

a、目标探测概率预测模型：

pd_pred＝(C/C₅₀)^E/(1+(C/C₅₀)^E)(13)

b、目标虚警概率预测模型：

pf_pred＝A-(C/C₅₀)^E/(1+(C/C₅₀)^E)(14)

其中，C为各种杂波度量，A为search_2数据库中每幅图像的总探测概率，相应值为0.998，C₅₀为50％探测概率下对应的杂波度量值，E、C₅₀、x、y为待优化的常数。

采用search_2数据库中没有拍摄问题的39幅图像进行实验(见表1)。

表1每幅图像的杂波度量值以及实验探测概率(PD)和虚警率(FAR)

采用Levenberg_Marquadt最小二乘法分别对公式(13-14)进行参数E、C₅₀、x、y优化，并进行误差分析和相关性检验，结果如表2、表3所示。C_SV、C_POE、C_SSIM、C_VSD、C_ESSIM与目标探测概率、虚警概率的拟合曲线如图4、5所示。

表2各杂波度量与目标探测概率之间相关性

表3各杂波度量与目标虚警概率之间相关性

search_2数据库中目标和杂波图像比较复杂,在验证实验中涉及的目标图像最大为840×414。由表2、3可以看到基于C_SV和C_SS预测的探测概率、预虚警概率与实际目标获取性能相差较大，图4、5可以发现C_SV和C_POE的预测性能曲线与目标的实际探测概率、虚警概率相差较远。C_SSIM、C_VSD性能优于C_SV和C_POE。从表2、3以及图4、5可以发现，本论文中定义的杂波度量C_ESSIM较现有的杂波度量有明显优势。我们把所有评价指标中与search_2数据库中64位观察者的目标获取性能最好的用黑体标记出来，具体见表2、3，边缘结构杂波度量C_ESSIM与观察者的目标探测概率、虚警概率的各相关系数都明显高于其它同类杂波尺度，且均方误差都小于其它同类杂波度量，线性相关系数(r_p)分别高达0.870、0.845，均方根误差分别仅为0.0569、0.049。从实验数据上证明本文所提出的基于边缘结构特征的杂波度量与实际目标探测概率、虚警概率以及搜索时间密切相关；且从图4、5中可以明显地发现本文所提出的杂波度量与观察者的实际目标探测概率、虚警概率具有较好的一致性，没有明显的偏离点，具有较高的预测精度。

Claims (2)

1.一种基于边缘结构的背景杂波度量方法，其特征在于：包括以下步骤：

步骤1：将背景图像分割成大小与目标图像大小相同的单元；

步骤2：建立图像结构特征空间上的目标图像与单元背景杂波图像之间的相似性度量；

步骤3：通过梯度直方图的方法建立目标图像与单元背景杂波图像的边缘结构特征描述，并选用巴氏系数计算图像边缘结构的相似性度量；

步骤4：以目标图像与单元背景杂波图像的边缘结构相似性度量对目标图像和单元背景杂波图像的结构相似性度量进行加权作为单元背景图像的杂波度量，所有单元背景图像杂波度量的平均值，作为整幅背景图像的杂波度量。

2.根据权利要求1所述的一种基于边缘结构信息的背景杂波量化方法，其特征在于：所述整幅背景图像的杂波度量计算过程为：

$C_{\mathrm{ESSIM}}(T,C_i)=1-\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}({\mathrm{\ρ}}_{\mathrm{ij}}*{\mathrm{SSIM}}_{\mathrm{ij}})/\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left({\mathrm{\ρ}}_{\mathrm{ij}}\right)$

$C_{\mathrm{ESSIMrms}}=\sqrt{\frac{1}{l}\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{C}_{\mathrm{ESSIM}}{(T,C_i)}^2}$

式中：T为目标图像，C_i为第i个单元背景杂波图像，SSIM_ij为图像结构相似性信息，ρ_ij为对应的梯度方向直方图加权信息，C_ESSIM(T,C_i)为第i个单元背景图像的杂波度量，m×n为图像大小，l为整幅图像中杂波模块数，C_ESSIMrms为整幅背景图像的杂波度量。