CN103456014A - 一种基于多特征整合视觉注意模型的景象匹配适配性分析方法 - Google Patents

Abstract

本发明提出的一种基于多特征整合视觉注意模型的景象匹配适配性分析方法，可以有效提高适配区提取的可靠性和景象匹配的精确性。本发明方案与传统方法相比，充分利用了视觉注意感知环境的高效性和可靠性，并在传统视觉注意模型中加入SURF不变特征，通过跨尺度特征图整合并与色彩、强度和方向等特征融合后构建多特征融合视觉注意模型，基于该模型对实时图提取显著区作为适配区域，能够有效提高适配性分析的可靠性，对于景象匹配实际工程应用具有非常重要的意义。

Description

一种基于多特征整合视觉注意模型的景象匹配适配性分析方法

技术领域

本发明涉及一种基于多特征整合视觉注意模型的景象匹配适配性分析方法（AreaSuitability Analysis in Scene Matching based on Multi-Feature Fusion Visual AttentionModel,MFF-VAM ASA），实现了无人机景象匹配视觉导航中适配性鲁棒分析的功能，可以有效提高适配区提取的可靠性和景象匹配的精确性。

背景技术

在无人机景象匹配视觉导航领域，适配性分析技术对导航精度和性能至关重要。适配区选取的好坏直接影响着导航系统的可靠性和有效性，是景象匹配视觉导航系统必须解决的首要问题。研究鲁棒、可靠的景象匹配适配性分析方法，具有重要的理论意义和应用价值。

目前，适配性分析方法可分为直接基于图像信号相关计算的方法和基于综合特征评价的方法两类。由于信号相关模型的假设往往不能贴合实际情况，而所需参数也往往难以获取，导致基于图像信号相关计算的适配性分析方法并不可靠。同样，基于综合特征评价的适配性分析方法一般通过构建图像特征指标和评价指标之间的统计模型确定适配区，需要大量实验样本，并且难以给出对各种地物、成像条件等普适的阈值。并且，影响适配性的主要因素包括景象特征、基准图与实时图间的成像差异及匹配性能要求等，各个因素之间相互制约、相互依存，导致景象匹配区的计算结果出现冲突，甚至相互矛盾。因此，现有的适配区选取方法都存在某些不足。

视觉注意是人类处理视觉信息时从外界大量信息中快速选择有关信息并拒绝无用信息的一种心理调节机制，也是人类视觉感知过程中高效性和可靠性的保障。视觉注意凭借对图像自身信息的分析，能够快速提取显著区域，而这些显著区域往往具有某些显著特征，采用适用于该特征的匹配方法进行图像匹配，这些显著区将具有较好的匹配性能。因此，视觉显著区与景象匹配视觉导航的适配区具有一定的一致性，通过引入视觉注意计算，能够对适配性分析提供一定的指导意义。与传统方法相比，基于视觉注意模型的景象匹配适配性分析在精确性、可靠性和鲁棒性方面均具有较大优势。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于多特征整合视觉注意模型的景象匹配适配性分析方法。

技术方案

一种基于多特征整合视觉注意模型的景象匹配适配性分析方法，其内容包括以下步骤：

步骤1、色彩、强度、方向的特征关注图提取；

色彩通道的关注图提取：设广义调谐的红色、绿色、蓝色和黄色分别记为R、G、B和Y，在这些通道分别产生输入图像的金字塔式特征图，即R(σ)、G(σ)、B(σ)和Y(σ)；设c为高分辨率尺度，s为低分辨率尺度，δ为二者的尺度差值，中央–周边差异操作记为“

”，在色彩通道的红绿、黄蓝两个子通道分别可以得到6张特征映射图，即

和

经过归一化运算N和跨尺度的点对点特征图取和操作

，可以得到色彩通道的关注图，即 $\stackrel{\‾}{C}=\underset{c-2}{\overset{4}{\⊕}}\underset{s-c+3}{\overset{c+4}{\⊕}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)];$

强度通道的关注图提取：强度可按I=(r+g+b)/3计算，产生强度通道的金字塔式特征图，记为I(σ)；利用中央–周边差异操作，获得强度特征的映射图，即其中，c={2,3,4}，s=c+δ，且δ∈{3,4}；经过归一化运算N和跨尺度的点对点特征图取和操作

，可以得到强度通道的关注图，即 $\stackrel{\‾}{I}=\underset{c-2}{\overset{4}{\⊕}}\underset{s-c+3}{\overset{c+4}{\⊕}}N\left(I(c,s)\right);$

方向通道的关注图提取：利用不同方向的Gabor滤波器与强度特征图I(σ)进行卷积，得到方向通道的多尺度金字塔O(σ，θ)，其中，方向参数取为θ∈{0°，45°，90°，135°}；利用中央–周边差异操作，得到方向通道的特征映射图，即

其中，c={2,3,4}，s=c+δ，且δ∈{3,4}；经过归一化运算N和跨尺度的点对点特征图取和操作

，可以得到方向特征通道的关注图，即

步骤2、SURF特征关注图提取：

SURF通道的特征图提取。提取不同尺度图像的SURF特征图，对于尺度σ空间中每个像素位置(i,j)，其SURF特征用Surf(i，j，σ)表示：当位置(i,j)处存在SURF特征点时，有Surf(i,j,σ)＝1；当位置(i,j)处存在SURF特征点时，有Surf(i,j,σ)＝0；遍历金字塔每个尺度空间的图像的所有像素位置，得到SURF通道的特征图

尺度参数为σ∈[0，…，8]，i＝1,…，m；j＝1，…，n，m和n分别为以像素为单位的图像的长和宽；

SURF通道的关注图提取。首先，将SURF特征图S(σ)调整为与色彩特征通道的关注图具有同样的图像尺寸；然后，通过跨尺度的特征图整合获得SURF特征通道的关注图

，这一操作实际计算的是跨尺度的SURF特征密度，即计算某像素位置(i,j)处各个尺度SURF

特征图中SURF特征点的总个数，则SURF特征通道的关注图

可以按照式 $\stackrel{\‾}{S}=\underset{\mathrm{\σ}-0}{\overset{8}{\mathrm{\Σ}}}S\left(\mathrm{\σ}\right)$ 计算；

步骤3、基于视觉显著图的景象匹配适配性分析：

A、视觉显著图计算。首先对强度、色彩、方向和SURF通道的关注图进行归一化处理N；然后，将四个特征通道的关注图进行加权融合，得到输入图像的视觉显著图S，即有 $S=\frac{1}{4}(N\left(\stackrel{\‾}{I}\right)+N\left(\stackrel{\‾}{C}\right)+N\left(\stackrel{\‾}{O}\right)+N\left(\stackrel{\‾}{S}\right));$

B、视觉显著区域提取。通过输入图像各个区域在视觉显著图中的幅值之间相互“竞争”，幅值大的区域优先吸引注意焦点成为显著区；通过“抑制”当前显著区域，使注意力转向下一个幅值最大的区域，成为下一个显著区；重复竞争和抑制两步，直至找不到新的显著区为止，从而完成对图像所有视觉显著区域的提取；

C、基于视觉显著图的景象匹配适配性分析，将需要进行景象匹配适配性分析的图像作为输入图像，完成视觉显著图计算和视觉显著区域提取；将这些显著区作为景象匹配适配区，此外，将显著图中显著性幅值的大小作为评价区域适配性能优劣的参考，可以辅助进行适配性分析。

有益效果

本发明提出的一种基于多特征整合视觉注意模型的景象匹配适配性分析方法，，可以有效提高适配区提取的可靠性和景象匹配的精确性。本发明方案与传统方法相比，充分利用了视觉注意感知环境的高效性和可靠性，并在传统视觉注意模型中加入SURF不变特征，通过跨尺度特征图整合并与色彩、强度和方向等特征融合后构建多特征融合视觉注意模型，基于该模型对实时图提取显著区作为适配区域，能够有效提高适配性分析的可靠性，对于景象匹配实际工程应用具有非常重要的意义。

附图说明

图1为MFF-VAM ASA的框架流程图

具体实施方式

现结合实施例、附图对本发明作进一步描述：

以下对本发明方法作进一步具体的描述，具体流程如图1所示。

1、强度、色彩、方向和SURF通道的特征图提取

设r、g、b分别代表输入图像的红色、绿色和蓝色的值，其强度信息I可通过下式计算：

I=(r+g+b)/3    (1)

定义广义调谐的红色、绿色、蓝色和黄色，分别用字母R、G、B和Y表示，即：

R=r–(g+b)/2    (2)

G=g–(r+b)/2    (3)

B=b–(r+g)/2    (4)

Y=(r+g)/2–|r–g|/2–b    (5)

利用高斯金字塔对I、R、G、B和Y通道分别进行逐层低通滤波和下采样处理，在每个通道产生9个尺度的金字塔式特征图，即从1：1（第0层）到1：256（第8层）尺度。

1)强度通道I的多尺度金字塔式特征图用I(σ)表示，其中，尺度参数为σ∈[0，…，8]；

2)色彩通道包括R、G、B和Y四个子通道，其相应的多尺度金字塔式特征图分别用R(σ)、G(σ)、B(σ)和Y(σ)来表示，其中，尺度参数为σ∈[0，…，8]。

3)方向通道O的特征图可以采用Gabor滤波器获得，利用不同方向的Gabor滤波器与不同尺度强度通道的特征图I(σ)进行卷积，可以得到方向通道的多尺度金字塔O(σ，θ)，其中，尺度参数为σ∈[0，…，8]，Gabor滤波器的方向参数为θ∈{0°，45°，90°，135°}，代表Gabor滤波器所取的4个不同的方向角。

4)为了在视觉注意模型中引入SURF特征通道，需要产生9个尺度空间上的SURF金字塔，为此，提取不同尺度图像的SURF特征图，对于尺度σ空间中每个像素位置(i,j)，其SURF特征用Surf(i，j，σ）表示，定义

遍历金字塔每个尺度空间的图像的所有像素位置，即可得到SURF通道的特征图S(σ)，即

S(σ)＝Surf(i,j,σ)i＝1，…，m；j＝1，…，n    (7)

其中，m和n分别为以像素为单位的图像的长和宽。

2、强度、色彩和方向的特征映射图提取

利用中央–周边差异操作，可以完成强度、色彩和方向的特征映射图的提取，具体实施方法如下：

1)设c表示图像金字塔的高分辨率尺度，s表示图像金字塔的低分辨率尺度，δ表示高分辨率和低分辨率图像的尺度差值，三者的取值范围均为尺度参数取值范围σ∈[0，…，8]的子集，为分析方便，取c={2,3,4}，s=c+δ，δ∈{3,4}。定义某个像素的中央（高分辨率图像层）和周边（低分辨率图像层）的点对点的取差用符号“”来表示，即中央–周边差异操作，在强度通道获得6张特征映射图，即

其中，c={2,3,4}，s=c+δ，且δ∈{3,4}，不同c和s的取值组合共有6组。

2)同理，在色彩通道的红绿和黄蓝两个子通道分别可以得到6张特征映射图RG(c，s)和BY(c，s)，即

和

3)同理，在Gabor滤波器四个不同方向可以分别得到6张方向通道的特征映射图，即

3、强度、色彩、方向和SURF通道的特征关注图提取

不同特征通道对图像的关注方面不同，其对应的特征映射图具有不同的幅值范围并且不同通道的特征映射图其对应的显著位置的数目也不同，可能出现某个特征映射图中有多个显著位置，而有的特征映射图可能只有一个比较微弱的显著位置。因此，要在这些难以比较的特征映射图中找到最终的显著区域，需要采用归一化运算进行处理，记为N，该过程可以分为3个步骤：

l)将所有特征映射图归一化到统一固定的范围[0,…,M]，以便消除各个特征通道之间存在的幅度差异；

2)找到每个特征映射图的全局最大值M，并计算其它所有局部最大值的均值

；

3)每个特征映射图的幅值乘以

经过上述归一化运算N和跨尺度的点对点特征图取和操作

，可以得到强度、色彩、方向特征通道的关注图，即

$\stackrel{\‾}{I}=\underset{c-2}{\overset{4}{\⊕}}\underset{s-c+3}{\overset{c+4}{\⊕}}N\left(I(c,s)\right)---\left(12\right)$

$\stackrel{\‾}{C}=\underset{c-2}{\overset{4}{\⊕}}\underset{s-c+3}{\overset{c+4}{\⊕}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)]---\left(13\right)$

由于同一尺度空间内色彩、强度和方向特征通道的关注图具有相同的图像尺寸，为了得到同样尺寸的SURF特征关注图，需要首先将SURF特征图S(σ)调整为与上述三个特征通道的关注图具有同样的图像尺寸，然后，通过跨尺度的特征图整合获得SURF特征通道的关注图

。这一操作实际计算的是跨尺度的SURF特征密度，即计算某像素位置(i,j)处各个尺度SURF特征图中SURF特征点的总个数，则SURF特征通道的关注图

可以按照下式计算

$\stackrel{\‾}{S}=\underset{\mathrm{\σ}-0}{\overset{8}{\mathrm{\Σ}}}S\left(\mathrm{\σ}\right)---\left(15\right)$

4、视觉显著图计算及显著区提取

为了使强度、色彩、方向和SURF通道的特征关注图具有可比性，首先需要对这四个特征通道的关注图进行归一化处理N；然后，将强度、色彩、方向和SURF通道的关注图进行加权融合，可以得到MFF-VAM模型的显著图S，即有

$S=\frac{1}{4}(N\left(\stackrel{\‾}{I}\right)+N\left(\stackrel{\‾}{C}\right)+N\left(\stackrel{\‾}{O}\right)+N\left(\stackrel{\‾}{S}\right))---\left(16\right)$

通过图像各个区域在显著图中的幅值（即显著性）之间相互竞争，幅值大的区域优先吸引注意焦点成为显著区；然后，通过返回抑制机制抑制当前显著区域，使注意力转向下一个幅值最大的区域，成为下一个显著区；重复上一步，直至找不到新的显著区为止，从而完成对图像所有显著区域的提取。

5、景象匹配适配性分析

将需要进行景象匹配适配性分析的图像作为输入图像，按照步骤1～4，基于视觉注意模型完成输入图像显著区的提取，如图1所示。

由于所提取的显著区在强度、色彩、方向或SURF特征上具有显著性，采用适用于相应特征的匹配方法进行图像匹配时，这些显著区将具有较好的匹配性能。因此，可以将这些显著区作为景象匹配适配区，此外，将显著图中显著性幅值的大小作为评价区域适配性能优劣的参考，可以辅助进行适配性分析。

Claims (1)

1.一种基于多特征整合视觉注意模型的景象匹配适配性分析方法，其内容包括以下步骤：

步骤1、色彩、强度、方向的特征关注图提取；

色彩通道的关注图提取：设广义调谐的红色、绿色、蓝色和黄色分别记为R、G、B和Y，在这些通道分别产生输入图像的金字塔式特征图，即R(σ)、G(σ)、B(σ)和Y(σ)；设c为高分辨率尺度，s为低分辨率尺度，δ为二者的尺度差值，中央–周边差异操作记为“

”，在色彩通道的红绿、黄蓝两个子通道分别可以得到6张特征映射图，即

和

经过归一化运算N和跨尺度的点对点特征图取和操作

，可以得到色彩通道的关注图，即 $\stackrel{\‾}{C}=\underset{c-2}{\overset{4}{\⊕}}\underset{s-c+3}{\overset{c+4}{\⊕}}[N\left(\mathrm{RG}(c,s)\right)+N\left(\mathrm{BY}(c,s)\right)];$

强度通道的关注图提取：强度可按I=(r+g+b)/3计算，产生强度通道的金字塔式特征图，记为I(σ)；利用中央–周边差异操作，获得强度特征的映射图，即

其中，c={2,3,4}，s=c+δ，且δ∈{3,4}；经过归一化运算N和跨尺度的点对点特征图取和操作，可以得到强度通道的关注图，即 $\stackrel{\‾}{I}=\underset{c-2}{\overset{4}{\⊕}}\underset{s-c+3}{\overset{c+4}{\⊕}}N\left(I(c,s)\right);$

方向通道的关注图提取：利用不同方向的Gabor滤波器与强度特征图I(σ)进行卷积，得到方向通道的多尺度金字塔O(σ，θ），其中，方向参数取为θ∈{0°，45°，90°，135°}；利用中央–周边差异操作，得到方向通道的特征映射图，即

其中，c={2,3,4}，s=c+δ，且δ∈{3,4}；经过归一化运算N和跨尺度的点对点特征图取和操作

，可以得到方向特征通道的关注图，即

步骤2、SURF特征关注图提取：

SURF通道的特征图提取。提取不同尺度图像的SURF特征图，对于尺度σ空间中每个像素位置(i,j)，其SURF特征用Surf(i，j，σ)表示：当位置(i,j)处存在SURF特征点时，有Surf(i,j,σ)＝1；当位置(i,j)处存在SURF特征点时，有Surf(i,j,σ)＝0；遍历金字塔每个尺度空间的图像的所有像素位置，得到SURF通道的特征图

尺度参数为σ∈[0，…，8]，i＝1,…，m；j＝1，…，n，m和n分别为以像素为单位的图像的长和宽；

SURF通道的关注图提取。首先，将SURF特征图S(σ)调整为与色彩特征通道的关注图具有同样的图像尺寸；然后，通过跨尺度的特征图整合获得SURF特征通道的关注图

，这一操作实际计算的是跨尺度的SURF特征密度，即计算某像素位置(i,j)处各个尺度SURF

特征图中SURF特征点的总个数，则SURF特征通道的关注图

可以按照式 $\stackrel{\‾}{S}=\underset{\mathrm{\σ}-0}{\overset{8}{\mathrm{\Σ}}}S\left(\mathrm{\σ}\right)$ 计算；

步骤3、基于视觉显著图的景象匹配适配性分析：

A、视觉显著图计算。首先对强度、色彩、方向和SURF通道的关注图进行归一化处理N；然后，将四个特征通道的关注图进行加权融合，得到输入图像的视觉显著图S，即有 $S=\frac{1}{4}(N\left(\stackrel{\‾}{I}\right)+N\left(\stackrel{\‾}{C}\right)+N\left(\stackrel{\‾}{O}\right)+N\left(\stackrel{\‾}{S}\right));$

B、视觉显著区域提取。通过输入图像各个区域在视觉显著图中的幅值之间相互“竞争”，幅值大的区域优先吸引注意焦点成为显著区；通过“抑制”当前显著区域，使注意力转向下一个幅值最大的区域，成为下一个显著区；重复竞争和抑制两步，直至找不到新的显著区为止，从而完成对图像所有视觉显著区域的提取；

C、基于视觉显著图的景象匹配适配性分析，将需要进行景象匹配适配性分析的图像作为输入图像，完成视觉显著图计算和视觉显著区域提取；将这些显著区作为景象匹配适配区，此外，将显著图中显著性幅值的大小作为评价区域适配性能优劣的参考，可以辅助进行适配性分析。