CN102521845A - 基于图论的视觉注意焦点转移轨迹规划方法 - Google Patents

Abstract

一种基于图论的视觉注意焦点转移轨迹规划方法，从输入的彩色图像中提取多幅初级特征图；分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；对图像进行区域分割，生成区域分割图；根据区域分割图结合显著图确定注意焦点；计算任意两个注意焦点间的连接损失代价；利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点转移轨迹；在输入图像上显示出注意焦点转移轨迹。本发明使得规划轨迹能较好地遵循人眼注意焦点转移规律；能较好地调和“顺序性”和“邻近优先性”这两条存在冲突的原则，使算法具有广泛的适用性；达到在尽可能少的注意焦点数条件下搜寻出更多的图像信息；将为进一步揭示人眼的视觉注意机理提供重要线索。

Description

基于图论的视觉注意焦点转移轨迹规划方法

技术领域

本发明涉及一种视觉注意焦点转移轨迹规划方法。特别是涉及一种注意焦点的确定及视线转移轨迹规划的基于图论的视觉注意焦点转移轨迹规划方法。

背景技术

人类视觉系统能将有限的计算和存储资源优先分配给场景中少数的显著或感兴趣区域，从而很好地解决了视觉信息处理中的“瓶颈问题”(视网膜感受器所提供的信息量远大于视觉系统的存储容量)，这种特异性称为视觉系统的注意机制。如果能将这种机制引入图像分析或机器视觉领域，将极大地提升图像及视频信息的处理效率。受人类视觉系统信息加工过程启发，并借鉴最新的神经生理学和解剖学的实验结果，研究人员提出了多种视觉注意机制计算模型，其中Itti的计算模型最具代表性(期刊：IEEE Transactions on Pattern Analysis andMachine Intelligence；著者：Itti L，Koch C，Niebur E；出版年月：1998年；文章题目：A model of saliency-based visual attention for rapid scene analysis，页码：1254-1259)。

视觉注意机制的建模主要包括两个环节即注意焦点的确定及视线转移轨迹规划。在注意焦点的确定方面，目前相关的研究成果较多。但在注意焦点转移轨迹规划方面，相关研究成果较少，目前广泛采用的是Itti等人提出的“胜者为王”神经网络(Winner-Take-All NeuralNetwork)方法。1990年Zabrodsky在其研究报告中指出人眼注意焦点的转移通常遵循如下几条规律：

1)顺序性：注意焦点按照显著度强弱次序由一个位置向另一个位置转移；

2)排他性：同一时间只能存在一个注意焦点；

3)邻近优先性：注意焦点转移时倾向于选择与当前注意焦点接近的位置；

4)返回抑制性：注意焦点转移时抑制返回已被选择过的注意焦点；

实验测试发现，多数情况下Itti的WTA方法并未很好地遵循目前已知的人眼注意焦点转移规律。进一步研究发现，注意焦点转移规律中的“排他性原则”和“返回抑制性”较容易实现，但多数情况下“顺序性原则”和“邻近优先性原则”存在一定的冲突，如何调和上述两条原则，至今尚没有很好地解决方案。

发明内容

本发明所要解决的技术问题是，提供一种能较好地遵循已知的人眼注意焦点转移规律，特别是能较好地调和“顺序性”和“邻近优先性”这两条存在冲突的原则的基于图论的视觉注意焦点转移轨迹规划方法。

本发明所采用的技术方案是：一种基于图论的视觉注意焦点转移轨迹规划方法，包括如下步骤：

1)从输入的彩色图像中提取多幅初级特征图；

2)分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；

3)对输入的彩色图像进行区域分割，生成区域分割图；

4)根据区域分割图结合显著图确定注意焦点；

5)计算任意两个注意焦点间的连接损失代价；

6)利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹；

7)在输入图像I(x，y)上显示出注意焦点的转移轨迹。

步骤1所述的初级特征图包括有灰度图、红绿对比图和蓝黄对比图。

步骤2所述的生成显著图包括如下过程：首先，生成一幅和输入图像I(x，y)等大小的显著图S(x，y)，初始化显著图的所有像素值为0；然后，对图像进行逐行扫描，如某一像素位置检测到关键点，利用该关键点尺度信息确定局部高信息区域范围，将区域内的各像素位置的显著值增加1，区域外的统计权重不做调整保留原值，扫描结束后即可获得显著图。

步骤3所述的对输入的彩色图像进行区域分割，生成区域分割图，是采用JSEG分割算法对输入图像I(x，y)进行分割，获得区域分割图R(x，y)。

步骤4所述的根据区域图结合显著图确定注意焦点，是在区域图中结合显著图，可以找到每一个区域内的最大显著值位置，如果区域内最大显著值小于全局最大显著值的五分之一，我们认为该区域不存在注意焦点，否则将区域最大显著值位置作为候选注意焦点，如果候选注意焦点之间的欧式距离过小，那么它们很可能指向同一目标物，因此应该将这些候选注意焦点剔除。

步骤5所述的计算任意两个注意焦点间的连接损失代价，采用如下计算公式：

$F_{\mathrm{\β}}(i,j)=\frac{({\mathrm{\β}}^2+1)P(i,j)R(i,j)}{{\mathrm{\β}}^{2}P(i,j)+R(i,j)},(0\≤\mathrm{\β}\≤+\∞)---\left(4\right)$

其中，F_β(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的损失代价，P(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的距离(轨迹长度)损失因子，R(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的显著度排序损失因子，P(i，j)和R(i，j)计算公式如下：

$P(i,j)=\frac{d(i,j)}{\max \_\mathrm{dist}}=\frac{\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}}{\max \_\mathrm{dist}}---\left(5\right)$

$R(i,j)=\frac{|S_i-S_j|}{\mathrm{num}-1}---\left(6\right)$

其中，d(i，j)是两个注意焦点(x_i，y_i)和(x_j，y_j)之间的欧式距离，max_dist表示所有的注意焦点之间距离最大值，num表示注意焦点的总个数，S_i、S_j分别表示两个注意焦点(x_i，y_i)和(x_j，y_j)的显著度排序值，定义显著度最大的注意焦点排序值为num，次大的为num-1，依次类推显著度最小的为1。

步骤6所述的利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹是，首先，选择最显著的注意焦点作为视线轨迹的起始点，然后将连接损失代价作为路径优化准则，利用改进的哈密尔顿路径寻优算法规划其它注意焦点的转移轨迹。

本发明的基于图论的视觉注意焦点转移轨迹规划方法，主要优点及特色体现在如下几方面：

1、本发明巧妙地将注意焦点转移轨迹规划问题转化为哈密尔顿(Hamilton)路径寻优问题来解决，使得规划轨迹能较好地遵循人眼注意焦点转移规律；

2、本发明提出的连接损失代价能较好地调和“顺序性”和“邻近优先性”这两条存在冲突的原则，其中β参数的大小可以根据实际应用情况来调节距离和显著度排序这两个因素的重要程度，使得算法具有广泛的适用性。

3、本发明提出在显著图基础上结合图像分割确定注意焦点策略，尽量避免同一物体或一个区域被多次注意，从而达到在尽可能少的注意焦点数条件下搜寻出更多的图像信息。

4、本发明规划的注意焦点转移轨迹与实际人眼的注意焦点转移轨迹进行对比研究，将为进一步揭示人眼的视觉注意机理提供重要线索。

附图说明

图1是本发明基于图论的视觉注意焦点转移轨迹规划方法的流程图；

图2是本实施例选取的原始图像效果图；

图3是由图2效果图生成的显著图；

图4是对图2效果图进行区域分割的效果图；

图5是图2的注意焦点的效果图；

图6本发明注意焦点转移轨迹效果图与Itti模型的视线转移轨迹效果图的对比，其中，

左侧图a1、a2、a3、a4是采用本发明得到的不同场景的视线转移轨迹效果图；右侧图b1、b2、b3、b4是采用Itti模型得到的不同场景的视线转移轨迹效果图。

具体实施方式

下面结合实施例和附图对本发明的基于图论的视觉注意焦点转移轨迹规划方法做出详细说明。

基于图论的视觉注意焦点转移轨迹规划方法，如图1所示，包括如下步骤：

1)从输入的彩色图像中提取多幅初级特征图；

所述的初级特征图包括有提取的初级特征图有灰度图(见式(1))、红绿对比图(见式(2))和蓝黄对比图(见式(3))，具体计算公式如下：

$M_I(x,y)=\frac{R(x,y)+G(x,y)+B(x,y)}{3}---\left(1\right)$

M_RG(x，y)＝|R(x，y)-G(x，y)|                              (2)

M_BY(x，y)＝|B(x，y)-min(R(x，y)，G(x，y))|                (3)

2)分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；

每一个关键点的邻域存在一个相应的重要信息区，关键点位置为该信息区的中心，对应的尺度信息可确定该信息区所覆盖的范围。利用关键点的位置和尺度信息生成显著图包括如下过程：首先，生成一幅和输入图像I(x，y)等大小的显著图S(x，y)，初始化显著图的所有像素值为0；然后，对图像进行逐行扫描，如某一像素位置检测到关键点，利用该关键点尺度信息确定局部高信息区域范围，将区域内的各像素位置的显著值增加1，区域外的统计权重不做调整保留原值，扫描结束后即可获得显著图。图3为本实施例的显著图的效果图。

3)对输入的彩色图像进行区域分割，生成区域分割图；

所述的对输入的彩色图像进行区域分割，生成区域分割图，是采用JSEG分割算法对输入图像I(x，y)进行分割，获得区域分割图R(x，y)。图4为本实施例的区域分割图的效果图。

4)根据区域分割图结合显著图确定注意焦点；

所述的根据区域分割图结合显著图确定注意焦点，是在区域分割图中结合显著图，可以找到每一个区域内的最大显著值位置，如果区域内最大显著值小于全局最大显著值的五分之一，我们认为该区域不存在注意焦点，否则将区域最大显著值位置作为候选注意焦点，如果候选注意焦点之间的欧式距离过小，那么它们很可能指向同一目标物，因此应该将这些候选注意焦点剔除。图5为本实施例的注意焦点的效果图。

5)计算任意两个注意焦点间的连接损失代价；

为了综合考虑注意焦点转移所遵循的顺序性原则(保持显著度强弱次序原则)和邻近优先性原则(转移轨迹总长度最短原则)，我们定义了注意焦点连接损失代价，其计算公式如下：

$F_{\mathrm{\β}}(i,j)=\frac{({\mathrm{\β}}^2+1)P(i,j)R(i,j)}{{\mathrm{\β}}^{2}P(i,j)+R(i,j)},(0\≤\mathrm{\β}\≤+\∞)---\left(4\right)$

其中，F_β(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的损失代价，P(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的距离(轨迹长度)损失因子，R(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的显著度排序损失因子，P(i，j)和R(i，j)计算公式如下：

$P(i,j)=\frac{d(i,j)}{\max \_\mathrm{dist}}=\frac{\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}}{\max \_\mathrm{dist}}---\left(5\right)$

$R(i,j)=\frac{|S_i-S_j|}{\mathrm{num}-1}---\left(6\right)$

其中，d(i，j)是两个注意焦点(x_i，y_i)和(x_j，y_j)之间的欧式距离，max_dist表示所有的注意焦点之间距离最大值，num表示注意焦点的总个数，S_i、S_j分别表示两个注意焦点(x_i，y_i)和(x_j，y_j)的显著度排序值，定义显著度最大的注意焦点排序值为num，次大的为num-1，依次类推显著度最小的为1。

由连接损失代价的公式(见式(4))可以看出，F_β(i，j)是距离和显著度排序两个因素的调和损失代价，特别强调一点，公式中β参数可根据实际应用中不同任务需求调节上述两个因素的重要程度。当β＝1时，表明两个因素所起的作用相当；当β＞1时，表明显著度排序因素更重要一些；当β＜1时，表明距离因素更重要一些；特别是当β＝0时，表明连接损失代价只与距离因素有关，即F₀(i，j)＝P(i，j)；而当β＞＞1时，可以认为连接损失代价只与显著度排序因素有关。

6)利用改进的基于模拟退火原理的哈密尔顿(Hamilton)路径寻优算法规划注意焦点的转移轨迹；

由于现有的哈密尔顿路径寻优算法优化的依据只是区域之间的距离，因此优化结果仅能满足注意焦点转移的“邻近优先性原则”，多数不满足“顺序性原则”。为此，我们将连接损失代价代替距离作为路径优化准则，使得优化结果很好地调和上述两方面的因素。首先，选择最显著的注意焦点作为视线轨迹的起始点，然后将连接损失代价作为路径优化准则，利用改进的哈密尔顿路径寻优算法规划其它注意焦点的转移轨迹。

7)在输入图像I(x，y)上显示出注意焦点的转移轨迹。

图6给出了本发明注意焦点转移轨迹与Itti模型的视线转移轨迹对比结果的效果图。测试结果表明，本发明方法更好地遵循人眼注意焦点转移规律，特别是能较好地调和“顺序性”和“邻近优先性”这两条存在冲突的原则。

Claims (7)

1.一种基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，包括如下步骤：

1)从输入的彩色图像中提取多幅初级特征图；

2)分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；

3)对输入的彩色图像进行区域分割，生成区域分割图；

4)根据区域分割图结合显著图确定注意焦点；

5)计算任意两个注意焦点间的连接损失代价；

6)利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹；

7)在输入图像I(x，y)上显示出注意焦点的转移轨迹。

2.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，步骤1所述的初级特征图包括有灰度图、红绿对比图和蓝黄对比图。

3.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，步骤2所述的生成显著图包括如下过程：首先，生成一幅和输入图像I(x，y)等大小的显著图S(x，y)，初始化显著图的所有像素值为0；然后，对图像进行逐行扫描，如某一像素位置检测到关键点，利用该关键点尺度信息确定局部高信息区域范围，将区域内的各像素位置的显著值增加1，区域外的统计权重不做调整保留原值，扫描结束后即可获得显著图。

4.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，步骤3所述的对输入的彩色图像进行区域分割，生成区域分割图，是采用JSEG分割算法对输入图像I(x，y)进行分割，获得区域分割图R(x，y)。

5.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，步骤4所述的根据区域图结合显著图确定注意焦点，是在区域图中结合显著图，可以找到每一个区域内的最大显著值位置，如果区域内最大显著值小于全局最大显著值的五分之一，我们认为该区域不存在注意焦点，否则将区域最大显著值位置作为候选注意焦点，如果候选注意焦点之间的欧式距离过小，那么它们很可能指向同一目标物，因此应该将这些候选注意焦点剔除。

6.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，步骤5所述的计算任意两个注意焦点间的连接损失代价，采用如下计算公式：

$F_{\mathrm{\β}}(i,j)=\frac{({\mathrm{\β}}^2+1)P(i,j)R(i,j)}{{\mathrm{\β}}^{2}P(i,j)+R(i,j)},(0\≤\mathrm{\β}\≤+\∞)---\left(4\right)$

其中，F_β(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的损失代价，P(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的距离(轨迹长度)损失因子，R(i，j)为两个注意焦点(x_i，y_i)和(x_j，y_j)连接的显著度排序损失因子，P(i，j)和R(i，j)计算公式如下：

$P(i,j)=\frac{d(i,j)}{\max \_\mathrm{dist}}=\frac{\sqrt{{(x_i-x_j)}^2+{(y_i-y_j)}^2}}{\max \_\mathrm{dist}}---\left(5\right)$

$R(i,j)=\frac{|S_i-S_j|}{\mathrm{num}-1}---\left(6\right)$

其中，d(i，j)是两个注意焦点(x_i，y_i)和(x_j，y_j)之间的欧式距离，max_dist表示所有的注意焦点之间距离最大值，num表示注意焦点的总个数，S_i、S_j分别表示两个注意焦点(x_i，y_i)和(x_j，y_j)的显著度排序值，定义显著度最大的注意焦点排序值为num，次大的为num-1，依次类推显著度最小的为1。

7.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，步骤6所述的利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹是，首先，选择最显著的注意焦点作为视线轨迹的起始点，然后将连接损失代价作为路径优化准则，利用改进的哈密尔顿路径寻优算法规划其它注意焦点的转移轨迹。

Images