CN101984452B - 灰度图中视觉注意区域转移预测方法 - Google Patents

Abstract

一种灰度图中视觉注意区域转移预测方法，包括四个步骤：确定领导者，寻找追随者，计算显著值，显著值排序。确定领导者是指计算所有像素的侧电位，并根据得到的侧电位和阈值确定像素中的领导者。寻找追随者是指对每一个领导者在所有像素中依据连通性和相似性确定其追随者，形成不同区域，一个区域可能包括多于一个的领导者，但是在实际计算机实施过程中如果一个领导者追随其他领导者则判为追随者。计算显著值是指把已经得到区域分别进行计算，一个区域对应一个显著值。显著值排序是指按照显著值的大小对所有的区域排序并取前三个区域。本发明把人类视觉系统的选择性注意功能成功的引入到计算机视觉系统中，能够模拟和预测人眼视点在不同区域间进行注意转移。

Description

灰度图中视觉注意区域转移预测方法

技术领域

本发明涉及图像处理中的区域分析，特别涉及图像中的显著区域检测并提供灰度图像中视点在极显著的区域间进行转移的预测方法。

背景技术

在人类所有的感觉中，至少有70％的外界信息是通过视觉系统获取的。生物视觉系统，包括人类视觉系统，能自动选择场景中显著的区域进行理解，并在不同的区域间进行切换。从图像或者感受野中提取显著的特征，并把它们分成不同的区域，从中选择显著的区域是感知理解的根本任务。这种能力就是视觉理解中的视觉注意选择。当显著的区域被选择之后，由于视觉系统的适应性，注意力会从当前显著的区域转到下一个显著的区域，这是注意转移。视觉注意选择和视觉注意转移是保证生物系统以有限的处理能力完成任务的重要机制。人眼处理视觉图像时可以在很短的时间内轻松的进行感知和理解，并且实现从一个显著的区域转移到下一个显著的区域。现代高速计算机的计算能力已达到惊人的程度，但计算机视觉系统却无法指导诸如过马路之类对人来说非常简单的视觉任务。这主要是因为同样面对海量的视觉信息输入，人眼可以在短时间内有选择地关注视觉场景中的显著变化区域，并进行分析判断，从而适应环境的变化。而计算机视觉系统只会不加选择地平等对待视觉场景中的各个区域，在无法理解场景变化的同时还会造成计算瓶颈。如果我们把人类视觉系统的选择性注意功能引入到计算机视觉系统中，势必会提升现有计算机图像分析效率。

如果能够将这种机制引入图像分析领域，将计算资源优先分配给那些容易引起观察者注意的显著区域，必将极大地提高现有图像分析方法的工作效率。图像的视觉显著性区域检测有着广泛的应用，如图像智能裁剪缩放。当我们需要对一幅图像进行裁剪或缩放时，总希望保持图像中有意义的内容不被裁掉或扭曲，而只是对那些不重要的背景区域进行处理。如果我们使用某一个设备自动实现上述功能，就需要首先对一幅图像中各个区域的视觉显著程度进行判断从而确定图像中有意义的内容。但目前提出的方法大多计算复杂度高，耗费计算资源巨大，对大多数工程应用来说不够实用。

在有关视觉显著性程度检测的文献中，视觉显著区域通常被定义为那些在图像特征空间上具有全局稀有性的局部图像块。这种定义的一种常见实现方法是：把图像切分成若干个图像块，然后计算每个图像块相对其他所有图像块的不相似度，最后那些具有较高不相似度的图像块被认为是比较显著的区域。其中不相似度的比较方法可以是比较两个图像块在颜色、朝向、纹理等特征上的对比度。还有一种定义认为与邻域对比比较大的区域是比较显著的区域。这种定义的实现方式和上述全局稀有性定义的主要区别在于每个图像块之和它周围的图像块比较不相似度，而不是和当前图像中的所有图像块。这种定义最常见的一种实现是中央-周边机制，即中央和周边差异大的区域是显著区域。

目前大多数文献显示，现有显著性检测方法主要是像素级的检测方法，这些方法在没有对图像主要区域进行划分的前提下，计算每个像素的显著程度，因此，在这些方法得到的显著图上进行区域间的视点转移是很困难的。相关研究表明，人的视点存在在不同区域间进行的转移的情况，而一个物体通常是一个有意义区域。现有的基于像素的视点转移方法无法体现人的这一视觉特点。

发明内容

本发明的目的在于，通过提供一种基于区域增长的视觉注意区域转移预测方法，预测人眼在观察灰度图像时从一个显著性区域到另一个区域的过程，并构建感受野中注意转移预测系统。

本发明灰度图中视觉注意区域转移预测方法，是采用以下技术手段实现的，主要包含4个步骤：

步骤1、寻找一幅灰度图像所有像素中的领导者。首先对一幅图像中的所有像素计算其八邻域的像素对其产生的侧电势。像素j对像素i侧电势Lateral(i，j)计算公式如(1)所示。

$\mathrm{Lateral}(i,j)=\frac{I_M}{1+|I_j-I_i|},j\∈N\left(i\right)---\left(1\right)$

其中Lateral(i，j)表示像素j对像素i的侧电势，N(i)表示像素i的八邻域，像素j是像素i的八邻域中的像素，I_M＝255，I_i和I_j分别是像素i和j的灰度值。一个像素的侧电势定义为L(i)，计算方法如公式(2)所示。

$L\left(i\right)=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{Lateral}(i,j),j\∈N\left(i\right)---\left(2\right)$

其中Lateral(i，j)表示像素j对像素i的侧电势，N(i)表示像素i的八邻域，像素j是像素i的八邻域中的像素。通过公式(2)计算出所有像素的侧电势L(i)，如果L(i)＞θ，则认为像素i是领导者像素，反之则认为不是领导者像素，计算过程如图2所示。

步骤2、寻找领导者像素的追随者并形成不同区域。初始需要设定当前块数为C＝1。按照图像中自上而下自左至右的顺序从每个领导者出发，首先判断该领导者有没有被标记，若被标记则跳过；若未标记则标记为C，从该领导者出发找出其八邻域中的所有与之相似的像素，放到一个先进先出的队列Q中，并将这些像素标记为C。从队列中取出一个像素，找到该像素的八邻域中与当前领导者相似的像素，并把这些像素送入队列Q中。判断两个像素是否相似主要依据公式(3)。

|I_i-I_j|＜α                (3)

其中I_i和I_j分别是像素i和j的灰度值，α是一个阈值。当队列为空时，表示某个领导者像素的追随者已经全部标记为C，此时需要把C加1，进入下一个领导者寻找追随者的过程。领导者寻找其追随者的过程如图3所示。根据标记C的不同，最后形成R₁，R₂，……，R_n共n个区域。

步骤3、计算不同区域的显著值。有R₁，R₂，……，R_n共n个区域，对于第i个区域，它的显著值A_i定义为公式(4)，第i个区域的平均灰度值R_i计算公式为公式(5)。

$A_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|R_i-R_j|---\left(4\right)$

$R_i=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{I}_k}{M}---\left(5\right)$

其中R_i表示第i个区域的平均灰度值，M表示第i个区域中的像素总数，I_k表示第k个像素的灰度值。

步骤4、根据显著值大小排序并找出前3个显著性区域。显著值大的为首先关注的区域，由于在第二步中会找出很多领导者，一般会形成很多区域，但目前认为显著值比较大的前三个区域是可靠的。

所述的八邻域为像素的上方、下方、左方、右方，以及左上方、右上方、左下方、右下方八个方向上一个像素宽度所构成的区域。

本发明灰度图中视觉注意区域转移预测方法，与现有技术相比，具有以下明显的优势和有益效果：

本发明把人类视觉系统的选择性注意功能成功的引入到计算机视觉系统中，预测人眼在观察灰度图像时从一个显著性区域到另一个区域的过程，并构建感受野中注意区域转移预测系统，有利于对图像进一步进行分析和物体识别，对计算机视觉有推动作用。并且本方法计算复杂度小，容易实施。

附图说明

图1灰度图中视觉注意区域转移预测方法主流程图；

图2计算领导者流程图；

图3从领导者出发寻找追随者流程图。

具体实施方式

以下结合附图对本发明的具体实施方式加以说明。本发明仅限于对灰度图像进行处理，处理的图像为已经获得的各种自然场景或者人造图像。

请参阅图1、图2、图3所示，本发明分为4个步骤，1)计算一幅灰度图像中所有像素的侧电位，根据已经得出的侧电位和阈值得到领导者；2)每个领导者找到它的追随者，并形成不同区域。一个区域可能包括多于一个的领导者，但是在实际计算机实施过程中如果一个领导者追随其他领导者则判其为追随者；3)对每个区域计算显著值；4)依据显著值的不同对前三个显著区域进行显示，现阶段认为前三个显著区域是可靠的。该方法总的流程图如图1所示。接下来具体说明四个步骤的实施细则。

步骤1、寻找一幅灰度图像所有像素中的领导者。首先对一幅图像中的所有像素计算其八邻域的像素对其产生的侧电势。像素j对像素i侧电势Lateral(i，j)计算公式如(1)所示。

$\mathrm{Lateral}(i,j)=\frac{I_M}{1+|I_j-I_i|},j\∈N\left(i\right)---\left(1\right)$

其中Lateral(i，j)表示像素j对像素i的侧电势，N(i)表示像素i的八邻域，像素j是像素i的八邻域中的像素，I_M＝255，I_i和I_j分别是像素i和j的灰度值。一个像素的侧电势定义为L(i)，如公式(2)所示。

$L\left(i\right)=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{Lateral}(i,j),j\∈N\left(i\right)---\left(2\right)$

计算出所有像素的侧电势L(i)，如果L(i)＞θ，则认为像素i是领导者像素，反之则认为不是领导者像素。根据公式(2)的定义，L(i)的取值范围为7.9688≤L(i)≤2040，因此阈值θ的范围也与L(i)的取值范围相同，一般实施过程中θ＞1200即可。寻找像素领导者的过程如图2所示。

步骤2、寻找领导者像素的追随者并形成不同区域。设定当前块数为C＝1。按照图像中自上而下自左至右的顺序从每个领导者出发，首先判断该领导者有没有被标记，若被标记则跳过；若未标记则标记为C，从该领导者出发找出其八邻域中的所有与之相似的像素，放到一个先进先出的队列Q中，并将这些像素标记为C。从队列中取出一个像素，找到该像素的八邻域中与当前领导者相似的像素，并把这些像素送入队列Q中。判断两个像素是否相似主要依据公式(3)。

|I_i-I_j|＜α                        (3)

其中I_i和I_j分别是像素i和j的灰度值，α是一个阈值，根据人眼对灰度值的敏感程度，一般取α≥25。当队列为空时，表示某个领导者像素的追随者已经全部标记为C，此时需要把C加1，进入下一个领导者寻找追随者的过程。领导者寻找其追随者的过程如图3所示。根据标记C的不同，最后形成R₁，R₂，……，R_n共n个区域。

步骤3、计算不同区域的显著值。有R₁，R₂，……，R_n共n个区域，对于第i个区域，它的显著值A_i定义为公式(4)，第i个区域的平均灰度值R_i计算公式为公式(5)。

$A_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|R_i-R_j|---\left(4\right)$

$R_i=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{I}_k}{M}---\left(5\right)$

其中R_i表示第i个区域的平均灰度值，M表示第i个区域中的像素总数，I_k表示第k个像素的灰度值。

步骤4、根据显著值大小排序并找出前三个显著性区域。显著值大的为首先关注的区域，由于在第二步中会找出很多领导者，一般会形成很多区域，但目前认为显著值比较大的前三个区域是可靠的。

最后应说明的是：以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种灰度图中视觉注意区域转移预测方法，包括：计算一幅灰度图像中所有像素的侧电势，根据已经得出的侧电势和阈值得到领导者；每个领导者找到它的追随者，并形成不同区域；对每个区域计算显著值；依据显著值的不同对前三个显著区域进行显示；其特征在于包括：

步骤1、对一幅灰度图像中的所有像素计算其八邻域内的像素对其产生的侧电势；像素j对像素i侧电势Lateral(i，j)计算公式为：

$\mathrm{Lateral}(i,j)=\frac{I_M}{1+|I_j-I_i|},j\∈N\left(i\right)---\left(1\right)$

其中Lateral(i，j)表示像素j对像素i的侧电势，N(i)表示像素i的八邻域，像素j是像素i的八邻域中的像素，I_M＝255，I_i和I_j分别是像素i和j的灰度值，一个像素的侧电势定义为L(i)，如公式为：

$L\left(i\right)=\underset{j=1}{\overset{8}{\mathrm{\Σ}}}\mathrm{Lateral}(i,j),j\∈N\left(i\right)---\left(2\right)$

计算出所有像素的侧电势L(i)，如果L(i)＞θ，则认为像素i是领导者像素，反之则认为不是领导者像素；

上述的θ为阈值，与L(i)的取值范围相同；

步骤2、寻找领导者像素的追随者并形成不同区域，设定当前块数为C＝1，按照图像中自上而下自左至右的顺序从每个领导者出发；

首先判断该领导者有没有被标记，若被标记则跳过；

若未标记则标记为C，从该领导者出发找出其八邻域中的所有与之相似的像素，放到一个先进先出的队列Q中，并将这些像素标记为C；

从队列Q中取出一个像素，找到该像素的八邻域中与当前领导者相似的像素，并把这些像素送入队列Q中，判断两个像素是否相似主要依据公式为：

|I_i-I_j|＜α            (3)

其中I_i和I_j分别是像素i和j的灰度值，α是一个阈值；

当队列为空时，表示某个领导者像素的追随者已经全部标记为C，此时需要把C加1，进入下一个领导者寻找追随者的过程；根据标记C的不同，最后形成R₁，R₂，……，R_n共n个区域；

步骤3、计算不同区域的显著值，有R₁，R₂，……，R_n共n个区域，对于第i个区域，它的显著值A_i定义为公式(4)，第i个区域的平均灰度值R_i计算公式为公式(5)；

$A_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}|R_i-R_j|---\left(4\right)$

$R_i=\frac{\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{I}_k}{M}---\left(5\right)$

其中R_i表示第i个区域的平均灰度值，M表示第i个区域中的像素总数，I_k表示第k个像素的灰度值；

步骤4、根据显著值大小排序所有区域并找出前三个显著性区域，显著值大的为优先关注的区域。

Images