CN101866422A - 基于图像的多特征融合提取图像关注度的方法 - Google Patents

Abstract

本发明公开了一种基于图像的多特征融合提取图像关注度的方法，该方法包括其具体步骤如下：(1)输入图像，分别提取每个区域的多个特征；(2)进行多个特征融合，计算区域关注度；(3)通过图像中每个像素点的像素值与每个区域的均值的相近程度，将上述区域关注度转化为图像中每个像素点k的关注度，提取图像关注度。该方法采用多个特征融合，计算区域关注度，不仅能准确地定位人眼关注的位置，而且能准确地凸显关注物体的整个区域和外围轮廓，更满足人眼的视觉要求，并且具有准确度高且实时性好的特点，在机器视觉、对象分割、目标跟踪等领域有很好的应用前景。

Description

基于图像的多特征融合提取图像关注度的方法

技术领域

本发明涉及计算机视觉、图像处理技术领域，具体地说是涉及一种基于图像的多特征融合提取图像关注度的方法。

背景技术

随着信息时代的来临、多媒体技术的飞速发展，信息的传输量日益增多，其中不仅有文字信息和语音信息，也有大量的图像信息和视频信息。人们并不是对图像中的所有内容都是同等重视的，人们最关注的是有用的信息。提取图像关注度，找出图像中人眼关注的位置和对象，是图像分析、模式识别和计算机视觉领域的一个重要问题，同时也是一个难点问题。正如1998年11月L.Itti等人在IEEE《图形分析和机器智能》学刊的第20期，第11篇发表了“一种快速场景分析的基于显著性的视觉注意力模型”一文，该文介绍了视觉注意力模型，它主要用于预测人眼的关注点，但是用上述视觉注意力模型，只能找到最受关注物体的位置而找不出物体的具体形状。2007年刘铁等人在IEEE《CVPR论文集》第1至8页中发表了“学习检测单个显著性物体”一文，该文介绍的“检测单个显著性物体”，是用多个特征描述显著性物体的局部、区域和全局特性，并用条件随机域模型检测显著性物体，虽然能够将显著性物体凸显出来，但是显著性物体的轮廓模糊，不符合人眼感受。

发明内容

本发明的目的在于针对已有技术中存在的缺陷提出一种基于图像的多特征融合提取图像关注度的方法，该方法不仅能够准确地定位人眼关注的位置，而且能准确地凸显关注物体的整个区域和外围轮廓，满足人眼的视觉要求。

为了达到上述目的，本发明所采用的技术方案是：

上述基于图像的多特征融合提取图像关注度的方法，其具体步骤如下：

(1)，输入原始图像，分别提取每个区域的多个特征。

(2)、进行多个特征融合，计算区域关注度。

(3)、通过图像中每个像素点的像素值与每个区域的均值的相近程度，将上述区域关注度转化为图像中每个像素点k的关注度，提取图像关注度。

上述步骤(1)所述的输入原始图像，分别提取每个区域的多个特征，其具体步骤如下：

(1-1)、计算任一区域的均值

将原始图像从RGB颜色空间转换到CIE Lab颜色空间，用Mean Shift算法分割图像，分割后的任一区域i的均值记为

其中，i＝1，2，...，N，N为分割区域的数目；

(1-2)、计算任一区域的中心位置

(1-3)、统计任一区域i与图像边框的相交长度

(1-4)、用Canny算子找出任一区域内的边缘

先用Canny算子找出图像内所有的边缘，然后将任一区域i内的边缘象素组成集合Eⁱ；

上述步骤(2)所述的进行多个特征融合，计算区域关注度，其具体步骤如下：

(2-1)、分别计算任一区域与相邻区域和图像均值的差异性度量

先找出任一区域对应的相邻区域，计算任一区域i与相邻区域的均值的差异性度量，其计算表达式为：

$D_l^i=\underset{j\∈\mathrm{\Θ}}{\mathrm{\Σ}}\frac{L_{i,j}}{C_i}\·d(r_s^i,r_s^j)\·d(r_c^i,r_c^j)---\left(1\right)$

其中，

表示为任一区域i与相邻区域的均值的差异性度量，d(·)表示欧氏距离，Θ表示区域i的相邻区域，L_i，j表示区域i和j的相交长度，C_i表示区域i的周长，r_s表示区域的中心位置，r_c表示区域的均值。

计算任一区域i与图像均值的差异性度量，其计算表达式为：

$D_g^i=\frac{d(r_c^i,m_c)}{\underset{i}{\max }\left(d(r_c^i,m_c)\right)}---\left(2\right)$

其中，

表示为任一区域i与图像均值的差异性度量，m_c表示图像均值。

(2-2)、计算任一区域i内的边缘的差异性度量

计算任一区域i内的边缘的差异性度量，其计算表达式为：

$D_e^i=\frac{\underset{k\∈E^i}{\mathrm{\Σ}}\underset{j\∈{\mathrm{\Θ}}^{\′}}{\mathrm{\Σ}}d(p_k,p_j)}{\mathrm{Num}\left(E^i\right)}---\left(3\right)$

其中，

表示为任一区域i内的边缘的差异性度量，p_k和p_j表示像素k和像素j的颜色值，

Θ′表示像素k的8邻域，Num(Eⁱ)表示象素集合Eⁱ中的像素个数。

(2-3)、计算任一区域位置的差异性度量

计算任一区域位置的差异性度量，其计算表达式为：

$D_s^i=\exp (-\frac{d(r_s^i,m_s)}{\max (h,w)})\·(1-\frac{L_m^i}{C_m})---\left(4\right)$

其中，

表示为任一区域位置的差异性度量，m_s是图像的中心位置，h和w分别是图像的高和宽，

为区域i与图像边框的相交长度，C_m是图像的周长。

(2-4)、计算区域关注度

融合上述步骤(2-1)、(2-2)、(2-3)所述的差异性度量，计算出区域关注度S_R(i)，其计算表达式为：

$S_R\left(i\right)=(D_g^i+D_l^i+D_e^i)\·D_s^i---\left(5\right)$

上述步骤(3)所述的通过图像中每个像素点的像素值与每个区域的均值的相近程度，将上述区域关注度转化为图像中每个像素点k的关注度，提取图像关注度，其计算表达式为：

$S_P\left(k\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[1-\frac{d(p_k,r_c^i)}{\underset{i}{\max }\left(d(p_k,r_c^i)\right)}]\·S_R\left(i\right)---\left(6\right)$

本发明的基于图像的多特征融合提取图像关注度的方法与现有的技术相比，具有如下优点：该方法采用多个特征融合，计算区域关注度，不仅能准确地定位人眼关注的位置，而且能准确地凸显关注物体的整个区域和外围轮廓，更满足人眼的视觉要求，并且具有准确度高且实时性好的特点，在机器视觉、对象分割、目标跟踪等领域有很好的应用前景。

附图说明

图1是本发明的基于图像的多特征融合提取图像关注度的方法的流程图；

图2(a)为输入的原始图像；

图2(b)是用Mean Shift算法分割原始图像后的区域分割图；

图3是区域的中心位置的图；

图4是用Canny算子找出任一区域内的边缘的图；

图5是区域与相邻区域的差异性的图；

图6是区域与图像均值的差异性的图；

图7是区域内边缘的差异性的图；

图8是区域位置的差异性的图；

图9是区域关注度的图；

图10是图像关注度的图；

图11是多种类型图像关注度的图(图(a)为原始图像，图(b)为关注度的图)。

具体实施方式

下面结合附图对本发明的实施例作进一步详细说明。

本发明进行的仿真实验是在CPU为2.0GHz、内存为1G的PC测试平台上编程实现。

如图1所示，本发明的基于图像的多特征融合提取图像关注度的方法所采用的技术方案是：首先将原始图像分割成若干区域，提取每个区域的多个特征；然后分别融合上述各个区域的多个特征的差异性度量，计算每个区域的关注度；最后将每个区域的关注度转化为图像中每个像素点的关注度，提取图像关注度，其具体步骤如下：

(1)，输入原始图像，用Mean Shift算法分割图像，分别提取每个区域的多个特征，其具体如下：

(1-1)、计算任一区域的均值

将原始图像从RGB颜色空间转换到CIE Lab颜色空间，用Mean Shift算法分割图像，统计任一区域的均值，如图2(a)、图2(b)所示，图2(a)、图2(b)分别为原始图像和用MeanShift算法分割原始图像后的区域分割图像，在图2(b)中任一区域内所有像素点的颜色都用该区域的均值表示。

(1-2)、计算任一区域的中心位置

将任一区域内的所有像素点位置计算统计平均量，得到区域的中心位置，如图3所示，图中每一个黑点就表示一个区域的中心位置。

(1-3)、计算任一区域与图像边框的相交长度

通过统计任一区域拥有图像边框像素的个数求出任一区域与图像边框的相交长度。

(1-4)、用Canny算子找出任一区域内的边缘

先用Canny算子找出图像内所有的边缘，然后将任一区域i内的边缘象素组成集合Eⁱ，如图4所示，图中属于同一集合的边缘像素颜色相同，属于不同集合的边缘像素颜色不同。

(2)、进行多个特征融合，计算区域关注度。

利用步骤(1)提取的多个特征，分别计算区域与相邻区域和图像均值的差异性度量、图像边缘的差异性度量、区域位置的差异性度量，然后进行融合计算区域关注度，其具体步骤如下：

(2-1)、分别计算任一区域与相邻区域和图像均值的差异性度量

先找出每个区域对应的相邻区域，按照公式(1)计算任一区域i与相邻区域的均值的差异性度量，其差异性度量如图5所示。用灰度图来表示差异性的大小，灰度图中颜色越接近白色就表示差异性越大，灰度图中颜色越接近黑色就表示差异性越小。由图5看出图中右下角的花瓣区域与相邻区域的均值的差异性最大。

先计算出图像均值，然后按照公式(2)计算任一区域i与图像均值的差异性度量，其差异性度量如图6所示，由图看出图中花蕊区域与图像均值的差异性最大。

(2-2)、计算任一区域i内的边缘的差异性度量

按照公式(3)计算任一区域i内的边缘的差异性度量，其差异性度量如图7所示，由图可以看出花蕊及花瓣区域内的边缘的差异性比背景区域内的边缘的差异性大。

(2-3)、计算任一区域位置的差异性度量

利用步骤(1-4)提取的Eⁱ，按照公式(4)计算任一区域位置的差异性度量，其差异性度量如图8所示，由图可以看出离图像中心近的区域差异性大。

(2-4)、计算区域关注度

按照公式(5)融合上述步骤(2-1)、(2-2)、(2-3)所述的差异性度量，计算出区域关注度S_R(i)，其关注度如图9所示，灰度图中颜色越接近白色就表示关注度越大，灰度图中颜色越接近黑色就表示关注度越小。

(3)、将上述区域关注度转化为图像中每个像素点k的关注度S_P(k)，提取图像关注度。

按照公式(6)将上述区域关注度转化为图像中每个像素点k的关注度S_P(k)，提取图像关注度提取图像关注度，得到的结果如图10所示，由图看出花所在的区域关注度最大，而且轮廓分明。

本发明进行的仿真实验中还作了其它不同的实验，如图11所示，该图有动物2幅，人物1幅，景观1幅和花1幅，分成5行2列排列，第一列是原始图像，第二列是关注度图。

从上述仿真实验结果可以看出，本发明的方法不仅能准确地定位人眼关注的位置，而且能准确地凸显关注物体的整个区域和外围轮廓，准确性高，更满足人眼的视觉要求。

Claims (4)

1.一种基于图像的多特征融合提取图像关注度的方法，其具体步骤如下：

(1)，输入原始图像，分别提取每个区域的多个特征；

(2)、进行多个特征融合，计算区域关注度；

(3)、通过图像中每个像素点的像素值与每个区域的均值的相近程度，将上述区域关注度转化为图像中每个像素点k的关注度，提取图像关注度。

2.根据权利要求1所述的基于图像的多特征融合提取图像关注度的方法，其特征在于，上述步骤(1)所述的输入图像，分别提取每个区域的多个特征，其具体步骤如下：

(1-1)、计算任一区域的均值

将原始图像从RGB颜色空间转换到CIE Lab颜色空间，用Mean Shift算法分割图像，分割后的每个区域的颜色均值记为其中，i＝1，2，...，N，N为分割区域的数目；

(1-2)、计算任一区域的中心位置

(1-3)、统计任一区域与图像边框的相交长度

(1-4)、用Canny算子找出任一区域内的边缘

先用Canny算子找出图像内所有的边缘，然后将任一区域i内的边缘象素组成集合Eⁱ。

3.根据权利要求2所述的基于图像的多特征融合提取图像关注度的方法，其特征在于，

上述步骤(2)所述的进行多个特征融合，计算区域关注度，其具体步骤如下：

(2-1)、分别计算任一区域与相邻区域和图像均值的差异性度量

先找出每个区域对应的相邻区域，计算任一区域i与相邻区域均值的差异性度量，其计算表达式为：

$D_l^i=\underset{j\∈\mathrm{\Θ}}{\mathrm{\Σ}}\frac{L_{i,j}}{C_i}\·d(r_s^i,r_s^j)\·d(r_c^i,r_c^j)---\left(1\right)$

其中，

表示为任一区域i与相邻区域均值的差异性度量，d(·)表示欧氏距离，Θ表示区域i的相邻区域，L_i，j表示区域i和j的相交长度，C_i表示区域i的周长，r_s表示区域的中心位置，r_c表示区域的均值，

计算任一区域i与图像均值的差异性度量，其计算表达式为：

$D_g^i=\frac{d(r_c^i,m_c)}{\underset{i}{\max }\left(d(r_c^i,m_c)\right)}---\left(2\right)$

其中，

表示为任一区域i与图像均值的差异性度量，m_c表示图像的均值；

(2-2)、计算任一区域i内的边缘的差异性度量

计算任一区域i内的边缘的差异性度量，其计算表达式为：

$D_e^i=\frac{\underset{k\∈E^i}{\mathrm{\Σ}}\underset{j\∈{\mathrm{\Θ}}^{\′}}{\mathrm{\Σ}}d(p_k,p_j)}{\mathrm{Num}\left(E^i\right)}---\left(3\right)$

其中，

表示为任一区域i内的边缘的差异性度量，p_k和p_j表示像素k和像素j的颜色值，

Θ′表示像素k的8邻域，Num(Eⁱ)表示象素集合Eⁱ中的像素个数；

(2-3)、计算任一区域位置的差异性度量

计算任一区域位置的差异性度量，其计算表达式为：

$D_s^i=\exp (-\frac{d(r_s^i,m_s)}{\max (h,w)})\·(1-\frac{L_m^i}{C_m})---\left(4\right)$

其中，

表示为任一区域位置的差异性度量，m_s是图像的中心位置，h和w分别是图像的高和宽，

为区域i与图像边框的相交长度，C_m是图像的周长；

(2-4)、计算区域关注度

融合上述步骤(2-1)、(2-2)、(2-3)所述的差异性度量，计算出区域关注度S_R(i)，其计算

表达式为：

$S_R\left(i\right)=(D_g^i+D_l^i+D_e^i)\·D_s^i---\left(5\right)$

4.根据权利要求4所述的基于图像的多特征融合提取图像关注度的方法，其特征在于，上述步骤(3)所述通过图像中每个像素点的像素值与每个区域的均值的相近程度，将上述区域关注度转化为图像中每个像素点k的关注度，提取图像关注度，其计算表达式为：

$S_P\left(k\right)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[1-\frac{d(p_k,r_c^i)}{\underset{i}{\max }\left(d(p_k,r_c^i)\right)}]\·S_R\left(i\right)---\left(6\right)$

Images