CN104123717A - 图像处理装置、图像处理方法、程序以及记录介质 - Google Patents

Abstract

实现不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置、图像处理方法、程序以及记录介质。图像处理装置（1）包括：相似图生成部（122），对各个超像素，生成表示与位于图像中的端部区域的超像素的相似度的相似图；前景区域确定部（123），确定在由相似图生成部（122）计算出的相似图中相似度表示与规定阈值相比不相似的超像素，作为前景区域；以及显著图生成部（124），对各超像素求出表示与前景区域的相似度的前景相似图，并输出该前景相似图作为显著图。

Description

图像处理装置、图像处理方法、程序以及记录介质

技术领域

本发明涉及输出图像中的显著度的图像处理装置以及图像处理方法。

背景技术

以往，在图像处理的领域中，已知将作为设想在图像中人们关注的图像区域或者应关注的图像区域的显著区域从该图像中检测（提取）的图像处理装置。此外，也通过使用这样的显著区域检测的技术而计算图像中的各像素的显著度(saliency measure)，从而制作表示该图像的各像素的显著度的显著图。

这样的显著区域检测的技术例如为了从图像检测被摄体而使用。

那么，作为用于上述显著区域检测的算法，存在基于学习的算法。例如，在专利文献1中，记载了如下技术：基于成为学习对象的多个图像数据，事先学习而决定特征的种类，基于所决定的特征的种类和成为显著度的计算对象的对象图像数据，提取该对象图像数据中的各部分的特征。根据该技术，通过将学习效果虚构为人的经验或记忆的程度，能够进行更接近于人的感觉的显著度的判断。

另外，在上述基于学习的算法中，作为对于对象图像数据的事前知识（previous knowledge），需要预先准备成为学习对象的多个图像数据。因此，在不具有这样的事前知识的情况下，不能评价显著度。

另一方面，在专利文献2中，记载了如下技术：不需要事前知识，使用构成影像的各帧之间的信息而检测显著区域。

【现有技术文献】

【专利文献】

【专利文献1】（日本）特开2001-236508号公报（2001年8月31日公开）

【专利文献2】（日本）特开2010-258914号公报（2010年11月11日公开）

但是，虽然专利文献2的技术不需要事前知识，但只将由多个帧构成的活动图像作为对象，不能应用于对于静止图像的显著度的评价。

发明内容

本发明是为了解决上述课题而完成的，其目的在于，提供一种不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置以及图像处理方法。

本发明的图像处理装置的特征在于，包括：相似度计算部，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；前景区域确定部，确定由上述相似度计算部计算出的第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出部，对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。

此外，本发明的图像处理方法的特征在于，包括：相似度计算步骤，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；前景区域确定步骤，确定上述第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出步骤，对上述图像的各单位结构，求出与上述前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。

在拍摄图像时，人们一般使得应关注的物体尽可能不超出图像的端部（框）。因此，在图像的端部，主要存在背景区域。根据上述的结构，由于由与位于图像中的端部区域的单位结构的相似度表示与判定阈值相比不相似的单位结构的区域被确定为前景区域，所以在图像中人们应关注的关注物体被确定为前景区域的概率提高。

并且，对图像的各单位结构，求出与被确定的前景区域的第2相似度，作为显著度。如上所述，由于在图像中人们应关注的关注物体被确定为前景区域，所以与前景区域的第2相似度表示单位结构中的显著度。

由此，根据上述结构，能够实现即使是一张静止图像，也不需要事前知识，能够高精度地评价显著度的图像处理装置以及图像处理方法。

此外，优选地，本发明的图像处理装置包括：分割处理部，将上述图像分割为由亮度值和/或色度相似的互相相邻的像素构成的像素小区域，并将该像素小区域作为上述单位结构。

根据上述结构，与将像素作为单位结构的情况相比，求出第1相似度以及第2相似度时的运算处理数减少，能够提高计算速度。

此外，优选地，在本发明的图像处理装置中，上述相似度计算部对各个上述单位结构，求出与位于矩形的上述图像的上端部区域的单位结构的相似度即上端用相似度、与位于上述图像的下端部区域的单位结构的相似度即下端用相似度、与位于上述图像的左端部区域的单位结构的相似度即左端用相似度、与位于上述图像的右端部区域的单位结构的相似度即右端用相似度，并通过将上端用相似度、下端用相似度、左端用相似度以及右端用相似度相乘而求出上述第1相似度。

在人们拍摄的图像中有各种各样的形态，也有人们应关注的关注物体存在于图像的端部（框）的一部分的情况。但是，即使是在这样的情况下，在大部分图像中，关注物体只重叠在图像的4个端部（上端部、下端部、左端部、右端部）的一部分中。因此，在与关注物体未重叠的端部的相似度中，关注物体的区域和端部的相似度倾向于降低。因此，通过将4个相似度相乘而求出第1相似度，即使是在关注物体存在于图像的端部（框）的一部分中的情况下，也能够在某种程度上较高地维持能够将关注物体确定为前景区域的概率。

此外，在本发明的图像处理装置中，上述相似度计算部使用以下的式（1），求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度。

f＊＝（D-αＷ）^-1y……式（1）

另外，f＊由[f₁＊，……，f_n＊]^T表示，是表示上端用相似度、下端用相似度、左端用相似度以及右端用相似度的矢量。这里，f_i＊表示第i个单位结构和位于端部区域的单位结构的相似度。另外，n是图像中的单位结构的数目。

Ｗ是n行×n列的矩阵，i行j列的元素ｗ_ij由以下的式表示。

【数1】

$w_{\mathrm{ij}}=e\frac{-{(\mathrm{ci}-\mathrm{cj})}^2}{{\mathrm{\σ}}^2}$

另外，c_i表示第i个单位结构的特征量，c_j表示第j个单位结构的特征量。

D是n行×n列的对角矩阵（diagonal matrix），由D＝diag（d₁₁，……，d_nn）表示。

另外，d_ii由以下的式表示。

【数2】

d_ii=Σ_jw_ij

y由［y₁，……，y_n］^T表示，y_i在第i个单位结构位于成为比较对象的端部区域时为1，在第i个单位结构不位于成为比较对象的端部区域时为0。

α为规定的常数。

上述的式（1）是在流形（Manifold）排序法中使用的式，能够高精度地求出流形的相似度。此外，由于在求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度的4个相似度时，式（1）的（D-αＷ）^-1共同，所以能够援用，能够提高计算速度。

此外，优选地，在本发明的图像处理装置中，上述显著度输出部使用将在第i个单位结构位于前景区域时成为1且在第i个单位结构不位于前景区域时成为0的y_i作为元素的y，根据上述的式（1）求出第2相似度。

根据上述结构，由于在求出第2相似度时使用上述的式（1），所以能够援用在求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度时求出的（D-αＷ）^-1。其结果，能够提高求出显著图时的计算速度。

另外，上述图像处理方法也可以通过计算机来实现，此时，通过使计算机执行包括上述各步骤的处理，从而使计算机实现图像处理方法的各步骤的图像处理程序以及记录了该图像处理程序的计算机可读取的记录介质也属于本发明的范围。

根据本发明，能够提供一种不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置以及图像处理方法。

附图说明

图1是表示本发明的一实施方式的图像处理装置的概略结构的一例的功能方框图。

图2是表示图1所示的图像处理装置中的显著图生成处理的流程的流程图。

图3是表示超像素图像的一例的图。

图4是表示由图1所示的图像处理装置的相似图（affinity map）生成部生成的上端用相似图、下端用相似图、左端用相似图、右端用相似图的一例的图。

图5是表示由图1所示的图像处理装置的相似图生成部生成的合并相似图和由前景区域确定部确定的前景区域的一例的图。

图6是表示由图1所示的图像处理装置的相似图生成部生成的合并相似图和由前景区域确定部确定的前景区域的另一例的图。

图7是表示由图1所示的图像处理装置的显著图（saliency map）生成部生成的显著图的一例的图。

图8是表示由图1所示的图像处理装置生成的显著图和通过现有的算法生成的显著图的比较的图。

图9（a）和（b）是表示由图1所示的图像处理装置生成的显著图和通过现有的算法生成的显著图的适合率-再现率曲线的比较的图。

图10是表示在图9所示的适合率-再现率曲线中F值成为最大值时的适合率、再现率以及F值的图。

图11是表示由图1所示的图像处理装置求出显著图时的计算速度和通过现有的算法求出显著图时的计算速度的比较的图。

标号说明

1 图像处理装置

13 输出部（显著度输出部）

121 SP图像生成部（分割处理部）

122 相似图生成部（相似度计算部）

123 前景区域确定部

124 显著图生成部（显著度输出部）

具体实施方式

检测在图像中显著度相对高的区域即显著区域的算法基于各种假设而构筑。例如，在现有的算法中，基于在包含显著区域的局部区域中显著区域的对比度高的假设或越接近图像的中心部则显著度越高的假设而构筑。但是，在基于前者的假设的算法中，存在难以确定局部区域的问题。此外，后者的假设并不适用于全部图像。因此，本发明人着眼于图像中的背景区域存在于图像的端部这样的、以往没有使用的新的假设，实现了本发明。

（图像处理装置1的结构）

以下，关于本发明的一实施方式的图像处理装置1的结构，图1是表示本实施方式的图像处理装置的结构的方框图。图1所示的图像处理装置获取输入图像，输出表示所获取的输入图像的各像素中的显著度的显著图。另外，在本实施方式中，作为静止图像而说明了输入图像，但也可以是活动图像。

如图1所示，图像处理装置1包括图像获取部11、控制部12、输出部13以及存储部14。

图像获取部11从外部获取彩色的输入图像。作为例示，图像获取部11根据用户的输入操作，从连接到图像处理装置1的数字照相机或者数字摄像机等摄像装置实时（同步）或者非同步地获取输入图像。

但是，输入图像的供给源并不特别限定。例如，图像获取部11也可以获取在存储部14中存储的图像数据作为输入图像，也可以从连接到图像处理装置1的周边设备获取输入图像，也可以经由有线或者无线的通信网络而获取输入图像。

控制部12统一控制图像处理装置1中的各种功能。控制部12的控制功能通过CPU（Central Processing Unit，中央处理器）等处理装置执行控制程序而实现。例如，控制部12具有用于执行对于从图像获取部11输入的输入图像的各种处理的功能以及结构。另外，关于控制部12的详细的功能以及结构在后面叙述。

输出部13对外部输出控制部12对于输入图像的处理结果。例如，输出部13也可以对各种图像应用输出上述处理结果。本实施方式的输出部13对图像获取部11获取的输入图像输出由控制部12生成的显著图。

存储部14存储各种数据以及程序。存储部14例如能够通过组合ROM（Read Only Memory，只读存储器）、RAM（Random Access Memory，随机存取存储器）以及非易失性存储器（例如，闪速存储器）等存储装置而实现。

在存储部14中，例如，存储有在控制部12中执行的程序和在该程序中被处理的各种数据等。

（控制部12）

接着，说明控制部12的各部分。如图1所示，控制部12包括SP图像生成部121、相似图生成部122、前景区域确定部123以及显著图生成部124。

SP图像生成部121将从图像获取部11获取的输入图像作为源图像，从以像素作为单位结构的源图像生成以超像素（SP）作为单位结构的超像素图像（SP图像）。即，SP图像生成部121作为将输入图像分割为多个超像素的分割处理部而发挥功能。

这里，超像素是在图像中、由颜色或者亮度等各种参数的值互相相似的连接的多个像素构成的小区域。为了将以从以像素作为单位结构的源图像制作的超像素作为单位结构的图像与源图像进行区分，称为超像素图像。

通过进行使用超像素图像来代替源图像的图像处理，能够大幅削减处理的数据量，或者能够抑制上述各种参数（亮度、颜色等）的噪声。

作为超像素图像的生成算法，已知多个生成算法，例如，使用在http://www2.cs.sfu.ca/～mori/research/superpixels/中记载的公知的方法即可。无论在哪个生成算法中，都依赖所使用的参数而在被生成的超像素图像中包含的超像素的总数不同。

SP图像生成部121在将输入图像分割为n个超像素（小区域）时，对该n个超像素分别赋予1～n的不同的号码，区分各超像素。

相似图生成部122对成为超像素图像的单位结构的各超像素，计算表示与存在于图像的端部的超像素的相似度（第1相似度）的相似图。图像的端部是矩形的图像的上端部、下端部、左端部、右端部。并且，存在于端部的超像素是包含位于输入图像的端部的像素的超像素。相似图生成部122计算对于各个上端部、下端部、左端部、右端部的相似图即上端用相似图、下端用相似图、左端用相似图、右端用相似图。即，上端用相似图是按每个超像素表示与上端部的超像素的相似度（上端用相似度）的图。同样，下端用相似图是按每个超像素表示与下端部的超像素的相似度（下端用相似度）的图。左端用相似图是按每个超像素表示与左端部的超像素的相似度（左端用相似度）的图。右端用相似图是按每个超像素表示与右端部的超像素的相似度（右端用相似度）的图。

相似图的计算方法并不特别限定，但本实施方式的相似图生成部122使用流形排序法（Manifold Ranking法）而计算相似图。流形排序法（ManifoldRanking法）是在D.Zhou,J.Weston,A.Gretton,O.Bousquet,and B.Scholkopf,“Ranking on data manifolds,”Advances in Neural Information ProcessingSystems,vol.16,pp.169-176,2004.和J.He,M.Li,H.J.Zhang,H.Tong,and C.Zhang,“Manifold-ranking based image retrieval,”Proc.of ACM InternationalConference Multimedia,pp.9-16,2004.中记载的公知的方法，也是在求出Ｗeb检索中的关联度（relevance ratio）时使用的方法。

具体而言，相似图生成部122根据

f＊＝（D-αＷ）^-1y……式（1）

而计算相似图。在SP图像生成部121生成了由n个超像素构成的超像素图像的情况下，相似图生成部122计算表示对于n个超像素各自的相似度的相似图。以下，n表示超像素的个数。

在式（1）中，Ｗ是n行×n列的相似度矩阵（affinity matrix）。Ｗ的i行j列的元素ｗ_ij由以下的式表示。

【数3】

$w_{\mathrm{ij}}=e\frac{-{(\mathrm{ci}-\mathrm{cj})}^2}{{\mathrm{\σ}}^2}$

另外，c_i表示第i个超像素的特征量，c_j表示第j个超像素的特征量，σ²表示特征量的相似度的方差。并且，ｗ_ij表示第i个超像素和第j个超像素的相似度。

作为特征量，能够使用构成亮度值、色度、色空间的各颜色分量的浓度值等各种参数。此外，第i个超像素的特征量c_i也可以是属于第i个超像素的像素的特征量的代表值（例如平均值等），也可以是属于第i个超像素的像素的特征量的集合。在使用属于第i个超像素的多个像素的特征量的集合的情况下，对属于第i个超像素的各个像素求出该像素的特征量和属于第j个超像素的各像素的特征量之差（距离），将根据这些差求出的运算值（例如平均值等）计算作为式（2）的（c_i-c_j）²即可。

D被称为次数矩阵（degree matrix），是n行×n列的对角矩阵，由D＝diag（d₁₁，……，d_nn）表示。D的对角元素d_ii由以下的式表示。

【数4】

d_ii=Σ_jw_ij

y是指标矩阵（indicator matrix），由y＝［y₁，……，y_n］^T表示。这里，y_i在第i个超像素位于成为超像素图像的比较对象的端部时为1、在第i个超像素不位于成为超像素图像的比较对象的端部时为0。即，在计算表示与上端部的相似度的上端用相似图的情况下，只有与位于上端部的超像素对应的y_i设定为1，在计算表示与下端部的相似度的下端用相似图的情况下，只有与位于下端部的超像素对应的y_i设定为1，在计算表示与左端部的相似度的左端用相似图的情况下，只有与位于左端部的超像素对应的y_i设定为1，在计算表示与右端部的相似度的右端用相似图的情况下，只有与位于右端部的超像素对应的y_i设定为1。

α是规定的常数（参数、经验值）。

在式（1）中，f＊＝［f₁＊，……，f_n＊］^T，是表示与端部区域的相似度的矢量。这里，f_i＊表示第i个超像素和端部区域的相似度。

相似图生成部122使用只有与位于上端部的超像素对应的y_i设定为1的y来计算式（1），并将获得的f＊作为上端用相似图。同样，相似图生成部122通过适当变更y，计算下端用相似图、左端用相似图、右端用相似图。

并且，相似图生成部122将这样计算出的4个相似图（上端用相似图、下端用相似图、左端用相似图、右端用相似图）相乘，计算合并相似图。即，通过将对应于第i个超像素的4个相似度进行乘法运算，计算对应于第i个超像素的合并相似度。合并相似图成为表示各超像素和图像的全部端部的相似度的图。

前景区域确定部123通过对相似图生成部122计算出的合并相似图进行二值化，从而确定前景区域。具体而言，前景区域确定部123基于图像中的背景区域存在于图像的端部这样的假设，将具有表示与判定阈值相比不相似的相似度的超像素的区域确定为前景区域。这里，判定阈值既可以被预先设定，也可以对应于输入图像而根据合并相似图设定。例如，前景区域确定部也可以设定在合并相似图中表示的相似度的平均值、最大值和最小值的中间值等，作为判定阈值。

显著图生成部124生成对于输入图像的显著图。显著图生成部124对各超像素生成表示与由前景区域确定部123确定的前景区域的相似度（第2相似度）的前景相似图，作为显著图。显著图生成部124使用只将与由前景区域确定部123确定为前景区域的超像素对应的y_i设定为1、将除此之外的y_i设定为0的y＝［y₁，……，y_n］^T，根据上述的式（1）求出前景相似图，并将该前景相似图作为显著图而传送到输出部13。

（显著图生成处理的流程）

接着，使用图2说明由图像处理装置1的控制部12执行的显著图生成处理的流程。图2是表示由控制部12执行的显著图生成处理的流程的流程图。

首先，图像获取部11获取成为显著图的生成对象的输入图像，并将获取的输入图像传送到控制部12（S1）。接着，SP图像生成部121将输入图像分割为多个（n个）超像素，生成超像素图像（S2）。图3是表示通过S2的处理而生成的超像素图像的一例的图。此时，SP图像生成部121为了区分各超像素，对超像素赋予1～n的不同的号码。

接着，相似图生成部122根据上述的式（1），对各超像素，生成表示与位于图像的上端部的超像素的相似度的上端用相似图（S3）。同样，相似图生成部122生成下端用相似图、左端用相似图、右端用相似图（S4～S6）。

图4表示从超像素图像生成的上端用相似图、下端用相似图、左端用相似图、右端用相似图的一例。另外，图4的各相似图表示为与端部的相似度越高其浓度越浓（越接近黑色）。因此，在各相似图中，表示接近黑色的浓度的区域为背景区域的概率高，表示接近白色的浓度的区域为前景区域的概率高。

接着，相似图生成部122通过将在S3～S6中生成的4个相似图相乘，生成合并相似图（S7）。并且，前景区域确定部123通过对合并相似图应用判定阈值，将相似度低于判定阈值的区域确定为前景区域（S8）。

图5以及图6表示由相似图生成部122求出的合并相似图以及由前景区域确定部123确定的前景区域的一例。如图5以及图6所示，通过将4个相似图相乘，能够识别与图像的端部（框）全体的相似度。另外，在图5以及图6的合并相似图中，表示为相似度越高则浓度越浓（接近黑色）、相似度越低则浓度越淡（接近白色）。因此，相似度低于判定阈值的区域（图中，白区域）被确定为前景区域。

尤其，如图6所示，即使输入图像中的关注物体（图6中，足球）的一部分在端部重叠，重叠的部分在端部全体中的比例相对小的情况下，也能够将该关注物体确定为前景区域。即，如在下端用相似图和右端用相似图所示，由于成为比较对象的端部与关注物体的一部分重叠，所以比较对象的端部和关注物体的相似度提高。但是，由于在上端用相似图以及左端用相似图中，关注物体和成为比较对象的端部不相似，所以通过使用将4个相似图相乘而生成的合并相似图，能够将关注物体确定为前景区域。

并且，显著图生成部124对各超像素，根据式（1）生成表示与在S8中确定的前景区域的相似度的前景相似图，并将该前景相似图作为显著图而输出到输出部（S9）。

图7是表示由显著图生成部124生成的显著图的一例的图。图7的显著图中显著度越高则变得越白。如图7所示，能够确认设想人们会关注的图像区域的显著度提高。

（通过本实施方式生成的显著图的精度）

为了评价本实施方式的图像处理装置1中的显著图的生成算法，关于某一图像，比较了图像处理装置1输出的显著图和通过现有的算法生成的显著图。

图8是表示由本实施方式的图像处理装置1生成的显著图和通过现有的算法生成的显著图的比较的图。在图8中，左端列表示输入图像，从左起第2列表示包含主显著区域的主图像（master image）。主显著区域表示从输入图像中由多个人所选择的显著区域的平均。因此，可以说表示接近主图像的显著图的算法为精度高的算法。

并且，图8的从左起第3列表示由本实施方式的图像处理装置1生成的显著图，第4列以后的列表示通过现有的算法生成的显著图。如图8所示，能够确认由本实施方式的图像处理装置1生成的显著图最接近主图像，生成显著图的算法的精度高。

此外，关于某一图像，计算并比较了本实施方式的图像处理装置1输出的显著图和通过现有的算法生成的显著图的适合率-再现率（Precision-Recall：PR）曲线。

适合率-再现率曲线成为表示生成显著图的算法的精度的指标，表示在对显著图设定了不同的显著区域检测用阈值时的显著区域的适合率（Precision）以及再现率（Recall）的关系。另外，在显著图中提取显著度高于显著区域检测用阈值的区域，作为显著区域。此外，为了求出适合率以及再现率，预先准备如图8的从左起第2列表示的包含主显著区域的主图像。这里，在将作为从图像检测到的显著区域的评价对象显著区域设为A、将主显著区域设为B、将评价对象显著区域A和主显著区域重合的区域设为C时，以C/A表示适合率、以C/B表示再现率。即，适合率是在从图像检测到的评价对象显著区域中包含的主显著区域B的比例。此外，再现率是在主显著区域B中包含的评价对象显著区域的比例。通过对从输入图像生成的显著图绘制将显著区域检测用阈值从在该显著图中示出的显著度的最大值变化为最小值时的适合率和再现率的关系，能够制作适合率-再现率曲线。

图9是表示由本实施方式的图像处理装置1生成的显著图（图中，记载实施例）和通过现有的算法生成的显著图的适合率-再现率曲线的比较的图。此外，图10是表示在各算法中的、适合率-再现率曲线中F值（＝2×适合率×再现率/（适合率＋再现率））成为最大值时的适合率、再现率以及F值的图。

若观看图9所示的适合率-再现率曲线的图，可知由本实施方式的图像处理装置1生成的显著图中的适合率高于通过其他的算法生成的显著图。此外，F值的最大值也是本实施方式更高于其他的算法。由此可知，本实施方式的图像处理装置1的显著图的生成算法的精度高于以往。

另外，图8、图9、图10中的表示现有的算法的标记分别表示基于以下表示的文献的算法。

〔CB〕H.Jiang,J.Wang,Z.Yuan,T.Liu,N.Zheng,and S.Li,“Automatic salientobject segmentation based on context and shape prior,”in British Machine VisionConference,2011,pp.1-12.

〔GS＿SP〕Y.C.Wei,F.Wen,W.J.Zhu,and J.Sun.Geodesic saliency usingbackground priors.

〔SF〕F.Perazzi,P.Krahenbuhl,Y.Pritch,and A.Hornung.Saliency filters:Contrast based filtering for salient region detection.In CVPR,2012.

〔SVO〕K.-Y.Chang,T.-L.Liu,H.-T.Chen,and S.-H.Lai.Fusing genericobjectness and visual saliency for salient object detection.In ICCV,2011.

〔RC〕Ming-Ming Cheng,Guo-Xin Zhang,Niloy J.Mitra,Xiaolei Huang,andShi-Min Hu.“Global contrast based salient region detection.”In IEEE CVPR,pages409-416,2011.

〔CA〕S.Goferman,L.Zelnik-Manor,and A.Tal,“Context-aware saliencydetection,”in IEEE CVPR,2010,pp.2376-2383.

〔FT〕R.Achanta,S.Hemami,F.Estrada,and S.Susstrunk,“Frequency-tunedsalient region detection,”in IEEE CVPR,2009,pp.1597-1604.

〔IT〕L.Itti,C.Koch,and E.Niebur,“A model of saliency-based visualattention for rapid scene analysis,”IEEE TPAMI,vol.20,no.11,pp.1254-1259,1998.

〔LC〕Y.Zhai and M.Shah,“Visual attention detection in video sequencesusing spatiotemporal cues,”in ACM Multimedia,2006,pp.815-824.

〔AC〕R.Achanta,F.Estrada,P.Wils,and S.S··usstrunk,“Salient regiondetection and segmentation,”in IEEE ICVS,2008,pp.66-75.

〔GB〕J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”inNIPS,2007,pp.545-552.

〔SR〕X.Hou and L.Zhang,“Saliency detection:A spectral residual approach,”in IEEE CVPR,2007,pp.1-8.

〔MＺ〕Y.Ma and H.Zhang.Contrast-based image attention analysis by usingfuzzy growing.ACM Multimedia,2003.

（本实施方式的处理速度）

如上所述，本实施方式的图像处理装置1计算上端用相似图、下端用相似图、左端用相似图、右端用相似图、前景相似图的5个相似图。但是，如上所述，这些相似图基于使用了流形排序法（Manifold Ranking法）的上述的式（1）而计算。在各相似图的计算过程中只有y不同，矩阵（D-αＷ）^-1共同。因此，只要在最初的上端用相似图的计算时求出矩阵（D-αＷ）^-1，则不需要在其他的4个相似图的计算时重新计算矩阵（D-αＷ）^-1，只要援用即可。由此，计算速度提高。

此外，在本实施方式中，如上所述，SP图像生成部121从输入图像生成超像素图像（SP图像），之后的处理将超像素作为单位结构而进行。因此，计算速度提高。

因此，在本实施方式的图像处理装置1中使用的算法和现有的算法中进行了计算速度的比较。图11是表示在对某一图像计算显著图时的计算速度的结果的图。如图11所示，能够确认与使用相同的编程语言而执行的现有的算法相比，本实施方式的图像处理装置1中的计算速度非常快。此外，在使用了程序语言Matlab时，与使用了程序语言C++时相比，一般计算速度变得慢4～5倍左右。因此，即使与现有的算法RC相比，也能够期待计算速度的提高。

（变形例）

在上述的说明中，相似图生成部122以及显著图生成部124基于由SP图像生成部121生成的超像素图像，按每个超像素生成了相似图以及显著图。但是，图像处理装置1也可以不具有SP图像生成部121，相似图生成部122以及显著图生成部124对图像获取部11获取的输入图像，按每个像素生成相似图以及显著图。此时，相似图生成部122只要按每个像素生成表示与位于输入图像的端部的像素的相似度的相似图即可。

（总结）

如以上所述，本实施方式的图像处理装置1将图像中的像素或者由被连接的多个像素构成的超像素作为单位结构，且包括：（a）相似图生成部（相似度计算部）122，对各个单位结构生成表示与位于图像中的端部区域的单位结构的相似度的相似图；（b）前景区域确定部123，确定在由相似图生成部122计算出的相似图中相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及（c）显著图生成部（显著度输出部）124，对各单位结构，求出表示与由前景区域确定部123确定的前景区域的相似度的前景相似图，并输出该前景相似图作为显著图。

根据上述结构，由于与位于图像中的端部区域的单位结构的相似度表示与判定阈值相比不相似的单位结构的区域被确定为前景区域，所以在图像中人们应关注的关注物体被确定为前景区域的概率提高。

并且，对图像的各单位结构，求出与被确定的前景区域的相似度，作为显著度。由于在图像中人们应关注的关注物体被确定为前景区域，所以与前景区域的相似度表示单位结构中的显著度。

因此，能够实现即使是一张静止图像，也不需要事前知识，能够高精度地评价显著度的图像处理装置以及图像处理方法。

（基于软件的实现例）

最后，图像处理装置1的各模块既可以通过在集成电路（IC芯片）上形成的逻辑电路以硬件方式实现，也可以使用CPU（Central Processing Unit，中央处理器）以软件方式实现。

在后者的情况下，图像处理装置1包括执行用于实现各功能的程序的命令的CPU、存储了上述程序的ROM（Read Only Memory，只读存储器）、展开上述程序的RAM（Random Access Memory，随机存取存储器）、存储上述程序以及各种数据的存储器等存储装置（记录介质）等。并且，通过将计算机可读取地记录了用于实现上述的功能的软件即图像处理装置1的控制程序的程序代码（执行形式程序、中间代码程序、源程序）的记录介质提供给上述图像处理装置1，该计算机（或者CPU或MPU）读出并执行在记录介质中记录的程序代码，也能够实现本发明的目的。

作为上述记录介质，能够使用不是暂时性的有形的介质（non-transitorytangible medium，非暂时有形介质）、例如磁带或卡带等带类、包括软盘（注册商标）/硬盘等的磁盘或CD-ROM/MO/MD/DVD/CD-R等光盘的盘类、IC卡（包括存储卡）/光卡等卡类、掩模ROM/EPROM/EEPROM（注册商标）/闪速ROM等半导体存储器类、或者PLD（Programmable logic device，可编程逻辑器件）或FPGA（Field Programmable Gate Array，现场可编程门阵列）等逻辑电路类等。

此外，也可以将图像处理装置1构成为能够与通信网络连接，经由通信网络而提供上述程序代码。该通信网络只要能够传输程序代码即可，没有特别限定。例如，可以利用因特网、内联网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网（virtual private network）、电话线路网、移动体通信网、卫星通信网等。此外，构成该通信网络的传输介质也只要是能够传输程序代码的介质即可，并不限定于特定的结构或者种类。例如可使用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL（Asymmetric Digital SubscriberLine，非对称数字用户线路）线路等的有线，也可以使用IrDA或遥控那样的红外线、Bluetooth（注册商标）、IEEE802.11无线、HDR（High Data Rate，高数据率）、NFC（Near Field Communication，近场通信）、DLNA（注册商标）（Digital Living Network Alliance，数字生活网络联盟）、移动电话网、卫星线路、地面波数字网等的无线。另外，即使是通过电子传输而将上述程序代码具体化的、在载波中搭载的计算机数据信号的方式，也可以实现本发明。

本发明并不限定于上述的实施方式，在权利要求书所示的范围内可进行各种变更，将在实施方式中公开的技术手段适当组合而获得的实施方式也包含在本发明的技术范围中。

产业上的可利用性

本发明能够利用于从图像检测显著区域的图像处理装置等。

Claims (8)

1.一种图像处理装置，其特征在于，包括：

相似度计算部，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；

前景区域确定部，确定由上述相似度计算部计算出的第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及

显著度输出部，对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。

2.如权利要求1所述的图像处理装置，其特征在于，包括：

分割处理部，将上述图像分割为由亮度值和/或色度相似的互相相邻的像素构成的像素小区域，并将该像素小区域作为上述单位结构。

3.如权利要求1或2所述的图像处理装置，其特征在于，

上述相似度计算部对各个上述单位结构，求出与位于矩形的上述图像的上端部区域的单位结构的相似度即上端用相似度、与位于上述图像的下端部区域的单位结构的相似度即下端用相似度、与位于上述图像的左端部区域的单位结构的相似度即左端用相似度、与位于上述图像的右端部区域的单位结构的相似度即右端用相似度，并通过将上端用相似度、下端用相似度、左端用相似度以及右端用相似度相乘而求出上述第1相似度。

4.如权利要求3所述的图像处理装置，其特征在于，

上述相似度计算部使用以下的式（1），求出上端用相似度、下端用相似度、左端用相似度以及右端用相似度：

f＊＝（D-αＷ）^-1y……式（1），

另外，f＊由[f₁＊，……，f_n＊]^T表示，是表示上端用相似度、下端用相似度、左端用相似度以及右端用相似度的矢量，这里，f_i＊表示第i个单位结构和位于端部区域的单位结构的相似度，另外，n是图像中的单位结构的数目，

Ｗ是n行×n列的矩阵，i行j列的元素ｗ_ij由以下的式表示：

【数1】

$w_{\mathrm{ij}}=e\frac{-{(\mathrm{ci}-\mathrm{cj})}^2}{{\mathrm{\σ}}^2}$

另外，c_i表示第i个单位结构的特征量，c_j表示第j个单位结构的特征量，

D是n行×n列的对角矩阵，由D＝diag（d₁₁，……，d_nn）表示，

另外，d_ii由以下的式表示：

【数2】

d_ii＝Σ_jw_ij

y由［y₁，……，y_n］^T表示，y_i在第i个单位结构位于成为比较对象的端部区域时为1，在第i个单位结构不位于成为比较对象的端部区域时为0，

α为规定的常数。

5.如权利要求4所述的图像处理装置，其特征在于，

上述显著度输出部使用将在第i个单位结构位于前景区域时成为1且在第i个单位结构不位于前景区域时成为0的y_i作为元素的y，根据上述的式（1）求出第2相似度。

6.一种图像处理方法，其特征在于，包括：

相似度计算步骤，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；

前景区域确定步骤，确定上述第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及

显著度输出步骤，对上述图像的各单位结构，求出与上述前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。

7.一种程序，进行控制，使得通过计算机实施包括如下步骤的方法：

相似度计算步骤，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度；

前景区域确定步骤，确定上述第1相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及

显著度输出步骤，对上述图像的各单位结构，求出与上述前景区域的第2相似度，并输出该第2相似度作为该单位结构的显著度。

8.一种计算机可读取的记录介质，记录了权利要求7所述的程序。