CN103299613A

CN103299613A - 图像处理装置、摄像装置及图像处理方法

Info

Publication number: CN103299613A
Application number: CN2012800051182A
Authority: CN
Inventors: 石井育规
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2011-11-17
Filing date: 2012-11-13
Publication date: 2013-09-11
Anticipated expiration: 2032-11-13
Also published as: CN103299613B; JPWO2013073168A1; EP2782330A4; EP2782330A1; WO2013073168A1; US9171222B2; US20130287259A1; JP5878924B2

Abstract

对第1图像中包含的被摄体在比第1图像靠后拍摄的第2图像内进行跟踪的图像处理装置（10）具备：分段部（11），基于像素值的相似性，将第1图像划分为多个段；指示部（12），指示第1图像中的被摄体的位置；区域设定部（13），将至少包含存在于被指示的位置的段即指示段的区域设定为对象区域；提取部（14），从设定的对象区域中提取特征量；以及跟踪部（15），通过使用提取出的特征量、在第2图像内搜索与对象区域相似的区域，来跟踪被摄体。

Description

图像处理装置、摄像装置及图像处理方法

技术领域

本发明涉及对第1图像中包含的被摄体、在比第1图像靠后拍摄的第2图像内进行跟踪的图像处理装置、摄像装置及图像处理方法。

背景技术

具备对图像实时地进行显示的触摸面板的摄像机（数字静物照相机或数字视频摄像机等）已广泛普及。用户能够一边确认显示在触摸面板上的图像一边拍摄照片或视频。此外，用户通过对触摸面板进行触摸，能够指示在触摸面板上显示的图像内的关注的被摄体的位置。

在指示了关注的被摄体的位置的情况下，摄像机利用从该位置的周边区域提取的特征量，执行自动对焦（AF：Autofocus）或自动曝光（AE：Automatic Exposure）等。结果，摄像机能够拍摄适合于用户关注的被摄体的照片或视频。

这里，例如在执行了AF后被摄体或摄像机进行了移动的情况下，对准于被摄体的焦点偏移。所以，提出了自动跟踪在触摸面板上显示的图像内的被摄体的技术（例如，参照专利文献1）。

通过利用从这样被跟踪的被摄体的区域提取的特征量再次执行AF，即使在被摄体或摄像机移动了的情况下，摄像机也能够自动地对被摄体进行对焦。

现有技术文献

专利文献

专利文献1：国际公开第2009/125596号

发明概要

发明要解决的问题

但是，在上述以往的方法中，由于被提取特征量的区域是预先设定的形状（矩形或椭圆形等），所以在被摄体的形状与预先设定的形状不同的情况下，摄像机不能适当地提取被摄体的特征量。结果，摄像机难以正确地跟踪被摄体。

发明内容

所以，本发明提供一种能够对第1图像中包含的被摄体、在比第1图像靠后拍摄的第2图像内正确地跟踪的图像处理装置、摄像装置及图像处理方法。

解决问题所采用的手段

本发明的一技术方案的图像处理装置，对第1图像中包含的被摄体，在比上述第1图像靠后拍摄的第2图像内进行跟踪，具备：分段部，基于像素值的相似性，将上述第1图像划分为多个段；指示部，指示上述第1图像中的被摄体的位置；区域设定部，将包含指示段的段集合设定为对象区域，该指示段是存在于所指示的上述位置的段；提取部，从所设定的上述对象区域提取特征量；以及跟踪部，通过使用提取出的上述特征量、在上述第2图像内搜索与上述对象区域相似的区域，来跟踪上述被摄体。

另外，这些总体的或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质来实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。

发明效果

根据本发明一实施方式的图像处理装置，能够对第1图像中包含的被摄体在、比第1图像靠后拍摄的第2图像内正确地跟踪。

附图说明

图1是表示实施方式的图像处理装置的功能结构的框图。

图2是表示实施方式的图像处理装置的处理动作的流程图。

图3是表示实施方式的分段部的处理动作的详细情况的流程图。

图4是用来说明实施方式的分段部的处理动作的一例的图。

图5是用来说明实施方式的分段部的处理动作的一例的图。

图6是表示实施方式的分段结果的一例的图。

图7是用来说明实施方式的指示部的处理动作的一例的图。

图8是表示实施方式的区域设定部的处理动作的详细情况的流程图。

图9是用来说明实施方式的区域设定部的处理动作的一例的图。

图10是用来说明实施方式的跟踪部的处理动作的一例的图。

图11是用来说明实施方式的变形例的跟踪部的处理动作的一例的图。

图12是表示一实施方式的摄像装置的结构的框图。

具体实施方式

根据该结构，利用基于像素值的相似性将第1图像划分而得到的多个段，设定对象区域。因而，即使是具有复杂的几何形状的被摄体，也能够设定适合于该复杂的几何形状的形状的对象区域。结果，与从预先设定的形状的对象区域提取特征量的情况相比，能够更适当地提取被摄体的特征量，所以能够正确地跟踪被摄体。

此外，优选的是，上述分段部基于颜色的相似性，将上述第1图像划分为多个段。

根据该结构，能够基于颜色的相似性将第1图像划分为多个段。因而，能够以使得在一个段中不包含互不相同的多个被摄体的方式，将第1图像划分为多个段。结果，能够减小被摄体的边界包含在段内的可能性，所以能够设定更适合于被摄体形状的形状的对象区域。

此外，优选的是，上述分段部通过聚类将上述第1图像划分为多个段，该聚类基于使用颜色及像素位置而定义的相似性。

根据该结构，能够通过基于使用颜色及像素位置而定义的相似性的聚类，将第1图像划分为多个段。因而，能够以使得在一个段中不包含互不相同的多个被摄体的方式，将第1图像高精度地划分为多个段。

此外，优选的是，上述聚类是k平均法（k-means clustering）。

根据该结构，能够通过k平均法将第1图像划分为多个段。因而，能够以使得在一个段中不包含互不相同的多个被摄体的方式，将第1图像更高精度地划分为多个段。并且，由于能够通过比较简单的处理进行分段，所以还能够减轻用于跟踪被摄体的处理负荷。

此外，优选的是，上述区域设定部将包含所述指示段和相似段、且形成一个连续区域的段集合设定为上述对象区域，上述相似段是表示相对于上述指示段而言的图像的相似性的值比阈值大的段。

根据该结构，能够将包含指示段和相似段的段集合设定为对象区域。因而，即使是在一个被摄体的区域跨多个段的情况下，也能够设定适合于被摄体形状的形状的对象区域。

此外，优选的是，上述跟踪部，通过在上述第2图像内对包围上述对象区域的预先设定的形状的框进行扫描，从而在扫描过的上述第2图像内的各位置，仅从上述框内的区域中的与上述对象区域对应的区域提取特征量，通过将在各位置提取出的特征量与从上述对象区域提取出的特征量进行比较，来搜索与上述对象区域相似的区域。

根据该结构，通过对包围对象区域的预先设定的形状的框进行扫描，能够搜索与对象区域相似的区域。此时，由于在第2图像中仅从框内的区域中的与对象区域对应的区域提取特征量，所以能够不仅考虑特征量的相似性、还考虑形状的相似性来搜索与对象区域相似的区域。因而，能够更正确地跟踪被摄体。

此外，优选的是，上述提取部按上述对象区域中包含的每个段提取特征量；上述跟踪部，通过按上述对象区域中包含的每个段、使用从该段提取出的特征量在上述第2图像内搜索与该段相似的区域，来搜索与上述对象区域相似的区域。

根据该结构，能够按每个段使用特征量搜索与该段相似的区域。因而，即使是在被摄体的形状较大地变化了的情况下也能够跟踪被摄体。

此外，优选的是，上述跟踪部，除了使用从该段提取出的特征量以外，还使用该段与最接近于对象区域的重心的段之间的位置关系，在第2图像内搜索与该段相似的区域。

根据该结构，由于能够使用段间的位置关系搜索与段相似的区域，所以能够更正确地跟踪被摄体。

此外，上述图像处理装置也可以构成为集成电路。

此外，本发明的一技术方案的摄像装置具备上述图像处理装置、和拍摄上述第1图像及上述第2图像的摄像部。

根据该结构，能够起到与上述图像处理装置同样的效果。

另外，这些包含性或具体性的技术方案也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意组合来实现。

以下，使用附图对实施方式详细地说明。另外，以下说明的实施方式都表示包含性或具体性的例子。即，在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不意欲限定本发明。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。

（实施方式）

图1是表示实施方式的图像处理装置10的功能结构的框图。图像处理装置10，对第1图像中包含的被摄体，在比该第1图像靠后拍摄的第2图像内进行跟踪。

如图1所示，本实施方式的图像处理装置10具备分段部11、指示部12、区域设定部13、提取部14和跟踪部15。

分段部11基于像素值的相似性，将第1图像划分为多个段。即，分段部11以使像素值相互相似的像素包含在1个段中的方式，将第1图像划分为多个段。

这里，所谓段，相当于第1图像内的一部分的区域。此外，以下将划分为多个段的处理也称作分段。

此外，所谓像素值，是构成图像的像素具有的值。像素值例如是表示像素的亮度、颜色、明度、色调或色度、或它们的组合的值。

在本实施方式中，分段部11基于颜色的相似性将第1图像划分为多个段。例如，分段部11通过基于利用颜色及像素位置所定义的相似性的聚类（clustering），将第1图像划分为多个段。

指示部12指示第1图像中的被摄体的位置。例如，指示部12经由输入装置（触摸面板等），受理用来指示第1图像中的被摄体的位置的来自用户的输入。并且，指示部12基于所受理的输入，指示被摄体的位置。此外，例如，指示部12也可以将第1图像内的预先设定的位置（例如中心位置等）指示为被摄体的位置。以下，将由指示部12指示的位置称作指示位置。

区域设定部13将包含指示段的段集合设定为对象区域。所谓指示段，是存在于由指示部12指示的位置的段。此外，所谓段集合，是包括至少1个段的集合。在本实施方式中，区域设定部13这样的段集合设定为对象区域，该段集合包含指示段和相似段，并形成一个连续的区域，该相似段是表示相对于该指示段而言的图像的相似性的值比阈值大的段。

另外，区域设定部13并不一定要将包括指示段和相似段的段集合设定为对象区域。例如，区域设定部13也可以将仅包括指示段的段集合设定为对象区域。

提取部14从所设定的对象区域中提取特征量。所谓特征量，是将对象区域的图像的特征定量地表示的值。在本实施方式中，提取部14提取对象区域的颜色直方图作为特征量。所谓颜色直方图，表示与预先设定的多个颜色的种类分别对应的频数。多个颜色的种类例如使用HSV颜色空间中的H（色调）成分值的范围而被预先设定。

另外，多个颜色的种类并不一定要使用HSV颜色空间中的H成分值的范围来设定。例如，多个颜色的种类也可以使用根据H成分值、和V（明度）成分值及S（色度）成分值中的至少一个而得到的值的范围来设定。此外，多个颜色的种类也可以不使用HSV颜色空间中的成分值、而是使用其他颜色空间（例如，RGB颜色空间、YUV颜色空间、Lab颜色空间等）中的成分值来设定。

跟踪部15使用提取出的特征量，在第2图像内搜索与对象区域相似的区域，从而跟踪被摄体。即，跟踪部15通过搜索被提取与从对象区域提取出的特征量最相似的特征量的第2图像内的区域，来跟踪被摄体。

在本实施方式中，作为特征量而使用颜色直方图。即，跟踪部15在第2图像内搜索被提取与从对象区域提取出的颜色直方图最相似的颜色直方图的区域。这里，两个颜色直方图的相似程度用两个颜色直方图的重合程度表示。两个颜色直方图的重合程度，表示在两个颜色直方图的各颜色的种类中重复的频数的大小。

另外，优选的是，两个颜色直方图是以使频数的和相互相等的方式分别正规化的颜色直方图。由此，跟踪部15通过对全部的颜色的种类将各颜色的种类中的两个频数中的较小者的频数进行加法运算，能够容易地计算表示两个颜色直方图的相似程度的值。

接着，说明如以上那样构成的图像处理装置10的处理动作。

图2是表示实施方式的图像处理装置10的处理动作的流程图。

首先，分段部11基于像素值的相似性，将第1图像划分为多个段（S101）。指示部12指示第1图像中的被摄体的位置（S102）。

区域设定部13将至少包括位于指示位置的段的区域设定为对象区域（S103）。提取部14从对象区域提取特征量（S104）。跟踪部15通过使用提取出的特征量在第2图像内搜索与对象区域相似的区域，来跟踪被摄体（S105）。

这样，图像处理装置10，能够对第1图像中包含的被摄体，在比该第1图像靠后拍摄的第2图像内进行跟踪。

另外，图像处理装置10并不需要一定以图2所示的步骤的顺序进行处理。例如，图像处理装置10也可以在步骤S102后执行步骤S101。此外，例如，图像处理装置10也可以将步骤S101和步骤S102并行地执行。

以下，参照附图对这样的图像处理装置10的处理动作的详细情况进行说明。首先，使用图3～图6对分段处理（S101）的详细情况进行说明。另外，这里，作为分段的一例，对基于k平均法（k-means clustering）的分段进行说明。

图3是表示实施方式的分段部11的处理动作的详细情况的流程图。图4是用来说明实施方式的分段部11的处理动作的一例的图。图5是用来说明实施方式的分段部11的处理动作的一例的图。图6是表示实施方式的分段结果的一例的图。

如图3所示，分段部11首先对第1图像及第2图像的颜色空间进行变换（S201）。具体而言，分段部11将第1图像及第2图像从RGB颜色空间变换为Lab颜色空间。

该Lab颜色空间是在感知上均等的颜色空间。即，在Lab颜色空间中，当颜色的值以相同程度进行了变化时，人看到它时所感到的变化也相等。因而，分段部11通过在Lab颜色空间中进行第1图像的分段，能够沿着人感知的被摄体的边界将第1图像划分。

接着，分段部11设定k个（k：2以上的整数）初始簇的重心（S202）。这些k个初始簇的重心例如以在第1图像上均等地配置的方式而被设定。这里，以使相邻的重心间的间隔为S（像素）的方式，设定k个初始簇的重心。

接着，对第1图像内的各像素进行步骤S203、S204的处理。具体而言，分段部11计算相对于各簇的重心的距离Ds（S203）。该距离Ds相当于，表示使用像素值及像素位置而定义的相似性的值。这里，距离Ds越小，表示相对于簇（cluster）的重心的像素的相似性越高。

另外，如图4所示，分段部11仅对位于距离计算对象范围内的重心Ck计算对象像素i的距离Ds。这里，在水平方向及垂直方向上，将距对象像素i的位置在初始簇的重心间隔S以下的位置设定为距离计算对象范围。即，分段部11对于对象像素i，计算相对于各个重心C2、C3、C6、C7的距离。这样，通过设定距离计算对象范围，与对全部的重心计算距离的情况相比，能够减轻计算负荷。

对象像素i（像素位置（xi，yi），像素值（li，ai，bi））相对于重心Ck（像素位置（xk，yk），像素值（lk，ak，bk））的距离Ds，通过以下的式1计算。

［公式1］

D_{s} = d_{lab} + \frac{m}{S} d_{xy}

d_{lab} = {(l_{k} - l_{i})}^{2} + {(a_{k} - a_{i})}^{2} + {(b_{k} - b_{i})}^{2}

(式1）

d_{xy} = {(x_{k} - x_{i})}^{2} + {(y_{k} - y_{i})}^{2}

这里，m是这样一种系数，用来实现基于像素值的距离dlab和基于像素位置的距离dxy给距离Ds带来的影响的平衡。该系数m被实验性或经验性地预先设定即可。

接着，分段部11这样使用对象像素i的相对于各重心的距离Ds，决定对象像素i所属的簇（S204）。具体而言，分段部11将具有距离Ds最小的重心的簇决定为对象像素i的所属簇。

通过按第1图像中包含的每个像素来反复进行这样的步骤S203、S204的处理，决定各像素的所属簇。

接着，分段部11将各簇的重心更新（S205）。例如，在步骤S204中决定各像素的所属簇，结果如图5所示那样，在矩形的簇变化为六边形的簇的情况下将重心C6的像素值及像素位置更新。

具体而言，分段部11按照以下的式2，计算新的重心的像素值（lk_new，ak_new，bk_new）及像素位置（xk_new，yk_new）。

［公式2］

l_{k_new} = \frac{1}{N} Σ_{i = 0, i &Element; k}^{N} l_{i}; a_{k_new} = \frac{1}{N} Σ_{i = 0, i &Element; k}^{N} a_{i}; b_{k_new} = \frac{1}{N} Σ_{i = 0, i &Element; k}^{N} b_{i}

（式2）

x_{k_new} = \frac{1}{N} Σ_{i = 0, i &Element; k}^{N} x_{i}; y_{k_new} = \frac{1}{N} Σ_{i = 0, i &Element; k}^{N} y_{i}

这里，在各簇的重心收敛的情况下（S206的“是”），分段部11结束处理。即，在步骤S205的更新前后，在各簇的重心没有变化的情况下，分段部11结束分段。另一方面，在各簇的重心没有收敛的情况下（S206的“否”），分段部11重复步骤S203～S205的处理。

这样，分段部11通过基于使用像素值及像素位置而定义的相似度的聚类（这里是k平均法），能够将第1图像划分为多个段。因而，如图6所示，分段部11能够根据第1图像中包含的被摄体区域的特征，将第1图像划分为多个段。

即，分段部11能够以在一个段中包含相同的被摄体的方式，将第1图像划分为多个段。结果，由于各段内的像素的视差值相似，所以能够提高按每个段确定的视差值的正确度。即，能够更正确地生成深度数据（depthdata）。进而，由于k平均法是比较简单的聚类，所以还能够减轻用来生成深度数据的处理负荷。

接着，使用图7对指示处理（S102）的详细情况进行说明。

图7是用来说明实施方式的指示部12的处理动作的一例的图。在图7中，指示部12将用户触摸的触摸面板上的位置指示为被摄体的位置。触摸面板例如通过电阻膜方式或静电电容方式等，检测用户触摸的位置。

这样，指示部12将用户触摸的触摸面板上的位置指示为被摄体的位置，从而用户仅通过对触摸面板进行触摸就能够容易地指示被摄体的位置。

另外，所谓触摸的位置，不仅是用户接触的位置，也可以是表示由用户接触的位置所描绘的轨迹所包围的区域的位置。

此外，指示部12并不需要一定经由触摸面板取得用户输入的位置。例如，指示部12也可以将用户经由操作按钮等输入的显示器上的位置指示为被摄体的位置。

接着，使用图8及图9说明对象区域的设定处理（S103）的详细情况。

图8是表示实施方式的区域设定部13的处理动作的详细情况的流程图。图9是用来说明实施方式的区域设定部13的处理动作的一例的图。

如图8所示，首先，区域设定部13选择指示段（S301）。接着，区域设定部13计算表示指示段、和与在步骤S301或步骤S304中选择出的段（以下，称作“选择段”）相邻接的段（以下，称作“邻接段”）之间的图像的相似性的值（以下，称作“相似值”）（S302）。具体而言，区域设定部13例如将表示指示段的颜色直方图与邻接段的颜色直方图之间的重合程度的值计算为相似值。

在相似值比阈值大的情况下（S303的“是”），区域设定部13选择邻接段作为相似段（S304），再次回到步骤S302的处理。另一方面，在相似值比阈值小的情况下（S303的“否”），区域设定部13将包含选择段的区域设定为对象区域（S305）。即，区域设定部13将在步骤S301及步骤S304中选择出的段设定为对象区域。

通过进行以上那样的处理，区域设定部13能够将包含指示段、和表示相对于指示段的图像的相似性的值比阈值大的相似段在内的段集合设定为对象区域。例如，在如图9（a）所示那样指示了被摄体的位置的情况下，区域设定部13能够如图9（b）所示地将包括指示段和相似段的区域设定为对象区域。

另外，在邻接段有多个的情况下，区域设定部13按每个邻接段执行步骤S302～步骤S304的处理即可。

此外，相似值并不需要一定是表示颜色直方图的重合程度的值。例如，相似值也可以是表示两个段间的平均颜色的差的值。此外，相似值也可以不是表示颜色、而是表示亮度、明度或色度的相似性的值。

此外，相似值也可以是除了表示图像的相似性以外还表示位置的相似性的值。在此情况下，距指示段的距离越大的段，相似值越小。

接着，使用图10对跟踪处理（S105）的详细情况进行说明。图10是用来说明实施方式的跟踪部15的处理动作的一例的图。

这里，跟踪部15在第2图像内扫描包围对象区域的预先设定的形状的框。例如，跟踪部15如图10的（a）及图10的（b）所示那样，在第2图像内扫描外接于对象区域的矩形的框。

此时，跟踪部15在扫描过的第2图像内的各位置，仅从框内的区域中的对应于对象区域的区域提取特征量。例如，跟踪部15如图10的（b）所示那样，仅从框内的区域中的除了空白区域以外的区域提取特征量。

跟踪部15通过将这样在第2图像内的各位置提取出的特征量与从对象区域提取出的特征量进行比较，在第2图像内搜索与对象区域相似的区域。

如以上这样，根据本实施方式的图像处理装置，利用基于像素值的相似性将第1图像划分而得到的多个段来设定对象区域。因而，即使是具有复杂的几何形状的被摄体，也能够设定适合于该复杂的几何形状的形状的对象区域。结果，与从预先设定的形状的对象区域提取特征量的情况相比，能够适当地提取被摄体的特征量，所以能够正确地跟踪被摄体。

此外，根据本实施方式的图像处理装置，能够基于颜色的相似性将第1图像划分为多个段。因而，能够以使在一个段中不包含互不相同的多个被摄体的方式，将第1图像划分为多个段。结果，能够减小被摄体的边界包含在段内的可能性，所以能够设定更适合于被摄体形状的形状的对象区域。

此外，根据本实施方式的图像处理装置，通过基于使用颜色及像素位置而定义的相似性的聚类，能够将第1图像划分为多个段。因而，能够以使得在一个段中不包含互不相同的多个被摄体的方式，将第1图像高精度地划分为多个段。

此外，根据本实施方式的图像处理装置，能够通过k平均法将第1图像划分为多个段。因而，能够以使得在一个段中不包含互不相同的多个被摄体的方式，将第1图像更高精度地划分为多个段。进而，由于能够通过比较简单的处理进行分段，所以还能够减轻用于跟踪被摄体的处理负荷。

此外，根据本实施方式的图像处理装置，能够将包含指示段和相似段的段集合设定为对象区域。因而，即使是在一个被摄体的区域跨多个段的情况下，也能够设定适合于被摄体的形状的形状的对象区域。

此外，根据本实施方式的图像处理装置，通过对包围对象区域的预先设定的形状的框进行扫描，能够搜索与对象区域相似的区域。此时，由于在第2图像中仅从框内的区域中的与对象区域对应的区域提取特征量，所以能够不仅考虑特征量的相似性、还考虑形状的相似性来搜索与对象区域相似的区域。因而，能够更正确地跟踪被摄体。

（变形例）

接着，对上述实施方式的变形例进行说明。在本变形例中，提取部14及跟踪部15的处理动作与上述实施方式不同。图11是用来说明实施方式的变形例的跟踪部15的处理动作的一例的图。

本变形例的提取部14按对象区域中包含的每个段来提取特征量。

本变形例的跟踪部15按对象区域中包含的每个段，使用从该段提取出的特征量在第2图像内搜索与该段相似的区域，从而搜索与对象区域相似的区域。

此时，跟踪部15除了使用从该段提取出的特征量以外，还使用该段相对于对象区域的重心的位置关系，在第2图像内搜索与该段相似的区域。具体而言，跟踪部15基于段相对于对象区域的重心的位置关系的相似性、和特征量的相似性这两者，在第2图像内搜索与段相似的区域。

例如，如图11所示，跟踪部15利用将重心与段连结的矢量，在第2图像内搜索与该段相似的区域。具体而言，跟踪部15在第2图像内搜索与对象区域内的各段相似的区域的情况下，计算出表示两个矢量之间的相似性的值，该两个矢量是：将对象区域的重心与该段的代表点连结的矢量，以及将第2图像内的与对象区域的重心对应的位置与作为搜索对象的区域的代表点连结的矢量。进而，跟踪部15计算出表示从该段提取的特征量和从作为搜索对象的区域提取的特征量之间的相似性的值。跟踪部15使用这样计算出的两个表示相似性的值，判定作为搜索对象的区域是否与该段相似。

如以上这样，根据本变形例的图像处理装置，能够按每个段、使用特征量来搜索与该段相似的区域。因而，即使是在被摄体的形状较大地变化的情况下也能够跟踪被摄体。

此外，根据本变形例的图像处理装置，由于能够使用段间的位置关系来搜索与段相似的区域，所以能够更正确地跟踪被摄体。

以上，基于实施方式对一个或多个技术方案的图像处理装置进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域的技术人员想到的各种变形后的技术方案也包含在一个或多个范围内。

例如，在上述实施方式中，分段部11基于k平均法进行分段，但也可以基于其他聚类方法进行分段。例如，分段部11也可以基于平均位移法（mean-shift clustering）进行分段。

此外，在上述实施方式中，跟踪部15在第2图像内的整个区域中进行与对象区域相似的区域的搜索，但并不需要一定在整个区域中进行搜索。例如，跟踪部15也可以在第2图像内的与对象区域对应的位置的附近区域内进行与对象区域相似的区域的搜索。由此，能够使搜索区域变小，所以能够减轻处理负荷。

此外，上述实施方式的图像处理装置10具备的构成要素的一部分或全部也可以由一个系统LSI（Large Scale Integration：大规模集成电路）构成。例如，图像处理装置10也可以由具有分段部11、指示部12、区域设定部13、提取部14和跟踪部15的系统LSI构成。

系统LSI是将多个构成部分集成在一个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM（Read Only Memory）、RAM（RandomAccess Memory）等而构成的计算机系统。在上述ROM中存储有计算机程序。上述微处理器按照上述计算机程序进行动作，从而系统LSI实现其功能。

另外，这里设为系统LSI，但根据集成度的差异，也有称作IC、LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在制造LSI后能够编程的FPGA（Field Programmable Gate Array）或者能够对LSI内部的电路单元的连接及设定进行再构筑的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

此外，这样的图像处理装置也可以装备在摄像装置中。图10是表示一实施方式的摄像装置30的功能结构的框图。摄像装置30例如是数字静物照相机或数字视频摄像机。如图10所示，摄像装置30具备从互不相同的视点对第1图像及第2图像进行拍摄的摄像部31、和上述实施方式的图像处理装置10。

另外，在上述实施方式中，各构成要素也可以由专用的硬件构成、或者通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。这里，实现上述各实施方式的图像解码装置等的软件是以下这样的程序。

即，该程序使计算机执行图像处理方法，所述图像处理方法是对第1图像中包含的被摄体、在比上述第1图像靠后拍摄的第2图像内进行跟踪的图像处理方法，包括以下步骤：分段步骤，基于像素值的相似性，将上述第1图像划分为多个段；指示步骤，指示上述第1图像中的被摄体的位置；区域设定步骤，将包含存在于被指示的上述位置的段即指示段的段集合设定为对象区域；提取步骤，从设定的上述对象区域提取特征量；以及跟踪步骤，通过使用提取出的上述特征量、在上述第2图像内搜索与上述对象区域相似的区域，来跟踪上述被摄体。

工业实用性

本发明作为能够对第1图像中包含的被摄体在比上述第1图像靠后拍摄的第2图像内正确地跟踪的图像处理装置、以及具备该图像处理装置的数字静物照相机或数字视频摄像机等摄像装置来使用。

附图标记说明

10 图像处理装置

11 分段部

12 指示部

13 区域设定部

14 提取部

15 跟踪部

30 摄像装置

31 摄像部

权利要求书(按照条约第19条的修改)

1.（修改后）一种图像处理装置，对第1图像中包含的被摄体，在比上述第1图像靠后拍摄的第2图像内进行跟踪，其特征在于，具备：

分段部，基于像素值的相似性，将上述第1图像划分为多个段；

指示部，指示上述第1图像中的被摄体的位置；

区域设定部，将包含指示段的段集合设定为对象区域，该指示段是存在于所指示的上述位置的段；

提取部，从所设定的上述对象区域提取特征量；以及

跟踪部，通过使用提取出的上述特征量、在上述第2图像内搜索与上述对象区域相似的区域，来跟踪上述被摄体，

上述区域设定部将包含上述指示段和相似段、且形成一个连续区域的段集合设定为上述对象区域，上述相似段是表示相对于上述指示段而言的图像的相似性的值比阈值大的段。

2.如权利要求1所述的图像处理装置，其特征在于，

上述分段部基于颜色的相似性，将上述第1图像划分为多个段。

3.如权利要求2所述的图像处理装置，其特征在于，

上述分段部通过聚类将上述第1图像划分为多个段，该聚类基于使用颜色及像素位置而定义的相似性。

4.如权利要求3所述的图像处理装置，其特征在于，

上述聚类是k平均法即k-means clustering。

5.（修改后）如权利要求1～4中任一项所述的图像处理装置，其特征在于，

上述跟踪部，通过在上述第2图像内对包围上述对象区域的预先设定的形状的框进行扫描，从而在扫描过的上述第2图像内的各位置，仅从上述框内的区域中的与上述对象区域对应的区域提取特征量；

上述跟踪部，通过将在各位置提取出的特征量与从上述对象区域提取出的特征量进行比较，来搜索与上述对象区域相似的区域。

6.（修改后）如权利要求1～4中任一项所述的图像处理装置，其特征在于，

上述提取部按上述对象区域中包含的每个段提取特征量；

上述跟踪部，通过按上述对象区域中包含的每个段、使用从该段提取出的特征量在上述第2图像内搜索与该段相似的区域，来搜索与上述对象区域相似的区域。

7.（修改后）如权利要求6所述的图像处理装置，其特征在于，

上述跟踪部，除了使用从该段提取出的特征量以外，还使用该段与最接近于对象区域的重心的段之间的位置关系，在第2图像内搜索与该段相似的区域。

8.（修改后）如权利要求1～7中任一项所述的图像处理装置，其特征在于，

上述图像处理装置构成为集成电路。

9.（修改后）一种摄像装置，其特征在于，具备：

权利要求1～8中任一项所述的图像处理装置；以及

摄像部，拍摄上述第1图像及上述第2图像。

10.（修改后）一种图像处理方法，对第1图像中包含的被摄体，在比上述第1图像靠后拍摄的第2图像内进行跟踪，其特征在于，包括以下步骤：

分段步骤，基于像素值的相似性，将上述第1图像划分为多个段；

指示步骤，指示上述第1图像中的被摄体的位置；

区域设定步骤，将包含指示段的段集合设定为对象区域，该指示段是存在于所指示的上述位置的段；

提取步骤，从所设定的上述对象区域提取特征量；以及

跟踪步骤，通过使用提取出的上述特征量、在上述第2图像内搜索与上述对象区域相似的区域，来跟踪上述被摄体，

上述区域设定步骤中，将包含上述指示段和相似段、且形成一个连续区域的段集合设定为上述对象区域，上述相似段是表示相对于上述指示段而言的图像的相似性的值比阈值大的段。

11.（修改后）一种程序，其特征在于，

用来使计算机执行权利要求10所述的图像处理方法。

12.（删除）

Claims

1.一种图像处理装置，对第1图像中包含的被摄体，在比上述第1图像靠后拍摄的第2图像内进行跟踪，其特征在于，具备：

指示部，指示上述第1图像中的被摄体的位置；

提取部，从所设定的上述对象区域提取特征量；以及

跟踪部，通过使用提取出的上述特征量、在上述第2图像内搜索与上述对象区域相似的区域，来跟踪上述被摄体。

2.如权利要求1所述的图像处理装置，其特征在于，

3.如权利要求2所述的图像处理装置，其特征在于，

4.如权利要求3所述的图像处理装置，其特征在于，

上述聚类是k平均法即k-means clustering。

5.如权利要求1～4中任一项所述的图像处理装置，其特征在于，

6.如权利要求1～5中任一项所述的图像处理装置，其特征在于，

7.如权利要求1～5中任一项所述的图像处理装置，其特征在于，

上述提取部按上述对象区域中包含的每个段提取特征量；

8.如权利要求7所述的图像处理装置，其特征在于，

9.如权利要求1～8中任一项所述的图像处理装置，其特征在于，

上述图像处理装置构成为集成电路。

10.一种摄像装置，其特征在于，具备：

权利要求1～9中任一项所述的图像处理装置；以及

摄像部，拍摄上述第1图像及上述第2图像。

11.一种图像处理方法，对第1图像中包含的被摄体，在比上述第1图像靠后拍摄的第2图像内进行跟踪，其特征在于，包括以下步骤：

指示步骤，指示上述第1图像中的被摄体的位置；

提取步骤，从所设定的上述对象区域提取特征量；以及

跟踪步骤，通过使用提取出的上述特征量、在上述第2图像内搜索与上述对象区域相似的区域，来跟踪上述被摄体。

12.一种程序，其特征在于，

用来使计算机执行权利要求11所述的图像处理方法。