CN101681501B - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

本发明在用户指定的初始区域内不完全含有对象物的情况下也正确地提取全体对象物。本图像处理装置具有：指定单元，指定图像上的位置；设定单元，设定第一组合和第二组合，第一组合由第一对象区域候补和第一背景区域候补构成；直方图制作单元，制作各区域的标准化色直方图；相似度计算单元，计算各组合的相似度；以及选择单元，根据上述第一组合的相似度和上述第二组合的相似度，选择相似度小的组合。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本发明涉及用于从图像中提取对象物体的技术。 

背景技术

近年，随着以数字照相机和数字录像机等为代表的、具有摄像功能的小型电子设备的普及，这些设备的摄像功能高功能化逐步提高。 

例如，这些摄像装置通常具有LCD等显示器，用户可以一边用显示器确认所记录的影像，一边对被摄体进行摄影。 

此外，在数字照相机中还存在能够调整自动对焦功能(AF(Auto Focus)和自动曝光功能(AE(Auto Exposure))等的摄像装置，该摄像装置通过设置成半压快门的状态，以显示器的中央坐标为中心，将已决定的尺寸的矩形设定为对象物的区域，从设定的区域中提取对象物的特征，将最初提取的特征与进行了该提取的输入图像之后的输入图像进行匹配，由此进行对象物的追踪。 

作为现有技术，通过用户使用鼠标和触笔等，通过人工操作设定完全包含有对象物体的矩形和椭圆的区域，根据所设定的区域推断背景色的成分，通过从设定的区域内去掉背景色的成分来确定对象物的色成分，进行对象物体的提取(例如，参照专利文献1)。图19是上述专利文献1中记载的现有技术的框图。再有，现有的对象物追踪装置1600(图19)具有功能部1611、功能部1612、功能部1601～功能部1606的各功能部。标注在图19的各功能部中的文字表示在该功能部中所进行的处理。 

专利文献1：日本特开2004-252748号公报 

但是，在上述现有技术中，因为从用户所指定的区域内提取对象物体，因此，在用户未能指定完全包含有对象物的区域的情况下，就不能正确地提取全体对象物。 

此外，在数字照相机和数字录像机等现有的用户接口中，指定对象物区 域的操作很困难。 

发明内容

本发明用于解决上述现有的问题，其目的在于提供一种用户只进行简单的操作，例如仅指定对象物体的区域的一部分等，就能够正确地提取全体对象物的图像处理装置和图像处理方法及存储介质。 

为了解决上述现有问题而采用了以下结构。 

本发明的图像处理装置，提取图像中的对象物体，其特征在于，具有：指定单元，指定上述输入的图像上的位置；设定单元，以上述指定的位置为基准，设定第一组合和不同于第一组合的第二组合，上述第一组合由第一对象区域候补和第一背景区域候补构成，上述第二组合由第二对象区域候补和第二背景区域候补构成；直方图制作单元，制作上述第一对象区域候补的标准化色直方图、上述第二对象区域候补的标准化色直方图、上述第一背景区域候补的标准化色直方图及上述第二背景区域候补的标准化色直方图；相似度计算单元，根据上述制作的第一对象区域候补的标准化色直方图和上述制作的第一背景区域候补的标准化色直方图，计算上述第一组合的相似度，根据上述制作的第二对象区域候补的标准化色直方图和上述制作的第二背景区域候补的标准化色直方图，计算上述第二组合的相似度；以及选择单元，根据上述第一组合的相似度和上述第二组合的相似度，选择相似度小的组合。 

发明效果 

根据本发明，通过以用户指定的位置为基准，设定多个对象区域候补和背景区域候补的组合，根据对象区域候补的色直方图和背景区域候补的色直方图，对各组合计算相似度，由此能够提取对象物体。此外，通过根据对象区域候补的色直方图和背景区域候补的色直方图确定背景色成分，从对象区域候补和背景区域候补中提取对象物的区域，并合并所提取的对象物的区域，由此能够正确地检测出包含对象物的对象物外接区域。 

附图说明

图1是示出本发明的实施方式1中的图像处理装置的框图。 

图2是本发明的实施方式1中的图像处理装置的流程图。 

图3是示出本发明的实施方式1、2中的位置设定的例子的图(设定固定坐标)。 

图4是示出本发明的实施方式1、2中的位置设定的例子的图(触摸面板)。 

图5是示出本发明的实施方式1中的对象区域候补设定的例子的图。 

图6是示出本发明的实施方式1中的背景区域候补设定的例子的图。 

图7是示出本发明的实施方式1中的区域设定的例子的图。 

图8是示出本发明的实施方式1中的区域设定的例子的图。 

图9是示出本发明的实施方式1中的区域设定的例子的图。 

图10是示出本发明的实施方式1、2中使用的色空间的例子的图。 

图11是示出色直方图的例子的图。 

图12是示出本发明的实施方式1、2中的提取对象物和背景的色成分的例子的图。 

图13是示出本发明的实施方式2中的图像处理装置的框图。 

图14是本发明的实施方式2中的图像处理装置的流程图。 

图15是示出本发明的实施方式2中的对象区域候补设定的例子的图。 

图16是示出本发明的实施方式2中的背景区域候补设定的例子的图。 

图17是本发明的实施方式中的记录介质的框图。 

图18是说明图像处理装置确定高精度框的处理的图。 

图19是现有技术的框图。 

附图标记的说明 

100、1100          图像处理装置 

100I、301a、401a   输入图像 

101、1101          指示部 

102、1102          设定部 

103、1103          直方图制作部 

104、1104          相似度计算部 

105                选择部 

106、1106          框处理部 

107、1107          显示部 

301                坐标显示 

301b、401c、obj 对象物 

501、1301       对象区域候补 

601             背景区域候补 

701             圆区域 

702             椭圆区域 

703             集合区域 

1001、1002      标准化直方图 

1003            减法运算结果直方图 

1105            判定部 

1500            系统 

1501            CPU 

1506            RAM 

1507            HDD 

1509            存储介质 

1510            驱动器 

1511            I/O 

1512            ROM 

具体实施方式

以下，参照附图，关于本发明的实施方式进行说明。 

(实施方式1) 

图1是本发明的实施方式1中的图像处理装置100的框图。 

在图1中，进行对象物提取的图像处理装置100具有指示部101、设定部102、直方图制作部103、相似度计算部104、选择部105、框处理部106和显示部107。 

再有，这些显示部110等功能块也可以是分别通过由例如图17所示的CPU1501执行预定的程序来加以实现的功能。例如，图像处理装置100是图17所示的系统1500。再有，也可以将指示部110等功能块理解为，在由所谓的目标指向的程序来实现该功能块时，例如1个或多个目标的功能的功能块。 

图像处理装置100根据I个对象区域候补O_i(1≤i≤I，图5)等，确定 与对象物obj的轮廓一致的对象物区域(高精度对象物区域)。在此，高精度对象物区域如后面的详细说明，是I个对象区域候补O_i中比较适合的区域。然后，图像处理装置100是例如数字录像机等对含有对象物obj的静态图像和动态图像(参照输入图像100I)进行摄像的摄像装置或者是设置在这种摄像装置中的部件。然后，图像处理装置100根据例如确定的对象物区域，在图像处理装置100等根据对象物区域的特定结果所确定的焦距下，使图像处理装置100进行摄像。所确定的对象物区域被用于例如这种自动对焦功能的处理等的、利用各种对象物区域的处理中。 

图2是本发明的实施方式1涉及的图像处理装置100的流程图。 

首先，由图像处理装置100将输入图像100I(图1)输入到该图像处理装置100中(步骤S200)。 

图3是示出由图像处理装置100所显示的输入图像100I的图。 

输入了输入图像100I后，显示部107显示所输入的输入图像100I(步骤S201)。 

接着，指示部101根据用户的指示指定坐标(对象物部位坐标)(步骤S202)。具体地说，用户指定对象物obj中含有的部分的坐标。再有，关于该指定处理，后面进一步详细地说明。 

图5是示出对象区域候补501(对象区域候补O_i)的图。 

图6是示出背景区域候补601(背景区域候补B_i)的图。 

设定部102以指示部101的处理所指定的坐标为基准，设定对象区域候补O_i与背景区域候补B_i的I个组合(步骤S203，1≤i≤I)。在此，为了方便说明，假设组合的个数是2(I＝2，i＝1、2)来进行说明，但组合的数量不限于2组。 

直方图制作部103根据被设定的对象区域候补O_i和背景区域候补B_i的图像数据，分别计算色直方图(步骤S204)。即，直方图制作部103根据输入图像100I中的对象区域候补O_i部分的图像的图像数据，计算对象区域候补O_i的色直方图。此外，直方图制作部103根据输入图像100I中的背景区域候补B_i部分的图像的图像数据，计算背景区域候补B_i的色直方图。 

相似度计算部104根据对象区域候补O_i的色直方图和背景区域候补B_i的色直方图，计算对象区域候补O_i与背景区域候补B_i间的相似度L_i。相 似度计算部104对于各组合分别计算构成该组合的对象区域候补O_i与背景区域候补B_i的各色直方图间的相似度，计算出I个相似度(步骤S205)。 

选择部105比较计算出的I个相似度，选择1个相似度最低的组合(步骤S206)。即，选择部105将组合的相似度与其他组合的相似度进行比较。然后，选择部105选择由设定部102所确定的各组合中的相似度不大于该组合以外的其他任何组合的组合(选择组合)。 

框处理部106根据被选择的组合的对象区域候补O_s的色直方图和背景区域候补B_s的色直方图(1≤s≤I)，确定背景色的色成分和对象物obj(图5等)的色成分。即，框处理部106确定背景色中所含的1个以上的颜色种类。所确定的1个以上的种类是构成背景的颜色的色成分。从而，将确定背景色的各色成分称作确定背景色。此外，框处理部106确定构成对象物obj的1个以上的颜色的种类。再有，关于色直方图，将在后面进一步详细说明。 

之后，框处理部106从输入图像100I中提取对象物obj的色成分的像素，将提取出的像素合并为1个对象物区域(高精度对象物区域)(步骤S207)。即，框处理部106在例如输入图像100I中的在预定的和区域中所含的各像素中，确定作为对象物obj的色成分的各像素。在此，该和区域是例如选择组合的对象区域候补O_s和背景区域候补B_i这2个区域中的至少一方中所含的各部位集中而构成的区域。然后，框处理部106将由该确定的各像素的全体所构成的区域，确定为对象物区域(高精度对象物区域)。 

最后，显示部107显示合并后的对象物区域的框(步骤S208)。 

以下，说明各步骤的详细内容。 

首先，在步骤S201中，显示输入图像100I。 

在步骤S202中，图像处理装置100的用户一边确认所显示的输入图像100I，一边指示输入图像100I中的对象物obj上的坐标。所指示的坐标如图3所示，例如也可以是按下图像处理装置100的操作按钮的定时的显示图像(输入图像100I)的固定坐标。 

总之，指示部101也可以从输入到图像处理装置100中的多个输入图像100I中确定1个输入图像100I。然后，指示部101也可以将所确定的输入图像100I中的上述固定的坐标(预定的坐标)确定为对象物obj中所含的部位的坐标。 

图4是示出由用户的手指401b的触摸指定坐标时的输入图像401a的图。 

此外，例如，也可以在显示部107的上部安装触摸面板装置，如图4所示，通过用户接触面板来指示坐标。再有，也可以在坐标的指示中使用鼠标、触笔等输入设备。 

再有，总之，指示部101将用户对该图像处理装置100指定的坐标(对象物部位坐标)确定为对象物obj中所含的部位的坐标。 

接着，在步骤S203中，如图5所示，以用户指定的坐标为基准，由设定部102设定Mi个象素×Ni个象素的对象区域候补O_i(1≤i≤I)。之后，如图6所示，以用户指定的坐标为基准，由设定部102设定Oi个象素×Pi个象素的背景区域候补B_i，1≤i≤I)。这时，(Mi＜Oi，Ni＜Pi)。再有，这些对象区域候补501和背景区域候补601例如也可以是中心是由指示部101确定的坐标的区域。此外，背景区域候补601例如也可以是包含对应的对象区域候补501的区域。 

图7是示出圆区域701的图。 

图8是示出椭圆区域702的图。 

图9是示出相互离开的2个以上的区域集中而构成的集合区域703的图。 

再有，对象区域候补501和背景区域候补601的形状不限于矩形。例如，对象区域候补501和背景区域候补601中的一方或两方也可以是如图7所示的半径Ri的圆区域701，也可以是长轴Si、短轴Ti的椭圆区域702。此外，设定部102所设定的这些区域的一方或两方也可以是被分割为2个以上区域的集合区域703。 

然后，在步骤S204中，首先，利用直方图制作部103计算在步骤S203设定的各区域(对象区域候补O_i和背景区域候补B_i，1≤i≤I)的色直方图。 

图11是示出色直方图900的图。 

色直方图900是确定预定的多个颜色的种类中的、与各个颜色的种类相对应的频数(数值)的数据。被确定的数值是该色直方图900的图像中所含的各像素中的、该数值的种类的颜色的像素个数。再有，例如，上述颜色种类的预定的个数例如是后述的Q(＝16)个。再有，关于色直方图900，后面进一步详细地说明。在图11的色直方图900中，横轴表示16个颜色种类，纵轴表示该种类的颜色的像素个数。 

图10是示出HSV色空间中的色相(H)的色成分轴801的图。 

在色直方图的计算中，利用直方图制作部103制作将预定的色空间中的各色成分轴进行了Q分割的L维直方图。即，在所制作的色直方图中，确定像素个数的颜色种类的个数例如是Q个。然后，各个种类的颜色是将上述色空间进行了Q分割的各部分空间中的一个。此外，例如，这些部分空间是将色空间中的各色成分轴中的预定的1个色成分轴(例如色相的色成分轴，L＝1)进行了Q分割时的各部分的颜色。 

在此，作为一例，如图10所示，假设Q＝16，L＝1，色空间为HSV空间。此外，假设上述1个色成分轴是H(色相)的色成分轴。根据该H(色相)的色成分轴，由直方图制作部103制作出将该色相的色成分轴分割为16个的一维直方图(图11的色直方图900)。 

此外，直方图制作部103关于对象区域候补501内的各像素，判定是色空间内的被分割成16个的要素(色成分)中的哪个要素中所含的颜色的像素。直方图制作部103对具有分割后的各要素中所含的颜色的像素的像素数进行计数，计算对象区域候补501的色直方图。直方图制作部103对背景区域候补601也以同样的方式计算色直方图。 

图11中示出色直方图的一例。横轴是表示各要素(色成分)的号码q(q＝0、1、2、...、15)。纵轴是色直方图的频数，即具有该色成分的颜色的像素的个数。 

假设分割成16个的各要素中的第q个要素(0≤Q≤Q-1)的频数(像素的个数)为D_q个，用式(1)求出色直方图900的总像素数。 

【数学式1】 

...式(1) 

接着，计算用区域的总像素数除色直方图900的各要素的频数而得到的标准化直方图ND_q。 

【数学式2】 

标准化直方图 ${\mathrm{ND}}_q=\frac{D_q}{\underset{q=0}{\overset{Q-1}{\mathrm{\Σ}}}{D}_q}$

标准化直方图被标准化为各要素的总和等于1。 

即，标准化直方图是用于确定色直方图的图像的各像素的总数中所占的各色成分的各个像素的个数的比例的数据。 

接着，在步骤S205中计算对象区域候补501与背景区域候补601的组合的相似度。在此，作为相似度的尺度，使用式(3)所示的直方图交叉点Sob。由相似度计算部104分别对各组合计算这种相似度。 

【数学式3】 

$S_{\mathrm{ob}}={\mathrm{\Σ}}_{q=0}^{Q-1}\min (O_q,B_q)$ ...式(3) 

图12是示出对象区域候补501的标准化直方图1001和背景区域候补601的标准化直方图1002的图。再有，关于图12所示的减法运算结果直方图1003，将在后面进行详细说明。 

在此，图12所示的O_q是对象区域候补501的标准化直方图1001的各要素的频数，B_q是背景区域候补601的标准化直方图1002的各要素的频数。上述对象区域候补501的标准化直方图1001和背景区域候补601的标准化直方图1002都被标准化成总和等于1。从而，直方图交叉点Sob成为0至1的值。 

即，在对象区域候补501的标准化直方图1001的形状(图12)上重叠另一个标准化直方图1002的形状(图12)时，直方图交叉点Sob对应于这2个形状所重叠的重复区域的面积。 

然后，如前所述，设定部102设定对象区域候补501和背景区域候补601的I个组合。再有，直方图制作部103对于这些I个组合的每一个组合分别计算该组合(第i个组合)的对象区域候补501(对象区域候补o_i)和背景区域候补601(背景区域候补B_i)的2个区域的色直方图900(标准化色直方图)。此外，相似度计算部104也对这些I个组合分别计算相似度。 

在步骤S206中，由选择部105从已计算出相似度的I个组合中选择所计算出的相似度最低的组合，作为最适合的对象区域候补O_i与背景区域候补B_i的组合。 

在图12的右图中示出减法运算结果直方图1003。 

接着，在步骤S207中，首先，如式(4)所示，框处理部106从背景区域候补B_i的标准化直方图1002的各要素的频数中减去对象区域候补O_i的 标准化直方图1001的各要素的频数，来判定这些频数间的大小关系。即，框处理部106关于各色成分，分别从标准化直方图1001中的其色成分的个数B_q中减去标准化直方图1002中的其色成分的个数O_q。从而，框处理部106计算出减法运算结果直方图1003，该减法运算结果直方图1003的各色成分的频数分别是关于其色成分的上述减法运算的减法云算结果E_q。 

【数学式4】 

E_q＝B_q-O_q    E_q＜0：背景的色成分 

             E_q＞0：对象物的色成分    ...式(4) 

若减法运算结果E_q是正，框处理部106就将已进行了该减法运算的要素(色成分)决定为背景的色成分。另一方面，若减法运算结果E_q是负，则框处理部106就将该色成分决定为对象物obj的色成分。图12中示出一例。 

再有，也可以不根据减法运算结果E_q来决定是否是对象物obj的色成分，而如下地决定。框处理部106按照选择组合的背景区域候补601的标准化直方图1002中的频数从高到低的顺序确定u个色成分，即将从频数最高的色成分开始到第u个高的色成分的各色成分确定为背景的色成分。框处理部106从对象区域候补501的标准化直方图1001的各色成分中去掉已确定的u个色成分，将剩余的各色成分决定为对象物的色成分。 

接着，框处理部106从选择组合的对象区域候补501和背景区域候补601等、适合的对象区域候补501和背景区域候补601中，提取所决定的对象物obj的色成分(例如在上述运算结果直方图中预定了像素个数的阈值(例如0)以上的各色成分)的像素。然后，框处理部106设定含有从对象区域候补501和背景区域候补601中提取的对象物obj的各像素的矩形。即，例如，框处理部106将含有所提取的全部像素的最小矩形，确定为对象物区域(高精度对象物区域)。此外，对于提取的对象物obj的各像素，框处理部106也可以使用调整为椭圆的结果作为对象物区域。此外，框处理部106也可以将在步骤S206所选择的区域的组合(选择组合)的对象区域候补501直接设定为对象物区域。 

最后，在步骤S208中，图像处理装置100向显示部107输出在步骤S207设定的矩形框或椭圆框。通过进行该输出，显示部107显示被设定的对象物区域(高精度对象物区域)。 

(实施方式2) 

图13是本发明的实施方式2中的图像处理装置1100的框图。 

在图13中，进行对象物提取的图像处理装置1100具有指示部1101、设定部1102、直方图制作部1103、相似度计算部1104、判定部1105、框处理部1106和显示部1107。 

图14是本发明的实施方式2涉及的图像处理装置1100的流程图。 

图像处理装置1100向该图像处理装置1100输入了输入图像100I(步骤S1200)后，显示部1107显示所输入的输入图像100I(步骤S1201)。 

指示部1101根据图像处理装置1100的用户指示来指定坐标(S1202)。 

设定部1102以被指定的坐标为基准，设定M个象素×M个象素的对象区域候补O_1(对象区域候补O_t，t≥1)和N个象素×N个象素的背景区域候补B_1(背景区域候补B_t，t≥1)(步骤S1203、S1204)。 

直方图制作部1103根据被设定的对象区域候补O_1(对象区域候补O_t)和背景区域候补B_1(背景区域候补B_t)的图像数据，分别计算这些各区域的色直方图(步骤S1205)。 

相似度计算部1104根据对象区域候补O_1(对象区域候补O_t)的色直方图和背景区域候补B_1(背景区域候补B_t)的色直方图，计算对象区域候补O_1(对象区域候补O_t)与背景区域候补B_1(背景区域候补B_t)的相似度(步骤S1206)。 

判定部1105进行相似度的判定(步骤S1207)。 

在相似度的判定中已进行了预定的判定的情况下，框处理部1106根据已进行了该判定的对象区域候补O_t的色直方图和背景区域候补B_t的色直方图，确定背景色的色成分，提取成为对象物的背景色的色成分的各像素，将所提取的各像素合并为1个对象物(步骤S1208)。 

最后，在显示部1107显示框处理部1106进行了合并后的结果的框(步骤S1209)。 

以下，说明各步骤的详细内容。 

首先，步骤S1200、步骤S1201和步骤S1202分别与实施方式1的步骤S200、步骤S201和步骤S202相同。 

图15是示出对象区域候补O_t(对象区域候补1301)的图。 

图16是示出背景区域候补B t的图。 

接着，在步骤S1203中，如图15所示，由设定部1102将包含用户指示的坐标的M个象素×M个象素的区域设定为对象区域候补O_t(t＝1)。同样，在步骤S1204，如图16所示，由设定部1102将包含用户指示的坐标的N个象素×N个象素的区域设定为背景区域候补B_t(t≥1)。这时，例如，背景区域候补B_t是比对象区域候补O_t广的区域(M＜N)。再有，如后所述，例如，被设定的对象区域候补O_t与对象区域候补O_t的“t”无关，是相同的区域(对象区域候补1301)。 

然后，在步骤S1205中，由直方图制作部1103计算在步骤S1203所设定的对象区域候补O_t的色直方图和在步骤S1204所设定的背景区域候补B_t的色直方图。然后，由直方图制作部1103计算对各个各色直方图进行了标准化的标准化直方图。色直方图和标准化直方图的制作方式与实施方式1相同。 

接着，在步骤S1206中，相似度计算部1104计算对象区域候补O_t与背景区域候补B_t的相似度。作为相似度的尺度，例如使用直方图交叉点Sob(前述)。 

在步骤S1207中，判定部1105将预先设定的阈值TH与相似度进行比较。若判定为相似度高于阈值TH，判定部1105就判定为背景区域候补B_t未充分含有背景色，设定部1102放大背景区域候补B_t的尺寸(增加N)，图像处理装置1100的处理返回到步骤S1204。 

再有，返回后的步骤S1204～步骤S1207的处理中的t的值，是相对于返回前的当前t值加1的值(t+1)。然后，设定部1102在返回后将已进行了上述放大的区域设定为背景区域候补B_(t+1)。背景区域候补B_(t+1)是例如包含背景区域候补B_t的区域。 

随着t的内容变大，逐渐地放大背景区域候补B_t的尺寸，直到背景区域候补B_t大致包含了对象物obj为止，背景区域候补B_t中所占的对象物obj的色成分增加。这时，对象区域候补O_t与放大后的背景区域候补B_(t+1)的相似度大于对象区域候补O_t与背景区域候补B_t的相似度，计算出的相似度增加。在包含了对象物obj之后，进一步放大背景区域候补601的尺寸，背景区域候补601中所占的背景成分的比例增加。这时，对象区域候补501与放大后的背景区域候补601之间的相似度降低。 

即，根据背景区域候补601的尺寸变化，相似度例如如下地变化。背景区域候补B_(t+1)中含有而背景区域候补B_t中不含有的新入像素，在背景区域候补B_t包含对象物obj的情况下，是对象物obj的像素以外的其他像素。因此，基于背景区域候补B_(t+1)的相似度小于基于背景区域候补B_t的相似度。即，背景区域候补B_(t+1)的相似度比背景区域候补B_t的相似度低。另一方面，在背景区域候补B_t仅包含对象物obj的一部分的情况下，在背景区域候补B_(t+1)中含有作为对象物obj的像素的新入像素。从而，背景区域候补601的相似度增加。再有，相似度极大的t值中的背景区域候补601是背景区域候补B_1、背景区域候补B_2、...中的具有接近于对象物obj的形状的形状(例如最接近的形状)的区域。 

如上反复进行步骤S1204至步骤S1207的处理，直到相似度低于阈值TH。再有，在反复的过程中，步骤S1205的对象区域候补1301的色直方图和标准化色直方图的制作处理不一定需要反复进行。 

若相似度低于阈值TH，判定部1105就判定为背景区域候补B_(t+1)充分包含有背景色，向步骤S1208前进。 

上述步骤S1201和步骤S1202分别与实施方式1的步骤S201和步骤S202相同。 

上述步骤S1208和步骤S1209分别与实施方式1的步骤S207和步骤S208相同。 

(实施方式3) 

由程序构筑实施方式1或实施方式2中的物体提取装置(图像处理装置100、图像处理装置1100)的各结构要素的功能，将该程序安装到计算机中。然后，利用该计算机或具有该计算机的装置作为物体提取装置。在安装了该程序的计算机等中安装指示部101、设定部102、直方图制作部103、相似度计算部104、选择部105、框处理部106(指示部1101等)作为处理或程序模块。 

图17是示出系统1500的图。 

如图17所示，典型的方式是，该程序被保存在CD-ROM和DVD-ROM等存储介质1509中，经由驱动器1510和I/O1511安装在HDD(Hard Disk Drive：硬盘驱动器)1507等存储装置中。然后，通过CPU1501一边对ROM1512、RAM1506和HDD1507等进行存取一边执行该程序，由此来实现上述实施方式涉及的对象物提取装置(物体提取装置)。 

再有，也可以经由网络使输入图像100I和输出图像的一方或两方进行流通。 

以上说明的系统1500(图像处理装置100、图像处理装置1100)是提取图像中的对象物体的图像处理装置，具有：显示部107(显示部1107)，显示所输入的图像；区域指示处理部(指示部101、指示部1101)，根据用户的指示设定对象物的初始位置；设定部102(设定部1102)，以上述设定的初始位置为基准，设定至少2组以上的对象区域和背景区域的组合；直方图制作部103(直方图制作部1103)，在各个区域中计算上述设定的多个区域对群的色直方图；相似度计算部104(相似度计算部1104)，根据上述计算出的对象区域和背景区域的标准化色直方图计算相似度；选择部105(判定部1105)，选择上述相似度最小的对象区域和背景区域的组合；以及框处理部(框处理部106、显示部107等)，从上述选择的区域的组开始对对象物体区域进行框显示。该图像处理装置进行进行对象物的提取。 

从而，即使在用户所指定的初始区域内不完全含有对象物的情况下，也能够正确地提取全体对象物。 

再有，直方图制作部103(直方图制作部1103)例如也可以制作从背景区域候补601中去除了该背景区域候补601中所包含的对象区域候补501的环形区域的色直方图，作为背景区域候补601的色直方图。然后，相似度计算部104等也可以计算与环形区域的色直方图相对应的相似度等。 

图18是说明图像处理装置100(系统1500)确定高精度框的处理的图。 

图像处理装置100也可以在确定了选择组合之后进行下面的处理。 

设定部102在确定了选择组合的对象区域候补501之后，确定该对象区域候补501的位置附近的预定的多个位置的探索区域501y(参照图18的中央的上图)。 

直方图制作部103和相似度计算部104关于所确定的多个探索区域501y，分别计算该探索区域501y的相似度。在此，计算出的相似度也可以是例如选择组合的背景区域候补601与该探索区域501y之间的相似度。再有，选择组 合的背景区域候补601例如也可以还包含某个探索区域501y。 

框处理部106确定计算出的多个探索区域501y的相似度中大于预定的第一阈值的相似度的个数。然后，框处理部106判定所确定的个数是否大于预定的第二阈值。 

由图18上段的右图示出在判定为被确定为大于第一阈值的相似度的个数大于第二阈值时的图像处理装置100的处理。 

大的对象物obj1是比其他小对象物objx大的对象物。此外，对于任一个探索区域501y，该探索区域501y中所含的大的对象物obj1的部分都大于该探索区域501y中所含的小对象物objx的部分。因此，大的对象物obj 1被判定为比第二阈值多的探索区域501y的相似度大于第一阈值。另一方面，小的对象物objx被确定为小于大的对象物obj1，并且只有比第二阈值少的探索区域501y的相似度大于第一阈值。 

框处理部106若判定为大的相似度比第二阈值多，就将比选择组合的对象区域候补501x大的框501a确定为显示在显示部107中的框。这样，显示部107就显示所确定的大框501a(高精度对象物区域)。大框501a例如是中心位置与选择组合的对象区域候补501的中心位置相同、并且大于选择组合的对象区域候补501的框。再有，框处理部106若被判定为大的相似度的个数少，也可以例如显示选择组合的对象区域候补501x。这样，在对象物是大对象物obj1的情况下，可以由显示部107显示接近于该大对象物obj1的大小的框。 

此外，框处理部106判定在图2的步骤S205计算出的相似度是否小于预定的第三阈值。 

由图18下段的右图示出在判定为对象区域候补的相似度小的情况下的图像处理装置100的处理。 

小对象物obj2是比对象物objx小的比较小的对象物。然后，在选择组合的对象区域候补501z中所含的小对象物obj2的部分比在该对象区域候补501z中所含的对象物objx的部分小。因此，小对象物obj2是被判定为在步骤S205计算出的相似度小于第三阈值的对象物。 

框处理部106在进行了在步骤S205计算出的相似度小的判定的情况下，确定比选择组合的对象区域候补501z小的框501b(图18下段的右图)，作为显示在显示部107中的框。再有，小框501b是例如中心位置与选择组合的对象区域候补501x的中心位置相同、并且小于选择组合的对象区域候补501x的区域的框。反之，框处理部106在判定为在步骤S205计算出的相似度大的情况下，例如显示选择组合的对象区域候补501x(选择组合的对象区域候补501z)。这样，就能够在对象物小时由显示部107显示接近于其大小的框。 

如以上说明，指示部101确定用户指定的上述图像中的上述对象物体的位置。此外，设定部102分别设定含有指示部101所确定的上述位置的区域，作为上述第一对象区域候补(例如对象区域候补o_t)和上述第二对象区域候补(对象区域候补o_(t+1))。此外，直方图制作部103对2个上述对象区域候补和2个上述背景区域候补这4个区域，分别计算表示预定的多个色成分(Q个色成分)的像素在该区域的各像素中所占的比例的数据(标准化直方图、色直方图900)。此外，相似度计算部104对上述多个色成分的各个色成分，计算表示一个标准化直方图的其色成分的频数越接近于另一个标准化直方图的其色成分的频数则相似度越高的相似度，来作为上述相似度。然后，选择部105从2个上述组合中选择根据包括含有上述对象物的位置的各对象区域候补所计算出的上述相似度小的那个组合。 

这样，就能够选择进一步准确地划分了对象物obj与背景的那个组合。 

工业实用性 

在用户利用坐标点指定对象物来对对象物体提取对象物的外接区域的情况下，可利用本发明涉及的图像处理装置。 

Claims (8)

1.一种图像处理装置，提取图像中的对象物体，其特征在于，具有：

指定单元，指定输入的图像上的位置；

设定单元，以上述指定的位置为基准，设定第一组合和不同于第一组合的第二组合，上述第一组合由第一对象区域候补和第一背景区域候补构成，上述第二组合由第二对象区域候补和第二背景区域候补构成；

直方图制作单元，制作上述第一对象区域候补的标准化色直方图、上述第二对象区域候补的标准化色直方图、上述第一背景区域候补的标准化色直方图及上述第二背景区域候补的标准化色直方图；

相似度计算单元，根据上述制作的第一对象区域候补的标准化色直方图和上述制作的第一背景区域候补的标准化色直方图，计算上述第一组合的相似度，根据上述制作的第二对象区域候补的标准化色直方图和上述制作的第二背景区域候补的标准化色直方图，计算上述第二组合的相似度；以及

选择单元，根据上述第一组合的相似度和上述第二组合的相似度，选择相似度小的组合。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述设定单元将与上述第二对象区域候补相同的区域设定为上述第一对象区域候补，并且，将都包含上述第一对象区域候补且尺寸相互不同的2个区域分别设定为上述第一背景区域候补和上述第二背景区域候补。

3.根据权利要求1所述的图像处理装置，其特征在于，具有：

显示单元，显示输入的图像；以及

框处理单元，根据上述选择的组合的对象区域候补，在上述输入图像中的对象物体区域中显示框。

4.根据权利要求1所述的图像处理装置，其特征在于，

将上述第一对象区域候补、上述第二对象区域候补、上述第一背景区域候补和上述第二背景区域候补中的至少一个区域分割成2个以上的区域。

5.根据权利要求1所述的图像处理装置，其特征在于，

具有框处理单元，该框处理单元将表示上述选择的选择组合的对象区域候补的框显示为上述对象物体的区域。

6.根据权利要求5所述的图像处理装置，其特征在于，上述框处理单元具有：

对象色推断部，根据上述选择的选择组合的对象区域候补的色直方图和该选择组合的背景区域候补的色直方图，推断上述对象物体的色成分；

对象色提取部，从上述选择组合的对象区域候补和背景区域候补中提取上述推断的色成分的像素；以及

对象物合并部，将上述提取的像素合并为1个对象物，决定上述对象物体的区域。

7.根据权利要求1所述的图像处理装置，其特征在于，

上述指定单元确定用户所指定的、上述图像中的上述对象物体的位置，

上述设定单元分别设定含有被确定的上述位置的区域，作为上述第一对象区域候补和上述第二对象区域候补，

上述直方图制作单元对2个上述对象区域候补和2个上述背景区域候补这4个区域，分别计算表示预定的多个色成分的像素在该4个区域各自的各像素中所占的比例的数据，

上述相似度计算单元对上述多个色成分的各个色成分，计算出表示一个标准化直方图的其色成分的频数越接近于另一个标准化直方图的其色成分的频数则相似度越高的相似度，作为上述相似度，

上述选择单元从2个上述组合中选择计算出的上述相似度小的那个组合。

8.一种图像处理方法，用于提取图像中的对象物体，其特征在于，具有：

指定步骤，指定输入的图像上的位置；

设定步骤，以上述指定的位置为基准，设定第一组合及不同于第一组合的第二组合，上述第一组合由第一对象区域候补和第一背景区域候补构成，上述第二组合由第二对象区域候补和第二背景区域候补构成；

直方图制作步骤，制作上述第一对象区域候补的标准化色直方图、上述第二对象区域候补的标准化色直方图、上述第一背景区域候补的标准化色直方图及上述第二背景区域候补的标准化色直方图；

相似度计算步骤，根据上述制作的第一对象区域候补的标准化色直方图和上述制作的第一背景区域候补的标准化色直方图，计算上述第一组合的相似度，根据上述制作的第二对象区域候补的标准化色直方图和上述制作的第二背景区域候补的标准化色直方图，计算上述第二组合的相似度；以及

选择步骤，根据上述第一组合的相似度和上述第二组合的相似度，选择相似度小的组合。

Images