具体实施方式
以下,参照附图,关于本发明的实施方式进行说明。
(实施方式1)
图1是本发明的实施方式1中的图像处理装置100的框图。
在图1中,进行对象物提取的图像处理装置100具有指示部101、设定部102、直方图制作部103、相似度计算部104、选择部105、框处理部106和显示部107。
再有,这些显示部110等功能块也可以是分别通过由例如图17所示的CPU1501执行预定的程序来加以实现的功能。例如,图像处理装置100是图17所示的系统1500。再有,也可以将指示部110等功能块理解为,在由所谓的目标指向的程序来实现该功能块时,例如1个或多个目标的功能的功能块。
图像处理装置100根据I个对象区域候补O_i(1≤i≤I,图5)等,确定 与对象物obj的轮廓一致的对象物区域(高精度对象物区域)。在此,高精度对象物区域如后面的详细说明,是I个对象区域候补O_i中比较适合的区域。然后,图像处理装置100是例如数字录像机等对含有对象物obj的静态图像和动态图像(参照输入图像100I)进行摄像的摄像装置或者是设置在这种摄像装置中的部件。然后,图像处理装置100根据例如确定的对象物区域,在图像处理装置100等根据对象物区域的特定结果所确定的焦距下,使图像处理装置100进行摄像。所确定的对象物区域被用于例如这种自动对焦功能的处理等的、利用各种对象物区域的处理中。
图2是本发明的实施方式1涉及的图像处理装置100的流程图。
首先,由图像处理装置100将输入图像100I(图1)输入到该图像处理装置100中(步骤S200)。
图3是示出由图像处理装置100所显示的输入图像100I的图。
输入了输入图像100I后,显示部107显示所输入的输入图像100I(步骤S201)。
接着,指示部101根据用户的指示指定坐标(对象物部位坐标)(步骤S202)。具体地说,用户指定对象物obj中含有的部分的坐标。再有,关于该指定处理,后面进一步详细地说明。
图5是示出对象区域候补501(对象区域候补O_i)的图。
图6是示出背景区域候补601(背景区域候补B_i)的图。
设定部102以指示部101的处理所指定的坐标为基准,设定对象区域候补O_i与背景区域候补B_i的I个组合(步骤S203,1≤i≤I)。在此,为了方便说明,假设组合的个数是2(I=2,i=1、2)来进行说明,但组合的数量不限于2组。
直方图制作部103根据被设定的对象区域候补O_i和背景区域候补B_i的图像数据,分别计算色直方图(步骤S204)。即,直方图制作部103根据输入图像100I中的对象区域候补O_i部分的图像的图像数据,计算对象区域候补O_i的色直方图。此外,直方图制作部103根据输入图像100I中的背景区域候补B_i部分的图像的图像数据,计算背景区域候补B_i的色直方图。
相似度计算部104根据对象区域候补O_i的色直方图和背景区域候补B_i的色直方图,计算对象区域候补O_i与背景区域候补B_i间的相似度L_i。相 似度计算部104对于各组合分别计算构成该组合的对象区域候补O_i与背景区域候补B_i的各色直方图间的相似度,计算出I个相似度(步骤S205)。
选择部105比较计算出的I个相似度,选择1个相似度最低的组合(步骤S206)。即,选择部105将组合的相似度与其他组合的相似度进行比较。然后,选择部105选择由设定部102所确定的各组合中的相似度不大于该组合以外的其他任何组合的组合(选择组合)。
框处理部106根据被选择的组合的对象区域候补O_s的色直方图和背景区域候补B_s的色直方图(1≤s≤I),确定背景色的色成分和对象物obj(图5等)的色成分。即,框处理部106确定背景色中所含的1个以上的颜色种类。所确定的1个以上的种类是构成背景的颜色的色成分。从而,将确定背景色的各色成分称作确定背景色。此外,框处理部106确定构成对象物obj的1个以上的颜色的种类。再有,关于色直方图,将在后面进一步详细说明。
之后,框处理部106从输入图像100I中提取对象物obj的色成分的像素,将提取出的像素合并为1个对象物区域(高精度对象物区域)(步骤S207)。即,框处理部106在例如输入图像100I中的在预定的和区域中所含的各像素中,确定作为对象物obj的色成分的各像素。在此,该和区域是例如选择组合的对象区域候补O_s和背景区域候补B_i这2个区域中的至少一方中所含的各部位集中而构成的区域。然后,框处理部106将由该确定的各像素的全体所构成的区域,确定为对象物区域(高精度对象物区域)。
最后,显示部107显示合并后的对象物区域的框(步骤S208)。
以下,说明各步骤的详细内容。
首先,在步骤S201中,显示输入图像100I。
在步骤S202中,图像处理装置100的用户一边确认所显示的输入图像100I,一边指示输入图像100I中的对象物obj上的坐标。所指示的坐标如图3所示,例如也可以是按下图像处理装置100的操作按钮的定时的显示图像(输入图像100I)的固定坐标。
总之,指示部101也可以从输入到图像处理装置100中的多个输入图像100I中确定1个输入图像100I。然后,指示部101也可以将所确定的输入图像100I中的上述固定的坐标(预定的坐标)确定为对象物obj中所含的部位的坐标。
图4是示出由用户的手指401b的触摸指定坐标时的输入图像401a的图。
此外,例如,也可以在显示部107的上部安装触摸面板装置,如图4所示,通过用户接触面板来指示坐标。再有,也可以在坐标的指示中使用鼠标、触笔等输入设备。
再有,总之,指示部101将用户对该图像处理装置100指定的坐标(对象物部位坐标)确定为对象物obj中所含的部位的坐标。
接着,在步骤S203中,如图5所示,以用户指定的坐标为基准,由设定部102设定Mi个象素×Ni个象素的对象区域候补O_i(1≤i≤I)。之后,如图6所示,以用户指定的坐标为基准,由设定部102设定Oi个象素×Pi个象素的背景区域候补B_i,1≤i≤I)。这时,(Mi<Oi,Ni<Pi)。再有,这些对象区域候补501和背景区域候补601例如也可以是中心是由指示部101确定的坐标的区域。此外,背景区域候补601例如也可以是包含对应的对象区域候补501的区域。
图7是示出圆区域701的图。
图8是示出椭圆区域702的图。
图9是示出相互离开的2个以上的区域集中而构成的集合区域703的图。
再有,对象区域候补501和背景区域候补601的形状不限于矩形。例如,对象区域候补501和背景区域候补601中的一方或两方也可以是如图7所示的半径Ri的圆区域701,也可以是长轴Si、短轴Ti的椭圆区域702。此外,设定部102所设定的这些区域的一方或两方也可以是被分割为2个以上区域的集合区域703。
然后,在步骤S204中,首先,利用直方图制作部103计算在步骤S203设定的各区域(对象区域候补O_i和背景区域候补B_i,1≤i≤I)的色直方图。
图11是示出色直方图900的图。
色直方图900是确定预定的多个颜色的种类中的、与各个颜色的种类相对应的频数(数值)的数据。被确定的数值是该色直方图900的图像中所含的各像素中的、该数值的种类的颜色的像素个数。再有,例如,上述颜色种类的预定的个数例如是后述的Q(=16)个。再有,关于色直方图900,后面进一步详细地说明。在图11的色直方图900中,横轴表示16个颜色种类,纵轴表示该种类的颜色的像素个数。
图10是示出HSV色空间中的色相(H)的色成分轴801的图。
在色直方图的计算中,利用直方图制作部103制作将预定的色空间中的各色成分轴进行了Q分割的L维直方图。即,在所制作的色直方图中,确定像素个数的颜色种类的个数例如是Q个。然后,各个种类的颜色是将上述色空间进行了Q分割的各部分空间中的一个。此外,例如,这些部分空间是将色空间中的各色成分轴中的预定的1个色成分轴(例如色相的色成分轴,L=1)进行了Q分割时的各部分的颜色。
在此,作为一例,如图10所示,假设Q=16,L=1,色空间为HSV空间。此外,假设上述1个色成分轴是H(色相)的色成分轴。根据该H(色相)的色成分轴,由直方图制作部103制作出将该色相的色成分轴分割为16个的一维直方图(图11的色直方图900)。
此外,直方图制作部103关于对象区域候补501内的各像素,判定是色空间内的被分割成16个的要素(色成分)中的哪个要素中所含的颜色的像素。直方图制作部103对具有分割后的各要素中所含的颜色的像素的像素数进行计数,计算对象区域候补501的色直方图。直方图制作部103对背景区域候补601也以同样的方式计算色直方图。
图11中示出色直方图的一例。横轴是表示各要素(色成分)的号码q(q=0、1、2、...、15)。纵轴是色直方图的频数,即具有该色成分的颜色的像素的个数。
假设分割成16个的各要素中的第q个要素(0≤Q≤Q-1)的频数(像素的个数)为Dq个,用式(1)求出色直方图900的总像素数。
【数学式1】
接着,计算用区域的总像素数除色直方图900的各要素的频数而得到的标准化直方图NDq。
【数学式2】
标准化直方图
标准化直方图被标准化为各要素的总和等于1。
即,标准化直方图是用于确定色直方图的图像的各像素的总数中所占的各色成分的各个像素的个数的比例的数据。
接着,在步骤S205中计算对象区域候补501与背景区域候补601的组合的相似度。在此,作为相似度的尺度,使用式(3)所示的直方图交叉点Sob。由相似度计算部104分别对各组合计算这种相似度。
【数学式3】
...式(3)
图12是示出对象区域候补501的标准化直方图1001和背景区域候补601的标准化直方图1002的图。再有,关于图12所示的减法运算结果直方图1003,将在后面进行详细说明。
在此,图12所示的Oq是对象区域候补501的标准化直方图1001的各要素的频数,Bq是背景区域候补601的标准化直方图1002的各要素的频数。上述对象区域候补501的标准化直方图1001和背景区域候补601的标准化直方图1002都被标准化成总和等于1。从而,直方图交叉点Sob成为0至1的值。
即,在对象区域候补501的标准化直方图1001的形状(图12)上重叠另一个标准化直方图1002的形状(图12)时,直方图交叉点Sob对应于这2个形状所重叠的重复区域的面积。
然后,如前所述,设定部102设定对象区域候补501和背景区域候补601的I个组合。再有,直方图制作部103对于这些I个组合的每一个组合分别计算该组合(第i个组合)的对象区域候补501(对象区域候补o_i)和背景区域候补601(背景区域候补B_i)的2个区域的色直方图900(标准化色直方图)。此外,相似度计算部104也对这些I个组合分别计算相似度。
在步骤S206中,由选择部105从已计算出相似度的I个组合中选择所计算出的相似度最低的组合,作为最适合的对象区域候补O_i与背景区域候补B_i的组合。
在图12的右图中示出减法运算结果直方图1003。
接着,在步骤S207中,首先,如式(4)所示,框处理部106从背景区域候补B_i的标准化直方图1002的各要素的频数中减去对象区域候补O_i的 标准化直方图1001的各要素的频数,来判定这些频数间的大小关系。即,框处理部106关于各色成分,分别从标准化直方图1001中的其色成分的个数Bq中减去标准化直方图1002中的其色成分的个数Oq。从而,框处理部106计算出减法运算结果直方图1003,该减法运算结果直方图1003的各色成分的频数分别是关于其色成分的上述减法运算的减法云算结果Eq。
【数学式4】
Eq=Bq-Oq Eq<0:背景的色成分
Eq>0:对象物的色成分 ...式(4)
若减法运算结果Eq是正,框处理部106就将已进行了该减法运算的要素(色成分)决定为背景的色成分。另一方面,若减法运算结果Eq是负,则框处理部106就将该色成分决定为对象物obj的色成分。图12中示出一例。
再有,也可以不根据减法运算结果Eq来决定是否是对象物obj的色成分,而如下地决定。框处理部106按照选择组合的背景区域候补601的标准化直方图1002中的频数从高到低的顺序确定u个色成分,即将从频数最高的色成分开始到第u个高的色成分的各色成分确定为背景的色成分。框处理部106从对象区域候补501的标准化直方图1001的各色成分中去掉已确定的u个色成分,将剩余的各色成分决定为对象物的色成分。
接着,框处理部106从选择组合的对象区域候补501和背景区域候补601等、适合的对象区域候补501和背景区域候补601中,提取所决定的对象物obj的色成分(例如在上述运算结果直方图中预定了像素个数的阈值(例如0)以上的各色成分)的像素。然后,框处理部106设定含有从对象区域候补501和背景区域候补601中提取的对象物obj的各像素的矩形。即,例如,框处理部106将含有所提取的全部像素的最小矩形,确定为对象物区域(高精度对象物区域)。此外,对于提取的对象物obj的各像素,框处理部106也可以使用调整为椭圆的结果作为对象物区域。此外,框处理部106也可以将在步骤S206所选择的区域的组合(选择组合)的对象区域候补501直接设定为对象物区域。
最后,在步骤S208中,图像处理装置100向显示部107输出在步骤S207设定的矩形框或椭圆框。通过进行该输出,显示部107显示被设定的对象物区域(高精度对象物区域)。
(实施方式2)
图13是本发明的实施方式2中的图像处理装置1100的框图。
在图13中,进行对象物提取的图像处理装置1100具有指示部1101、设定部1102、直方图制作部1103、相似度计算部1104、判定部1105、框处理部1106和显示部1107。
图14是本发明的实施方式2涉及的图像处理装置1100的流程图。
图像处理装置1100向该图像处理装置1100输入了输入图像100I(步骤S1200)后,显示部1107显示所输入的输入图像100I(步骤S1201)。
指示部1101根据图像处理装置1100的用户指示来指定坐标(S1202)。
设定部1102以被指定的坐标为基准,设定M个象素×M个象素的对象区域候补O_1(对象区域候补O_t,t≥1)和N个象素×N个象素的背景区域候补B_1(背景区域候补B_t,t≥1)(步骤S1203、S1204)。
直方图制作部1103根据被设定的对象区域候补O_1(对象区域候补O_t)和背景区域候补B_1(背景区域候补B_t)的图像数据,分别计算这些各区域的色直方图(步骤S1205)。
相似度计算部1104根据对象区域候补O_1(对象区域候补O_t)的色直方图和背景区域候补B_1(背景区域候补B_t)的色直方图,计算对象区域候补O_1(对象区域候补O_t)与背景区域候补B_1(背景区域候补B_t)的相似度(步骤S1206)。
判定部1105进行相似度的判定(步骤S1207)。
在相似度的判定中已进行了预定的判定的情况下,框处理部1106根据已进行了该判定的对象区域候补O_t的色直方图和背景区域候补B_t的色直方图,确定背景色的色成分,提取成为对象物的背景色的色成分的各像素,将所提取的各像素合并为1个对象物(步骤S1208)。
最后,在显示部1107显示框处理部1106进行了合并后的结果的框(步骤S1209)。
以下,说明各步骤的详细内容。
首先,步骤S1200、步骤S1201和步骤S1202分别与实施方式1的步骤S200、步骤S201和步骤S202相同。
图15是示出对象区域候补O_t(对象区域候补1301)的图。
图16是示出背景区域候补B t的图。
接着,在步骤S1203中,如图15所示,由设定部1102将包含用户指示的坐标的M个象素×M个象素的区域设定为对象区域候补O_t(t=1)。同样,在步骤S1204,如图16所示,由设定部1102将包含用户指示的坐标的N个象素×N个象素的区域设定为背景区域候补B_t(t≥1)。这时,例如,背景区域候补B_t是比对象区域候补O_t广的区域(M<N)。再有,如后所述,例如,被设定的对象区域候补O_t与对象区域候补O_t的“t”无关,是相同的区域(对象区域候补1301)。
然后,在步骤S1205中,由直方图制作部1103计算在步骤S1203所设定的对象区域候补O_t的色直方图和在步骤S1204所设定的背景区域候补B_t的色直方图。然后,由直方图制作部1103计算对各个各色直方图进行了标准化的标准化直方图。色直方图和标准化直方图的制作方式与实施方式1相同。
接着,在步骤S1206中,相似度计算部1104计算对象区域候补O_t与背景区域候补B_t的相似度。作为相似度的尺度,例如使用直方图交叉点Sob(前述)。
在步骤S1207中,判定部1105将预先设定的阈值TH与相似度进行比较。若判定为相似度高于阈值TH,判定部1105就判定为背景区域候补B_t未充分含有背景色,设定部1102放大背景区域候补B_t的尺寸(增加N),图像处理装置1100的处理返回到步骤S1204。
再有,返回后的步骤S1204~步骤S1207的处理中的t的值,是相对于返回前的当前t值加1的值(t+1)。然后,设定部1102在返回后将已进行了上述放大的区域设定为背景区域候补B_(t+1)。背景区域候补B_(t+1)是例如包含背景区域候补B_t的区域。
随着t的内容变大,逐渐地放大背景区域候补B_t的尺寸,直到背景区域候补B_t大致包含了对象物obj为止,背景区域候补B_t中所占的对象物obj的色成分增加。这时,对象区域候补O_t与放大后的背景区域候补B_(t+1)的相似度大于对象区域候补O_t与背景区域候补B_t的相似度,计算出的相似度增加。在包含了对象物obj之后,进一步放大背景区域候补601的尺寸,背景区域候补601中所占的背景成分的比例增加。这时,对象区域候补501与放大后的背景区域候补601之间的相似度降低。
即,根据背景区域候补601的尺寸变化,相似度例如如下地变化。背景区域候补B_(t+1)中含有而背景区域候补B_t中不含有的新入像素,在背景区域候补B_t包含对象物obj的情况下,是对象物obj的像素以外的其他像素。因此,基于背景区域候补B_(t+1)的相似度小于基于背景区域候补B_t的相似度。即,背景区域候补B_(t+1)的相似度比背景区域候补B_t的相似度低。另一方面,在背景区域候补B_t仅包含对象物obj的一部分的情况下,在背景区域候补B_(t+1)中含有作为对象物obj的像素的新入像素。从而,背景区域候补601的相似度增加。再有,相似度极大的t值中的背景区域候补601是背景区域候补B_1、背景区域候补B_2、...中的具有接近于对象物obj的形状的形状(例如最接近的形状)的区域。
如上反复进行步骤S1204至步骤S1207的处理,直到相似度低于阈值TH。再有,在反复的过程中,步骤S1205的对象区域候补1301的色直方图和标准化色直方图的制作处理不一定需要反复进行。
若相似度低于阈值TH,判定部1105就判定为背景区域候补B_(t+1)充分包含有背景色,向步骤S1208前进。
上述步骤S1201和步骤S1202分别与实施方式1的步骤S201和步骤S202相同。
上述步骤S1208和步骤S1209分别与实施方式1的步骤S207和步骤S208相同。
(实施方式3)
由程序构筑实施方式1或实施方式2中的物体提取装置(图像处理装置100、图像处理装置1100)的各结构要素的功能,将该程序安装到计算机中。然后,利用该计算机或具有该计算机的装置作为物体提取装置。在安装了该程序的计算机等中安装指示部101、设定部102、直方图制作部103、相似度计算部104、选择部105、框处理部106(指示部1101等)作为处理或程序模块。
图17是示出系统1500的图。
如图17所示,典型的方式是,该程序被保存在CD-ROM和DVD-ROM等存储介质1509中,经由驱动器1510和I/O1511安装在HDD(Hard Disk Drive:硬盘驱动器)1507等存储装置中。然后,通过CPU1501一边对ROM1512、RAM1506和HDD1507等进行存取一边执行该程序,由此来实现上述实施方式涉及的对象物提取装置(物体提取装置)。
再有,也可以经由网络使输入图像100I和输出图像的一方或两方进行流通。
以上说明的系统1500(图像处理装置100、图像处理装置1100)是提取图像中的对象物体的图像处理装置,具有:显示部107(显示部1107),显示所输入的图像;区域指示处理部(指示部101、指示部1101),根据用户的指示设定对象物的初始位置;设定部102(设定部1102),以上述设定的初始位置为基准,设定至少2组以上的对象区域和背景区域的组合;直方图制作部103(直方图制作部1103),在各个区域中计算上述设定的多个区域对群的色直方图;相似度计算部104(相似度计算部1104),根据上述计算出的对象区域和背景区域的标准化色直方图计算相似度;选择部105(判定部1105),选择上述相似度最小的对象区域和背景区域的组合;以及框处理部(框处理部106、显示部107等),从上述选择的区域的组开始对对象物体区域进行框显示。该图像处理装置进行进行对象物的提取。
从而,即使在用户所指定的初始区域内不完全含有对象物的情况下,也能够正确地提取全体对象物。
再有,直方图制作部103(直方图制作部1103)例如也可以制作从背景区域候补601中去除了该背景区域候补601中所包含的对象区域候补501的环形区域的色直方图,作为背景区域候补601的色直方图。然后,相似度计算部104等也可以计算与环形区域的色直方图相对应的相似度等。
图18是说明图像处理装置100(系统1500)确定高精度框的处理的图。
图像处理装置100也可以在确定了选择组合之后进行下面的处理。
设定部102在确定了选择组合的对象区域候补501之后,确定该对象区域候补501的位置附近的预定的多个位置的探索区域501y(参照图18的中央的上图)。
直方图制作部103和相似度计算部104关于所确定的多个探索区域501y,分别计算该探索区域501y的相似度。在此,计算出的相似度也可以是例如选择组合的背景区域候补601与该探索区域501y之间的相似度。再有,选择组 合的背景区域候补601例如也可以还包含某个探索区域501y。
框处理部106确定计算出的多个探索区域501y的相似度中大于预定的第一阈值的相似度的个数。然后,框处理部106判定所确定的个数是否大于预定的第二阈值。
由图18上段的右图示出在判定为被确定为大于第一阈值的相似度的个数大于第二阈值时的图像处理装置100的处理。
大的对象物obj1是比其他小对象物objx大的对象物。此外,对于任一个探索区域501y,该探索区域501y中所含的大的对象物obj1的部分都大于该探索区域501y中所含的小对象物objx的部分。因此,大的对象物obj 1被判定为比第二阈值多的探索区域501y的相似度大于第一阈值。另一方面,小的对象物objx被确定为小于大的对象物obj1,并且只有比第二阈值少的探索区域501y的相似度大于第一阈值。
框处理部106若判定为大的相似度比第二阈值多,就将比选择组合的对象区域候补501x大的框501a确定为显示在显示部107中的框。这样,显示部107就显示所确定的大框501a(高精度对象物区域)。大框501a例如是中心位置与选择组合的对象区域候补501的中心位置相同、并且大于选择组合的对象区域候补501的框。再有,框处理部106若被判定为大的相似度的个数少,也可以例如显示选择组合的对象区域候补501x。这样,在对象物是大对象物obj1的情况下,可以由显示部107显示接近于该大对象物obj1的大小的框。
此外,框处理部106判定在图2的步骤S205计算出的相似度是否小于预定的第三阈值。
由图18下段的右图示出在判定为对象区域候补的相似度小的情况下的图像处理装置100的处理。
小对象物obj2是比对象物objx小的比较小的对象物。然后,在选择组合的对象区域候补501z中所含的小对象物obj2的部分比在该对象区域候补501z中所含的对象物objx的部分小。因此,小对象物obj2是被判定为在步骤S205计算出的相似度小于第三阈值的对象物。
框处理部106在进行了在步骤S205计算出的相似度小的判定的情况下,确定比选择组合的对象区域候补501z小的框501b(图18下段的右图),作为显示在显示部107中的框。再有,小框501b是例如中心位置与选择组合的对象区域候补501x的中心位置相同、并且小于选择组合的对象区域候补501x的区域的框。反之,框处理部106在判定为在步骤S205计算出的相似度大的情况下,例如显示选择组合的对象区域候补501x(选择组合的对象区域候补501z)。这样,就能够在对象物小时由显示部107显示接近于其大小的框。
如以上说明,指示部101确定用户指定的上述图像中的上述对象物体的位置。此外,设定部102分别设定含有指示部101所确定的上述位置的区域,作为上述第一对象区域候补(例如对象区域候补o_t)和上述第二对象区域候补(对象区域候补o_(t+1))。此外,直方图制作部103对2个上述对象区域候补和2个上述背景区域候补这4个区域,分别计算表示预定的多个色成分(Q个色成分)的像素在该区域的各像素中所占的比例的数据(标准化直方图、色直方图900)。此外,相似度计算部104对上述多个色成分的各个色成分,计算表示一个标准化直方图的其色成分的频数越接近于另一个标准化直方图的其色成分的频数则相似度越高的相似度,来作为上述相似度。然后,选择部105从2个上述组合中选择根据包括含有上述对象物的位置的各对象区域候补所计算出的上述相似度小的那个组合。
这样,就能够选择进一步准确地划分了对象物obj与背景的那个组合。
工业实用性
在用户利用坐标点指定对象物来对对象物体提取对象物的外接区域的情况下,可利用本发明涉及的图像处理装置。