背景技术
以往,在判定提供的图像是否为人物图像时,大多使用边缘特征。例如,提出有使用了边缘方向直方图(HOG:Histograms of Oriented Gradients,方向梯度直方图)的物体识别方法(例如,参照专利文献1~3)。
简单地说明使用了边缘方向直方图的物体识别方法。以Ni表示边缘方向的数,从提供的M(像素)×N(像素)的浓淡图像I,求某一个数的边缘方向图像Ei。这里,如下式这样定义Ei。
在位置(x,y)的边缘方向为i时:Ei(x,y)=1
在位置(x,y)的边缘方向为i以外时:Ei(x,y)=0 ...(1)
i:边缘方向的号码,i=1,...,Ni
Ni:边缘方向的数
通过下式求边缘方向直方图(HOG)。
i:边缘方向的号码,i=1,...,Ni
Ni:边缘方向的数
通过使用边缘方向直方图,能够识别图1A的边缘图像和图1B的边缘图像。也就是说,通过使用边缘方向直方图,能够识别边缘方向不同的图像。
但是,使用了边缘方向直方图的识别方法检测图像整体的统计性的特征,所以例如难以识别图1B与图1C。其原因是,在图1B的边缘图像与图1C的边缘图像之间,边缘方向的频数相同。其结果,发生错误识别。
因此,作为能够识别图1B的边缘图像与图1C的边缘图像的一个方法,提出过使用了边缘的共现性的方法(例如,参照非专利文献1)。该方法使用边缘方向的共生矩阵(co-occurrence matrix of edge direction)作为表示边缘的共现性的特征量。用下式表示边缘方向的共生矩阵HCO(i,j)。
i,j:边缘方向的号码,i=1,...,Ni,j=1,...,Nj
Ni,Nj:边缘方向的数
R(x,y):(x,y)的邻近区域
在使用了边缘方向的共现性的图像识别方法中,进行考虑了邻近区域中的边缘方向的识别,所以在边缘方向直方图这样仅使用了边缘方向的频数的识别中曾经无法准确识别的边缘,也能够准确地识别。
现有技术文献
专利文献
专利文献1:特开平第5-210739号公报
专利文献2:特开第2003-263638号公报
专利文献3:特开第2007-156626号公报
非专利文献
非专利文献1:Sami Brand,Jorma Laaksonen,Erkki Oja,“Statistical ShapeFeatures in Content-Based Image Retrieval”,Proceedings of the 15thInternational Conference on Pattern Recognition(ICPR’2000),Volume 2,pp.6062
具体实施方式
以下,参照附图详细地说明本发明的实施方式。
[整体结构]
图2表示本发明的实施方式的物体识别装置的整体结构。在本实施方式中,说明主要通过物体识别装置100识别人物图像的情况,但物体识别装置100的识别对象不限于人物图像。
物体识别装置100通过图像获取单元101获取图像。图像获取单元101例如是照相机、扫描仪。图像获取单元101获取图像,进而通过对获取的图像进行截取需要的部分、图像变换这些预处理,获得浓淡图像数据S1,并将其输出。
噪声去除单元102去除浓淡图像数据S1的噪声。实际上,作为噪声去除单元102使用噪声去除滤波器即可,作为噪声去除滤波器使用中值滤波器、锐化滤波器、或平均值滤波器等即可。去除了噪声的浓淡图像数据S2被输出到图像大小归一化单元103。
图像大小归一化单元103对去除了噪声的浓淡图像S2进行大小归一化。也就是说,图像大小归一化单元103将输入的浓淡图像大小变更为预先确定的大小。例如,在输入的图像小于确定的大小时进行扩大操作,在输入的图像大于确定的大小时进行缩小操作。在本实施方式的例子中,采用64(像素)×128(像素)作为图像归一化的大小,将所有的图像变更为64(像素)×128(像素)的图像大小。进行了大小归一化的图像数据S3被输出到边缘提取单元104。
边缘提取单元104从进行了大小归一化的浓淡图像S3提取边缘。边缘提取单元104例如通过对浓淡图像数据S3进行微分,获得边缘方向图像数据S4。边缘方向图像数据S4被输出到特征量计算单元105。
特征量计算单元105从边缘方向图像数据S4计算特征量S5,并将其输出到识别单元106。识别单元106基于特征量S5,识别输入图像(也就是由图像获取单元101获取的图像)是否为人物图像。
[特征量计算单元]
图3表示特征量计算单元105的结构。特征量计算单元105将由边缘提取单元104获得的边缘方向图像输入到图像截取单元105-1。如图4A、图4B所示,图像截取单元105-1从边缘图像截取规定区域AR1、AR2的图像。图4A、图4B表示截取了由5(像素)×5(像素)构成的区域AR1、AR2的例子。再者,图4A表示作为人物图像经常出现的边缘图案的例子,图4B表示作为树的图像经常出现的边缘图案的例子。这里,区域AR1、AR2的中心像素P0是空间位置关系的基准点。
以下,以截取了图4A的区域AR1的情况为例进行说明。区域AR1内的边缘图像数据被输出到中心边缘像素的边缘方向判定单元105-2、邻近边缘像素的边缘方向判定单元105-3、以及边缘像素的空间位置关系检测单元105-4。
这里,在本实施方式中,如图5所示,将边缘方向例如分为6方向。各个边缘方向1~6是以下的范围。
边缘方向1:0°~30°,180°~210°
边缘方向2:30°~60°,210°~240°
边缘方向3:60°~90°,240°~270°
边缘方向4:90°~120°,270°~300°
边缘方向5:120°~150°,300°~330°
边缘方向6:150°~180°,330°~360°
再者,某个边缘像素的边缘方向通过该像素、与和该像素相邻的横与纵方向的像素之间的亮度的差(梯度)的反正切(arctan)运算而求得。在上述亮度的差大于规定值时,将该像素的边缘方向作为获得的边缘方向,在上述亮度的差为规定值以下时,判定为该像素不是边缘图像,将边缘方向设为-1。
中心边缘像素的边缘方向判定单元105-2求图4A的中心像素P0(坐标(x,y)的像素)的边缘方向,将求得的边缘方向输出到运算单元105-5。
邻近边缘像素的边缘方向判定单元105-3求存在于中心像素P0的邻近区域的边缘像素的边缘方向,将求得的边缘方向输出到运算单元105-5。在图4A的情况下,在中心像素P0的邻近区域存在四个边缘像素,所以邻近边缘像素的边缘方向判定单元105-3判定该四个边缘像素各自的边缘方向。
除此之外,本实施方式的特征量计算单元105通过边缘像素的空间位置关系检测单元105-4,检测边缘像素的空间位置关系。边缘像素的空间位置关系检测单元105-4检测存在于中心像素P0的邻近区域的边缘像素位于将中心像素P0的邻近区域分割为多个区域而构成的分割区域中的哪个分割区域。图6表示邻近区域的分割的例子。在图6的例子中,邻近区域被分割为八个区域R1~R8。边缘像素的空间位置关系检测单元105-4检测各个边缘像素位于区域R1~R8中的哪个区域。
运算单元105-5使用由中心边缘像素的边缘方向判定单元105-2、邻近边缘像素的边缘方向判定单元105-3、以及边缘像素的空间位置关系检测单元105-4获得的检测结果,计算三维的直方图。该三维的直方图可以被称为边缘空间共生矩阵(spatial co-occurrence matrix of edge directions)。以下,说明该边缘空间共生矩阵。
这里,以Ni表示边缘方向的数,从提供的M(像素)×N(像素)的边缘图像S4,求某一个数(图4A的情况为六个)的边缘方向图像Ei。这里,如下式这样定义Ei。
在位置(x,y)的边缘方向为i时:Ei(x,y)=1
在位置(x,y)的边缘方向为i以外时:Ei(x,y)=0 ...(4)
i:边缘方向的号码,i=1,...,Ni
Ni:边缘方向的数
这里,在将作为空间位置关系的基准点的中心像素P0的边缘方向的号码设为i,将存在于中心像素P0的邻近区域的像素(在图4A、图4B的情况下,为中心像素P0的周围的24个像素)的边缘方向的号码设为j,将存在于中心像素P0的邻近区域的像素的位置号码设为k时,运算单元105-5通过下式,求边缘空间共生矩阵HSCO(i,j,k)。
i,j:边缘方向的号码,i=1,...,Ni,j=1,...,Ni
Ni:边缘方向的数
k:边缘像素的位置号码,k=1,...,Nk
Nk:分割子区域的数
再者,式(5)中的Rk如图6所示,表示分割区域号码。
以式(5)表示的边缘的空间共生矩阵HSCO(i,j,k)计算出由规定像素(中心像素P0)的边缘的方向、存在于规定像素的邻近区域的边缘像素的边缘方向、以及规定像素与存在于邻近区域的边缘像素的空间位置关系规定了的边缘像素的个数作为图像的特征量。以式(5)表示的边缘的空间共生矩阵HSCO(i,j,k),对于图像整体考虑了边缘的位置关系,所以具有能够区分通过以往的边缘直方图(HOG)或以往的边缘共生矩阵(co-occurrence matrix of edge directions)无法区分的图形的能力。
这里,例如HSCO(4,3,3)的值是位于边缘方向4(90°~120°,270°~300°)的像素的右上方向(位置R3)的边缘方向3(60°~90°,240°~270°)的像素的数。在图4B所示的、作为树的图像经常出现的边缘图案中,该值(特征量)应该较大。具体而言,在图4B的边缘图案的情况下,HSCO(4,3,3)=2。相对于此,在图4A的边缘图案的情况下,HSCO(4,3,3)=0。
另外,HSCO(4,3,6)的值是位于边缘方向4(90°~120°,270°~300°)的像素的左下方向(位置R6)的边缘方向3(60°~90°,240°~270°)的像素的数。在图4A所示的、作为人物的图像经常出现的边缘图案中,该值(特征量)应该较大。具体而言,在图4A的边缘图案的情况下,HSCO(4,3,6)=2。相对于此,在图4B的边缘图案的情况下,HSCO(4,3,6)=0。
这样,对于边缘像素的所有像素,运算单元105-5对于i、j、k的所有组合,求边缘空间共生矩阵HSCO(i,j,k)。在本实施方式的例子中,i=1,2,.........,6,j=1,2,.........,6,k=1,2,.........,8,所以获得以6×6×8=288个元素构成的边缘空间共生矩阵。也就是说,作为特征量S5,获得288个特征量(三维直方图)。
[识别单元]
图7表示识别单元106的结构。识别单元106具有多个弱识别器106-11~106-1n、结合单元106-2、以及判定单元106-3。
由特征量计算单元150获得的特征量S5(特征量1~n)被输入到弱识别器106-11~106-1n。设有对应于特征量1~n的数量的弱识别器106-11~106-1n。在本实施方式的例子中,设有288个弱识别器,但即使比其小的数也没有关系。
弱识别器106-11~106-1n具有通过预先学习而获得的特征量、以及与其对应的识别函数。具体而言,在想要通过物体识别装置100识别人物的情况下,在学习时,将大量的人物图像和非人物图像用作学习图像,求物体识别装置100的特征量计算单元105的输出结果S5,通过利用机器学习方法、例如推进(Boosting)方法进行学习,各个弱识别器106-11~106-1n获得对应于人物图像的各个特征量的识别函数。
然后,在实际的图像识别时,使用从特征量计算单元105输入的特征量1~n和通过预先学习获得的上述识别函数,输出作为对应于各个特征量的人物的估计值h1~hn。
由结合单元106-2将各个估计值h1~hn相加,由此获得的估计值H被输出到判定单元106-3。判定单元106-3对估计值H进行阈值判定,在估计值H大于规定的阈值时,判定为输入图像是人物图像,输出判定结果S6。
[动作]
接着,使用图8,说明物体识别装置100的动作。这里,特别地说明作为本发明的特征的、特征量计算单元105和识别单元106的动作。
物体识别装置100在步骤ST10中开始特征量计算和识别处理后,在步骤ST11中,对于特征量计算单元105的、图像的所有像素,中心边缘像素的边缘方向判定单元105-2、邻近边缘像素的边缘方向判定单元105-3、以及边缘像素的空间位置关系检测单元105-4检测各个边缘像素的边缘方向和边缘位置关系。
在接下来的步骤ST12中,特征量计算单元105的运算单元105-5通过式(5)计算边缘空间共生矩阵作为特征量S5。
在接下来的步骤ST13中,将作为边缘空间共生矩阵的元素的对应的特征量(特征量1~n)输入到对应的弱识别器106-11~106-1n。
在接下来的步骤ST14中,各个弱识别器106-11~106-1n计算估计值hi(i=1~n)。在接下来的步骤ST15中,结合单元106-2计算估计值H。
在接下来的步骤ST16中,判定单元106-3对估计值H进行阈值判定。在估计值H大于阈值时,判定单元106-3转移到步骤ST17,判断为输入图像是人物图像,并输出“1”作为判定结果S6。相对于此,在估计值H为阈值以下时,判定单元106-3转移到步骤ST18,判断为输入图像是非人物图像,并输出“-1”作为判定结果S6。
在步骤ST17或步骤ST18之后,在步骤ST19中结束特征量计算和识别处理。
[效果]
如以上说明的,根据本实施方式,特征量计算单元105通过计算出由规定像素(在实施方式中为中心像素)的边缘的方向、存在于上述规定像素的邻近区域的边缘像素的边缘方向、以及与存在于上述规定像素的邻近区域的边缘像素的空间位置关系规定了的边缘像素的个数(三维直方图)作为图像的特征量S5,能够获得还表现了边缘的位置关系的特征量S5。其结果,还能够识别起因于边缘的位置关系的不同的边缘图案的不同,例如,能够提高人物图像的识别精度。
另外,在本实施方式中计算的边缘空间共生矩阵(特征量)是全局特征,所以能够获得图像中的人物对于位置偏移、姿态变动具有稳健性(robustness)的特征量。
[其他实施方式]
再者,在上述实施方式中,叙述了计算出由规定像素的边缘的方向、存在于上述规定像素的邻近区域的边缘像素的边缘方向、以及与存在于上述规定像素的邻近区域的边缘像素的空间位置关系规定了的边缘像素的个数(三维直方图)作为图像的特征量的情况,而例如也可以计算出由规定像素的边缘的方向、与存在于上述规定像素的邻近区域的边缘像素的空间位置关系规定了的边缘像素的个数(二维直方图)作为图像的特征量。
在这种情况下,只需在将特征量计算单元105的结构做成从图3的结构中省略了邻近边缘像素的边缘方向判定单元105-3的结构的同时,运算单元105-5通过下式求边缘空间共生矩阵H1(i,k)即可。
i:边缘方向的号码,i=1,...,Ni
Ni:边缘方向的数
k:边缘像素的位置号码,k=1,...,Nk
Nk:分割子区域的数
在这种情况下,能够想到与上述实施方式比较,识别精度降低,但能够与上述实施方式同样地获得表现了边缘的位置关系的特征量,所以能够识别起因于边缘的位置关系的不同的边缘图案的不同。
另外,也可以计算由存在于规定像素的邻近区域的边缘像素的边缘方向、以及与存在于上述规定像素的邻近区域的边缘像素的空间位置关系规定了的边缘像素的个数(二维直方图)作为图像的特征量。
这种情况下,只需在将特征量计算单元105的结构做成从图3的结构中省略了中心边缘像素的边缘方向判定单元105-2的结构的同时,运算单元105-5通过下式求边缘空间矩阵H2(j,k)即可。
j:边缘方向的号码,j=1,...,Nj
Nj:边缘方向的数
k:边缘像素的位置号码,k=1,...,Nk
Nk:分割子区域的数
再者,在上述实施方式中,叙述了将识别单元106做成具有多个弱识别器106-11~106-1n的结构的情况,但识别单元106的结构不限于此。本发明的特征特别在于特征量计算单元105的特征量的计算处理,所以除此之外的结构也可以进行适当变更。
在2008年11月11日提交的特愿第2008-288864号的日本专利申请所包含的说明书、附图和说明书摘要的公开内容,全部引用于本申请。