CN1409267A - 图像处理装置、图像处理方法和计算机可读取记录媒体 - Google Patents

Abstract

一种图像处理装置，包括：边缘提取部(2)，输入图像并生成边缘图像；投票部(10)，使用模板生成在边缘图像上进行投票的投票结果；极大点提取部(13)提取投票结果中的极大点来生成提取结果；以及对象物鉴定部(15)，根据提取结果来鉴定对象物的位置。边缘提取部包括滤波处理部(7)使用集中进行图像中的噪声除去和边缘提取的滤波。

Description

图像处理装置、图像处理方法和计算机可读取记录媒体

技术领域

本发明涉及图像处理装置，特别涉及由输入的图像可高速并且高精度地自动检测对象物的位置等的技术。

背景技术

脸部具有表示人物的思考和感情的重要意义，眼睛中的虹膜成为鉴定该人物是谁的指标。

因此，在使用包含脸部和眼睛等的对象物的图像(静止图像、动画像、计算机图形等)的图像处理领域中，如果有可以自动地处理对象物在图像的什么位置以多大的大小存在这样的问题的系统，则十分便利。因此，在系统上，开始尝试从图像中提取对象物。

在脸部提取中，有使用半变换(ハフ变换)的方法。作为有关该方法的文献，有文献1：‘HeadFinder(头部寻像器)：基于帧间差分的人物跟踪’(画像センシングシンボジゥム2000，pp329-334)。

在该文献1中，披露了以下技术：将脸部以单一的圆近似，使用同心状地包括大小不同的多个圆的模板，来提取脸部。此外，在每个圆的半径中，准备不同的投票面。

然后，在图像上，用该模板进行光栅扫描，在模板的中心与边缘点(轮廓上的点)重合时，在各投票面中，对构成圆的点进行投票(加入固定值)。

然后，如果光栅扫描结束，则以成为最大的投票值的点的位置作为脸部位置，以该点所属的投票面的圆的大小作为脸部的大小。

由此，即使在图像上存在多个各种各样大小的脸部中，仅用1次光栅扫描，就可以检测所有的脸部位置及大小。

此外，就眼部区域的检测来说，文献2((日本)特开平4-225478号公报)披露了求出眼部区域的中心位置的技术。而且，在该文献中，从图像中检测边缘，用该边缘线部分的曲率半径形成圆弧，将交叉该圆弧最多的点作为虹膜的中心。

一般来说，在这样的对象物的检测中，处理量和提取精度存在折衷选择的关系。即，如果在环境条件中进行加强(ロバスト)的提取处理，则处理量必然膨胀，相反，如果减轻处理量，则在特定的环境以外难以维持精度。

而且，在虹膜识别的领域中，如果可以从眼部附近的图像中高速自动提取眼睛和瞳孔，则极大地削减识别处理的处理量，所以正在寻求高速的提取法。

在文献1所述的技术中，通过汇总多个不同大小的圆来进行半投票，从而削减半变换的处理量。但是，该提取法以帧间差分作为基础。

因此，在人物处于静止状态时，不能检测移动差分造成的人物轮廓边缘。此外，在背景移动的环境中，大多产生在周围移动的差分造成的边缘，人物的轮廓边缘被埋没。即，无论是哪种条件，都难以进行边缘检测，其结果，存在脸部区域检测困难这样的问题。

在文献2中，如果眼部区域的图像摄影条件差，则边缘图像也恶化，在检测圆弧中，也存在需要大量的处理量的问题。

发明内容

因此，本发明的目的在于提供高速、高精度地从图像中提取对象物的位置、大小的技术。

第1发明的图像处理装置包括：边缘提取部，输入图像并生成边缘图像；投票部，使用模板生成在边缘图像上进行投票的投票结果；极大点提取部，提取投票结果中的极大点来生成提取结果；以及对象物鉴定部，根据提取结果来鉴定对象物的位置。

在该结构中，用投票部的前级的边缘提取部来抑制检测边缘点，用后级的极大点提取部高速、高精度地压缩对象物的提取位置侯选，无论动画和静止画都可以实时提取位置和大小。

在第2发明的图像处理装置中，边缘提取部包括使用集中进行除去图像中的噪声和提取边缘的滤波的滤波处理部。

根据该结构，仅对滤波进行1次光栅扫描，就可以完成噪声的除去和边缘的提取，可进行高速并且正确的边缘提取。

在第3发明的图像处理装置中，边缘提取部包括将滤波处理部的滤波处理结果细线化的细线化部。

根据该结构，即使在滤波处理结果用粗线扫描边缘的情况下，也可以清晰地表现边缘。

在第4发明的图像处理装置中，滤波是将高斯滤波和单位矢量相乘的滤波。

根据该结构，可以集中发挥高斯滤波产生的烘托作用和单位矢量产生的边缘提取作用。即，无论图像的特性如何，都可以固定并且准确地除去噪声，同时可以仅提取必要的边缘。

在第5发明的图像处理装置中，滤波处理部除了使用对于xy方向的滤波获得滤波处理结果以外，还输出xy平面内的边缘矢量。

根据该结构，通过使用xy两方向的滤波，可以用xy的二维的边缘矢量来表现边缘。

在第6发明的图像处理装置中，细线化部根据当前像素和该当前像素的相邻像素中的滤波处理结果的大小关系、以及边缘矢量的方向来对滤波处理结果进行细线化。

根据该结构，通过简单的大小比较和边缘矢量的方向，即使在用粗线扫描边缘的情况下，也可以正确地将滤波处理结果细线化。

在第7发明的图像处理装置中，极大点提取部根据中心像素的投票结果和该中心像素的周围像素的投票结果的差分来生成提取结果。

根据该结构，可探索在投票面中投票值绝对评价高、并且周围的投票值的相对评价高的点。即，不仅投票值高，而且可以仅检测急剧变化大的部分，适合于有这种倾向的脸部区域和眼部区域的检测。

在第8发明的图像处理装置中，极大点提取部求中心像素的投票结果和该中心像素的周围像素的投票结果的差分，使用环形滤波来生成提取结果。

根据该结构，仅对环形滤波进行光栅扫描，不仅投票值高，而且可仅检测急剧升高的部分。

在第9发明的图像处理装置中，模板、投票结果及提取结果以各自多个大小来分别设定，对象物鉴定部鉴定对象物的位置及大小。

根据该结构，不仅对象物的位置，而且其大小也可以同时检测。

附图说明

图1是本发明一实施形态中的图像处理装置的方框图。

图2是该图像处理装置的方框图。

图3是该图像处理装置的流程图。

图4(a)是图像的例示图，图4(b)是滤波的说明图，图4(c)是光栅扫描的说明图。

图5(a)是滤波x分量的说明图，图5(b)是滤波y分量的说明图。

图6(a)是滤波处理结果的例示图，图6(b)是边缘图像的例示图。

图7(a)是细线化处理的说明图(滤波处理结果)，图7(b)是细线化处理的说明图(边缘矢量x分量)，图7(c)是细线化处理的说明图(边缘矢量y分量)。

图8是细线化部的流程图。

图9(a)、图9(b)是细线化处理的说明图。

图10是模板和投票面的关系说明图。

图11(a)、图11(b)、图11(c)、图11(d)是模板的例示图，图11(e)是投票的例示图。

图12(a)是边缘图像的例示图(本形态)，图12(b)是投票处理的说明图(本形态)。

图13(a)、图13(b)、图13(c)是环形滤波的例示图。

图14(a)是环形滤波的扫描说明图，图14(b)是评价面的例示图。

图15(a)、图15(b)是投票值的分布例示图。

图16(a)是边缘图像的例示图(茹贝尔滤波)，图16(b)是投票处理的说明图(茹贝尔滤波)。

具体实施方式

首先，在进行本形态自身的说明之前，使用图16来说明本发明人为了改善文献1的发明的技术而研讨的技术。在该技术中，取代文献1中的帧差分，根据通常的静止画边缘检测方法，使用茹贝尔滤波(Zobel filter)，提取边缘。

图16(a)示出茹贝尔滤波的边缘提取结果的实例。从图16(a)可知，除了本来应提取的脸部轮廓101及肩部轮廓102以外，还检测多个多余的边缘点103。这些边缘点103正是噪声。

因此，如果原封不动地进行半投票，则为图16(b)所示的结果。即，如模板t4、t5那样，在以脸部轮廓以外的噪声(边缘点103)为中心的圆上也进行投票，不仅需要进行多余的运算处理量，而且使投票结果的精度下降。

这里，无论是否是噪声，如果增加边缘点数，则模板的加入次数成比例增加，而处理量指数地增加。因此，在个人计算机等级的处理能力上，需要庞大的处理时间，难以进行实时处理。

而且，来自投票面的特征点检测的处理量非常大，难以进行实时处理，所以考虑通过分散和阈值的取舍选择来实现高速化。

但是，为了高速化而进行间隙和每个单位块的平均化，则产生脸部位置埋没于噪声的情况或只提取噪声的情况，在提取精度上产生问题。

此外，如图16(a)所示，一旦生成了边缘图像后，与预先设定的阈值进行比较，除去噪声小的边缘点，然后进行半投票。

但是，适当设定该阈值极其困难。在输入图像前，不能预先知道图像中的对象物的大小等，其结果，该阈值不得不取经验上认为是合适的值。然后，根据该阈值来决定除去噪声作用的强弱。

这里，如果噪声除去的作用过弱，则噪声残留多，其结果，与图16(b)所示的状态没有显著差别。相反，如果噪声除去的作用过强，本来应该残留的脸部轮廓101的全部或一部分欠缺或消失，使投票结果的精度降低。

于是，即使除去取决于各个图像特性的噪声，也难以达到期望的目的。

考虑到这方面，本发明人提出以下方案：无论图像的特性如何，都可以固定地使用，其结果能够可靠地除去噪声的滤波等，并如以下详细地说明，完成了本发明。

下面，参照附图来说明本发明的实施形态。图1是本发明一实施例的图像处理装置的功能方框图，图2是该图像处理装置的方框图，图3是该图像处理装置的流程图。

在说明各部的细节前，使用图3来概括说明本形态的图像处理装置的处理流程。首先，输入图像(步骤1)，对该图像实施滤波处理(步骤2)，获得粗略的粗边缘。接着，对粗边缘进行细线化(步骤3)，使用模板，进行投票(步骤4)。

进而，根据投票结果，提取极大的点(步骤5)，鉴定对象物的位置和尺寸(步骤6)，输出结果(步骤7)。

下面，说明本形态的图像处理装置的结构。图2表示具体构成图1的要素的实例。即，在图2中，CPU(中央处理装置)20根据存储于ROM(只读存储器)21中的图3、图8等的流程图来执行图像处理程序，经由总线19来控制图2所示的各要素。

在RAM(随机存取存储器)22和硬盘23中，除了图1所示的各存储部1、3、4、5、6、9、11、12、14的区域以外，CPU20还确保用于其处理所需的暂时存储区域。

再有，图1所示的各处理部7、8、10、13、15可通过CPU20执行存储于ROM21中的图像处理程序来实现。此外，该程序可以被存储在硬盘23或CD-ROM等众所周知的记录媒体中。

在图2的例中，摄象机25连接在接口24上，可以实时取得包含对象物的图像。再有，摄象机25可以使用CCD、CMOS的任何一种模块，摄象机25可以是静像摄影机/视频摄象机的任何一种，也可以是附属于携带电话的摄象机。

在图1中，在输入图像存储部1中，存储输入图像。在本形态中，为了简化，输入图像具有作为亮度表现的代表性亮度Y0(x，y)(8比特)，假设根据该亮度Y0(x，y)来进行处理。

这里，可以使亮度Y0(x，y)具有不同的色调，也可以使用不是亮度而是亮度的其他表现形式。此外，输入图像可以是灰色标度图像，也可以从彩色图像中分离亮度Y0(x，y)。

存储在输入图像存储部1中的图像的数据形式只要是动画/静止画的其中一种即可，在动画的情况下按帧为单位进行处理。再有，对于具有场构造的动画来说，可以将奇数场和偶数场合并为一幅图画后来进行处理。

作为存储在输入图像存储部1中的图像，可以使用由图2的摄象机25实时拍摄的图像，也可以是过去拍摄的、并且存储在RAM22或硬盘23等存储装置中。

边缘提取部2从输入图像存储部1输入图像来生成边缘图像。如图1所示，边缘提取部2包括：滤波处理部7，使用集中进行图像的噪声除去和边缘提取的滤波；以及细线化部8，对滤波处理部7的滤波处理结果进行细线化。

在滤波存储部3中，存储滤波处理部7使用的滤波。

如后所述，该滤波是将高斯滤波和单位矢量相乘的滤波，滤波处理部7除了使用xy方向的滤波的滤波处理结果以外，还输出xy平面内的边缘矢量。

在边缘提取部2中，滤波处理部7通过滤波存储部3存储的滤波Sx(x，y)、Sy(x，y)来进行滤波处理，边缘矢量(Y1x(x，y)，Y1y(x，y))被存储在边缘矢量存储部4中，滤波处理结果Y1(x，y)被存储在滤波处理结果存储部5中。

接着，细线化部8使用边缘矢量(Y1x(x，y)，Y1y(x，y))、滤波处理结果Y1(x，y)，提取滤波处理结果Y1(x，y)中扫描的线的局部极大点，进行细线化，求出边缘部。这里，该滤波处理是图像和滤波的卷积运算处理。

下面，使用图4、图5，一边示出公式，一边详细说明滤波。首先，图4(a)表示存储在输入图像存储部1中的一例图像。

如图4(b)所示，定义滤波的系统。该滤波S有纵横N像素，其中心为原点(0，0)。

此时，极坐标所示的高斯滤波将σ<SUP>2</SUP>作为分散，按下式来定义。

【公式1】 $g\left(r\right)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}\exp (-\frac{r^2}{2{\mathrm{\&sigma;}}^2})$

如果用x-y坐标来表现该滤波，则如下表示。

【公式2】 $g(x,y)=\frac{1}{\sqrt{2\mathrm{\&pi;}}\mathrm{\&sigma;}}\exp (-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2})$

此外，大小为‘1’的单位矢量如下表示。

【公式3】 $\stackrel{\&RightArrow;}{u}=\frac{\stackrel{\&RightArrow;}{r}}{\left|r\right|}=\frac{(x,y)}{\sqrt{x^2+y^2}}=(\frac{x}{\sqrt{x^2+y^2}},\frac{y}{\sqrt{x^2+y^2}})=(u_x(x,y),u_y(x,y))$

而且，该滤波将高斯滤波和单位矢量相乘，对于x方向具有

【公式4】 $S_x(x,y)=g(x,y)\&times;u_x(x,y)=\frac{x}{\sqrt{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2(x^2+y^2)}}\exp (-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2})$

对于y方向具有

【公式5】 $Y_{1x}(x,y)=\underset{l=0}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=0}{\overset{N}{\mathrm{\&Sigma;}}}[Y_0(x+k,y+l)\&times;S_x(k-\frac{N}{2},l-\frac{N}{2})]$ 这样的两个分量。其中，在(公式4)、(公式5)中，-N/2≤x≤N/2、N/2≤y≤N/2。

图示该x方向的滤波分量时，如图5(a)所示，而图示y方向的滤波分量时，则如图5(b)所示。图5所示的滤波S有19×19的大小，但滤波大小可以更大，也可以更小，滤波越大，越可以检测粗的边缘。

而且，在进行滤波处理中，如图4(c)所示，在图像上，对滤波S进行光栅扫描。

该扫描的结果可获得边缘矢量的x分量

【公式6】 $Y_{1x}(x,y)=\underset{l=0}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=0}{\overset{N}{\mathrm{\&Sigma;}}}[Y_0(x+k,y+l)\&times;S_x(k-\frac{N}{2},l-\frac{N}{2})]$

、以及边缘矢量的y分量

【公式7】 $Y_{1x}(x,y)=\underset{l=0}{\overset{N}{\mathrm{\&Sigma;}}}\underset{k=0}{\overset{N}{\mathrm{\&Sigma;}}}[Y_0(x+k,y+l)\&times;S_y(k-\frac{N}{2},l-\frac{N}{2})]$ 。滤波处理部7将这些分量存储在边缘矢量存储部4中。

此外，滤波处理结果正是边缘矢量的大小，由下式定义。

【公式8】 $Y_1(x,y)=\sqrt{Y_{1x}^2(x,y)+Y_{1y}^2(x,y)}$

滤波处理部7将按该式算出的滤波处理结果存储在滤波处理结果存储部5中。

这里，高斯滤波除去高频噪声，根据高斯滤波的σ的大小，检测更粗的边缘。作为滤波，无论图像的特性如何，都可以固定地使用，只要能够可靠地除去噪声，进行各种变更也没有妨碍。

以下，简单地说明可以与图像的特性无关地固定使用该滤波的理由。

一般地，在图像中，存在各种各样比例尺的边缘。这里，该‘比例尺’这样的用语作为专门用语有固定的意思，但与日常使用的比例尺(比例尺大或小的情况)有相同的意义。

例如，在输入了某个风景的图像的情况下，在背景的山上是大的边缘，在跟前的家的窗户的格子中成为小的边缘。如果整体地看背景的山，则平缓，而如果仔细地看，则在细部有细的凹凸。

这样的情况下，背景的山的平缓的边缘在大的比例尺中可看见，格子的边缘在小的比例尺中可看见。

但是，在图像中，脸部和眼部等检测物的轮廓的坡度基本上确定的情况居多，可以用固定的比例尺来表现。因此，最好提取构成该轮廓的边缘，只要预先定义不提取除此以外的细小的边缘的比例尺，则可以仅良好地提取轮廓。

数学上说，比例尺大的粗略的边缘可以用空间频率低的函数项来表现，比例尺小的细的边缘可以用空间频率高的函数项来记述。

因此，在取出适当比例尺的边缘中，对图像施加适当的滤波，使图像相相应模糊，在其上可以进行边缘提取。

这样的滤波可以作为频带滤波来表现，但在相同频带宽度下边缘位置的精度最好的情况是高斯函数。

因此，本形态的滤波具有以下构造：在具有以最好地提取轮廓的比例尺定义的频带宽度的高斯函数中，将x方向和y方向的单位矢量相乘。具体地说，比例尺和频带宽度与滤波的大小有关。

即，在现有技术中，进行

(步骤1)平滑化(滤波大小为经验值)

(步骤2)边缘检测(滤波大小为经验值)

(步骤3)根据阈值除去小边缘(阈值按每种情况调整)这样的三步骤，在本形态中，通过将滤波的大小设定为可最容易提取轮廓的大小，不进行以每种状况调整阈值等麻烦的处理，而且仅在一次处理中进行与图像无关的固定地提取。

图6(a)是图4(c)所示的扫描结果得到的滤波处理结果的实例。将图6(a)与图4(c)比较可知，凹凸和细小的噪声被除去。而且，还可检测比原来的轮廓线粗的边缘。

这样，在滤波处理结果中，省略细小的边缘和噪声，检测轮廓粗的边缘，但滤波S的大小大，所以检测边缘也非常粗。因此，在下级的细线化部8中进行细线化处理。

即，细线化部8通过按照图8的流程图执行处理，将图6(a)的滤波处理结果细线化，生成图6(b)的边缘图像。

下面参照图7至图9来说明该细线化处理。简单地说，细线化部8根据该当前像素的相邻像素中的滤波处理结果的大小关系和边缘矢量的方向，将滤波处理结果细线化。

首先，在开始细线化前，在滤波处理结果存储部5中，存储图7(a)所示的滤波处理结果Y1(x，y)，在边缘矢量存储部4中，存储边缘矢量(Y1(x，y)、Y1y(x，y))。

此时，如图7(a)所示，在当前像素处于(x，y)坐标时，设其坐标的滤波处理结果为c，其坐标的边缘矢量的x分量Y1x(x，y)为h，其y分量Y1y(x，y)为v。

此外，在当前像素的左、右、上及下中，设相邻的像素的滤波处理结果分别为l、r、t、b。此时，有图7(d)所示的几何学的关系。

然后，在满足图9(a)或图9(b)的某一个的条件情况下，在当前像素(x，y)的边缘图像Y2(x，y)中设置c(为边缘)，而在不满足条件时，在该边缘图像Y2(x，y)中设置0(不是边缘)。

由此，可以使图6(a)的粗边缘成为图6(b)的尖锐的边缘。

这里，图9(a)的条件是边缘矢量的方向与x轴形成的角θ在-45°≤θ≤45°或135°≤θ≤225°的范围内，并且1≤c、c≥r的关系成立。

此外，图9(b)的条件是边缘矢量的方向与x轴形成的角在45°≤θ≤135°或225°≤θ≤315°的范围内，并且t≤c、c≥b的关系成立。

再有，以上的数值只是一例，可以进行各种变更。由此，可以仅提取滤波结果中存在的粗边缘的起伏的山脊来进行细线化。由此，在投票部10的投票前，可抑制噪声，减少边缘点数。

因此，细线化部8进行图8的处理。即，在步骤21中，将x方向的坐标计数器i、y方向的坐标计数器j初始化为1，代入图7说明的值(步骤22)。

接着，细线化部8在步骤23～步骤26中，对于计数器(i，j)表示的坐标，检查是否满足图9(a)或图9(b)的某一个条件。如果满足条件，则在步骤27中，在与计数器(i，j)表示的坐标有关的边缘图像中设置c，而如果不满足条件，则在步骤28中设置0。

然后，在步骤29～步骤32中，使计数器i、j进位，同时重复进行步骤22以下的处理。

如果该重复处理结束，则细线化后的边缘图像被存储在边缘图像存储部6中。

下面，使用图1、图10、图11来说明投票部10等。投票部10使用存储在模板存储部9中的模板T1、T2、…、Tn，在边缘图像存储部6中存储的边缘图像上进行投票，生成投票结果。

这里，如图10所示，将模板存储部9中存储的模板T1、T2、…、Tn、投票结果存储部11中存储的投票结果V1、V2、…、Vn以各自多个大小分别设定。

同样，在图1中，将提取结果存储部14存储的提取结果R1、R2、…、Rn以各自多个大小分别设定，对象物鉴定部15鉴定对象物的位置和大小。由此，不仅对象物的位置，而且可同时检测其大小。

图11(a)～(d)表示用于检测脸部和眼部区域的合适的模板的例子。即，如图11(a)所示的圆、图11(b)所示的多角形、图11(c)所示的椭圆，可使用闭合的线，如图11(d)所示，也可以使用模拟头部和肩部的敞口线。

如上所述，模板即使是圆、宽度1以上的圆环、除此以外的椭圆、正六角形等多角形也无妨碍。圆从模板中心至所有形状的像素的距离始终一定，所以投票结果的精度高。多角形没有圆的精度，但形状简单，处理负担轻，可以提高处理速度。

然后，投票部10在边缘图像存储部6的边缘图像中如图11(e)例示的那样，在模板的中心存在于边缘上时，在投票结果存储部11的对应大小的投票面上进行投票(加入固定值)。

在增加投票数的处理中，即使单调地减少也没有妨碍。在本例中，初始值为零，在每次投票中，对应形状的分量每次增加一个。此外，在本例中，使用了半投票，但也可以使用类似的投票技术。

对与图16(a)相同的图像，进行本形态的细线化后，如图12(a)所示。对该图像进行投票时，如图12(b)所示。

对于使用茹贝尔滤波(Zobel filter)的图16(a)来说，在图12(a)中，由于噪声少，所以如图12(b)所示，不进行图16(b)中的模板t4、t5那样的多余的投票，没有多余的运算处理。也不会进行多余的投票来弥补真实的脸部位置的投票值，产生判别偏差。在运算处理量和速度方面、判别的容易度这样的精度方面，在这两方面上，本形态的图12(a)的结果与图16(a)的结果相比，实现了运算处理量的削减和检测精度的提高。

下面，使用图1、图13～图15来说明极大点提取部13等。该极大点提取部13提取存储在投票结果存储部11中的投票结果的极大点并生成提取结果。

极大点提取部13求中心像素的投票结果和该中心像素的周围像素的投票结果的差分，使用环形滤波来生成提取结果，从投票结果中检测局部极大并且孤立的投票点。

图13(a)～(c)例示的环形滤波被存储在图1所示的环形滤波存储部12中。

如图14(a)所示，极大点提取部13在投票结果存储部11的各投票面V1、V2、…、Vn上对该环形滤波进行扫描，将环形滤波的评价值Val存储在对应的提取结果存储部14的提取面R1、R2、…、Rn中。

接着，使用图13来说明环形滤波的实例。图13(a)的环形滤波的大小为3×3，其评价值Val在投票面与滤波重合时，从中心像素的投票值A中减去4个周边像素B1、B2、B3、B4中最大的投票值。如图13(b)所示，环形滤波的评价值Val在投票面与滤波重合时，也可以从中心像素的投票值A中减去8个周边像素B1～B8中最大的投票值。

而且，如图13(c)所示，也可以形成3×3以上的大小。

通过使用这样的环形滤波，在获得图15(a)这样的投票值分布的情况下，如图15(a)左侧的陡峭的山峰所示，中心像素A的投票值局部极大、并且是孤立的投票值的原因在于评价值R为大值。

相反，如图15(a)右侧的山峰所示，即使投票值大，但在不是表示周围同样大的值的孤立的点上，评价值R变低。

而且，如图15(b)的山脊所示，在投票值的高处横向延伸的情况下，评价值R变低。

如果使用本形态的极大点提取部13，则在看不见投票面的起伏的投票值的简单固定阈值中可以捕捉不能检测的急剧变化，适合脸部区域侯选和眼部区域侯选的压缩。

此外，在图1中，对象物鉴定部15根据存储在提取结果存储部14中的提取结果(各提取面)，来鉴定对象物的位置和大小。

具体地说，对象物鉴定部15在各提取面的评价值R中具有最大评价值的提取面上的坐标作为对象物的位置，将与该面有关的模板的大小作为对象物的大小(例如，用半径来表现)。

这里，就本说明书中所谓的‘记录计算机可读取的程序的记录媒体，来说，包含将程序分散分配在多个记录媒体中的情况。还包含以下情况：在该程序无论是否为操作系统的一部分，在各种处理或线索(DLL、COX、ActiveX等(包含微软公司的商标))中接替一部分功能的情况下，被接替的功能部分不存储在记录媒体中。

在图1中，例示了独立操作形式的系统，但服务器/客户机形式也可以。即，仅在一个终端机上，除了包含本说明书中出现的所有要素的情况以外，一个终端机是客户机，在可连接该客户机的服务器或网络上，即使实际存在全部或一部分要素，也不产生妨碍。

而且，在服务器端具有图1的大部分的要素，在客户机端例如仅形成WWW浏览器就可以。这种情况下，各种信息通常在服务器上，基本上经由网络分配给客户机，但必要的信息在服务器上某段时间时，该服务器的存储装置成为所谓的‘记录媒体’，在该信息在客户机上某段时间时，该客户机的存储装置成为所谓的‘记录媒体’。

而且，在该‘程序’中，除了编译成机器代码的应用程序以外，还将由上述处理或线索(スレッド)解释的中间代码实际存在的情况、至少资源和源代码存储在‘记录媒体’上，包含由此可以生成机器代码的应用程序的编译程序及连接程序在‘记录媒体’中的情况，以及由此可以生成中间代码的应用程序的解释程序在‘记录媒体’中的情况等。

在本形态中，有以下效果。

在进行投票前，抑制噪声，减少边缘点，所以可以用当前的个人计算机等级的处理能力来高速执行，可实时进行执行。

在边缘检测中不是使用帧差分，而是使用静止画边缘检测，从而在摄象机是非固定系统、并且人物不大移动的情况下，在背景移动的情况等的帧间差分上稳定而不能检测边缘的情况下，可以稳定检测人物。

通过边缘提取部来除去微细的边缘，形成凹凸剧烈的边缘而变为简单的边缘，所以边缘点数目下降，投票的前处理良好。

不仅提高投票值，而且可以仅检测急剧升高的部分，适合脸部和眼部的检测。

Claims (21)

1.一种图像处理装置，包括：

边缘提取部，输入图像并生成边缘图像；

投票部，使用模板生成在边缘图像上进行投票的投票结果；

极大点提取部，提取投票结果中的极大点来生成提取结果；以及

对象物鉴定部，根据提取结果来鉴定对象物的位置。

2.如权利要求1所述的图像处理装置，其中，所述边缘提取部包括使用集中进行除去图像中的噪声和提取边缘的滤波的滤波处理部。

3.如权利要求2所述的图像处理装置，其中，所述边缘提取部包括将所述滤波处理部的滤波处理结果细线化的细线化部。

4.如权利要求2所述的图像处理装置，其中，所述滤波是将高斯滤波和单位矢量相乘的滤波。

5.如权利要求2所述的图像处理装置，其中，所述滤波处理部除了使用对于xy方向的滤波获得滤波处理结果以外，还输出xy平面内的边缘矢量。

6.如权利要求3所述的图像处理装置，其中，所述细线化部根据当前像素和该当前像素的相邻像素中的滤波处理结果的大小关系、以及边缘矢量的方向来对滤波处理结果进行细线化。

7.如权利要求1所述的图像处理装置，其中，所述极大点提取部根据中心像素的投票结果和该中心像素的周围像素的投票结果的差分来生成提取结果。

8.如权利要求7所述的图像处理装置，其中，所述极大点提取部求中心像素的投票结果和该中心像素的周围像素的投票结果的差分，使用环形滤波来生成提取结果。

9.如权利要求1所述的图像处理装置，其中，所述模板、所述投票结果及所述提取结果以各自多个大小来分别设定，

所述对象物鉴定部鉴定对象物的位置及大小。

10.如权利要求1所述的图像处理装置，其中，所述对象物是人的脸部或人的眼部区域的其中一个区域。

11.一种图像处理方法，包括：

边缘提取步骤，输入图像并生成边缘图像；

投票步骤，使用模板生成在边缘图像上进行投票的投票结果；

极大点提取步骤，提取投票结果中的极大点来生成提取结果；以及

对象物鉴定步骤，根据提取结果来鉴定对象物的位置。

12.如权利要求11所述的图像处理方法，其中，所述边缘提取步骤包含使用集中进行除去图像中的噪声和提取边缘的滤波的滤波处理步骤。

13.如权利要求12所述的图像处理方法，其中，所述边缘提取步骤包含将所述滤波处理步骤的滤波处理结果细线化的细线化步骤。

14.如权利要求12所述的图像处理方法，其中，所述滤波是将高斯滤波和单位矢量相乘的滤波。

15.如权利要求12所述的图像处理方法，其中，在所述滤波处理步骤中，所述滤波处理部除了使用对于xy方向的滤波获得滤波处理结果以外，还输出xy平面内的边缘矢量。

16.如权利要求13所述的图像处理方法，其中，在所述细线化步骤中，根据当前像素和该当前像素的相邻像素中的滤波处理结果的大小关系、以及边缘矢量的方向来对滤波处理结果进行细线化。

17.如权利要求11所述的图像处理方法，其中，在所述极大点提取步骤中，根据中心像素的投票结果和该中心像素的周围像素的投票结果的差分来生成提取结果。

18.如权利要求17所述的图像处理方法，其中，在所述极大点提取步骤中，求中心像素的投票结果和该中心像素的周围像素的投票结果的差分，使用环形滤波来生成提取结果。

19.如权利要求11所述的图像处理方法，其中，所述模板、所述投票结果及所述提取结果以各自多个大小来分别设定，

在所述对象物鉴定步骤中，鉴定对象物的位置及大小。

20.如权利要求11所述的图像处理方法，其中，所述对象物是人的脸部或人的眼部区域的其中一个区域。

21.一种记录媒体，用于记录可计算机读取的图像处理程序，该程序包括：

边缘提取步骤，输入图像并生成边缘图像；

投票步骤，使用模板生成在边缘图像上进行投票的投票结果；

极大点提取步骤，提取投票结果中的极大点来生成提取结果；以及

对象物鉴定步骤，根据提取结果来鉴定对象物的位置。

Images