CN100465985C - 人眼探测方法及设备 - Google Patents

Abstract

本发明涉及人眼探测方法、设备、系统和存储介质。以下述方式在给定图象中探测眼睛：读入图象；分析图象而获取候选眼睛区列表；从列表中选择未经核实的候选眼睛区；为选中的该候选眼睛区确定一个邻域区；计算邻域区的大小S；处理邻域区而获得暗区；对暗区计数，计数值记为N；比较比值N/S和一预定的第一阈值，如果比值N/S小于第一阈值，则所述候选眼睛区被判定为假眼睛区而从所述列表中删除，否则所述候选眼睛区被判定为真眼睛区而保留在所述列表中；重复所述选择步骤到比较步骤直到所述列表中不再有未经核实的候选眼睛区；输出所述列表用于对所述图象进行的后续处理。本发明可应用于人体探测。

Description

人眼探测方法及设备

技术领域

本发明涉及一种图象处理方法，尤其是一种用于探测图象中的人眼的人眼探测方法。本发明还涉及一种人眼探测设备、一种人眼探测系统和其中存储有人眼探测程序代码的存储介质。

背景技术

如今，图象识别技术应用于许多技术领域，比如卫星图象分析、自动化、运动图象压缩以及监视系统等。迄今为止，已有许多用于识别图象中的对象的技术，例如有模板匹配法、统计模式识别法、结构模式识别法和神经网络方法等。

一种要识别的对象是人体本身，尤其是人脸。在本文引为参考的Haiyuan Wu的文章“Face Detection and Rotations Estimation UsingColor Information”(the 5^th IEEE International Workshop on Robotand Human Communication，1996，pp341-346)中，就公开了一种用于探测人脸的模板匹配方法。该方法的效果太多地依赖于被探测的图象的质量，尤其是依赖于光照条件和背景的复杂程度。不同人种的脸部差异也影响探测效果。

在其他一些方法中，可以通过首先探测人脸上的特征(比如眼睛、嘴和鼻子等)来从图象中探测人脸。在本文引作参考的Kin-Man Lam的文章“A Fast Approach for Detecting Human Faces in a ComplexBackground”(Proceedings of the 1999 IEEE InternationalSymposiumon Circuits and System，1998，ISCAS’98 Vol.4，pp85-88中，就公开了一种探测眼睛的方法，其中，首先假定一些区域为可能的眼睛，然后根据一些条件对这些区域进行检查，以核实真正的眼睛区域。这种方法的效率较低，因为在一幅图象中，存在太多的可能眼睛区域(候选眼睛)。

为了改进所述现有技术，本申请人开发了一种图象处理方法和设备、图象处理系统以及存储介质(公开于2000年9月15日申请的待审中国专利申请No.00127067.2中，公开号为CN1343479A。该申请在此引为参考)。利用该方法，可以获得图象中的候选眼睛区的列表。然后，通过将候选眼睛配对，可以获得一个候选人脸区列表。

然而，在所述候选眼睛区中，有许多假眼睛区。结果，在所述候选人脸区中，有许多假人脸区。所述假眼睛区或者假人脸区是应当被排除的。

为此，在2001年9月6日提交的题为“图象处理方法和设备、图像处理系统和存储介质”的另一项待审中国专利申请01132807.x中，本申请人提供了一种通过分析每一个候选人脸区的一个环形区域，来从候选人脸区中排除非人脸区的方法。

发明内容

同样为了上述目的，本申请寻求提供一种人眼探测方法，用于在给定图象中探测眼睛区，尤其是判断给定图象中的候选眼睛区是否为真眼睛区，从而排除假眼睛区，更精确地获得候选眼睛区。

本发明的其他目的是提供一种人眼探测设备、系统和存储介质，用于在给定图象中探测眼睛区，尤其是判断给定图象中的候选眼睛区是否为真眼睛区。

根据本发明的一个方面，上述目的是通过包括下列步骤的人眼探测方法实现的：

a)读入图像；

b)分析该图像，获得一个候选眼睛区列表；

c)从所述列表中选取一个未经核实的候选眼睛区；

d)为所选中的候选眼睛区确定一个邻域区，该邻域区为包含所述候选眼睛区的多边形；

e)计算该邻域区中所包含的像素数，记为S；

f)处理该邻域区，获得暗区，所述暗区指每一个像素在处理后的灰度级大于预定的第二阈值的像素区；

g)对所述暗区的个数计数，所得数目记为N；

h)将比值N/S与预定的第一阈值进行比较，如果该比值N/S小于所述第一阈值，则将相应的候选眼睛区判定为真眼睛区，保留在所述列表中，否则将该候选眼睛区判定为假眼睛区，从所述列表中删除；

i)重复步骤c)到h)，直到所述列表中不再有未经核实的候选眼睛区；以及

j)输出所述列表，用于所述图像的后续处理。

在本发明的一个变型中，每个候选眼睛区的处理可以是并行的，而不是象上述那样是顺序进行的。在本发明另一个变型中，每个候选眼睛区的处理可以是批处理模式，也就是包括了并行处理和顺序处理的混合模式。

根据本发明的另一方面，上述目的是通过一种人眼探测设备实现的，该人眼探测设备包括：用于读入图像的读入装置；用于分析所述图像，得到一个候选眼睛区列表的候选眼睛区探测装置；用于输出所述列表以用于图像的后续处理的输出装置，其特征在于，所述设备还包括：从所述列表中选择一个要被核实的候选眼睛区的选择装置；用于判断所述候选眼睛区是否为真眼睛区，并输出结果的核实装置；以及控制装置，用于控制所述选择装置，以使所述列表中的所有候选眼睛区都经过核实，所述核实装置还包括：邻域区确定装置，用于在所述图像中确定所述候选眼睛区的一个邻域区，该邻域区为包含所述候选眼睛区的多边形；计算装置，用于计算所述邻域区中所包含的像素数，该大小记为S；暗区确定装置，用于处理该邻域区，获得暗区，所述暗区指每一个像素在处理后的灰度级大于预定的第二阈值的像素区；计数装置，用于对所述暗区的个数计数，所得数目记为N；以及比较装置，用于比较比值N/S和预定的第一阈值，如果该比值N/S小于所述第一阈值，则所述候选眼睛区被判定为真眼睛区而保留在所述列表中，否则所述候选眼睛区被判定为假眼睛区而从所述列表中删除。

根据本发明的另一方面，前述目的是通过一种人眼探测系统实现的，该系统包括：一个图象源，一个如上所述的人眼探测设备和一个后续处理设备。

根据本发明的再一方面，前述目的是通过一种存储有人眼探测程序代码的存储介质实现的，所述程序代码包括：

读入代码，用于读入一幅图象；

候选眼睛区探测代码，用于分析该图象，获得一个候选眼睛区列表；

选择代码，用于从所述列表中选取一个未经核实的候选眼睛区；

邻域区确定代码，用于为所选中的候选眼睛区确定一个邻域区；

计算代码，用于计算该邻域区的大小，记为S；

暗区确定代码，用于处理该邻域区，获得暗区；

计数代码，用于对所述暗区计数，所得数目记为N；

比较代码，用于将比值N/S与预定的第一阈值进行比较；如果该比值N/S小于所述第一阈值，则将相应的候选眼睛区判定为真眼睛区，保留在所述列表中；否则将该候选眼睛区判定为假眼睛区，从所述列表中删除；

控制代码，用于控制所述选择代码，使得所述列表中所有的候选眼睛区都经过核实；以及

输出代码，用于输出所述列表，用于所述图象的后续处理。

借助于本发明，可以迅速、准确地核实候选眼睛区从而排除假眼睛区。从而，能够从图象中精确、迅速地探测出人眼或者人脸.

附图说明

阅读下文对优选实施例的详细说明，可以更加明了本发明的其他目的、特征和优点。构成本说明书的一部分的附图与说明书一起用于说明本发明的实施例，解释本发明的原理。附图中：

图1示出了一幅被处理的图象中的一个眼睛区及其邻域区；

图2示出了一幅不包含人眼的被处理图象；

图3是本发明的人眼探测方法的第一实施例的流程图；

图4是本发明的人眼探测方法的第二实施例的流程图；

图5是本发明的人眼探测系统的第一实施例的示意方框图；

图6是如图5所示的人眼探测系统的核实装置的示意方框图。

图7是一个方框图，图示了一个可以用来实现本发明的方法和设备的计算机系统的例子。

具体实施方式

计算机系统举例

本发明的方法可以在任何信息处理设备中实现。所述信息处理设备例如是个人计算机(PC)，笔记本电脑，嵌入照相机、摄像机、扫描仪、门禁系统等中的单片机，等等。对于本领域普通技术人员，很容易通过软件、硬件和/或固件实现本发明的方法。尤其应注意到，对于本领域普通技术人员显而易见的是，为了执行本方法的某些步骤或者步骤的组合，可能需要使用输入输出设备、存储设备以及微处理器比如CPU等。在下面对本发明的方法的说明中不见得提到这些设备，但实际上使用了这些设备。

作为上述信息处理设备，图7示出了一个计算机系统的举例，在其中可以实现本发明的方法和设备。应注意的是，示于图7的计算机系统只是用于说明，并非要限制本发明的范围。

从硬件的角度来讲，计算机1包括一个CPU6、一个硬盘(HD)5、一个RAM7、一个ROM8和输入输出设备12。输入输出设备可以包括输入装置比如键盘、触控板、跟踪球和鼠标等，输出装置比如打印机和监视器，以及输入输出装置比如软盘驱动器、光盘驱动器和通信端口。

从软件的角度讲，所述计算机主要包括操作系统(OS)9、输入输出驱动器11和各种应用程序10。作为操作系统，可以使用市场上可购买的任何操作系统，比如Windows系列(Windows是微软公司的商标)以及基于Linux的操作系统。输入输出驱动器分别用于驱动所述输入输出设备。所述应用程序可以是任何应用程序，比如字处理程序、图象处理程序等，其中包括可以用在本发明中的已有程序以及专为本发明编制的、可调用所述已有程序的应用程序。

这样，在本发明中，可以由操作系统、应用程序和输入输出驱动器在所述计算机的硬件中执行本发明的方法。

另外，计算机1还可以连接到一个数字设备3和一个应用设备2。所述数字设备用作如下文所述的图象源502，可以是照相机、摄像机、扫描仪或者用于将模拟图象转换为数字图象的数字化仪。利用本发明所获得的结果被输出到应用设备2，该应用设备根据所述结果执行适当的操作。所述应用设备也可以是同时用作所述数字设备的照相机(或类似装置)，或者可以是任何自动控制系统，比如门禁系统.所述应用设备也可以是在所述计算机1内部实现的、用于进一步处理所述图象的另一个应用程序和硬件的结合。

人眼探测方法

本发明基于下面这样的事实。在一幅图象中，人眼的邻域区具有其独特的特征。在经过适当的处理后，例如用所述中国专利申请00127067.2公开的方法进行处理之后，这些特征表现为按照一定方式分布、具有一定密度的暗区，如图1所示。而在不包括人眼且用同样的方法处理后的图象中，存在许多无序分布的暗区，如图2所示。在本发明中，根据分布在邻域区中的暗区的密度判断一个候选眼睛区是真还是假。下面是对本发明的详细描述。

(第一实施例)

参见图3，其中示出了本发明的人眼探测方法的第一实施例的流程图。该方法始于读取步骤102，从图象源读入待处理的数字或者模拟图象。所述图象源可以是任何类型，比如PC中的存储设备和照相机等。

然后在分析步骤104，借助于所述中国专利申请00127067.2公开的方法分析所述图象，生成一个候选眼睛区列表。如果在所述读取步骤102读入的图象是模拟图象，则在分析之前要对其进行数字化。该分析步骤104也可以用其他的已知方法实现，所述已知方法比如有区域生长法、区域分割法以及混合式方法。

在选择步骤106，从所述列表中随机地或者顺序地选择一个未经核实的候选眼睛区。然后是邻城区确定步骤108，在该步骤中，为所述未经核实的候选眼睛区确定一个邻域区。所述邻域区可以确定为一个以眼睛的中心为中心的矩形。或者，所述邻域区可以确定为包含所述候选眼睛区的任意多边形。矩形的大小为1象素到整个图象大小，优选为从图象尺寸的0.0001倍到0.01倍。最好，矩形的大小为图象尺寸的0.0011倍。

在计算步骤110，计算所述邻域区的大小，记为S。所述邻域区的大小定义为所述邻域区所包含的象素数。当所述邻域区为矩形时，其大小等于其长和宽的乘积。例如，如果其长和宽都选定为30象素，则所述邻城区包含的象素数为30×30＝900，即所述邻域区的大小S。

在所述计算步骤110之后，为暗区确定步骤112，处理所述邻域区以获得暗区。这里，“暗区”是指一个连通象素区，其中每一个象素在处理后的灰度级大于预定的第二阈值。在极端情况下，暗区可以是单个暗象素，没有其他暗象素与之连通。

暗区的确定可以用与确定候选眼睛区列表所用方法同样的方法，也可以用不同的方法。如上所述，可以用所述中国专利申请00127067.2所公开的方法以及其他已知方法，比如区域生长法、区域分割法和混合式方法等。

例如，为了获得暗区，可以对所述邻城区应用二值化方法，在这种情况下，二值化阈值就是上述第二阈值。二值化后，所述邻域区转换为黑白图象，其中的黑区就是所述暗区。

然后在计数步骤114，对暗区计数，其数目记为N。接下来的步骤是比较步骤116，比较比值N/S和预定的第一阈值。如果N/S不小于所述第一阈值，该方法前进到一个删除步骤118，在该步骤中，将该候选眼睛区判定为假并从所述列表中删除。否则该方法前进到一个保留步骤120，其中，该候选眼睛区被判定为真并保留在所述列表中。。

所述预定的第一阈值是以下变量的函数：所述分析步骤104所用的方法，所述邻域区的形状和大小，所述暗区确定步骤112用来获得所述暗区的方法，以及所述第二阈值。随情况而定，所述阈值可以是预先存储的值，也可以从上面列举的变量进行计算。在后一种情况下，本发明的方法还应在所述比较步骤116之前包括一个阈值计算步骤。

作为例子，所述第一阈值一般为0.15-0.0015，最好为0.015。

所述删除步骤118或者保留步骤120之后为判断步骤122，判断所述列表中是否还有未经核实的候选眼睛区.如果是，则本方法返回所述选择步骤106；否则前进到输出步骤124，输出所述列表，供后续处理使用。

在本发明的一个变型中，每个候选眼睛区的处理可以是并行的，而不是象上述那样是顺序进行的。

在本发明的另一个变型中，候选眼睛区处理可以是批处理模式，即混合了并行处理和顺序处理的混合模式。在这种情况下，在选择步骤106，选择一批未经核实的候选眼睛区，对它们在邻域区确定步骤108到判断步骤122中进行处理。然后选择下一批，如果有的话。

(第二实施例)

在第二实施例中，本发明的方法还包括如下文所述的步骤。如图4所示，探测步骤402包括参照图3所述的全部步骤。然后在人脸确定步骤404中，根据在所述探测步骤402获得的剩余候选眼睛区确定候选人脸区。从候选眼睛区确定候选人脸区有许多方法。例如，可以根据眼睛在人脸上的固有相对位置从一个候选眼睛区确定一个候选人脸区。又例如，根据一对眼睛的对称性，和/或一对眼睛之间的距离和/或眼睛在图象中的一般相对位置，可以将候选眼睛区配成对，然后可以根据一对眼睛在人脸上的固有相对位置确定候选人脸区。

接下来是人脸删除步骤406，例如利用中国专利申请01132807.x所提出的方法删除假人脸区。当然，也可以用其他方法来删除假人脸区，例如，可以基于人脸与身体其他部位之间的相对位置、人脸在图象中的相对位置运用结构模式识别法。最后，在输出步骤408中，将剩余人脸区作为结果输出，用于后续处理。

人眼探测设备和系统

本发明还提供一种人眼探测设备和系统。下面将对其详细描述。与前述方法类似，构成本发明的人眼探测设备和系统的任何部件可以是前述任何信息处理设备的部件或者部件的组合，或者安装或结合在前述任何信息处理设备中的软件和/或硬件和/或固件的组合。对于本领域普通技术人员，很容易实现本发明的设备的所述部件.同样，对于本领域普通技术人员显而易见的是，每个所述部件的运行都涉及输入输出设备、存储设备、微处理器比如CPU等的使用。下文对本发明的设备和系统的说明不一定提及这些设备，但实际上使用了这些设备.作为前述信息处理设备的一个具体实例，前文已经描述过一个计算机系统，其描述在此不再赘述。

如图5所示，本发明的人眼探测系统包括一个用于提供要由本发明的人眼探测设备500处理的图象的图象源502、所述人眼探测设备500和一个后续处理设备516。所述图象源502可以是任何存储介质比如PC的存储设备，或者可以是图象拾取设备比如照相机或者扫描仪等。所述后续处理设备可以是输出设备比如监视器或者用于输出所述人眼探测设备处理过的图象的打印机，或者可以是根据所述人眼探测设备的输出在图象中确定人脸区的人脸确定设备，或者可以是自动控制系统比如门禁系统，等等。

当所述后续处理设备516是人脸确定设备时，它还包括下述装置：基于从所述人眼探测设备输出的剩余候选眼睛区确定候选人脸的候选人脸确定装置；用于删除假人脸区的人脸删除装置；和输出装置，用于输出剩余人脸区以供后续处理。

如前所述，对于候选人脸确定装置，有多种方法从候选眼睛区确定候选人脸区。同样，如前所述，对于假人脸删除装置，也有多种方法排除假候选人脸区。

现在回到图5，本发明的所述人眼探测设备包括：读入装置504，候选眼睛区探测装置506，选择装置507，核实装置508，控制装置510和输出装置512。

所述读入装置504从图象源502接收输入。读入图象由候选眼睛区探测装置506处理，生成一个候选眼睛区列表。所述选择装置负责从所述列表中选择一个未经核实的候选眼睛区，由所述核实装置508进行核实。所述控制装置510从所述核实装置508获取核实结果，删除假的候选眼睛区，并控制所述选择装置507选择下一个未经核实的候选眼睛区，如果有的话。如果列表中不再有未经核实的候选眼睛区，则所述控制装置510通知输出装置512输出最终列表到所述后续处理设备516.

所述核实装置508的结构示于图6中，其中虚线的箭头和方框表示所述核实装置的部件与所述人眼探测设备500的其他部件之间的连接关系。

如图6所示，所述核实装置508包括：邻域区确定装置604，计算装置608，暗区确定装置610，计数装置612和比较装置614.所述邻域区确定装置接收来自所述选择装置507的未经核实的候选眼睛区，为之确定一个邻域区。然后所述暗区确定装置610处理所述邻域区以获得暗区。所述计算装置608计算所述邻域区的面积，记为S.所述计数装置612对所述暗区计数，记为N。所述比较装置614接收所述面积值S和所述计数值N，并比较比值N/S和一预定的第一阈值，比较结果输出到所述控制装置616，该控制装置如上所述控制所述选择装置507或者输出所述结果到所述后续处理设备516.

所述暗区确定装置可以与所述候选眼睛区探测装置506相同，或者是所述候选眼睛区探测装置506本身。或者，所述暗区确定装置可以是一个二值化装置。

在所述人脸探测设备的一个实施例中，所述第一阈值可以预先存储在某个地方，例如存储在所述比较装置614中、所述核实装置508中或者所述人眼探测设备中。

然而，如上所述，所述第一阈值是下述变量的函数：所述分析步骤102使用的方法，所述邻域区的形状和大小，所述暗区确定步骤112用来获得所述暗区的方法，以及所述第二阈值。因此在第二实施例中，所述人眼探测设备500，具体地说所述核实装置508，更具体地说所述比较装置，可以包括一个阈值确定装置，用于基于所述变量确定所述第一阈值。

存储介质

本发明的所述目的还可以通过在如上所述的可以与所述图象源502和后续处理设备516通信的任何信息处理设备上运行一个程序或者一组程序来实现。所述信息处理设备、图象源和后续处理设备为公知的通用设备。因此，本发明的所述目的也可以仅仅通过提供实现所述人眼探测方法的程序代码来实现.也就是说，存储有实现所述人眼探测方法的程序代码的存储介质构成本发明.

对于本领域技术人员来说，可以轻易地用任何程序语言编程实现所述人眼探测方法.因此，在此省略了对所述程序代码的详细描述。

显然，所述存储介质可以是本领域技术人员已知的，或者将来所开发出来的任何类型的存储介质，因此也没有必要在此对各种存储介质一一列举。

尽管对本发明的上述说明是结合具体的步骤和结构进行的，但本发明并不局限于在这里所公开的细节.相反，在不脱离本发明的精神实质和范围的前提下，本申请应视为覆盖所有的修改或者变型。

Claims (7)

1.一种人眼探测方法，包括下列步骤:

a)读入图像；

b)分析该图像，获得一个候选眼睛区列表；

c)从所述列表中选取一个未经核实的候选眼睛区；

d)为所选中的候选眼睛区确定一个邻域区，该邻域区为包含所述候选眼睛区的多边形；

e)计算该邻域区中所包含的像素数，记为S；

f)处理该邻域区，获得暗区，所述暗区指每一个像素在处理后的灰度级大于预定的第二阈值的像素区；

g)对所述暗区的个数计数，所得数目记为N；

h)将比值N/S与预定的第一阈值进行比较，如果该比值N/S小于所述第一阈值，则将相应的候选眼睛区判定为真眼睛区，保留在所述列表中，否则将该候选眼睛区判定为假眼睛区，从所述列表中删除；

i)重复步骤c)到h)，直到所述列表中不再有未经核实的候选眼睛区；以及

j)输出所述列表，用于所述图像的后续处理。

2.如权利要求1所述的人眼探测方法，其特征在于，所述方法还包括下列步骤:

基于从所述步骤i)获得的列表中的剩余候选眼睛区确定候选人脸区。

3.如权利要求1或2所述的人眼探测方法，其特征在于，所述步骤f)执行二值化处理以获得所述暗区。

4.如权利要求1或2所述的人眼探测方法，所述第一阈值为一个预先存储的值。

5.如权利要求1或2所述的人眼探测方法，其特征在于所述第一阈值为0.15-0.0015。

6.一种人眼探测设备，包括:用于读入图像的读入装置；用于分析所述图像，得到一个候选眼睛区列表的候选眼睛区探测装置；用于输出所述列表以用于图像的后续处理的输出装置，其特征在于，所述设备还包括:从所述列表中选择一个要被核实的候选眼睛区的选择装置；用于判断所述候选眼睛区是否为真眼睛区，并输出结果的核实装置；以及控制装置，用于控制所述选择装置，以使所述列表中的所有候选眼睛区都经过核实，所述核实装置还包括:

邻域区确定装置，用于在所述图像中确定所述候选眼睛区的一个邻域区，该邻域区为包含所述候选眼睛区的多边形；

计算装置，用于计算所述邻域区中所包含的像素数，该大小记为S；

暗区确定装置，用于处理该邻域区，获得暗区，所述暗区指每一个像素在处理后的灰度级大于预定的第二阈值的像素区；

计数装置，用于对所述暗区的个数计数，所得数目记为N；以及

比较装置，用于比较比值N/S和预定的第一阈值，如果该比值N/S小于所述第一阈值，则所述候选眼睛区被判定为真眼睛区而保留在所述列表中，否则所述候选眼睛区被判定为假眼睛区而从所述列表中删除。

7.如权利要求6所述的人眼探测设备，其特征在于所述暗区确定装置被配置为执行二值化处理以获得所述暗区。

Images