鉴别面部区域的方法和装置
发明领域
本发明涉及分析皮肤的装置和方法,更具体而言,本发明涉及感兴趣的特定面部区域的数码成像、鉴别和分析的装置和方法。
发明背景
已提出了各种成像系统,用于通过拍照捕捉人的面部影像以用于分析皮肤的健康状况和美观外观。在不同时间或不同光照条件下捕捉的不同照片可相互比较,以获得对不同时间(如治疗前后)的皮肤情况的认识,确定皮肤中该情况的趋势。这通常通过操作员观察照片以基于颜色、质地等确定照片之间的变化来实现。在分析人面部皮肤时,有利的是检测该面部特定区域的特定相关属性,因为面部的不同区域的形态和功能具有特异性,且与环境发生不同的相互作用。例如,覆盖鼻子的皮肤暴露最直接的和最强的阳光辐射,即早晨晚期到下午早期之间发射的辐射,因此它们具有较大量的皮脂腺和毛孔,以提供皮肤油,阻止鼻子的皮肤烧坏和干燥。相反,眼皮的皮肤由于眼睛睁开时眼皮褶皱且缩回眼眶的缘故而不受阳光照射。与鼻子或颊部区域的皮肤不同,眼皮必须是薄的且柔软的,可无数次折叠,以方便快速睁开和闭上眼睛。
由于现在通常用数码照相机成像,因此将所产生的影像进行定量分析。如果实施的话,定量影像分析提供更多的信息,能识别不同面部区域的皮肤特异性。一些皮肤成像系统利用受训的人操作者通过人工触摸(在触敏型输入/输出屏上)或指向(用指针和点击或指示)显示的面部影像上的基准点来鉴别面部区域。或者,可在影像上(用指针/鼠标或触笔)画出多边形,以鉴别感兴趣的面部区域。例如,可使用线条连接面部基准参照点如鼻角、唇角、耳朵、眼睛的侧棱再回到该鼻角而画出颊部区域。虽然是有效的,但是一些人工操作费力,且需要受训的操作者。因此,能在影像上自动地鉴别面部区域,将能有利地提高面部区域鉴别的速度和一致性,以及降低对操作者输入的依赖性。
发明内容
本发明克服了已知用于鉴别人脸影像上的面部区域的装置和方法的缺点和限制,本发明包括以下认识,即对象的瞳孔/角膜可用作参照点来鉴别面部区域。本发明揭示了这样的装置和方法:通过测试像素值,以鉴别影像中具有瞳孔或瞳孔状基准参照点的特征(如闪光闪烁(flash glint)等)的目标,而自动鉴别对象影像中的瞳孔/角膜。这些参照点的鉴别使得能够鉴别出面部区域的位置。
附图简述
图1是影像捕获装置和由此捕获的影像的示意图。
图2a和2b是阐述本发明一个自动鉴别面部区域的实施方式的方法的流程图。
图3是“亚矩形分割”(sub-recting)一幅影像的方法的示意图。
图4是CCD/滤光片排列和由其产生的影像数据的示意图。
图5a-5c是“阈值处理”(thresholding)方法的示意图。
发明详述
图1显示其影像由成像系统10根据本发明捕获的人对象S。成像系统10具有数码相机12,该相机捕获数字形式的影像,并将该数字影像数据传送给计算机14如个人电脑。计算机14然后在显示器16上显示影像I。这种类型的成像系统在下述美国专利申请中揭示:美国专利申请系列号10/008753(发明名称为“使用蓝光获取皮肤影像的方法及其用途”(“Method of Taking Images of the Skin UsingBlue Light and the Use Thereof”),其美国申请公开号为US 2004/0146290 A1)、美国专利申请系列号10/978,284(发明名称为“获取并观察皮肤影像的装置和方法”(“Apparatus for and Method of Taking and Viewing Images of the Skin”),其美国申请公开号为US 2005/0195316 A1)、美国专利申请系列号11/169,813(发明名称为“具有探测器的皮肤成像系统”(“Skin Imaging System withProbe”),其美国申请公开号为US 2006/0092315 A1),前述所有文献的全文以引用的方式结合于此。
定义影像I的影像数据ID在各显示像素PX阵列中为像素强度数据形式,该显示像素可通过它们在X-Y坐标方格18中的位置而鉴别。影像数据ID告知计算机(如14)哪些像素在显示器16上显示及其位置(Xi,Yi)上各像素的明亮(灰度)强度,以再现影像I。如上所述,需要能够鉴别面部区域,如虚线多边形R1、R2和R3所示。本发明认识到,如果人对象瞳孔P1和P2两者的位置已知的话,可通过计算面部区域(如R1、R2和R3)的位置和形状而识别所述面部区域。更具体而言,如果瞳孔P1的中心是X1、Y1,瞳孔P2的中心是X2、Y2,则可计算瞳孔间距离IPD、面部中心FC(连接瞳孔P1和P2的线的中点)以及面部倾角AT。半距离SD定义为瞳孔间距离IPD的一半。给出感兴趣人群(如全人类、13-75岁的女性、或16-65岁的日本女性)的经验数据,则可相对于面部中心FC/瞳孔P1、P2,从限定代表面部区域R1、R2和R3的多边形的顶点如V1、V2……等与面部中心FC和/或瞳孔P1、P2之间的距离,基于给定的面部倾角AT,来定义有关面部区域如R1、R2和R3的标准形状和标准位置。顶点V1、V2……的替换可用相关的术语来表示,例如表示为半距离SD的分数或倍数。在该方式中,影像不需与标准公制单位相关联。或者,由于影像通常在控制的距离中拍摄,可通过与摄影标尺的比照关系,而容易地将瞳孔的X和Y位置转换成标准的测量单位如英寸或厘米。
本发明能够在要定位的影像I中定位对象S的瞳孔P1、P2的位置。图2a和2b是显示所述定位的示例性方法的流程图的部分。在该方法的起始50处,给对象S定位并拍摄(52)数码照片(见图1,其中对象S处于数码相机12之前)。拍照后,将数码照片数据传送(54)到计算机14。从照片影像数据ID(见图3)中选出(56)一亚组影像区域或样品区域SR。该样品区域SR是影像数据ID中这样的区域:对瞳孔定位有高机率。图3阐述了:合适定位的对象S将基本上占满照相机12的视野,和相应的影像数据ID,该数据的像素安排在X Y坐标方格18上。样品区域SR可定义为这样的区域:表现出含有瞳孔P1、P2的影像的高机率性。这是由于人体生理学的缘故,即瞳孔P1和P2将处于影像的上半部,即在线YB以上而在线YT1之下。对于处于正确位置的对象,瞳孔P1和P2将存在于左和右边界线XL和XR之间。在瞳孔不处于预定的样品区域SR中时,可移动样品区域SR的界限,以检查影像数据ID的其它区域。例如,样品区域SR的上界限可移动到线YT2。选择较小的亚组影像区域以寻找瞳孔P1和P2的目的是:通过减少需要检查并应如下文所述进行分析的像素的数量,来减少寻找瞳孔所需的时间。这种选择矩形亚组样品区域SR的方法有时称为“亚矩形分割”或“裁剪”(cropping)。基于类似的基本原理选择(57)该样品区域SR中的一亚样品像素,用于测试。选择亚样品的方法仅仅是对水平和/或垂直方向上每N个像素进行跳读。例如,如果测试/分析样品区域SR中每5个像素中的唯一一个,那么分析时间减少到测试所有像素所需时间的二十五分之一。可通过搜寻(58)没有提供光反射的黑瞳孔、或通过搜寻(64)闪光闪烁(与瞳孔密切相关的角膜的反射,它反射照亮面部的光)而利用本发明。恰当的方法将取决于对象S相对于照相机12的取向,即该对象处于这样一个角度:在该角度有发射或者没有反射发生。本发明可利用这些方法中的一种或两种,例如在第一种方法没有找到瞳孔的情况下,依次利用两种方法。或者,可使对象与闪光灯之间存在一角度,该角度将提供高机率的黑瞳孔(无反射)或闪光闪烁(有反射)。在黑瞳孔(无反射)的情况下,初始化(60)像素限制阈值至最小值,即,对应于黑色。(影像数据ID中的各像素具有最初由电压表示的对应强度,该电压在对应于一个像素的固态电容器中通过光碰撞到该电容器上而诱发。该电压被数字化成数值。)
图4阐述了一个光敏感元件阵列,如具有多个对应于像素的传感器元件202的CCD阵列200。该CCD阵列200具有有多个以交替的颜色(红、绿和蓝(R、G和B))存在的滤光片元件204的拜尔(Bayer)滤光片203。所述多个光传感器元件202的输出可解析成三种分离的颜色格栅/通道:绿色影像数据206、红色影像数据208和蓝色影像数据210。返回图2a,(从该亚矩形分割和亚采样影像亚组中)选择(62)红色通道影像208以进行分析的方法,其效果与“亚矩形分割”(56)和“亚采样”(57)相同,即它减少了待分析的像素的数量以及分析时间(减少了三分之二),并称为“亚整平”(sub-planing)。与蓝色或绿色通道相比,红色通道影像208还具有较好的瞳孔分辨率。
在使用瞳孔64的闪光闪烁或反射来分辨瞳孔的情况中,将RGB影像转换(66)成L*a*b*色隙。这采用已知的算法实施。实施转换(66)的原因,是在表示亮度/暗度的L*轴影像数据中反射的闪光闪烁、与在以RGB形式表示的影像的任意颜色通道中的相比,更容易被区分。实施转换(66)之后,初始化(68)像素限制阈值到最大值,即对应于CCD阵列200中像素202记录的最高强度的白光的值。以类似的方式分离RGB影像数据成红色、绿色和蓝色通道,将RGB影像转换(66)成L*a*b*色隙后,可选择(70)L*通道或“亚平面”(sub-plane),以在用方形回旋滤色片(convolution filter)处理后测试该影像数据亚组中的像素。之所以使用方形回旋滤色片是因为:闪光闪烁为方形。设置了黑瞳孔或闪光闪烁的像素的特定阈值后,将测试像素样品亚组中的各像素与阈值比较(72),以鉴定“合格”的像素,即在黑瞳孔情况下那些等于或低于该阈值的像素,或在闪光闪烁情况下那些等于或大于阈值的像素。
图5a到5c阐述了图2a和2b中出现的方法。参见图5a,比较(72)样品组中的各像素与阈值导致鉴定出“合格的”像素。影像IS1的放大片段F1显示了靠近对象一只眼睛的合格的像素。在例如黑瞳孔的情况下,像素300、302、304、306、308和310都通过该阈值测试,是合格的,这些像素各自将等于或低于已建立的当前阈值(current threshold)。图5a中的影像亚组IS1没有完整地阐述该影像,是因为仅显示最低阈值处的合格像素(在黑瞳孔的情况下)或在用于测试闪光闪烁64时的最高阈值处的合格像素。测试合格像素的方法不要求显示所获得的合格像素,因为它们可基于它们的强度值而被鉴定,但是图5a-5c可用于形象描述此方法。图5a中,合格像素在空间上是相关的,因为它们在X和Y方向上具有特定的隔开距离,如像素308和310在X方向上隔开的距离为三个像素的距离D1。对于像素304和310,它们在X方向上隔开4个像素的距离D2,而在Y方向上隔开1个像素,总共是5个像素的距离。这阐述了一种测量习惯。或者,可通过计算各像素之间X和Y距离的斜边的长度而容易地将上述测量值换算成对角直线测量值。像素302和304是共享一个顶点的相邻或“相连的”像素。可定义“相连的”像素为共享一条共有边或顶点的像素,如像素302和304。确立此定义后,可鉴别并“填充”(fill-in)(74)(图2b)另外基于光强度值不合格的“相连的”像素(如图5b所示),即,表征它们为合格的像素。例如,对于被定义为“相连的”像素的像素302和304,像素326代表一个相连的像素,它被“填充”,并因此处于“合格的”状态。确立了“合格的”像素的标准后,即基于强度和相连性,可测试合格像素的“相关性”(relatedness)。例如,如果一个像素与另一像素的距离在规定的距离Dx之内,则该像素可确定为与该另一像素是“相关的”。然后可利用概念“相关性”来定义“目标”(object)(或“斑点”——两个大目标(binary large objects)),即,“目标”可定义为具有最小数量的相关合格像素的目标。然后可计算(76)各目标中合格像素的数量,以确定各“目标”的尺寸大小。例如,我们可利用X和Y方向上累积5个像素距离内的像素的相关性测试,来定义一个“目标”为具有2个或多个“相关的”像素的目标,且各目标的边界可定义为包围所有相关像素的边界。图5a阐述了第一目标O1(虚线所示矩形),其含有像素302、304、308和310,在该目标O1中,各像素之间在X和/或Y方向上与至少一个其它像素被低于或等于5个像素所隔开。像素300和306相对于该阈值是合格的,但与其它像素不足够靠近,因此不能与它们相关而组成“目标”。给定由“相关的”、“合格的”像素组成的“目标”,则可计算(76)像素的数量,然后可将该计算值与给定的尺寸标准比较,以确定(78)是否有目标具有足够数量的像素以被视为是瞳孔的指示。例如,根据经验可确定,至少在一个目标中50个像素必须合格,以作为瞳孔鉴别的可靠指标。在目标不具有足够量的像素的情形78中,限制阈值是增量(80)(对于黑瞳孔,阈值增加,而对于闪光闪烁,阈值下降)。限制阈值的增量(incrementation)(80)能够使额外的像素在接下来的测试顺序中合格。这种逐渐增加/降低阈值标准的方法已知称为“阈值处理”。对于任意给定的阈值,如果像素通过该测试,则给予值“1”,如果未通过,则给予值“0”。
进行(82)一个测试,测定是否已超出最大或最小测试阈值而没有鉴别出瞳孔。例如,当测试黑瞳孔时,如果阈值增加到超出可以可靠地鉴别瞳孔的水平,如与光灰度或白度(white)相关的强度值,那么已超出可靠的测试范围而没有鉴别到瞳孔。如果已超出最大或最小测试阈值,那么瞳孔的自动鉴别失败,实施备份程序。即,显示(84)给操作者一个信息,使其人工标记该影像,以显示瞳孔的位置。然后该人操作者可定位瞳孔并指示它们的位置,例如通过在显示瞳孔的位置定位箭头光标然后双击,或者在该位置用触笔接触触摸屏。因此,在步骤86,操作者用例如触笔标示它们的位置。鉴别了瞳孔的位置后,则可相对于该瞳孔计算(88)感兴趣的各种面部区域的位置。然后停止(110)该方法。
如果在步骤82中未超出测试阈值,则进行比较(72),以鉴别额外的合格像素。在额外的测试(72)和增量(80)阈值之后,影像亚组ISX中应有越来越多的像素合格。参见图5b,影像数据亚组IS2的片段F2所鉴别的合格像素数量多于图5a所鉴别的数量。在图5b中,更多合格像素如314和318的加入使得产生更多的目标,即O2和O3。此外,原先的目标O1的形状和大小已改变。因为本发明依赖于两个瞳孔的鉴别来提供足够的信息,以计算感兴趣的面部区域的位置,因此,在步骤90(图2b),进行关于是否已鉴别一个以上合格目标(即大小合格)的问询。如果未鉴别出,那么增量(80)阈值,测试超出最大或最小阈值(82),然后进一步比较(72)。在偶然有一个以上合格目标(以大小计)存在时,测试各目标,以鉴别(92)具有合格的对称/形状的那些目标。由于瞳孔是圆的,因此所测试的目标应近似为圆形,以作为瞳孔的指示。过去已遇到鉴别影像中的形状的问题,在公共领域中也存在解决方案。例如,媒介控制公司(Media Cybernetics)的ITT视觉系统(ITT Visual Systems)或图像程序(Image Pro)的编程语言IDL具有确定目标或“斑点”的对称性的模块,以通过形态测定鉴别圆的目标。为了阐述一个简单的形状测试,图5a-5c显示了目标O1的位置中心C1,此中心可通过取该目标各相关像素的X和Y坐标的平均值而确定。随着目标O1的增大(在图5b和5c中),中心C1、C2、C3移动,这样它更接近地近似瞳孔P的中心。可通过平均自中心如C1与目标O1边界线在X和Y方向上的距离,来计算与各C1、C2、C3相关的平均半径R1、R2、R3。然后可通过确定通过旋转该半径(如沿着中心C1旋转R1(如弧线A1、A2、A3所示))所形成的环内所含的像素的百分数来测试“圆度”。可凭经验确定百分数标准,即预测圆度的百分数。清楚的是,100%将是预测性的,但较低的百分数如80%可精确预测圆度。或者,可测试目标的形状(如图5c的目标O1),以确定它是否近似方形(在给定的容差范围内)。方形目标如O1的存在预示着圆度。
在步骤94,测试是否存在一个以上形状合格的目标。如果不存在,则增量(80)阈值,并再次进行测试72,因为需要鉴别到两个瞳孔。如果有一个以上合格的目标(指形状合格),则计算(96)所有可能的目标对之间的距离。鉴别(98)距离在瞳孔间距范围内的这些目标对,并在步骤100中测试,以鉴别其水平姿态在允许的倾斜容差范围(以允许头倾斜)内的合格的目标对。如果仍旧没有合格的目标对(102),则重复增量(80)和测试(72)步骤。如果有一个以上目标对合格(104),则自动瞳孔鉴别失败,因为该测试无法辨别瞳孔和另一对不是瞳孔的目标这一事实。在偶然仅有一对目标对合格的情况下,测试(106)该合格的目标对,以确定它是否处于可接受的X和Y位置,即该瞳孔离左右两边都不太远,或者离该影像的顶部或底部都不太远。否则,测试者将被要求要么人工标记(84)瞳孔,要么重新拍照(因为该对象的位置不对)。在目标对处于可接受的X和Y位置的可能情况中,可鉴别该目标对为瞳孔,并使用其X和Y位置来计算(108)感兴趣的面部区域R1、R2……的位置,从而到达该方法的终点110。如上所示,面部区域可定义为多边形,其中各顶点的位置相对于面部中心在一定分数或半距离的倍数的距离处表示。通过这种方式,所计算的面部区域对于头尺寸不同的人将不同,假定这些不同导致不同的瞳孔/闪烁位置(和相应的不同的半距离)。因为各瞳孔/闪烁位置是独立计算并相对于面部中心来表示,因此,头倾斜和旋转将反映在也类似地倾斜/旋转的感兴趣区域的位置的计算中。结果,本发明为头部倾斜提供了自动补偿。根据本发明,可由数码影像自动测定面部区域,而不需要人为干涉或帮助或依赖于基准标志。该方法迅速,如在约0.2秒内结束,且可再现,各区域独立计算,因此所计算的面部区域根据不同的头部大小、位置、倾斜和旋转自动调整。然后可分析包含于所鉴别的面部区域内的特征,如使用多种影像照明类型,如美国专利申请系列号10/978,284(发明名称为“获取并观察皮肤影像的装置和方法”(“Apparatus forand Method of Taking and Viewing Images of the Skin”),其美国申请公开号为US 2005/0195316 A1)中所揭示的,本文将其全文以引用的方式参考于此。
上文公开了示例性的鉴别影像中瞳孔和面部区域的装置和方法。在不偏离本发明的范围的情况下可实施所揭示的发明的各种修改。例如,“相关的”像素的定义可包括较大或较少距离中的像素,和/或改变测试约束的顺序。例如,可在测试目标对隔开距离之前测试目标对姿态(attitude)。当提交时,本发明的权利要求书意图覆盖所有这些变化和改动。