CN101573714B - 鉴别面部区域的方法和装置 - Google Patents

鉴别面部区域的方法和装置 Download PDF

Info

Publication number
CN101573714B
CN101573714B CN2007800364491A CN200780036449A CN101573714B CN 101573714 B CN101573714 B CN 101573714B CN 2007800364491 A CN2007800364491 A CN 2007800364491A CN 200780036449 A CN200780036449 A CN 200780036449A CN 101573714 B CN101573714 B CN 101573714B
Authority
CN
China
Prior art keywords
pixel
pupil
target
test
qualified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800364491A
Other languages
English (en)
Other versions
CN101573714A (zh
Inventor
G·帕俑克
D·杰克逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johnson & Johnson Consumer Co ltd
Johnson and Johnson Consumer Inc
Original Assignee
Johnson and Johnson Consumer Companies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johnson and Johnson Consumer Companies LLC filed Critical Johnson and Johnson Consumer Companies LLC
Publication of CN101573714A publication Critical patent/CN101573714A/zh
Application granted granted Critical
Publication of CN101573714B publication Critical patent/CN101573714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

用于鉴别影像中面部区域的装置和方法,包括计算机,该计算机运行一程序,该程序测试影像的像素值,以鉴别其中的具有类似瞳孔这样的特征的目标,如形状、大小、位置和反射性。为了减少鉴别瞳孔的时间,将该影像进行亚矩形分割、亚采样,并仅测试一种色彩/亮度通道。

Description

鉴别面部区域的方法和装置
发明领域
本发明涉及分析皮肤的装置和方法,更具体而言,本发明涉及感兴趣的特定面部区域的数码成像、鉴别和分析的装置和方法。
发明背景
已提出了各种成像系统,用于通过拍照捕捉人的面部影像以用于分析皮肤的健康状况和美观外观。在不同时间或不同光照条件下捕捉的不同照片可相互比较,以获得对不同时间(如治疗前后)的皮肤情况的认识,确定皮肤中该情况的趋势。这通常通过操作员观察照片以基于颜色、质地等确定照片之间的变化来实现。在分析人面部皮肤时,有利的是检测该面部特定区域的特定相关属性,因为面部的不同区域的形态和功能具有特异性,且与环境发生不同的相互作用。例如,覆盖鼻子的皮肤暴露最直接的和最强的阳光辐射,即早晨晚期到下午早期之间发射的辐射,因此它们具有较大量的皮脂腺和毛孔,以提供皮肤油,阻止鼻子的皮肤烧坏和干燥。相反,眼皮的皮肤由于眼睛睁开时眼皮褶皱且缩回眼眶的缘故而不受阳光照射。与鼻子或颊部区域的皮肤不同,眼皮必须是薄的且柔软的,可无数次折叠,以方便快速睁开和闭上眼睛。
由于现在通常用数码照相机成像,因此将所产生的影像进行定量分析。如果实施的话,定量影像分析提供更多的信息,能识别不同面部区域的皮肤特异性。一些皮肤成像系统利用受训的人操作者通过人工触摸(在触敏型输入/输出屏上)或指向(用指针和点击或指示)显示的面部影像上的基准点来鉴别面部区域。或者,可在影像上(用指针/鼠标或触笔)画出多边形,以鉴别感兴趣的面部区域。例如,可使用线条连接面部基准参照点如鼻角、唇角、耳朵、眼睛的侧棱再回到该鼻角而画出颊部区域。虽然是有效的,但是一些人工操作费力,且需要受训的操作者。因此,能在影像上自动地鉴别面部区域,将能有利地提高面部区域鉴别的速度和一致性,以及降低对操作者输入的依赖性。
发明内容
本发明克服了已知用于鉴别人脸影像上的面部区域的装置和方法的缺点和限制,本发明包括以下认识,即对象的瞳孔/角膜可用作参照点来鉴别面部区域。本发明揭示了这样的装置和方法:通过测试像素值,以鉴别影像中具有瞳孔或瞳孔状基准参照点的特征(如闪光闪烁(flash glint)等)的目标,而自动鉴别对象影像中的瞳孔/角膜。这些参照点的鉴别使得能够鉴别出面部区域的位置。
附图简述
图1是影像捕获装置和由此捕获的影像的示意图。
图2a和2b是阐述本发明一个自动鉴别面部区域的实施方式的方法的流程图。
图3是“亚矩形分割”(sub-recting)一幅影像的方法的示意图。
图4是CCD/滤光片排列和由其产生的影像数据的示意图。
图5a-5c是“阈值处理”(thresholding)方法的示意图。
发明详述
图1显示其影像由成像系统10根据本发明捕获的人对象S。成像系统10具有数码相机12,该相机捕获数字形式的影像,并将该数字影像数据传送给计算机14如个人电脑。计算机14然后在显示器16上显示影像I。这种类型的成像系统在下述美国专利申请中揭示:美国专利申请系列号10/008753(发明名称为“使用蓝光获取皮肤影像的方法及其用途”(“Method of Taking Images of the Skin UsingBlue Light and the Use Thereof”),其美国申请公开号为US 2004/0146290 A1)、美国专利申请系列号10/978,284(发明名称为“获取并观察皮肤影像的装置和方法”(“Apparatus for and Method of Taking and Viewing Images of the Skin”),其美国申请公开号为US 2005/0195316 A1)、美国专利申请系列号11/169,813(发明名称为“具有探测器的皮肤成像系统”(“Skin Imaging System withProbe”),其美国申请公开号为US 2006/0092315 A1),前述所有文献的全文以引用的方式结合于此。
定义影像I的影像数据ID在各显示像素PX阵列中为像素强度数据形式,该显示像素可通过它们在X-Y坐标方格18中的位置而鉴别。影像数据ID告知计算机(如14)哪些像素在显示器16上显示及其位置(Xi,Yi)上各像素的明亮(灰度)强度,以再现影像I。如上所述,需要能够鉴别面部区域,如虚线多边形R1、R2和R3所示。本发明认识到,如果人对象瞳孔P1和P2两者的位置已知的话,可通过计算面部区域(如R1、R2和R3)的位置和形状而识别所述面部区域。更具体而言,如果瞳孔P1的中心是X1、Y1,瞳孔P2的中心是X2、Y2,则可计算瞳孔间距离IPD、面部中心FC(连接瞳孔P1和P2的线的中点)以及面部倾角AT。半距离SD定义为瞳孔间距离IPD的一半。给出感兴趣人群(如全人类、13-75岁的女性、或16-65岁的日本女性)的经验数据,则可相对于面部中心FC/瞳孔P1、P2,从限定代表面部区域R1、R2和R3的多边形的顶点如V1、V2……等与面部中心FC和/或瞳孔P1、P2之间的距离,基于给定的面部倾角AT,来定义有关面部区域如R1、R2和R3的标准形状和标准位置。顶点V1、V2……的替换可用相关的术语来表示,例如表示为半距离SD的分数或倍数。在该方式中,影像不需与标准公制单位相关联。或者,由于影像通常在控制的距离中拍摄,可通过与摄影标尺的比照关系,而容易地将瞳孔的X和Y位置转换成标准的测量单位如英寸或厘米。
本发明能够在要定位的影像I中定位对象S的瞳孔P1、P2的位置。图2a和2b是显示所述定位的示例性方法的流程图的部分。在该方法的起始50处,给对象S定位并拍摄(52)数码照片(见图1,其中对象S处于数码相机12之前)。拍照后,将数码照片数据传送(54)到计算机14。从照片影像数据ID(见图3)中选出(56)一亚组影像区域或样品区域SR。该样品区域SR是影像数据ID中这样的区域:对瞳孔定位有高机率。图3阐述了:合适定位的对象S将基本上占满照相机12的视野,和相应的影像数据ID,该数据的像素安排在X Y坐标方格18上。样品区域SR可定义为这样的区域:表现出含有瞳孔P1、P2的影像的高机率性。这是由于人体生理学的缘故,即瞳孔P1和P2将处于影像的上半部,即在线YB以上而在线YT1之下。对于处于正确位置的对象,瞳孔P1和P2将存在于左和右边界线XL和XR之间。在瞳孔不处于预定的样品区域SR中时,可移动样品区域SR的界限,以检查影像数据ID的其它区域。例如,样品区域SR的上界限可移动到线YT2。选择较小的亚组影像区域以寻找瞳孔P1和P2的目的是:通过减少需要检查并应如下文所述进行分析的像素的数量,来减少寻找瞳孔所需的时间。这种选择矩形亚组样品区域SR的方法有时称为“亚矩形分割”或“裁剪”(cropping)。基于类似的基本原理选择(57)该样品区域SR中的一亚样品像素,用于测试。选择亚样品的方法仅仅是对水平和/或垂直方向上每N个像素进行跳读。例如,如果测试/分析样品区域SR中每5个像素中的唯一一个,那么分析时间减少到测试所有像素所需时间的二十五分之一。可通过搜寻(58)没有提供光反射的黑瞳孔、或通过搜寻(64)闪光闪烁(与瞳孔密切相关的角膜的反射,它反射照亮面部的光)而利用本发明。恰当的方法将取决于对象S相对于照相机12的取向,即该对象处于这样一个角度:在该角度有发射或者没有反射发生。本发明可利用这些方法中的一种或两种,例如在第一种方法没有找到瞳孔的情况下,依次利用两种方法。或者,可使对象与闪光灯之间存在一角度,该角度将提供高机率的黑瞳孔(无反射)或闪光闪烁(有反射)。在黑瞳孔(无反射)的情况下,初始化(60)像素限制阈值至最小值,即,对应于黑色。(影像数据ID中的各像素具有最初由电压表示的对应强度,该电压在对应于一个像素的固态电容器中通过光碰撞到该电容器上而诱发。该电压被数字化成数值。)
图4阐述了一个光敏感元件阵列,如具有多个对应于像素的传感器元件202的CCD阵列200。该CCD阵列200具有有多个以交替的颜色(红、绿和蓝(R、G和B))存在的滤光片元件204的拜尔(Bayer)滤光片203。所述多个光传感器元件202的输出可解析成三种分离的颜色格栅/通道:绿色影像数据206、红色影像数据208和蓝色影像数据210。返回图2a,(从该亚矩形分割和亚采样影像亚组中)选择(62)红色通道影像208以进行分析的方法,其效果与“亚矩形分割”(56)和“亚采样”(57)相同,即它减少了待分析的像素的数量以及分析时间(减少了三分之二),并称为“亚整平”(sub-planing)。与蓝色或绿色通道相比,红色通道影像208还具有较好的瞳孔分辨率。
在使用瞳孔64的闪光闪烁或反射来分辨瞳孔的情况中,将RGB影像转换(66)成L*a*b*色隙。这采用已知的算法实施。实施转换(66)的原因,是在表示亮度/暗度的L*轴影像数据中反射的闪光闪烁、与在以RGB形式表示的影像的任意颜色通道中的相比,更容易被区分。实施转换(66)之后,初始化(68)像素限制阈值到最大值,即对应于CCD阵列200中像素202记录的最高强度的白光的值。以类似的方式分离RGB影像数据成红色、绿色和蓝色通道,将RGB影像转换(66)成L*a*b*色隙后,可选择(70)L*通道或“亚平面”(sub-plane),以在用方形回旋滤色片(convolution filter)处理后测试该影像数据亚组中的像素。之所以使用方形回旋滤色片是因为:闪光闪烁为方形。设置了黑瞳孔或闪光闪烁的像素的特定阈值后,将测试像素样品亚组中的各像素与阈值比较(72),以鉴定“合格”的像素,即在黑瞳孔情况下那些等于或低于该阈值的像素,或在闪光闪烁情况下那些等于或大于阈值的像素。
图5a到5c阐述了图2a和2b中出现的方法。参见图5a,比较(72)样品组中的各像素与阈值导致鉴定出“合格的”像素。影像IS1的放大片段F1显示了靠近对象一只眼睛的合格的像素。在例如黑瞳孔的情况下,像素300、302、304、306、308和310都通过该阈值测试,是合格的,这些像素各自将等于或低于已建立的当前阈值(current threshold)。图5a中的影像亚组IS1没有完整地阐述该影像,是因为仅显示最低阈值处的合格像素(在黑瞳孔的情况下)或在用于测试闪光闪烁64时的最高阈值处的合格像素。测试合格像素的方法不要求显示所获得的合格像素,因为它们可基于它们的强度值而被鉴定,但是图5a-5c可用于形象描述此方法。图5a中,合格像素在空间上是相关的,因为它们在X和Y方向上具有特定的隔开距离,如像素308和310在X方向上隔开的距离为三个像素的距离D1。对于像素304和310,它们在X方向上隔开4个像素的距离D2,而在Y方向上隔开1个像素,总共是5个像素的距离。这阐述了一种测量习惯。或者,可通过计算各像素之间X和Y距离的斜边的长度而容易地将上述测量值换算成对角直线测量值。像素302和304是共享一个顶点的相邻或“相连的”像素。可定义“相连的”像素为共享一条共有边或顶点的像素,如像素302和304。确立此定义后,可鉴别并“填充”(fill-in)(74)(图2b)另外基于光强度值不合格的“相连的”像素(如图5b所示),即,表征它们为合格的像素。例如,对于被定义为“相连的”像素的像素302和304,像素326代表一个相连的像素,它被“填充”,并因此处于“合格的”状态。确立了“合格的”像素的标准后,即基于强度和相连性,可测试合格像素的“相关性”(relatedness)。例如,如果一个像素与另一像素的距离在规定的距离Dx之内,则该像素可确定为与该另一像素是“相关的”。然后可利用概念“相关性”来定义“目标”(object)(或“斑点”——两个大目标(binary large objects)),即,“目标”可定义为具有最小数量的相关合格像素的目标。然后可计算(76)各目标中合格像素的数量,以确定各“目标”的尺寸大小。例如,我们可利用X和Y方向上累积5个像素距离内的像素的相关性测试,来定义一个“目标”为具有2个或多个“相关的”像素的目标,且各目标的边界可定义为包围所有相关像素的边界。图5a阐述了第一目标O1(虚线所示矩形),其含有像素302、304、308和310,在该目标O1中,各像素之间在X和/或Y方向上与至少一个其它像素被低于或等于5个像素所隔开。像素300和306相对于该阈值是合格的,但与其它像素不足够靠近,因此不能与它们相关而组成“目标”。给定由“相关的”、“合格的”像素组成的“目标”,则可计算(76)像素的数量,然后可将该计算值与给定的尺寸标准比较,以确定(78)是否有目标具有足够数量的像素以被视为是瞳孔的指示。例如,根据经验可确定,至少在一个目标中50个像素必须合格,以作为瞳孔鉴别的可靠指标。在目标不具有足够量的像素的情形78中,限制阈值是增量(80)(对于黑瞳孔,阈值增加,而对于闪光闪烁,阈值下降)。限制阈值的增量(incrementation)(80)能够使额外的像素在接下来的测试顺序中合格。这种逐渐增加/降低阈值标准的方法已知称为“阈值处理”。对于任意给定的阈值,如果像素通过该测试,则给予值“1”,如果未通过,则给予值“0”。
进行(82)一个测试,测定是否已超出最大或最小测试阈值而没有鉴别出瞳孔。例如,当测试黑瞳孔时,如果阈值增加到超出可以可靠地鉴别瞳孔的水平,如与光灰度或白度(white)相关的强度值,那么已超出可靠的测试范围而没有鉴别到瞳孔。如果已超出最大或最小测试阈值,那么瞳孔的自动鉴别失败,实施备份程序。即,显示(84)给操作者一个信息,使其人工标记该影像,以显示瞳孔的位置。然后该人操作者可定位瞳孔并指示它们的位置,例如通过在显示瞳孔的位置定位箭头光标然后双击,或者在该位置用触笔接触触摸屏。因此,在步骤86,操作者用例如触笔标示它们的位置。鉴别了瞳孔的位置后,则可相对于该瞳孔计算(88)感兴趣的各种面部区域的位置。然后停止(110)该方法。
如果在步骤82中未超出测试阈值,则进行比较(72),以鉴别额外的合格像素。在额外的测试(72)和增量(80)阈值之后,影像亚组ISX中应有越来越多的像素合格。参见图5b,影像数据亚组IS2的片段F2所鉴别的合格像素数量多于图5a所鉴别的数量。在图5b中,更多合格像素如314和318的加入使得产生更多的目标,即O2和O3。此外,原先的目标O1的形状和大小已改变。因为本发明依赖于两个瞳孔的鉴别来提供足够的信息,以计算感兴趣的面部区域的位置,因此,在步骤90(图2b),进行关于是否已鉴别一个以上合格目标(即大小合格)的问询。如果未鉴别出,那么增量(80)阈值,测试超出最大或最小阈值(82),然后进一步比较(72)。在偶然有一个以上合格目标(以大小计)存在时,测试各目标,以鉴别(92)具有合格的对称/形状的那些目标。由于瞳孔是圆的,因此所测试的目标应近似为圆形,以作为瞳孔的指示。过去已遇到鉴别影像中的形状的问题,在公共领域中也存在解决方案。例如,媒介控制公司(Media Cybernetics)的ITT视觉系统(ITT Visual Systems)或图像程序(Image Pro)的编程语言IDL具有确定目标或“斑点”的对称性的模块,以通过形态测定鉴别圆的目标。为了阐述一个简单的形状测试,图5a-5c显示了目标O1的位置中心C1,此中心可通过取该目标各相关像素的X和Y坐标的平均值而确定。随着目标O1的增大(在图5b和5c中),中心C1、C2、C3移动,这样它更接近地近似瞳孔P的中心。可通过平均自中心如C1与目标O1边界线在X和Y方向上的距离,来计算与各C1、C2、C3相关的平均半径R1、R2、R3。然后可通过确定通过旋转该半径(如沿着中心C1旋转R1(如弧线A1、A2、A3所示))所形成的环内所含的像素的百分数来测试“圆度”。可凭经验确定百分数标准,即预测圆度的百分数。清楚的是,100%将是预测性的,但较低的百分数如80%可精确预测圆度。或者,可测试目标的形状(如图5c的目标O1),以确定它是否近似方形(在给定的容差范围内)。方形目标如O1的存在预示着圆度。
在步骤94,测试是否存在一个以上形状合格的目标。如果不存在,则增量(80)阈值,并再次进行测试72,因为需要鉴别到两个瞳孔。如果有一个以上合格的目标(指形状合格),则计算(96)所有可能的目标对之间的距离。鉴别(98)距离在瞳孔间距范围内的这些目标对,并在步骤100中测试,以鉴别其水平姿态在允许的倾斜容差范围(以允许头倾斜)内的合格的目标对。如果仍旧没有合格的目标对(102),则重复增量(80)和测试(72)步骤。如果有一个以上目标对合格(104),则自动瞳孔鉴别失败,因为该测试无法辨别瞳孔和另一对不是瞳孔的目标这一事实。在偶然仅有一对目标对合格的情况下,测试(106)该合格的目标对,以确定它是否处于可接受的X和Y位置,即该瞳孔离左右两边都不太远,或者离该影像的顶部或底部都不太远。否则,测试者将被要求要么人工标记(84)瞳孔,要么重新拍照(因为该对象的位置不对)。在目标对处于可接受的X和Y位置的可能情况中,可鉴别该目标对为瞳孔,并使用其X和Y位置来计算(108)感兴趣的面部区域R1、R2……的位置,从而到达该方法的终点110。如上所示,面部区域可定义为多边形,其中各顶点的位置相对于面部中心在一定分数或半距离的倍数的距离处表示。通过这种方式,所计算的面部区域对于头尺寸不同的人将不同,假定这些不同导致不同的瞳孔/闪烁位置(和相应的不同的半距离)。因为各瞳孔/闪烁位置是独立计算并相对于面部中心来表示,因此,头倾斜和旋转将反映在也类似地倾斜/旋转的感兴趣区域的位置的计算中。结果,本发明为头部倾斜提供了自动补偿。根据本发明,可由数码影像自动测定面部区域,而不需要人为干涉或帮助或依赖于基准标志。该方法迅速,如在约0.2秒内结束,且可再现,各区域独立计算,因此所计算的面部区域根据不同的头部大小、位置、倾斜和旋转自动调整。然后可分析包含于所鉴别的面部区域内的特征,如使用多种影像照明类型,如美国专利申请系列号10/978,284(发明名称为“获取并观察皮肤影像的装置和方法”(“Apparatus forand Method of Taking and Viewing Images of the Skin”),其美国申请公开号为US 2005/0195316 A1)中所揭示的,本文将其全文以引用的方式参考于此。
上文公开了示例性的鉴别影像中瞳孔和面部区域的装置和方法。在不偏离本发明的范围的情况下可实施所揭示的发明的各种修改。例如,“相关的”像素的定义可包括较大或较少距离中的像素,和/或改变测试约束的顺序。例如,可在测试目标对隔开距离之前测试目标对姿态(attitude)。当提交时,本发明的权利要求书意图覆盖所有这些变化和改动。

Claims (16)

1.一种鉴别具有一组像素的数码影像中的人的面部区域的方法,该方法包括:
(A)通过定量比较与所测试的像素相关的指示强度的值、和指示瞳孔成像的强度标准值,以鉴别潜在预示瞳孔成像像素的合格的像素,所述强度标准值的确定包括选择最接近预示瞳孔成像的第一强度标准值,接着针对该第一强度标准值进行测试,以确定是否已鉴别出该数码影像中的瞳孔,如果没有鉴别出,则通过迭代增加地调整该第一强度标准值以进行阈值处理,使该值逐渐减少地指示瞳孔成像,测试像素并重复直到鉴别出合格的像素或达到最终的强度标准值,由此测试该影像的多个像素,以鉴别那些与该人瞳孔的成像相关的像素;(B)基于合格像素之间的空间关系,将合格像素划分入目标中,并计算目标的数量,以确定是否鉴别出至少两个目标,如果没有鉴别出,则调整强度标准值并测试像素以鉴别额外的合格像素;(C)测试目标以确定所述目标具有预示瞳孔成像的尺寸,如果没有所述尺寸,则调整强度标准值并测试像素以鉴别额外的合格像素;(D)基于步骤(A)中所鉴别的瞳孔的位置,计算该影像中的面部区域的位置。
2.如权利要求1所述的方法,其特征在于,所述方法还包括以下步骤:测试目标以确定所述目标具有预示瞳孔成像的形状,如果没有所述形状,则继续测试像素以鉴别额外的合格像素。
3.如权利要求2所述的方法,其特征在于,所述方法还包括以下步骤:测试目标以确定所述目标具有预示瞳孔成像的间距,如果没有所述间距,则继续测试像素以鉴别额外的合格像素。
4.如权利要求3所述的方法,其特征在于,所述方法还包括以下步骤:测试目标,以确定所述目标在所述数码影像内具有预示瞳孔成像的朝向,如果没有所述朝向,则继续测试像素以鉴别额外的合格像素。
5.如权利要求2所述的方法,其特征在于,所述测试目标形状的步骤通过形态测量法实施。
6.如权利要求1所述的方法,其特征在于,所述方法还包括以下步骤:鉴别空间上与合格像素相关的不合格像素,这样,将这些不合格的相关像素视为合格的像素,通常将增加这样的可能性:含有所述另外的不合格的相关像素的目标将预示瞳孔成像的可能性。
7.如权利要求1所述的方法,其特征在于,所述方法还包括这样的亚矩形分割的步骤:基于凭经验确立的瞳孔位于数码影像一特定亚区域内的增加的可能性,将测试限制于一亚组像素而进行亚矩形分割。
8.如权利要求1所述的方法,其特征在于,所述方法还包括这样的亚采样步骤:将测试限制于每个第N个像素,以减少测试的像素数量。
9.如权利要求1所述的方法,其特征在于,所述方法还包括将测试限制于单一颜色通道的亚整平步骤。
10.如权利要求9所述的方法,其特征在于,所述颜色通道是红色。
11.如权利要求1所述的方法,其特征在于,所述强度标准值与颜色缺失/黑色相关。
12.如权利要求1所述的方法,其特征在于,所述强度标准值指示亮度。
13.如权利要求12所述的方法,其特征在于,所述与所测试的像素相关的指示强度的值和所述强度标准值,两者在比较前都以L*a*b*色隙中的L*量值表示。
14.如权利要求1所述的方法,其特征在于,所述面部区域位置的计算基于所述瞳孔间距离以及与该人相关的经验人群数据。
15.如权利要求1所述的方法,其特征在于,所述方法还包括这样的步骤:除了颜色之外,还分析该面部区域的影像以确定该人的皮肤情况。
16.一种鉴别具有一组像素的数码影像中的人的面部区域的方法,所述方法包括以下步骤:
(A)基于凭经验确立的瞳孔位于该数码影像一特定亚区域内的增加的可能性,通过选择该组像素的亚组而进行亚矩形分割;
(B)通过选择该亚矩形分割亚组的每个第N个像素而进行亚采样;
(C)通过选择该亚矩形分割、亚采样亚组的单一颜色通道中的像素而进行亚整平,以产生待测的像素的亚组St;
(D)选择预示瞳孔成像的初始的标准像素强度值;
(E)将与该亚组St中各像素相关的所述像素强度值与标准像素强度值进行定量比较,以鉴别潜在地预示瞳孔成像的合格像素;
(F)基于合格像素之间的空间关系,将合格像素划分入目标中,并计算目标的数量,以确定是否鉴别出至少两个目标,如果没有鉴别到,则跳至步骤(K),否则继续实施步骤(G);
(G)测试目标,以确定目标有预示瞳孔成像的尺寸,如果没有所述尺寸,则跳至步骤(K),否则继续实施步骤(H);
(H)测试目标,以确定该目标具有预示瞳孔成像的形状,如果没有所述形状,则跳至步骤(K),否则继续实施步骤(I);
(I)测试目标,以确定该目标具有预示瞳孔成像的间距,如果没有所述间距,则跳至步骤(K),否则继续实施步骤(J);
(J)测试目标,以确定该目标在数码影像中具有预示瞳孔成像的朝向,如果没有所述朝向,则跳至步骤(N),否则继续实施步骤(K);
(K)鉴别空间上与合格像素相关的不合格像素,这样,将这些不合格的相关像素视为合格的像素,通常将增加这样的可能性:含有所述另外的不合格的相关像素的目标将预示着瞳孔成像的可能性;
(L)调整所述标准强度值,使其较少指示瞳孔成像,但不超出预定的数值限制范围;
(M)重复步骤(E)到(L),直到满足步骤(G)到(J)所述的测试,并且,如果满足了所述测试,从步骤(N)继续实施,或者在超出预定值限制范围后,触发信息,并终止该方法;
(N)基于所鉴别的瞳孔的位置,计算该影像中所述面部区域的位置。
CN2007800364491A 2006-10-02 2007-10-01 鉴别面部区域的方法和装置 Active CN101573714B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US84874106P 2006-10-02 2006-10-02
US60/848,741 2006-10-02
US11/863,323 US8103061B2 (en) 2006-10-02 2007-09-28 Method and apparatus for identifying facial regions
US11/863,323 2007-09-28
PCT/US2007/080034 WO2008042830A2 (en) 2006-10-02 2007-10-01 Method and apparatus for identifying facial regions

Publications (2)

Publication Number Publication Date
CN101573714A CN101573714A (zh) 2009-11-04
CN101573714B true CN101573714B (zh) 2012-11-14

Family

ID=39261253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800364491A Active CN101573714B (zh) 2006-10-02 2007-10-01 鉴别面部区域的方法和装置

Country Status (6)

Country Link
US (1) US8103061B2 (zh)
EP (1) EP2082355B1 (zh)
CN (1) CN101573714B (zh)
BR (1) BRPI0719838B8 (zh)
RU (1) RU2455686C2 (zh)
WO (1) WO2008042830A2 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101043832A (zh) * 2004-10-22 2007-09-26 株式会社资生堂 嘴唇的分类方法,化妆方法,分类图谱及化妆用器具
JP4712563B2 (ja) * 2006-01-16 2011-06-29 富士フイルム株式会社 顔検出方法および装置並びにプログラム
CN101893858B (zh) * 2010-07-15 2012-01-25 华中科技大学 一种用于控制用户眼睛与电子设备屏幕之间距离的方法
JP4998637B1 (ja) * 2011-06-07 2012-08-15 オムロン株式会社 画像処理装置、情報生成装置、画像処理方法、情報生成方法、制御プログラムおよび記録媒体
US9655517B2 (en) 2012-02-02 2017-05-23 Visunex Medical Systems Co. Ltd. Portable eye imaging apparatus
US20150021228A1 (en) 2012-02-02 2015-01-22 Visunex Medical Systems Co., Ltd. Eye imaging apparatus and systems
US9351639B2 (en) 2012-03-17 2016-05-31 Visunex Medical Systems Co. Ltd. Eye imaging apparatus with a wide field of view and related methods
KR101390296B1 (ko) * 2012-08-31 2014-04-30 에스케이 텔레콤주식회사 개인 맞춤형 서비스 과금방법 및 장치
US9986908B2 (en) 2014-06-23 2018-06-05 Visunex Medical Systems Co. Ltd. Mechanical features of an eye imaging apparatus
US9760762B2 (en) 2014-11-03 2017-09-12 Anastasia Soare Facial structural shaping
EP3250106A4 (en) 2015-01-26 2019-01-02 Visunex Medical Systems Co. Ltd. A disposable cap for an eye imaging apparatus and related methods
WO2016161110A1 (en) * 2015-03-31 2016-10-06 Visunex Medical Systems Co. Ltd. An eye imaging apparatus with sequential illumination and a syntactic image analyzing method
US10255484B2 (en) * 2016-03-21 2019-04-09 The Procter & Gamble Company Method and system for assessing facial skin health from a mobile selfie image
US10264250B2 (en) 2016-03-21 2019-04-16 The Procter & Gamble Company Method and apparatus for determining spectral characteristics of an image captured by a camera on a mobile endpoint device
US10255482B2 (en) 2016-03-21 2019-04-09 The Procter & Gamble Company Interactive display for facial skin monitoring
US11055762B2 (en) 2016-03-21 2021-07-06 The Procter & Gamble Company Systems and methods for providing customized product recommendations
US10438258B2 (en) 2016-03-21 2019-10-08 The Procter & Gamble Company Method and apparatus for generating graphical chromophore maps
US10282868B2 (en) 2016-03-21 2019-05-07 The Procter & Gamble Company Method and system for generating accurate graphical chromophore maps
US10912372B2 (en) 2017-05-16 2021-02-09 Anastasia Beverly Hills, Llc Facial stencils
WO2018222808A1 (en) 2017-05-31 2018-12-06 The Procter & Gamble Company Systems and methods for determining apparent skin age
EP3635626A1 (en) 2017-05-31 2020-04-15 The Procter and Gamble Company System and method for guiding a user to take a selfie
TWI677230B (zh) * 2018-09-25 2019-11-11 瑞昱半導體股份有限公司 影像處理電路及相關的影像處理方法
CN109446912B (zh) * 2018-09-28 2021-04-09 北京市商汤科技开发有限公司 人脸图像的处理方法及装置、电子设备和存储介质
SG11202105401TA (en) 2018-12-27 2021-07-29 Johnson & Johnson Consumer Inc Device and method for selective application of topical composition using dynamic threshold values
US12011561B2 (en) 2020-08-03 2024-06-18 Johnson & Johnson Consumer Inc. System and method for selective application of cosmetic composition to impart undereye brightening

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0899680A2 (en) * 1997-08-29 1999-03-03 Eastman Kodak Company Method for automatic detection of human eyes in digital images
US6419638B1 (en) * 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
CN1474357A (zh) * 2003-06-13 2004-02-11 �Ϻ���ͨ��ѧ 数字灰度图像中人脸眼睛中心的精确自动定位方法
CN1686051A (zh) * 2005-05-08 2005-10-26 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4911544A (en) * 1987-11-13 1990-03-27 Walsh John P Skin condition analyzer for cosmetologists
US5016173A (en) * 1989-04-13 1991-05-14 Vanguard Imaging Ltd. Apparatus and method for monitoring visually accessible surfaces of the body
US5331551A (en) * 1989-10-02 1994-07-19 Olympus Optical Co., Ltd. Endoscope image recording system for compressing and recording endoscope image data
JP2776294B2 (ja) 1995-04-12 1998-07-16 日本電気株式会社 皮膚紋様画像の画像特徴抽出装置および画像処理装置
US6081612A (en) * 1997-02-28 2000-06-27 Electro Optical Sciences Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
EP1011446A1 (en) * 1997-02-28 2000-06-28 Electro-Optical Sciences, Inc. Systems and methods for the multispectral imaging and characterization of skin tissue
US6317624B1 (en) * 1997-05-05 2001-11-13 The General Hospital Corporation Apparatus and method for demarcating tumors
EP1026999B1 (en) * 1997-10-08 2006-06-07 The General Hospital Corporation Phototherapy systems
US6619860B1 (en) * 1997-11-14 2003-09-16 Eastman Kodak Company Photobooth for producing digitally processed images
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
US6067376A (en) * 1998-01-16 2000-05-23 Cognex Corporation Classifying pixels of an image
CN1161710C (zh) * 1998-05-18 2004-08-11 数据立方公司 图象识别及相关系统
IL124616A0 (en) * 1998-05-24 1998-12-06 Romedix Ltd Apparatus and method for measurement and temporal comparison of skin surface images
AUPP839199A0 (en) * 1999-02-01 1999-02-25 Traffic Pro Pty Ltd Object recognition & tracking system
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US6993167B1 (en) 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
WO2001045029A2 (en) * 1999-12-10 2001-06-21 Lennon Jerry W Customer image capture and use thereof in a retailing system
US7128266B2 (en) * 2003-11-13 2006-10-31 Metrologic Instruments. Inc. Hand-supportable digital imaging-based bar code symbol reader supporting narrow-area and wide-area modes of illumination and image capture
US20020181752A1 (en) * 2001-03-14 2002-12-05 Warren Wallo Method for measuring changes in portions of a human body
FR2829344B1 (fr) * 2001-08-29 2004-10-01 Oreal Dispositif d'acquisition d'au moins une image d'au moins une partie du visage ou de la chevelure d'une personne
US7058209B2 (en) * 2001-09-20 2006-06-06 Eastman Kodak Company Method and computer program product for locating facial features
US7324668B2 (en) 2001-10-01 2008-01-29 L'oreal S.A. Feature extraction in beauty analysis
US6907193B2 (en) * 2001-11-08 2005-06-14 Johnson & Johnson Consumer Companies, Inc. Method of taking polarized images of the skin and the use thereof
US6961517B2 (en) * 2001-11-08 2005-11-01 Johnson & Johnson Consumer Companies, Inc. Method of promoting skin care products
US6922523B2 (en) * 2001-11-08 2005-07-26 Johnson & Johnson Consumer Companies, Inc. Method of promoting skin care products
US20040146290A1 (en) * 2001-11-08 2004-07-29 Nikiforos Kollias Method of taking images of the skin using blue light and the use thereof
US7738032B2 (en) * 2001-11-08 2010-06-15 Johnson & Johnson Consumer Companies, Inc. Apparatus for and method of taking and viewing images of the skin
US20040125996A1 (en) 2002-12-27 2004-07-01 Unilever Home & Personal Care Usa, Division Of Conopco, Inc. Skin diagnostic imaging method and apparatus
JP4317465B2 (ja) * 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
US20050287040A1 (en) * 2004-06-29 2005-12-29 Molecular Devices Corporation Fluorescence validation plate
US8026942B2 (en) * 2004-10-29 2011-09-27 Johnson & Johnson Consumer Companies, Inc. Skin imaging system with probe
RU2365995C2 (ru) * 2005-01-31 2009-08-27 Самсунг Электроникс Ко., Лтд. Система и способ регистрации двухмерных изображений

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6419638B1 (en) * 1993-07-20 2002-07-16 Sam H. Hay Optical recognition methods for locating eyes
EP0899680A2 (en) * 1997-08-29 1999-03-03 Eastman Kodak Company Method for automatic detection of human eyes in digital images
CN1474357A (zh) * 2003-06-13 2004-02-11 �Ϻ���ͨ��ѧ 数字灰度图像中人脸眼睛中心的精确自动定位方法
CN1686051A (zh) * 2005-05-08 2005-10-26 上海交通大学 基于vpf和改进的susan的眼角和瞳孔的定位方法

Also Published As

Publication number Publication date
WO2008042830A3 (en) 2008-08-07
BRPI0719838B8 (pt) 2022-08-30
EP2082355A2 (en) 2009-07-29
BRPI0719838A2 (pt) 2014-04-29
US8103061B2 (en) 2012-01-24
RU2455686C2 (ru) 2012-07-10
US20080080746A1 (en) 2008-04-03
RU2009116641A (ru) 2010-11-10
WO2008042830A2 (en) 2008-04-10
EP2082355B1 (en) 2016-02-10
CN101573714A (zh) 2009-11-04
BRPI0719838B1 (pt) 2019-11-12
EP2082355A4 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
CN101573714B (zh) 鉴别面部区域的方法和装置
KR101550474B1 (ko) 양안을 찾아내어 추적하는 방법 및 장치
US7936377B2 (en) Method and system for optimizing an image for improved analysis of material and illumination image features
CN106412573B (zh) 一种检测镜头污点的方法和装置
Tatler et al. Visual correlates of fixation selection: Effects of scale and time
EP2413699B1 (en) Ocular surface interferometry (osi) apparatus for imaging an ocular tear film
JP4783018B2 (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
Liu et al. Neural network generalization: The impact of camera parameters
US9687155B2 (en) System, method and application for skin health visualization and quantification
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
EP1594085A1 (en) Unauthorized person detection device and unauthorized person detection method
JP6793325B2 (ja) 肌診断装置および肌診断方法
KR20170132644A (ko) 케어 정보를 획득하기 위한 방법, 케어 정보를 공유하기 위한 방법, 및 그것들을 위한 전자 장치
Toet et al. Image dataset for testing search and detection models
CN104812288A (zh) 图像处理装置、图像处理方法和图像处理程序
CN103809965A (zh) 边缘测量视频工具和包括自动参数设置替代物的界面
CN111609926B (zh) 杂散光强度检测方法、装置、检测终端及可读存储介质
EP2976990B1 (en) Pupil detection device and pupil detection method
US7866820B2 (en) Corneo-scleral topography system
US20060263297A1 (en) Ophthalmic measuring method and apparatus
CN105550668A (zh) 一种活体生物特征采集装置及识别活体生物特征的方法
JP2018196426A (ja) 毛穴検出方法及び毛穴検出装置
CN110532877A (zh) 一种单摄像头人脸识别方案防欺骗方法、系统、设备及存储装置
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
WO2015073986A1 (en) Ocular tear film peak detection and stabilitzation detection systems and methods for determining tear film layer characteristics

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220426

Address after: new jersey

Patentee after: JOHNSON & JOHNSON CONSUMER COMPANIES, Inc.

Address before: Delaware

Patentee before: Johnson & Johnson consumer Co.,Ltd.

Effective date of registration: 20220426

Address after: Delaware

Patentee after: Johnson & Johnson consumer Co.,Ltd.

Address before: new jersey

Patentee before: JOHNSON & JOHNSON CONSUMER COMPANIES, Inc.