CN101755288B - 用于皱纹老化和去老化逼真模拟的方法和装置 - Google Patents

用于皱纹老化和去老化逼真模拟的方法和装置 Download PDF

Info

Publication number
CN101755288B
CN101755288B CN2008801000995A CN200880100099A CN101755288B CN 101755288 B CN101755288 B CN 101755288B CN 2008801000995 A CN2008801000995 A CN 2008801000995A CN 200880100099 A CN200880100099 A CN 200880100099A CN 101755288 B CN101755288 B CN 101755288B
Authority
CN
China
Prior art keywords
image
wrinkle
aging
neutral
facial expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801000995A
Other languages
English (en)
Other versions
CN101755288A (zh
Inventor
G·希尔勒布赖恩
R·德米利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Ltd
Procter and Gamble Co
Original Assignee
Procter and Gamble Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Ltd filed Critical Procter and Gamble Ltd
Priority to CN201210245457.XA priority Critical patent/CN102903135B/zh
Publication of CN101755288A publication Critical patent/CN101755288A/zh
Application granted granted Critical
Publication of CN101755288B publication Critical patent/CN101755288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了采用中性状态(自然外观)图像和会引起皱纹的一个或多个表情图像(例如，微笑、皱眉、噘嘴、眨眼)来逼真地模拟人的面部皱纹老化的方法和系统。通过将表情图像上可见的皱纹配准到中性图像上从而生成皱纹老化模拟图像，处理所述中性图像和表情图像来模拟皱纹老化。有利的是，利用了一个人自己的皱纹组织数据，因此提供了准确和逼真的皱纹老化模拟。类似地，处理中性图像来消除所有可见皱纹，从而生成皱纹去老化模拟图像。此外，本发明公开了将中性图像与老化或去老化模拟图像相混合，其中混合程度是基于皮肤状况随年龄增长的统计性模型和/或特定种类治疗的预期结果。所公开的方法和系统具有宽广的适应性，包括例如诸如皮肤病学、化妆品和计算机动画之类的领域等等。

Description

用于皱纹老化和去老化逼真模拟的方法和装置
相关的专利申请
本专利申请要求2007年7月23日提交的美国临时专利申请号60/951,313的优选权，其全文以引用方式并入本文。
技术领域
本发明涉及图像处理领域，具体地讲涉及皮肤图像的处理及其老化或去老化的模拟。
背景技术
皮肤老化对人脸外表的影响在皮肤病学中已得到很好的研究和证明。每个人的皮肤老化进展取决于内在和外在两种因素。内在因素如性别、种族和肤色由遗传所控制并且对于每个人是独一无二的并且可影响表皮变薄的速率、机械弹性的丧失和随着年龄而发生的其它具有鲜明特征的组织学变化和生物机械变化。内在因素影响阳光照不到的和日晒下的身体部位。外在因素包括个体的饮食、生活方式、皮肤护理习惯和日晒历史。众所周知，长期日晒会加速皮肤老化的开始时间和严重程度(也称作光老化)。包括面部在内的所有暴露的身体部位均具有某种程度的皮肤光老化。(Gilchrest.，B.Photodamage，Blackwell Science，Inc.1995年)。
老化的面部皮肤在视觉上最显著的特征之一是由真皮结缔组织例如胶原和弹力蛋白逐渐改变和丧失而引起的细纹和皱纹(Leyden J.J.“Clinical features of ageing skin”，Br.J.Dermatol.，第122卷，增刊35，第1-3期，1990年)，尤其是在身体的日晒区域中(Bailey，Molecular mechanisms of aging in connective tissues，Mech.Aging Dev.，第122卷，第7期，第735至755页，2001年)。皮肤是具有外部角质层(10-20μm)、活性表皮(50-100μm)、真皮(1-3mm)和主要由脂肪细胞构成的皮下组织的多层组织。皮肤通过结缔组织连接到下层的肌肉组织上并且肌肉连结到颅骨上。
对于诸如微笑之类的面部表情，肌肉例如大颧骨肌和眼轮匝肌收缩以及皮肤的表面积在眼睛周围以及在面颊上收缩。因为皮肤是不可压缩的，当表面积收缩时，多余的皮肤变形并形成垂直于收缩方向的皱纹。在眼睛周围生成“鱼尾纹”或“笑纹”是此类皱纹的常见实例。当肌肉松弛时，表面积恢复正常并且皱纹消失。以这种方式形成和消失的皱纹被称作表情、动态或临时皱纹。久而久之，由沿着同一皮肤凹沟的重复面部表情引起的机械应力最终使这些临时皱纹变成没有表情就可见的(Kligman等人，Br.J.Derm.1985年，113：37-42)。没有面部表情就可见的皱纹被称作永久的、持久地或静态皱纹。从临时到持久皱纹的转变受下面的真皮基质蛋白的结构完整性的影响。皮肤弹性上的年龄相关损失(长期日晒和吸烟加速其损失)削弱真皮基质结构并加速永久皱纹的开始时间。重要的是，每个个体均在面部上形成在长度、宽度、深度和位置方面独一无二的永久面部皱纹，就象他们自己的指纹一样独一无二。
预报和可视化个体的将来面部皮肤皱纹的能力在计算机动画、面部识别、失踪人员鉴定、娱乐、医疗和化妆品方面具有实用性。已经利用各种模型来实现老化面部的逼真模拟，包括几何模型、基于物理的模型、生物-机械模型和基于图像的模型(Hussein，K.H的Toward realisticfacial modeling and re-rendering of human skin aginganimation，Proceedings of the Shape Modeling International2002，IEEE计算机协会，2002年)。为可视化起见，基于图像的模型比基于物理的模型产生更逼真的模拟。基于图像的模型一般以不同的方式采用真人图像来模拟老化效果。
已经采取了几种方法来利用基于图像的模型使老化模拟个性化以便它更准确地描绘特定个人的未来老化外观。已经根据图像的人群队列结合与老化有关的有关面部变化的公布数据开发了老化算法以模拟个体的老化外观(Hysert PE等人“At Face Value：age progression softwareprovides personalized demonstration of the effects of smokingon appearance.”Tobaceo Control，第12卷，第238至240页，2003年)。这种方法的局限性在于老化图像是人群基准的反映，并且不一定反映个体独特的老化过程。
Boissiux等人开发了一种基于图像的模型以模拟皮肤老化，其中用预先计算的皱纹的一般蒙版作为在个人面部的3D模型上的纹理。利用了八个基本蒙版并且所用的具体蒙版与人的性别、面部形状和要模拟的表情种类相匹配(Boissiux等人的“Simulation of skin aging andwrinkle with cosmetic insight”，Computer Animation andSimulation，第15至27页，2000年)。因为它对共用蒙版的依赖，这种方法在其准确预报将随年龄显现的每个人独特的皮肤特征的能力方面受到限制。
授予Zhang等人的题目为“System and method for image-basedsurface detail transfer”的美国专利7,020,347描述了一种用于将老年脸的几何细节转移到年轻脸的几何细节上以便使年轻脸看起来年老的方法。反过来，可将年轻脸的表面细节转移到年老脸的几何细节上使年老脸看起来年轻。这种方法受以下事实限制，即年老脸的年龄特征将与年轻脸将实际显示的特征不是完全一样。
本发明的一个目的是要提供一种更准确地预报和可视化个体将来的对于该特定个人而言独一无二的面部皮肤皱纹。本发明的另一目的是提供一种根据例如此人的性别、皮肤类型和/或种族来预报在将来特点时间点处个体的面部皮肤皱纹的方法。本发明的另一目的是提供一种预报和可视化经过或未经过化妆或皮肤病治疗的个体的将来皮肤皱纹的方法。
发明内容
在一个示例性实施方案中，本发明提供了一种用于根据带有一个或多个面部表情的个人图像(也称作表情图像)和同一个人的带有中性或放松表情的图像(称作中性图像)生成描述皱纹预测外观的个人图像的方法和系统。
根据本发明的一个方面，装置和方法处理个人的中性图像和表情图像以生成针对该特定个人个性化的皱纹老化图像。本发明的一个示例性实施方案采用个人自己的组织皱纹数据来模拟其预测的皱纹老化，从而提供更精确和更逼真的皱纹老化模拟。
在本发明的另一个方面，在面部的表情图像中所检测到的皱纹被传输到面部的中性图像上而不影响面部的中性或放松神色以产生皱纹老化的逼真预测。
在本发明的另一方面，可利用不同的表情图像以描述面部不同部分中的皱纹并渲染合成的皱纹老化图像。例如，前额皱纹随着皱眉头表情而变得更加明显，而面颊皱纹和鼻唇沟皱纹随着微笑表情而变得更加明显。其它面部表情可更好地适合于面部其它区域上的皱纹。尽管为说明起见描述了微笑和皱眉头表情，本发明可利用多种不同的面部表情来模拟多个面部区域上的皱纹老化。
在本发明的另一方面，可混合中性图像和具皱老化图像，用控制机构(例如，滑块控件、旋钮等)调节混合程度以获得在某个时间段之后图示说明具皱老化图像的渲染图像。
在本发明的另一方面，可根据统计性的皱纹老化模型调整中性和具皱的老化图像的混合量，以模拟个体在将来某一年纪时的预测皱纹老化量。皱纹的统计性老化模型优选地可根据例如个人的性别、皮肤种类、种族和/或地理位置而从该特定个体的同类组获得。授予Hillebrand等人的题目为“Skin imaging and analysis systems and methods”的美国专利6,571,003描述了可用于根据人口数据推导统计性皱纹老化模型和量化皮肤缺陷的严重程度的技术，其全文以引用方式并入本文。在2007年3月2日提交的题目为“Method and apparatus for simulation of facialskin aging and de-aging”的美国专利申请11/681,509中描述了皱纹检测和老化模拟，其全文以引用方式并入本文。
与上述的皱纹老化图像一样，可混合中性图像和皱纹去老化图像，其中用控制机构(例如，滑块控件、旋钮等)调节混合程度以获得图示说明不同程度皱纹去老化的渲染图像。可如前述的美国专利申请11/681,509中所述，根据检测和消除显现在面部图像上的皱纹来生成描述面部上皱纹的模拟去老化的皱纹去老化图像。此类去老化图像可用来图示说明在采用治疗例如局部用药、注射型填充物、注射型肉毒杆菌毒素、分段式换肤、光/激光疗法等之后皱纹减少的结果。可根据具体的治疗种类将皱纹去老化的程度与皱纹去老化模型相关联。皱纹去老化的程度也可与该个体的同类组(例如，性别、皮肤种类或地理位置)的前述统计性老化模型相关联。
根据下面的附图和详细说明，本发明的以上和其它方面及特征将显而易见。
附图说明
图1为根据本发明的用于利用个人的中性图像和表情图像生成皱纹老化模拟图像的一种示例性方法的高水平流程图。
图2是根据本发明的一个示例性实施方案的中性图像和表情图像之间的一致性搜索算法的流程图。
图3是根据本发明将皱纹从表情图像传输到中心图像的示例性的弹性配准和映射算法的流程图。
图4A和4B是根据本发明的混合皱纹老化图像与中性图像的示例性方法的流程图，其中所述混合是基于统计性皱纹老化模型。
图5是根据本发明图示说明在图4A和4B的方法中可利用的样本皱纹老化模型以模拟某个时间段之后的皱纹老化的曲线图。
图6A和6B是混合皱纹去老化图像与中性图像的示例性方法的流程图，其中所述混合是基于统计性皱纹去老化模型。
图7A和7B显示根据本发明图示说明在图6A和6B的方法中可利用的样本皱纹老化模型以模拟某个时间段之后的皱纹去老化的曲线图。
图8是混合皱纹去老化图像与中性图像的一种示例性方法的流程图，其中所述混合是基于治疗备选方案及其预期效果的数据库。
图9是混合皱纹图像和中性图像的一种示例性方法的流程图，其中所述混合是基于生活方式因素及其面部皱纹上的预期效果的数据库。
图10显示根据本发明基于正面斜视图图像由一种示例性方法生成的一种示例性的面部皮肤图谱和几种例证性的主要面部特征点。
图11A至11D为图示说明使用表情皱纹预测将来面部的具皱外观的面部图像。图12A至12H为演示在九年时间里在面部眶周区中表情皱纹的发展。
具体实施方式
示例性实施方案综述
图1是说明根据本发明的一种示例性皱纹老化模拟方法的高水平流程图。在101A中，在标准光照下例如用常规的数字照相机拍摄一个人处于中性状态(也称作放松或无表情状态)的近摄面部照片。在101B中，在同样条件下拍摄同一受试者带表情的照片。本发明不限于任何特定的面部表情并且预期可采用可能引起皱纹的任何面部表情来生成表情图像，例如微笑、皱眉、噘嘴、眨眼、斜视或惊讶的表情。
为了提供标准化的和可重现的照明状态和图像配准，这两种图像优选地用自动和可控的面部图像采集系统例如购自Canfield Scientific，Inc的VISIA Complexion Analysis System(后文称作VISIA)进行采集。此外，可以斜视图或正视图采集这两种照片。本实施方案采用斜视图以更好地显示具有皱纹的面部皮肤区域例如鱼尾纹和鼻唇沟区域。
在示例性的实施方案中，可将在101A和101B中所获得的标准光照图像表示成RGB(红、绿、蓝)彩色图像。在102A中，将蒙版步骤和面部特征检测施用到中性图像上。蒙版步骤需要描绘面部的具体区域，尤其是包含皱纹的那些区域，例如如鱼尾纹和鼻唇沟区域。面部特征检测生成用于识别受关注的某些面部特征的一组面部特征点。下面将更详细地描述蒙版和面部特征检测方法。类似地在102B中，将蒙版和面部特征检测施用到表情图像上。
在102A和102B中分别生成了一组中性图像面部特征点103A和一组表情图像面部特征点103B以用于下面所述的配准和映射方法。此外，在102A中生成了蒙版中性图像104A以及在102B中生成了蒙版表情图像104B。
操作然后前进到105，其中在蒙版中性图像和表情图像104A和104B之间分别执行一致性匹配过程。一致性匹配过程生成一组相符的图像点。下面详细地描述了基于特征的一致性匹配过程。
在107中根据由一致性匹配过程生成的相符的图像点执行弹性配准过程。弹性配准过程提供从表情图像上的每个像素到中性图像上的对应像素的映射。下面描述弹性配准过程。
在109中根据在107中生成的弹性配准映射执行皱纹从表情图像到中性图像的映射。映射可用从表情图像检测到的皱纹坐标在整个蒙版表情图像上执行；在蒙版表情图像的小分段上或补片上(例如，鱼尾纹、眶眼区、鼻唇沟)执行；或者逐一皱纹地执行。美国专利申请11/681,509，“Method and apparatus for simulation of facial skin aging andde-aging”中描述了如何在具体蒙版内检测皱纹。下面将详细地描述在109中所执行的过程。
如上所述，可逐一补片地将蒙版表情图像内部的皱纹传输到中性图像上(在109)。然而，因为潜在的色调和色彩差别，沿着所传输的补片和中性图像之间的边界可能具有错配。此类赝像可在111中采用图像镶嵌技术来消除。用于该实施方案的一个优选的图像镶嵌技术利用多分辨率分解技术，例如Burt和Adelsan在“A multi-resolution spline withapplication to image mosaics”中所描述的技术，ACM transactionson Graphics，第2卷，第4期，1983年10月。也可采用其它已知的混合技术。
在通过镶嵌技术消除边界赝像之后，在113中生成皱纹模拟图像。该图像在中性图像上显示原本仅在表情图像上明显可见的动态皱纹，从而提供皱纹随时间老化的逼真表示。
可进一步增强皱纹模拟图像(113)以更明显地展示图像上的皱纹。此类增强可通过采用诸如美国专利申请11/681,509中所述的皱纹老化模拟方法来执行。该技术检测并突出面部上的皱纹。也可采用其它特征增强技术(例如，边缘增强方法)来使皱纹老化效果更引人注目。
蒙版和面部特征检测
皱纹老化模拟优选地应当在包括皱纹和鼻唇沟的面部皮肤区域上执行。在本发明的一个示例性实施方案中，面部非皮肤区域例如如嘴唇、眼睛、眼眉和鼻孔被排除于模拟之外。美国专利申请11/681,509中描述了用于检测面部的皮肤区域的技术。这种方法生成皮肤图谱，其描绘面部的皮肤区域并消除非皮肤区域例如嘴唇、眼睛、眼眉和毛发。
图10中显示了斜视图图像的一个示例性面部皮肤图谱。从这个皮肤图谱中，可识别一些关键的面部特征点并设计一个蒙版来覆盖面部的皱纹区域。例如，在皮肤图谱中眼角点A和B被标记成所描绘的眼睛区域的最右和最左点。面部特征点C定义为眼线和鼻梁的交点。面部特征点D是鼻尖。面部特征点E是鼻唇沟靠近鼻子的顶部。面部特征点F是嘴角。可采用这些面部特征点设计具体的蒙版来覆盖面部的某些具体区域。例如，可采用过面部特征点B和面部特征点F所绘的虚水平线作为上下限来设计覆盖在眼睛水平以下和嘴唇水平以上皮肤区域的蒙版。
本发明利用弹性配准过程中的一些前述面部特征点。在一个优选的实施方案中，三个面部特征点A、B和E是可在中性图像和表情图像之间一直被识别的良好界标点。这些面部特征点的识别将帮助一致性匹配过程并有助于配准。
基于特征的一致性匹配
图2显示了一个示例性的基于特征的一致性匹配过程的流程图，其取中性图像和表情图像的蒙版部分作为输入并返回要用于配准过程的一组对应的控制点。基于特征的一致性匹配过程是基于在两个图像上搜索同样的皮肤特征。
首先，在201A和201B中分别处理蒙版的中性图像和表情图像104A和104B(来自图1)以生成特征图像。特征图像突出皮肤特征并被证明是与原始图像相比对于一致性匹配更有用。本发明中的优选特征图像是标准RGB图像的蓝和绿通道的平均。已知蓝和绿通道较好地显示黑色素斑点和毛孔，因为此类特征在蓝色和绿色光谱中显示具有更好的吸收性。也可采用用于生成特征图像的其它技术，例如灰度图像，或者CIE LAB转换图像的亮度(L)通道，或者采用其它已知对比生成技术的反差图像。
在生成中性和表情特征图像后，在203中根据中性图像检测并标示斑点特征(例如，褐斑、大毛孔等)。由于在表情图像中存在变形的缘故，斑点特征在中性图像中比在表情图像中更容易进行检测。美国专利申请11/681,509描述了一种由灰度或反差图像检测斑点特征的方法。应当注意，仅显著特征(例如，大于某个尺寸和高于某个对比度阈值)被用于一致性匹配，因为这些特征在表情图像中更有可能被检测出。
在检测并标示特征之后，在205中搜索显著皮肤特征。在这种情况下，中性图像被分成某种尺寸的块。块尺寸优选地基于所需的相符点的数目。对于每个块，找到最显著的特征并用边框进行包封。这个边框用来从中性特征图像(来自201A)切割矩形补片并用作模板在表情特征图像(来自201B)中搜索相同的特征。在207中利用模板匹配技术来在表情特征图像中发现对应的小矩形补片的位置。模板匹配技术利用规格化的互相关测量值来发现匹配特征的位置，然而为此目的也可采用其它测度(例如，交互信息(MI)、直方图差分的能量(EHD)等)。如果匹配测度处在某个阈值以下，则可排除一些匹配。例如，对于标准互相关可采用0.5的阈值来排除弱相关性。对于中性图像中的每个块重复这个过程并且从过程205和207返回一组对应点(中性图像点和表情图像点)。可或是自动地或是手动地将中性图像面部特征点103A和表情图像面部特征点103B添加到这些组点上。在图1所示的过程中在102A和102B中事先确定这些面部特征点(例如，眼角、鼻唇沟的顶部)。添加这些点应当改善皱纹配准，尤其是在眼区周围。
在209中，执行程序来验证匹配点。具有多种采用几何技术例如Delaunay三角形化的验证程序以消除匹配不当的配对。在一个示例性实施方案中，对于三个相应的点采用三角形几何形状，并且采用基于三角形的角度和长度的三角形相似度量度来排除异常值。根据已经发现的两个匹配目标点和由三个相应的参考点所形成的三角形，也可采用三角形几何形状来预测目标点的近似位置。这样一种方法减少搜索空间，改善一致性匹配并减少处理时间。
在匹配点验证之后(209)，可仍然剩余一些不是完全匹配的点对。在211中，例如用可显示带标示的对应点的两个图像的图形使用者界面(GUI)工具手工校正这些对。所述图像优选地为在201A和201B中生成的特征图像，然而也可为原始中性图像和表情图像。操作者可校正错配的一致点，添加新的对应点或者移除异常点。所有对应点在这次手工操作之后应当匹配。当将皱纹从表情图像传输到中性图像时，错配对可在最终的模拟图像上引起令人讨厌的伪影。
弹性配准和映射
图3示出了一种示例性的弹性配准和映射方法。为了将皱纹从表情图像配准到中性图像，首先确定在受关注的区域(例如，蒙版区域)内表情图像和中性图像之间的空间映射。对于中性图像和表情图像采用蒙版区域采用来找到一组匹配控制点，其继而将用来确定映射。根据在一致性匹配之后所获得的一组中性图像控制点和表情图像控制点，可采用弹性配准技术来定义两个图像之间的一对一空间映射。一旦建立了映射，可将皱纹从表情图像传输到它们在中性图像上的正确位置。
图3为用于中性图像和表情图像之间弹性配准和映射的示例性方法的流程图。在其它可采用的配准技术中，对于表现面部从中性到表情状态的变形，弹性配准是优选的。具有多种已知的弹性配准技术(例如，薄板样条(TPS)、复二次函数(MQ)、逐段线性(PL))，其中的一些被包含作为图像处理软件包的一部分。本发明的一个优选实施方案采用通常用于生物医学图像配准的TPS技术并且更适合用于确定两个图像间的光滑映射，具有高度的弹性。
在301中采用由图2的一致性匹配方法所生成的中性图像控制点213A和表情图像控制点213B来确定弹性配准的参数。在Bookstein等人的“Principal Warps：Thin-Plate Splines and the Decompositionof Deformations”(IEEE Transactions on Pattern Analysis andMachine Intelligence，第11卷，第6期，1989年6月)中描述了可用于此目的的从一组对应点估算TPS配准参数的一种方法。
接着在303中采用在301中所确定的TPS参数来将表情图像上受关注区域的坐标映射到中性图像。此类受关注的区域包含皱纹，并且本文也称作皱纹补片。皱纹补片可为包含皱纹的蒙版表情图像(104B，图1)的整体或一部分。在302中，将一个或多个皱纹补片刻画在蒙版表情图像上。在一个示例性的实施方案中，可通过在原始图像上覆盖蒙版并使操作者能够在蒙版内手工选择所需的图像部分将一个或多个皱纹补片刻画在蒙版表情图像内。作为另外一种选择，操作者可从限于皮肤区域的图像中选择皱纹补片而不用使用蒙版。补片刻画也可根据合适的算法自动地执行。照这样，代替映射整个蒙版表情图像到中性图像上，本发明的方法允许仅映射蒙版表情图像内部受关注的部分或区域。
在303中应用弹性映射产生一组新的坐标，称作配准蒙版坐标，其限定从皱纹补片坐标到中性图像的映射。然而，这种映射并不保证是一对一映射，即，在配准补片坐标中可存在不连续(丢失像素)。为了消除此类不连续，在305中可执行内插或修匀过程来构建连续映射，即连续的补片。为此，本发明的一个优选实施方案在由配准的蒙版坐标生成新的补片之后采用用小的圆形结构元件形态平滑化。也可采用本领域已知的其它内插技术。
在305中获得平滑且连续的新补片之后，在这个补片内部定义一组新坐标307，其代替在303中生成的配准蒙版坐标。坐标307被称作中性图像的连续皱纹蒙版坐标。将采用坐标307来用从表情图像输入的像素填充中性图像。然而，对于表情坐标需要找到用于这些中性图像坐标的相应坐标。这在309中通过逆映射方法来进行，逆映射定义从中性图像坐标到表情图像坐标的映射。因此，309中的逆映射方法应用逆映射，所述逆映射利用在301中所获得的反向弹性配准参数。
在309处逆映射之后，确定表情图像311中相应的皱纹补片坐标。此刻，建立了从中性图像到表情图像中的对应像素的空间映射。在313中，根据相应的坐标将来自表情图像的皱纹补片像素拷贝到中性图像上以生成初步的皱纹模拟图像315。313中的拷贝步骤优选地在中性图像蒙版内进行。中性图像蒙版限制对于面部皮肤区域的映射，因此在由于一致性匹配不好而弹性配准差的情况下防止在初步的皱纹模拟图像315中产生结构伪影。
如果获得了良好的一致性匹配，则初步的皱纹模拟图像315应当与中性图像配准良好并可与其相比较来显示老化效果。
然而，初步的皱纹模拟图像315可具有边界伪影，即，沿着一个或多个转移的皱纹补片的边界的阴影和色彩失配。如上所述，此类伪影可采用图像镶嵌技术(在111中，图1)例如由Burt和AdelsanA在“A multi-resolution spline with application to image mosaics”(ACMtransactions on Graphics，第2卷，第4期，1983年10月)中所描述的技术来消除。也可采用本领域已知的其它镶嵌技术。
可变皱纹老化模拟
根据本发明的示例性实施方案，皱纹老化模拟可通过在计算机监视器上显示例如渲染图像来进行演示，所述渲染图像描绘介于中性图像的皱纹老化程度和皱纹模拟图像的皱纹老化程度之间的皱纹老化程度。可提供交互式控制机构(例如，滑块控件、旋钮、杠杆等)以使观察者能够改变所模拟的老化程度。图4A和4B中示出了此类方法。
如图4A所示，通过图像渲染方法410将面部的皱纹模拟图像402与面部的中性图像401相混合以生成渲染图像420。图像渲染410采用例如α混合或多种适用技术中的任何其它技术来混合图像。
可如上所述(例如，101A，图1)获得中性图像401并可采用图1的方法生成皱纹模拟图像402。图像渲染410可根据混合控制参数403改变中性和皱纹模拟图像之间的混合程度。混合控制参数403可例如由使用者输入来提供，例如控制旋钮、滑块、键盘输入或其它合适的机构(包括基于硬件和软件的实现方式，例如图形使用者界面构件)或使用者可用以提供输入的任何合适的部件。在混合控制参数的一个极值处(例如，其中滑块在其运动范围的第一末端，即α＝0)，渲染图像420与中性图像401一样，且在另一极值处(例如，α＝1)，渲染图像与皱纹模拟图像402一样。当使用者通过操作使用者输入部件改变混合控制参数时，渲染图像将在两个极值之间变化，从而显示可变的皱纹老化程度。
如图4A所示，可将皱纹年龄估算方法425与混合控制参数相联系以生成与混合的图像420相对应的估算的皱纹年龄430。作为另外一种选择，可通过改变混合程度(即，在范围[01]中改变α)离线执行皱纹年龄估算方法以按某一年龄间隔(例如，一年)生成皱纹模拟图像。因此，在交互式模拟之前对于特定受试者可标示混合控制机构(例如，滑块控件)。如下面更详细所述，皱纹年龄估算方法425使用皱纹老化模型405，其描述皱纹严重程度(即，起皱量)和年龄之间的关系。这样一种模型可根据从大量不同年龄人群收集到的统计性数据推导出。Hillebrand等人的美国专利6,571,003“Skin imaging and analysis systems andmethods”中描述了对于各种皮肤种类(或族群)皮肤严重程度大小和统计性数据的确定。
优选地，皱纹老化模型405可根据性别和皮肤种类(或种族)、地理位置和生活方式进一步区分，以便采用来自个体的同类组(根据例如性别、皮肤种类和/或生活方式例如吸烟进行分类)的数据来建立该个体的皱纹老化模型。
皱纹评分方法415确定要进行混合的中性图像401和皱纹模拟图像402的皱纹严重程度分数。美国专利申请11/681,509中描述了一种示例性的皱纹评分方法。如下面参见图5更详细所述，皱纹年龄估算方法425采用皱纹老化模型405以及中性和皱纹模拟图像的皱纹分数来确定与通过图像渲染方法410所生成的渲染图像420相对应的皱纹年龄(X)。
鉴于图4A的示例性实施方案根据渲染图像生成皱纹年龄，图4B中所示的另一示例性实施方案生成与使用者指定的皱纹年龄404相对应的渲染图像。如下面参见图5更详细所述，混合参数确定方法435使用皱纹老化模型405以及中性和皱纹模拟图像的皱纹分数来确定图像渲染410所用的混合控制参数(α)以生成指定的皱纹年龄404的皱纹模拟图像420。
图5显示皱纹老化曲线510，皱纹老化曲线510描绘一个皱纹老化模拟受试者的同类组(例如，白种女性)的一个示例性的皱纹老化模型。曲线510根据对于这个同类组所收集的统计性数据显示皱纹严重程度分数(WSS)和年龄之间的关系。然而，受试者可具有不落在曲线510上的WSS。例如，特定的30岁白种女性可具有0.03的WSS，与曲线510所预测的0.005的WSS形成对照。对于该受试者，可根据受试者在中性状态的WSS通过调整例如通过移动曲线510来获得个体化的皱纹老化模型。曲线520描绘对于谈及的受试者所调整的这样一条曲线。
参见图5，曲线520上的点521代表说明性的30岁女白种受试者的当前WSS。这个WSS是基于受试者的当前中性图像(IN)，并且在图5的曲线图的y轴上被显示为WSS{IN}。从受试者的皱纹模拟图像(IWS)确定其它的WSS，例如可如上所述生成。这个值在图5的曲线图的y轴上被显示成WSS{IWS}并与曲线520上的点523相对应。从曲线520，可确定与WSS{IWS}相对应的年龄。在图5所示的实例中，该年龄是50。
模拟受试者介于当前年龄(例如，30)和与皱纹模拟图像相对应的年龄(例如，50)之间的某一年龄的皱纹老化的要渲染的图像(IR)与位于曲线520上介于点521和523之间的点522相对应。这个图像的WSS在图5的曲线图的y轴上被显示成WSS{IR}。在图5所示的实例中，这个值为约0.04，对应的年龄是43。
WSS在点521和522之间的变化与要添加到中性图像上以模拟受试者在对应于点522的年龄处的皱纹老化的皱纹数量有关。如下所述，WSS上的变化可与图4A和4B所示渲染方法中的混合控制参数相联系，同时显示在中性图像401和皱纹模拟图像402之间具有变化的混合程度的渲染图像。
在图4A和4B的示例性实施方案中，可根据下列公式在图像渲染方法410中采用α混合来混合中性图像和皱纹模拟图像：
IR＝αIWS+(1-α)IN，(1)
其中α为混合控制参数，其在0和1之间变化，包括0和1在内，IWS代表皱纹模拟图像，IN代表中性图像，以及IR代表对于给定的混合控制参数值α的渲染图像。
当混合控制参数处在其最小值时(即，α＝0)，中性图像被生成为渲染图像。当混合控制参数处在其最大值时(即，α＝1)，皱纹模拟图像被生成为渲染图像。当混合控制参数处在这些数值之间任何位置时，受试者的皱纹严重程度分数可通过将皱纹严重程度评分因子WSS{I}应用于以上的α混合公式(公式1)中产生下列表达式来计算：
WSS{IR}＝αWSS{IWS}+(1-α)WSS{IN}，(2)
其中WSS{I}为图像I的WSS。公式2显示，渲染图像的WSS是皱纹模拟图像和中性图像的WSS的线性组合。
在图4A的示例性实施方案中，其中使用者提供混合控制参数α，例如用控制机构(例如，滑块、旋钮、构件)提供，皱纹年龄估算方法425采用公式2来确定WSS{IR}，即要渲染图像的WSS。采用调整过的皱纹老化模型曲线520，皱纹年龄估算方法425确定与WSS{IR}对应的皱纹年龄430。渲染图像420和对应的皱纹年龄430优选地一起显示以给使用者显示皱纹和年龄之间的相关性。
在图4B的示例性实施方案中，其中使用者指定要模拟的皱纹年龄，混合参数检测方法435采用调整过的皱纹老化曲线520来确定与指定的皱纹年龄相对应的WSS，确切地说WSS{IR}，要渲染图像的WSS。通过混合参数确定方法435根据下列表达式确定混合参数α：
α = WSS { I R } - WSS { I N } WSS { I WS } - WSS { I N } . - - - ( 3 )
采用混合控制参数α，图像渲染方法410根据公式1渲染相应的混合过的图像。
应当注意，在图4B的示例性实施方案中，其中使用者指定要模拟的皱纹年龄，优选地首先核对使用者指定的年龄以确定它落在包括当前年龄和与受试者的皱纹模拟图像相对应的年龄范围中(在本实例中，即，30至50)。如果没有，则可自动限制它，或者在继续进行之前使用者可被请求输入落在该范围内的年龄。
在一个示例性的实施方案中，例如，可在查找表中实施皱纹老化模型曲线510和520。
本发明的上述图像渲染和皱纹年龄预测方面并不限于皱纹老化并可用于其它皮肤状况或缺陷，包括例如斑点和纹理在内。
可变皱纹去老化模拟
除了皱纹老化模拟之外，本发明也采用例如如上所述的图像渲染方法提供一种可变皱纹去老化模拟方法。图6A和6B中示出了示例性的可变去老化方法。如图6A和6B所示，皱纹去老化图像602通过图像渲染方法610与当前的中性图像601相混合。皱纹去老化图像602可采用例如美国专利申请11/681,509中所述的皱纹去老化模拟方法由中性图像601生成。
图像渲染610采用例如α混合或者多种合适技术中的任何其它技术混合图像601和602，其中混合程度通过混合控制参数进行控制。在图6A的实施方案中，例如由使用者输入603(例如控制旋钮、滑块或其它合适机构，包括基于硬件和软件的实现形式如图形使用者界面构件)提供混合控制参数。作为另外一种选择，如在图6B的实施方案中一样，混合控制参数通过下面更详细描述的混合参数确定方法635而生成。
在混合控制参数的一个极值处(例如，其中滑块在其运动范围的第一末端，即α＝0)，渲染图像620与中性图像601一样，以及在另一极值处(例如，α＝1)，渲染图像与皱纹去老化图像602一样。当混合控制参数在其极值间变化时，渲染过的图像将在中性图像和皱纹去老化模拟图像之间变化，从而显示可变的皱纹去老化程度。
如图6A所示，皱纹年龄评估方法625可与混合控制参数相联系以生成与混合的图像620相对应的估算皱纹年龄630。如下文所详述，皱纹年龄估算方法625使用皱纹老化模型605，其描述皱纹严重程度(即，起皱量)和年龄之间的关系。方法605可与上文针对图4A和4B的可变老化方法所述的模型405相同。
皱纹评分方法615确定要进行混合的中性图像601和皱纹去老化图像602的皱纹严重程度分数。与图4A的实施方案相类似，皱纹年龄估算方法625采用皱纹老化模型605以及中性和皱纹去老化模拟图像的皱纹评分来确定与通过图像渲染方法610所生成的混合图像620相对应的皱纹年龄(X)。
鉴于图6A的示例性实施方案根据渲染图像生成皱纹年龄，图6B中所示的另一示例性实施方案生成与使用者指定的皱纹年龄604相对应的渲染图像。如下面参见图7A和7B更详细所述，混合参数确定方法635使用皱纹老化模型605以及中性和皱纹去老化模拟图像的皱纹分数来确定图像渲染方法610所用的混合控制参数(α)以生成指定的皱纹年龄604的皱纹去老化图像620。
图7显示皱纹老化曲线710，皱纹老化曲线710描绘皱纹去老化模拟受试者的同类组(例如，白种女性)的示例性的皱纹老化模型。曲线710根据从这个同类组所收集到的统计性数据显示皱纹严重程度分数(WSS)和年龄之间的关系并可与上述的曲线510相同。然而，受试者可具有不落在曲线710上的WSS。例如，特定的50岁白种女性可具有0.048的WSS，与曲线710所预测的0.015的WSS形成对照。对于该受试者，可根据受试者在中性状态的WSS通过调整例如通过移动曲线710来获得个体化的皱纹老化模型。曲线720描绘对于谈及的受试者所调整的这样一条曲线。
参见图7，曲线720上的点723代表说明性的50岁女白种受试者的当前WSS。这个WSS是根据受试者的当前中性图像(IN)，并且在图7A的曲线图的y轴上被显示为WSS{IN}。从受试者的皱纹去老化模拟图像(IWS)确定其它的WSS，例如可如上所述生成。这个值在图7A的曲线图的y轴上被显示成WSS{ID}并与曲线720上的点721相对应。从曲线720，可确定与WSS{ID}相对应的年龄。在图7A所示的实例中，该年龄是15。
模拟受试者介于当前年龄(例如，50)和与皱纹去老化模拟图像相对应的年龄(例如，15)之间的某一年龄的皱纹去老化的要渲染的图像(IR)与位于曲线520上介于点721和723之间的点722相对应。这个图像的WSS在图5的曲线图的y轴上被显示成WSS{IR}。在图7A所示的实例中，这个值为约0.04，对应的年龄是43。
WSS在点722和723之间的变化与要从中性图像移除以模拟受试者在对应于点722的年龄处的皱纹老化的皱纹数量有关。如下所述，WSS上的变化可与图6A和6B所示的渲染方法中的混合控制参数相联系，同时显示在中性图像601和皱纹去老化图像602之间具有变化的混合程度的渲染图像。
在图6A和6B的示例性实施方案中，可根据下列公式在图像渲染方法610中采用α混合来混合中性和皱纹模拟图像：
IR＝αID+(1-α)IN，(4)
其中α为混合控制参数，其在0和1之间变化，包括0和1在内，ID代表皱纹去老化模拟图像，IN代表中性图像，以及IR代表对于给定的混合控制参数值α的渲染图像。
当混合控制参数处在其最小值时(即，α＝0)，中性图像被生成为渲染图像。当混合控制参数处在其最大值时(即，α＝1)，皱纹去老化模拟图像被生成为渲染图像。当混合控制参数处在这些数值之间任何一处时，受试者的皱纹严重程度分数可通过将皱纹严重程度评分因子WSS{I}应用于以上的α混合公式(公式4)中产生下列表达式来计算：
WSS{IR}＝αWSS{ID}+(1-α)WSS{IN}，(5)
其中WSS{I}为图像I的WSS。
在图6A的示例性实施方案中，其中使用者确定混合控制参数α，皱纹年龄估算方法625采用公式5来确定WSS{IR}，即要渲染图像的WSS。采用调整过的皱纹老化模型曲线720，皱纹年龄估算方法625确定与WSS{IR}对应的皱纹年龄630。渲染图像620和对应的皱纹年龄630优选地一起显示以给使用者显示皱纹和年龄之间的相关性。
在图6B的示例性实施方案中，其中使用者指定要模拟的皱纹年龄，混合参数确定方法635采用调整过的皱纹老化模型曲线720来确定与指定的皱纹年龄相对应的WSS，确切地说WSS{IR}，要渲染图像的WSS。通过混合参数确定方法635根据下列表达式确定混合参数α：
α = WSS { I N } - WSS { I R } WSS { I N } - WSS { I D } . - - - ( 6 )
采用混合控制参数α，图像渲染方法610根据公式4渲染相应的混合过的图像。
在一个示例性的实施方案中，例如，可在查找表中实施皱纹老化模型曲线710和720。
本发明的上述图像渲染和皱纹年龄预测方面并不限于皱纹老化，并可用于其它皮肤状况或缺陷，包括例如斑点和纹理在内。
应当注意，在上述实施方案中，值WSS{ID}将取决于用来生成皱纹去老化图像的皱纹去老化模拟方法。如上所述，在示例性的实施方案中，与受试者的当前图像601混合的皱纹去老化图像602通过移除图像601中检测到的所有皱纹的方法而生成。实际上，WSS{ID}≈0，大约对应于15岁的年龄，如模型曲线710上的点711所描绘的那样。这与表明一般皱纹开始在约15岁的年龄出现的统计性数据相一致。
然而，对于当前图像严重具皱的受试者，即其调整过的皱纹老化模型曲线720相对于同类组曲线710明显发散的那些人，与所能保证的相比，无皱纹(即，WSS≈0)图像602将趋于不实际地使渲染图像620偏向具有更少皱纹的外观。因此，可能期望限制其中将模拟去老化的时间段。此外，这样一个去老化时期的大小优选地基于受试者的当前年龄，更具体地讲对于较年轻的开始年龄而言减小。因此，例如在一个示例性的实施方案中，对于20岁，去老化时期可限于2年；30岁为5年；40岁为8年等等。可根据经验观察来确定合适的界限。优选地，在使用者指定要模拟的皱纹年龄之前将容许的年龄范围显示给使用者。
在一个备选实施方案中，上述发散可通过如图7B所示修改调整过的老化模型曲线而解决。在图7B中，采用修正的调整老化模型曲线720’，其相对于老化模型曲线710的发散在较年轻的年龄处减少，以便两个曲线基本上在约15岁(即面部皱纹一般开始出现的年龄)处会合。
基于治疗的可变去老化模拟
在本发明的另一个方面，可变去老化模拟可包含基于知识的去老化模型，其是建立在治疗的基础上。具有多种皱纹治疗选项(例如，局部用药、注射型填充物、注射型肉毒杆菌毒素、分段式换肤、光/激光疗法、整形/整容手术过程等)，并且凭经验可知道这些治疗的效果。这种基于知识的去老化可与上述可变去老化实施方案的混合控制相联系以产生适于所用治疗的具有可变皱纹去老化程度的图像。因此例如，如果具有已经显示给定治疗能在皱纹严重程度分数(即，ΔWSS/WSS0，其中WSS0为治疗前WSS)上产生成比例的改善的实验数据，则这种信息可用来产生模拟此类治疗结果的皱纹去老化图像。
图8示出了包含基于治疗的去老化的可变去老化模拟方法的一个示例性实施方案。对于给定的中性图像801、去老化图像802(例如，通过将上述的去老化方法应用到中性图像上而生成)和指定的治疗803(其可通过使用者输入来提供)，图8的方法生成具有相应的皱纹年龄830的皱纹去老化图像820。对于指定的治疗803，图8的方法采用治疗疗效模型805来提供成比例的WSS改善(ΔWSS/WSS0)。治疗疗效模型805可包括例如治疗备选方案以及与其相关的预期结果的数据库。采用成比例的WSS改善作为如上所述的混合控制参数α。如上所述执行图像渲染810、皱纹评分815和皱纹年龄估算步骤。
本发明的上述可变模拟方面并不限于皱纹去老化并可应用于其它皮肤状况或缺陷，包括例如斑点和纹理在内。
基于生活方式的可变老化/去老化模拟
在本发明的另一方面，可变去老化模拟可包含以生活方式为基础的基于知识的皱纹老化/去老化模型。皱纹老化可在正面和负面两个方向受生活方式的显著影响。已经显示对皱纹老化具有负面影响或加速皱纹老化的生活方式选项或因素包括例如吸烟、日照、肥胖症、糖尿病和各种其它病症或疾病，其每种均会导致老化加速或过早老化。例如诸如饮食和体育活动之类的其它生活方式或者所采取的逆转有害生活方式因素的措施将对皱纹老化具有正面影响或延迟皱纹老化。根据本发明的一个示例性实施方案，包含此类因素效果的基于知识的模型可与上述可变老化或去老化实施方案的混合控制相联系，以产生适合于由使用者指定的生活方式因素的可变程度的皱纹老化/去老化的图像。因此例如，如果具有已经显示给定生活方式因素能在皱纹严重程度分数(即，ΔWSS/WSS0，其中WSS0为治疗前WSS)上产生成比例降低的实验数据，则这种信息可用来产生用于模拟这样一种生活方式因素的效果的皱纹老化图像。
图9示出了包含生活方式因素的效果的可变老化/去老化模拟方法的示例性实施方案。对于给定的中性图像901、皱纹老化或去老化模拟图像902和指定的生活方式因素903(其可通过使用者输入来提供)，图9的方法将生成具有相应的皱纹年龄930的皱纹模拟图像920。对于指定的生活方式因素903，图9的方法采用生活方式效果模型905来提供相应的WWS改变(ΔWSS/WSS0)。生活方式效果模型905可包括生活方式因素及其对面部皱纹预期效果的数据库。采用成比例的WSS改变作为如上所述的混合控制参数α。如上所述执行图像渲染910、皱纹评分915和皱纹年龄估算925步骤。
皱纹老化模拟实施例
图11A至11D为面部图像，其示出了采用表情皱纹来预测将来面部的具皱外观的基本原理。以中性和以微笑表情两种状态分别采集如图11A和11B所示的年龄28的女性白种受试者的面部图像。利用装有近摄镜头的Fuji DS330数字照相机、采用受控成像系统采集图像，近摄镜头安装在配备有头部定位助件的标准化照明装备中，如在K.Miyamoto等人的“The Beauty Imaging System：For the Objective Evaluation ofSkin Condition”(Journal of Cosmetic Science，53(1)，2002年，第62-65页)中所述。为比较起见，图11C显示用同一成像系统采集的同一受试者在37岁时的中性图像。在37岁采集的中性图像(图11C)上可视觉上评价在28岁可见的微笑皱纹(图11B)的发展。
根据28岁的中性和微笑图像，通过本发明的皱纹老化模拟方法的示例性实施方案生成了皱纹老化模拟图像。图11D中显示了这个皱纹模拟图像。可观察到基于28岁图像的皱纹老化模拟图像(图11D)与37岁图像(图11C)在皱纹外观方面吻合良好。这证明了本发明的老化模拟方法在预测面部具皱(即，老化)外观方面的有效性。
图12A至12H演示图11A至11D中的受试者从28岁到37岁的面部眶周区中表情皱纹的发展。图12A、12C、12E和12G分别是28岁时在中性状态中的面部眶周区的图像、28岁时在微笑表情状态中的同一区域的图像、基于前述图像的皱纹模拟图像和37岁时在中性状态中的同一区域的图像。图12B、12D、12F和12H分别是用如美国专利申请11/681,509中所描述的皱纹检测方法所生成的相应的皱纹检测图像。该皱纹检测方法的设置对于所有图像均相同。在图12B、12D、12F和12H中，突出显示了在用多边形1200分隔开的区域内检测到的皱纹。
如从图12B可见，对于图12A的中性图像检测到很少的皱纹。然而，如图12D所示，对于图12C的微笑表情图像检测到更多的皱纹。微笑图像中显现的新皱纹数量视觉上很明显。采用根据本发明的一个示例性方法，将微笑诱发的皱纹配准到图12A的中性图像上以获得具有中性外观皱纹的图12E的皱纹老化模拟图像。图12F显示与图12E相对应的皱纹检测图像。
为证明本发明的老化模拟方法的准确度，在图12G专栏中显示了在同一受关注区域中受试者实际年龄37的图像连同图12H中的相应的皱纹检测图像。大多数表情诱发的皱纹在37岁图像中是可见的。换句话讲，用本发明的老化模拟方法已经预测了对于37岁图像所检测到的大部分皱纹。
本发明可例如利用根据本文所述方法进行编程的计算机来执行。美国专利申请11/681,509中描述了可用于本发明的一种示例性硬件配置。应当理解，上述实施方案示出了仅几个可代表本发明应用的可能的具体实施方案。本领域的技术人员可作出很多不同的其它布置而不脱离本发明的实质和范围。

Claims (7)

1.一种操纵面部图像以模拟皱纹随年龄的变化的方法，所述方法包括：
采集面部的中性图像；
采集所述面部的表情图像；
在所述中性图像和表情图像之间执行配准；以及
将所述表情图像的至少一部分映射到所述中性图像上以生成皱纹改变的面部图像，其中所述表情图像的所述一部分包含至少一个皱纹。
2.如权利要求1所述的方法，其中所述配准包括弹性配准，所述弹性配准用于确定面部从所述中性图像到所述表情图像的计算的变形，并且其中所述映射根据所计算的变形来执行。
3.如权利要求1所述的方法，所述方法包括：
在执行所述配准之前，在所述中性图像和表情图像上执行一致性匹配。
4.如权利要求1所述的方法，所述方法包括：
用所述中性图像对所述表情图像的映射到所述中性图像上的所述一部分进行图像镶嵌。
5.如权利要求1所述的方法，其中所述面部的表情图像包括面部表情，所述面部表情选自由下列组成的组：微笑、皱眉、噘嘴、眨眼、斜视和吃惊表情。
6.如权利要求3所述的方法，所述方法包括：
在执行一致性匹配之前将蒙版应用到所述中性图像上；和
在执行一致性匹配之前将蒙版应用到所述表情图像上。
7.如权利要求6所述的方法，其中所述蒙版限定了所述图像中的受关注的皮肤区域。
CN2008801000995A 2007-07-23 2008-06-19 用于皱纹老化和去老化逼真模拟的方法和装置 Active CN101755288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210245457.XA CN102903135B (zh) 2007-07-23 2008-06-19 用于皱纹老化和去老化逼真模拟的方法和装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US95131307P 2007-07-23 2007-07-23
US60/951,313 2007-07-23
US12/141,457 2008-06-18
US12/141,457 US8391639B2 (en) 2007-07-23 2008-06-18 Method and apparatus for realistic simulation of wrinkle aging and de-aging
PCT/US2008/067516 WO2009014832A2 (en) 2007-07-23 2008-06-19 Method and apparatus for realistic simulation of wrinkle aging and de-aging

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201210245457.XA Division CN102903135B (zh) 2007-07-23 2008-06-19 用于皱纹老化和去老化逼真模拟的方法和装置

Publications (2)

Publication Number Publication Date
CN101755288A CN101755288A (zh) 2010-06-23
CN101755288B true CN101755288B (zh) 2012-10-10

Family

ID=39760918

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008801000995A Active CN101755288B (zh) 2007-07-23 2008-06-19 用于皱纹老化和去老化逼真模拟的方法和装置
CN201210245457.XA Active CN102903135B (zh) 2007-07-23 2008-06-19 用于皱纹老化和去老化逼真模拟的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201210245457.XA Active CN102903135B (zh) 2007-07-23 2008-06-19 用于皱纹老化和去老化逼真模拟的方法和装置

Country Status (7)

Country Link
US (1) US8391639B2 (zh)
EP (1) EP2174296B1 (zh)
JP (2) JP2010534376A (zh)
CN (2) CN101755288B (zh)
CA (1) CA2692667C (zh)
HK (1) HK1145727A1 (zh)
WO (1) WO2009014832A2 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100896065B1 (ko) * 2007-12-17 2009-05-07 한국전자통신연구원 ３차원 얼굴 표정 애니메이션 생성 방법
US8217955B2 (en) * 2008-08-05 2012-07-10 Autodesk, Inc. Producing wrinkles and other effects for a computer-generated character based on surface stress
US8401294B1 (en) * 2008-12-30 2013-03-19 Lucasfilm Entertainment Company Ltd. Pattern matching using convolution of mask image and search image
US20100257214A1 (en) * 2009-03-18 2010-10-07 Luc Bessette Medical records system with dynamic avatar generator and avatar viewer
EP2472469A1 (en) * 2009-08-25 2012-07-04 Nec Corporation Striped pattern image examination support device, striped pattern image examination support method and program
TW201116257A (en) * 2009-11-13 2011-05-16 Inst Information Industry System and method for analysis of facial defects and computer program product
JP5538909B2 (ja) * 2010-01-05 2014-07-02 キヤノン株式会社 検出装置およびその方法
KR20120005587A (ko) * 2010-07-09 2012-01-17 삼성전자주식회사 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치
US9082222B2 (en) 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
US20120288168A1 (en) * 2011-05-09 2012-11-15 Telibrahma Convergent Communications Pvt. Ltd. System and a method for enhancing appeareance of a face
WO2013036618A1 (en) 2011-09-06 2013-03-14 Canfield Scientific, Incorporated Systems, devices, and methods for image analysis
ITMI20111756A1 (it) * 2011-09-30 2013-03-31 M2M Group Srl Simulatore della risposta di un paziente a un trattamento chirurgico e/o cosmetico e/o medico, quale per esempio infiltrazioni di tossina botulinica
WO2013130829A1 (en) * 2012-02-28 2013-09-06 Ganeden Biotech, Inc. Cosmetic compositions
US20150044317A1 (en) * 2012-02-28 2015-02-12 Ganeden Biotech, Inc. Topical Compositions for Reducing Visible Signs of Aging and Methods of Use Thereof
US9668653B2 (en) 2012-03-15 2017-06-06 Access Business Group International Llc, A Michigan Limited Liability Company Quantification of under-eye skin color
FR2995777B1 (fr) * 2012-09-26 2015-08-21 Lvmh Rech Methode de caracterisation des volumes de la peau
KR102121552B1 (ko) * 2012-11-27 2020-06-11 (주)아모레퍼시픽 안면 노화 평가 방법
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP5882929B2 (ja) * 2013-02-26 2016-03-09 日本電信電話株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9101320B2 (en) * 2013-04-09 2015-08-11 Elc Management Llc Skin diagnostic and image processing methods
US9256963B2 (en) * 2013-04-09 2016-02-09 Elc Management Llc Skin diagnostic and image processing systems, apparatus and articles
EP2848919A1 (en) * 2013-09-17 2015-03-18 The Procter and Gamble Company Method and apparatus for creating images of fibrous structures
US9579057B2 (en) 2013-12-09 2017-02-28 Stefan Bradu System for multidimensional analysis, modulation and optimization of facial expressions
CN104809323A (zh) * 2014-01-23 2015-07-29 国际商业机器公司 健康状况的个性虚拟化的方法和系统
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9639742B2 (en) 2014-04-28 2017-05-02 Microsoft Technology Licensing, Llc Creation of representative content based on facial analysis
US9773156B2 (en) 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
JP6550642B2 (ja) * 2014-06-09 2019-07-31 パナソニックＩｐマネジメント株式会社 皺検出装置および皺検出方法
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9460493B2 (en) 2014-06-14 2016-10-04 Microsoft Technology Licensing, Llc Automatic video quality enhancement with temporal smoothing and user override
US9373179B2 (en) * 2014-06-23 2016-06-21 Microsoft Technology Licensing, Llc Saliency-preserving distinctive low-footprint photograph aging effect
US10664686B2 (en) 2014-11-04 2020-05-26 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックＩｐマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
EP3270770A1 (en) * 2015-03-18 2018-01-24 Canfield Scientific, Incorporated Methods and apparatus for identifying skin features of interest
US9600713B2 (en) 2015-04-27 2017-03-21 AprilAge Inc. Identification and processing of facial wrinkles in a digital image
CN107408290A (zh) * 2015-07-09 2017-11-28 瑞穗情报综研株式会社 增龄化预测系统、增龄化预测方法以及增龄化预测程序
KR101758825B1 (ko) * 2015-09-22 2017-07-18 한국과학기술연구원 얼굴 부위별 나이와 환경적 요인을 기반으로 하는 나이 변환 방법, 이를 수행하기 위한 기록 매체 및 장치
AU2016337639B2 (en) * 2015-10-15 2021-07-01 DosentRX Ltd Image recognition-based dosage form dispensers
US9836669B2 (en) * 2016-02-22 2017-12-05 International Business Machines Corporation Generating a reference digital image based on an indicated time frame and searching for other images using the reference digital image
KR20180132063A (ko) * 2016-02-24 2018-12-11 비브하이스트 인코포레이티드 개인의 생활 스토리 시뮬레이션 시스템
JP6730443B2 (ja) 2016-03-21 2020-07-29 ザ プロクター アンド ギャンブル カンパニーＴｈｅ Ｐｒｏｃｔｅｒ ＆ Ｇａｍｂｌｅ Ｃｏｍｐａｎｙ カスタマイズされた製品の推奨を提供するためのシステム及び方法
US11314967B2 (en) * 2016-06-01 2022-04-26 Ohio State Innovation Foundation System and method for recognition and annotation of facial expressions
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
US11122206B2 (en) 2016-11-08 2021-09-14 Preh Holding, Llc Personal care device with camera
US10511777B2 (en) 2016-11-08 2019-12-17 Thomas Nichols Personal care device with camera
US10318796B2 (en) 2016-11-10 2019-06-11 International Business Machines Corporation Age progression of subject facial image
US10636175B2 (en) * 2016-12-22 2020-04-28 Facebook, Inc. Dynamic mask application
CN108257162B (zh) * 2016-12-29 2024-03-05 北京三星通信技术研究有限公司 合成脸部表情图像的方法和装置
KR101918119B1 (ko) * 2017-03-10 2019-02-08 주식회사 모르페우스 얼굴에 관한 해부학적 레이어를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10621771B2 (en) * 2017-03-21 2020-04-14 The Procter & Gamble Company Methods for age appearance simulation
US10614623B2 (en) * 2017-03-21 2020-04-07 Canfield Scientific, Incorporated Methods and apparatuses for age appearance simulation
JP6908863B2 (ja) 2017-05-02 2021-07-28 日本電信電話株式会社 信号変更装置、方法、及びプログラム
KR102297301B1 (ko) 2017-05-31 2021-09-06 더 프록터 앤드 갬블 캄파니 겉보기 피부 나이를 결정하기 위한 시스템 및 방법
WO2018222812A1 (en) 2017-05-31 2018-12-06 The Procter & Gamble Company System and method for guiding a user to take a selfie
CN109427053A (zh) * 2017-08-31 2019-03-05 丽宝大数据股份有限公司 皮肤老化状态评估方法与电子装置
EP3503023B1 (en) * 2017-12-22 2022-11-23 Chanel Parfums Beauté Improved age modelling method
EP3718050A1 (en) * 2018-01-05 2020-10-07 L'oreal Machine-implemented facial health and beauty assistant
CN108734127B (zh) * 2018-05-21 2021-01-05 深圳市梦网科技发展有限公司 年龄识别值调整方法、装置、设备及存储介质
JP7108127B2 (ja) 2018-08-21 2022-07-27 ザ プロクター アンド ギャンブル カンパニー 毛穴の色を特定する方法
CN109509142A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种人脸变老图像处理方法、系统、可读存储介质及设备
US10818070B2 (en) * 2019-03-27 2020-10-27 Electronic Arts Inc. Artificial intelligence based virtual object aging
CN110322398B (zh) * 2019-07-09 2022-10-28 厦门美图之家科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11887253B2 (en) 2019-07-24 2024-01-30 Electronic Arts Inc. Terrain generation and population system
US11810271B2 (en) * 2019-12-04 2023-11-07 Align Technology, Inc. Domain specific image quality assessment
USD1000624S1 (en) 2019-12-27 2023-10-03 Thomas Nichols Personal care device with camera
CN111275610B (zh) * 2020-01-08 2023-08-18 杭州小影创新科技股份有限公司 一种人脸变老图像处理方法及系统
EP4147199A1 (en) * 2020-05-08 2023-03-15 The Procter & Gamble Company Methods for identifying dendritic pores
JP6775792B1 (ja) * 2020-07-10 2020-10-28 株式会社ワコール 生体の計測値を予測するプログラム、装置及び方法
US11335058B2 (en) 2020-10-13 2022-05-17 Electronic Arts Inc. Spatial partitioning for graphics rendering
US20230260625A1 (en) * 2022-02-11 2023-08-17 13518221 Canada Inc. Method And System for Recommending Injectables for Cosmetic Treatments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) * 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
US6094202A (en) * 1995-12-01 2000-07-25 Lucas Digital Ltd. Method and apparatus for creating lifelike digital representations of computer animated objects
EP1216658A1 (fr) * 2000-12-21 2002-06-26 L'oreal Procédé pour déterminer un degré d'une caractéristique de la typologie corporelle
US20060274071A1 (en) * 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2843262B2 (ja) * 1994-09-16 1999-01-06 株式会社エイ・ティ・アール通信システム研究所 表情再現装置
US5995119A (en) 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
US6068848A (en) * 1997-12-17 2000-05-30 Color Access, Inc. Antioxidant mixture comprising tocopherol
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP3319727B2 (ja) * 1999-10-20 2002-09-03 日本放送協会 画像処理装置
US6734858B2 (en) * 2000-12-27 2004-05-11 Avon Products, Inc. Method and apparatus for use of computer aging to demonstrate a product benefit
US7020347B2 (en) * 2002-04-18 2006-03-28 Microsoft Corp. System and method for image-based surface detail transfer
US20040215066A1 (en) * 2003-04-23 2004-10-28 Kelly Huang Method of measuring the efficacy of a skin treatment program
US7233693B2 (en) * 2003-04-29 2007-06-19 Inforward, Inc. Methods and systems for computer analysis of skin image
JP4351001B2 (ja) * 2003-08-11 2009-10-28 株式会社インテックシステム研究所 年齢変化画像生成方法及び肌平滑化画像生成方法
US20050197542A1 (en) * 2004-01-29 2005-09-08 L'oreal Method and a system for determining a physical condition, in particular the apparent age, of at least one region of the body or the face of an individual
US7969447B2 (en) * 2004-05-06 2011-06-28 Pixar Dynamic wrinkle mapping
JP4557623B2 (ja) * 2004-07-29 2010-10-06 キヤノン株式会社 画像形成装置
JP2006085678A (ja) * 2004-08-16 2006-03-30 Fuji Photo Film Co Ltd 画像作成方法および装置並びにプログラム
CN101083940B (zh) * 2004-10-22 2010-06-16 株式会社资生堂 皮肤状况诊断系统和美容咨询系统
CN100386778C (zh) * 2006-06-15 2008-05-07 西安交通大学 基于平均脸和衰老比例图的人脸图像年龄变换方法
US8290257B2 (en) * 2007-03-02 2012-10-16 The Procter & Gamble Company Method and apparatus for simulation of facial skin aging and de-aging
WO2010082942A1 (en) * 2008-02-01 2010-07-22 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276570A (en) * 1979-05-08 1981-06-30 Nancy Burson Method and apparatus for producing an image of a person's face at a different age
US6094202A (en) * 1995-12-01 2000-07-25 Lucas Digital Ltd. Method and apparatus for creating lifelike digital representations of computer animated objects
EP1216658A1 (fr) * 2000-12-21 2002-06-26 L'oreal Procédé pour déterminer un degré d'une caractéristique de la typologie corporelle
US20060274071A1 (en) * 2004-09-29 2006-12-07 L'oreal Method of predicting the appearance of at least a portion of an individual's body

Also Published As

Publication number Publication date
US8391639B2 (en) 2013-03-05
CN101755288A (zh) 2010-06-23
CN102903135B (zh) 2017-09-12
EP2174296A2 (en) 2010-04-14
EP2174296B1 (en) 2019-07-24
CN102903135A (zh) 2013-01-30
WO2009014832A2 (en) 2009-01-29
JP2012181843A (ja) 2012-09-20
HK1145727A1 (en) 2011-04-29
WO2009014832A3 (en) 2009-04-02
CA2692667A1 (en) 2009-01-29
JP2010534376A (ja) 2010-11-04
CA2692667C (en) 2014-03-11
US20090028380A1 (en) 2009-01-29
JP5400187B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
CN101755288B (zh) 用于皱纹老化和去老化逼真模拟的方法和装置
CN101779218B (zh) 化妆模拟系统及其化妆模拟方法
Jimenez et al. A practical appearance model for dynamic facial color
US7020347B2 (en) System and method for image-based surface detail transfer
US20180276869A1 (en) Methods For Age Appearance Simulation
US20180276883A1 (en) Methods and apparatuses for age appearance simulation
CN101882326A (zh) 基于中国人全面部结构形数据的三维颅面复原方法
CN104463938A (zh) 三维虚拟试妆方法和装置
Bottino et al. A new 3-D tool for planning plastic surgery
Deng et al. A regional method for craniofacial reconstruction based on coordinate adjustments and a new fusion strategy
Gunes A survey of perception and computation of human beauty
Tsai et al. Human face aging with guided prediction and detail synthesis
Oliveira-Santos et al. 3D face reconstruction from 2D pictures: first results of a web-based computer aided system for aesthetic procedures
Imai et al. Facial cues to age perception using three-dimensional analysis
Marić et al. Facial reconstruction of mummified remains of Christian Saint-Nicolosa Bursa
Arsalane et al. 3D facial attractiveness enhancement using free form deformation
Davy et al. Forensic facial reconstruction using computer modeling software
Berg et al. A facial aging simulation method using flaccidity deformation criteria
JP2009294958A (ja) 顔画像の合成方法
Leta et al. A study of the facial aging-a multidisciplinary approach
Yang et al. A learning-based system for generating exaggerative caricature from face images with expression
Bastanfard et al. Simulation of human facial aging and skin senility (Session1 Computer Graphics)(IWAIT2002)
Danino et al. Algorithm for facial weight-change [image weight-change simulator]
Nilsson et al. The Face of Stonehenge: 3D Surface Scanning, 3D Printing and Facial Reconstruction of the Winterbourne Stoke Cranium
Heravi Three-dimension facial de-ageing and ageing Modeling: extrinsic factors impact

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1145727

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1145727

Country of ref document: HK