CN105813548B - 用于评估至少一个面部临床体征的方法 - Google Patents

Abstract

本发明涉及一种评估至少一个面部临床体征和/或评估化妆、特别是从面部的一部分评估皱纹或细纹的无治疗目的的方法，所述方法包括以下步骤：‑根据发出至少一种声音的同时所拍摄的人的面部图像的序列，从所述序列提取与至少一种预定声音的发出一致的一个或多个图像，‑根据提取得到的一个图像或多个图像，评估出现在所提取的一个图像或多个图像上的至少一个面部临床体征和/或评估与化妆相关的至少一个特征。

Description

用于评估至少一个面部临床体征的方法

技术领域

本发明涉及对身体类型、并且更具体地为面部类型的特征的评估，并且涉及用于化妆或改变面部表现的产品的评估。

背景技术

评估所有的描述面部的临床体征具有优点，特别是测量它们如何随着年龄或在化妆品处理的效果下的改变，并且理解消费者对该处理的看法。

当前，如在以本申请人的名义的专利申请EP 1 216 658中描述的，该评估利用由专家或临床医生所使用的数据集、或利用图像变形技术而出现。

在申请FR 2 935 593中，一个方案是根据其严重性而比较一些特征的表现。

现有的评估方法在整体上并非令人满意，这因为它们不考虑在日常或物理运动期间的外表变形以及其它对表现年龄或吸引力的影响。因此，例如，年龄在30岁和40岁之间的人可以在护照照片上看起来接近30岁但是通过运动，面部特征可被估计更接近于40岁。

还需要使用于评估面部临床体征(还被称为形态特征)的方法完美，所述面部临床体征例如皱纹、特别是下眼睑的皱纹、鱼尾纹、鼻唇沟、前额、唇角、上唇部等。

在以下几者中同样有优点：评估化妆如何保持或化妆品如何能够掩盖一些瑕疵、并且更通常地在估计化妆处理在面部表现上的效果和其如何随着时间变化。

发明内容

本发明旨在解决该需要或这些需要并且通过无治疗目的的方法实现该需要，其评估至少一个面部临床体征、特别是面部的一部分上的皱纹或细纹，和/或评估化妆，该方法包括以下步骤：

-根据发出至少一种声音的同时所拍摄的人的面部图像的序列，从所述序列提取与至少一种预定声音的发出一致的一个或多个图像，

-根据所提取得到的一个图像或多个图像，评估出现在所提取的一个图像或多个图像上的至少一个面部临床体征和/或评估与化妆相关的至少一个特征。

优选地，源自对所发出的声音的分析，所述图像提取是自动的，以自动地将其识别。

“提取”图像被理解意味着考虑了顺序处理，图像在该序列中被识别，所述图像可以保持在序列中并且例如通过序列中的时间戳或顺序号来识别。所述图像没必要被复制或转换成另一电子文件。所述序列优选地为数字化序列，以适合被多媒体内容读取器读取的任何格式，例如为HD视频格式。可以有利地将提取的图像显示，从而人可以看到它们。当在售货处处进行评估时，这还可以使得更易于对该人提建议。

本发明可以解释这样的事实：当面部移动该面部特征时，皱纹或细纹改变和/或弯曲以及对于每一人而不同地出现。由于该过程，在单个静态图像上不能觉察的这些面部变形模式变得可被觉察的。因此，其允许精确地评估对于特别面部皮肤而衰老的临床体征。

本发明还可以显示例如30岁和40岁之间的亚洲妇女或白种妇女的第一衰老特征，所述第一衰老特征仅仅当面部有活力时、当该人开始交谈时才出现。

通过选择对应于该人的预定声音发出的图像，该评估可是标准化的和自动的。

因此，由于本发明，无论测量时间，可以容易地选择总是涉及所有的人的相同的变形的图像。

为了获得图像的序列，用以复制的至少一个声音可以在所拍摄的人的前方显示，该声音例如为短语、韵律、词汇、音位，其例如根据该人说的语言而被选择，该语言例如可以为法语、英语、西班牙语、日语、中文或韩语。该显示可以在与拍摄的装置相同的装置上，这可以允许显示的图像根据时间序列而获知，并且可以便于将感兴趣的一个图像或多个图像在序列中定位。作为变型，该声音例如利用扬声器被扩散、然后被该人重复。拍摄该人与录制该声音同时，以生成具有视频轨道和声道的序列。

该人可被要求数次发出相同的声音，但是在声音序列内声音不以相同的顺序。根据声音发出的顺序，这可以使关于不同的面部变形模式而差异出现。

对于该评估，提取的图像可以与参考图像比较。优选地，该比较是通过图像处理而自动地进行。可以使用任何可以比较图像的方法，例如被称为模糊逻辑的方法。还可以使用用于关于图像的性能特点的识别。在该情况下，该程序可能要首先学习，从而其知道不同的图像对应于哪个分数。然后，该程序知道如何将分数归属于任何新的图像本身。可以使用神经网络。出版物“Automatic Breast Lesion Segmentation and Scoring in ColorAlastography Images”，N.Gupta和S.Kudavelly，Philips Electronics India Limited，Bangalore，“Méthodes d'apprentissage statistique pour le scoring”[StatisticalLearning Methods for Scoring]，Marine Depecker，Ecole Nationale Supérieure desTélécommunications,法国，“Scoring diverse cellular morphologies in image-basedscreens with iterative feedback and machine learning”Thouis R.Jones、AnneE.Carpenter、Michael R.Lamprecht、Jason Moffat、Serena J.Silver、JenniverK.Grenier、Adam B.Castoreno、Ulrike S.Eggert、David E.Root、Polina Golland、DavidM.Sabatini、Proceedings of the National Academy of Sciences,106卷,第6号(2009年2月10日)，1826页-1831页以及“Automated breast cancer detection andclassification using ultrasound images:A survey”H.D.Cheng,Juan Shan、Wen Ju、Yanhui Guo和Ling Zhang。Pattern Recognition 43(1)：299-317(2010年)描述了该识别方法的示例。

前面提及的参考图像可以为来自评估数据集的图像，或来自从该图像生成的数据。该数据集的图像例如为表示给定临床体征的不同等级的人的图像，例如出现越来越多皱纹的给定的面部区域。

被处理的序列可以包括涉及任何临床体征的图像，当人说话时，例如该临床体征被暴露以下部位中存在皱纹或细纹：在唇角处、在眼睛下方、上唇上、眼角鱼尾纹、和/或鼻唇皱褶。所述序列优选地包括整个面部的图像，所述面部优选地以足够的分辨率被拍摄以随后能够提取仅仅呈现照相机的视野的一小部分的感兴趣的区域的图像。可以应用色度校正。

优选地，通过与参考数据比较，对来自提取的一个图像或多个图像的一个临床体征或多个临床体征的评估自动地发生。在该自动评估期间，提取的一个图像或多个图像、至少对于一些图像根据待评估的临床体征自动地裁剪并且优选地放大。

所述图像的序列包括由人相继地发出的数个不同的声音、特别是至少五种不同的声音、特别是选自“A”＝a、

“O”＝o、“OUT”＝wi、“STI”＝sti、“ART”＝ar、

它们可以是通过它们之间的安静的瞬间发出的简单声音、或对应于说短语的声音。序列中的该一个声音或多个声音可以包括预定音位，该预定音位例如根据人说的语言而提取，例如，元音、半辅音或辅音。提取出分别对应于数种预定声音的图像、特别是前面所提及的声音“A”、“E”、“O”、“OUT”、“STI”、“ART”和“TO”。

通过应用至所述序列的声道的语音识别和/或通过收集的声音的光谱分析，可以发生从所述序列提取的一个图像或多个图像的选择。另一可能的选择是特定频率超过预定振幅的图像。

作为评估所述临床体征的结果，可自动地生成与临床体征相关的分数。

所述图像可以由被评估的人持有或放置在他或她的前方的装置获得，所述装置特别是平板电脑、智能手机或计算机。例如，该人下载应用程序到他的或她的智能手机(例如，iPhone或安卓智能手机)、平板电脑或个人计算机。一旦启动该应用程序，该应用程序将用以复制的声音显示在监控器上，同时其记录图像和声音。然后，该用户可以拍摄他或她，同时发出预定声音。因此，获得的该序列然后如上面所指示的被处理以制造评估结果。该处理可以通过该应用程序本身而局部地发生、或作为变型发生在远程服务器上、或部分局域地和部分在远程服务器上。

该获得可以与数个照相机同时发生。

该评估可以发生在家庭中或在消费地点处。

对图像的序列的获得以如下的采集频率发生：大于或等于50个图像/秒，优选地为100个图像/秒。该照相机分辨率优选地大于或等于720线(line)。根据声音发出的顺序，可以生成对于给定的临床体征分数如何进展的数个曲线。

平行于所述临床体征的自动评估，可通过用于所述临床体征的人收集自身估计分数和/或通过用于所述临床体征的专家组收集所述评估分数。

本发明还涉及一种用于展示对面部的化妆品处理、特别是涂抹抗皱纹产品或化妆品的效果的非治疗性的方法，所述方法包括以下步骤：

-利用如前面所描述的根据本发明的评估方法，进行第一评估，特别是对至少一个面部临床体征进行第一评估；

-进行新的评估，特别是在面部化妆品处理之后进行新的评估；

-比较所述评估；

-从对所述评估的比较生成关于处理疗效的代表性信息和/或代表在所述评估之间的化妆中的改变的代表性信息。

所述化妆品处理例如包括将护肤产品或抗皱纹产品涂抹到皮肤上、特别是被评估影响的区域中。

根据所测定的分数，被评估的人(他或她)本人可以自动地看到指定产品，作为预防措施或以减少体征的严重性。指定产品可以为个性化配方，例如具有取决于测定的一个分数或多个分数的活性成分分析。

本发明还涉及一种计算机程序产品，其包括当在装置上执行时引导所述装置来执行以下步骤的指令，所述装置包括处理器、监控器、扬声器、照相机和麦克风：

-可选地，将用以复制的声音显示在所述监控器上和/或利用所述扬声器发出所述声音；

-利用所述照相机，获得复制预定声音的人的图像的序列，所述声音特别是被显示和/或被扩散的声音；

-处理所获得的图像以从所获得的图像的序列提取出人所发出的声音对应于所述预定声音的一个图像或多个图像。

如果需要，所述指令可以允许预先选择必须被装置识别的声音或多个声音。

所述指令还可以引导所述装置建议：用户选择一个或多个临床体征来评估，在这种情况下，根据所选择的一个体征或多个体征，人必须发出以用于该评估的预定的一个声音或多个声音可以不同。

所述指令还可以引导所述装置分析所发出的声音以便将所述声音识别，所述识别特别是通过语音识别技术。然后，在对应的声道内，提取的图像为预定的声音自动识别所针对的那些图像。

所述指令还可以引导所述装置处理提取的一个图像或多个图像以生成所述临床体征的严重性的至少一个代表性分数和/或将所述的一个图像或多个图像发送至远程服务器，所述远程服务器反过来传送所述分数。

根据所述分数，该指令还可以控制对处理中的活性成分进行自动分析的装置，所述处理特别是抗皱纹的处理。

附图说明

在阅读本发明的非限制性的实施示例并且参考所附附图，可以更好地理解本发明，其中：

图1为示出了根据本发明的方法的示例的步骤的框图；

图2呈现了从发出不同声音时所拍摄的人的图像的序列所提取的图像；

图3呈现了对应于感兴趣的和/或不同的放大程度的区域的不同的图像；

图4至图6呈现了对于给定临床体征的根据所发的声音的分数变化(scoreprogression)的示例；以及

图7呈现了对于不同临床体征的根据所发的声音的分数变化，其允许处理2D矩阵图。

具体实施方式

如图1中所示出的，根据本发明的方法的示例可以使用不同的步骤10至50，其例如通过使用装备有照相机和监控器的计算机而获取。该照相机优选地通过将比色成分已知的校准器放置在照相机的视野中在色度上校准。

在步骤10，利用照相机取得视频序列。在该序列被获得的同时，所拍摄的人必须复制的声音例如显示在监控器上。作为变型，在该序列被获得的同时，未显示任何事物，并且例如该人预先知道他或她必须发哪个声音。

下一步，在步骤20中分析图像的序列。该分析可以为后加工或作为变型，如果该处理器功率足够大以完成，则同时该序列被记录在已经获得的图像上。

该处理目的在于在该序列中识别一个图像或多个图像，所述一个图像或多个图像对应于预定声音的人的发出。为了识别该声音所对应的图像，分析该声道并识别发出预定声音的瞬间，例如利用光谱分析，其中每一声音具有其本身的待在声道中被识别的光谱指纹。该光谱指纹可以由傅里叶变换获得。还可以使用语音辨别。出版物“Voice ActivityDetection Based on Wavelet Packet Transform in Communication NonlinearChannel”R.Chiodi和D.Massicotte，SPACOMM，科尔马，法国，2009以及“La reconnaissanceautomatique de sources sonores dans renvironnement”[Automatic recognition ofnoise sources in the environment]，Defreville、B.Bloquet、S.，Filippi、G.，和Aujard，C.10^ème Congrès Francais d'Acoustique[10th French AcousticalConference]，Lyons 12-16，2010年4月描述了语音识别方法的示例。

为了提高识别的稳健性，可以将例如用在智能电话中的经典的语音识别算法与通过与每一音位相关联的频谱的识别的分析组合。

在图2中的示例中，所拍摄的人发出整个短语包括词汇OUIstiti、smARTies等，并且由此相继地发出“A”、“E”、“O”、“OUT”、“STI”、“ART”、“TO”。被选作对应于这些声音的发出的图像以及该声音的光谱指纹以及时间戳在每一声音下被呈现在该图上。

在步骤30中，所提取的对应于预定声音的每一图像可通过视图而被处理以评估一个或多个临床体征。

步骤30中的处理可以包括提取图像中感兴趣的区域，例如通过识别图像中的典型特征，例如眼睛、鼻子或唇部的存在。从这个步骤，可以生成子图像，所述子图像更具体地覆盖了包含该评估所针对的一个临床体征或多个临床体征的感兴趣的区域。如在图3中所示出的，例如从对应于特定声音的发出的面部的完整图像，唇角、上唇和下眼睑区域的各个子图像31至33可被提取出。

如果需要，这些子图像可被放大以使得皱纹或细纹更清晰地出现。例如，如有必要，还需要调节色度以去除日晒的影响。

接着，在步骤40中执行处理，以将这些图像与参考图像比较，以对假定出现在图像上的临床体征分配等级。

该处理可以包括任何可以比较哪两个图像彼此相像程度的算法，即，其参考等级需要被分配的图像并且这些图像示出了不同的等级。对于自动地归属分数的学习程序，可以使用参考数据库，该参考数据库给大量的不同人(例如，对于种族)分数。

最后，在步骤50中，可以显示与评估了其严重性的临床体征相关的分数和/或任何有用的信息。例如，该分数显示在监控器上。

还可以显示曲线，所述曲线使用于临床体征的分数根据与所发出的声音相关的面部变形而出现。因此，关于体征的由于移动面部而改变的动态性的信息是可用的，这可以提供额外的有用的信息，如有需要与其它临床体征中的其它动态变化组合起来，以例如将外观年龄或外观的疲劳水平分配至人。

对于所考虑的每一临床体征，根据考虑的声音的次序，可创建不同的2D曲线。

因此，例如，对于下眼睑皱纹，变化曲线和曲线的2D矩阵可自动地生成用于声音X1、X6、X8等，声音X8、X4、X10、X4等，声音X1、X3、X4、X8等的分数。由待评估的人发出的这些序列的声音中的每一者将被选择以使变形模式最大化或者能够重建给定的短语。从该步骤，对于一组临床体征，光谱可通过与由不同短语或声音的视频测验收集的人的看法或消费者的看法相关的2D小波或3D小波处理。

如有需要，该子图像处理方法可以通过多个传统的分析(例如，皮肤变色或孔径评估的探测)来完成。

现在参考图4至图6来描述实验结果。

在图4中，根据所发出的声音，对于多个25个女人的小组中的每一组，上唇皱纹的严重性分数的改变已经呈现为在此的“A”、“E”、“O”、“OUT”、“STI”、“ART”、“TO”，即一组平均37岁的女人在处理前通过将产品，每日涂抹两次，涂抹一个月(菱形)；一组平均32岁的女人(矩形)；以及相同的37岁的女人在处理后通过涂抹产品(正方形)。该*标记了结果是显著的多个声音。我们看到的是，本发明仅仅可以用于显示当发出某种声音时产品的效果，例如声音O。然后，在处理之前和处理之后的差异是显著的并且高度可见的。该两个不同的年龄组可被区分用于所有的声音。

图5和图6分别涉及鼻唇皱褶和下眼睑的严重性的评估。

根据该区域和/或临床体征，该动态变化是不同的。分数的简单的转换值可被搜索用于鼻唇皱褶或下眼睑皱纹(图5和图6)，然而不同的变型模式见于唇部皱纹的5年中(图4)。尽管对于两个不同年龄组在统计上不同的，但在唇角处的皱纹具有低得多的动态性。

根据本发明，各个统计和数学分析可以适用于来自利用根据本发明的方法的数据。

例如，如图7中所示，根据对临床体征Sign_i的不同的分数S1至Sn的理解、例如不同的声音X1至Xn，可以生成表示根据各个临床体征随着时间所发出的声音与不同分数的变化的时间曲线的2D矩阵。

从消费者研究中，可以测定与所评估的每一人关联的看法，例如在以下几个方面：外观疲劳度、外观年龄、吸引性、容光焕发等。

然后可以分析源自对这些人的评估的所有的曲线以显示一些曲线形状和对应的看法(根据外观疲劳度、外观年龄等)之间的关系。

例如，可以使用多比例的小波以执行该多比例的处理分析。

本发明不限于刚才已经描述的示例。例如，待评估的人可被从侧面拍摄，以评估其它临床体征，例如下垂症。如有需要，该图像还可以利用至少两台照相机来轮廓鲜明地获得。该图像还可以通过将光的边缘投影到面部上获得，以进一步测量起伏或更好地使皮肤运动可视化。该图像可以通过白光或在发光体下获得，其目的是当发出声音时更易于显示面部变形。

当多个图像与发出的声音组合时，在将分配一个分数的处理之前这些图像可被平均。

如有需要，进行的评估的人发出一个或多个短语，其中，该短语的内容是预先未知的；在该情况下，不管是否已经发出某些声音，该过程寻求通过语音识别来识别，并且在确认时，选择对应的图像，然后评估临床体征。

另一可行的计划是，选择一组声音让评估所期望针对的这些人(这些人根据性别、外观年龄、种族)发出，从而他或她可被引导发出更好地显示评估所期望针对的临床体征的声音。

尽管优选的是，在自动探测所发出的声音(该声音因此被正在执行的程序识别)之后，图像提取是自动的，但是，假设在具有人发出声音的序列上的预定时间位置的图像的序列上，图像提取可以无自动地识别所发出的声音而发生，这例如因为其被显示在监控器上并且当其被显示时人必须发出该声音。

在护肤处理、例如抗皱处理之前或之后，本发明可以用在露肤上。

本发明还可以用在化妆皮肤上，例如通过涂抹粉底或修复霜以矫正瑕疵，例如改变表现的形状。

这可以允许保持化妆品和其在面部外观上的效果，以在变形期间被评估。这还可以允许根据面部变形的化妆可视性的评估。

术语“包括一”与“包括至少一”同义。

Claims (18)

1.一种评估至少一个面部临床体征的无治疗目的的方法，所述方法包括：

-根据发出至少一种声音的同时所拍摄的人的面部图像的序列，从所述序列提取与至少一种预定声音的发出一致的一个或多个图像，

-根据所提取得到的一个图像或多个图像，评估出现在所提取的一个图像或多个图像上的至少一个面部临床体征，其中，作为评估出现在所提取的一个图像或多个图像上的所述临床体征的结果，自动地生成所述临床体征的严重性的分数，根据与所发出的声音相关的面部变形而显示所述临床体征的分数的曲线。

2.如权利要求1所述的方法，其中，所述图像提取是自动的，这源自对所发出的声音的分析。

3.如权利要求1所述的方法，其中，用以复制的至少一个声音在所拍摄的人的前方显示。

4.如权利要求1所述的方法，其中，所提取的图像与参考图像比较。

5.如权利要求1所述的方法，其中，所述序列包括关于在以下几者中存在皱纹或细纹的图像：在唇角处、在眼睛下方、上唇、眼角鱼尾纹、和/或鼻唇皱褶。

6.如权利要求5所述的方法，其中，所述序列包括整个面部的图像。

7.如权利要求1所述的方法，其中，通过与参考数据比较，对来自所提取的一个图像或多个图像的一个临床体征或多个临床体征的评估自动地发生。

8.如权利要求1所述的方法，其中，所提取的一个图像或多个图像、至少对于一些图像根据待评估的所述临床体征自动地裁剪。

9.如权利要求1所述的方法，其中，所述图像的序列包括由所述人相继地发出的数个不同的声音，并且其中，提取分别地对应于数种预定声音的所述图像。

10.如权利要求1所述的方法，其中，所述图像的序列包括至少五种不同的声音。

11.如权利要求9所述的方法，其中，所述声音选自“A”、“E”、“O”、“OUT”、“STI”、“ART”和“TO”。

12.如权利要求1所述的方法，其中，所述序列的一个声音或多个声音包括音位。

13.如权利要求1所述的方法，其中，通过应用至所述序列的声道的语音识别和/或通过收集的所述声音的光谱分析，进行对待提取的所述一个图像或多个图像的选择。

14.如权利要求1所述的方法，其中，所述图像由被评估的所述人持有的或放置在所述人的前方的装置获得。

15.如权利要求1所述的方法，其中，以如下采集频率对所述序列的所述图像进行采集：大于或等于50个图像/秒。

16.如权利要求1所述的方法，其中，根据所述声音发出的顺序，生成对于给定的临床体征的所述分数如何变化的数个曲线。

17.如权利要求1所述的方法，其中，平行于所述临床体征的自动评估，通过用于所述临床体征的所述人收集自身估计分数和/或通过用于所述临床体征的专家组收集所述评估分数。

18.一种用于展示对面部的化妆品处理的效果的非治疗性的方法，所述方法包括：

-利用如权利要求1所限定的方法，进行第一评估，特别是对至少一个面部临床体征进行所述第一评估；

-进行新的评估，特别是在面部化妆品处理之后进行所述新的评估；

-比较所述评估；

-从对所述评估的比较生成关于处理疗效的代表性信息和/或代表在所述评估之间的化妆中的改变的代表性信息。

Images