CN109414182B - 用于皮肤光泽检测的设备和方法 - Google Patents

用于皮肤光泽检测的设备和方法 Download PDF

Info

Publication number
CN109414182B
CN109414182B CN201780039800.6A CN201780039800A CN109414182B CN 109414182 B CN109414182 B CN 109414182B CN 201780039800 A CN201780039800 A CN 201780039800A CN 109414182 B CN109414182 B CN 109414182B
Authority
CN
China
Prior art keywords
skin
image
area
rate
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780039800.6A
Other languages
English (en)
Other versions
CN109414182A (zh
Inventor
K·C·范布雷
L·J·维尔索奥文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN109414182A publication Critical patent/CN109414182A/zh
Application granted granted Critical
Publication of CN109414182B publication Critical patent/CN109414182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种皮肤光泽检测设备和方法。为了以简单有效的方式实现皮肤光泽检测，优选用可用的用户设备检测，该设备包括：照明单元(2)，用于以闪光速率照射皮肤区域；成像单元(3)，用于以不同于闪光速率的成像速率获取皮肤区域的图像；以及处理单元(4)，用于处理获取的图像，并且从被照明单元照射时的皮肤区域的至少一个部分图像和未被照明单元照射时的皮肤区域的至少一个部分图像中检测皮肤区域中的光泽量。

Description

用于皮肤光泽检测的设备和方法
技术领域
本发明涉及一种用于皮肤光泽检测的设备和方法。
背景技术
许多男性和女性，尤其是亚洲男性和女性，都关心皮肤的光亮度。他们正在寻求能够测量光泽量(即皮肤光泽度)的有效且简单的解决方案，这可能是一个有趣的指标。针对此目的的许多皮肤传感器都是已知的，其中许多利用了一个或多个受控光源的镜面反射分量的测量。但是，仍然需要更容易且有效测量表观皮肤光泽的方法。
US4846184A公开了一种探头，其包括壳体，壳体在与皮肤接触的一个面上设置有孔，并通过光纤中的柔性连接而连接至测量设备，光纤包括至少三个光导体，这三个导体在第一端固定在探头的壳体中以面向壳体上的孔，第一和第二导体的第一端部分别指向相对于垂直延伸穿过孔的轴线彼此对称的第一和第二方向，同时第三导体的第一端部指向除第二方向外的其它方向。
其他现有技术可以在US 2016/098614 A1和US 2007/132759 A1中找到。
发明内容
本发明的一个目的在于提供一种用于皮肤光泽检测的设备和方法，其允许容易且有效地确定皮肤区域的皮肤光泽量。
在本发明的第一方面，提出一种皮肤光泽检测设备，该设备包括：
-照明单元，用于以闪光速率照射皮肤区域，
-成像单元，用于以不同于闪光速率的成像速率获取皮肤区域的图像，其中，获取照明单元打开照射时的皮肤区域的图像和照明单元关闭照射时的皮肤区域的图像，以及
-处理单元，用于通过从皮肤区域被照明单元照射时的皮肤区域的表示由成像单元获取的图像的一部分的至少一个第一部分图像、和皮肤区域不被照明单元照射时的皮肤区域的表示由成像单元获取的图像的一部分的至少一个第二部分图像中的镜面反射分量和漫射分量中检测皮肤区域中的光泽量来处理获取的图像。
在本发明的另一方面，提出一种皮肤光泽检测方法，该方法包括：
-以闪光速率照射皮肤区域，
-以不同于闪光速率的成像速率获取皮肤区域的图像，其中获取了打开照射时的皮肤区域的图像和关闭照射时的皮肤区域的图像，以及
-通过从皮肤区域被照射时的皮肤区域的表示被获取的图像的一部分的至少一个第一部分图像和皮肤区域不被照射时的皮肤区域的表示被获取的图像的一部分的至少一个第二部分图像中的镜面反射分量和漫射分量中检测皮肤区域中的光泽量来处理获取的图像。
在本发明的又一方面，提供一种包括程序代码装置的计算机程序，当计算机程序在设备和储存有计算机程序产品的非瞬时计算机可读记录介质上运行时，程序代码装置引起如本文所述的设备执行如本文所述的方法的步骤，当计算机程序产品由设备执行时，引起执行本文所述的方法。
本发明的优选实施例在从属权利要求中限定。应当理解的是，所要求保护的方法、计算机程序和介质与所述要求保护的设备具有相似和/或相同的优选实施例，尤其如从属权利要求及本文中所披露的那样。
本发明基于利用卷帘快门效应的想法。卷帘快门引起的剪切起初看起来似乎是个问题，但通过正确处理，这种效应实际上可以捕获与行速率一样高的值。这意味着闪光频率可以远高于人类可见的闪烁。这种技术使得能够利用大用户基数的用户设备测量皮肤光泽，如智能手机或相机，从而为迅速进入大型市场提供了很好的机会。任何基于相机的解决方案的一个问题在于精确跟踪视频中的面部特征和面部姿势的技术。然而，根据本发明，提供了克服上述问题的解决方案的不同实施例。
被照射时的皮肤区域的至少一个部分图像(例如，完整图像的一部分)和未被照射时的皮肤区域的至少一个部分图像可以用于检测皮肤区域中的光泽量。在这里，“部分”涉及下述事实：当瞬时欠采样时，照明可以在图像的上部“仍然打开”，并且在图像的下部关闭。
在一个实施例中，成像单元配置为以高于闪光速率的成像速率获取被照射皮肤区域的图像。例如，当以每秒120个图像(也称图像帧)的成像速率记录图像并且需要交替点亮的图像时，照明单元(也称闪光灯)以该频率的一半(60fps)或更低频率操作，导致这种闪光调制对癫痫敏感人群来说烦人且可能具有危险的可见性。
在示例性实施例中，闪光速率是从成像单元的行速率和成像速率导出的，从而在每个其它场(即帧)中，光(基本上)在每组n行中交替。图像一般从成像单元中逐行读取。该读取速率就是行速率。闪光速率Ff可以选择为使得闪光周期时间的一半Tf/2＝1/(2*Ff)，1/(2*Ff)是帧捕获时间TN(其中，N表示包括空白行的帧中的行数)的奇数分频系数。简单起见，闪光占空比可以选择为(但不限于)50％。然后，该分频系数确定值n，n是具有连续相似闪光曝光(开或关)的行数，n是介于1和图像行数N之间的值。实际上，闪光灯(照明单元)和相机(成像单元)不同步，并且图案会漂移。
在另一实施例中，照明单元配置为以闪光速率照射皮肤区域，该闪光速率比成像速率高非整数倍，尤其比成像速率的两倍高非整数倍。在该实施例中，利用关于卷帘快门效应的知识，通过以较低帧速率操作成像单元并以高非整数因子的帧速率操作闪光来克服闪光速率的这种限制，以确保可以记录每个图像行的交替的闪光和非闪光曝光。因为每秒处理和记录的图像帧较少，这具有减少面部特征跟踪的计算时间的额外益处。可以应用介于双倍成像速率的1.0倍(实际自1.5倍)与一半“行数”速率(＝1/Tns，其中，Tns是n行曝光的时间，其中，n介于1与帧中的行数之间(包括空白行))之间的闪光速率。
所述设备可以优选进一步包括控制单元，用于控制闪光速率和/或成像速率。速率可以是预先设定且固定的，或者可以是可控的，例如，由用户，如根据环境光条件、皮肤类型和/或颜色等控制。在另一实施例中，控制单元配置为生成具有可修改占空比的可配置暂时光图案。处理获取的图像以确定皮肤光泽有几种选择。在一个实施例中，处理单元配置为确定皮肤区域的一个或多个子区域中的镜面反射分量，并通过确定该一个或多个子区域中的镜面反射分量与该一个或多个子区域中的漫射分量之比来确定子区域中的皮肤光泽量。处理单元尤其配置为确定被照射皮肤区域的皮肤子区域，这些皮肤子区域大体垂直于成像单元的光轴，并从所确定的皮肤子区域中确定皮肤光泽量。镜面反射分量一般存在于那些垂直皮肤子区域中，其可以例如通过使用面部特征跟踪器结合姿态估计算法来确定。例如，可以确定这些皮肤子区域的适当图。打开照射期间的值是S+D。关闭照射期间的值仅为D。因此，S是镜面反射分量，D是漫射分量。垂直角度的光泽的一阶近似是S/D，其可以像('S+D'-D)/D那样计算。替代地，(S+D)/D也是提供光泽度值的比，其在应用启发式、基于面部特征的比例补偿距离后，可以提供对一阶皮肤光泽度的稳健估计。
根据另一实施例，处理单元可以配置为通过使用评估皮肤界标和/或姿态估计的可变形模型，或通过检测闪光分量和漫射分量来确定皮肤子区域。如上所述，照射为场景增加了亮度分量。本发明的一个方面是利用卷帘快门效应。通过对图像行(在皮肤区域，如面部区域)进行求和，可以在图像数据中检测闪光调制。由于这是一个非同步系统，这样设定了预期调制范围。在皮肤对象，如面部对象，大于n行的假设下，调制通常非常强。强调制的单纯存在可以用于确定在计算调制幅度时要考虑哪些区域。换言之，“如果闪光，信号可能是所需信号；如果不闪光，则可以忽略。”
处理单元可以进一步配置为利用照射对每个颜色通道直方图移位的漫射分量估计的贡献，来补偿未被照明单元照射时的皮肤区域的一个或多个图像。当对两个图像进行子跟踪以寻找由于光照条件变化而较高的分量时，应首先精确对准“皮肤结构”。
之后，通过取差值，获得光贡献(甚至在3个颜色通道中)。如果没有这种精确的对准方式，可能会转而测量皮肤图案的边缘(雀斑、痣、毛孔......)。然而，皮肤通常不是平坦的，这意味着必须记录皮肤区域中的更多像素以获得密集记录，从而适当地扭曲图像用于任意地方的局部对准。
在另一实施例中，处理单元配置为确定每个像素的数值皮肤光泽值，尤其是通过将每个像素的镜面反射分量值除以每个像素的漫射分量值，或者通过将每个像素的镜面反射分量值和每个像素的漫射分量值之和除以每个像素的漫射分量值。
如上所述，处理单元可以配置为确定皮肤区域的皮肤光泽图，该图指示每个像素或每组像素的皮肤光泽量。然后可以将该皮肤光泽图输出给用户，例如，在显示器上，或者可以确定针对其确定皮肤光泽图的皮肤区域的平均皮肤光泽度值。
本文公开的设备一般可以是具有照明单元和成像单元的任意移动用户设备。示例性(但非限制性)实施例包括智能手机、相机、笔记本电脑或平板电脑。
附图说明
参考下文描述的实施例，本发明的这些和其它方面将变得显而易见并得以阐明。在附图中：
图1示出根据本发明的设备的实施例的示意图，
图2示出每个图像帧F和两个相邻的闪光灯开和闪光灯关的图像的平均亮度值的图，
图3示出具有低光泽皮肤和高光泽皮肤的两个示例图像，
图4示出表面光反射的各种实例，
图5示出用于说明基于面部界标跟踪的自动面部区域跟踪的面部图像，
图6示出两个示例前额区域及其颜色直方图，
图7示出前额区域的各种差异图像，
图8示出指示前额区域中有效光泽值的示例二元掩模，
图9示出示例输出光泽图，
图10示出以成像速率4.25倍的闪光速率切换闪光灯时的三个示例帧，以及
图11示出根据本发明的皮肤光泽检测方法的流程图。
具体实施方式
图1示出根据本发明的皮肤光泽检测设备1的实施例的示意图。该设备可以是移动用户设备，如智能手机、照相机、笔记本电脑或平板电脑，其可以供许多用户日常使用并且适用于检测皮肤光泽的期望目的，例如，通过使用软件应用程序(“app”)实现，该应用程序利用现有硬件组件并评估由现有硬件组件获取的数据。替代地，该设备也可以是专门用于皮肤光泽检测(及可选地其它目的)的专用设备。在此处示出并且在下文中讨论的实例中，设备1可以实现为智能手机。
设备1包括照明单元2，用于以闪光速率照射皮肤区域。照明单元2可以，例如，是用户设备的闪光灯。在下文中，照明单元通常简称为闪光灯，然而，闪光灯一般应理解为照明单元。
设备1进一步包括成像单元3，用于以不同于闪光速率的成像速率获取皮肤区域的图像。成像单元3可以，例如，是用户设备的相机。在下文中，成像单元通常简称为相机，然而，相机一般应理解为成像单元。
设备1还包括处理单元4，用于处理获取的图像，并且从在被照明单元2照射时的皮肤区域的至少一个部分(或完整)图像中、以及从在未被照明单元2照射时的皮肤区域的至少一个部分(或完整)图像中检测皮肤区域中的光泽量。处理单元4可以，例如，是用户设备的处理器。一般地，处理单元4也可以例如是外部计算机的外部处理器，获取的图像被发送至该外部计算机进行处理从而获得关于皮肤光泽的信息。然而，优选的是，处理单元与照明单元2和成像单元3形成集成设备。
设备1可以包括其它可选元件，如控制单元5，用于控制照明单元2和/或成像单元3，尤其是控制闪光速率和/或成像速率。然而，控制单元5的任务也可以由处理器4执行，或者闪光速率和/或成像速率可以是预先设定且固定的，从而可以不需要主动控制单元5。
设备1可以进一步包括用户界面6，如显示器、小键盘、触摸屏等，其允许用户输入信息，例如，开始和停止皮肤光泽检测、改变设置、输入个人信息等，并且能够输出信息，例如，检测到的皮肤光泽信息或用户指令。
根据本发明，以下述方式控制照明单元2：精确地知道伴随着闪光灯(即照明单元)打开或关闭哪个图像行被曝光。附加地，可以使用面部特征跟踪(或其它手段)精确地跟踪面部的区域、形状和姿态，其中，皮肤区域(如前额、面颊、下巴等)的皮肤光泽度应被确定。附加地，可以执行图像内容的求平均(例如，水平平均)，从而产生甚至更精确地指示每个图像行的精确切换次数的强1D信号。
下文中将更详细地解释各种实施例。第一主实施例从交替图像中提取皮肤光泽值。第二主实施例创建并组合每个图像行的交替照明。
在第一主实施例中，(使用零级近似)计算垂直于成像单元的光轴的皮肤子区域的光泽量(因为在智能手机上，闪光灯安装得非常靠近相机)。这些“垂直”子区域可以，例如，以下述两种组合方式之一确定。
一种方式是基于模型。其可以尤其使用精确面部界标检测和3D面部姿态估计。3D可变形模型的拟合指示垂直或大体垂直于成像单元的光轴的皮肤子区域。用于面部界标检测和3D面部姿态估计的许多不同方法都是已知的(例如，目前可在http://blog.mashape.com/list-of-10-face-detection-recognition-apis/或https://facedetection.com/software/找到)。Tim Cootes在http://personalpages.manchester.ac.uk/staff/timothy.fcootes/tfc_publicati ons.html上列出了更多方法。这些方法包括计算机算法，用于确定图像中的通用面部特征的视觉位置，然后将可变形3D形状模型拟合至这些通用面部特征，以稳健地估计姿态和表面角度。根据一个实施例，空间图像位置从检测到的界标和面部姿态导出，这些位置垂直于相机。记录到通用面部特征的3D形状模型提供皮肤每个部分的皮肤法向量的估计。
根据另一方式，使用闪光分量远大于漫射分量的区域。闪光分量是由闪光引起的场景中每一处的照明升高(后面用S+D表示)。闪光照射的镜面反射分量(S)要高得多，并且仅存在于表面接近垂直的位置处。除此之外，假设环境光主要贡献于D的基线。漫射分量的值取自面部亮度的增量的中值，因为面部的大部分并非垂直于相机的光轴。通过从上述第一种方式获取区域以确定这些非垂直区域，这种方式甚至可以更精确。
图2示出每个图像帧F(横轴)的平均亮度值L(纵轴)。可以应用具有运行装置的直接交叉检测寻找两个相邻的闪光灯开和闪光灯关的图像10、11。
图3示出具有低光泽皮肤(图像12)和高光泽皮肤(图像13)的图像序列的两个示例图像12、13。每个图像是两个相邻的闪光灯开图像和闪光灯关图像的差异图像。
图4示出表面光反射的各种实例。
简言之，镜面反射分量与漫射分量值之比可以用作针对光泽量的指标。
在另一实施例中，通过闪光灯对每个颜色通道直方图移位的漫射估计的贡献来补偿非闪光图像(如图像11)，从而实现更多改进。直方图匹配优选仅应用于从如图5所示的面部界标导出的跟踪面部区域，图5示出用于说明基于面部界标跟踪的自动面部区域跟踪的示例图像14、15。在两个图像14、15中，面部界标用数字表示。在图像15中，示出前额区域16和面颊区域17。替代地，前额区域可以包括眉毛之间的区域(T形区)。
图6示出两个示例性前额区域20、30，其具有红色21、31，绿色22、32和蓝色23、33直方图。在未闪光图像中获取前额区域20，在闪光图像中获取前额区域30。与直方图21、22、23相比，直方图31、32、33平均向上(右)移位，外加绿色和蓝色通道中的镜面反射分量的附加峰值。因此，直方图匹配可以用于更精确地确定每个颜色通道的闪光贡献S+D。闪光对整个光谱的亮度并非简单地具有等同贡献。简言之，绿色和蓝色的浅表皮肤反射更高。红色在皮肤中渗透地更深。
图7示出各种差异图像40、41。图像40表示记录的闪光图像和非闪光图像之间的差异。在第一次毛孔精确对准和图像块翘曲之后。保持了镜面反射分量和漫射分量。图像41表示“直方图匹配的非闪光图像”与仅产生镜面反射分量的闪光图像之间的差异。
面部界标已经给出每个连续图像帧的面部区域的稳健记录/对准。通过在该区域内密集记录图像特征点，可以可选地实现附加精度。
优选仅针对接近垂直于相机轴并且表现出显著镜面反射分量(例如，具有高于预定阈值的值)的皮肤子区域进行光泽估计计算。如上所述，通过使用基于稳健3D面部模型的面部姿态估计，可以粗略地确定图像中每个像素的“垂直度”估计。这种组合子区域可以，例如，通过如图8的实例中所示的二元掩模来说明。
每个像素的数值光泽值可以通过将镜面反射分量值除以漫射分量值来计算，并且可以被分配给二元掩模有效的皮肤区域。替代地，镜面+漫射分量除以漫射分量之比也可以用作针对光泽量的粗略指标。
在另一实施例中，将来自视频序列的多个相机视图对(面部的成角度视图)(例如，通过取最大测量的光泽)组合为单个光泽图，然后将其分配给序列视图对中具有“最”正面的图像。这可以生成针对面部每个区域或整个面部的完整光泽图。部分地被油“润滑的前额的示例输出光泽图50(具有热图颜色编码，即低值区域51、中值区域52、高值区域53)，用以说明低光泽(图像的左侧部分)与中/高光泽(图像的右侧部分)之间的差异。
此外，在一个实施例中，通过在第一次曝光期间设置自动曝光同时保持闪光灯打开然后锁定曝光来自动固定曝光时间。这获得了几乎不会因过度曝光而被剪辑的记录。
在第二主实施例中，闪光的帧速率(即闪光速率)比相机的帧速率(即成像速率)高非整数倍。这导致其中闪光灯的占空比在每个单个图像中清晰可见的曝光图像。通过有意地选择不与每个帧曝光同步开始的闪光速率，被照射图像行的相位对于每个图像帧移位。虽然这种方案更复杂，但其优点在于能够以人眼无法察觉的调制速率运行闪光灯，这可能是智能手机应用光泽测量的要求。
可以精确控制闪光的时机，以知道闪光灯打开和关闭时哪些行被曝光。对于一些现有基础硬件(如某些智能手机或相机)，无法轻松控制闪光灯的这么多细节。在这种情况下，如本实施例所示，可以，例如，通过将成排的图像相加并检测来自该1D调制信号的切换，从图像中稳健地提取闪光的切换发生时的图像行。图10示出这种效果的一些实例。
图10尤其示出三个示例帧60、61、62，其在以相机帧速率(即成像速率)的4.25倍切换相机闪光灯时获取，同时记录白色纸张，以说明每个图像行如何被不同地照射。重叠线63表示每个图像行的平均照度值，指示闪光的占空比和相位。
后续处理与上文中针对第一主实施例说明的处理非常相似，但要注意将每组图像行分配给闪光灯开或闪光灯关的状态。
图11示出根据本发明的皮肤光泽检测方法的流程图。在第一步S10中，以闪光速率照射皮肤区域。在第二步S11中，以不同于闪光速率的成像速率获取皮肤区域的图像。在第三步中，处理获取的图像，并且从被照明单元照射时的皮肤区域的至少一个部分(或完整)图像中、以及从不被照明单元照射时的皮肤区域的至少一个部分(或完整)图像中检测皮肤区域中的光泽量。
总之，本发明利用卷帘快门效应并增加一些处理以测量皮肤光泽。可以使用完全闪光图像和非闪光图像以低闪光速率检测光泽。即使是在闪光灯以比成像速率高得多的闪光速率更快地扰乱图像时，也可以实现这一点。利用所提出的解决方案，闪光灯在帧曝光期间多次切换不是问题。
在一个实施例中，智能手机设置为以高帧速率(成像速率)记录，例如，每秒120帧(fps)，同时(同步地)以60fps的速率切换闪光灯开关。此时，记录的图像由环境照明场景(例如，由面部组成)和环境照明加闪光照明场景交替地组成。使用精确面部特征和姿态跟踪已经显示出相对于环境分量隔离和测量镜面反射分量，这是皮肤光泽度量的强指示。附加地，在第二实施例中，相机以较低帧速率运行，而闪光灯以高于该帧速率特定非整数倍的速率运行，由于卷帘快门效应，导致每组图像行中的不同照明。虽然有卷帘快门效应，但计算机视觉技术可以用于对准面部区域并测量相同区域的不同曝光，从而产生类似的光泽测量。
虽然附图和以上描述中已经详细说明并描述了本发明，但这些说明和描述应视为说明性或示例性的，而非限制性的；本发明不限于所公开的实施例。在实践所要求保护的发明的过程中，通过学习附图、公开内容及所附权利要求，本领域技术人员对于所公开实施例的其它变型是可以理解并实现的。
在权利要求中，“包括”一词不排除其它元件或步骤，不定冠词“一”或“一个”不排除多个。单个元件或其它单元可以满足权利要求中所述的多项功能。某些措施被记载在相互不同的从属权利要求中的事实不指示这些措施的组合不能被用于获得优势。
计算机程序可以储存/分布在适当的非瞬时介质上，如与其它硬件一起供应或作为其一部分的光学存储介质或固态介质，但也可以以其它形式分布，如经由网络或其它有线或无线通信系统。
权利要求中的任意附图标记不应该理解为限定其范围。

Claims (16)

1.一种用于皮肤光泽检测的设备，所述设备包括：
-照明单元(2)，用于以闪光速率照射皮肤区域，
-成像单元(3)，用于以不同于所述闪光速率的成像速率来获取所述皮肤区域的图像，其中所述照明单元的照射打开时的所述皮肤区域的图像、和所述照明单元的照射关闭时的所述皮肤区域的图像被获取，以及
-处理单元(4)，用于通过从所述皮肤区域被所述照明单元照射时的所述皮肤区域的表示由所述成像单元获取的图像的一部分的至少一个第一部分图像、和所述皮肤区域未被所述照明单元照射时的所述皮肤区域的表示由所述成像单元获取的图像的一部分的至少一个第二部分图像中的镜面反射分量和漫射分量中检测所述皮肤区域中的光泽量，来处理获取的图像。
2.根据权利要求1所述的设备，
其中，所述成像单元(3)配置为以高于所述闪光速率的成像速率来获取被照射的皮肤区域的图像。
3.根据权利要求1所述的设备，
其中，所述照明单元(2)配置为以比所述成像速率高的倍数的闪光速率来照射所述皮肤区域。
4.根据权利要求3所述的设备，
其中，所述照明单元(2)配置为以比所述成像速率两倍高的非整数倍的闪光速率来照射所述皮肤区域。
5.根据权利要求1所述的设备，
进一步包括：控制单元(5)，用于控制所述闪光速率和/或所述成像速率。
6.根据权利要求5所述的设备，
其中，所述控制单元(5)配置为生成具有可修改的占空比的可配置的时间光图案。
7.根据权利要求1所述的设备，
其中，所述处理单元(4)配置为：确定所述皮肤区域的一个或多个子区域中的镜面反射分量，并且通过确定所述一个或多个子区域中的镜面反射分量与所述一个或多个子区域中的漫射分量之比来确定所述子区域中的皮肤光泽量。
8.根据权利要求1所述的设备，
其中，所述处理单元(4)配置为：确定被照射的皮肤区域的基本上垂直于所述成像单元的光轴的皮肤子区域，并且从所确定的皮肤子区域中确定皮肤光泽量。
9.根据权利要求8所述的设备，
其中，所述处理单元(4)配置为：通过使用评估皮肤界标和/或姿态估计的可变形模型，或通过检测闪光分量和漫射分量来确定所述皮肤子区域。
10.根据权利要求1所述的设备，
其中，所述处理单元(4)进一步配置为：利用照射对每个颜色通道直方图移位的漫射分量估计的贡献，来补偿未被所述照明单元照射时的所述皮肤区域的一个或多个图像。
11.根据权利要求1所述的设备，
其中，所述处理单元(4)配置为：通过将每个像素的镜面分量值除以每个像素的漫射分量值，或者通过将每个像素的镜面分量值和每个像素的漫射分量值的和除以每个像素的漫射分量值，来确定每个像素的数值皮肤光泽值。
12.根据权利要求1所述的设备，
其中，所述处理单元(4)配置为：确定所述皮肤区域的皮肤光泽图，所述皮肤光泽图指示每个像素或每组像素的皮肤光泽量。
13.根据权利要求1所述的设备，
其中，所述设备是移动用户设备。
14.根据权利要求13所述的设备，所述移动用户设备是智能电话、相机、笔记本电脑或平板电脑。
15.一种用于皮肤光泽检测的方法，所述方法包括：
-以闪光速率照射皮肤区域，
-以不同于所述闪光速率的成像速率来获取所述皮肤区域的图像，其中照射打开时的所述皮肤区域的图像和照射关闭时的所述皮肤区域的图像被获取，以及
-通过从所述皮肤区域被照射时的所述皮肤区域的表示被获取的图像的一部分的至少一个第一部分图像、和所述皮肤区域未被照射时的所述皮肤区域的表示被获取的图像的一部分的至少一个第二部分图像中的镜面反射分量和漫射分量中检测所述皮肤区域中的光泽量，来处理获取的图像。
16.一种非瞬时计算机可读记录介质，其具有存储于其上的计算机程序，所述计算机程序包括程序代码装置，当所述计算机程序在根据权利要求1所述的设备上执行时，所述程序代码装置用于使所述设备执行根据权利要求15所述的方法的步骤。
CN201780039800.6A 2016-06-27 2017-06-14 用于皮肤光泽检测的设备和方法 Active CN109414182B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16176320.6 2016-06-27
EP16176320 2016-06-27
PCT/EP2017/064483 WO2018001727A1 (en) 2016-06-27 2017-06-14 Device and method for skin gloss detection

Publications (2)

Publication Number Publication Date
CN109414182A CN109414182A (zh) 2019-03-01
CN109414182B true CN109414182B (zh) 2022-01-28

Family

ID=56363715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780039800.6A Active CN109414182B (zh) 2016-06-27 2017-06-14 用于皮肤光泽检测的设备和方法

Country Status (6)

Country Link
US (1) US20200305784A1 (zh)
EP (1) EP3474727B1 (zh)
CN (1) CN109414182B (zh)
BR (1) BR112018076965A8 (zh)
RU (1) RU2745612C2 (zh)
WO (1) WO2018001727A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018222122A1 (de) * 2018-12-18 2020-06-18 Henkel Ag & Co. Kgaa Verfahren zum bestimmen von glanz eines abschnitts einer haut eines benutzers
WO2020191259A1 (en) * 2019-03-21 2020-09-24 Event Capture Systems, Inc. Infrared and broad spectrum illumination for simultaneous machine vision and human vision
USD978685S1 (en) * 2020-02-14 2023-02-21 Proceq Ag Housing for glossmeter
EP3922168A1 (en) * 2020-06-10 2021-12-15 Koninklijke Philips N.V. Determining intensity distributions
CN114983338A (zh) * 2021-03-02 2022-09-02 华为技术有限公司 一种皮肤检测方法和电子设备
EP4059411A1 (en) * 2021-03-18 2022-09-21 Koninklijke Philips N.V. A method and system for analysing objects
KR102611931B1 (ko) * 2021-04-30 2023-12-08 선문대학교 산학협력단 얼굴 검지 영상의 윤곽 확장 장치 및 방법
CN114710627B (zh) * 2022-04-06 2024-03-29 Oppo广东移动通信有限公司 皮肤检测方法、移动终端、计算机设备和介质
US20240022826A1 (en) * 2022-07-18 2024-01-18 Ford Global Technologies, Llc Illumination control for vehicle sensors

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4846184A (en) * 1985-04-09 1989-07-11 Sanofi Skin reflectance measuring apparatus
CN1182572A (zh) * 1996-10-25 1998-05-27 花王株式会社 皮肤表面状态的光学特性测定方法及其装置
US7437344B2 (en) * 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
CN102739942A (zh) * 2011-04-11 2012-10-17 三星电子株式会社 数字图像拍摄设备及其控制方法
CN104434038A (zh) * 2014-12-15 2015-03-25 无限极（中国）有限公司 对采集到的肤质数据进行处理的方法、装置及系统
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法
CN105488782A (zh) * 2014-10-06 2016-04-13 松下知识产权经营株式会社 光泽判定装置以及光泽判定方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US20030065523A1 (en) * 2001-10-01 2003-04-03 Francis Pruche Early detection of beauty treatment progress
AU2003289004A1 (en) * 2003-06-11 2005-01-04 Kose Corporation Skin evaluation method and image simulation method
US8026942B2 (en) * 2004-10-29 2011-09-27 Johnson & Johnson Consumer Companies, Inc. Skin imaging system with probe
US7689035B2 (en) * 2005-06-17 2010-03-30 The Regents Of The University Of California Methods for identifying, separating and editing reflection components in multi-channel images and videos
RU2322943C2 (ru) * 2006-04-20 2008-04-27 Московская городская онкологическая больница №62 (МГОБ №62) Способ комплексной диагностики меланомы кожи
JP2008182360A (ja) * 2007-01-23 2008-08-07 Funai Electric Co Ltd 皮膚領域検出撮像装置
US8150501B2 (en) * 2009-03-26 2012-04-03 Johnson & Johnson Consumer Companies, Inc. Method for measuring skin erythema
US20120078113A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC Convergent parameter instrument
CN103561647B (zh) * 2011-05-31 2016-08-17 皇家飞利浦有限公司 用于监测用户的皮肤颜色的方法和系统
WO2013030745A1 (en) * 2011-09-02 2013-03-07 Koninklijke Philips Electronics N.V. Camera for generating a biometrical signal of a living being
US9396587B2 (en) * 2012-10-12 2016-07-19 Koninklijke Philips N.V System for accessing data of a face of a subject
JP6107537B2 (ja) * 2013-08-27 2017-04-05 ソニー株式会社 撮像システムおよびその画像処理方法、画像処理装置およびその画像処理方法、並びに、プログラム
CN204839482U (zh) * 2015-01-26 2015-12-09 周常安 发光装置及使用该发光装置的生理反馈系统
CN105427306B (zh) * 2015-11-19 2018-02-23 上海家化联合股份有限公司 皮肤光泽度的图像分析方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4846184A (en) * 1985-04-09 1989-07-11 Sanofi Skin reflectance measuring apparatus
CN1182572A (zh) * 1996-10-25 1998-05-27 花王株式会社 皮肤表面状态的光学特性测定方法及其装置
US7437344B2 (en) * 2001-10-01 2008-10-14 L'oreal S.A. Use of artificial intelligence in providing beauty advice
CN102739942A (zh) * 2011-04-11 2012-10-17 三星电子株式会社 数字图像拍摄设备及其控制方法
CN105050492A (zh) * 2013-03-14 2015-11-11 皇家飞利浦有限公司 用于确定对象的生命体征的设备和方法
CN105488782A (zh) * 2014-10-06 2016-04-13 松下知识产权经营株式会社 光泽判定装置以及光泽判定方法
CN104434038A (zh) * 2014-12-15 2015-03-25 无限极（中国）有限公司 对采集到的肤质数据进行处理的方法、装置及系统

Also Published As

Publication number Publication date
RU2019102046A3 (zh) 2020-10-13
BR112018076965A8 (pt) 2023-03-07
BR112018076965A2 (pt) 2019-04-02
EP3474727B1 (en) 2019-10-30
US20200305784A1 (en) 2020-10-01
RU2745612C2 (ru) 2021-03-29
RU2019102046A (ru) 2020-07-28
WO2018001727A1 (en) 2018-01-04
EP3474727A1 (en) 2019-05-01
CN109414182A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109414182B (zh) 用于皮肤光泽检测的设备和方法
US8743238B2 (en) Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method
CN107404628B (zh) 图像处理装置及方法以及监视系统
JP2003083730A (ja) ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
WO2017203913A1 (ja) 肌診断装置および肌診断方法
US10212408B1 (en) Depth-map augmentation techniques
CN105872399B (zh) 逆光检测方法和逆光检测系统
US20220400221A1 (en) A system for performing ambient light image correction
JP2016083342A (ja) 生理学的パラメータの推定
JP2015532041A (ja) 逆光補正方法、装置及び端末
JP2014186505A (ja) 視線検出装置及び撮像装置
US10757337B2 (en) Information processing apparatus and information processing method to control exposure for imaging the eye
EP4078506B1 (en) A system for performing ambient light image correction
US10237530B1 (en) Depth-map augmentation techniques
JP2002290988A5 (zh)
JP2015204532A (ja) 画像処理装置および撮像装置
KR20180000580A (ko) 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법
KR101049409B1 (ko) 영상 처리 시스템에서의 색 보정 장치 및 방법
CN115136577A (zh) 确定成像中的像素强度值
JP2021143875A (ja) 異常箇所表示装置、異常箇所表示システム、異常箇所表示方法、及び異常箇所表示プログラム
EP4059411A1 (en) A method and system for analysing objects
KR20180061629A (ko) 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치
JP2017072945A (ja) 画像処理装置、画像処理方法
KR20160025316A (ko) 동공 검출 시스템 및 그 방법
WO2023281746A1 (ja) 制御装置、制御方法、及び記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant