CN109414182A - 用于皮肤光泽检测的设备和方法 - Google Patents
用于皮肤光泽检测的设备和方法 Download PDFInfo
- Publication number
- CN109414182A CN109414182A CN201780039800.6A CN201780039800A CN109414182A CN 109414182 A CN109414182 A CN 109414182A CN 201780039800 A CN201780039800 A CN 201780039800A CN 109414182 A CN109414182 A CN 109414182A
- Authority
- CN
- China
- Prior art keywords
- skin
- image
- skin area
- gloss
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/443—Evaluating skin constituents, e.g. elastin, melanin, water
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dermatology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种皮肤光泽检测设备和方法。为了以简单有效的方式实现皮肤光泽检测,优选用可用的用户设备检测,该设备包括:照明单元(2),用于以闪光速率照射皮肤区域;成像单元(3),用于以不同于闪光速率的成像速率获取皮肤区域的图像;以及处理单元(4),用于处理获取的图像,并且从被照明单元照射时的皮肤区域的至少一个部分图像和未被照明单元照射时的皮肤区域的至少一个部分图像中检测皮肤区域中的光泽量。
Description
技术领域
本发明涉及一种用于皮肤光泽检测的设备和方法。
背景技术
许多男性和女性,尤其是亚洲男性和女性,都关心皮肤的光亮度。他们正在寻求能够测量光泽量(即皮肤光泽度)的有效且简单的解决方案,这可能是一个有趣的指标。针对此目的的许多皮肤传感器都是已知的,其中许多利用了一个或多个受控光源的镜面反射分量的测量。但是,仍然需要更容易且有效测量表观皮肤光泽的方法。
US4846184A公开了一种探头,其包括壳体,壳体在与皮肤接触的一个面上设置有孔,并通过光纤中的柔性连接而连接至测量设备,光纤包括至少三个光导体,这三个导体在第一端固定在探头的壳体中以面向壳体上的孔,第一和第二导体的第一端部分别指向相对于垂直延伸穿过孔的轴线彼此对称的第一和第二方向,同时第三导体的第一端部指向除第二方向外的其它方向。
发明内容
本发明的一个目的在于提供一种用于皮肤光泽检测的设备和方法,其允许容易且有效地确定皮肤区域的皮肤光泽量。
在本发明的第一方面,提出一种皮肤光泽检测设备,该设备包括:
-照明单元,用于以闪光速率照射皮肤区域,
-成像单元,用于以不同于闪光速率的成像速率获取皮肤区域的图像,其中,获取照明单元打开照射时的皮肤区域的图像和照明单元关闭照射时的皮肤区域的图像,以及
-处理单元,用于通过从被照明单元照射时的皮肤区域的至少一个部分图像和不被照明单元照射时的皮肤区域的至少一个部分图像中的镜面反射分量和漫射分量中检测皮肤区域中的光泽量来处理获取的图像。
在本发明的另一方面,提出一种皮肤光泽检测方法,该方法包括:
-以闪光速率照射皮肤区域,
-以不同于闪光速率的成像速率获取皮肤区域的图像,其中获取了打开照射时的皮肤区域的图像和关闭照射时的皮肤区域的图像,以及
-通过从被照射时的皮肤区域的至少一个部分图像和不被照射时的皮肤区域的至少一个部分图像中的镜面反射分量和漫射分量中检测皮肤区域中的光泽量来处理获取的图像。
在本发明的又一方面,提供一种包括程序代码装置的计算机程序,当计算机程序在设备和储存有计算机程序产品的非瞬时计算机可读记录介质上运行时,程序代码装置引起如本文所述的设备执行如本文所述的方法的步骤,当计算机程序产品由设备执行时,引起执行本文所述的方法。
本发明的优选实施例在从属权利要求中限定。应当理解的是,所要求保护的方法、计算机程序和介质与所述要求保护的设备具有相似和/或相同的优选实施例,尤其如从属权利要求及本文中所披露的那样。
本发明基于利用卷帘快门效应的想法。卷帘快门引起的剪切起初看起来似乎是个问题,但通过正确处理,这种效应实际上可以捕获与行速率一样高的值。这意味着闪光频率可以远高于人类可见的闪烁。这种技术使得能够利用大用户基数的用户设备测量皮肤光泽,如智能手机或相机,从而为迅速进入大型市场提供了很好的机会。任何基于相机的解决方案的一个问题在于精确跟踪视频中的面部特征和面部姿势的技术。然而,根据本发明,提供了克服上述问题的解决方案的不同实施例。
被照射时的皮肤区域的至少一个部分图像(例如,完整图像的一部分)和未被照射时的皮肤区域的至少一个部分图像可以用于检测皮肤区域中的光泽量。在这里,“部分”涉及下述事实:当瞬时欠采样时,照明可以在图像的上部“仍然打开”,并且在图像的下部关闭。
在一个实施例中,成像单元配置为以高于闪光速率的成像速率获取被照射皮肤区域的图像。例如,当以每秒120个图像(也称图像帧)的成像速率记录图像并且需要交替点亮的图像时,照明单元(也称闪光灯)以该频率的一半(60fps)或更低频率操作,导致这种闪光调制对癫痫敏感人群来说烦人且可能具有危险的可见性。
在示例性实施例中,闪光速率是从成像单元的行速率和成像速率导出的,从而在每个其它场(即帧)中,光(基本上)在每组n行中交替。图像一般从成像单元中逐行读取。该读取速率就是行速率。闪光速率Ff可以选择为使得闪光周期时间的一半Tf/2=1/(2*Ff),1/(2*Ff)是帧捕获时间TN(其中,N表示包括空白行的帧中的行数)的奇数分频系数。简单起见,闪光占空比可以选择为(但不限于)50%。然后,该分频系数确定值n,n是具有连续相似闪光曝光(开或关)的行数,n是介于1和图像行数N之间的值。实际上,闪光灯(照明单元)和相机(成像单元)不同步,并且图案会漂移。
在另一实施例中,照明单元配置为以闪光速率照射皮肤区域,该闪光速率比成像速率高非整数倍,尤其比成像速率的两倍高非整数倍。在该实施例中,利用关于卷帘快门效应的知识,通过以较低帧速率操作成像单元并以高非整数因子的帧速率操作闪光来克服闪光速率的这种限制,以确保可以记录每个图像行的交替的闪光和非闪光曝光。因为每秒处理和记录的图像帧较少,这具有减少面部特征跟踪的计算时间的额外益处。可以应用介于双倍成像速率的1.0倍(实际自1.5倍)与一半“行数”速率(=1/Tns,其中,Tns是n行曝光的时间,其中,n介于1与帧中的行数之间(包括空白行))之间的闪光速率。
所述设备可以优选进一步包括控制单元,用于控制闪光速率和/或成像速率。速率可以是预先设定且固定的,或者可以是可控的,例如,由用户,如根据环境光条件、皮肤类型和/或颜色等控制。在另一实施例中,控制单元配置为生成具有可修改占空比的可配置暂时光图案。处理获取的图像以确定皮肤光泽有几种选择。在一个实施例中,处理单元配置为确定皮肤区域的一个或多个子区域中的镜面反射分量,并通过确定该一个或多个子区域中的镜面反射分量与该一个或多个子区域中的漫射分量之比来确定子区域中的皮肤光泽量。处理单元尤其配置为确定被照射皮肤区域的皮肤子区域,这些皮肤子区域大体垂直于成像单元的光轴,并从所确定的皮肤子区域中确定皮肤光泽量。镜面反射分量一般存在于那些垂直皮肤子区域中,其可以例如通过使用面部特征跟踪器结合姿态估计算法来确定。例如,可以确定这些皮肤子区域的适当图。打开照射期间的值是S+D。关闭照射期间的值仅为D。因此,S是镜面反射分量,D是漫射分量。垂直角度的光泽的一阶近似是S/D,其可以像('S+D'-D)/D那样计算。替代地,(S+D)/D也是提供光泽度值的比,其在应用启发式、基于面部特征的比例补偿距离后,可以提供对一阶皮肤光泽度的稳健估计。
根据另一实施例,处理单元可以配置为通过使用评估皮肤界标和/或姿态估计的可变形模型,或通过检测闪光分量和漫射分量来确定皮肤子区域。如上所述,照射为场景增加了亮度分量。本发明的一个方面是利用卷帘快门效应。通过对图像行(在皮肤区域,如面部区域)进行求和,可以在图像数据中检测闪光调制。由于这是一个非同步系统,这样设定了预期调制范围。在皮肤对象,如面部对象,大于n行的假设下,调制通常非常强。强调制的单纯存在可以用于确定在计算调制幅度时要考虑哪些区域。换言之,“如果闪光,信号可能是所需信号;如果不闪光,则可以忽略。”
处理单元可以进一步配置为利用照射对每个颜色通道直方图移位的漫射分量估计的贡献,来补偿未被照明单元照射时的皮肤区域的一个或多个图像。当对两个图像进行子跟踪以寻找由于光照条件变化而较高的分量时,应首先精确对准“皮肤结构”。
之后,通过取差值,获得光贡献(甚至在3个颜色通道中)。如果没有这种精确的对准方式,可能会转而测量皮肤图案的边缘(雀斑、痣、毛孔......)。然而,皮肤通常不是平坦的,这意味着必须记录皮肤区域中的更多像素以获得密集记录,从而适当地扭曲图像用于任意地方的局部对准。
在另一实施例中,处理单元配置为确定每个像素的数值皮肤光泽值,尤其是通过将每个像素的镜面反射分量值除以每个像素的漫射分量值,或者通过将每个像素的镜面反射分量值和每个像素的漫射分量值之和除以每个像素的漫射分量值。
如上所述,处理单元可以配置为确定皮肤区域的皮肤光泽图,该图指示每个像素或每组像素的皮肤光泽量。然后可以将该皮肤光泽图输出给用户,例如,在显示器上,或者可以确定针对其确定皮肤光泽图的皮肤区域的平均皮肤光泽度值。
本文公开的设备一般可以是具有照明单元和成像单元的任意移动用户设备。示例性(但非限制性)实施例包括智能手机、相机、笔记本电脑或平板电脑。
附图说明
参考下文描述的实施例,本发明的这些和其它方面将变得显而易见并得以阐明。在附图中:
图1示出根据本发明的设备的实施例的示意图,
图2示出每个图像帧F和两个相邻的闪光灯开和闪光灯关的图像的平均亮度值的图,
图3示出具有低光泽皮肤和高光泽皮肤的两个示例图像,
图4示出表面光反射的各种实例,
图5示出用于说明基于面部界标跟踪的自动面部区域跟踪的面部图像,
图6示出两个示例前额区域及其颜色直方图,
图7示出前额区域的各种差异图像,
图8示出指示前额区域中有效光泽值的示例二元掩模,
图9示出示例输出光泽图,
图10示出以成像速率4.25倍的闪光速率切换闪光灯时的三个示例帧,以及
图11示出根据本发明的皮肤光泽检测方法的流程图。
具体实施方式
图1示出根据本发明的皮肤光泽检测设备1的实施例的示意图。该设备可以是移动用户设备,如智能手机、照相机、笔记本电脑或平板电脑,其可以供许多用户日常使用并且适用于检测皮肤光泽的期望目的,例如,通过使用软件应用程序(“app”)实现,该应用程序利用现有硬件组件并评估由现有硬件组件获取的数据。替代地,该设备也可以是专门用于皮肤光泽检测(及可选地其它目的)的专用设备。在此处示出并且在下文中讨论的实例中,设备1可以实现为智能手机。
设备1包括照明单元2,用于以闪光速率照射皮肤区域。照明单元2可以,例如,是用户设备的闪光灯。在下文中,照明单元通常简称为闪光灯,然而,闪光灯一般应理解为照明单元。
设备1进一步包括成像单元3,用于以不同于闪光速率的成像速率获取皮肤区域的图像。成像单元3可以,例如,是用户设备的相机。在下文中,成像单元通常简称为相机,然而,相机一般应理解为成像单元。
设备1还包括处理单元4,用于处理获取的图像,并且从在被照明单元2照射时的皮肤区域的至少一个部分(或完整)图像中、以及从在未被照明单元2照射时的皮肤区域的至少一个部分(或完整)图像中检测皮肤区域中的光泽量。处理单元4可以,例如,是用户设备的处理器。一般地,处理单元4也可以例如是外部计算机的外部处理器,获取的图像被发送至该外部计算机进行处理从而获得关于皮肤光泽的信息。然而,优选的是,处理单元与照明单元2和成像单元3形成集成设备。
设备1可以包括其它可选元件,如控制单元5,用于控制照明单元2和/或成像单元3,尤其是控制闪光速率和/或成像速率。然而,控制单元5的任务也可以由处理器4执行,或者闪光速率和/或成像速率可以是预先设定且固定的,从而可以不需要主动控制单元5。
设备1可以进一步包括用户界面6,如显示器、小键盘、触摸屏等,其允许用户输入信息,例如,开始和停止皮肤光泽检测、改变设置、输入个人信息等,并且能够输出信息,例如,检测到的皮肤光泽信息或用户指令。
根据本发明,以下述方式控制照明单元2:精确地知道伴随着闪光灯(即照明单元)打开或关闭哪个图像行被曝光。附加地,可以使用面部特征跟踪(或其它手段)精确地跟踪面部的区域、形状和姿态,其中,皮肤区域(如前额、面颊、下巴等)的皮肤光泽度应被确定。附加地,可以执行图像内容的求平均(例如,水平平均),从而产生甚至更精确地指示每个图像行的精确切换次数的强1D信号。
下文中将更详细地解释各种实施例。第一主实施例从交替图像中提取皮肤光泽值。第二主实施例创建并组合每个图像行的交替照明。
在第一主实施例中,(使用零级近似)计算垂直于成像单元的光轴的皮肤子区域的光泽量(因为在智能手机上,闪光灯安装得非常靠近相机)。这些“垂直”子区域可以,例如,以下述两种组合方式之一确定。
一种方式是基于模型。其可以尤其使用精确面部界标检测和3D面部姿态估计。3D可变形模型的拟合指示垂直或大体垂直于成像单元的光轴的皮肤子区域。用于面部界标检测和3D面部姿态估计的许多不同方法都是已知的(例如,目前可在http://blog.mashape.com/list-of-10-face-detection-recognition-apis/或https://facedetection.com/software/找到)。Tim Cootes在http://personalpages.manchester.ac.uk/staff/timothy.fcootes/tfc_publicati ons.html上列出了更多方法。这些方法包括计算机算法,用于确定图像中的通用面部特征的视觉位置,然后将可变形3D形状模型拟合至这些通用面部特征,以稳健地估计姿态和表面角度。根据一个实施例,空间图像位置从检测到的界标和面部姿态导出,这些位置垂直于相机。记录到通用面部特征的3D形状模型提供皮肤每个部分的皮肤法向量的估计。
根据另一方式,使用闪光分量远大于漫射分量的区域。闪光分量是由闪光引起的场景中每一处的照明升高(后面用S+D表示)。闪光照射的镜面反射分量(S)要高得多,并且仅存在于表面接近垂直的位置处。除此之外,假设环境光主要贡献于D的基线。漫射分量的值取自面部亮度的增量的中值,因为面部的大部分并非垂直于相机的光轴。通过从上述第一种方式获取区域以确定这些非垂直区域,这种方式甚至可以更精确。
图2示出每个图像帧F(横轴)的平均亮度值L(纵轴)。可以应用具有运行装置的直接交叉检测寻找两个相邻的闪光灯开和闪光灯关的图像10、11。
图3示出具有低光泽皮肤(图像12)和高光泽皮肤(图像13)的图像序列的两个示例图像12、13。每个图像是两个相邻的闪光灯开图像和闪光灯关图像的差异图像。
图4示出表面光反射的各种实例。
简言之,镜面反射分量与漫射分量值之比可以用作针对光泽量的指标。
在另一实施例中,通过闪光灯对每个颜色通道直方图移位的漫射估计的贡献来补偿非闪光图像(如图像11),从而实现更多改进。直方图匹配优选仅应用于从如图5所示的面部界标导出的跟踪面部区域,图5示出用于说明基于面部界标跟踪的自动面部区域跟踪的示例图像14、15。在两个图像14、15中,面部界标用数字表示。在图像15中,示出前额区域16和面颊区域17。替代地,前额区域可以包括眉毛之间的区域(T形区)。
图6示出两个示例性前额区域20、30,其具有红色21、31,绿色22、32和蓝色23、33直方图。在未闪光图像中获取前额区域20,在闪光图像中获取前额区域30。与直方图21、22、23相比,直方图31、32、33平均向上(右)移位,外加绿色和蓝色通道中的镜面反射分量的附加峰值。因此,直方图匹配可以用于更精确地确定每个颜色通道的闪光贡献S+D。闪光对整个光谱的亮度并非简单地具有等同贡献。简言之,绿色和蓝色的浅表皮肤反射更高。红色在皮肤中渗透地更深。
图7示出各种差异图像40、41。图像40表示记录的闪光图像和非闪光图像之间的差异。在第一次毛孔精确对准和图像块翘曲之后。保持了镜面反射分量和漫射分量。图像41表示“直方图匹配的非闪光图像”与仅产生镜面反射分量的闪光图像之间的差异。
面部界标已经给出每个连续图像帧的面部区域的稳健记录/对准。通过在该区域内密集记录图像特征点,可以可选地实现附加精度。
优选仅针对接近垂直于相机轴并且表现出显著镜面反射分量(例如,具有高于预定阈值的值)的皮肤子区域进行光泽估计计算。如上所述,通过使用基于稳健3D面部模型的面部姿态估计,可以粗略地确定图像中每个像素的“垂直度”估计。这种组合子区域可以,例如,通过如图8的实例中所示的二元掩模来说明。
每个像素的数值光泽值可以通过将镜面反射分量值除以漫射分量值来计算,并且可以被分配给二元掩模有效的皮肤区域。替代地,镜面+漫射分量除以漫射分量之比也可以用作针对光泽量的粗略指标。
在另一实施例中,将来自视频序列的多个相机视图对(面部的成角度视图)(例如,通过取最大测量的光泽)组合为单个光泽图,然后将其分配给序列视图对中具有“最”正面的图像。这可以生成针对面部每个区域或整个面部的完整光泽图。部分地被油“润滑的前额的示例输出光泽图50(具有热图颜色编码,即低值区域51、中值区域52、高值区域53),用以说明低光泽(图像的左侧部分)与中/高光泽(图像的右侧部分)之间的差异。
此外,在一个实施例中,通过在第一次曝光期间设置自动曝光同时保持闪光灯打开然后锁定曝光来自动固定曝光时间。这获得了几乎不会因过度曝光而被剪辑的记录。
在第二主实施例中,闪光的帧速率(即闪光速率)比相机的帧速率(即成像速率)高非整数倍。这导致其中闪光灯的占空比在每个单个图像中清晰可见的曝光图像。通过有意地选择不与每个帧曝光同步开始的闪光速率,被照射图像行的相位对于每个图像帧移位。虽然这种方案更复杂,但其优点在于能够以人眼无法察觉的调制速率运行闪光灯,这可能是智能手机应用光泽测量的要求。
可以精确控制闪光的时机,以知道闪光灯打开和关闭时哪些行被曝光。对于一些现有基础硬件(如某些智能手机或相机),无法轻松控制闪光灯的这么多细节。在这种情况下,如本实施例所示,可以,例如,通过将成排的图像相加并检测来自该1D调制信号的切换,从图像中稳健地提取闪光的切换发生时的图像行。图10示出这种效果的一些实例。
图10尤其示出三个示例帧60、61、62,其在以相机帧速率(即成像速率)的4.25倍切换相机闪光灯时获取,同时记录白色纸张,以说明每个图像行如何被不同地照射。重叠线63表示每个图像行的平均照度值,指示闪光的占空比和相位。
后续处理与上文中针对第一主实施例说明的处理非常相似,但要注意将每组图像行分配给闪光灯开或闪光灯关的状态。
图11示出根据本发明的皮肤光泽检测方法的流程图。在第一步S10中,以闪光速率照射皮肤区域。在第二步S11中,以不同于闪光速率的成像速率获取皮肤区域的图像。在第三步中,处理获取的图像,并且从被照明单元照射时的皮肤区域的至少一个部分(或完整)图像中、以及从不被照明单元照射时的皮肤区域的至少一个部分(或完整)图像中检测皮肤区域中的光泽量。
总之,本发明利用卷帘快门效应并增加一些处理以测量皮肤光泽。可以使用完全闪光图像和非闪光图像以低闪光速率检测光泽。即使是在闪光灯以比成像速率高得多的闪光速率更快地扰乱图像时,也可以实现这一点。利用所提出的解决方案,闪光灯在帧曝光期间多次切换不是问题。
在一个实施例中,智能手机设置为以高帧速率(成像速率)记录,例如,每秒120帧(fps),同时(同步地)以60fps的速率切换闪光灯开关。此时,记录的图像由环境照明场景(例如,由面部组成)和环境照明加闪光照明场景交替地组成。使用精确面部特征和姿态跟踪已经显示出相对于环境分量隔离和测量镜面反射分量,这是皮肤光泽度量的强指示。附加地,在第二实施例中,相机以较低帧速率运行,而闪光灯以高于该帧速率特定非整数倍的速率运行,由于卷帘快门效应,导致每组图像行中的不同照明。虽然有卷帘快门效应,但计算机视觉技术可以用于对准面部区域并测量相同区域的不同曝光,从而产生类似的光泽测量。
虽然附图和以上描述中已经详细说明并描述了本发明,但这些说明和描述应视为说明性或示例性的,而非限制性的;本发明不限于所公开的实施例。在实践所要求保护的发明的过程中,通过学习附图、公开内容及所附权利要求,本领域技术人员对于所公开实施例的其它变型是可以理解并实现的。
在权利要求中,“包括”一词不排除其它元件或步骤,不定冠词“一”或“一个”不排除多个。单个元件或其它单元可以满足权利要求中所述的多项功能。某些措施被记载在相互不同的从属权利要求中的事实不指示这些措施的组合不能被用于获得优势。
计算机程序可以储存/分布在适当的非瞬时介质上,如与其它硬件一起供应或作为其一部分的光学存储介质或固态介质,但也可以以其它形式分布,如经由网络或其它有线或无线通信系统。
权利要求中的任意附图标记不应该理解为限定其范围。
Claims (15)
1.一种用于皮肤光泽检测的设备,所述设备包括:
-照明单元(2),用于以闪光速率照射皮肤区域,
-成像单元(3),用于以不同于所述闪光速率的成像速率来获取所述皮肤区域的图像,其中所述照明单元的照射打开时的所述皮肤区域的图像、和所述照明单元的照射关闭时的所述皮肤区域的图像被获取,以及
-处理单元(4),用于通过从被所述照明单元照射时的所述皮肤区域的至少一个部分图像和未被所述照明单元照射时的所述皮肤区域的至少一个部分图像中的镜面反射分量和漫射分量中检测所述皮肤区域中的光泽量,来处理获取的图像。
2.根据权利要求1所述的设备,
其中,所述成像单元(3)配置为以高于所述闪光速率的成像速率来获取被照射的皮肤区域的图像。
3.根据权利要求1所述的设备,
其中,所述照明单元(2)配置为以比所述成像速率高的倍数的闪光速率来照射所述皮肤区域。
4.根据权利要求3所述的设备,
其中,所述照明单元(2)配置为以比所述成像速率两倍高的非整数倍的闪光速率来照射所述皮肤区域。
5.根据权利要求1所述的设备,
进一步包括:控制单元(5),用于控制所述闪光速率和/或所述成像速率。
6.根据权利要求5所述的设备,
其中,所述控制单元(5)配置为生成具有可修改的占空比的可配置的时间光图案。
7.根据权利要求1所述的设备,
其中,所述处理单元(4)配置为:确定所述皮肤区域的一个或多个子区域中的镜面反射分量,并且通过确定所述一个或多个子区域中的镜面反射分量与所述一个或多个子区域中的漫射分量之比来确定所述子区域中的皮肤光泽量。
8.根据权利要求1所述的设备,
其中,所述处理单元(4)配置为:确定被照射的皮肤区域的基本上垂直于所述成像单元的光轴的皮肤子区域,并且从所确定的皮肤子区域中确定皮肤光泽量。
9.根据权利要求8所述的设备,
其中,所述处理单元(4)配置为:通过使用评估皮肤界标和/或姿态估计的可变形模型,或通过检测闪光分量和漫射分量来确定所述皮肤子区域。
10.根据权利要求1所述的设备,
其中,所述处理单元(4)进一步配置为:利用照射对每个颜色通道直方图移位的漫射分量估计的贡献,来补偿未被所述照明单元照射时的所述皮肤区域的一个或多个图像。
11.根据权利要求1所述的设备,
其中,所述处理单元(4)配置为:确定每个像素的数值皮肤光泽值,尤其是通过将每个像素的镜面分量值除以每个像素的漫射分量值,或者通过将每个像素的镜面分量值和每个像素的漫射分量值的和除以每个像素的漫射分量值。
12.根据权利要求1所述的设备,
其中,所述处理单元(4)配置为:确定所述皮肤区域的皮肤光泽图,所述皮肤光泽图指示每个像素或每组像素的皮肤光泽量。
13.根据权利要求1所述的设备,
其中,所述设备是移动用户设备,尤其是智能电话、相机、笔记本电脑或平板电脑。
14.一种用于皮肤光泽检测的方法,所述方法包括:
-以闪光速率照射皮肤区域,
-以不同于所述闪光速率的成像速率来获取所述皮肤区域的图像,其中照射打开时的所述皮肤区域的图像和照射关闭时的所述皮肤区域的图像被获取,以及
-通过从被照射时的所述皮肤区域的至少一个部分图像和未被照射时的所述皮肤区域的至少一个部分图像中的镜面反射分量和漫射分量中检测所述皮肤区域中的光泽量,来处理获取的图像。
15.一种包括程序代码装置的计算机程序,当所述计算机程序在根据权利要求1所述的设备上执行时,所述程序代码装置用于使所述设备执行根据权利要求14所述的方法的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16176320 | 2016-06-27 | ||
EP16176320.6 | 2016-06-27 | ||
PCT/EP2017/064483 WO2018001727A1 (en) | 2016-06-27 | 2017-06-14 | Device and method for skin gloss detection |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109414182A true CN109414182A (zh) | 2019-03-01 |
CN109414182B CN109414182B (zh) | 2022-01-28 |
Family
ID=56363715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780039800.6A Active CN109414182B (zh) | 2016-06-27 | 2017-06-14 | 用于皮肤光泽检测的设备和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20200305784A1 (zh) |
EP (1) | EP3474727B1 (zh) |
CN (1) | CN109414182B (zh) |
BR (1) | BR112018076965A8 (zh) |
RU (1) | RU2745612C2 (zh) |
WO (1) | WO2018001727A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018222122A1 (de) * | 2018-12-18 | 2020-06-18 | Henkel Ag & Co. Kgaa | Verfahren zum bestimmen von glanz eines abschnitts einer haut eines benutzers |
WO2020191259A1 (en) * | 2019-03-21 | 2020-09-24 | Event Capture Systems, Inc. | Infrared and broad spectrum illumination for simultaneous machine vision and human vision |
USD978685S1 (en) * | 2020-02-14 | 2023-02-21 | Proceq Ag | Housing for glossmeter |
EP3922168A1 (en) * | 2020-06-10 | 2021-12-15 | Koninklijke Philips N.V. | Determining intensity distributions |
CN114983338A (zh) * | 2021-03-02 | 2022-09-02 | 华为技术有限公司 | 一种皮肤检测方法和电子设备 |
EP4059411A1 (en) * | 2021-03-18 | 2022-09-21 | Koninklijke Philips N.V. | A method and system for analysing objects |
KR102611931B1 (ko) * | 2021-04-30 | 2023-12-08 | 선문대학교 산학협력단 | 얼굴 검지 영상의 윤곽 확장 장치 및 방법 |
CN114710627B (zh) * | 2022-04-06 | 2024-03-29 | Oppo广东移动通信有限公司 | 皮肤检测方法、移动终端、计算机设备和介质 |
US20240022826A1 (en) * | 2022-07-18 | 2024-01-18 | Ford Global Technologies, Llc | Illumination control for vehicle sensors |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4846184A (en) * | 1985-04-09 | 1989-07-11 | Sanofi | Skin reflectance measuring apparatus |
CN1182572A (zh) * | 1996-10-25 | 1998-05-27 | 花王株式会社 | 皮肤表面状态的光学特性测定方法及其装置 |
EP1297781A1 (en) * | 2001-10-01 | 2003-04-02 | L'oreal | Early detection of beauty treatment progress |
US20030169907A1 (en) * | 2000-07-24 | 2003-09-11 | Timothy Edwards | Facial image processing system |
TW200428231A (en) * | 2003-06-11 | 2004-12-16 | Kose Corp | Skin evaluation method and image simulation method |
US20060092315A1 (en) * | 2004-10-29 | 2006-05-04 | Johnson & Johnson Consumer Companies, Inc. | Skin Imaging system with probe |
CN101229055A (zh) * | 2007-01-23 | 2008-07-30 | 船井电机株式会社 | 皮肤区域检测成像设备 |
US7437344B2 (en) * | 2001-10-01 | 2008-10-14 | L'oreal S.A. | Use of artificial intelligence in providing beauty advice |
CN101843475A (zh) * | 2009-03-26 | 2010-09-29 | 强生消费者公司 | 测定皮肤红斑的方法 |
US20120078113A1 (en) * | 2010-09-28 | 2012-03-29 | Point of Contact, LLC | Convergent parameter instrument |
CN102739942A (zh) * | 2011-04-11 | 2012-10-17 | 三星电子株式会社 | 数字图像拍摄设备及其控制方法 |
CN103561647A (zh) * | 2011-05-31 | 2014-02-05 | 皇家飞利浦有限公司 | 用于监测用户的皮肤颜色的方法和系统 |
CN103764019A (zh) * | 2011-09-02 | 2014-04-30 | 皇家飞利浦有限公司 | 用于生成生物的生物测量信号的相机 |
CN104414646A (zh) * | 2013-08-27 | 2015-03-18 | 索尼公司 | 成像装置及其成像方法、图像处理装置及其图像处理方法 |
CN104434038A (zh) * | 2014-12-15 | 2015-03-25 | 无限极(中国)有限公司 | 对采集到的肤质数据进行处理的方法、装置及系统 |
CN104704531A (zh) * | 2012-10-12 | 2015-06-10 | 皇家飞利浦有限公司 | 用于访问对象的面部的数据的系统 |
CN105050492A (zh) * | 2013-03-14 | 2015-11-11 | 皇家飞利浦有限公司 | 用于确定对象的生命体征的设备和方法 |
CN204839482U (zh) * | 2015-01-26 | 2015-12-09 | 周常安 | 发光装置及使用该发光装置的生理反馈系统 |
CN105427306A (zh) * | 2015-11-19 | 2016-03-23 | 上海家化联合股份有限公司 | 皮肤光泽度的图像分析方法和装置 |
US20160098614A1 (en) * | 2014-10-06 | 2016-04-07 | Panasonic Intellectual Property Management Co., Ltd. | Gloss determination device and gloss determination method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7689035B2 (en) * | 2005-06-17 | 2010-03-30 | The Regents Of The University Of California | Methods for identifying, separating and editing reflection components in multi-channel images and videos |
RU2322943C2 (ru) * | 2006-04-20 | 2008-04-27 | Московская городская онкологическая больница №62 (МГОБ №62) | Способ комплексной диагностики меланомы кожи |
-
2017
- 2017-06-14 US US16/311,443 patent/US20200305784A1/en active Pending
- 2017-06-14 BR BR112018076965A patent/BR112018076965A8/pt not_active IP Right Cessation
- 2017-06-14 WO PCT/EP2017/064483 patent/WO2018001727A1/en unknown
- 2017-06-14 EP EP17731516.5A patent/EP3474727B1/en active Active
- 2017-06-14 CN CN201780039800.6A patent/CN109414182B/zh active Active
- 2017-06-14 RU RU2019102046A patent/RU2745612C2/ru active
Patent Citations (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4846184A (en) * | 1985-04-09 | 1989-07-11 | Sanofi | Skin reflectance measuring apparatus |
CN1182572A (zh) * | 1996-10-25 | 1998-05-27 | 花王株式会社 | 皮肤表面状态的光学特性测定方法及其装置 |
US20030169907A1 (en) * | 2000-07-24 | 2003-09-11 | Timothy Edwards | Facial image processing system |
EP1297781A1 (en) * | 2001-10-01 | 2003-04-02 | L'oreal | Early detection of beauty treatment progress |
US7437344B2 (en) * | 2001-10-01 | 2008-10-14 | L'oreal S.A. | Use of artificial intelligence in providing beauty advice |
TW200428231A (en) * | 2003-06-11 | 2004-12-16 | Kose Corp | Skin evaluation method and image simulation method |
US20060092315A1 (en) * | 2004-10-29 | 2006-05-04 | Johnson & Johnson Consumer Companies, Inc. | Skin Imaging system with probe |
CN101229055A (zh) * | 2007-01-23 | 2008-07-30 | 船井电机株式会社 | 皮肤区域检测成像设备 |
CN101843475A (zh) * | 2009-03-26 | 2010-09-29 | 强生消费者公司 | 测定皮肤红斑的方法 |
US20120078113A1 (en) * | 2010-09-28 | 2012-03-29 | Point of Contact, LLC | Convergent parameter instrument |
CN102739942A (zh) * | 2011-04-11 | 2012-10-17 | 三星电子株式会社 | 数字图像拍摄设备及其控制方法 |
CN103561647A (zh) * | 2011-05-31 | 2014-02-05 | 皇家飞利浦有限公司 | 用于监测用户的皮肤颜色的方法和系统 |
CN103764019A (zh) * | 2011-09-02 | 2014-04-30 | 皇家飞利浦有限公司 | 用于生成生物的生物测量信号的相机 |
CN104704531A (zh) * | 2012-10-12 | 2015-06-10 | 皇家飞利浦有限公司 | 用于访问对象的面部的数据的系统 |
CN105050492A (zh) * | 2013-03-14 | 2015-11-11 | 皇家飞利浦有限公司 | 用于确定对象的生命体征的设备和方法 |
CN104414646A (zh) * | 2013-08-27 | 2015-03-18 | 索尼公司 | 成像装置及其成像方法、图像处理装置及其图像处理方法 |
US20160098614A1 (en) * | 2014-10-06 | 2016-04-07 | Panasonic Intellectual Property Management Co., Ltd. | Gloss determination device and gloss determination method |
CN105488782A (zh) * | 2014-10-06 | 2016-04-13 | 松下知识产权经营株式会社 | 光泽判定装置以及光泽判定方法 |
CN104434038A (zh) * | 2014-12-15 | 2015-03-25 | 无限极(中国)有限公司 | 对采集到的肤质数据进行处理的方法、装置及系统 |
CN204839482U (zh) * | 2015-01-26 | 2015-12-09 | 周常安 | 发光装置及使用该发光装置的生理反馈系统 |
CN105427306A (zh) * | 2015-11-19 | 2016-03-23 | 上海家化联合股份有限公司 | 皮肤光泽度的图像分析方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
RU2019102046A (ru) | 2020-07-28 |
CN109414182B (zh) | 2022-01-28 |
US20200305784A1 (en) | 2020-10-01 |
RU2019102046A3 (zh) | 2020-10-13 |
BR112018076965A2 (pt) | 2019-04-02 |
WO2018001727A1 (en) | 2018-01-04 |
EP3474727B1 (en) | 2019-10-30 |
BR112018076965A8 (pt) | 2023-03-07 |
RU2745612C2 (ru) | 2021-03-29 |
EP3474727A1 (en) | 2019-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109414182A (zh) | 用于皮肤光泽检测的设备和方法 | |
US11039119B2 (en) | Photography system with depth and position detection | |
CN107347151B (zh) | 双目摄像头遮挡检测方法及装置 | |
JP4307496B2 (ja) | 顔部位検出装置及びプログラム | |
CN110168562B (zh) | 基于深度的控制方法、基于深度的控制装置和电子装置 | |
US10755418B2 (en) | Background blurred method and electronic device based on foreground image | |
KR100474312B1 (ko) | 디지털 카메라의 자동 주밍 방법 | |
WO2019047985A1 (zh) | 图像处理方法和装置、电子装置和计算机可读存储介质 | |
CN107454315B (zh) | 逆光场景的人脸区域处理方法和装置 | |
CN105872399B (zh) | 逆光检测方法和逆光检测系统 | |
Leipner et al. | 3D mug shot—3D head models from photogrammetry for forensic identification | |
JP2007026073A (ja) | 顔姿勢検出システム | |
CN110910449B (zh) | 识别物体三维位置的方法和系统 | |
CN109583330B (zh) | 一种用于人脸照片的毛孔检测方法 | |
JP2021058361A (ja) | 生体情報取得装置およびプログラム | |
Harville et al. | Consistent image-based measurement and classification of skin color | |
KR20180000580A (ko) | 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 | |
JP2014178146A (ja) | 画像処理装置及び方法 | |
CN113992904B (zh) | 一种信息处理方法、装置、电子设备和可读存储介质 | |
CA2812021C (en) | Photography system with depth and position detection | |
Berueco et al. | Age Estimation Using Support Vector Machine–Sequential Minimal Optimization | |
EP4307984B1 (en) | A method and system for analysing objects | |
JPH11283036A (ja) | 対象物検出装置及び対象物検出方法 | |
JP2007200289A (ja) | 目の位置の検出方法 | |
CN105760868A (zh) | 调整图像中的目标物色倾向的方法、装置及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |