CN118215433A - 用于表征角蛋白纤维、特别是人类睫毛的方法和系统 - Google Patents
用于表征角蛋白纤维、特别是人类睫毛的方法和系统 Download PDFInfo
- Publication number
- CN118215433A CN118215433A CN202280074393.3A CN202280074393A CN118215433A CN 118215433 A CN118215433 A CN 118215433A CN 202280074393 A CN202280074393 A CN 202280074393A CN 118215433 A CN118215433 A CN 118215433A
- Authority
- CN
- China
- Prior art keywords
- eyelashes
- image
- pixels
- lashes
- fibres
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000000720 eyelash Anatomy 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 49
- 102000011782 Keratins Human genes 0.000 title description 4
- 108010076876 Keratins Proteins 0.000 title description 4
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 19
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims description 25
- 239000000835 fiber Substances 0.000 claims description 21
- 239000002537 cosmetic Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000000047 product Substances 0.000 description 20
- 210000000554 iris Anatomy 0.000 description 15
- 230000000694 effects Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 9
- 238000001514 detection method Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N Acrylic acid Chemical compound OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000035985 Body Odor Diseases 0.000 description 1
- 206010040904 Skin odour abnormal Diseases 0.000 description 1
- 229920002125 Sokalan® Polymers 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 229960001631 carbomer Drugs 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 210000004392 genitalia Anatomy 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002200 mouth mucosa Anatomy 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000135 prohibitive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/448—Hair evaluation, e.g. for hair disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1077—Measuring of profiles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Dermatology (AREA)
- Image Processing (AREA)
- Cosmetics (AREA)
Abstract
本发明涉及一种用于表征睫毛或眉毛的方法，所述方法由计算机实施并且包括以下步骤，所述步骤涉及：‑接收与身体区域的特写图像中的一组像素相对应的数据，所述身体区域包括待表征的多根睫毛，优选为整体一排睫毛或整体眉毛；‑应用至少一个计算机视觉步骤，以便基于接收的所述图像数据在尤其是纤维的数量、所述纤维的平均长度、所述纤维的平均粗细和所述纤维的曲率中获得至少一个特征数值参数的数值评估。
Description
本发明涉及一种用于表征如睫毛或眉毛等角蛋白纤维的方法，目的是选择化妆品组合物并将该化妆品组合物涂抹到所述角蛋白纤维。
表述“化妆品产品”应理解为意指如2009年11月30日欧洲议会和理事会关于化妆品产品的第1223/2009号法规(EC)中定义的任何产品。
因此，化妆品产品通常被定义为旨在与人体的浅表部分(表皮、体毛和头发系统、指甲、唇部和外生殖器)或与牙齿和口腔粘膜接触的物质或混合物，目的是专门或主要地清洁它们、使它们具有芳香味、改变它们的外观、保护它们、使它们保持良好状态、或消除体味。
本发明更具体地涉及表征睫毛，尤其是人类睫毛，目的是对其涂抹如睫毛膏等化妆或护理组合物。
术语“睫毛膏”应理解为旨在涂抹到睫毛上的组合物。其尤其可以是用于睫毛的化妆组合物、用于睫毛的妆前打底(或“底涂层”)、要涂抹在睫毛膏上的组合物(或“表涂层”)或者甚至是用于睫毛的化妆处理的组合物。睫毛膏更特别地旨在用于人类睫毛，还用于假睫毛。
涂抹睫毛膏具体地涉及尤其是通过或多或少地增加睫毛的体积和/或长度而增加凝视度。原理在于在睫毛上沉积期望量的物质，以得到这种丰盈和/或延长的效果。
化妆品产品通过涂抹件进行涂抹。
通常，涂抹件包括涂抹件构件，其连接到用于通过手柄抓握的构件。
涂抹件构件限定涂抹表面，并且具有大体细长的主体或芯，其能够承载从所述芯伸出的涂抹件元件。优选地，涂抹件元件在基本上垂直于(特别是径向于)芯的大体方向上延伸。
在涂抹的过程中，涂抹件构件承载有化妆品产品并且与纤维接触，以便允许产品被沉积在纤维上。间隔开的涂抹件元件形成化妆品产品储存区。它们还允许将睫毛分开/梳理，从而优化产品在每根睫毛上的沉积。
已知的是睫毛膏和涂抹件套装被设计为产生各种效果，特别是根据所使用的睫毛膏的组合物和涂抹件而产生或多或少的丰盈和/或延长效果。因此，每种商业产品都具有特定效果。
当然，最终结果还取决于用户睫毛的初始特征。因此，睫毛浓密且粗的用户只需使用轻淡的睫毛膏来获得明显的丰盈效果，而睫毛稀疏且细的用户必须使用特定的睫毛膏，允许所述睫毛大量承载产品。
根据期望效果寻找合适的产品是非常复杂的，并且可能需要尝试多个产品，这可能会让消费者望而却步。
化妆品行业的一个目标是不断改善其消费者的体验，并且提供更好地适合消费者的需求及其特定特征的产品和组合物。
正因如此，需要开发允许用户更好地了解自己的睫毛的特征的系统，目的是更容易地选择有可能给其带来期望效果的产品。
为此，文献JP5279213B2提供了一种仪器，该仪器允许评估睫毛的各种参数，比如睫毛的长度、密度及其曲率。参考仪器上标记的对应标尺对每个参数进行人工评估。
然而，这种仪器并不容易使用，需要多次定位和读取操作，并且严重限制了与用户和消费者互动的可能性。
为了应对这些限制，本发明涉及一种用于表征睫毛的方法，该方法包括以下步骤，这些步骤涉及：
-接收与形成身体区域的特写图像的一组像素相对应的数据，该身体区域包括待表征的多根睫毛，优选为整体一排睫毛；
-对接收的图像数据应用至少一个计算机视觉步骤，以及
-从计算机视觉步骤中在尤其是纤维的数量、纤维的平均长度和纤维的平均粗细中获得所述睫毛的至少一个特征参数的数值评估。
事实上，令人意外的是，注意到使用“机器视觉”技术可以允许对睫毛进行定量表征。事实上，睫毛是较小的对象，直径大体上为一百微米左右且数量相对较少(眼睛上面一排的睫毛大约有一百根)。因此，使用计算机视觉技术识别和处理睫毛可能似乎特别困难。
事实上，众所周知的做法是使用计算机视觉技术来检测图像中眼睛的虹膜(例如，参见：Jus Lozej，Blaz Meden，Vitomir Strucy，Peter Peer，“End-to-End IrisSegmentation using U-Net[使用U-Net进行端到端虹膜分割]”，2018年IEEE仿生智能国际工作会议(IWOBI)，DOI:10.1109/IWOBI.2018.8464213)。在这种虹膜检测方法的上下文中，必须从图像中消除睫毛(也就是说，图像中的睫毛像素被分类为不属于被搜索对象)，并且很少有人关注对其进行有效的识别和分割。
换句话说，本方法涉及通过选择并保留图像中的睫毛像素而使该方法反转，以便允许提取并确定特征数值参数。因此，尤其可以实施用于虹膜的U-Net网络，并对其进行适当地训练以用于识别睫毛。
此外，这种方法允许基于同一图像评估多个参数，在适用的情况下，在图像经过计算机视觉步骤之后，进行多个图像分析和/或计算步骤。
当然，可以将以不同方式(侧面、闭眼等)拍摄的多个图像应用于计算机视觉步骤，以便加强评估的可靠性(对结果进行平均等)，或甚至评估其他参数，这些参数可以基于从另一个角度拍摄的图像而以更可靠的方式获得(例如，在评估曲率时，侧面看到的睫毛图像可能是优选的)。
表述“特写图像”应被理解意指对人体的一部分单独成帧；在这种情况下，特写图像以眼睛的至少包括睫毛的区域为中心。优选地，图像还包括眼睛，特别是它的虹膜。附加地，图像还可以包括与所考虑的眼睛区域相对应的眉毛。优选地，特写图像将鼻子、特别是鼻翼排除在外。
使用特写图像允许其尽可能确保图像中存在的睫毛至少将占据宽度方向上的几个像素。
该方法可以包括通过相机进行图像获取的先行步骤，该图像获取步骤有利地在从睫毛上卸掉化妆品的步骤和/或梳理睫毛的步骤之后进行，该梳理优选地在卸妆后执行。
这些步骤且特别是梳理步骤允许优化睫毛的分离和独立化，从而使它们更容易在所拍摄的图像中呈现和识别。
该获取步骤由数码相机执行，其特别是集成在平板计算机或个人电话中的数码相机，包括至少6MP、优选地至少8MP、或甚至至少12MP的传感器。图像可以有利地使用HDR(高动态范围)模式获取。优选地，特写图像具有的最小分辨率为4K、更好为8K，且至少包含8MP、优选地12MP或甚至24MP。
这种分辨率允许确保睫毛的大部分纤维在其直径上占据所获取图像的宽度方向上的多个像素。
优选地，特写图像是在获取步骤期间近距离直接拍摄的(特写摄影)，例如与睫毛的距离为10至50cm、优选地为15至25cm。即使不期望如此，当然也可以使用变焦、优选是光学变焦，但如果图像质量和分辨率保持足够高也可以使用数字变焦。优选地，不使用变焦。也可以使用相机的“微距”模式。
但是，特写图像也可以是对较大图像、尤其是被称为“全脸”图像的图像进行再成帧后得到的。对感兴趣区域、特别是眼睛和眉毛的区域进行再成帧本身可以经由图像处理步骤执行，从而允许识别和分割面部的元素。
为此，可以尤其实施用于检测和用于分割面部特征的技术，比如，这些技术例如在该文献中描述：ZakiaHammal，Nicolas Eveno，Alice Caplier，Pierre-Yves Coulon，“Parametric models for facial features segmentation[用于面部特征分割的参数模型]”，信号处理，爱思唯尔，2005年，86，第399-413页，hal-00121793，或者如face_recognition等软件模块(其在地址https://github.com/ageitgey/face_recognition处可得)。因此，识别和检测眼睛和/或眉毛允许对图像进行适当地裁剪，以便获得期望的特写图像。
根据所使用图像的质量，睫毛可以只表示像素总数量的约0.5％(对于利用1200万像素的传感器拍摄的图像，大约60000个睫毛像素)。因此，在本专利申请的方法的上下文中，需要优化其检测。
有利地，图像获取步骤包括将相机对焦到睫毛上的步骤。特别地，在拍摄图像之前，操作者可以执行自动对焦。这允许优化图像中睫毛的清晰度。
替代性地或附加地，获取步骤包括检查图像的清晰度的步骤，尤其是通过应用算法标准，比如拉普拉卡方差(参见：R.Bansal，G.Raj和T.Choudhury“Blur image detectionusing Laplacian operator and Open-CV[使用拉普拉卡算子和Open-CV的模糊图像检测]”，2016年系统建模与研究发展趋势国际会议(SMART)，2016年，第63-67页，doi：10.1109/SYSMART.2016.7894491)。因此，清晰度相对于预定义阈值不足的图像可能会被拒绝，和/或操作者可能会被询问是否期望拍摄新图像。清晰度的程度也可以直接呈现给操作者，以帮助他们评估和拍摄图像。在拍摄图像时，有利地，可以使用闪光灯或额外的照明。使用这种额外照明允许限制环境光度变化的影响。
有利地，在所考虑的一排睫毛下方以低角度镜头执行图像获取步骤，优选地以10至45度的角度、优选地以15至20度的角度。
有利地，还在受试者优选地站立并使自己的头部基本上挺直的情况下执行获取步骤。非常优选地，在受试者睁开自己的眼睛并且向上凝视的情况下执行获取步骤。
以此方式，所考虑的睫毛或一排睫毛在整体上基本平行于相机镜头的平面，这允许优化计算机视觉步骤对睫毛的检测和表征。
根据第一实施例，计算机视觉步骤实施直接回归方法的方式尤其是应用特别是ResNet型的残差神经网络，(参见例如，K.He，X.Zhang，S.Ren和J.Sun，“用于图像识别的深度残差学习[Deep Residual Learning for Image Recognition]”，2016年IEEE计算机视觉与模式识别大会(CVPR)，2016年，第770-778页，doi：10.1109/CVPR.2016.90)。
使用这种方法允许基于图像获得通过神经网络搜索的特征参数的直接数值估计。有利地，这种方法可以允许避免分割睫毛的一个或多个附加步骤。
根据第二替代或附加的实施例，计算机视觉步骤包括通过分割睫毛的纤维进行识别的至少一个步骤。
有利地，计算机视觉步骤包括通过分割睫毛的根部和/或尖端进行识别的步骤。
可以特别地通过应用经过对应地训练的人工智能模型来实施分割步骤，以便允许检测所搜索的对象。尤其通过将像素分类为属于或不属于所搜索的对象来执行分割步骤，并且该分割步骤允许获得一个或多个对应的分割掩模。
特别地，分割步骤通过实施U-Net神经网络(Ronneberger O.，Fischer P.，BroxT.(2015)U-Net:Convolutional Networks for Biomedical Image Segmentation[U-Net:用于生物医学图像分割的卷积网络]，Navab N.，Hornegger J.，Wells W.，Frangi A.(编者)，医学图像计算和计算机辅助干预-MICCAI 2015.MICCAI 2015，计算机科学讲义，第9351卷，施普林格，卡姆.https://doi.org/10.1007/978-3-319-24574-4_28)来执行。这些网络允许将图像中的像素分类到各个类别中；在表征睫毛的当前情况中，可以存在以下类别：纤维、根部和尖端等。由此分类的像素允许生成一个或多个相关联的分割掩模。
事实上，据记录这种网络特别适合于检测纤维。
但是，如果所提交的图像包括若干类型的纤维，那么其可能难以对这些纤维进行区分。因此，例如，如果特写图像包括睫毛和眉毛二者，那么所实施的神经网络可能无法对它们进行区分，这尤其是由于局部分类方法不会考虑所考虑像素的整体定位来估计该像素属于面部的一个元素还是属于另一个元素。
为了解决这个困难，可能有必要执行对所提交的特写图像进行再成帧的初步步骤，在该步骤中，消除眉毛，或者只对图像中存在睫毛的一小块区域应用计算机视觉步骤(且尤其是分割步骤)，而将眉毛排除在外。可以通过提前实施将图像中的像素分类为是否属于睫毛区域的步骤而获得这一小块区域。该分类步骤可以实施先前提到的U-Net型的神经网络。有利地，还可以在该步骤期间检测虹膜或另一参考元素，尤其是为了允许校准距离，如下文所解释的。
优选地，该方法包括生成图像的步骤，该图像强调在接收的图像中通过分割识别的元素。尤其可以通过对图像中被识别为属于特征元素的像素的特定着色来强调所识别的元素。所生成的图像可以特别地由至少一个叠加过滤器组成，该叠加过滤器是基于一个或多个分割掩模获得的并且能够叠加显示在原始图像(其可以可选地经过一个或多个第一图形修改，比如颜色反转)上。
特别地，叠加过滤器可以包括与通过分割所识别的任何特定元素不对应的深色(例如，黑色)的像素，以及与通过分割所识别的第一元素(例如，睫毛的纤维)对应的第一颜色(例如，红色)的像素。第二过滤器或相同过滤器可以包括与通过分割所识别的第二元素(例如，睫毛的尖端)对应的第二颜色(例如，橙色)的像素。第三过滤器或相同过滤器可以包括与通过分割所识别的第三元素(例如，睫毛的根部)对应的第三颜色(例如，绿色)的像素。
附加地，在该一个或多个分割步骤之后是基于通过分割而分类的像素来计算期望的特征参数的至少一个步骤。
优选地，纤维的平均长度借助于从每根纤维的根部到尖端的距离来获得。
同样优选地，纤维的数量通过像素跳跃方法确定。像素跳跃方法尤其包括涉及以下内容的步骤：限定延伸穿过在图像中获取的所有睫毛(尤其穿过一排睫毛)的一个或多个像素横向行，所述横向行定位在先前识别的根部至尖端。该横向中间行中的像素在给定方向上交叉，并且可以基于交叉像素的颜色变化对纤维进行计数。这可以在原始图像中确定，也可以在基于分割掩模修改的图像中确定。
根据用于图像获取的传感器，距离可以被确定并表示为像素数量或任何特征距离。
附加有利的是，相对于至少一个参考元素确定距离，该参考元素存在于所接收的身体区域的图像中，尤其是在所接收的特写图像中。特别地，参考元素是具有在人群中基本上固定的平均尺寸的特征性面部特征。
特别地，当特写图像包括眼睛和/或其虹膜时，可以使用虹膜的直径(其被认为具有大约10mm的标准平均距离)和/或睑裂(其被认为具有大约3cm的标准平均距离)。
可以通过适当的分割步骤在图像中识别这些参考元素，从而允许对与所搜索的参考尺寸相关联的像素的数量进行计数。因此，在长度和/或宽度方向上形成睫毛的像素的数量可以容易地被转换成可理解的实际距离，该距离可以尤其用标准单位(特别是厘米或毫米)表示。
由此确定的所有或部分特征参数(特别是所检测的睫毛的数量以及其平均长度和平均粗细)都可以显示并呈现给用户。有利地，每个参数都显示在计量器上，该计量器相对于参考值(比如针对所考虑人群的平均值)对其定位。
附加地，该方法包括在基于所述睫毛的至少一个特征参数、优选地基于至少两个参数建立的至少两种类型中对这些睫毛进行分类的附加步骤。
特别地，可以根据睫毛的密度(数量)及其平均长度按照以下类型来分类睫毛：
-短而稀疏
-长而稀疏
-中等长度和中等浓密
-短而浓密
-长而浓密
相对于针对所考虑特征的参考值确定相对特征，比如短/长和浓密/稀疏。与显示一样，参考值可以特别是给定人群的平均值。
附加有利地，该方法包括用户选择期望处理结果的附加步骤。特别地，在睫毛和涂抹睫毛膏的情况下，用户可能会被询问其是在搜索“自然丰盈”、“强烈丰盈”还是“极致丰盈”。
然后，可以进行基于所确定的至少一个特征参数、并且尤其是基于所确定的类型和期望处理结果来查询数据库的步骤，以确定至少一个推荐化妆品产品。
该方法包括呈现由此确定的产品的步骤。
因此，对于睫毛稀疏而短并期望获得“自然丰盈”效果的人，就可以向其提供实现适度丰盈效果的睫毛膏。
已经拥有大量相对较长的睫毛并且也期望“自然丰盈”的效果的人将被提供丰盈效果小得多的睫毛膏。
当然，这些计算机实施的步骤中的所有或部分可以在本地执行，也可以在发送图像数据后由远程服务器执行，该数据能够通过任何已知的方式、特别是通过任何无线通信方式进行传输。
优选地，图像获取步骤和全部或部分数据处理或数据传输步骤由同一便携式设备执行。该便携式设备可以特别是具有内置相机的便携式平板计算机或电话。
因此，本发明还涉及一种用于实施根据本发明的方法的计算机系统，该计算机系统包括：
-导入和/或获取特写图像的至少一个装置，
-用于实施这些处理步骤中的全部或部分、并且尤其是这些计算机视觉步骤和这些数值评估步骤的计算装置，以及
-被配置为允许显示获得的这些数值评估结果的至少一个显示装置。
优选地，能够执行这些计算机视觉和/或数值评估步骤的该计算装置的全部或部分属于远程服务器，该远程服务器不同于并入该图像导入和/或获取装置的设备。
通过阅读以下仅通过非限制性示例并参考附图给出的说明，本发明的进一步目的、特征和优点将变得显而易见，在附图中：
图1是用于实施本发明的方法并显示可以获得的结果的便携式平板计算机的截图的图示。
如前文详细描述的，本文的计算机实施的方法主要涉及允许表征用户的睫毛，以便尤其能够根据所确定的一个或多个数值参数向这些用户推荐合适的化妆品产品。
为此目的，使用包括内置相机的平板计算机来实施本方法。
第一步骤中，拍摄眼睛的区域的特写图像1，该区域包括睫毛、特别是一整排睫毛以及对应的眉毛。
需要注意的是，在获取之前，用户的睫毛已经卸妆并梳理过。
此外，在拍摄图像时，相机在睫毛上对焦，以获得尽可能清晰的睫毛图像。在这种情况下，清晰度由操作者通过视觉评估。
图像是在眼睛睁开、头部挺直并且向上凝视的情况下拍摄的。
图像是在不使用变焦的情况下在距睫毛大约15cm的距离处拍摄的。
图像还是在所考虑的一排睫毛下方以低角度镜头(以15至20度的角度)拍摄的。
然后，通过计算机视觉步骤对构成由此获取的图像的全部像素进行处理。
由于个人平板计算机所配备的处理器通常没有足够的计算能力，因此有利的是将图像数据传输到远程服务器进行处理，然后再将结果发送回个人平板计算机进行显示。
在第一处理步骤期间，初始图像包括确定图像中的睫毛区域的步骤，这是为了消除眉毛区域，因为眉毛的纤维很可能与睫毛混淆。
在适用的情况下，根据本专利申请的方法可以可选地根据相同的原则应用于眉毛。然后，图像将是基本上正面拍摄的，并在适用的情况下将该排睫毛从图像和/或从处理中消除。
在该步骤期间，还可以对虹膜进行分割，以便将其用作后续确定距离的参考元素。
睫毛区域由此被分离，在该区域中的像素经过分类步骤，从而允许将这些像素识别为纤维像素、尖端像素和/或根部像素。
如图1可见，最初获取的图像1的图像100被显示，以便通过着色强调所识别的元素。因此，图像100经过颜色反转(皮肤显示为蓝色，虹膜显示为白色，而巩膜显示为黑色)和纤维像素(红色)、尖端像素(橙色)和根部像素(绿色)的特定着色。
因此，在对睫毛区域中的各个像素进行识别和分类后，就可以计算出感兴趣的数值参数。
首先，通过像素跳跃方法确定图像中睫毛的总数量，这在先前已经解释过。
所检测的睫毛数量被显示10并以游标11的形式呈现给用户，该游标在计量器12上相对于给定人群的参考平均值13被定位。在这种情况下，已确定睫毛数量为82根，并且该数量被认为略高于被测样本人群的睫毛平均数量。
在通过像素跳跃对睫毛进行计数的同时，还可以确定所计数的每根睫毛的粗细(交叉像素的数量)。睫毛的数量允许获得平均粗细。
通过在所获取图像中分割和识别用户的虹膜，可以将以像素为单位的粗细转换为以绝对距离为单位的粗细。事实上，如前所述，可以认为虹膜的大致平均人群直径为1cm。因此，构成虹膜直径的像素数量可以与表示睫毛粗细的像素数量具有相关性，从而以长度单位(尤其是以cm或mm为单位)确定其测量值。
与睫毛数量一样，所确定的值被显示20，并以游标21的形式呈现给用户，该游标在计量器22上相对于给定人群(优选地，已经确定了睫毛数量的平均参考值的同一人群)的参考平均值23被定位。
在这种情况下，在所示示例中，由此确定平均睫毛粗细为0.086mm，该粗细被认为比参考平均值略低(更细的睫毛)。
第三，还借助于根部到尖端的距离来确定睫毛的长度，并相对于所计数的睫毛数量确定平均值。
更具体地，睫毛的长度可以通过以下方式确定：
i)首先，确定根部的基线，该基线采用基本上穿过一排睫毛的根部中间的像素弧线的形式，以及
ii)然后计算该弧线至每个已识别尖端的距离。
不同于睫毛的平均长度，可以选择保留所确定的最大长度来代表睫毛的一般长度。
与睫毛的粗细一样，长度也可以以虹膜的直径作为参考元素、以cm或mm为单位来表示。
与睫毛数量一样，所确定的值被显示30，并以游标31的形式呈现给用户，该游标在计量器32上相对于给定人群(优选地，已经确定了睫毛数量以及睫毛粗细的平均参考值的同一人群)的参考平均值33被定位。
在这种情况下，在所示示例中，由此确定平均睫毛长度为4.349mm，该长度被认为比参考平均值显著更低(更短的睫毛)。
在适用的情况下，可以通过类似的技术确定表征睫毛的其他数值参数。尤其还可以确定睫毛的曲率。在这种情况下，可能优选的是获取侧面拍摄的与睫毛有关的新图像。
由此确定睫毛的特征参数后，可以从若干个预定义类型中确定用户睫毛的类型。
因此，在本案中，作为示例的用户将属于“中等浓密且中等长度”睫毛的类型。
然后，查询数据库，该数据库将产品与根据这些产品应用于特定睫毛类型所产生的效果相关联。
在这种情况下，就会向用户呈现允许在适度增加睫毛丰盈度的同时使睫毛大幅延长的产品(RP)。
Claims (13)
1.一种用于表征睫毛或眉毛的方法，所述方法通过计算机实施并且包括以下步骤，所述步骤涉及：
-接收与身体区域的特写图像(1)中的一组像素相对应的数据，所述身体区域包括待表征的多根睫毛，优选为整体一排睫毛或整体眉毛；
-应用至少一个计算机视觉步骤，以便基于接收的所述图像数据在尤其是纤维的数量(10)、所述纤维的平均长度(20)、所述纤维的平均粗细(30)和所述纤维的曲率中获得至少一个特征数值参数的数值评估(11，21，31)，
所述方法的特征在于，所述方法包括以下附加步骤：
-在接收的所述身体区域的图像中，识别具有在人群中基本上固定的平均尺寸的参考元素，
-确定与所述参考元素的尺寸相关联的像素数量，以及
-将以像素数量为单位而确定的距离转换为标准单位。
2.如权利要求1所述的方法，其特征在于，所述计算机视觉步骤通过应用特别是ResNet型的残差神经网络来实施回归方法。
3.如权利要求1和2中任一项所述的方法，其特征在于，所述计算机视觉步骤包括通过分割所述睫毛或所述眉毛的纤维进行识别的至少一个步骤。
4.如权利要求1至3中任一项所述的方法，其特征在于，所述计算机视觉步骤包括通过分割所述睫毛或所述眉毛的根部和/或尖端进行识别的步骤。
5.如权利要求3和4中任一项所述的方法，其特征在于，所述方法包括生成图像(100)的步骤，所述图像强调在接收的所述图像中通过分割识别的元素。
6.如权利要求3至5中任一项所述的方法，其特征在于，在所述分割步骤之后是基于通过分割而分类的所述像素来计算所述参数(10，20，30)的至少一个步骤。
7.如权利要求6所述的方法，其特征在于，所述方法包括涉及以下各项的附加步骤：
-通过确定从每个纤维的根部到尖端的像素数量来确定所述纤维的长度，以及
-基于所计数的纤维数量确定平均长度。
8.如权利要求3至7中任一项所述的方法，其特征在于，所述纤维数量通过像素跳跃方法确定。
9.如权利要求1至8中任一项所述的方法，其特征在于，所述方法包括在基于所述睫毛的至少一个特征参数、优选地基于至少两个参数建立的至少两种类型中对所述睫毛或所述眉毛进行分类的附加步骤。
10.如权利要求1至9中任一项所述的方法，其特征在于，所述方法包括基于所确定的至少一个特征参数、并且尤其是基于确定的所述类型和由用户选择的对所述睫毛或所述眉毛的期望处理结果来查询数据库的步骤，以便确定至少一个推荐化妆品产品(RP)。
11.如权利要求10所述的方法，其特征在于，所述方法包括在屏幕上显示所述一个或多个推荐产品(RP)的步骤。
12.一种用于实施如权利要求1至11中任一项所述的方法的计算机系统，包括：
-用于导入和/或用于获取特写图像的至少一个装置，
-用于实施所述处理步骤中的全部或部分、并且尤其是所述计算机视觉步骤和所述数值评估步骤的计算装置，以及
-被配置为允许显示获得的所述数值评估结果的至少一个显示装置。
13.如权利要求12所述的计算机系统，其特征在于，能够执行所述计算机视觉和/或数值评估步骤的所述计算装置的全部或部分属于远程服务器，所述远程服务器不同于并入所述图像导入和/或获取装置的设备。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2111924A FR3128868A1 (fr) | 2021-11-10 | 2021-11-10 | Procédé et système de caractérisation de fibres kératiniques, en particulier de cils humain. |
| FRFR2111924 | 2021-11-10 | ||
| PCT/EP2022/079364 WO2023083583A1 (en) | 2021-11-10 | 2022-10-21 | Method and system for characterizing keratinous fibers, in particular human eyelashes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118215433A true CN118215433A (zh) | 2024-06-18 |
Family
ID=80786720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280074393.3A Pending CN118215433A (zh) | 2021-11-10 | 2022-10-21 | 用于表征角蛋白纤维、特别是人类睫毛的方法和系统 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN118215433A (zh) |
| FR (1) | FR3128868A1 (zh) |
| WO (1) | WO2023083583A1 (zh) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI221404B (en) * | 2000-12-26 | 2004-10-01 | Shiseido Co Ltd | Mascara selecting method, mascara selecting system, and mascara counseling sheet |
| FR2875044B1 (fr) * | 2004-09-07 | 2007-09-14 | Oreal | Procede et dispositif permettant de generer une image de synthese d'au moins une frange de cils |
| FR2900482B1 (fr) * | 2006-04-28 | 2008-06-20 | Sagem Defense Securite | Procede d'identification d'une personne par analyse des cara cteristiques de ses cils |
| FR2912883B1 (fr) * | 2007-02-23 | 2009-05-22 | Oreal | Procede d'evaluation d'une typologie de cils et systeme d'evaluation pour la mise en oeuvre d'un tel procede |
| JP5279213B2 (ja) | 2007-08-20 | 2013-09-04 | ロレアル | 睫毛の評価装置、評価方法およびセット |
| US20210307498A1 (en) * | 2018-05-24 | 2021-10-07 | Mixcreative Llc | System and method for creating customized brushes |
-
2021
- 2021-11-10 FR FR2111924A patent/FR3128868A1/fr active Pending
-
2022
- 2022-10-21 WO PCT/EP2022/079364 patent/WO2023083583A1/en active Application Filing
- 2022-10-21 CN CN202280074393.3A patent/CN118215433A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023083583A1 (en) | 2023-05-19 |
| FR3128868A1 (fr) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI773096B (zh) | 妝容處理方法、裝置、電子設備及儲存媒體 | |
| CN111524080A (zh) | 脸部皮肤特征的识别方法、终端及计算机设备 | |
| WO2007063878A1 (ja) | 顔分類方法、顔分類装置、分類マップ、顔分類プログラム、及び該プログラムが記録された記録媒体 | |
| JP2020505989A (ja) | メイクアップ評価システム及びその動作方法 | |
| US20020093515A1 (en) | Method of measuring and sizing objects from an image of a human face using iris size | |
| KR101987189B1 (ko) | 메이크업 제안 키오스크 | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| Benhabiles et al. | Deep learning based detection of hair loss levels from facial images | |
| KR20180110842A (ko) | 가상체험을 기반으로 하는 고객 맞춤형 반영구화장 시술 추천시스템 및 그 서비스 방법 | |
| KR20130141285A (ko) | 피부상태 진단 방법 및 장치와 이를 이용한 피부상태 적합 화장정보 제공 방법 | |
| JP2017113140A (ja) | 肌状態評価方法 | |
| CN118215433A (zh) | 用于表征角蛋白纤维、特别是人类睫毛的方法和系统 | |
| CN115916045A (zh) | 用于确定用户的头皮类型的方法 | |
| US20230144089A1 (en) | Smart system for skin testing and customised formulation and manufacturing of cosmetics | |
| JP6886773B2 (ja) | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 | |
| CN111802787A (zh) | 一种智能化妆镜 | |
| CN113033250A (zh) | 脸部肌肉状态分析与评价方法 | |
| Hsu et al. | Extraction of visual facial features for health management | |
| Bokaris et al. | Hair tone estimation at roots via imaging device with embedded deep learning | |
| Colak et al. | Eyematch: an eye localization method for frontal face images | |
| US11514629B2 (en) | Creating a colorcloud | |
| JP2023551328A (ja) | カラークラウドの生成 | |
| Choi et al. | Accurate wrinkle representation scheme for skin age estimation | |
| WO2023194466A1 (en) | Method for recommending cosmetic products using a knn algorithm | |
| KR20230062609A (ko) | 색상 클라우드 생성을 위한 크래들 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |