CN116801800A - 皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型 - Google Patents

皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型 Download PDF

Info

Publication number
CN116801800A
CN116801800A CN202280010218.8A CN202280010218A CN116801800A CN 116801800 A CN116801800 A CN 116801800A CN 202280010218 A CN202280010218 A CN 202280010218A CN 116801800 A CN116801800 A CN 116801800A
Authority
CN
China
Prior art keywords
nose
skin
user
skin state
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280010218.8A
Other languages
English (en)
Inventor
长谷川典子
原祐辅
星野拓马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of CN116801800A publication Critical patent/CN116801800A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Dermatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

容易地得到皮肤的状态。本发明的一实施方式涉及的方法包括:确定用户的鼻子特征的步骤;和基于所述用户的鼻子特征推定所述用户的皮肤状态的步骤。

Description

皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及 已学习模型
技术领域
本发明涉及皮肤状态推定方法、装置、程序、系统、已学习模型生成方法以及已学习模型(已训练模型)。
背景技术
以往,已知有为了适当的皮肤护理等而预测皮肤的状态的技术。例如,在专利文献1中,根据超声波图像,预测将来在眼和嘴周边的皱纹形成和皱纹程度。
现有技术文献
专利文献1:日本特开2011-200284号公报
发明内容
发明所要解决的问题
然而,在专利文献1中,需要超声波诊断装置,不容易简易地预测今后易发生的皮肤状态。
于是,本发明的目的在于,容易地得到皮肤的状态。
用于解决问题的技术方案
本发明的一实施方式涉及的方法包括:确定用户的鼻子特征的步骤;和基于所述用户的鼻子特征推定所述用户的皮肤状态的步骤。
发明效果
在本发明中,能够根据鼻子的特征,容易地推定皮肤的状态。
附图说明
图1是表示本发明的一实施方式涉及的整体结构的图。
图2是表示本发明的一实施方式涉及的皮肤状态推定装置的功能块的图。
图3是表示本发明的一实施方式涉及的皮肤状态推定的处理流程的流程图。
图4是用于对本发明的一实施方式涉及的鼻子特征进行说明的图。
图5是用于对本发明的一实施方式涉及的鼻子区域的提取进行说明的图。
图6是用于对本发明的一实施方式涉及的鼻子特征量的计算进行说明的图。
图7是本发明的一实施方式涉及的各脸型的鼻子特征的一例。
图8是本发明的一实施方式涉及的根据鼻子特征推定的面部(人脸)的一例。
图9是表示本发明的一实施方式涉及的皮肤状态推定装置的硬件结构的图。
具体实施方式
以下,参照附图,对各实施方式进行说明。此外,在本说明书和附图中,对于实质上具有相同的功能结构的构成要素,附加相同的标号,从而省略重复的说明。
<用语说明>
“皮肤状态”是指皱纹、色斑、松弛、黑眼圈、法令纹、暗黄、弹性、水分、皮脂、黑色素、血液循环、血管、血液、毛孔和肤色中的至少一方。例如,“皮肤状态”是指皱纹、色斑、松弛、黑眼圈、法令纹、暗黄、弹性、水分、皮脂、黑色素、血液循环、血管、血液、毛孔和肤色之类的构成皮肤状态的要素的有无、程度。另外,“皮肤状态”是指在面部的一部分、面部整体和面部的多处中的任一方的皮肤的状态。此外,“皮肤状态”可以是用户的将来的皮肤状态,也可以是用户的当前的皮肤状态。在本发明中,基于鼻子的特征与皮肤的状态的相关,根据鼻子的特征推定皮肤的状态。
<整体结构>
图1是表示本发明的一实施方式涉及的整体结构的图。皮肤状态推定装置10根据用户20的鼻子的特征,推定用户20的皮肤的状态。例如,皮肤状态推定装置10是具有摄像头(camera)功能的智能手机等。稍后,将参照图2,详细对皮肤状态推定装置10进行说明。
此外,在本说明书中,说明皮肤状态推定装置10是一个设备(例如,具有摄像头功能的智能手机等)的情况,但皮肤状态推定装置10也可以由多个设备(例如,不具有摄像头功能的设备和数码摄像头)构成。另外,摄像头功能既可以是三维地拍摄皮肤的功能,也可以是二维地拍摄皮肤的功能。另外,也可以设为,皮肤状态推定装置10以外的装置(服务器等)执行在本说明书中说明的皮肤状态推定装置10所执行的处理中的一部分处理。
<皮肤状态推定装置10的功能块>
图2是表示本发明的一实施方式涉及的皮肤状态推定装置10的功能块的图。皮肤状态推定装置10能够具备图像取得部101、鼻子特征确定部102、皮肤状态推定部103、骨骼推定部104以及输出部105。另外,皮肤状态推定装置10能够通过执行程序,作为图像取得部101、鼻子特征确定部102、皮肤状态推定部103、骨骼推定部104和输出部105而发挥功能。以下,分别进行说明。
图像取得部101取得用户20的包含鼻子的图像。此外,包含鼻子的图像可以是拍摄到鼻子和鼻子以外处的图像(例如,拍摄到面部整体的图像),也可以是仅拍摄到鼻子的图像(例如,以使用户20的鼻子区域刚好落在皮肤状态推定装置10的显示装置所显示的预定区域内的方式拍摄到的图像)。此外,在根据图像以外来确定鼻子的特征的情况下,不需要图像取得部101。
鼻子特征确定部102确定用户20的鼻子的特征。例如,鼻子特征确定部102根据图像取得部101取得的用户20的包含鼻子的图像的图像信息(例如,图像的像素值),确定用户20的鼻子的特征。
皮肤状态推定部103基于鼻子特征确定部102所确定的用户20的鼻子的特征,推定用户20的皮肤的状态。例如,皮肤状态推定部103基于鼻子特征确定部102所确定的用户20的鼻子的特征,将用户20的皮肤的状态进行分类。
此外,皮肤状态推定部103也能够基于骨骼推定部104推定出的用户20的与面部骨骼有关的形状,推定用户20的皮肤的状态(例如,由面部骨骼的形状引起的皮肤的状态)。
骨骼推定部104基于鼻子特征确定部102所确定的用户20的鼻子的特征,推定用户20的与面部骨骼有关的形状。例如,骨骼推定部104基于鼻子特征确定部102所确定的用户20的鼻子的特征,将用户20的与面部骨骼有关的形状进行分类。
输出部105将皮肤状态推定部103推定出的用户20的皮肤的状态的信息进行输出(例如,显示)。
<皮肤的状态>
在此,对皮肤的状态进行说明。例如,皮肤的状态是皱纹、色斑、松弛、黑眼圈、法令纹、暗黄、弹性、水分、皮脂、黑色素、血液循环、血管、血液、纹理、毛孔和肤色中的至少一方。更详细而言,例如,皮肤的状态是眼角皱纹、眼睛下方皱纹、额头皱纹、眼窝皱纹、眼袋的松弛、黑眼圈、法令纹(鼻唇沟、嘴边)、鼻唇沟深度、木偶纹的松弛、下颚的松弛、HbSO2 Index(血氧饱和度指数)、Hb Index(血红蛋白含量)、HbO2(氧合血红蛋白含量)、皮肤颜色、皮肤亮度、保水力(TEWL)、皮嵴数量、皮肤的粘弹性、血氧含量、血管密度、毛细血管数量、血管分支数量、血管与表皮间距离、表皮厚度、HDL胆固醇、皮脂、水分含量、黑色素指数(黑色素的指标)、毛孔、透明度、色泽不均匀(茶色、红色)、pH等。皮肤状态推定部103基于鼻子的特征与皮肤的状态的相关,根据鼻子的特征推定皮肤的状态。
<鼻子的特征和皮肤的状态的对应关系>
在此,对鼻子的特征和皮肤的状态的对应关系进行说明。皮肤状态推定部103基于事先存储于皮肤状态推定装置10等的鼻子的特征和皮肤的状态的对应关系,推定皮肤的状态。此外,不仅可以基于鼻子的特征,也可以基于鼻子的特征和面部特征的一部分,推定皮肤的状态。
对应关系可以是事先确定的数据库,也可以是机器学习出的已学习模型。数据库基于对受试者进行的实验的结果等,使鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)与皮肤的状态相关联。另外,已学习模型是若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)的信息、则输出皮肤的状态的信息的预测模型。
<<已学习模型的生成>>
在本发明的一实施方式中,皮肤状态推定装置10等的计算机能够生成已学习模型。具体而言,皮肤状态推定装置10等的计算机能够取得输入数据为鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)、且输出数据为皮肤的状态的教师数据(训练数据),使用该教师数据进行机器学习,生成若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)则输出皮肤的状态的已学习模型。如此,通过使用输入数据为鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)、且输出数据为皮肤的状态的教师数据进行机器学习,生成若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)则输出皮肤的状态的已学习模型。
<与面部骨骼有关的形状和皮肤的状态的对应关系>
在此,对与面部骨骼有关的形状和皮肤的状态的对应关系进行说明。如上所述,皮肤状态推定部103也能够基于事先存储于皮肤状态推定装置10等的与面部骨骼有关的形状和皮肤的状态的对应关系,推定皮肤的状态。
对应关系可以是事先确定的数据库,也可以是机器学习出的已学习模型。数据库基于对受试者进行的实验的结果等,使与面部骨骼有关的形状和皮肤的状态相关联。另外,已学习模型是当被输入与面部骨骼有关的形状的信息时、输出皮肤的状态的信息的预测模型。
<<已学习模型的生成>>
在本发明的一实施方式中,皮肤状态推定装置10等的计算机能够生成已学习模型。具体而言,皮肤状态推定装置10等的计算机能够取得输入数据为与面部骨骼有关的形状、且输出数据为皮肤的状态的教师数据,使用该教师数据进行机器学习,生成当被输入与面部骨骼有关的形状时输出皮肤的状态的已学习模型。如此,通过使用输入数据为与面部骨骼有关的形状、且输出数据为皮肤的状态的教师数据进行机器学习,生成当被输入与面部骨骼有关的形状时输出皮肤的状态的已学习模型。
<将来的皮肤状态和当前的皮肤状态>
此外,所推定的皮肤的状态可以是用户20的将来的皮肤状态,也可以是用户20的当前的皮肤状态。在基于年龄比用户20的实际年龄高的人的数据而制作了鼻子的特征(或者根据鼻子的特征推定出的与面部骨骼有关的形状)和皮肤的状态的对应关系(例如,实验的受试者的年龄、或者成为进行机器学习时的学习用数据的人的年龄高于用户20的实际年龄)的情况下,推定用户20的将来的皮肤。另一方面,在基于年龄与用户20的实际年龄相同的人的数据而制作了鼻子的特征(或者根据鼻子的特征推定出的与面部骨骼有关的形状)和皮肤的状态的对应关系(例如,实验的受试者的年龄、或者成为进行机器学习时的学习用数据的人的年龄与用户20的实际年龄相同)的情况下,推定用户20的当前的皮肤。此外,不仅可以基于鼻子的特征,也可以基于鼻子的特征和面部特征的一部分,推定皮肤的状态。
以下,说明基于鼻子的特征(或者根据鼻子的特征推定出的与面部骨骼有关的形状)和皮肤的状态的对应关系的推定例。
<<皮肤的状态的推定例1>>
例如,鼻根和鼻梁高时,皮肤状态推定部103能够推定为眼角易出现皱纹。另外例如,在脸颊的形状是颧骨高的位置位于上部的形状的情况下,皮肤状态推定部103能够推定(判断ON/OFF)为有眼角皱纹、或者将来有可能起皱纹。
<<皮肤的状态的推定例2>>
例如,鼻翼越圆,另外,例如在眼睛大的情况下,皮肤状态推定部103能够推定为眼睛下方越易出现皱纹。
例如,眼窝具有横向较长、小等形状特征,但是根据眼窝大且纵向和横向宽度接近的形状,皮肤状态推定部103能够推定为眼睛下方的皱纹多。另外例如,皮肤状态推定部103能够基于面部轮廓,推定眼睛下方的皱纹。另外例如,两眼间距离越宽,皮肤状态推定部103能够推定为眼睛下方的皱纹越少。
<<皮肤的状态的推定例3>>
例如,皮肤状态推定部103能够基于鼻翼的圆度和鼻梁的高度,推定眼袋的松弛。具体而言,鼻翼的圆度与鼻梁的高度之和越大,皮肤状态推定部103能够推定为眼袋越松弛。
例如,在面部轮廓为椭圆、长脸的情况下,皮肤状态推定部103能够推定为眼袋易松弛。
<<皮肤的状态的推定例4>>
例如,皮肤状态推定部103能够基于鼻梁的低度和鼻翼的圆度,推定HbCO2(还原血红蛋白)。
例如,皮肤状态推定部103能够基于面部轮廓,推定HbSO2(氧饱和度)。
<<皮肤的状态的推定例5>>
例如,鼻梁越低、且鼻翼越圆、或者两眼间距离越远,皮肤状态推定部103能够推定为水分含量越低。
例如,皮肤状态推定部103能够基于颅骨指数的高低、脸的纵横比,推定皮肤水分含量。
<<皮肤的状态的推定例6>>
例如,皮肤状态推定部103能够基于鼻翼的圆度,推定皮脂。
例如,皮肤状态推定部103能够基于面部轮廓,推定皮脂。
<<皮肤的状态的推定例7>>
例如,鼻翼越圆且鼻梁越高,皮肤状态推定部103能够推定为黑色素指数越高且黑色素量越多,鼻梁越低且两眼间距离越窄,皮肤状态推定部103能够推定为黑色素指数越低。
例如,嘴唇上下都越厚,皮肤状态推定部103能够推定为黑色素指数越高且黑色素量越多。另外例如,嘴唇上下都越薄,皮肤状态推定部103能够推定为黑色素指数越低。
<<皮肤的状态的推定例8>>
例如,在鼻翼圆的情况下,皮肤状态推定部103能够推定为眼睛易出现黑眼圈。
<<皮肤的状态的推定例9>>
例如,在鼻梁低且两眼间距离宽的情况下,或者在下颌的角度有圆度的情况下,皮肤状态推定部103能够推定为面部轮廓易松弛。
<<皮肤的状态的推定例10>>
例如,鼻梁越高,皮肤状态推定部103能够推定为血氧含量越多。
<<皮肤的状态的推定例11>>
例如,皮肤状态推定部103能够根据鼻翼的大小或者鼻根的高度的变化位置推定血管密度,鼻翼越大,则血管密度越高。
<<皮肤的状态的推定例12>>
例如,皮肤状态推定部103能够根据鼻翼的大小推定表皮厚度。
<<皮肤的状态的推定例13>>
例如,皮肤状态推定部103能够根据鼻根的高度的变化位置推定血管分支数量。
<<综合皮肤状态推定>>
在本发明的一实施方式中,皮肤状态推定部103能够根据上述的推定例1~9等中推定出的值,综合性地作为皱纹、色斑、松弛、黑眼圈、法令纹、暗黄、弹性、水分、皮脂、黑色素、血液循环、血管、血液、毛孔、肤色来表示皮肤状态。以下,表示一例。
·皱纹:由眼角、眼睛下方、额头、眼窝的皱纹中的一个或两个以上的项目表示。
·色斑:由茶色的色泽不均匀、红色的色泽不均匀、黑色素中的一个或两个以上的项目表示。
·松弛:由眼袋、下颚、木偶纹中的一个或两个以上的项目表示。
·黑眼圈:由眼睛的茶色黑眼圈、青色黑眼圈中的一个或两个项目表示。
·法令纹:由鼻唇沟的法令纹、嘴边的法令纹中的一个或两个项目表示。
·暗黄:由透明度、黑色素、色泽不均匀、肤色、氧饱和度、水分、皮嵴数量中的一个或两个以上的项目表示。
·弹性:由水分、皮脂、松弛、皮肤的粘弹性中的一个或两个以上的项目表示。
·水分:由水分含量、保水力(TEWL)、皮嵴数量、pH中的一个或两个项目表示。
·纹理:由皮嵴数量、水分中的一个或两个以上的项目表示。
·肤色:由皮肤颜色、皮肤亮度、黑色素、血氧含量、HbO2(氧合血红蛋白含量)中的一个或两个以上的项目表示。
·皮脂:由皮脂量、毛孔中的一个或两个项目表示。
此外,也可以根据水分和皮脂,对中性肤质、干性肤质、油性肤质、混合性肤质进行分类。
·黑色素:由黑色素指数、黑色素量、色泽不均匀中的一个或两个项目表示。
·血液循环:由HbSO2Index(血氧饱和度指数)、HbIndex(血红蛋白含量)、HbO2(氧合血红蛋白含量)、血氧含量、肤色中的至少一个或两个项目表示。
·血管:由血管密度、毛细血管数量、血管分支数量、血管与表皮间距离、表皮厚度中的一个或两个以上的项目表示。
·血液:HDL胆固醇
在本发明的一实施方式中,皮肤状态推定部103能够根据鼻子的特征,如皮肤的优势、皮肤的劣势那样表示皮肤的特征。例如,在鼻子的特征为类型1的情况下,眼角皱纹的评价值低于平均评价值,因此作为皮肤的优势表示。在鼻子的特征为类型2的情况下,眼角皱纹的评价值高于平均评价值,因此作为皮肤的劣势表示。皮肤的优劣势能够按面部的各处表示。在类型1的情况下,皮肤的优势是眼角和额头的皱纹、色斑,皮肤的劣势是黑眼圈、鼻唇沟的法令纹、嘴巴四周的松弛、水分保持力。皮肤状态推定部103能够根据这些皮肤状态推定皮肤的综合指标(在该情况下为松弛类型的皮肤)。在类型2的情况下,皮肤的优势是脸颊的松弛、水分保持力、血液循环、色斑,皮肤的劣势是眼角和额头的皱纹、色斑。皮肤状态推定部103能够根据这些皮肤状态推定皮肤的综合指标(在该情况下为皱纹类型的皮肤)。
<与面部骨骼有关的形状>
在此,对与面部骨骼有关的形状进行说明。“与面部骨骼有关的形状”是指面部的骨骼本身的形状、和由于该骨骼形成的面部的形状中的至少一方。骨骼推定部104基于鼻子的特征和与面部骨骼有关的形状的相关,根据鼻子的特征推定与面部骨骼有关的形状。
例如,与面部骨骼有关的形状是眼窝、颧骨、鼻骨、梨状孔(鼻腔在人脸侧张开的口)、颅骨指数、上颌骨、下颌骨、嘴唇、嘴角、眼睛、蒙古褶(上眼睑覆盖内眼角的部分处的皮肤的褶皱)、面部轮廓、和眼睛与眉毛的位置关系(例如,眼睛与眉毛分离、接近等)中的至少一方中的、各骨的形状的特征、骨骼的位置关系、角度等。以下,表示与面部骨骼有关的形状的一例。此外,括号内是所推定的具体内容的一例。
·眼窝(横向较长、正方形、圆形的)
·颧骨、脸颊(峰位置、圆度)
·鼻骨(宽度、形状)
·梨状孔(形状)
·颅骨指数(颅骨的宽度/进深=70、75、80、85、90)
·上颌骨、上颌(与眼窝的位置关系、鼻唇角)
·下颌骨、下颌(进深长度、进深角度、前方角度、轮廓形状(下颌角))
·前额(额头的圆度、额头的形状)
·眉毛(眼睛与眉毛的距离、眉毛形状、眉毛浓度)
·嘴唇(上下均厚、下唇厚、上下均薄、横向大、小)
·嘴角(上扬、下垂、标准)
·眼睛(面积、角度、眉毛与眼睛的距离、两眼间距离)
·蒙古褶(有、无)
·面部轮廓(矩形、圆形、椭圆形、心形、方形、平均的、自然的、长的)
<鼻子的特征和与面部骨骼有关的形状的对应关系>
在此,对鼻子的特征和与面部骨骼有关的形状的对应关系进行说明。骨骼推定部104基于事先存储于皮肤状态推定装置10等的鼻子的特征和与面部骨骼有关的形状的对应关系,推定与面部骨骼有关的形状。此外,不仅可以基于鼻子的特征,也可以基于鼻子的特征和面部特征的一部分,推定与面部骨骼有关的形状。
对应关系可以是事先确定的数据库,也可以是机器学习出的已学习模型。数据库基于对受试者进行的实验的结果等,使鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)和与面部骨骼有关的形状相关联。另外,已学习模型是若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)的信息、则输出与面部骨骼有关的形状的信息的预测模型。此外,鼻子的特征和与面部骨骼有关的形状的对应关系也可以按以可能影响骨骼的主要因素为基础分类得到的群体(例如,高加索人种、蒙古人种、尼格罗人种、澳大利亚人种等)来制作。
<<已学习模型的生成>>
在本发明的一实施方式中,皮肤状态推定装置10等的计算机能够生成已学习模型。具体而言,皮肤状态推定装置10等的计算机能够取得输入数据为鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)、且输出数据为与面部骨骼有关的形状的教师数据,使用该教师数据进行机器学习,生成若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)则输出与面部骨骼有关的形状的已学习模型。如此,通过使用输入数据为鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)、且输出数据为与面部骨骼有关的形状的教师数据进行机器学习,生成若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)则输出与面部骨骼有关的形状的已学习模型。
以下,说明基于鼻子的特征和与面部骨骼有关的形状的对应关系的推定例。
<<与面部骨骼有关的形状的推定例1>>
例如,骨骼推定部104能够基于鼻根的高度或低度或者鼻根的高度的变化位置、以及鼻梁的高度或低度,推定颅骨指数。具体而言,鼻根和鼻梁中的至少一方越高,骨骼推定部104推定为颅骨指数越低。
<<与面部骨骼有关的形状的推定例2>>
例如,骨骼推定部104能够基于鼻梁的宽度,推定嘴角的上扬或下垂。具体而言,鼻梁的宽度越宽,骨骼推定部104推定为嘴角越下垂。
<<与面部骨骼有关的形状的推定例3>>
例如,骨骼推定部104能够基于鼻翼的圆度以及鼻尖的尖度,推定唇的大小以及厚度(1.上下均大且厚;2.下唇厚;3.上下均薄且小)。
<<与面部骨骼有关的形状的推定例4>>
例如,骨骼推定部104能够基于鼻根,推定蒙古褶的有无。具体而言,在判定为鼻根低的情况下,骨骼推定部104推定为有蒙古褶。
<<与面部骨骼有关的形状的推定例5>>
例如,骨骼推定部104能够基于鼻梁的低度或高度、鼻根的高度、以及鼻翼的圆度和大小,将下颌的形状进行分类(例如,分为三类)。
<<与面部骨骼有关的形状的推定例6>>
例如,骨骼推定部104能够基于鼻梁的高度,推定梨状孔。
<<与面部骨骼有关的形状的推定例7>>
例如,骨骼推定部104能够基于鼻梁的低度,推定两眼间距离。具体而言,鼻梁越低,骨骼推定部104推定为两眼间距离越宽。
<<与面部骨骼有关的形状的推定例8>>
例如,骨骼推定部104能够基于鼻根的高度以及鼻梁的高度,推定前额的圆度。
<<与面部骨骼有关的形状的推定例9>>
例如,骨骼推定部104能够基于鼻梁的高度、低度、鼻翼的大小、鼻根的高度的变化位置,推定眼睛与眉毛的距离、眉毛形状。
<处理方法>
图3是表示本发明的一实施方式涉及的皮肤状态推定的处理流程的流程图。
在步骤1(S1)中,鼻子特征确定部102从包含鼻子的图像中提取特征点(例如,眉头、内眼角、鼻头的特征点)。
在步骤2(S2)中,鼻子特征确定部102基于在S1中提取到的特征点,提取鼻子的区域。
此外,在包含鼻子的图像是仅拍摄到鼻子的图像(例如,以使用户20的鼻子的区域刚好落在皮肤状态推定装置10的显示装置所显示的预定区域内的方式拍摄到的图像)的情况下,原样使用仅拍摄到鼻子的图像(也即是说,可以省略S1)。
在步骤3(S3)中,鼻子特征确定部102降低在S2中提取到的鼻子区域的图像的灰度数(例如,二值化)。例如,鼻子特征确定部102使用明度、亮度、RGB的蓝色、RGB的绿色中的至少一方,降低鼻子区域的图像的灰度数。此外,可以省略S3。
在步骤4(S4)中,鼻子特征确定部102确定鼻子的特征(鼻子的骨骼)。具体而言,鼻子特征确定部102基于鼻子区域的图像的图像信息(例如,图像的像素值),计算鼻子的特征量。例如,鼻子特征确定部102计算鼻子区域的像素值的平均值、预定值以下或者以上的像素数、像素累计值、像素值的变化量等,作为鼻子的特征量。
在步骤5(S5)中,骨骼推定部104推定与面部骨骼有关的形状。此外,可以省略S5。
在步骤6(S6)中,皮肤状态推定部103基于在S4中所确定的鼻子的特征(或者,在S5中推定出的与面部骨骼有关的形状),推定皮肤的状态(例如,将来的皮肤的烦恼(问题))。
<鼻子特征>
在此,对鼻子特征进行说明。例如,鼻子特征是鼻根、鼻梁、鼻尖和鼻翼中的至少一方。
图4是用于对本发明的一实施方式涉及的鼻子特征进行说明的图。在图4中,表示鼻根、鼻梁、鼻尖和鼻翼的位置。
<<鼻根>>
鼻根是鼻子的根基部分。例如,鼻子的特征是鼻根的高度、鼻根的低度、鼻根的宽度、和鼻根变高的鼻根的变化位置中的至少一方。
<<鼻梁>>
鼻梁是眉间与鼻头之间的部分。例如,鼻子的特征是鼻梁的高度、鼻梁的低度和鼻梁的宽度中的至少一方。
<<鼻尖>>
鼻尖是鼻子的前端部(鼻头)。例如,鼻子的特征是鼻尖的圆度或尖度和鼻尖的朝向中的至少一方。
<<鼻翼>>
鼻翼是鼻头两侧的鼓起的部分。例如,鼻子的特征是鼻翼的圆度或尖度和鼻翼的大小中的至少一方。
<鼻子区域的提取>
图5是用于对本发明的一实施方式涉及的鼻子区域的提取进行说明的图。鼻子特征确定部102提取包含鼻子的图像中的鼻子的区域。例如,鼻子的区域可以如图5的(a)那样为鼻子整体,也可以如图5的(b)那样为鼻子的一部分(例如,右半边或者左半边)。
<鼻子特征量的计算>
图6是用于对本发明的一实施方式涉及的鼻子特征量的计算进行说明的图。
在步骤11(S11)中,提取包含鼻子的图像中的鼻子的区域。
在步骤12(S12)中,降低在S11中提取出的鼻子区域的图像的灰度数(例如,二值化)。此外,可以省略S12。
在步骤13(S13)中,计算鼻子的特征量。此外,在图6中,将图像的高明度侧设为0、且将低明度侧设为255而表示了像素累计值。例如,鼻子特征确定部102按多个区域(例如,S12的分割出的区域)中的每一个进行标准化。接着,鼻子特征确定部102按各区域,(例如,使用图像的低明度侧或者高明度侧的数据)计算像素值的平均值、预定值以下或者以上的像素数、X方向和Y方向中的至少一方的像素累计值、以及X方向和Y方向中的至少一方的像素值的变化量等,作为鼻子的特征量。在图6的S13中,计算了Y方向的各位置上的X方向的像素累计值。
以下,对各特征量的计算方法进行说明。
例如,鼻根的特征量是S12的分割出的区域中的上部(靠近眼睛)区域的特征量,鼻梁的特征量是S12的分割出的区域中的上部或者中央部区域的特征量,鼻尖和鼻翼的特征量是S12的分割出的区域中的下部(靠近嘴)区域的特征量。这些鼻子的特征量以两眼间距离进行标准化。
·鼻根的高度:根据鼻子的上部区域内的Y方向的像素值的变化量,判断高度、低度。此外,高度或低度可以作为数值来计算,也可以分类为高的或低的。关于鼻根的高度的变化位置,在S13中,可知鼻子2在Y方向上的值很快地变化,鼻根的高度的变化位置位于上部。
·鼻根的宽度:将鼻子的上部区域在X方向上分割为多个(2~4等),根据各区域的像素值的平均值的模式,判断宽度。
·鼻梁的高度:根据鼻子的中央部区域的像素累计值的平均值,判断高度、低度。此外,高度或低度可以作为数值来计算,也可以分类为高的或低的。
·鼻梁的宽度:将鼻子的中央部区域在X方向上分割为多个(2~4等),根据各区域的像素值的平均值的模式,判断宽度。
·鼻尖的圆度或尖度:根据其他鼻子特征(鼻梁的高度、鼻翼的圆度或尖度)求取,鼻梁越低、鼻翼越圆,则越圆。
·鼻尖的朝向:在鼻子的中央部区域内,根据相对于X方向的像素累计值的最大值为预定比例的位置的从鼻子的最低点的宽度求取,宽度越宽,则越朝上。
·鼻翼的圆度或尖度:根据鼻子的下部区域内的Y方向的值的变化量,判断圆度或尖度。
·鼻翼的大小:根据在下部区域的中央部分成为预定值以下的像素数的比例来判断。像素数越多,则鼻翼越大。
<<脸型>>
如上所述,“与面部骨骼有关的形状”是指“面部骨骼本身的形状”和“起因于骨骼的面部形状”中的至少一方。“与面部骨骼有关的形状”能够包括脸型。
在本发明的一实施方式中,能够基于用户的鼻子特征,推定用户的面部是多个脸型(具体而言是基于“面部的骨骼本身的形状”和“起因于骨骼的面部形状”中的至少一方分类的脸型)中的哪个脸型。以下,参照图7~图8,对脸型进行说明。
图7是本发明的一实施方式涉及的各脸型的鼻子特征的一例。图7表示各脸型(脸型A~L的各类型)的鼻子特征。此外,既可以使用鼻梁、鼻翼、鼻根和鼻尖的全部(四者)推定脸型,也可以使用一部分(例如,鼻梁和鼻翼的二者、鼻梁和鼻根的二者、仅鼻梁、仅鼻翼等)推定脸型。
如此,根据鼻子特征,推定脸型。例如,根据脸型A的鼻子特征,可推定为,眼睛的圆度:圆;眼睛的倾向:下降;眼睛的大小:小:眉毛的形状:拱形:眉毛和眼睛的位置:分离;面部轮廓:圆形。另外例如,根据脸型L的鼻子特征,可推定为,眼睛的圆度:瘦削;眼睛的倾向:明显上升;眼睛的大小:大;眉毛的形状:鲜明;眉毛和眼睛的位置:很近;面部轮廓:矩形。
图8是本发明的一实施方式涉及的根据鼻子特征推定的面部的一例。在本发明的一实施方式中,能够基于用户的鼻子特征,推定用户的面部是如图8所示的各种脸型的面部中的哪个脸型。
如此,能够根据不易受生活习惯、拍摄时的状况影响的鼻子的特征量来对脸型进行分类。例如,能够在提示化妆指南和/或皮肤特性时利用基于鼻子特征分类的脸型(例如,能够基于是具有怎样的面部特征的脸型、是给人怎样的印象的脸型,提示化妆指南和/或皮肤特性)。
<效果>
如此,在本发明中,能够根据鼻子的特征容易地推定皮肤的状态。在本发明的一实施方式中,能够根据鼻子的特征推定将来的皮肤状态,从而选择能够更有效地抑制将来的皮肤烦恼的化妆品,或决定按摩等美容方法。
<硬件结构>
图9是表示本发明的一实施方式涉及的皮肤状态推定装置10的硬件结构的图。皮肤状态推定装置10具有CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002和RAM(Random Access Memory)1003。CPU1001、ROM1002和RAM1003形成所谓的计算机。
另外,皮肤状态推定装置10能够具有辅助存储装置1004、显示装置1005、操作装置1006、I/F(Interface)装置1007和驱动装置1008。
此外,皮肤状态推定装置10的各硬件经由总线B相互连接。
CPU1001是执行安装于辅助存储装置1004的各种程序的运算设备。
ROM1002是非易失性存储器。ROM1002作为存储CPU1001执行安装于辅助存储装置1004的各种程序所需的各种程序、数据等的主存储设备而发挥功能。具体而言,ROM1002作为存储BIOS(Basic Input/Output System)、EFI(Extensible Firmware Interface)等引导启动程序等的主存储设备而发挥功能。
RAM1003是DRAM(Dynamic Random Access Memory)、SRAM(Static Random AccessMemory)等易失性存储器。RAM1003作为提供安装于辅助存储装置1004的各种程序由CPU1001执行时被展开的工作区域的主存储设备而发挥功能。
辅助存储装置1004是存储各种程序、和各种程序被执行时所使用的信息的辅助存储设备。
显示装置1005是显示皮肤状态推定装置10的内部状态等的显示设备。
操作装置1006是操作皮肤状态推定装置10的人针对皮肤状态推定装置10输入各种指示的输入设备。
I/F装置1007是用于连接于网络并与其他装置进行通信的通信设备。
驱动装置1008是用于设置(set)存储介质1009的设备。这里所说的存储介质1009包括如CD-ROM、软盘、光磁盘等那样光学、电或磁记录信息的介质。另外,存储介质1009也可以包括如EPROM(Erasable Programmable Read Only Memory)、闪速存储器等那样电记录信息的半导体存储器等。
此外,安装于辅助存储装置1004的各种程序例如通过所分发的存储介质1009被设置于驱动装置1008并由驱动装置1008读出记录于该存储介质1009的各种程序来安装。或者,安装于辅助存储装置1004的各种程序也可以通过经由I/F装置1007从网络下载来安装。
皮肤状态推定装置10具有拍摄装置1010。拍摄装置1010对用户20进行拍摄。
以上,对本发明的实施例进行了详细说明,但本发明不限定于上述的特定实施方式,可以在权利要求书所记载的本发明的主旨范围内进行各种变形/变更。
本国际申请主张基于在2021年2月15日申请的日本专利申请2021-021916号的优先权,在此将2021-021916号的所有内容引用于本国际申请。
标号说明
10皮肤状态推定装置;20用户;101图像取得部;102鼻子特征确定部;103皮肤状态推定部;104骨骼推定部;105输出部;1001CPU;1002ROM;1003RAM;1004辅助存储装置;1005显示装置;1006操作装置;1007I/F装置;1008驱动装置;1009存储介质;1010拍摄装置。

Claims (15)

1.一种方法,包括:
确定用户的鼻子特征的步骤;和
基于所述用户的鼻子特征推定所述用户的皮肤状态的步骤。
2.根据权利要求1所述的方法,
还包括取得所述用户的包含鼻子的图像的步骤,
所述用户的鼻子特征根据所述图像的图像信息来确定。
3.根据权利要求1或2所述的方法,
所述用户的皮肤状态是所述用户的将来的皮肤状态。
4.根据权利要求1至3中任一项所述的方法,
所述皮肤状态是皱纹、色斑、松弛、黑眼圈、法令纹、暗黄、弹性、水分、皮脂、黑色素、血液循环、血管、血液、纹理、毛孔和肤色中的至少一方。
5.根据权利要求4所述的方法,
还包括从所述皮肤状态推定皮肤的综合指标的步骤。
6.根据权利要求1至5中任一项所述的方法,
所述皮肤状态是在面部的一部分、面部整体和面部的多处中的任一方的皮肤的状态。
7.根据权利要求1至6中任一项所述的方法,
还包括基于所述用户的鼻子特征推定所述用户的与面部骨骼有关的形状的步骤,
所述用户的皮肤状态的推定基于所述用户的与面部骨骼有关的形状进行。
8.根据权利要求7所述的方法,
所述用户的皮肤状态起因于所述用户的与面部骨骼有关的形状。
9.根据权利要求1至8中任一项所述的方法,
所述鼻子特征是鼻根、鼻梁、鼻尖和鼻翼中的至少一方。
10.根据权利要求1至9中任一项所述的方法,
所述用户的皮肤状态使用当输入所述鼻子特征时输出所述皮肤状态的已学习模型来推定。
11.一种皮肤状态推定装置,具备:
确定部,其确定用户的鼻子特征;以及
推定部,其基于所述用户的鼻子特征,推定所述用户的皮肤状态。
12.一种程序,用于使计算机作为确定部和推定部发挥功能,
所述确定部确定用户的鼻子特征,
所述推定部基于所述用户的鼻子特征,推定所述用户的皮肤状态。
13.一种系统,是包括皮肤状态推定装置和服务器的系统,具备:
确定部,其确定用户的鼻子特征;以及
推定部,其基于所述用户的鼻子特征,推定所述用户的皮肤状态。
14.一种方法,包括:
取得输入数据为鼻子特征、且输出数据为皮肤状态的教师数据的步骤;和
使用所述教师数据进行机器学习而生成当输入所述鼻子特征时输出所述皮肤状态的已学习模型的步骤。
15.一种已学习模型,
是通过使用输入数据为鼻子特征、且输出数据为皮肤状态的教师数据进行机器学习而生成的模型,当输入所述鼻子特征时,输出所述皮肤状态。
CN202280010218.8A 2021-02-15 2022-02-15 皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型 Pending CN116801800A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-021916 2021-02-15
JP2021021916 2021-02-15
PCT/JP2022/005909 WO2022173056A1 (ja) 2021-02-15 2022-02-15 肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル

Publications (1)

Publication Number Publication Date
CN116801800A true CN116801800A (zh) 2023-09-22

Family

ID=82838389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280010218.8A Pending CN116801800A (zh) 2021-02-15 2022-02-15 皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型

Country Status (4)

Country Link
US (1) US20240074694A1 (zh)
JP (1) JPWO2022173056A1 (zh)
CN (1) CN116801800A (zh)
WO (1) WO2022173056A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5771647B2 (ja) * 2013-05-07 2015-09-02 エヌ・ティ・ティ・コミュニケーションズ株式会社 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム
JP6386145B2 (ja) * 2016-11-07 2018-09-05 株式会社 資生堂 肌水分量計測装置、ウェアラブルデバイス、肌水分量測定方法、肌水分量評価方法、肌水分量モニタリングシステム、肌水分量評価ネットワークシステム、及び肌水分量評価プログラム
JPWO2020209378A1 (zh) * 2019-04-12 2020-10-15

Also Published As

Publication number Publication date
WO2022173056A1 (ja) 2022-08-18
JPWO2022173056A1 (zh) 2022-08-18
US20240074694A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
EP2174296B1 (en) Method and apparatus for realistic simulation of wrinkle aging and de-aging
CA2751549C (en) Method and apparatus for simulation of facial skin aging and de-aging
EP1596573B1 (en) Image correction apparatus
US6571003B1 (en) Skin imaging and analysis systems and methods
JP5547730B2 (ja) 顔検知を用いた顔及び肌の自動美化
US20120044335A1 (en) Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
JP2004303193A (ja) 画像処理装置
KR20150072463A (ko) 안면 영상을 이용하는 건강 상태 판단 장치 및 건강 상태 판단 방법
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
US20200146622A1 (en) System and method for determining the effectiveness of a cosmetic skin treatment
CN117897779A (zh) 用于活动期甲状腺眼病医疗的医院就诊指导方法及其执行系统
CN103955675A (zh) 一种人脸特征提取方法
US9330300B1 (en) Systems and methods of analyzing images
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
Kossack et al. Local blood flow analysis and visualization from RGB-video sequences
JP2008046691A (ja) 顔画像処理装置及びコンピュータのプログラム
KR101145672B1 (ko) 미소 훈련을 위한 미소 분석 시스템
CN116801800A (zh) 皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型
JP2005242535A (ja) 画像補正装置
CN116782826A (zh) 骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型
US20240032856A1 (en) Method and device for providing alopecia information
TWI466038B (zh) Eyelid length measurement method and device thereof
WO2020194488A1 (ja) 三次元顔形態の判別装置、方法、プログラム、およびシステム
Chen Autonomic activity from human videos
JP2023155988A (ja) 鼻唇側影分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination