CN116782826A - 骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型 - Google Patents

骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型 Download PDF

Info

Publication number
CN116782826A
CN116782826A CN202280010220.5A CN202280010220A CN116782826A CN 116782826 A CN116782826 A CN 116782826A CN 202280010220 A CN202280010220 A CN 202280010220A CN 116782826 A CN116782826 A CN 116782826A
Authority
CN
China
Prior art keywords
nose
bone
user
shape
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280010220.5A
Other languages
English (en)
Inventor
长谷川典子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of CN116782826A publication Critical patent/CN116782826A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Dentistry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

容易地得到与面部骨骼有关的形状。本发明的一实施方式涉及的方法包括：确定用户的鼻子特征的步骤；和基于所述用户的鼻子特征，推定所述用户的与面部骨骼有关的形状的步骤。

Description

骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学 习模型
技术领域
本发明涉及骨骼推定方法、装置、程序、系统、已学习模型生成方法以及已学习模型(已训练模型)。
背景技术
以往，在美容等领域，利用了面部(人脸)的立体特征(专利文献1)。作为面部的立体特征，可列举面部的骨骼本身的形状和起因于该骨骼的面部的形状(以下，称为“与面部骨骼有关的形状”)。骨骼可以说是人与生俱来的东西，是这个人本来的立体特征。
现有技术文献
专利文献1：国际公开第2013/005447号
发明内容
发明所要解决的问题
然而，以往，测定与面部骨骼有关的形状并非易事。
于是，本发明的目的在于，容易地得到与面部骨骼有关的形状。
用于解决问题的技术方案
本发明的一实施方式涉及的方法包括：确定用户的鼻子特征的步骤；和基于所述用户的鼻子特征推定所述用户的与面部骨骼有关的形状的步骤。
发明效果
在本发明中，能够根据鼻子的特征，推定与面部骨骼有关的形状。
附图说明
图1是表示本发明的一实施方式涉及的整体结构的图。
图2是表示本发明的一实施方式涉及的骨骼推定装置的功能块的图。
图3是表示本发明的一实施方式涉及的骨骼推定的处理流程的流程图。
图4是用于对本发明的一实施方式涉及的鼻子特征进行说明的图。
图5是用于对本发明的一实施方式涉及的鼻子区域的提取进行说明的图。
图6是用于对本发明的一实施方式涉及的鼻子特征量的计算进行说明的图。
图7是本发明的一实施方式涉及的各脸型的鼻子特征的一例。
图8是本发明的一实施方式涉及的根据鼻子特征推定的面部的一例。
图9是表示本发明的一实施方式涉及的骨骼推定装置的硬件结构的图。
具体实施方式
以下，参照附图，对各实施方式进行说明。此外，在本说明书和附图中，对于实质上具有相同的功能结构的构成要素，附加相同的标号，从而省略重复的说明。
＜用语说明＞
“与面部骨骼有关的形状”是指面部骨骼本身的形状和起因于该骨骼的面部形状中的至少一方。在本发明中，基于鼻子的特征和与面部骨骼有关的形状的相关，根据鼻子的特征推定与面部骨骼有关的形状。
＜整体结构＞
图1是表示本发明的一实施方式涉及的整体结构的图。骨骼推定装置10根据用户20的鼻子的特征，推定用户20的与面部骨骼有关的形状。例如，骨骼推定装置10是具有摄像头(camera)功能的智能手机等。稍后，将参照图2，详细对骨骼推定装置10进行说明。
此外，在本说明书中，说明骨骼推定装置10是一个设备(例如，具有摄像头功能的智能手机等)的情况，但骨骼推定装置10也可以由多个设备(例如，不具有摄像头功能的设备和数码摄像头)构成。另外，摄像头功能既可以是三维地拍摄皮肤的功能，也可以是二维地拍摄皮肤的功能。另外，也可以设为，骨骼推定装置10以外的装置(服务器等)执行在本说明书中说明的骨骼推定装置10所执行的处理中的一部分处理。
＜骨骼推定装置10的功能块＞
图2是表示本发明的一实施方式涉及的骨骼推定装置10的功能块的图。骨骼推定装置10能够具备图像取得部101、鼻子特征确定部102、骨骼推定部103以及输出部104。另外，骨骼推定装置10能够通过执行程序，作为图像取得部101、鼻子特征确定部102、骨骼推定部103和输出部104而发挥功能。以下，分别进行说明。
图像取得部101取得用户20的包含鼻子的图像。此外，包含鼻子的图像可以是拍摄到鼻子和鼻子以外处的图像(例如，拍摄到面部整体的图像)，也可以是仅拍摄到鼻子的图像(例如，以使用户20的鼻子区域刚好落在骨骼推定装置10的显示装置所显示的预定区域内的方式拍摄到的图像)。此外，在根据图像以外来确定鼻子的特征的情况下，不需要图像取得部101。
鼻子特征确定部102确定用户20的鼻子的特征。例如，鼻子特征确定部102根据图像取得部101取得的用户20的包含鼻子的图像的图像信息(例如，图像的像素值)，确定用户20的鼻子的特征。
骨骼推定部103基于鼻子特征确定部102所确定的用户20的鼻子的特征，推定用户20的与面部骨骼有关的形状。例如，骨骼推定部103基于鼻子特征确定部102所确定的用户20的鼻子的特征，将用户20的与面部骨骼有关的形状进行分类。
输出部104将骨骼推定部103推定出的用户20的与面部骨骼有关的形状的信息进行输出(例如，显示)。
＜鼻子的特征＞
在此，对鼻子的特征进行说明。例如，鼻子的特征是鼻根、鼻梁、鼻尖和鼻翼中的至少一方。
＜＜鼻根＞＞
鼻根是鼻子的根基部分。例如，鼻子的特征是鼻根的高度、鼻根的低度、鼻根的宽度、和鼻根变高的鼻根的变化位置中的至少一方。
＜＜鼻梁＞＞
鼻梁是眉间与鼻头之间的部分。例如，鼻子的特征是鼻梁的高度、鼻梁的低度和鼻梁的宽度中的至少一方。
＜＜鼻尖＞＞
鼻尖是鼻子的前端部(鼻头)。例如，鼻子的特征是鼻尖的圆度或尖度和鼻尖的朝向中的至少一方。
＜＜鼻翼＞＞
鼻翼是鼻头两侧的鼓起的部分。例如，鼻子的特征是鼻翼的圆度或尖度和鼻翼的大小中的至少一方。
＜与面部骨骼有关的形状＞
在此，对与面部骨骼有关的形状进行说明。例如，与面部骨骼有关的形状是眼窝、颧骨、鼻骨、梨状孔(鼻腔在人脸侧张开的口)、颅骨指数、上颌骨、下颌骨、嘴唇、嘴角、眼睛、蒙古褶(上眼睑覆盖内眼角的部分处的皮肤的褶皱)、面部轮廓、和眼睛与眉毛的位置关系(例如，眼睛与眉毛分离、接近等)中的至少一方中的、各骨的形状的特征、骨骼的位置关系、角度等。以下，表示与面部骨骼有关的形状的一例。此外，括号内是所推定的具体内容的一例。
·眼窝(横向较长、正方形、圆形的)
·颧骨、脸颊(峰位置、圆度)
·鼻骨(宽度、形状)
·梨状孔(形状)
·颅骨指数(颅骨的宽度/进深＝70、75、80、85、90)
·上颌骨、上颌(与眼窝的位置关系、鼻唇角)
·下颌骨、下颌(进深长度、进深角度、前方角度、轮廓形状(下颌角))
·前额(额头的圆度、额头的形状)
·眉毛(眼睛与眉毛的距离、眉毛形状、眉毛浓度)
·嘴唇(上下均厚、下唇厚、上下均薄、横向大、小)
·嘴角(上扬、下垂、标准)
·眼睛(面积、角度、眉毛与眼睛的距离、两眼间距离)
·蒙古褶(有、无)
·面部轮廓(矩形、圆形、椭圆形、心形、方形、平均的、自然的、长的)
＜鼻子的特征和与面部骨骼有关的形状的对应关系＞
在此，对鼻子的特征和与面部骨骼有关的形状的对应关系进行说明。在本发明中，基于事先存储于骨骼推定装置10等的鼻子的特征和与面部骨骼有关的形状的对应关系，推定与面部骨骼有关的形状。此外，不仅可以基于鼻子的特征，也可以基于鼻子的特征和面部特征的一部分，推定与面部骨骼有关的形状。
对应关系可以是事先确定的数据库，也可以是机器学习出的已学习模型。数据库基于对受试者进行的实验的结果等，使鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)和与面部骨骼有关的形状相关联。另外，已学习模型是若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)的信息、则输出与面部骨骼有关的形状的信息的预测模型。此外，鼻子的特征和与面部骨骼有关的形状的对应关系也可以按以可能影响骨骼的主要因素为基础分类得到的群体(例如，高加索人种、蒙古人种、尼格罗人种、澳大利亚人种等)来制作。
＜＜已学习模型的生成＞＞
在本发明的一实施方式中，骨骼推定装置10等的计算机能够生成已学习模型。具体而言，骨骼推定装置10等的计算机能够取得输入数据为鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)、且输出数据为与面部骨骼有关的形状的教师数据，使用该教师数据进行机器学习，生成若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)则输出与面部骨骼有关的形状的已学习模型。如此，通过使用输入数据为鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)、且输出数据为与面部骨骼有关的形状的教师数据进行机器学习，生成若被输入鼻子的特征(也可以是鼻子的特征和面部的特征的一部分)则输出与面部骨骼有关的形状的已学习模型。
以下，说明基于鼻子的特征和与面部骨骼有关的形状的对应关系的推定例。
＜＜推定例1＞＞
例如，骨骼推定部103能够基于鼻根的高度或低度或者鼻根的高度的变化位置、以及鼻梁的高度或低度，推定颅骨指数。具体而言，鼻根和鼻梁中的至少一方越高，骨骼推定部103推定为颅骨指数越低。
＜＜推定例2＞＞
例如，骨骼推定部103能够基于鼻梁的宽度，推定嘴角的上扬或下垂。具体而言，鼻梁的宽度越宽，骨骼推定部103推定为嘴角越下垂。
＜＜推定例3＞＞
例如，骨骼推定部103能够基于鼻翼的圆度以及鼻尖的尖度，推定唇的大小以及厚度(1.上下均大且厚；2.下唇厚；3.上下均薄且小)。
＜＜推定例4＞＞
例如，骨骼推定部103能够基于鼻根，推定蒙古褶的有无。具体而言，在判定为鼻根低的情况下，骨骼推定部103推定为有蒙古褶。
＜＜推定例5＞＞
例如，骨骼推定部103能够基于鼻梁的低度或高度、鼻根的高度、以及鼻翼的圆度和大小，将下颌的形状进行分类(例如，分为三类)。
＜＜推定例6＞＞
例如，骨骼推定部103能够基于鼻梁的高度，推定梨状孔。
＜＜推定例7＞＞
例如，骨骼推定部103能够基于鼻梁的低度，推定两眼间距离。具体而言，鼻梁越低，骨骼推定部103推定为两眼间距离越宽。
＜＜推定例8＞＞
例如，骨骼推定部103能够基于鼻根的高度以及鼻梁的高度，推定前额的圆度。
＜＜推定例9＞＞
例如，骨骼推定部103能够基于鼻梁的高度、低度、鼻翼的大小、鼻根的高度的变化位置，推定眼睛与眉毛的距离、眉毛形状。
＜处理方法＞
图3是表示本发明的一实施方式涉及的骨骼推定的处理流程的流程图。
在步骤1(S1)中，鼻子特征确定部102从包含鼻子的图像中提取特征点(例如，眉头、内眼角、鼻头的特征点)。
在步骤2(S2)中，鼻子特征确定部102基于在S1中提取到的特征点，提取鼻子的区域。
此外，在包含鼻子的图像是仅拍摄到鼻子的图像(例如，以使用户20的鼻子的区域刚好落在骨骼推定装置10的显示装置所显示的预定区域内的方式拍摄到的图像)的情况下，原样使用仅拍摄到鼻子的图像(也即是说，可以省略S1)。
在步骤3(S3)中，鼻子特征确定部102降低在S2中提取到的鼻子区域的图像的灰度数(例如，二值化)。例如，鼻子特征确定部102使用明度、亮度、RGB的蓝色、RGB的绿色中的至少一方，降低鼻子区域的图像的灰度数。此外，可以省略S3。
在步骤4(S4)中，鼻子特征确定部102基于鼻子区域的图像的图像信息(例如，图像的像素值)，计算鼻子的特征量。例如，鼻子特征确定部102计算鼻子区域的像素值的平均值、预定值以下或者以上的像素数、像素累计值、像素值的变化量等，作为鼻子的特征量。
在步骤5(S5)中，骨骼推定部103设定用途(也即是说，如何利用与面部骨骼有关的形状的信息(例如，骨骼诊断、美容设备的使用方法、化妆、发型、眼镜的建议等))。例如，骨骼推定部103根据来自用户20的指示，设定用途。此外，可以省略S5。
在步骤6(S6)中，骨骼推定部103基于在S5中设定的用途，选定鼻子的特征轴。鼻子的特征轴表示用于在S5中设定的用途的(也即是说，用于推定与面部骨骼有关的形状的)一个或多个鼻子特征。
在步骤7(S7)中，骨骼推定部103推定与面部骨骼有关的形状。具体而言，骨骼推定部103基于在S4中计算出的鼻子的特征量，确定由在S6中选定的鼻子的特征轴所表示的一个或多个鼻子特征。接着，骨骼推定部103基于所确定的鼻子特征，推定与面部骨骼有关的形状。
图4是用于对本发明的一实施方式涉及的鼻子特征进行说明的图。如上所述，鼻子特征是鼻根、鼻梁、鼻尖和鼻翼中的至少一方。在图4中，表示鼻根、鼻梁、鼻尖和鼻翼的位置。
＜鼻子区域的提取＞
图5是用于对本发明的一实施方式涉及的鼻子区域的提取进行说明的图。鼻子特征确定部102提取包含鼻子的图像中的鼻子的区域。例如，鼻子的区域可以如图5的(a)那样为鼻子整体，也可以如图5的(b)那样为鼻子的一部分(例如，右半边或者左半边)。
＜鼻子特征量的计算＞
图6是用于对本发明的一实施方式涉及的鼻子特征量的计算进行说明的图。
在步骤11(S11)中，提取包含鼻子的图像中的鼻子的区域。
在步骤12(S12)中，降低在S11中提取出的鼻子区域的图像的灰度数(例如，二值化)。此外，可以省略S12。
在步骤13(S13)中，计算鼻子的特征量。此外，在图6中，将图像的高明度侧设为0、且将低明度侧设为255而表示了像素累计值。例如，鼻子特征确定部102按多个区域(例如，S12的分割出的区域)中的每一个进行标准化。接着，鼻子特征确定部102按各区域，(例如，使用图像的低明度侧或者高明度侧的数据)计算像素值的平均值、预定值以下或者以上的像素数、X方向和Y方向中的至少一方的像素累计值、以及X方向和Y方向中的至少一方的像素值的变化量等，作为鼻子的特征量。在图6的S13中，计算了Y方向的各位置上的X方向的像素累计值。
以下，对各特征量的计算方法进行说明。
例如，鼻根的特征量是S12的分割出的区域中的上部(靠近眼睛)区域的特征量，鼻梁的特征量是S12的分割出的区域中的上部或者中央部区域的特征量，鼻尖和鼻翼的特征量是S12的分割出的区域中的下部(靠近嘴)区域的特征量。这些鼻子的特征量以两眼间距离进行标准化。
·鼻根的高度：根据鼻子的上部区域内的Y方向的像素值的变化量，判断高度、低度。此外，高度或低度可以作为数值来计算，也可以分类为高的或低的。关于鼻根的高度的变化位置，在S13中，可知鼻子2在Y方向上的值很快地变化，鼻根的高度的变化位置位于上部。
·鼻根的宽度：将鼻子的上部区域在X方向上分割为多个(2～4等)，根据各区域的像素值的平均值的模式，判断宽度。
·鼻梁的高度：根据鼻子的中央部区域的像素累计值的平均值，判断高度、低度。此外，高度或低度可以作为数值来计算，也可以分类为高的或低的。
·鼻梁的宽度：将鼻子的中央部区域在X方向上分割为多个(2～4等)，根据各区域的像素值的平均值的模式，判断宽度。
·鼻尖的圆度或尖度：根据其他鼻子特征(鼻梁的高度、鼻翼的圆度或尖度)求取，鼻梁越低、鼻翼越圆，则越圆。
·鼻尖的朝向：在鼻子的中央部区域内，根据相对于X方向的像素累计值的最大值为预定比例的位置的从鼻子的最低点的宽度求取，宽度越宽，则越朝上。
·鼻翼的圆度或尖度：根据鼻子的下部区域内的Y方向的值的变化量，判断圆度或尖度。
·鼻翼的大小：根据在下部区域的中央部分成为预定值以下的像素数的比例来判断。像素数越多，则鼻翼越大。
＜＜脸型＞＞
如上所述，“与面部骨骼有关的形状”是指“面部骨骼本身的形状”和“起因于骨骼的面部形状”中的至少一方。“与面部骨骼有关的形状”能够包括脸型。
在本发明的一实施方式中，能够基于用户的鼻子特征，推定用户的面部是多个脸型(具体而言是基于“面部的骨骼本身的形状”和“起因于骨骼的面部形状”中的至少一方分类的脸型)中的哪个脸型。以下，参照图7～图8，对脸型进行说明。
图7是本发明的一实施方式涉及的各脸型的鼻子特征的一例。图7表示各脸型(脸型A～L的各类型)的鼻子特征。此外，既可以使用鼻梁、鼻翼、鼻根和鼻尖的全部(四者)推定脸型，也可以使用一部分(例如，鼻梁和鼻翼的二者、鼻梁和鼻根的二者、仅鼻梁、仅鼻翼等)推定脸型。
如此，根据鼻子特征，推定脸型。例如，根据脸型A的鼻子特征，可推定为，眼睛的圆度：圆；眼睛的倾向：下降；眼睛的大小：小：眉毛的形状：拱形：眉毛和眼睛的位置：分离；面部轮廓：圆形。另外例如，根据脸型L的鼻子特征，可推定为，眼睛的圆度：瘦削；眼睛的倾向：明显上升；眼睛的大小：大；眉毛的形状：鲜明；眉毛和眼睛的位置：很近；面部轮廓：矩形。
图8是本发明的一实施方式涉及的根据鼻子特征推定的面部的一例。在本发明的一实施方式中，能够基于用户的鼻子的特征，推定用户的面部是如图8所示的各种脸型的面部中的哪个脸型。
如此，能够根据不易受生活习惯、拍摄时的状况影响的鼻子的特征量来对脸型进行分类。例如，能够在提示化妆指南和/或皮肤特性时利用基于鼻子特征分类的脸型(例如，能够基于是具有怎样的面部特征的脸型、是给人怎样的印象的脸型，提示化妆指南和/或皮肤特性)。
＜效果＞
如此，在本发明中，能够根据鼻子的特征容易地推定与面部骨骼有关的形状(也即是说，面部骨骼本身的形状和起因于该骨骼的面部形状中的至少一方)而无需实际地测定。在本发明的一实施方式中，能够基于根据鼻子特征推定出的与面部骨骼有关的形状，建议骨骼诊断、适合这个人的美容设备的使用方法、化妆、发型、眼镜等。
＜硬件结构＞
图9是表示本发明的一实施方式涉及的骨骼推定装置10的硬件结构的图。骨骼推定装置10具有CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002和RAM(Random Access Memory)1003。CPU1001、ROM1002和RAM1003形成所谓的计算机。
另外，骨骼推定装置10能够具有辅助存储装置1004、显示装置1005、操作装置1006、I/F(Interface)装置1007和驱动装置1008。
此外，骨骼推定装置10的各硬件经由总线B相互连接。
CPU1001是执行安装于辅助存储装置1004的各种程序的运算设备。
ROM1002是非易失性存储器。ROM1002作为存储CPU1001执行安装于辅助存储装置1004的各种程序所需的各种程序、数据等的主存储设备而发挥功能。具体而言，ROM1002作为存储BIOS(Basic Input/Output System)、EFI(Extensible Firmware Interface)等引导启动程序等的主存储设备而发挥功能。
RAM1003是DRAM(Dynamic Random Access Memory)、SRAM(Static Random AccessMemory)等易失性存储器。RAM1003作为提供安装于辅助存储装置1004的各种程序由CPU1001执行时被展开的工作区域的主存储设备而发挥功能。
辅助存储装置1004是存储各种程序、和各种程序被执行时所使用的信息的辅助存储设备。
显示装置1005是显示骨骼推定装置10的内部状态等的显示设备。
操作装置1006是操作骨骼推定装置10的人针对骨骼推定装置10输入各种指示的输入设备。
I/F装置1007是用于连接于网络并与其他装置进行通信的通信设备。
驱动装置1008是用于设置(set)存储介质1009的设备。这里所说的存储介质1009包括如CD-ROM、软盘、光磁盘等那样光学、电或磁记录信息的介质。另外，存储介质1009也可以包括如EPROM(Erasable Programmable Read Only Memory)、闪速存储器等那样电记录信息的半导体存储器等。
此外，安装于辅助存储装置1004的各种程序例如通过所分发的存储介质1009被设置于驱动装置1008并由驱动装置1008读出记录于该存储介质1009的各种程序来安装。或者，安装于辅助存储装置1004的各种程序也可以通过经由I/F装置1007从网络下载来安装。
骨骼推定装置10具有拍摄装置1010。拍摄装置1010对用户20进行拍摄。
以上，对本发明的实施例进行了详细说明，但本发明不限定于上述的特定实施方式，可以在权利要求书所记载的本发明的主旨范围内进行各种变形/变更。
本国际申请主张基于在2021年2月15日申请的日本专利申请2021-021915号的优先权，在此将2021-021915号的所有内容引用于本国际申请。
标号说明
10骨骼推定装置；20用户；101图像取得部；102鼻子特征确定部；103骨骼推定部；104输出部；1001CPU；1002ROM；1003RAM；1004辅助存储装置；1005显示装置；1006操作装置；1007I/F装置；1008驱动装置；1009存储介质；1010拍摄装置。

Claims (12)

1.一种方法，包括：
确定用户的鼻子特征的步骤；和
基于所述用户的鼻子特征推定所述用户的与面部骨骼有关的形状的步骤。
2.根据权利要求1所述的方法，
还包括取得所述用户的包含鼻子的图像的步骤，
所述用户的鼻子特征根据所述图像的图像信息来确定。
3.根据权利要求1或2所述的方法，
所述推定是对所述用户的与面部骨骼有关的形状进行分类。
4.根据权利要求1至3中任一项所述的方法，
所述推定是对所述用户的面部为基于与面部骨骼有关的形状而分类的脸型中的哪个脸型进行推定。
5.根据权利要求1至4中任一项所述的方法，
所述用户的与面部骨骼有关的形状是所述用户的面部骨骼的形状、和起因于所述用户的面部骨骼的所述用户的面部形状中的至少一方。
6.根据权利要求1至5中任一项所述的方法，
所述鼻子特征是鼻根、鼻梁、鼻尖和鼻翼中的至少一方。
7.根据权利要求1至6中任一项所述的方法，
所述用户的与面部骨骼有关的形状使用当输入所述鼻子特征时输出所述与面部骨骼有关的形状的已学习模型来推定。
8.一种骨骼推定装置，具备：
鼻子特征确定部，其确定用户的鼻子特征；以及
骨骼推定部，其基于所述用户的鼻子特征，推定所述用户的与面部骨骼有关的形状。
9.一种程序，用于使计算机作为鼻子特征确定部和骨骼推定部发挥功能，
所述鼻子特征确定部确定用户的鼻子特征，
所述骨骼推定部基于所述用户的鼻子特征，推定所述用户的与面部骨骼有关的形状。
10.一种系统，是包括骨骼推定装置和服务器的系统，具备：
鼻子特征确定部，其确定用户的鼻子特征；以及
骨骼推定部，其基于所述用户的鼻子特征，推定所述用户的与面部骨骼有关的形状。
11.一种方法，包括：
取得输入数据为鼻子特征、且输出数据为与面部骨骼有关的形状的教师数据的步骤；和
使用所述教师数据进行机器学习而生成当输入所述鼻子特征时输出所述与面部骨骼有关的形状的已学习模型的步骤。
12.一种已学习模型，
是通过使用输入数据为鼻子特征、且输出数据为与面部骨骼有关的形状的教师数据进行机器学习而生成的模型，当输入所述鼻子特征时，输出所述与面部骨骼有关的形状。
CN202280010220.5A 2021-02-15 2022-02-15 骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型 Pending CN116782826A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021021915 2021-02-15
JP2021-021915 2021-02-15
PCT/JP2022/005908 WO2022173055A1 (ja) 2021-02-15 2022-02-15 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル

Publications (1)

Publication Number Publication Date
CN116782826A true CN116782826A (zh) 2023-09-19

Family

ID=82838385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280010220.5A Pending CN116782826A (zh) 2021-02-15 2022-02-15 骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型

Country Status (4)

Country Link
US (1) US20240070885A1 (zh)
JP (1) JPWO2022173055A1 (zh)
CN (1) CN116782826A (zh)
WO (1) WO2022173055A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3614783B2 (ja) * 2001-01-26 2005-01-26 株式会社資生堂 顔だち分類法
JP4481142B2 (ja) * 2004-10-22 2010-06-16 花王株式会社 顔形状分類方法および顔形状評価方法および顔形状評価装置

Also Published As

Publication number Publication date
JPWO2022173055A1 (zh) 2022-08-18
US20240070885A1 (en) 2024-02-29
WO2022173055A1 (ja) 2022-08-18

Similar Documents

Publication Publication Date Title
US8391639B2 (en) Method and apparatus for realistic simulation of wrinkle aging and de-aging
KR20180066160A (ko) 안면 이미지 처리 방법 및 장치, 및 저장 매체
US20120044335A1 (en) Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program
KR20200014280A (ko) 화상 처리 장치, 화상 처리 시스템, 및 화상 처리 방법, 그리고 프로그램
JP4999731B2 (ja) 顔画像処理装置
KR101301821B1 (ko) 안색 정보 생성 장치 및 그 방법, 안색 정보를 이용한 건강 상태 판단 장치 및 그 방법, 건강 분류 함수 생성 장치 및 그 방법
JP3993029B2 (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
CN110036407B (zh) 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法
US9330300B1 (en) Systems and methods of analyzing images
KR102657095B1 (ko) 탈모 상태 정보 제공 방법 및 장치
CN110866139A (zh) 一种化妆处理方法、装置及设备
US10803677B2 (en) Method and system of automated facial morphing for eyebrow hair and face color detection
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
US20220378548A1 (en) Method for generating a dental image
KR101145672B1 (ko) 미소 훈련을 위한 미소 분석 시스템
CN116782826A (zh) 骨骼推定方法、装置、程序、系统、已学习模型生成方法及已学习模型
JP2005242535A (ja) 画像補正装置
CN116801800A (zh) 皮肤状态推定方法、装置、程序、系统、已学习模型生成方法及已学习模型
US20240032856A1 (en) Method and device for providing alopecia information
WO2023048153A1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
WO2023026891A1 (ja) 眉メイクガイド方法、装置、プログラム、およびシステム
TWI466038B (zh) Eyelid length measurement method and device thereof
JP2022119467A (ja) 脈波推定装置、脈波推定方法および脈波推定プログラム
KR20220121137A (ko) 탈모 상태 정보 제공 방법 및 장치
WO2020194488A1 (ja) 三次元顔形態の判別装置、方法、プログラム、およびシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination