CN105101874B - 图像解析装置、以及图像解析方法 - Google Patents

图像解析装置、以及图像解析方法 Download PDF

Info

Publication number
CN105101874B
CN105101874B CN201480018324.6A CN201480018324A CN105101874B CN 105101874 B CN105101874 B CN 105101874B CN 201480018324 A CN201480018324 A CN 201480018324A CN 105101874 B CN105101874 B CN 105101874B
Authority
CN
China
Prior art keywords
image
wrinkle
skin
unit
testee
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480018324.6A
Other languages
English (en)
Other versions
CN105101874A (zh
Inventor
原祐辅
岩井郎
岩井一郎
大西浩之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of CN105101874A publication Critical patent/CN105101874A/zh
Application granted granted Critical
Publication of CN105101874B publication Critical patent/CN105101874B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

一种图像解析装置，其根据利用摄像单元所拍摄的被试验者的脸部的活动图像来对皮肤状态进行解析，其特征在于，具有：追踪单元，其基于所述活动图像中包含的所述脸部的表情变化，来对预先排列在所述脸部的解析区域中的多个追踪点的变化量进行追踪，并根据所述变化量来取得所述解析区域中的皮肤的压缩率；以及皮肤状态解析单元，其基于利用所述追踪单元所得到的压缩率，来对所述被试验者的皮肤状态进行解析。

Description

图像解析装置、以及图像解析方法
技术领域
本发明的一个实施方式涉及一种图像解析装置、图像解析方法、以及图像解析程序，特别是关于用于根据被试验者的表情皱纹来恰当地对皮肤状态进行解析的图像解析装置、图像解析方法、以及图像解析程序。
背景技术
以往，在被试验者的脸部(例如外眼角或脸颊等)上产生的皱纹，是随着由于脸部的表情变化(例如笑纹、怒纹)或按压皮肤而引起的扭曲而产生的。此外，皱纹由于年龄增长、或者皮肤肌理或张力的衰老等，即使表情复原，皱纹也会变成无法消失的状态(所谓的残留皱纹)，并最终变成与表情无关而产生的皱纹(所谓的定形皱纹)。因此，作为外表上的老化现象的特征，成为美容上的大问题，对于在皱纹的预防及改善上有效的制品的开发，消费者寄予了巨大的期待。此外，对于抗皱纹制品开发，利用科学且可信的评价方法来实证其性能、效果非常重要。
因此，在以往，制作了进行以外眼角的皱纹为对象的抗皱纹制品的功能评价的规范并进行各种皱纹评价法的标淮化(例如参见非专利文献1)。此外，在以往，存在一种方法，其根据外眼角的三维形状数据来计算出各个皱纹的深度或面积，并基于加上目视评价结果的分布解析来评价皱纹(例如参见非专利文献2)。
<现有技术文献>
<非专利文献>
非专利文献1：抗老化功能评价专门委员会，“用于取得新功能的抗皱纹制品评价规范”，日本香妆品学会杂志，Vol.30，No.4，pp.316-332
非专利文献2：原右辅等，“利用外眼角皱纹的三维个别解析的新分类法的开发”，日本香妆品学会杂志，Vol.35，No.2，pp.93-98
发明内容
<本发明所要解决的技术问题>
然而，上述的以往手法对于所谓的定形皱纹进行评价等，并不存在针对作为定形皱纹根本的表情皱纹的解析或评价手法等。
此外，通常皱纹随着表情或用手指沿一个方向按压皮肤时的扭曲而变化，并且变化量或皱纹的位置也因人而异。因此，难以根据图像来对表情皱纹或扭曲进行恰当的评价，无法根据表情皱纹、或者由于针对扭曲的恰当的判断、表型变化或普通的打理而产生的潜在的皱纹等来对皮肤状态进行解析。
本发明的一个实施方式鉴于上述问题，其目的在于提供一种用于根据被试验者的表情皱纹或打理时的皮肤的扭曲来恰当地对皮肤状态进行解析的图像解析装置、图像解析方法、以及图像解析程序。
<用于解决技术问题的方案>
为了解决上述问题，本发明的一个实施方式采用具有以下特征的、用于解决上述问题的手段。
本发明的一个方式提供一种图像解析装置，其根据利用摄像单元所拍摄的被试验者的脸部的活动图像来对皮肤状态进行解析，其特征在于，具有：追踪单元，其基于所述活动图像中包含的所述脸部的表情变化，来对预先排列在所述脸部的解析区域中的多个追踪点的位置进行追踪，并根据所述多个追踪点间的距离变化来取得所述解析区域中的皮肤的形变量；
皮肤状态解析单元，其基于追踪出的所述多个追踪点的位置，计算相对于所述解析区域的皱纹面积、皱纹长度以及皱纹比率中的至少一个，根据所取得的所述形变量和计算出的所述皱纹面积、所述皱纹长度以及所述皱纹比率中的至少一个，来对所述被试验者的皮肤状态进行解析；以及
图像生成单元，所述图像生成单元生成将所述被试验者的皮肤状态的解析结果反映到利用所述摄像单元拍摄的所述被试验者的脸部图像上而得的图像，所述图像生成单元在所述解析区域中将皱纹按每个所分类的类别来进行颜色区分而增强显示。
<发明的效果>
根据本发明的实施例，可根据被试验者的表情皱纹或打理时的皮肤的扭曲来恰当地对皮肤状态进行解析。
附图说明
图1是表示图像解析装置的功能构成的一个例子的图。
图2是表示图像解析装置的硬件构成的一个例子的图。
图3是表示本实施方式中的图像解析装置的处理的一个例子的流程图。
图4是表示实施例1中的图像解析处理的一个例子的流程图。
图5是用于对排列在解析区域中的追踪点进行说明的图。
图6是用于对形变计算例2进行说明的图。
图7是用于对形变计算例3进行说明的图。
图8是用于对形变计算例4进行说明的图。
图9是用于对压力信息的取得例子进行说明的图。
图10是表示实施例1中的解析结果的一个例子的图(其1)。
图11是表示实施例1中的解析结果的一个例子的图(其2)。
图12是表示实施例1中的解析结果的一个例子的图(其3)。
图13是表示实施例2中的皮肤状态解析处理的一个例子的图。
图14是用于对表情皱纹的褶痕进行说明的图。
图15是表示实施例2中的解析结果的一个例子的图(其1)。
图16是表示实施例2中的解析结果的一个例子的图(其2)。
图17表示出前额的皱纹解析结果的一个例子。
图18是表示实施例3中的解析结果的一个例子的图(其1)。
图19是表示实施例3中的解析结果的一个例子的图(其2)。
具体实施方式
＜关于本发明的一个实施方式＞
在本发明的一个实施方式中，为了根据被试验者的动态的皱纹(例如笑纹、怒纹、或哭纹等表情皱纹、打理时的皮肤的扭曲)来对皮肤状态进行解析，在脸部的预定的部分设定追踪点并特别指定解析区域，例如使用高速摄影机等摄像单元来拍摄伴随表情变化的皱纹的变动，一边按时间序列追踪拍摄的结果一边进行皱纹的解析。
此外，在本发明的一个实施方式中，可使用预先设定的皱纹过滤器等从提取的图像中提取皱纹，并计算出皱纹参数(例如皱纹的面积、长度、或比率)。此外，可进行所得到的图像的形变解析、或形变和压力解析，制作应力图等。由此，可恰当地对被试验者的皮肤状态进行解析、评价。以下，使用附图，对本发明中的图像解析装置、图像解析方法、以及图像解析程序的优选实施方式进行说明。
＜图像解析装置的功能构成例＞
图1是表示图像解析装置的功能构成的一个例子的图。图1所示的图像解析装置10具有输入单元11、输出单元12、存储单元13、图像取得单元14、追踪单元15、皮肤状态解析单元16、图像生成单元17、发送接收单元18、以及控制单元19。此外，皮肤状态解析单元16具有压力(stress)解析单元21以及皱纹参数计算单元22。需要说明的是，图1所示的图像解析装置10与摄像单元30在外部连接，但并不限定于此，图像解析装置10也可内藏摄像单元30。
输入单元11接受来自图像解析装置10的使用者等的各种指示的输入。输入单元11例如由键盘或鼠标等指示设备等构成。
输出单元12进行基于由输入单元11所输入的内容、或输入内容而执行的内容等的显示或输出。输出单元12由显示器或扬声器等构成。此外，输出单元12也可具有打印机等的功能，此时可将图像解析结果等印刷到纸等印刷介质上，提供给使用者等。
需要说明的是，输入单元11和输出单元12可以是例如触摸面板等一体型的输入输出单元。此时，可利用使用者的手指或触摸笔等接触画面上的预定位置而进行输入。
存储单元13存储在本实施方式的图像解析中所需的各种数据。例如存储单元13存储图像取得单元14利用摄像单元30等取得的拍摄图像(时间序列图像、动画)、由追踪单元15得到的追踪结果、由皮肤状态解析单元16得到的解析结果、由图像生成单元17得到的图像等各种数据，所存储的数据例子并不限定于此。
存储单元13例如也可存储用于进行图像解析的设定信息、利用发送接收单元18而从通过通信网络而连接的外部装置取得的各种数据(拍摄图像等)。此外，存储单元13可根据需要将所存储的各种数据读出或写入。
图像取得单元14取得由外部连接的摄像单元30所拍摄的被试验者的脸部图像。需要说明的是，脸部图像可以是脸部正面的全部区域的图像，可以是横向脸部图像，可以是脸部的一部分区域的图像，也可以是组合上述图像的图像。
在此，在本实施方式中图像取得单元14取得的图像例如是包含预先设定的解析区域的时间序列图像，是具有多个帧图像的动画。此外，在预先设定的解析区域中，以预定的间隔排列有预定的追踪点。追踪点例如是具有三角形、四边形、星形等预定形状的记号(标记)，但并不限定于此。追踪点是在根据图像数据进行预定的图像处理后用可追踪其位置的颜色等而被付予到解析对象的皮肤表面。
因此，图像取得单元14从摄像单元30取得包括上述追踪点的时间序列图像(动画)。再有，在本实施方式中，为了进行表情皱纹的解析，例如让被试验者按时间序列从真实脸(普通脸)的状态变化到预先设定的脸部表情、或者从预先设定的脸部表情变化到真实脸的状态。此变化可反复进行。摄像单元30对该变化表情的脸部的活动图像进行拍摄。
在此，作为摄像单元30，例如可使用可以影像速率(30fps)以上的帧频进行动画拍摄的高速摄影机(High speed camera)等，但并不限定于此。作为高速摄影机，例如可使用株式会社KEYENCE公司制的“microscope VW-6000”等来拍摄，但并不限定于此。此外，摄像单元30取得被试验者的脸部图像时，例如以在增强脸部皱纹的照明条件下进行拍摄为佳，但并不限定于此。
图像取得单元14通过对摄像单元30生成并输出上述拍摄范围(例如视角、焦距等)、照明条件、拍摄条件(帧间的时间间隔)、或分辨率等各种摄影机参数，从而可取得所希望的活动图像(时间序列图像)。此外，图像取得单元14可使存储单元13存储从拍摄单元30取得的活动图像，并直接输出到追踪单元15。
追踪单元15利用存储在存储单元13中的活动图像、由图像取得单元14得到的活动图像、或者利用发送接收单元18从外部装置等取得的活动图像等，对解析区域的皮肤的变动进行追踪。需要说明的是，解析区域的追踪是对包含在时间序列图像中的上述一个或多个追踪点(标记)的变动进行取得，但并不限定于此。此外，追踪单元基于根据脸部图像的时间序列而产生的追踪点的移动距离的变化量来取得被试验者的皮肤的压缩率。所谓的压缩率是所追踪的各点间的移动距离的变化量(缩短情况)，但并不限定于此。此外，作为压缩率的一个例子，追踪单元15根据所追踪的各点间的距离的变化来取得形变量。所谓的形变量例如是由于表情变化而引起的由各点间所包围的面区域的压缩或扩张量，但并不限定于此。
皮肤状态解析单元16基于上述追踪点的时间序列上的变动(压缩率)，对皮肤状态进行解析。所谓的皮肤状态的解析是例如对表情皱纹进行解析，根据其结果对针对皮肤的压力(stress)进行解析、或者计算出用于用数值来表现表情皱纹的皱纹参数等，但并不限定于此，例如也可对因打理时的用手指按压而产生的皮肤扭曲进行解析。
例如，皮肤状态解析单元16中的压力解析单元21根据由多个追踪点的点群数据得到的对应于表情变化的形变量，来限定对解析区域内受到强力压力的部分。此外，压力解析单元21进行对肌肤(皮肤)的柔软性(硬度)等进行定量化的皮肤力学测定，并利用其结果将形变作为压力来解析。所谓的皮肤力学测定例如是对具有皮肤的2点间的冲击波的传播时间等进行测定，并基于其结果对肌肤(皮肤)的柔软性或张力的状态、方向等进行定量化，但并不限定于此。
皮肤状态解析单元16中的皱纹参数计算单元22基于设置在解析区域内的追踪点，来将区域内的皱纹分类成预先设定的一个或多个皱纹种类。此外，皮肤状态解析单元16进行在图像中所识别的皱纹的噪音处理，当具有在活动图像中的前后图像中不存在的皱纹时，将该皱纹删除。
再有，皱纹参数计算单元22针对由上述处理得到的皱纹计算出参数。需要说明的是，皱纹参数是皱纹面积、皱纹长度、以及皱纹比率等之中至少一个，但并不限定于此。
图像生成单元17基于由上述皮肤状态解析单元16得到的解析结果来生成在输出单元12等的画面上显示的图像。
例如，图像生成单元17生成对由压力解析单元12得到的压力产生的部分进行增强显示的图像或压力图等，或者生成显示由皱纹参数计算单元22所计算出的参数的图像，或者生成对由于脸部的表情变化而引起的皱纹的部分进行增强显示的图像等，但并不限定于此。例如，图像生成单元17例如也可生成设定画面等，该设定画面用于输入用于使用者进行本实施方式的图像解析的各种设定信息。
需要说明的是，图像生成单元17当将所生成的图像显示在输出单元12的画面上时，为了使使用者或被试验者更容易看到，例如可将预定区域放大显示，或者在进行了亮度反转等处理之后再进行显示。
再有，图像生成单元17可按活动图像的各帧来进行上述表现皱纹或压力的图像、并生成动画。使用者通过观看该动画，可更恰当地把握随着表情变化而引起的皱纹或压力的变化。因此，可进行恰当的皮肤状态的评价等。
发送接收单元18是用于例如通过互联网或LAN(Local Area Network：局域网)等代表的通信网络所连接的外部装置等进行数据的发送接收的通信单元。需要说明的是，发送接收单元18可接收已在外部装置等中存储的脸部图像数据、被试验者信息或处理程序等，也可将由图像解析装置10所解析的结果通过通信网络发送到外部装置。
控制单元19进行图像解析装置10的各构成部整体的控制。具体而言，控制单元19例如基于根据使用者等的来自输入单元11的指示等，进行使图像取得单元14取得图像，使追踪单元15追踪图像中的一个或多个追踪点，使皮肤状态解析单元16解析皮肤状态，使图像生成单元17生成图像等的控制，但控制内容并不限定于此。
图像解析装置10例如可以是个人计算机(PC：Personal Computer)或服务器等，也可以是平板终端、智能手机等通信终端、或游戏设备等，但并不限定于此。
＜图像解析装置10的硬件构成例子＞
图2是表示图像解析装置的硬件构成的一个例子的图。图2中的图像解析装置10具有输入装置41、输出装置42、驱动装置43、辅助存储装置44、主存储装置45、CPU(CentralProcessing Unit：中央处理器)46、以及网络连接装置47，并通过系统总线B将其相互连接。
输入装置41具有使用者等所操作的键盘及鼠标等指示设备、或麦克风等声音输入设备，接受来自使用者等的程序的执行指示、各种操作信号、用于启动软件等的信息等。
输出装置42具有显示对操作图像解析装置10所需的各种窗口或数据等的显示器，可通过CPU46执行控制程序而显示程序的执行经过或结果等。
在此，在本实施方式中安装于作为图像解析装置10的计算机中的执行程序例如由通用串行总线(USB：Universal Serial Bus)存储器、CD-ROM、DVD等可搬运型记录介质48等提供。记录有程序的记录介质48可安装于驱动装置43中，基于来自CPU46的控制信号，包含于记录介质48中的执行程序借助驱动装置43从记录介质48被安装于辅助存储装置44中。
辅助存储装置44例如是硬盘(HDD：Hard Disk Drive)或固态硬盘(SSD：SolidState Drive)等存储单元等。辅助存储装置44基于来自CPU46的控制信号，存储本实施方式中的执行程序、设于计算机中的控制程序，并根据需要进行输入输出。辅助存储装置44可基于来自CPU46的控制信号等，从所存储的各信息读出或写入所需的信息。
主存储装置45储存利用CPU46从辅助存储装置44中读出的执行程序等。需要说明的是，主存储装置45例如是只读存储器(ROM：Read Only Memory)及随机存取存储器(RAM：Random Access Memory)。需要说明的是，辅助存储装置44及主存储装置45例如对应于上述存储单元13。
CPU46可根据操作系统(OS：Operating System)等控制程序、及主存储装置45中储存的执行程序，来控制各种演算或与硬件构成部的数据的输入输出等图像解析装置10整体的处理，并实现各处理。需要说明的是，程序的执行中所需的各种信息等可从辅助存储装置44取得，并可储存执行结果等。
具体而言，CPU46例如通过基于从输入装置41所取得的程序的执行指示等而使辅助存储装置44执行所安装的程序，从而在主存储装置45上进行对应于程序的处理。例如，CPU46通过执行本实施方式中的图像解析程序，从而进行上述利用图像取得单元14进行的图像的取得、利用追踪单元15进行的追踪点的追踪、利用皮肤状态解析单元16进行的皮肤状态的解析、利用图像生成单元17进行的图像生成等处理。需要说明的是，CPU46中的处理内容并不限定于此。对于由CPU46所执行的内容，可根据需要使辅助存储装置44存储。
网络连接装置47通过基于来自CPU46的控制信号而与通信网络等连接，从而从与通信网络连接的外部装置等取得执行程序、软件或设定信息等。此外，网络连接装置47可向外部装置等提供通过执行程序所得到的执行结果或本实施方式中的执行程序本身。
利用上述硬件构成，可执行本实施方式中的图像解析处理。此外，通过将可使计算机执行上述各功能的执行程序(图像解析程序)安装于例如通用的PC、智能手机等通信终端、或游戏设备中，从而可实现本实施方式中的图像解析处理。
＜图像解析装置10的处理的例子＞
在此，使用流程图对本实施方式中的图像解析装置10的处理的一个例子进行说明。图3是表示本实施方式中的图像解析装置的处理的一个例子的流程图。
在图3的例子中，图像解析装置10的图像取得单元14所拍摄的包括解析区域的皮肤图像的活动图像(S01)。需要说明的是，所拍摄的活动图像，用高速摄影机来拍摄为佳，但并不限定于此。
接着，图像解析装置10的追踪单元15针对在S01处理中得到的活动图像来追踪在解析区域内排列的各点(S02)。需要说明的是，所谓的各点，是在被试验者的脸部的解析区域内预先付予的追踪点(标记)。在本实施方式中，例如将多个点以预定的间隔排列在区域内。
接着，图像解析装置10的皮肤状态解析单元16根据追踪的结果来对皮肤状态进行解析(S03)。S03的处理例如可以是皮肤的压力的解析，可以是皱纹参数的计算，也可以是其组合等，但并不限定于此。
接着，图像解析装置10的图像生成单元17基于在S03的处理中得到的皮肤解析结果来生成图像(S04)，并将生成的图像显示在输出单元12等的画面上(S05)。在S05的处理中，图像生成单元17可将其显示在通过通信网络等连接的外部装置的画面上。此外，在S04、S05的处理中，也可生成将图像按时间序列排列的动画，并使输出单元12等显示所生成的动画。
图像解析装置10的存储单元13对在S03处理中得到的皮肤解析结果等进行存储(S06)。在此，图像解析装置10判断是否结束图像解析处理(S07)，当不结束处理(S07中为否)时，返回到S01的处理。此外，当根据使用者等的指示结束处理(S07中为是)时，图像解析装置10结束图像解析处理。
＜皮肤状态解析处理：实施例1(压力解析)＞
接着，对上述皮肤状态解析单元16中的皮肤状态解析处理的实施例1进行说明。在实施例1中，对利用表情皱纹的压力解析例子进行说明。需要说明的是，在以下说明中，作为表情皱纹的一个例子使用笑纹，但并不限定于此，例如也可以是怒纹、哭纹等。
在实施例1中，例如将被试验者的脸部的解析区域内预先设定的追踪点(标记)以1mm间隔在外眼角打点100个点以上。需要说明的是，上述打点可直接附着于皮肤上，也可以通过使用在预先设定的位置上进行打点的打印机(stamp)等来容易地付予追踪点。
此外，在实施例1中，使用打印机在外眼角进行打点，并用高速摄影机来拍摄被试验者笑时的外眼角的皮肤的变动。此外，在实施例1中，根据追踪点间的距离的变化来取得二维的形变，并显示所取得的形变。再有，在实施例1中，通过进行对肌肤(皮肤)的柔软性等进行定量化的皮肤力学测定、并参考其结果，从而将形变作为压力来显示、并进行解析。皮肤力学测定例如可使用“冲击波测定装置‘Reviscometer(登记商标)’”(Courage+Khazakaelectronic GmbH)等，但并不限定于此。
图4是表示实施例1中的图像解析处理的一个例子的流程图。需要说明的是，在图4的例子中，利用预先制造的打印机等，将在用于解析被试验者的皮肤状态的解析区域内以预定间隔排列的追踪点打印到外眼角。需要说明的是，在打点时，例如考虑针对皮肤的负荷或可容易区别皮肤的颜色的易选择性等，相比墨水以使用睫毛膏或眼线笔等预定的化妆料为佳。需要说明的是，关于区域内的打点数，例如以在解析区域内以相等间隔排列100个以上的点为佳，但并不限定于此。
图5是用于对排列在解析区域中的追踪点进行说明的图。图5(A)表示所排列的追踪点的一个例子，图5(B)表示包括追踪点的点群的解析区域。在图5(A)所示的例子中，在被试验者的右外眼角附近的图像50中以预定的间隔表示出纵横11×11＝121个点的追踪点(标记)51。此外，如图5(B)所示，追踪点被排列标记在解析区域52中。
需要说明的是，在本实施方式中，由于将以预定的间隔排列追踪点51的部分作为解析区域52即可，因此例如可将比图5(B)所示的区域更小的区域(例如图5(B)所示的解析区域52的右半部或左半部等)作为解析对象。再有，可将由各追踪点所包围的区域的内部的一部分区域作为解析区域52。
在实施例1中，通过在各追踪点51由真实脸(普通脸)变化至笑脸时、或由笑脸变化至真实脸时，对发生了何变动进行追踪，从而可解析因表情变化而引起的皮肤的压力信息。
在图4的例子中，压力解析单元21取得被试验者的笑纹的活动图像(S11)。在S11的处理中，例如使用高速摄影机进行增强皱纹的照明条件的调整、或者以不产生抖动图像的程度取得所拍摄的活动图像为佳，但并不限定于此。此外，在S11的处理中，让被试验者从真正脸做出满脸的笑脸，并取得此时的拍摄包括解析区域(外眼角附近)的皮肤变化的动画。
接着，压力解析单元21例如基于PIV(Particle Image Velocimetry：粒子影像测速)法来进行利用追踪点的追踪的解析。所谓的PIV法是例如根据拍摄时间不同的粒子图像，使用型态匹配等来测量速度场的技术，是根据数字图像等测定粒子速度或位移的手法。
在基于PIV法的追踪点的追踪例如可使用株式会社Library公司的“二维动画测量软件‘Move-tr/2D’”等，但并不限定于此，也可使用其他软件。
压力解析单元21也可以将通过利用追踪的解析来将动画中的各场景(帧)的追踪点的位置设成csv文件或txt文件等保存在存储单元13中。此外，可进行将动画(例如avi文件)分解成连续静止图像(例如bmp文件)的图像处理。
接着，压力解析单元21取得解析区域内的追踪点间的距离的变化，并根据其变化量进行形变解析(S13)。需要说明的是，形变解析例如可使用株式会社Library公司的“形变计测软件‘Strain-mp’”等，但并不限定于此，也可使用其他软件。
接着，压力解析单元21在解析区域内进行上述的皮肤力学测定，基于该皮肤力学测定值与在S14的处理中得到的形变解析结果，取得压力信息(S14)。在S14的处理中，例如通过将由皮肤力学测定得到的皮肤的硬度乘以形变解析结果，从而取得由笑纹引起的压力(应力)信息。具体而言，为“Stress(应力)＝E(硬度)×Strain(形变)”，但并不限定于此。在实施例1中，若利用压力解析单元21取得压力信息，则在图像生成单元17中，可生成并显示使用压力信息将皮肤受到的强力压力的部位可视化后的压力(应力)图等。
＜关于PIV法＞
在此，对本实施方式中的PIV法具体进行说明。需要说明的是，在以下说明中，使用作为PIV法的一个例子的PTV(Particle Tracking Velocimetry：粒子追踪)法，但并不限定于此。
在实施例1中的PTV法中，以在解析区域内附着化妆料等并实施打点的部位(追踪点)为图像中的追踪对象，首先作为初始设定，设定追踪点的特征(例如颜色、形状、大小)等。此时，可基于亮度值、RGB值等来提取尽量不与追踪对象周边部位不重复的追踪对象的特征，并基于其像素数(检查区域尺寸)、重心等进行追踪对象的自动的特征设定。此外，在实施例1中，在图像中设定追踪的面积(解析区域尺寸)。
接着，基于所设定的内容来进行所拍摄图像的解析。在此，将F(t－1)定义为追踪对象(追踪点)的XY值确定的图像的图像，将F(t)定义为追踪对象的XY值不确定的F(t－1)的下一个帧的图像。此时，在F(t)的图像中，以F(t－1)中的追踪对象的XY值为中心，针对解析区域所有尺寸，计算出与追踪对象之间的相关系数，并将表示相关值最高的值的XY值作为F(t)中的追踪对象的XY值。
＜关于形变解析＞
接着，对上述形变解析具体进行说明。在实施例1中，使用高速摄影机用动画拍摄打点了追踪点的皮肤的变动，按构成该动画的每个帧来进行利用PTV法的追踪点的追踪，例如将由打点所包围的解析区域(例如四边形)从预先设定的最初的帧(初始位置)变形何种程度作为形变值来计算。需要说明的是，压缩形变值并不限定为将压缩的情形设为正(plus)。
接着，对形变计算方法的例子进行说明。
＜形变计算例1＞
在形变计算例1中，平面的形变相对于位移量u,v为以下所示的(1)式。
[数1]
然而，x,y表示平面坐标。
此时，主形变可利用以下所示的(2)～(4)式来计算。
[数2]
γmax＝ε1-ε2 ···(4)
＜形变计算例2＞
在形变计算例2中，利用外积求出作为解析区域的一个例子的四边形的面积，根据改变表情前后的面积比来计算出形变值。在此，图6是用于对形变计算例2进行说明的图。
在图6的例子中，当解析区域为四边形时，若将该四边形的顶点的xy坐标设为(0,0)、(a,b)、(c,d)、(e,f)，则四边形的面积为“面积＝1/2×((√(a×d－b×c)2)+(√(c×f－d×e)2))”。
基于上述的计算内容，形变值可作为“形变值＝(作为对象的表情变形时的帧的四边形面积)/(最初(真正脸)的帧的四边形面积)”计算出。
＜形变计算例3＞
在形变计算例3中，计算重心P的形变(εx，εy)。图7是用于对形变计算例3进行说明的图。
在此，如图7所示，若将四边形的顶点的初始坐标设为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，将节点1～4的位移设为(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)，则重心P的形变可由以下所示的(5)式、(6)式计算出。
[数3]
＜形变计算例4＞
图8是用于对形变计算例4进行说明的图。在形变计算例4中，例如如图8所示，将局部坐标系(物理坐标系)转换为一般坐标系(自然坐标系)。在此，使四边形的四个顶点(1)～(4)分别对应于(－1,－1)、(1,－1)、(1,1)、(－1,1)。换言之，将局部坐标系的四边形映射为一般坐标系的正方形。
在此，将形状函数(位移内插函数)如以下所示的(7)式定义。
[数4]
在如图8(A)所示的一般化坐标系中的形变如以下所示的(8)式变为位移内插函数的偏微分的导函数，将其展开后为(9)式。
[数5]
在平面问题中，一般化坐标系与局部坐标系的变分的关系为如下所示的(10)式。
[数6]
需要说明的是，在上述的(10)式中，J表示贾可比矩阵(Jacobian matrix)。因此，贾可比矩阵的逆矩阵为以下所示的(11)式。
[数7]
在此，若将形变设为ε，将形变－位移转换矩阵(线形)设为B(也称为[B]矩阵)，将u设为要素端面内位移矢量，则形变－位移关系式被定义为“ε＝Bu”。此时的形变ε可用以下所示的(12)式来表示。
[数8]
某一点i的形变－位移转换矩阵([B]矩阵)可利用以下所示的(13)式计算出(每个点上存在[B]矩阵)。
[数9]
在此，在制作矩阵时，需要进行面积积分。然而，只要要素不是很单纯的形状，则被积分函数的形变得复杂，解析上积分几乎不可能。因此，在形变计算例4中，例如使用高斯(Gauss)积分。
高斯积分是用拉格朗日(Lagrange)多项式来近似被积分函数，将拉格朗日多项式的性质复原在数值上求出积分的方法之一。在本实施例中的四边形要素(节点1～4)中，为了保证充分精度的高斯积分点(采样点)例如可以如图8(B)所示的(ri,si)的坐标值为基淮设为4个。例如，r＝±1/√3，s＝±1/√3的2×2的4点，此时的重量为W1＝W2＝1。此时，形变ε可利用以下所示的(14)式来计算。
[数10]
上述的形变计算例1～4可使用预先设定的手法来计算，也可组合上述的多个计算例。
＜压力(应力)信息σ的取得例＞
接着，对压力(应力)信息σ的计算例具体进行说明。对于压力(应力)信息σ，例如可通过假定并模拟表示平面应力状态或平面形变来取得压力(应力)信息σ。在此，图9是用于对压力信息的取得例子进行说明的图。需要说明的是，图9(A)表示出平面应力状态，图9(B)表示出平面形变状态。
例如，若假定为平面应力状态(z方向的应力为0)，则可考虑为图9(A)所示的薄板样的情况。此时，设σz＝0、γzx＝0、γyz＝0，ε由以下所示(15)式计算出。
[数11]
需要说明的是，在上述(15)式中，v表示柏松比，E表示杨氏模数。此外，在本实施方式中，作为柏松比例如使用0.4。这是因为考虑由于高含水性的生物体其非压缩性高因此为0.5～4.0左右。此外，杨氏模数E例如用由Revisco meter等得到的皮肤力学测定值的倒数来推定。
需要说明的是，在图9(A)的平面应力状态下，由于Z方向的形变不为零，因此为“εz＝－v(σx+σy)/E”。
此外，若假定为平面形变状态(z方向的形变为0)，则可考虑为图9(B)所示的厚的构造的剖面。此时，设σz＝0、γzx＝0、γyz＝0，ε由以下所示(16)式计算出。
[数12]
在此，由于z方向的应力不为零，因此为“σz＝vE(εx+εy)/((1+v)(1－2v))”。
需要说明的是，在上述例子中，简易地考虑上述v、ε充分小，则可代替为σ＝εE。因此，在上述例子中，与ε同样σ也能够输出主应力。
＜实施例1中的解析结果的一个例子＞
在此，图10图～第12图是表示实施例1中的解析结果的一个例子的图(其1～其3)。在图10的例子中，表示出通过多次重复表情变化而得到的定形皱纹和残留皱纹的样子。此外，在图10的例子中，表示出在乾燥环境(10％RH(Relative Humidity：相对湿度))和高湿环境(80％RH)下实施时的结果。需要说明的是，在图10的例子中作为皮肤的一个例子使用复制品。
在图10的例子中，若比较箭头部分中的乾燥环境(10％RH)及高湿环境(80％RH)的皱纹的体积[mm3]，可知道在乾燥环境下残留皱纹增加，在高湿环境下定形皱纹及残留皱纹均不怎么变化。
在图11的例子中，是将在乾燥(低湿)环境(10％RH)和高湿环境(80％RH)下实施的外眼角的皱纹压力可视化显示。需要说明的是，在图11的例子中，图像生成单元17根据解析区域52内的压力的大小(负荷程度)(a.u.)用预先设定的颜色来生成区分颜色的图像，但并不限定于此，也可以对图案等附加变化来显示、或者进行其他的增强显示。
在图12的例子中，在图12(A)中表示出低湿度(乾燥环境(10％RH))和高湿度(高湿环境(80％RH))下的形变和压力的标淮偏差值的关系，表示出值越高则越局部地负荷有形变或压力。此外，在图12(B)中，表示出低湿度(乾燥环境(10％RH))和高湿度(高湿环境(80％RH))下的最大形变和最大应力的关系。此外，在图12(C)中，表示出最大形变(前10个平均)和最大应力(前10个平均)的关系。
根据图12(A)～(C)的解析结果，可知无论何种情况，比起高湿度，低湿度的形变或压力的值大是残留皱纹的一个原因。
＜皮肤状态解析处理：实施例2(皱纹参数计算)＞
接着，对上述皮肤状态解析单元16中的皮肤状态解析处理的实施例2进行说明。在实施例2中，对利用表情皱纹的皱纹参数计算例进行说明。需要说明的是，在以下说明中也与实施例1同样作为表情皱纹的一个例子使用笑纹来进行说明，但并不限定于此，例如也可以是怒纹、哭纹等。
在实施例2中，例如将预先设定的追踪点(标记)在外眼角以大约1.5cm的间隔上下打2点，用高速摄影机对被试验者笑时的外眼角的变动方式进行拍摄。此外，将动画按每一场景(帧)分解，使用预先设定的皱纹提取程序来提取皱纹。需要说明的是，在实施例2中，例如可以对不明显的笑纹或明显的笑纹等分类为皱纹种类并进行解析。
此外，在实施例2中，可以对皱纹和年龄的关系进行解析，由此可找出随着年龄增长明显皱纹的比率增加等的知识。需要说明的是，上述追踪点与实施例1同样，可使用睫毛膏或眼线笔等化妆料，但并不限定于此。
在此，图13是表示实施例2中的皮肤状态解析处理的一个例子的图。在图13中，皱纹参数计算单元22如上所述使用在被试验者的解析区域内付予的追踪点(标记)，与实施例1同样地，取得被试验者做出满脸笑容的表情时的活动图(S21)像。
接着，皱纹参数计算单元22，根据由S21的处理得到的活动图像来进行基于PIV法的追踪点的追踪(S22)。需要说明的是，在S22的处理中，与实施例1同样可动画中的按各场景的点的位置以csv文件或txt文件保存在存储单元13中。此外，在S22处理中，可以进行将动画(例如avi文件形式)分解成连续静止图像(例如bmp文件)的图像处理。
接着，皱纹参数计算单元22使上述csv文件和bmp文件图像同步，识别各bmp文件图像中的追踪点的位置(例如xy坐标)，确定解析位置(S23)，提取预定图像(例如200×200像素、例如大约1cm的四方)(S24)。需要说明的是，在S23的处理中，将两个追踪点的正中作为解析位置来识别，但并不限定于此。此外，在实施例2中，随着表情的变化追踪点转动时，以使用逆仿射变换等使解析中的位置也转动为佳，但并不限定于此。
接着，皱纹参数计算单元22进行预先设定的噪音处理(S25)，进一步使用预先设定的皱纹提取过滤器等进行皱纹的提取(S26)。在S26的处理中，例如使用3种皱纹提取过滤器，来将解析区域中包含的皱纹分成例如“细皱纹”、“大皱纹”、“明显大皱纹”任意一者，但对于种类并不限定于此。此外，在S26的处理中，当针对提取的皱纹进行噪音处理、并具有在前后的帧图像中不存在的皱纹时，由于其为噪音的可能性很大，因此可将该皱纹删除。
接着，皱纹参数计算单元22根据在S26的处理中提取的皱纹来计算皱纹参数(S27)。需要说明的是，作为皱纹参数，例如有皱纹面积、皱纹长度、皱纹比率等，但并不限定于此。
在实施例2中，可使用在上述处理中得到的结果利用图像生成单元17将连续静止图像(例如bmp)再构建成动画(例如avi、wmv)等并生成动画，并再生所生成的动画。此时，图像生成单元17以将在S26处理中所提取的皱纹按每个所分类的类别来进行颜色划分、并在原图像上进行可视化并增强显示为佳，但对于所生成的图像并不限定于此。
在此，皱纹依赖皮肤的褶痕程度。图14是用于对表情皱纹的褶痕进行说明的图。如图14(A)所示，在轻轻睁开眼时与嘴角上翘做出满脸笑容时，皮肤的褶痕的周期不同。所谓的褶痕的周期，例如如图14(A)所示是两个皱褶的宽度(间隔)，但并不限定于此。
如图14(A)所示，对于不明显的褶痕，皮肤被细细地折叠。此外，如图14(B)所示，在轻轻睁开眼时与嘴角上翘做出满面笑容时，若将皮肤的褶痕设为深度D、周期L，则当将皮肤沿水平方向压缩15％折成半椭圆形状时，对于如图14(A)所示褶痕明显的样板(被试验者)，由于其周期L为1.0mm深度D为100μm因此为“皱纹”的程度。此外，对于不明显的样板，由于其周期L为0.2mm深度D为20μm因此为“肌理”的程度。需要说明的是，在上述例子中，设皮肤的初始状态为平，假定各个角质细胞未由于压缩而变形。换言之，若如图14的例子所示皮肤被轻轻地折叠时，褶痕较浅并不明显。
在此，图15及图16是表示实施例2中的解析结果的一个例子的图(其1、其2)。需要说明的是，在图15、图16中，利用预先设定的皱纹提取过滤器来按“非常明显”、“明显”、“不明显”3种皱纹来表示结果。再有，在图15、图16的例子中，排列6个追踪点，对于在该些点中，正中四角内的解析区域52内来计算出皱纹参数。
在图15的例子中，表示出各压缩率[％]、与粗折“明显笑纹”、细折“不明显笑纹”的关系。根据该解析结果，可知笑时的皮肤折得越细，则越成为不明显的笑纹。
在图16的例子中，针对分类成“非常明显皱纹”、“明显皱纹”、“不明显笑纹”的各皱纹，划分颜色来表示。此外，在图16的例子中，表示出年龄与不明显笑纹比率[％]的关系，根据该解析结果可知年龄越小，则越成为皮肤被细折的不明显笑纹。
在上述实施例2的解析结果中，并不限定于上述图像例子，例如可以表示皱纹长度等参数。
需要说明的是，上述使用表示皱纹等的皮肤状态的解析，例如可以适用于前额、外眼角、外眼角下、脸颊、眼睛周围、鼻唇沟、眉间、鼻子上等。图17表示出前额的皱纹解析结果的一个例子。
在图17的例子中，例如表示2名被试验者(被试验者A、被试验者B)的解析对象皮肤的压缩率0％(真实脸)的状态和压缩率20％(向上抬起前额的表情)下的皱纹的解析结果。
在图17的例子中，在解析区域52内，表示出根据皱纹的种类划分颜色的皱纹。此外，在图17的例子中，仅表示出图像，但并不限定于此，也可以将多个被试验者的皱纹的解析结果根据动画按时间序列表示。需要说明的是，上述图像或动画可由上述的图像生成单元17生成。
＜皮肤状态解析处理：实施例3(皮肤的扭曲解析)＞
需要说明的是，通过适用本实施方式，除了根据上述实施例1所示的表情皱纹的压力解析以外，例如还可对由外力活动皮肤时产生的皮肤的扭曲状态进行定量解析。在实施例3中，例如可使用上述实施例2所示的皱纹参数的计算手法等，对按摩或涂抹物(粉底等)的涂抹等打理时引起的被试验者的皮肤(肌肤)的扭曲状态进行定量解析。
在此，图18、图19是表示实施例3中的解析结果的一个例子的图(其1、其2)。需要说明的是，图18表示出由于按摩而引起的基于被试验者的年龄的肌肤扭曲的解析结果的一个例子，图19表示出护肤前后的皮肤扭曲的解析结果的一个例子。
图18(A)表示出年龄不同的多个被试验者的按摩前(初始状态)的皮肤图像，图18(B)表示出对该多个被试验者的皮肤用手指等施加最大荷重按摩状态(最大荷重中)的皮肤状态，图18(C)表示出对图18(B)的状态下的明显褶皱面积(pixel)进行合计的结果。需要说明的是，在图18中，作为年龄不同的皮肤图像的一个例子，表示出20多岁、50多岁前半、及50多岁后半的例子，但对于图像的种类并不限定于此。
在图18(A)、图18(B)的例子中，在被试验者的外眼角和脸颊上用眼线笔等打上追踪点51，之后，对在追踪点51内设定的预定的解析区域52用手指等以一定的力沿预定的方向(例如在图18的例子中，从图像的下方(脸颊)向上方(外眼角)的方向)按压对皮肤按摩时的外眼角附近(解析区域52)的皮肤(肌肤)扭曲进行解析。
在实施例3中，皮肤状态解析单元16通过例如基于图18(A)、图18(B)所示的各皮肤图像和由追踪单元15等得到的压缩率等，取得作为明显皱褶的解析面积(像素数：pixel)，从而可取得图18(C)所示的解析结果。需要说明的是，例如如图18(B)所示，图像生成单元17可生成使用预定的颜色等将明显皱褶部分增强表示的图像，或者生成表示图18(C)所示的解析结果的图像，并输出图像。
此外，图19(A)表示出同一被试验者(50多岁后半)的未化妆及护肤后的皮肤状态(初始状态)，图19(B)表示出对未化妆及护肤后的皮肤用手指等施加最大荷重按摩状态(最大荷重中)的皮肤图像，图19(C)表示出对图19(B)的状态下的明显褶皱面积(pixel)进行合计的结果。需要说明的是，在图19中，表示出50多岁后半的被试验者的例子，但对于图像的种类并不限定于此。
在图19(A)、图19(B)的例子中，在未化妆和护肤后的皮肤上，对被试验者的外眼角上用眼线笔等打上追踪点51，之后，对在追踪点51内设定的预定的解析区域52用手指等以一定的力沿预定的方向(例如在图18的例子中，从图像的下方(脸颊)向上方(外眼角)的方向)按压对皮肤按摩时的外眼角附近(解析区域52)的皮肤(肌肤)扭曲进行解析。
在实施例3中，皮肤状态解析单元16通过例如基于图19(A)、图19(B)所示的各皮肤图像和由追踪单元15等得到的压缩率等，取得作为明显皱褶的解析面积(像素数：pixel)，从而可取得图19(C)所示的解析结果。需要说明的是，例如如图19(B)所示，图像生成单元17可生成使用预定的颜色等将明显皱褶部分增强表示的图像，或者生成表示图19(C)所示的解析结果的图像，并输出图像。
在实施例3中，可使用上述解析结果，进行对例如按年龄更好的按摩方法、与按摩组合的涂抹物的评价等。
＜其他实施例＞
需要说明的是，对于用于上述各皮肤状态解析处理的图像，例如可使用利用上述高速摄影机等所拍摄的二维图像，但并不限定于此，例如可使用组合一边改变皮肤的拍摄方向一边取得的多个二维图像的三维图像等来进行上述解析或评价。需要说明的是，对于上述皮肤状态解析处理的各实施例，可组合多个实施例的一部分或全部。
如上所述，根据本发明，可根据被试验者的表情皱纹或打理时皮肤的扭曲等来恰当地对皮肤状态进行解析。由此，可提供针对被试验者的新的护肤咨询或化妆品提供等服务。需要说明的是，在上述实施方式中，特别对于脸部的皮肤状态的解析进行了说明，但并不限定于此，例如也可适用于身体其他部位(例如手等)的皮肤状态的解析。
以上对本发明的优选实施例进行了详细说明，但本发明并不限定于上述特定的实施方式，在权利要求书所记载的本发明的主旨的范围内，可进行各种变形、变更。
本国际申请以2013年3月28日申请的日本专利申请第2013-070061号作为要求优先权的基础，本国际申请援引该2013-070061号的全部内容。
符号说明
10 图像解析装置
11 输入单元
12 输出单元
13 存储单元
14 图像取得单元
15 追踪单元
16 皮肤状态解析单元
17 图像生成单元
18 发送接收单元
19 控制单元
21 压力(stress)解析单元
22 皱纹参数计算单元
30 摄像单元
41 输入装置
42 输出装置
43 驱动装置
44 辅助存储装置
45 存储器
46 CPU
47 网络连接装置
48 记录介质
50 图像
51 追踪点(标记)
52 解析区域

Claims (8)

1.一种图像解析装置，其根据利用摄像单元所拍摄的被试验者的脸部的活动图像来对皮肤状态进行解析，其特征在于，具有：
追踪单元，其基于所述活动图像中包含的所述脸部的表情变化，来对预先排列在所述脸部的解析区域中的多个追踪点的位置进行追踪，并根据所述多个追踪点间的距离变化来取得所述解析区域中的皮肤的形变量；
皮肤状态解析单元，其基于追踪出的所述多个追踪点的位置，计算相对于所述解析区域的皱纹面积、皱纹长度以及皱纹比率中的至少一个，根据所取得的所述形变量和计算出的所述皱纹面积、所述皱纹长度以及所述皱纹比率中的至少一个，来对所述被试验者的皮肤状态进行解析；以及
图像生成单元，所述图像生成单元生成将所述被试验者的皮肤状态的解析结果反映到利用所述摄像单元拍摄的所述被试验者的脸部图像上而得的图像，
所述图像生成单元在所述解析区域中将皱纹按每个所分类的类别来进行颜色区分而增强显示。
2.根据权利要求1所述的图像解析装置，其中，
所述皮肤状态解析单元基于所取得的所述形变量，对针对所述解析区域的压力进行解析。
3.根据权利要求1所述的图像解析装置，其中，
所述皮肤状态解析单元基于所取得的所述形变量，对针对所述解析区域的皮肤扭曲进行解析。
4.根据权利要求1所述的图像解析装置，其中，
所述摄像单元使用高速摄影机。
5.一种图像解析方法，其根据利用摄像单元所拍摄的被试验者的脸部的活动图像来对皮肤状态进行解析，其特征在于，具有：
追踪步骤，其基于所述活动图像中包含的所述脸部的表情变化，来对预先排列在所述脸部的解析区域中的多个追踪点的位置进行追踪，并根据所述多个追踪点间的距离变化来取得所述解析区域中的皮肤的形变量；
皮肤状态解析步骤，其基于追踪出的所述多个追踪点的位置，计算相对于所述解析区域的皱纹面积、皱纹长度以及皱纹比率中的至少一个，根据所取得的所述形变量和计算出的所述皱纹面积、所述皱纹长度以及所述皱纹比率中的至少一个，来对所述被试验者的皮肤状态进行解析；以及
图像生成步骤，生成将所述被试验者的皮肤状态的解析结果反映到利用所述摄像单元拍摄的所述被试验者的脸部图像上而得的图像，
在所述图像生成步骤中，在所述解析区域中将皱纹按每个所分类的类别来进行颜色区分而增强显示。
6.根据权利要求5所述的图像解析方法，其中，
所述皮肤状态解析步骤基于所取得的所述形变量，对针对所述解析区域的压力进行解析。
7.根据权利要求5所述的图像解析方法，其中，
所述皮肤状态解析步骤基于所取得的所述形变量，对针对所述解析区域的皮肤扭曲进行解析。
8.根据权利要求5所述的图像解析方法，其中，
所述摄像单元使用高速摄影机。
CN201480018324.6A 2013-03-28 2014-02-27 图像解析装置、以及图像解析方法 Active CN105101874B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013070061A JP6251489B2 (ja) 2013-03-28 2013-03-28 画像解析装置、画像解析方法、及び画像解析プログラム
JP2013-070061 2013-03-28
PCT/JP2014/054938 WO2014156461A1 (ja) 2013-03-28 2014-02-27 画像解析装置、画像解析方法、及び画像解析プログラム

Publications (2)

Publication Number Publication Date
CN105101874A CN105101874A (zh) 2015-11-25
CN105101874B true CN105101874B (zh) 2017-08-15

Family

ID=51623455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018324.6A Active CN105101874B (zh) 2013-03-28 2014-02-27 图像解析装置、以及图像解析方法

Country Status (8)

Country Link
US (1) US9607208B2 (zh)
EP (1) EP2979634B1 (zh)
JP (1) JP6251489B2 (zh)
KR (1) KR20150135776A (zh)
CN (1) CN105101874B (zh)
HK (1) HK1211452A1 (zh)
TW (1) TWI612938B (zh)
WO (1) WO2014156461A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201540264A (zh) * 2014-04-18 2015-11-01 Sony Corp 資訊處理裝置、資訊處理方法、及程式
KR102262307B1 (ko) * 2014-07-02 2021-06-09 (주)아모레퍼시픽 주름 측정 장치 및 주름 측정 방법
JP2016101365A (ja) * 2014-11-28 2016-06-02 パナソニックＩｐマネジメント株式会社 皺ケア支援装置および皺ケア支援方法
JP6320440B2 (ja) * 2015-08-04 2018-05-09 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ信号のための信号再構成
KR102429838B1 (ko) * 2016-03-11 2022-08-05 (주)아모레퍼시픽 피부결 블랍을 기초로한 피부결 평가 장치 및 그 방법
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
JP6245590B1 (ja) * 2016-06-20 2017-12-13 公立大学法人大阪市立大学 皮膚診断装置、皮膚状態出力方法、プログラムおよび記録媒体
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
CN107049326B (zh) * 2017-03-15 2019-10-25 英华达（南京）科技有限公司 单边咀嚼监测设备及其方法
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置
CN109493310A (zh) * 2017-09-08 2019-03-19 丽宝大数据股份有限公司 身体信息分析装置及其手部肌肤分析方法
JP7183005B2 (ja) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 肌解析方法及び肌解析システム
CN112581512A (zh) * 2019-09-27 2021-03-30 鲁班嫡系机器人（深圳）有限公司 图像匹配、3d成像及姿态识别方法、装置及系统
KR102183310B1 (ko) 2020-03-02 2020-11-26 국민대학교산학협력단 전문성 이식을 통한 딥러닝 기반의 전문 이미지 해석 장치 및 방법
US11589803B2 (en) * 2020-05-04 2023-02-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for improving human facial skin conditions by leveraging vehicle cameras and skin data AI analytics
CN111839681A (zh) * 2020-07-08 2020-10-30 胡飞青 利用内容解析的压迫区域识别平台及方法
KR102274330B1 (ko) * 2020-09-18 2021-07-07 가천대학교 산학협력단 뇌졸중 정도의 진단을 위한 얼굴이미지 분석방법 및 시스템
WO2024021000A1 (en) * 2022-07-29 2024-02-01 L'oreal System and method for evaluating dynamic wrinkles on keratin material of a user to be tested
KR20240019548A (ko) * 2022-08-04 2024-02-14 안가람 피부 시술 가이딩 및 피드백 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940965A (zh) * 2005-09-26 2007-04-04 佳能株式会社 信息处理设备及其控制方法
CN1961820A (zh) * 2005-11-08 2007-05-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
CN102973242A (zh) * 2011-06-06 2013-03-20 索尼公司 图像处理设备、图像处理方法、图像处理系统、程序和记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2942502B2 (ja) * 1996-08-08 1999-08-30 鐘紡株式会社 皮膚のたるみ量測定装置及び測定方法
JPH11108630A (ja) * 1997-09-30 1999-04-23 Shiseido Co Ltd 三次元形状測定方法及びそれを用いた皮膚表面の歪と応力の解析方法
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4001549B2 (ja) * 2002-12-10 2007-10-31 株式会社コーセー 肌状態の評価方法
JP4761924B2 (ja) * 2004-10-22 2011-08-31 株式会社 資生堂 肌状態診断システムおよび美容のためのカウンセリングシステム
US20070125390A1 (en) 2005-12-07 2007-06-07 Isabelle Afriat Method of evaluating the effects of exogenous and endogenous factors on the skin
TW200829027A (en) * 2006-12-19 2008-07-01 Chung Shan Inst Of Science Image compression device and method therefore
US20080176077A1 (en) * 2007-01-23 2008-07-24 The Gillette Company Pattern transferable to skin for optical measurements during shaving
JP5204477B2 (ja) * 2007-12-25 2013-06-05 パナソニック株式会社 健康管理システム
CA2715259C (en) * 2008-01-31 2017-12-05 University Of Southern California Facial performance synthesis using deformation driven polynomial displacement maps
JP5538786B2 (ja) * 2009-09-14 2014-07-02 株式会社 資生堂 一過性シワの評価方法及び装置
JP2011101663A (ja) * 2009-11-10 2011-05-26 Shiseido Co Ltd シワの形成し易さの評価方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1940965A (zh) * 2005-09-26 2007-04-04 佳能株式会社 信息处理设备及其控制方法
CN1961820A (zh) * 2005-11-08 2007-05-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
CN102973242A (zh) * 2011-06-06 2013-03-20 索尼公司 图像处理设备、图像处理方法、图像处理系统、程序和记录介质

Also Published As

Publication number Publication date
EP2979634A1 (en) 2016-02-03
US9607208B2 (en) 2017-03-28
US20160063312A1 (en) 2016-03-03
EP2979634B1 (en) 2023-10-11
WO2014156461A1 (ja) 2014-10-02
JP2014193197A (ja) 2014-10-09
TW201446215A (zh) 2014-12-16
EP2979634A4 (en) 2016-11-30
CN105101874A (zh) 2015-11-25
HK1211452A1 (zh) 2016-05-27
KR20150135776A (ko) 2015-12-03
JP6251489B2 (ja) 2017-12-20
TWI612938B (zh) 2018-02-01

Similar Documents

Publication Publication Date Title
CN105101874B (zh) 图像解析装置、以及图像解析方法
WO2021238595A1 (zh) 基于人工智能的图像生成方法、装置、设备及存储介质
Fu et al. Estimating human age by manifold analysis of face pictures and regression on aging features
CN103649987A (zh) 脸印象分析方法、美容信息提供方法和脸图像生成方法
WO2022222810A1 (zh) 一种虚拟形象的生成方法、装置、设备及介质
CN113627482B (zh) 一种基于音频—触觉信号融合的跨模态图像生成方法及装置
US20140198108A1 (en) Multi-linear dynamic hair or clothing model with efficient collision handling
CN110163054A (zh) 一种人脸三维图像生成方法和装置
CN105190700A (zh) 基于化身的视频编码
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN108198130A (zh) 图像处理方法、装置、存储介质及电子设备
JP2014211719A (ja) 情報処理装置およびその方法
CN114283052A (zh) 妆容迁移及妆容迁移网络的训练方法和装置
CN108388889A (zh) 用于分析人脸图像的方法和装置
US20170024918A1 (en) Server and method of providing data
CN112190921A (zh) 一种游戏交互方法及装置
Mohseni et al. Facial expression recognition using DCT features and neural network based decision tree
Huang et al. Geometry-aware GAN for face attribute transfer
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
Fang et al. Facial makeup transfer with GAN for different aging faces
JP2022078936A (ja) 肌画像分析方法
CN114511082A (zh) 特征提取模型的训练方法、图像处理方法、装置及设备
Lucero et al. Empirical modeling of human face kinematics during speech using motion clustering
CN108564648B (zh) 基于人体姿态的成像方法和装置
CN116152900B (zh) 表情信息的获取方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1211452

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1211452

Country of ref document: HK