CN107106018B - 信息处理装置、信息处理方法和计算机可读存储介质 - Google Patents

信息处理装置、信息处理方法和计算机可读存储介质 Download PDF

Info

Publication number
CN107106018B
CN107106018B CN201580058929.2A CN201580058929A CN107106018B CN 107106018 B CN107106018 B CN 107106018B CN 201580058929 A CN201580058929 A CN 201580058929A CN 107106018 B CN107106018 B CN 107106018B
Authority
CN
China
Prior art keywords
image
skin
information processing
processing apparatus
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580058929.2A
Other languages
English (en)
Other versions
CN107106018A (zh
Inventor
木村奈月
清水晶子
影山雄一
中村雄介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107106018A publication Critical patent/CN107106018A/zh
Application granted granted Critical
Publication of CN107106018B publication Critical patent/CN107106018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684—Indicating the position of the sensor on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Abstract

本技术涉及一种促进皮肤状态的定点观测的信息处理装置、信息处理方法和程序。根据本技术一个方面的信息处理装置获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像、分析所述图像并识别所述特征点的位置。此外，在将所识别的所述特征点的位置设定为基准的同时，所述信息处理装置在所述图像上的预定位置处显示指示所述测定部分的信息。本技术适用于诸如平板电脑型终端、智能手机和个人电脑等信息处理装置。

Description

信息处理装置、信息处理方法和计算机可读存储介质
技术领域
本技术涉及一种信息处理装置、信息处理方法和程序，特别涉及能够促进皮肤状态的定点观测的信息处理装置、信息处理方法和程序。
背景技术
存在其中通过分析由拍摄皮肤获得的皮肤图像来测定皮肤状态的技术。执行测定的人将配备有成像元件的测定装置放置在被测定者的面部等上，并对测定部分进行拍摄。
引用文献列表
专利文献
专利文献1：日本专利申请特开No.2012-239768A
发明内容
[发明所要解决的问题]
当使用者可以独立地拍摄自己的皮肤并测定皮肤状态时，这是便利的。例如，在其中使用者可以独立地进行测定的情况下，使用者可以容易地观测到日常皮肤状态的变化。
然而，为了观测皮肤状态的变化，需要重复拍摄相同的部分；这可能难以记住确切的部分。
考虑到上述情况而完成了本技术，本技术旨在实现促进皮肤状态的定点观测。
[解决问题的方案]
根据本技术一个方面的信息处理装置包括：
获取单元，所述获取单元适于获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
识别单元，所述识别单元适于分析所述图像并识别所述特征点的位置；和
显示控制单元，所述显示控制单元适于在将由所述识别单元识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息。
还可以设置适于拍摄所述图像的拍摄单元。在这种情况下，可以使所述获取单元获取由所述拍摄单元拍摄的图像。
还可以设置适于显示所述图像和指示所述测定部分的信息的显示单元。
还可以设置设定单元，所述设定单元适于在将由所述识别单元通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置设定为基准的同时在所述预定位置处设定所述测定部分。
还可以设置适于在设定所述测定部分时拍摄的图像上在由使用者指定的位置处设定所述测定部分的设定单元。
还可以设置适于在设定所述测定部分时检测所述信息处理装置的角度的检测单元。
所述显示控制单元可以显示提供关于将所述信息处理装置的角度调整至与由所述检测单元检测到的角度相同的角度的导引的信息。
所述显示控制单元可以在所述图像上在与由所述识别单元通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置相同的位置处显示指示所述特征点的信息。
根据所述特征点的位置的变化，所述显示控制单元可以改变指示所述测定部分的信息的显示位置。
所述获取单元可以获取通过拍摄所述测定部分的皮肤获得的皮肤图像，和所述显示控制单元可以同时显示所述皮肤图像和所述的示出使用者的图像。
还可以设置：适于分析所述皮肤图像并测定所述测定部分的皮肤状态的分析单元；和适于记录指示由所述分析单元获得的测定结果的信息的记录单元。
基于指示从记录在所述记录单元中的多次测定获得的结果的信息，所述显示控制单元可以显示指示所述测定部分的皮肤状态的变化的信息。
根据本技术的一个方面，所获取的图像示出了：作为皮肤状态的测定者的使用者的预定特征点；和皮肤状态的测定部分。此外，分析所述图像并识别所述特征点的位置，然后，在将所识别的所述特征点的位置设定为基准的同时，在所述图像上的位置处显示指示所述测定部分的信息。
[发明效果]
根据本技术，使用者可以容易地进行皮肤状态的定点观测。
需要指出的是，本文所述的效果不一定限于此，可以是本公开中所述的任何效果。
附图说明
图1是示出了本技术适用的皮肤状态测定系统的构成例的图。
图2是示出了皮肤测定装置的外观的图。
图3是示出了皮肤测定装置的使用例的图。
图4是示出了皮肤测定装置的构成例的框图。
图5是示出了信息处理装置的硬件构成例的框图。
图6是示出了信息处理装置的功能构成例的框图。
图7是用于说明初始设定处理的流程图。
图8是示出了面部取向的导引画面的例子的图。
图9是示出了定点观测点的选择画面的例子的图。
图10是示出了设定信息的例子的图。
图11是说明其他初始设定处理的流程图。
图12是示出了拍摄导引画面的例子的图。
图13是示出了特征点选择画面的例子的图。
图14是示出了定点观测点的设定画面的例子的图。
图15是用于说明测定处理的流程图。
图16是示出了角度调整画面的例子的图。
图17是示出了面部位置调整画面的例子的图。
图18是示出了面部位置调整画面的其他例子的图。
图19是示出了定点观测点的导引画面的例子的图。
图20是示出了定点观测点的导引画面的其他例子的图。
图21是示出了显示画面的例子的图。
图22是示出了显示画面的其他例子的图。
图23是示出了在拍摄嘴部区域时的显示画面的例子的图。
图24是示出了在拍摄前额时的显示画面的例子的图。
图25是示出了测定结果的例子的图。
图26是用于说明定点观测结果显示处理的流程图。
图27是示出了定点观测结果的显示画面的例子的图。
图28是用于说明比较显示处理的流程图。
图29是示出了面部图像的显示画面的例子的图。
图30是用于说明检索处理的流程图。
图31是示出了面部图像的显示画面的例子的图。
图32是用于说明改善方法的呈现处理的流程图。
图33是示出了面部图像的例子的图。
图34是示出了评价结果的显示例的图。
图35是示出了评价结果的其他显示例的图。
图36是用于说明检索处理的流程图。
图37是示出了面部图像的显示例的图。
图38是用于说明人物检索处理的流程图。
图39是示出了面部图像的显示画面的例子的图。
图40是示出了作为发型的合成结果的显示例的图。
具体实施方式
在下文中，对实施本技术的方式进行说明。需要指出的是，按照以下顺序进行说明。
1.皮肤状态测定系统的构成
2.各装置的构成
3.信息处理装置的操作
4.使用皮肤状态信息分类的例子
5.变形例
<1.皮肤状态测定系统的构成>
图1是示出了本技术适用的皮肤状态测定系统的构成例的图。
图1中的皮肤状态测定系统由信息处理装置1和皮肤测定装置2形成。信息处理装置1和皮肤测定装置2经由诸如无线局域网(LAN)等无线通信连接。信息处理装置1和皮肤测定装置2也可以使用通用串行总线(USB)线缆等经由有线通信连接。
图1中的皮肤状态测定系统主要用于使得使用者可以独立地测定自己的皮肤状态并确认测定结果。使用者是皮肤状态的测定者，也是被测定者。
信息处理装置1是平板电脑型终端。信息处理装置1设置有诸如液晶显示器(LCD)等显示器11。在显示器11的边框部分设置有相机12。诸如在与显示面相同的表面上配备有相机的手机和个人电脑等其他便携式终端也可以用作信息处理装置1。
信息处理装置1获取由皮肤测定装置2拍摄的皮肤图像，并且通过分析所获取的皮肤图像来测定使用者的皮肤状态。皮肤图像是以放大的方式显示皮肤的图像。信息处理装置1在显示器11上显示与所测定的皮肤状态相关的信息，并将该信息呈现给使用者。
皮肤测定装置2是具有能够由使用者单手保持的尺寸的电子设备。皮肤测定装置2设置有成像元件和诸如体温传感器等各种传感器。
图2是示出了皮肤测定装置2的外观的图。
如图2的A所示，皮肤测定装置2具有在侧面视图中形成为大致横长的椭圆形状的壳体。在与壳体的右端的顶部稍微偏移的位置处形成有平坦面，在该平坦面上形成有图2的B所示的呈大致圆形的孔部21。除了壳体的孔部21的周边以外，皮肤测定装置2完全由曲面形成。
例如，在孔部21的深内部设置有适于朝向孔部21的外侧发光的发光单元和适于接收反射光并进行拍摄的成像元件。当使用者测定自己的皮肤状态时，通过将孔部21放置在测定部分上来进行拍摄。
图3是示出了皮肤测定装置2的使用例的图。
如图3所示，使用者在坐在位于桌子等上的信息处理装置1的前面并观看显示器11上的指示的同时，通过将皮肤测定装置2放置在自己的面部等上来测定皮肤状态。在这种情况下，信息处理装置1设置在桌子上的支架等中。使用者也可以在用一只手保持信息处理装置1并用另一只手保持皮肤测定装置2的同时测定皮肤状态。
通过使用如此构成的皮肤状态测定系统，使用者可以对皮肤状态进行定点观测。
信息处理装置1在显示器11上显示导引，以便使用者可以在使用皮肤测定装置2的同时拍摄相同的部分。例如，为了观测特定部分上出现的瑕疵如何变化，使用者需要通过使用皮肤测定装置2来定期地拍摄设定为定点观测点的部分。
例如，在使用者正在使用皮肤测定装置2的情况下，信息处理装置1利用相机12拍摄使用者的面部，并以叠加在使用者的面部图像上的方式显示指示预设的定点观测点的信息。通过根据显示器11上指示的导引来移动保持皮肤测定装置2的手，使用者可以拍摄定点观测点。
这里，为了以叠加在面部图像上的方式显示指示定点观测点的信息，信息处理装置1需要识别将成为使用者的诸如眼睛、鼻子和嘴部等特征点的构成的位置。在将面部上的特征点的位置设定为基准的同时指示定点观测点的位置。
此外，为了识别面部上的特征点的位置并每次都在同一位置显示指示定点观测点的信息，需要使面部位置和信息处理装置1的位置每次都具有相同的关系。在其中当前测定时的使用者面部取向与先前测定时不同的情况下，信息处理装置1不能正确地识别作为基准的位置。因此，无法正确显示定点观测点。
信息处理装置1在显示指示定点观测点的信息之前，显示用于调整面部位置与信息处理装置1的位置之间的关系的导引。在调整面部位置与信息处理装置1的位置之间的关系之后拍摄使用者的面部，并且通过识别特征点的位置，信息处理装置1每次都可以在使用者的面部图像上的同一位置显示指示定点观测点的信息。
由于在显示器11上显示导引，所以使用者可以容易地进行调整，使得面部位置与信息处理装置1的位置之间的关系每次都变为同一关系。由于信息处理装置1是便携式装置，因此可能难以固定面部位置与信息处理装置1的位置之间的关系，但是使用者可以容易地进行位置调整。
此外，使用者通过根据显示在显示器11上的导引来移动手，可以用皮肤测定装置2正确地拍摄预设为定点观测点的部分。使用者不需要记住进行定点观测的部分。
稍后，参照流程图对用于使使用者进行定点观测的信息处理装置1的一系列处理进行说明。
<2.各装置的构成>
·皮肤测定装置的构成
图4是示出了皮肤测定装置2的构成例的框图。
皮肤测定装置2由发光单元31、成像元件32、传感器33、控制器34和通信单元35形成。
发光单元31在拍摄皮肤图像时向皮肤发出可见光。此外，发光单元31发射具有用于测定黑色素含量的预定波长的光。
成像元件32是诸如互补金属氧化物半导体(CMOS)图像传感器等成像元件。成像元件32检测由发光单元31发射的光的反射光并进行光电转换等。成像元件32向控制器34输出通过进行光电转换等获得的皮肤图像数据。
传感器33包括诸如测定皮肤温度的传感器等各种传感器。传感器33向控制器34输出指示测定结果的传感器数据。
控制器34经由通信单元35与信息处理装置1通信，并根据信息处理装置1的控制来控制皮肤测定装置2的各个单元。控制器34将从成像元件32供给的皮肤图像数据和从传感器33供给的传感器数据通过通信单元35发送到信息处理装置1。
通信单元35是具有诸如无线LAN等规定标准的通信模块。通信单元35与信息处理装置1通信。通信单元35将从信息处理装置1发送的信息发送到控制器34，并将从控制器34供给的信息发送到信息处理装置1。
·信息处理装置的构成
图5是示出了信息处理装置1的硬件构成例的框图。与上述部件相同的部件由相同的附图标记标出。适宜地省略了相同说明的重复。
中央处理单元(CPU)51、只读存储器(ROM)52和随机存取存储器(RAM)53经由总线54相互连接。
输入/输出接口55还与总线54连接。显示器11、相机12、触摸板56、存储器57、通信单元58、角度传感器59和驱动器60与输入/输出接口55连接。
触摸板56以层叠在显示器11上的方式设置。触摸板56检测使用者的操作，并将指示操作内容的信息输出到CPU 51。
存储器57由诸如闪速存储器等形成。每当测定皮肤状态时，存储器57记录诸如由相机12拍摄的面部图像、由皮肤测定装置2拍摄的皮肤图像和指示皮肤状态的测定结果的信息等各种信息。记录在存储器57中的信息由CPU 51根据需要读取。
通信单元58是具有诸如无线LAN等规定标准的通信模块。通信单元58与皮肤测定装置2通信。此外，通信单元58与位于信息处理装置1附近的接入点和公共无线线路连接，并与经由互联网连接的诸如服务器等各种装置通信。
角度传感器59例如在测定皮肤状态时的预定时机检测信息处理装置1的壳体的角度。
驱动器60读取记录在可移除介质61中的数据，并还将数据记录在可移除介质61中。可移动介质61是诸如插入到设置在信息处理装置1的槽中的存储卡或插入到信息处理装置1的端子中的USB存储器等记录介质。
图6是示出了信息处理装置1的功能构成例的框图。图6所示的功能单元的至少一部分通过由图5的CPU 51执行的预定程序来实现。
如图6所示，在信息处理装置1中实施图像获取单元81、识别单元82、皮肤状态分析单元83、定点观测点设定单元84、信息控制单元85、测定结果分析单元86和显示控制单元87。
图像获取单元81通过控制相机12来进行拍摄。图像获取单元81获取作为通过进行拍摄获得并且显示存在于信息处理装置1前面的使用者的面部的运动图像或静止图像的面部图像。此外，图像获取单元81在测定皮肤状态时获取在皮肤测定装置2内拍摄并在通信单元58中接收的皮肤图像。
图像获取单元81将面部图像输出到识别单元82和显示控制单元87，并将皮肤图像输出到皮肤状态分析单元83和显示控制单元87。从皮肤测定装置2发送的传感器数据也通过图像获取单元81来获取，并供给到皮肤状态分析单元83。
识别单元82分析从图像获取单元81供给的面部图像，并识别使用者面部上的特征点。通过将预先准备的特征数据与从面部图像的各区域提取的特征数据相匹配来进行特征点的识别。识别单元82识别面部图像上的每个特征点的位置。
在下文中，针对其中通过将面部图像上显示的包括眼睛和嘴部的三个点设定为特征点来进行处理的情况进行说明，但也可以在包括诸如鼻子、眉毛和耳朵等其他构成的同时进行处理。用作特征点的构成的数量及其组合是任选的。
此外，识别单元82识别从信息处理装置1到每个特征点的距离。识别单元82用作适于测定到面部图像上显示的特征点的距离的距离传感器。
可以基于面部图像上的特征点的位置和到每个特征点的距离来识别拍摄空间(3D空间)中的面部上的特征点的位置。识别单元82用于识别使用者面部的立体形状。识别单元82输出包括特征点的位置和距离的信息以及面部图像。从识别单元82输出的信息供给到定点观测点设定单元84、信息控制单元85和显示控制单元87。
皮肤状态分析单元83分析从图像获取单元81供给的皮肤图像并测定皮肤状态。由皮肤测定装置2检测的传感器数据也适用于测定皮肤状态。例如，测定包括肤色、纹理、含水量、含油量、毛孔状态、黑色素含量、血流量和皮肤温度的各项。皮肤状态分析单元83将作为指示所测定的皮肤状态的信息的皮肤状态信息与皮肤图像一起输出到信息控制单元85。
定点观测点设定单元84在初始设定时设定定点观测点。在对皮肤状态进行定点观测之前，使用者需要通过初始设定来设定定点观测点。
例如，定点观测点设定单元84基于由识别单元82识别的特征点的位置来识别使用者的脸颊、前额和嘴部区域的位置，并将这些位置设定为定点观测点。此外，定点观测点设定单元84将由使用者指定的部分设定为定点观测点。例如，通过用手指直接接触显示器11中显示的面部图像上的位置来进行定点观测点的指定。
如后所述，在指定特征点的位置之后，使用者还可以任选地将期望位置指定为定点观测点。在将由使用者指定的特征点的位置设定为基准的同时，示出任选指定的定点观测点的位置。定点观测点设定单元84将定点观测点的位置信息输出到信息控制单元85。
信息控制单元85使存储器57记录包括由识别单元82识别的特征点的位置和距离以及面部图像的信息。此外，信息控制单元85使存储器57记录由皮肤状态分析单元83测定的皮肤状态信息和皮肤图像。这种信息以与诸如测定日期和时间等信息相关的方式记录在存储器57中。信息控制单元85使存储器57记录由定点观测点设定单元84设定的定点观测点的位置信息。
信息控制单元85根据需要读取记录在存储器57中的各种信息，并将其输出到测定结果分析单元86和显示控制单元87。例如，信息控制单元85在显示定点观测的结果时将在每次测定时获得的皮肤状态信息输出到测定结果分析单元86。
测定结果分析单元86基于从信息控制单元85供给的皮肤状态信息来分析定点观测点处的皮肤状态的变化。测定结果分析单元86将分析结果输出到显示控制单元87。
显示控制单元87在显示器11上显示初始设定时的画面和诸如测定结果分析单元86的分析结果等各种信息。
<3.信息处理装置的操作>
这里，对具有上述构成的信息处理装置1的处理进行说明。
·初始设定处理1
首先，参照图7的流程图对初始设定处理进行说明。
如上所述，初始设定处理是设定定点观测点的处理。定点观测点的设定包括：将预定部分设定为定点观测点的处理；以及使用者自己在面部图像上指定和选择期望部分的处理。
图7中的处理是将预定部分设定为定点观测点的前者处理。例如，当从菜单画面选择执行初始设定时，开始图7中的处理。
在步骤S1中，图像获取单元81控制相机12并开始拍摄使用者的面部。作为显示使用者面部的运动图像的面部图像数据顺次供给到识别单元82和显示控制单元87。
在步骤S2中，显示控制单元87在显示器11上显示面部取向的导引画面。
图8是示出了面部取向的导引画面的例子的图。
图8中的面部图像是由相机12捕获并示出了正在执行初始设定的使用者的面部的运动图像。在显示器11的上部显示提供关于将面部正面朝向信息处理装置1取向的导引的消息。根据图8中的导引画面，使用者将面部正面朝向信息处理装置1取向。
在步骤S3中，图像获取单元81获取构成由相机12拍摄的面部图像的预定帧作为静止图像。例如，当使用者将面部正面朝向信息处理装置1取向时图像获取单元81获取帧作为静止图像。
在步骤S4中，角度传感器59检测信息处理装置1的角度。由角度传感器59检测的角度信息供给到信息控制单元85。
在步骤S5中，识别单元82分析作为静止图像获取的面部图像，并识别诸如双眼和嘴部的三个点等面部的特征点。此外，识别单元82识别面部图像上的各个特征点的位置以及从信息处理装置1到各个特征点的距离。包括由识别单元82识别的特征点的位置和距离的信息与面部图像一起供给到定点观测点设定单元84和信息控制单元85。
在步骤S6中，信息控制单元85使存储器57记录信息处理装置1的角度信息；包括特征点的位置和距离的信息；以及面部图像。记录在存储器57中的面部图像例如是用于识别面部上的特征点的静止图像。
在步骤S7中，定点观测点设定单元84将使用者的脸颊、前额和嘴部区域设定为定点观测点。在将特征点的位置设定为基准的同时，识别各个定点观测点的位置。在该例子中，预定将脸颊、前额和嘴部区域中的每一个设定为定点观测点。
因此，使用者可以自动设定多个部分作为定点观测点。使用者也可以从诸如脸颊、前额、嘴部区域和眼睛区域等预定位置中选择待成为定点观测点的部分。
图9是示出了定点观测点的选择画面的例子的图。
在图9的选择画面的上部显示了建议选择成为定点观测点的部分的消息。在消息下方显示了按钮101～103。按钮101～103是适于选择当脸颊、前额和嘴部区域被分别设定为定点观测点时的按钮。
通过使用图9中的选择画面来设定定点观测点与其中使用者在无需限制位置的情况下通过任选地指定期望部分来设定定点观测点的后述处理不同。
在步骤S8中，信息控制单元85使存储器57记录指示定点观测点的位置的信息。通过上述处理完成初始设定处理。
图10是示出了设定信息的例子的图。
设定信息是通过执行初始设定处理而被记录在存储器57中的信息。在其中多个使用者使用信息处理装置1的情况下，将每个使用者的设定信息记录在存储器57中。
如图10所示，设定信息包括信息处理装置1在初始设定时的角度信息。此外，设定信息包括：面部图像上的各个特征点1～3的位置信息；以及从信息处理装置1到各个特征点1～3的距离信息。在图10的例子中，特征点1～3是左眼、右眼和嘴部。
设定信息包括面部图像上的各个定点观测点1～3的位置信息。也可以记录从信息处理装置1到定点观测点1～3的距离信息。在上述情况下，定点观测点1～3分别是脸颊、前额和嘴部区域。
·初始设定处理2
接着，参照图11的流程图对其他初始设定处理进行说明。
图11中的处理是其中使用者通过在面部图像上指定任选部分来独立设定定点观测点的处理。除了由使用者进行的特征点的指定和待成为定点观测点的部分的指定之外，图11中的处理是与参照图7说明的处理基本类似的处理。
在步骤S21中，图像获取单元81控制相机12并开始拍摄使用者的面部。作为显示使用者面部的运动图像的面部图像数据供给到识别单元82和显示控制单元87。
在步骤S22中，显示控制单元87在显示器11上显示拍摄导引画面。
图12是示出了拍摄导引画面的例子的图。
图12中的面部图像是由相机12捕获并示出了正在执行初始设定的使用者的面部的运动图像。在显示器11的上部显示以期望取向提供拍摄导引的消息。在图12的例子中，使用者的面部未朝向信息处理装置1(相机12)取向。
使用者根据图12的导引画面来调节面部取向，使得期望成为定点观测点的部分被示出。在导引画面的右下部显示有适于在确定面部取向时操作的按钮104。
在步骤S23中，图像获取单元81获取构成由相机12拍摄的面部图像并对应于当图12的按钮104操作时的时机的帧作为静止图像。静止图像示出了以期望方向取向的使用者的面部。图像获取单元81将获取的静止图像作为面部图像输出到识别单元82和显示控制单元87。
在步骤S24中，角度传感器59检测信息处理装置1的角度。由角度传感器59检测的角度信息供给到信息控制单元85。
在步骤S25中，显示控制单元87在显示器11上显示特征点选择画面。
图13是示出了特征点选择画面的例子的图。
图13中的面部图像是例如由图像获取单元81获取的静止图像。在显示器11的上部显示提供关于指定作为特征点的眼睛和嘴部的位置的导引的消息。
使用者根据图13的选择画面通过直接触摸自己的面部图像上的双眼和嘴部的位置来进行指定。触摸板56检测由使用者指定的位置。指示由使用者指定的位置的信息作为特征点的位置信息供给到识别单元82。
在步骤S26中，识别单元82分析面部图像，并识别从信息处理装置1到特征点的距离。这里，在由使用者指定的位置处所示的对象作为特征点被处理。包括特征点的位置和由识别单元82识别的特征点的距离的信息与面部图像一起供给到定点观测点设定单元84和信息控制单元85。
在步骤S27中，信息控制单元85使存储器57记录：信息处理装置1的角度信息；包括特征点的位置和距离的信息；以及面部图像。
在步骤S28中，显示控制单元87在显示器11上显示定点观测点的设定画面。
图14是示出了定点观测点的设定画面的例子的图。
图14中的面部图像是例如由图像获取单元81获取的静止图像。在显示器11的上部显示提供关于指定定点观测点的导引的消息。在设定画面的下方显示在完成定点观测点的设定时进行操作的按钮105。
根据图14的画面，使用者通过直接触摸自己的面部图像上的任何位置来进行指定。使用者可以将期望位置指定为定点观测点。指示由使用者指定的位置的信息由定点观测点设定单元84获取。
定点观测点设定单元84将由使用者指定的位置设定为定点观测点，并将指示定点观测点的位置的信息供给到信息控制单元85。在将由使用者指定的特征点的位置设定为基准的同时显示定点观测点的位置。
在步骤S29中，信息控制单元85使存储器57记录指示定点观测点的位置的信息。通过上述处理完成初始设定处理。在存储器57中记录图10中的设定信息。
·测定处理
接着，参照图15的流程图对测定处理进行说明。
图15中的处理是在定点观测点处对皮肤状态进行实际测定的处理。在已经进行图7或图11中的初始设定处理之后进行图15中的处理。
在步骤S41中，角度传感器59检测信息处理装置1的角度。由角度传感器59检测出的角度信息供给到显示控制单元87。
在步骤S42中，在其中由角度传感器59检测出的角度与初始设定时的角度不同的情况下，显示控制单元87在显示器11上显示角度调整画面。显示控制单元87通过将由角度传感器59检测到的角度与基于记录在存储器57中的设定信息所示的初始设定时的角度进行比较来控制调整画面的显示。
图16是示出了角度调整画面的例子的图。
在调整画面的上部显示提供关于从当前状态倾斜信息处理装置1的导引的消息。因此，在调整画面上显示建议将信息处理装置1的角度调整为与初始设定时的角度相同的角度的消息。
使用者根据图16中的画面来调整位于前方的信息处理装置1的角度。因此，将信息处理装置1的角度调整为与初始设定时的角度相同的角度。
在步骤S43中，图像获取单元81控制相机12并开始拍摄使用者的面部。作为示出使用者面部的运动图像的面部图像数据供给到识别单元82和显示控制单元87。
在步骤S44中，识别单元82分析面部图像，并识别面部图像上的特征点的位置以及从信息处理装置1到各个特征点的距离。重复进行特征点的位置和距离的识别。包括特征点的位置和距离的信息供给到显示控制单元87。
在步骤S45中，显示控制单元87在显示器11上显示面部位置调整画面。通过使用包括包含在设定信息中的初始设定时的特征点的位置和距离的信息来显示调整画面。
图17是示出了面部位置调整画面的例子的图。
图17中的面部图像是由相机12捕获的运动图像。在调整画面的上部显示提供关于调整面部位置使得眼睛和嘴部的位置符合标记的导引的消息。
在调整画面的大致中央处以叠加在面部图像上的方式显示作为由虚线表示的纵长椭圆形图像的图像P1。图像P1是作为在其内收纳面部的目标范围的图像。
在图像P1的内侧以叠加在面部图像上的方式显示作为标记的图像P11～P13。基于在初始设定时识别的右眼位置显示图像P11。基于在初始设定时识别的左眼位置显示图像P12。基于在初始设定时识别的嘴部位置显示图像P13。
使用者根据图17的画面来调整面部的取向和距离，使得双眼和嘴部的三个点分别收纳在图像P11～P13的内侧。因此，面部和信息处理装置1之间的位置关系具有与初始设定时的关系相同的关系。
图18是示出了面部位置调整画面的其他例子的图。
代替图17中的图像P1，在图18的调整画面上显示图像P2，其是图像P1所包围范围以外的范围变灰的图像。由于中央面部附近以外的部分变灰，所以使用者可以集中调整面部位置。
在步骤S46中，显示控制单元87在显示器11上显示定点观测点的导引画面。通过使用包含在设定信息中的定点观测点的位置信息来显示导引画面。
图19是示出了定点观测点的导引画面的例子的图。
通过并排配置面部图像111和气球112来形成图19中的导引画面。
面部图像111是由相机12拍摄并示出使用者面部的运动图像。以叠加在面部图像111上的方式显示指示定点观测点的图像P21。
在图19的例子中，在靠近使用者的右脸颊处显示图像P21。图像P21是具有诸如红色或蓝色等生动颜色的圆形图像。图像P21是透明的，并且在图像P21下方显示使用者面部的一部分。
基于包含在设定信息中的定点观测点的位置信息，确定图像P21的显示位置。通过分析正在拍摄的面部图像，识别单元82识别待成为基准的特征点的位置。
由于通过分析正在拍摄的面部图像来识别特征点的位置，并且在将这些位置设定为基准的同时显示定点观测点，所以显示控制单元87可以不间断地将定点观测点显示在面部图像上的同一位置处。
在气球112中显示指示正在将皮肤测定装置放置在右脸颊上的人物的状态的图示。气球112的原点位于显示在面部图像111上的图像P21的位置。以使与定点观测点对应的范围以外的部分变灰的方式显示气球112的图示。
在面部图像111和气球112的下方以与显示在气球112上的人物相同的方式显示提供关于移动皮肤测定装置2的导引的消息。
根据图19，使用者例如将右手所持的皮肤测定装置2放置在右脸颊上，并拍摄已经设定为定点观测点的右脸颊周围的皮肤。
图20是示出了定点观测点的导引画面的其他例子的图。
图20的导引画面中的构成与图19中的那些构成相同。以叠加在图20的面部图像111上的方式显示图像P22，其作为定点观测点以外的范围变灰的图像。此外，显示作为在定点观测点处交叉的十字形图像的图像P23。在气球112中显示指示正在将皮肤测定装置放置右脸颊上的人物的状态的图示。
在图15的步骤S47中，显示控制单元87根据使用者的移动显示定点观测点。在其中使用者改变面部取向的情况下，由识别单元82识别改变后的特征点的位置。显示控制单元87在将改变后的特征点的位置设定为基准的同时确定定点观测点的位置，并将指示定点观测点的图像P21等显示在确定的位置。
在步骤S48中，图像获取单元81控制皮肤测定装置2并开始拍摄皮肤图像。重复进行皮肤图像的拍摄。由皮肤测定装置2拍摄的皮肤图像由图像获取单元81获取，并供给到皮肤状态分析单元83和显示控制单元87。
在其中可以基于由相机12拍摄的面部图像来识别皮肤测定装置2的位置的情况下，当使用者将皮肤测定装置2放置在定点观测点上时，可以开始拍摄皮肤图像。
在步骤S49中，显示控制单元87在显示器11上同时显示由相机12拍摄的面部图像和由皮肤测定装置2拍摄的皮肤图像。
图21是示出了显示画面的例子的图。
图21中的显示画面由面部图像121和皮肤图像122形成。皮肤图像122和面部图像121以部分叠加的方式排列。
面部图像121是由相机12拍摄的运动图像。以叠加在面部图像121上的方式显示指示定点观测点的图像P21。皮肤图像122是由皮肤测定装置2拍摄的脸颊的皮肤图像。
因此，由于显示定点观测点的皮肤图像和面部图像并排地显示，所以使用者可以直观地识别哪一部分的皮肤被拍摄以获得皮肤图像。此外，使用者可以详细地确认各部分的化妆状况。
代替显示示出了使用者面部的运动图像和示出了放大皮肤的运动图像，也可以同时显示其各自的静止图像。
图22是示出了显示画面的其他例子的图。
图22中的显示画面由面部图像131和以气球形状修剪的皮肤图像P132构成。皮肤图像P132的原点是以叠加在面部图像131上的方式显示并指示定点观测点的图像P21的位置。
使用者还可以从这样的显示器直观地识别哪一部分的皮肤被拍摄以获得皮肤图像。
在图15的步骤S50中，皮肤状态分析单元83在从图像获取单元81供给的皮肤图像中分析预定的帧，并测定皮肤状态。皮肤状态分析单元83将指示皮肤状态的皮肤状态信息以及皮肤图像输出到信息控制单元85。
在步骤S51中，信息控制单元85使存储器57记录皮肤状态信息以及面部图像和皮肤图像。对于每个定点观测点进行从S46～S51的步骤的处理。记录在存储器57中的面部图像例如是用于识别面部上的特征点的静止图像。此外，记录在存储器57中的皮肤图像是用于测定皮肤状态的静止图像。
图23是示出了在拍摄作为定点观测点的嘴部区域时的显示画面的例子的图。
图23中的显示画面通过并排配置面部图像141和气球142形成。
面部图像141是其中使用者将皮肤测定装置2放置在作为定点观测点的嘴部区域上的运动图像。以叠加在面部图像141上的方式显示定点观测点以外范围变灰的图像P22。此外，在面部图像141上显示作为在中央处交叉的十字形虚线的图像的图像P23。
在气球142中，显示当使用者将皮肤测定装置2放置在嘴部区域上时拍摄的皮肤图像。气球142的原点位于面部图像141上的嘴部区域的位置。
图24是示出了在拍摄作为定点观测点的前额时的显示画面的例子的图。
图24中的显示画面与图23中的显示画面相同，除了定点观测点不同。图24中的面部图像141是当使用者将皮肤测定装置2放置在作为定点观测点的前额上时拍摄的运动图像。此外，显示在气球142中的皮肤图像是当使用者将皮肤测定装置2放置在前额上时拍摄的图像。
当完成了所有定点观测点的皮肤状态测定时，测定处理结束。定期地进行上述测定处理，例如每隔一天和每周。
图25是示出了测定结果的例子的图。
在存储器57中，以与测定日期和时间相关的方式记录在测定时拍摄的面部图像的文件名、每个定点观测点的皮肤图像的文件名以及每个定点观测点的皮肤状态信息。诸如肤色、纹理、含水量、含油量、毛孔状态、黑色素含量、血流量和皮肤温度等皮肤状态信息的各项由例如10个等级的值指示。
左侧所示的皮肤状态信息是通过在2014年1月1日进行测定处理而获得的信息。此外，右侧所示的皮肤状态信息是通过在2014年1月8日进行测定处理而获得的信息。
通过分析上述的定期进行的测定处理的结果，信息处理装置1可以识别定点观测点处的皮肤状态的变化。
·定点观测结果显示处理
接着，参照图26的流程图对定点观测结果显示处理进行说明。
在图15中的测定处理进行多次之后进行图26中的处理。皮肤状态的多个测定结果累积在存储器57中。
在步骤S61中，测定结果分析单元86选择待比较的测定结果。使用者使用在显示器11上显示的选择画面来选择待比较的测定结果。
例如，在其中发出将先前测定中获得的结果与在先前测定之前的测定中获得的结果进行比较的指令的情况下，测定结果分析单元86控制信息控制单元85并读取和获取这些来自存储器57的信息。测定结果的信息包括：面部图像的文件名；以及每个定点观测点的皮肤图像的文件名和皮肤状态信息。
在步骤S62中，测定结果分析单元86基于所获取的信息对每个定点观测点的皮肤状态的变化进行分析。测定结果分析单元86将分析结果的信息作为定点观测结果输出到显示控制单元87。
在步骤S63中，显示控制单元87基于从测定结果分析单元86供给的信息在显示器11上显示定点观测结果的显示画面。
图27是示出了定点观测结果的显示画面的例子的图。
在显示画面的上部以横向对齐的方式显示选项卡151～156。在各个选项卡中，显示“摘要”、“纹理”、“毛孔”、“瑕疵”、“色调”和“备注”。图27中的显示画面是其中选择了选项卡153(即，选项卡“毛孔”)的画面。当改变所选的选项卡时，在选项卡151～156之下的区域161中的显示被进行切换。
在区域161的中央显示人物的面部的图示P51。在原点在图示P51上的定点观测点处的气球中显示皮肤图像171～173。代替图示P51，也可以显示由相机12拍摄并正在观看定点观测结果的使用者的面部图像。在这种情况下，在具有原点在使用者的面部图像上的定点观测点处的气球同时显示皮肤图像171～173。
皮肤图像171是以放大的方式显示作为定点观测点的脸颊的皮肤的图像。例如，在待比较的测定结果中显示较新测定结果的皮肤图像。在皮肤图像171的左上方显示指向侧面方向的箭头图标171A。图标171A表示脸颊皮肤的毛孔状况没有变化。
皮肤图像172是以放大的方式显示作为定点观测点的前额的皮肤的图像。在皮肤图像172的左上方显示指向向下方向的箭头图标172A。图标172A表示前额皮肤的毛孔状况恶化。
皮肤图像173是以放大的方式显示作为定点观测点的嘴部区域的皮肤的图像。在皮肤图像173的左上方显示指向向下方向的箭头图标173A。图标173A表示嘴部区域中的皮肤的毛孔状况恶化。
基于待比较的皮肤状态信息中包含的毛孔数量信息来确定毛孔状况的变化。例如，测定结果分析单元86对指示毛孔数量的值进行比较，并且在其中数量减少至阈值以上的情况下，确定毛孔状况恶化。此外，在其中指示毛孔数量的值未改变的情况下，测定结果分析单元86确定毛孔状况没有变化。在其中指示毛孔数量的值增加至阈值以上的情况下，测定结果分析单元86确定毛孔状况有所改善。
在区域161的左侧，显示关于“毛孔”的定点观测结果的评论。在存储器57中预先记录有诸如指示定点观测结果的评论等内容。测定结果分析单元86根据预先记录的内容中的分析结果来选择内容，并且在显示定点观测结果时使用该内容。
在通过切换选项卡来确认各项中的状况的变化之后，结束定点观测结果显示处理。
利用上述一系列处理，通过使用皮肤测定装置2，使用者可以正确且容易地拍摄预设为定点观测点的部分。此外，使用者可以使信息处理装置1累积相同部分的皮肤状态的测定结果。
通过分析累积的测定结果，使用者可以确认皮肤状态的定点观测结果。
<4.使用皮肤状态信息分类的例子>
通过使用例如每个定点观测点的皮肤状态信息，信息处理装置1可以实现各种功能。
·面部图像的比较功能
面部图像的比较功能是以可比较的方式显示当测定满足由使用者指定的条件的皮肤状态时获得的面部图像的功能。
参照图28的流程图对比较显示处理进行说明。
在步骤S101中，测定结果分析单元86选择将要比较皮肤状态信息的定点观测点。例如，测定结果分析单元86在选择画面上根据使用者的操作从诸如脸颊、前额、嘴部区域和眼睛区域等多个定点观测点中选择预定的定点观测点。在选择画面上显示由使用者设定的定点观测点。
在步骤S102中，测定结果分析单元86选择与步骤S101中选择的定点观测点处的皮肤状态相关的比较条件。例如，根据使用者的操作，测定结果分析单元86选择与作为定点观测点的眼睛区域相关的诸如肤色状态处于最佳状态和最差状态的条件。
在步骤S103中，测定结果分析单元86控制信息控制单元85，并且从存储器57读取并获取当测定到满足比较条件的皮肤状态时获得的面部图像。测定结果分析单元86将获取的面部图像输出到显示控制单元87。
在步骤S104中，显示控制单元87在显示器11上并排地显示从测定结果分析单元86供给的面部图像。
图29是示出了面部图像的显示画面的例子的图。
在图29的显示画面上并排地显示了面部图像201和面部图像202。左侧的面部图像201是在2014年1月1日的测定中拍摄的面部图像。右侧的面部图像202是在2014年1月8日的测定中拍摄的面部图像。
例如，面部图像201是当作为定点观测点的眼睛区域中的最佳条件被测定为肤色条件时获得的图像。另一方面，面部图像202是当作为定点观测点的眼睛区域中的最差条件被测定为肤色条件时获得的图像。
基于上述显示，使用者可以将当眼睛周围的黑圈(肤色)处于最佳状态时获得的面部图像与当眼睛周围的黑圈处于最差状态时获得的面部图像进行比较。比较条件不限于上述那些。使用者还可以选择诸如纹理水平等其他比较条件，并且可以在测定到满足比较条件的皮肤状态时获得的面部图像之间进行比较。
通过使用面部图像的比较功能，使用者可以确认例如面部的时间变化、面部表情的变化、妆容的变化以及诸如按摩等治疗前后的皮肤的变化。面部的时间变化包括轮廓的变化、下垂的变化、皱纹的变化和瑕疵的变化(浓淡/大小)。面部表情包括嘴角的角度变化、嘴角的位置变化以及微笑方式的变化。妆容的变化包括眉毛形状的变化、颊粉涂布位置的变化以及眼影、唇膏、粉底等的颜色变化。
·面部图像的检索功能
面部图像的检索功能是对当测定到满足由使用者指定的条件的皮肤状态时获得的面部图像进行检索的功能。
参照图30的流程图对面部图像的检索处理进行说明。
在步骤S111中，测定结果分析单元86选择定点观测点。测定结果分析单元86例如根据使用者在选择画面上的操作从多个定点观测点中选择预定的定点观测点。
在步骤S112中，测定结果分析单元86选择与步骤S101中选择的定点观测点的皮肤状态有关的检索条件。例如，根据使用者的操作，测定结果分析单元86选择与作为定点观测点的脸颊相关的诸如肤色为粉色等条件。在化妆后测定皮肤状态的情况下，可以测定作为肤色的各种颜色。
在步骤S113中，测定结果分析单元86控制信息控制单元85，并且从存储器57读取并获取当测定到满足检索条件的皮肤状态时获得的面部图像。测定结果分析单元86将获取的面部图像输出到显示控制单元87。
在步骤S114中，显示控制单元87在显示器11上显示从测定结果分析单元86供给的面部图像。
图31是示出了面部图像的显示画面的例子的图。
面部图像211显示在图31的显示画面上。面部图像211是在2014年1月8日测定时拍摄的面部图像。
例如，面部图像211是当作为定点观测点的脸颊肤色测定为粉色时获得的面部图像。
基于该显示，使用者可以确认当在脸颊上涂抹粉色化妆品时获得的面部图像。检索条件不限于上述的这个条件。通过使用皮肤状态作为检索键，使用者可以确认各种皮肤状态的面部图像。
·改善方法的呈现功能
改善方法的呈现功能是向使用者呈现用于改善皮肤状态的锻炼方法的功能。在使用者进行所呈现的锻炼的情况下，信息处理装置1评价使用者进行的锻炼是否正确。
参照图32的流程图对改善方法的呈现处理进行说明。
为了评价由使用者进行的锻炼，信息处理装置1需要识别面部的哪一部分以及使用者如何活动。在评价锻炼之前，以与在测定皮肤状态时类似的方式，信息处理装置1调整使用者的面部和信息处理装置1之间的关系为与初始设定时相同的关系。
图32的步骤S121～S125中的处理是与图15的步骤S41～S45中的处理相似的处理。适当地省略相同说明的重复。
在步骤S121中，角度传感器59检测信息处理装置1的角度。
在步骤S122中，在其中由角度传感器59检测到的角度与初始设定时的角度不同的情况下，显示控制单元87在显示器11上显示角度调整画面。
在步骤S123中，图像获取单元81控制相机12并开始拍摄使用者的面部。
在步骤S124中，识别单元82分析面部图像，并且识别面部图像上的特征点的位置以及到各个特征点的距离。重复进行特征点的位置和到各个特征点的距离的识别。
在步骤S125中，显示控制单元87在显示器11上显示面部位置调整画面。
在步骤S126中，测定结果分析单元86基于预定期间内的测定结果，选择皮肤状态恶化的定点观测点。
在步骤S127中，显示控制单元87在显示器11上显示与皮肤状态恶化的定点观测点处的皮肤改善方法有关的信息。例如，在其中作为定点观测点的脸颊的皮肤温度恶化的情况下，显示控制单元87显示如何进行锻炼以改善脸颊上的皮肤温度。
与改善面部各部分的皮肤状态的锻炼有关的信息记录在存储器57中。显示控制单元87选择并显示皮肤状态恶化的定点观测点以及对应于恶化项目的信息。使用者确认显示在显示器11上的信息，并进行所呈现的锻炼。大部分的锻炼是用指尖提供面部按摩。
在步骤S128中，识别单元82分析从图像获取单元81供给的面部图像，并识别使用者的手指活动。使用者的手指活动通过指甲在面部图像上的位置的变化来识别。在将特征点的位置设定为基准的同时，也示出了各时机中指尖的位置。指示由识别单元82识别的手指活动的信息被供给到显示控制单元87。
在步骤S129中，显示控制单元87基于从识别单元82供给的信息来识别使用者的手指活动方式，并评价活动方式是否正确。在其中锻炼方式不正确的情况下，皮肤状态可能恶化。例如，在存储器57中记录有针对每次锻炼的指示正确的活动方式的信息和指示不正确的活动方式的信息。显示控制单元87基于记录在存储器57中的信息来评价由使用者进行的锻炼。
在步骤S130中，显示控制单元87在显示器11上显示使用者的手指活动方式的评价结果。
图33是示出了正在进行锻炼的使用者的面部图像的例子的图。
在图33的例子中，使用者用双手的食指按摩脸颊附近的区域。手指活动的这种方式被识别，并且对手指活动的方式是否正确进行评价。
图34是示出了评价结果的显示例的图。
在其中手指的活动方式被评价为正确的情况下，如图34所示，以叠加在面部图像上的方式显示指示手指的活动方式是正确的图像P101。以叠加在眼睛区域上的方式显示的图像P102和P103指示其中通过使用者进行的锻炼来改善皮肤温度的那部分。
图35是示出了评价结果的其他显示例的图。
在其中手指的活动方式被评价为不正确的情况下，如图35所示，以叠加在面部图像上的方式显示指示手指活动方式是不正确的图像P111。以叠加在靠近眼睛区域的脸颊的位置上的方式显示的图像P112和P113指示其中通过使用者进行的锻炼而使皮肤温度降低的那部分。
利用上述处理，使用者可以在皮肤状态恶化的定点观测点处正确地进行锻炼。
·对于皮肤状态已经恶化的部分的检索功能
参照图36的流程图对检索处理进行说明。
图36的步骤S141～S146中的处理是与图32的步骤S121～S126中的处理相似的处理。适当地省略相同说明的重复。
在步骤S141中，角度传感器59检测信息处理装置1的角度。
在步骤S142中，在其中由角度传感器59检测到的角度与初始设定时的角度不同的情况下，显示控制单元87在显示器11上显示角度调整画面。
在步骤S143中，图像获取单元81控制相机12并开始拍摄使用者的面部。
在步骤S144中，识别单元82分析面部图像，并且识别面部图像上的特征点的位置以及到各个特征点的距离。重复进行特征点的位置和到各个特征点的距离的识别。
在步骤S145中，显示控制单元87在显示器11上显示面部位置调整画面。
在步骤S146中，测定结果分析单元86基于预定期间内的测定结果，选择皮肤状态恶化的定点观测点。
在步骤S147中，显示控制单元87以叠加在面部图像上的方式显示皮肤状态恶化的定点观测点。
图37是示出了面部图像的显示例的图。
图37中的面部图像是由相机12拍摄的运动图像。以叠加在面部图像上的方式显示诸如血流量降低和皮肤温度降低等指示定点观测点处的皮肤状态恶化的信息。图像P121～P125中的每一个指示在预定期间内皮肤状态恶化的定点观测点。根据使用者的面部活动，以改变其位置的方式显示图像P121～P125。
利用上述处理，使用者可以综合地确认皮肤状态恶化的地方。代替进行皮肤状态恶化的定点观测点的检索，也可以进行皮肤状态改善的定点观测点的检索，并且可以向使用者呈现其检索结果。
·人物检索功能
人物检索功能是对具有与使用者相似的面部特征点位置的人物进行检索的功能。在其中美容院等中设置有信息处理装置1的情况下，多个使用者使用信息处理装置1，并对皮肤状态进行定点观测。在信息处理装置1中累积包括多个人物的面部特征点的位置信息的设定信息。通过使用累积在信息处理装置1中的设定信息来进行人物检索。
参照图38的流程图对人物检索处理进行说明。
在步骤S161中，显示控制单元87参照记录在存储器57中的信息，并对具有与当前正在使用信息处理装置1的使用者的面部特征点位置相似的人物进行检索。
在步骤S162中，显示控制单元87从存储器57读取通过检索识别的人物的面部图像。
在步骤S163中，显示控制单元87显示当前正在使用信息处理装置1的使用者的面部图像和从存储器57读取的面部图像。
图39是示出了面部图像的显示画面的例子的图。
面部图像221和面部图像222并排地显示在图39的显示画面上。左侧的面部图像221是当前正在使用信息处理装置1的使用者的面部图像。右侧的面部图像222是从作为具有与当前正在使用信息处理装置1的使用者的特征点位置相似的人物的检索中获取的人物的面部图像。
使用者可以参考具有与自己面部特征相似特征的人物的皮肤状态、化妆方式等。
·发型模拟功能
发型模拟功能是以采用预先准备的各种发型图像合成的方式在相机12拍摄的面部图像上显示头发部分的功能。
图40是示出了作为发型的合成结果的显示例的图。
图40中的面部图像是由相机12拍摄的运动图像。例如，基于使用者面部上的特征点的位置来识别运动图像的每帧中所示的头发位置，并且在所识别的位置合成图像P131。图像P131是由使用者从预先准备的多个发型中选择的发型图像。使用者可以切换将要合成的发型图像作为图像P131。
<5.变形例>
虽然已经说明了在信息处理装置1中设置有适于拍摄面部图像的相机，但是也可以通过与信息处理装置1分离的相机来拍摄面部图像。
此外，虽然已经说明了在信息处理装置1中提供适于显示各种信息的显示器，但是也可以在与信息处理装置1分离的显示器上显示各种画面。
虽然已经说明了通过使用图1中的皮肤测定系统来测定面部的皮肤状态，但是将要经受皮肤状态测定的部分也可以是诸如手、手臂和脚等面部以外的部分。例如，在对手的皮肤状态进行定点观测的情况下，将指甲、指尖等识别为特征点。
虽然已经说明了通过信息处理装置1来进行包括对面部特征点的识别、皮肤状态分析以及对定点观测结果的分析的一系列处理，但是也可以通过与诸如因特网等网络连接的服务器来进行处理。
在这种情况下，信息处理装置1和服务器经由网络连接。在服务器中实现了参照图6说明的构成。
信息处理装置1在测定皮肤状态时将面部图像和皮肤图像发送到服务器。服务器接收并获取从信息处理装置1发送的面部图像和皮肤图像。服务器通过分析面部图像来生成上述各种画面的数据，并将该数据发送到信息处理装置1。信息处理装置1基于从服务器发送的数据在显示器11上显示各种画面。
此外，服务器分析皮肤图像，并测定和记录皮肤状态。在其中请求定点观测的结果的情况下，服务器基于各测定的测定结果来分析皮肤状态的变化，并将定点观测结果发送到信息处理装置1。信息处理装置1基于从服务器发送的数据在显示器11上显示定点观测的结果。
·计算机的构成例
上述一系列处理可以由硬件执行，并且也可以由软件执行。在其中通过软件执行一系列处理的情况下，构成软件的程序从程序记录介质安装在例如组入在专用硬件内的计算机或通用个人电脑中。
通过记录在由光盘(光盘只读存储器(CD-ROM)、数字通用盘(DVD)等)、半导体存储器等形成的图5所示的可移除介质61中来提供待安装的程序。此外，还可以经由诸如局域网、互联网和数字广播等有线或无线传输介质来提供程序。程序可以预先安装在ROM 52或存储器57中。
另一方面，由计算机执行的程序可以是按照本说明书中说明的顺序以时间序列进行处理的程序，或者可以是并行进行处理或在诸如当呼出程序时等必要时机进行处理的程序。
需要指出的是，在本说明书中，系统是指包括多个构成元件(装置、模块(部件)等)的集合，而忽视所有构成要素是否位于同一壳体内。因此，经由网络连接并容纳在不同壳体中的多个装置中的任一个以及具有容纳在单个壳体中的多个模块的装置都对应于系统。
需要指出的是，在本说明书中说明的上述效果仅是例子且不限于此，并且还可以提供其他效果。
本技术的实施方案不限于上述实施方案，并且可以在不脱离本技术要旨的范围内进行各种修改。
例如，本技术可以具有其中通过以协作方式与多个装置经由网络共享一个功能来进行处理的云计算构成。
此外，上述流程图中说明的各步骤不仅可以由一个装置执行，而且可以以共享的方式由多个装置执行。
此外，在其中一个步骤中包括多个处理的情况下，包括在该一个步骤中的多个处理不仅可以由一个装置执行，而且可以以共享的方式由多个装置执行。
·构成的组合例
本技术也可以具有以下构成。
(1)一种信息处理装置，包括：
获取单元，所述获取单元适于获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
识别单元，所述识别单元适于分析所述图像并识别所述特征点的位置；和
显示控制单元，所述显示控制单元适于在将由所述识别单元识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息。
(2)根据上述(1)所述的信息处理装置，还包括适于拍摄所述图像的拍摄单元，
其中所述获取单元获取由所述拍摄单元拍摄的图像。
(3)根据上述(1)或(2)所述的信息处理装置，还包括适于显示所述图像和指示所述测定部分的信息的显示单元。
(4)根据上述(1)～(3)中任一项所述的信息处理装置，还包括设定单元，所述设定单元适于通过分析在设定所述测定部分时拍摄的图像而在将由所述识别单元识别的所述特征点的位置设定为基准的同时在所述预定位置处设定所述测定部分。
(5)根据上述(1)～(3)中任一项所述的信息处理装置，还包括适于在设定所述测定部分时拍摄的图像上在由使用者指定的位置处设定所述测定部分的设定单元。
(6)根据上述(4)或(5)所述的信息处理装置，还包括适于在设定所述测定部分时检测所述信息处理装置的角度的检测单元。
(7)根据上述(6)所述的信息处理装置，其中所述显示控制单元显示提供关于将所述信息处理装置的角度调整至与由所述检测单元检测到的角度相同的角度的导引的信息。
(8)根据上述(1)～(7)中任一项所述的信息处理装置，其中所述显示控制单元在所述图像上在与由所述识别单元通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置相同的位置处显示指示所述特征点的信息。
(9)根据上述(1)～(8)中任一项所述的信息处理装置，其中根据所述特征点的位置的变化，所述显示控制单元改变指示所述测定部分的信息的显示位置。
(10)根据上述(1)～(9)中任一项所述的信息处理装置，其中
所述获取单元获取通过拍摄所述测定部分的皮肤获得的皮肤图像，和
所述显示控制单元同时显示所述皮肤图像和所述的示出使用者的图像。
(11)根据上述(10)所述的信息处理装置，还包括：
适于分析所述皮肤图像并测定所述测定部分的皮肤状态的分析单元；和
适于记录指示由所述分析单元获得的测定结果的信息的记录单元。
(12)根据上述(11)所述的信息处理装置，其中基于指示从记录在所述记录单元中的多次测定获得的结果的信息，所述显示控制单元显示指示所述测定部分的皮肤状态的变化的信息。
(13)一种信息处理方法，包括以下步骤：
获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
分析所述图像并识别所述特征点的位置；和
在将所识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息。
(14)一种使计算机执行包括以下步骤的处理的程序：
获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
分析所述图像并识别所述特征点的位置；和
在将所识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息。
附图标记列表
1 信息处理装置
2 皮肤测定装置
11 显示器
12 相机
81 图像获取单元
82 识别单元
83 皮肤状态分析单元
84 定点观测点设定单元
85 信息控制单元
86 测定结果分析单元
87 显示控制单元

Claims (11)

1.一种信息处理装置，包括：
获取单元，所述获取单元构造成获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
识别单元，所述识别单元构造成分析所述图像并识别所述特征点的位置；
设定单元，所述设定单元构造成在将由所述识别单元通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置设定为基准的同时在预定位置处设定所述测定部分，和
显示控制单元，所述显示控制单元构造成在将由所述识别单元识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息，并且对所述测定部分的皮肤进行拍摄，
其中所述显示控制单元在所述图像上在与由所述识别单元通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置相同的位置处显示指示所述特征点的信息。
2.根据权利要求1所述的信息处理装置，还包括构造成拍摄所述图像的拍摄单元，
其中所述获取单元获取由所述拍摄单元拍摄的图像。
3.根据权利要求1所述的信息处理装置，还包括构造成显示所述图像和指示所述测定部分的信息的显示单元。
4.根据权利要求1所述的信息处理装置，还包括构造成在设定所述测定部分时检测所述信息处理装置的角度的检测单元。
5.根据权利要求4所述的信息处理装置，其中所述显示控制单元显示提供关于将所述信息处理装置的角度调整至与由所述检测单元检测到的角度相同的角度的导引的信息。
6.根据权利要求1所述的信息处理装置，其中根据所述特征点的位置的变化，所述显示控制单元改变指示所述测定部分的信息的显示位置。
7.根据权利要求1所述的信息处理装置，其中
所述获取单元获取通过拍摄所述测定部分的皮肤获得的皮肤图像，和
所述显示控制单元同时显示所述皮肤图像和所述的示出使用者的图像。
8.根据权利要求7所述的信息处理装置，还包括：
构造成分析所述皮肤图像并测定所述测定部分的皮肤状态的分析单元；和
构造成记录指示由所述分析单元获得的测定结果的信息的记录单元。
9.根据权利要求8所述的信息处理装置，其中基于指示从记录在所述记录单元中的多次测定获得的结果的信息，所述显示控制单元显示指示所述测定部分的皮肤状态的变化的信息。
10.一种信息处理方法，包括以下步骤：
获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
分析所述图像并识别所述特征点的位置；和
在将所识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息，并对所述测定部分的皮肤进行拍摄，
其中在将通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置设定为基准的同时在预定位置处设定所述测定部分，并且
其中在所述图像上在与通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置相同的位置处显示指示所述特征点的信息。
11.一种计算机可读存储介质，其上存储有计算机程序，所述程序被计算机执行时实现以下步骤：
获取示出作为皮肤状态的测定者的使用者的预定特征点和皮肤状态的测定部分的图像；
分析所述图像并识别所述特征点的位置；和
在将所识别的所述特征点的位置设定为基准的同时，在所述图像上的预定位置处显示指示所述测定部分的信息，并对所述测定部分的皮肤进行拍摄，
其中在将通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置设定为基准的同时在预定位置处设定所述测定部分，并且
其中在所述图像上在与通过分析在设定所述测定部分时拍摄的图像识别的所述特征点的位置相同的位置处显示指示所述特征点的信息。
CN201580058929.2A 2014-11-14 2015-10-30 信息处理装置、信息处理方法和计算机可读存储介质 Active CN107106018B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-231798 2014-11-14
JP2014231798 2014-11-14
PCT/JP2015/080666 WO2016076140A1 (ja) 2014-11-14 2015-10-30 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107106018A CN107106018A (zh) 2017-08-29
CN107106018B true CN107106018B (zh) 2021-10-22

Family

ID=55954232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580058929.2A Active CN107106018B (zh) 2014-11-14 2015-10-30 信息处理装置、信息处理方法和计算机可读存储介质

Country Status (7)

Country Link
US (1) US10617301B2 (zh)
EP (1) EP3219250A4 (zh)
JP (1) JP6750504B2 (zh)
KR (1) KR20170086024A (zh)
CN (1) CN107106018B (zh)
TW (1) TWI669103B (zh)
WO (1) WO2016076140A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI701018B (zh) * 2015-01-29 2020-08-11 日商新力股份有限公司 資訊處理裝置、資訊處理方法、及程式
CN106302330B (zh) * 2015-05-21 2021-01-05 腾讯科技（深圳）有限公司 身份验证方法、装置和系统
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
CN107692965A (zh) * 2016-08-09 2018-02-16 上海图檬信息科技有限公司 基于手机相机的引导和定位皮肤检测设备到指定位置的方法
JP6993087B2 (ja) * 2017-01-17 2022-02-04 花王株式会社 皮膚の歪み測定方法
CN109255280A (zh) * 2017-07-14 2019-01-22 丽宝大数据股份有限公司 皮肤状态检测方法与电子装置
JP7139638B2 (ja) * 2018-03-22 2022-09-21 カシオ計算機株式会社 報知装置、報知方法及び報知プログラム
CN110522411A (zh) * 2018-05-24 2019-12-03 浙江清华柔性电子技术研究院 可穿戴设备的固定装置
JP7081371B2 (ja) * 2018-07-26 2022-06-07 オムロンヘルスケア株式会社 生体データ測定システム及び情報処理装置
US11042726B2 (en) 2018-11-05 2021-06-22 Panasonic Intellectual Property Management Co., Ltd. Skin analyzer, skin analysis method, and non-transitory computer-readable recording medium
JP2020081323A (ja) * 2018-11-22 2020-06-04 パナソニックＩｐマネジメント株式会社 肌分析装置、肌分析方法、及び、コンピュータプログラム
WO2020116069A1 (ja) 2018-12-07 2020-06-11 株式会社 資生堂 情報処理装置、及び、プログラム
CN110378304B (zh) * 2019-07-24 2021-11-02 厦门美图之家科技有限公司 皮肤状态检测方法、装置、设备及存储介质
JP2022084299A (ja) * 2020-11-26 2022-06-07 マクセル株式会社 肌状態測定システム
JP2022084298A (ja) * 2020-11-26 2022-06-07 マクセル株式会社 肌状態測定システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571003B1 (en) 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
JP4616318B2 (ja) * 2004-01-23 2011-01-19 オリンパス株式会社 カメラ
JP2006081847A (ja) * 2004-09-17 2006-03-30 Inforward Inc 肌解析ネットワークシステム
WO2006043702A1 (ja) 2004-10-22 2006-04-27 Shiseido Company, Ltd. 肌状態診断システムおよび美容のためのカウンセリングシステム
JP4579046B2 (ja) * 2005-04-28 2010-11-10 株式会社資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP5116965B2 (ja) * 2005-11-08 2013-01-09 株式会社 資生堂 美容医療診断方法、美容医療診断システム、美容医療診断プログラム、及び該プログラムが記録された記録媒体
CN1961820B (zh) * 2005-11-08 2011-03-16 株式会社资生堂 肌肤状态分析方法以及肌肤状态分析装置
JP5080060B2 (ja) * 2005-11-08 2012-11-21 株式会社 資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
JP5044237B2 (ja) * 2006-03-27 2012-10-10 富士フイルム株式会社 画像記録装置、画像記録方法、および画像記録プログラム
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
JP5227212B2 (ja) * 2009-02-09 2013-07-03 株式会社 資生堂 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム
US8373859B2 (en) * 2009-03-27 2013-02-12 Brightex Bio-Photonics Llc Methods and systems for imaging skin using polarized lighting
JP2011053587A (ja) * 2009-09-04 2011-03-17 Sharp Corp 画像処理装置
CN102479322A (zh) * 2010-11-30 2012-05-30 财团法人资讯工业策进会 以具有角度的脸部影像分析脸部缺陷的系统、装置及方法
JP5733570B2 (ja) 2011-05-23 2015-06-10 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および、記録媒体
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
JP2014061057A (ja) 2012-09-20 2014-04-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及び測定システム
CN103885694A (zh) * 2012-12-24 2014-06-25 鸿富锦精密工业(武汉)有限公司 显示屏幕自动调节系统及方法
US9992409B2 (en) * 2013-02-14 2018-06-05 Panasonic Intellectual Property Management Co., Ltd. Digital mirror apparatus
JP2014180305A (ja) * 2013-03-18 2014-09-29 Funai Electric Co Ltd 情報端末装置
CN105592792B (zh) * 2013-10-23 2018-08-17 麦克赛尔控股株式会社 表面状态测定分析信息管理系统及表面状态测定分析信息管理方法
FR3015741B1 (fr) * 2013-12-23 2015-12-25 Galderma Res & Dev Procede d'analyse d'images du visage pour la detection d'un effet flush.

Also Published As

Publication number Publication date
JPWO2016076140A1 (ja) 2017-08-24
TW201617029A (zh) 2016-05-16
TWI669103B (zh) 2019-08-21
EP3219250A4 (en) 2018-07-11
US20170319065A1 (en) 2017-11-09
KR20170086024A (ko) 2017-07-25
WO2016076140A1 (ja) 2016-05-19
EP3219250A1 (en) 2017-09-20
CN107106018A (zh) 2017-08-29
JP6750504B2 (ja) 2020-09-02
US10617301B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
CN107106018B (zh) 信息处理装置、信息处理方法和计算机可读存储介质
KR102420100B1 (ko) 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
EP3000386B1 (en) Skin function evaluation device and skin evaluation method
CN110110118B (zh) 妆容推荐方法、装置、存储介质及移动终端
US11113511B2 (en) Makeup evaluation system and operating method thereof
EP3026886B1 (en) Information processing device and method for controlling information processing device
KR102523871B1 (ko) 피부 측정 장치 및 그 제어방법
KR20170132644A (ko) 케어 정보를 획득하기 위한 방법, 케어 정보를 공유하기 위한 방법, 및 그것들을 위한 전자 장치
US20210319585A1 (en) Method and system for gaze estimation
CN109101873A (zh) 用于提供针对兴趣对象的外部光源的特性信息的电子设备
CN105068646B (zh) 终端的控制方法和系统
EP3579176A1 (en) Makeup evaluation system and operation method thereof
EP2894851B1 (en) Image processing device, image processing method, program, and computer-readable storage medium
US9268408B2 (en) Operating area determination method and system
KR20210084102A (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
KR20210038644A (ko) 생체 인증 시스템, 생체 인증 방법 및 프로그램
JP2019048026A (ja) 生体情報解析装置及び手肌解析方法
KR20220068330A (ko) 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
KR102546498B1 (ko) 피부 측정 장치 및 그 제어방법
JP2016202286A (ja) 情報処理装置、情報処理方法、およびプログラム
GB2588306A (en) Image processing system, imaging device, image processing device, electronic device, control method thereof, and storage medium storing control method thereof
WO2017016941A1 (en) Wearable device, method and computer program product
KR102585229B1 (ko) 대상체의 피부 타입에 관련된 정보를 제공하는 전자 장치 및 방법
KR101507410B1 (ko) 모바일 단말의 라이브 메이크업 촬영 방법 및 장치
JP2021096537A (ja) 生体情報取得装置、端末装置、生体情報取得方法、生体情報取得プログラム、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant