CN104540444A - 图像处理设备、图像处理方法、程序以及图像处理系统 - Google Patents

图像处理设备、图像处理方法、程序以及图像处理系统 Download PDF

Info

Publication number
CN104540444A
CN104540444A CN201380042431.8A CN201380042431A CN104540444A CN 104540444 A CN104540444 A CN 104540444A CN 201380042431 A CN201380042431 A CN 201380042431A CN 104540444 A CN104540444 A CN 104540444A
Authority
CN
China
Prior art keywords
skin
region
eigenvalue
evaluation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380042431.8A
Other languages
English (en)
Other versions
CN104540444B (zh
Inventor
铃木优
五味信一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104540444A publication Critical patent/CN104540444A/zh
Application granted granted Critical
Publication of CN104540444B publication Critical patent/CN104540444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

分割单元将拍摄的皮肤图像分割成多个区域。例如，区域分割单元(23)将区域在平面方向上分割成皮肤区域和非皮肤区域(例如毛孔、斑点、体毛等区域)。特征值计算单元(24)对由区域分割单元(23)分割的每个区域计算与色彩的性质相关的特征值，例如，与皮肤亮度、色彩、透明感等相关的特征值。计算单元(25)使用特征值计算单元(24)计算的特征值来计算皮肤评价值。以此方式对每个区域执行特征值计算，并且根据特征值计算皮肤评价值，由此使得能够比在不用通过区域分割而评价皮肤色彩时更加精确地执行评价。

Description

图像处理设备、图像处理方法、程序以及图像处理系统
技术领域
本技术在图像处理设备、图像处理方法、程序和图像处理系统中使能具有良好精确度的皮肤评价。
背景技术
以往，在皮肤咨询中，测量用户的皮肤色彩，然后向用户给出基于测量结果的各种建议。在皮肤色彩测量中，例如，专利文献1将除问题部分或阴影部分以外的脸部的整体皮肤色彩区域设置为皮肤色彩测量区，然后使用皮肤色彩测量区域的图像创建直方图。另外，通过基于该直方图从更高频率色彩计算所有像素的n％像素的平均值，测量色彩。
引用列表
专利文献1：JP 2010-179012A
发明内容
在将除问题部分或阴影部分以外的脸部的整个皮肤色彩部分设置为皮肤色彩测量区域时，直方图可能根据区域中的体毛区域、毛孔区域和斑点区域而变化，从而可能无法以良好的精确度来评价。
于是，本技术的目的在于提供能够以良好的精确度评价皮肤色彩的图像处理设备、图像处理方法、程序和图像处理系统。
本技术的第一方面是一种图像处理设备，其包含：分割单元，以多维的方式将皮肤的捕捉图像分割成区域；特征值计算单元，计算分割单元所分割的每个区域中的色彩属性的特征值；以及评价单元，使用特征值计算单元计算的特征值来计算皮肤的评价值。
在本技术中，分割单元以多维的方式将所捕捉的皮肤图像分割成区域。例如，在平面方向上将皮肤图像分割成区域，以分割成皮肤区域和非皮肤区域。另外，获得在控制光源和产生捕捉图像的成像单元的偏振平面的同时产生的深度方向上的不同位置处的捕捉图像，获得在控制成像单元的焦距的同时产生的深度方向上的不同位置处的捕捉图像，或者产生基于光的强度分布和行进方向信息的深度方向上的不同位置处的捕捉图像，然后将图像分割成皮肤表面区域和皮肤内部的区域。另外，将非皮肤区域分割成毛孔区域、斑点区域和体毛区域中的至少一种，并且基于每个皮肤组分来分割皮肤区域。特征值计算单元计算如此分割的区域中的每一个中的色彩属性的特征值。作为色彩属性，使用皮肤的亮度、色彩和透明度中的至少任一种。这样，评价单元使用在每个区域中计算的特征值来计算皮肤评价值。另外，在每个区域中对特征值进行加权，然后还使用已加权特征值来计算皮肤评价值。在执行排除极大不同的值的排除处理之后，计算特征值和评价值。
本技术的第二方面是一种图像处理方法，其包含：以多维的方式将皮肤的捕捉图像分割成区域的步骤；计算每一个分割区域中的色彩属性的特征值的步骤；以及使用计算的特征值来计算皮肤的评价值的步骤。
本技术的第三方面是一种使计算机执行皮肤评价的程序。该程序使计算机执行：以多维的方式将皮肤的捕捉图像分割成区域的处理；计算每一个分割区域中的色彩属性的特征值的处理；以及使用计算的特征值来计算皮肤的评价值的处理。
另外，根据本技术的程序是一种如下的程序：能够经由提供各种程序和代码的记录介质或通信介质(例如，诸如光盘、磁盘和半导体存储器这样的记录介质或者计算如网络这样的通信介质)，被例如提供到能够执行计算机可读格式的该各种程序和代码的通用目的计算机。这样的程序以计算机可读取的形式提供，实现了计算机执行根据该程序的处理。
本技术的第四方面是一种包括成像设备和图像处理设备的图像处理系统。成像设备包括产生皮肤的捕捉图像的成像单元；并且成像设备或者信息处理设备之一包括：分割单元，以多维的方式将皮肤的捕捉图像分割成区域；特征值计算单元，计算由分割单元每一个分割区域中的色彩属性的特征值；评价单元，使用由特征值计算单元计算的特征值来计算皮肤的评价值；以及呈现单元，基于皮肤的评价值来呈现评价结果。
根据本技术，以多维的方式将皮肤的捕捉图像分割成区域，计算每个区域中的色彩属性的特征值，然后使用特征值计算单元计算的特征值来计算皮肤的评价值。因此，与不执行区域分割就在整个皮肤图像中评价皮肤色彩的情况相比，可以以良好的精确度评价皮肤色彩。在本说明书中描述的效果仅为示例，而非限制性的，可以示范另外的效果。
附图说明
图1是图示图像处理系统的配置的视图。
图2包括图2(A)和2(B)，是以简化的方式图示成像设备的配置的视图。
图3是将光源图示为附件的视图。
图4是图示成像中的成像设备的位置的视图。
图5是图示图像处理设备的第一实施例的配置的视图。
图6是示出图像处理设备的第一实施例的操作的流程图。
图7是示出色彩评价的流程图。
图8包括图8(A)至8(C)，是图示区域分割的操作的视图。
图9是图示特征值计算区域的设置状态的视图。
图10是图示作为示例图形化评价结果的情况的视图。
图11是图示图像处理设备的第二实施例的配置的视图。
图12是示出图像处理设备的第二实施例的操作的流程图。
图13是将光源图示为附件的视图。
图14是图示成像中的成像设备的位置的视图。
图15是图示图像处理设备的第三实施例的配置的视图。
图16是示出图像处理设备的第三实施例的操作的流程图。
图17包括图17(A)和图17(B)，是图示皮肤图像的视图。
图18是图示图像处理设备的第四实施例的配置的视图。
图19是示出图像处理设备的第四实施例的操作的流程图。
具体实施方式
以下描述执行本技术的实施例，以下面的次序给出描述：
1.图像处理系统
2.第一实施例
2-1.第一实施例的配置
2-2.第一实施例的操作
3.第二实施例
2-1.第二实施例的配置
2-2.第二实施例的操作
4.第三实施例
2-1.第三实施例的配置
2-2.第三实施例的操作
5.第四实施例
2-1.第四实施例的配置
2-2.第四实施例的操作
<1.成像处理系统>
图1图示本技术的图像处理系统的配置。使用具有成像功能的设备(以下称为“成像设备”)11、信息处理设备15和16等构成图像处理系统10。成像设备11和信息处理设备(例如，个人计算机设备等)15可以直接通过有线或无线传输路径连接。成像设备11和信息处理设备(例如，服务器设备等)16可以通过公共电信网络的网络等连接。
成像设备11具有产生所捕捉的皮肤图像的成像单元112。成像设备11或信息处理设备15和16中的任何一个都配备评价皮肤的图像处理设备20。图像处理设备20具有以多维的方式将所捕捉的皮肤图像(以下称为“皮肤图像”)分割成区域的分割单元。图像处理设备20还具有计算通过分割单元分割的每个区域中的色彩属性的特征值的特征值计算单元，以及使用通过特征值计算单元计算的特征值来计算皮肤评价值的评价单元。另外，成像设备11或信息处理设备15和16中的任何一个都配备基于皮肤评价值来呈现评价结果的呈现单元50。由图像处理设备20用于皮肤评价的皮肤图像不限于从成像单元112输出的皮肤图像，并且可以是由成像单元112产生并且成信在记录介质中的皮肤图像等。
<2.第一实施例>
第一实施例描述在平面方向上将皮肤图像分割成区域，然后评价所分割的皮肤区域的情况。
图2图示以简化方式对皮肤进行成像的成像设备的配置。图2(A)是成像设备11的正面视图，并且图2(B)是成像设备11的侧面视图。在成像设备11的相机镜筒的顶端配备附件12。附件12可以与相机镜筒111集成地构成，或者可以对/从相机镜筒111折卸。在附件12上，构成发光单元的多个光源121(例如，LED1(发光二极管)至LEDn)如图3所示那样地以环形部署。作为光源，白色LED是适合的。如图4所示，例如配备有附件12的成像设备11紧密地附着于皮肤表面，然后捕捉皮肤图像。为了照亮皮肤，不仅可以使用附件12，还可以使用其他发送设备。
[2-1.第一实施例的配置]
图5图示图像处理设备的第一实施例的配置。图像处理设备20具有色彩变换单元22、区域分割单元23、特征值计算单元24以及评价单元25。区域分割单元23具有对比增强处理单元231和二值化处理单元232。特征值计算单元24具有特征值计算区域设置单元241、排除处理单元242以及特征值计算处理单元243。评价单元25具有排除处理单元251和评价值计算处理单元252。
色彩变换单元22将皮肤图像的色彩空间变换成所期望的色彩空间。色彩变换单元22将皮肤空间变换到所期望的色彩空间，例如作为适于皮肤评价的色彩空间的HSV色彩空间。色彩变换单元22可以将色彩空间变换成L*a*b色彩空间。在HSV色彩空间中，H值对应于皮肤色调，S值对应于皮肤饱和度，并且V值对应于皮肤亮度。在L*a*b色彩空间中，L*值对应于皮肤亮度，并且tan-1(b*/a*)对应于皮肤色调。
区域分割单元23的对比增强处理单元231执行对比增强处理，从而使能适当的二值化处理。对比增强处理单元231对HSV色彩空间的S值执行对比增强处理(例如诸如对比受限自适应直方图均衡化(CLAHE)等之类的基于直方图的处理)，以产生对比增强的图像。对比增强处理单元231可以对S值执行伽马校正处理，以产生对比增强的图像。对比增强处理单元231可以对L*a*b色彩空间的L*值执行对比增强处理，以产生对比增强的图像。
二值化处理单元232比较由对比增强处理单元231产生的对比增强的图像和预定阈值，以产生将皮肤图像二值化成皮肤区域和非皮肤区域的二值化图像。
特征值计算单元24的特征值计算区域设置单元241在皮肤区域中设置多个特征值计算区域。特征值计算区域设置单元241在皮肤区域中设置具有多边形、圆形、椭圆形等的多个特征值计算区域。特征值计算区域可以在形状和大小上不同，并且可以具有区域与另一区域重叠的部分。
排除处理单元242排除每个特征值计算区域中的HSV色彩空间的H值和V值中的每一个中的极大不同的值。排除处理单元242例如执行每个特征值计算区域中的H值和V值的拒绝测试，然后排除极大不同的值。作为拒绝测试，可以使用诸如斯米尔诺夫-格拉布斯(Smirnoff-Grubbs)拒绝测试、增山(Masuyama)拒绝测试和汤普森(Thompson)拒绝测试等。
特征值计算处理单元243使用在每个特征值计算区域中的HSV色彩空间的排除处理之后的H值和V值执行统计处理，然后计算色彩属性的特征值。特征值计算处理单元243通过统计处理来计算平均值，以将其作为特征值给出。作为特征值，可以使用众数、中位值和最大值。当表示反射强饱和时的H值和V值的数量增加时，可以使用最小值。
这样，特征值计算处理单元243使用HSV色彩空间的排除处理之后的H值和V值计算特征值，并且因此，与使用不经过排除处理的H值和V值计算特征值的情况相比，可以计算强烈反映特征值计算区域的特征的特征值。
评价单元25的排除处理单元251执行从在每个特征值计算区域中计算的特征值中排除其值极大不同的特征值的处理。排除处理单元251执行使用H值在每个特征值计算区域计算的特征值的拒绝测试和使用V值在每个特征值计算区域计算的特征值的拒绝测试，然后排除其值极大不同的特征值。作为拒绝测试，如上所述，可以使用诸如斯米尔诺夫-格拉布斯拒绝测试、增山拒绝测试和汤普森拒绝测试等。
评价值计算处理单元252使用排除处理之后的特征值执行统计处理，以计算色彩属性的评价值。评价值计算处理单元252使用在H值经过排除处理之后的特征值来执行统计处理，然后例如计算平均值，以将其作为评价值给出。作为评价值，可以使用众数和中位值。类似地，评价值处理单元252使用在V值经过排除处理之后的特征值来执行统计处理，然后计算平均值，例如以将其作为评价值给出。作为评价值，可以使用众数和中位值。
这样，评价值计算处理单元252根据HSV色彩空间的排除处理之后的特征值计算评价值，因此，与从未进行排除处理的特征值计算评价值的情况相比，评价值是强烈反映皮肤区域的特征的值。
[2-2.第一实施例的操作]
图6是示出图像处理设备1的第一实施例的操作的流程图。
在步骤ST1中，图像处理设备20获得皮肤图像。图像处理设备20获得成像设备11所产生的皮肤图像，或者由成像设备11产生然后存储的皮肤图像。然后，处理进行到步骤ST5。
在步骤ST5中，图像处理设备20对皮肤图像执行色彩变换处理。例如，图像处理设备20将皮肤图像变换到HSV色彩空间(或者L*a*b色彩空间)，然后，过程进行到步骤ST11。
在步骤ST11中，图像处理设备20执行对比增强处理。图像处理设备20以可以以执行适合的二值化处理的方式执行适合于皮肤区域分割的S值的图像的对比增强处理。然后，处理进行到步骤ST12。
在步骤ST12中，图像处理设备20执行二值化处理。图像处理设备20使用经过对比增强处理的图像执行二值化处理，然后将皮肤图像分割成皮肤区域和非皮肤区域。然后，处理进行到步骤ST31。
在步骤ST31，图像处理设备20执行色彩评价。图7是示出色彩评价的流程图。
在步骤ST311中，图像处理设备20设置特征值计算区域。例如，图像处理设备在皮肤区域中设置特征值计算区域。然后，处理进行到步骤ST312。
步骤ST312是H值和V值的循环开始点，并且步骤ST313是每个特征值计算区域的循环开始点。
在步骤ST314中，图像处理设备20执行排除处理。图像处理设备20排除特征值计算区域中的极大不同的值。然后，处理进行到步骤ST315。
在步骤ST315中，图像处理设备20执行特征值计算处理。图像处理设备20使用在特征值计算区域中的排除处理之后的值执行统计处理，然后计算每个特征值计算区域的色彩的特征值。然后，处理进行到步骤ST316。
步骤ST316是每个特征值计算区域的循环结束点。更具体地，通过从步骤ST313至步骤ST316的处理在每个特征值计算区域中计算特征值。
在步骤ST317中，图像处理设备20执行排除处理。图像处理设备20排除在每个特征值计算区域中计算的特征值中的极大不同的值的特征值。然后，处理进行到步骤ST318。
在步骤ST318中，图像处理设备20执行评价值计算处理。图像处理设备20使用排除处理之后的特征值执行统计处理，然后计算色彩的评价值。然后，处理进行到步骤ST319。
在步骤ST319中，图像处理设备20是H值和V值的图像的循环结束点。更具体地，通过步骤ST311至步骤ST319的处理，关于一组H值和一组V值中的每一个计算评价值。
接下来，描述图像处理设备20的操作的示例。图8图示直至区域分割为止的操作的示例。图8(A)图示皮肤图像(例如，RGB图像)。在将皮肤图像从RGB色彩空间变换到HSV色彩空间时，S值的图像是在图8(B)中图示的图像。在S值的图像经过对比增强处理并然后经过二值化处理时，例如获得在图8(C)中图示的二值化图像。在二值化图像中，白色区域表示体毛区域、毛孔区域、斑点区域、痣区域等，并且剩余的黑色区域表示皮肤区域。因此，为了只获得皮肤区域的评价结果，在皮肤区域中设置特征值计算区域。
图9图示特征值计算区域的设置状态。图9图示在皮肤区域上设置多个矩形特征值计算区域的情况的示例。
这样，通过在皮肤区域中设置特征值计算区域，执行特征值计算区域的H值和V值的排除处理，然后计算特征值，可以计算强烈反映特征值计算区域的特征的特征值。另外，通过在每个特征值计算区域中执行特征值的排除处理之后计算评价值，可以计算强烈反映皮肤区域的特征的评价值。
这样，基于所计算的评价值，由呈现单元50示出皮肤评价结果。在评价结果的呈现中，可以用数值输出评价值，或者可以通过图形表示输出评价值。图10图示通过图形表示示出评价结果的情况作为示例。例如，将图形的水平轴设置为表示皮肤色彩色调的评价值(基于H值的评价值)的坐标轴，并且将垂直轴设置为表示皮肤亮度的评价值(基于V值的评价值)的坐标轴。然后，将基于所计算的评价值的坐标位置表示为用户的皮肤的评价位置。
如上所述，在第一实施例中，从皮肤图像分割皮肤区域，然后在皮肤区域中计算色彩属性的特征值。另外，将所计算的特征值用作皮肤评价值。因此，与不执行皮肤区域分割就根据整个皮肤图像计算评价值的情况相比，可以以良好的精确度计算皮肤区域的色彩。另外，在第一实施例中，执行排除极大不同的值的排除处理，然后计算评价值，并且因此可以计算强烈反映区域的特征的评价值。
<3.第二实施例>
接下来，第二实施例描述在平面方向上分割皮肤图像的情况，集成所分割的皮肤区域和非皮肤区域的评价结果来评价皮肤。
[3-1.第二实施例的配置]
图11图示图像处理设备的第二实施例的配置。图像处理设备20具有色彩变换单元22、区域分割单元23、特征值计算单元24、评价单元25以及评价集成单元26。区域分割单元23具有对比增强处理单元231、二值化处理单元232以及区域判断处理单元233。特征值计算单元24具有特征值计算区域设置单元241、排除处理单元242以及特征值计算处理单元243。评价单元25具有排除处理单元251以及评价值计算处理单元252。
色彩变换单元22将皮肤图像的色彩空间变换到所期望的色彩空间。色彩变换单元22将皮肤图像变换到所期望的色彩空间，例如作为适于皮肤评价的色彩空间的HSV色彩空间。色彩变换单元22可以将色彩空间变换到L*a*b色彩空间。
区域分割单元23的对比增强处理单元231可以通过执行对比增强处理来适当地执行二值化处理。对比增强处理单元231对HSV色彩空间的S值执行对比增强处理(例如诸如对比受限自适应直方图均衡化(CLAHE)等之类的基于直方图的处理)，以产生对比增强的图像。对比增强处理单元231可以对S值执行伽马校正处理，以产生对比增强的图像。对比增强处理单元231可以对L*a*b色彩空间的L*值执行对比增强处理，以产生对比增强的图像。
二值化处理单元232比较由对比增强处理单元231产生的对比增强的图像和预定阈值，以产生将皮肤图像二值化成皮肤区域和非皮肤区域的二值化图像。
区域判断处理单元233判断非皮肤区域等同于体毛、毛孔、斑点等之中的任何一个。区域判断处理单元233执行用于提取结构的处理，例如形态处理，以便于判断二值化图像中的非皮肤区域。区域判断处理单元233通过形态处理，删除独立的点、连接不连接的点等等，然后使非皮肤区域的形状接近于对应的被摄体(体毛、毛孔、斑点等)。另外，区域判断处理单元233基于经过形态处理等的图像来判断非皮肤区域等同于体毛、毛孔、斑点等之中的任何一个。例如，当非皮肤区域的形状是线性形状时，将非皮肤区域判断为体毛区域。当非皮肤区域是圆形，并且大小处于预先根据毛孔大小确定的阈值范围内时，将非皮肤区域判断为毛孔区域。当非皮肤区域的形状是不同于线性形状和圆形的形状，并且大小大于预定大小时，将非皮肤区域判断为斑点区域。第二实施例描述判断体毛区域、毛孔区域和斑点区域，然后在每个区域中计算评价值的情况。然而，其还可以配置为使得基于非皮肤区域的形状、大小等来区分痣区域等，然后可以计算这些区域的评价值。
特征值计算单元24的特征值计算区域设置单元241在非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中设置多个特征值计算区域。特征值计算区域设置单元241在非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中设置具有多边形、圆形、椭圆形等的多个特征值计算区域。特征值计算区域可以在形状和大小上不同，并且可以具有区域与其他区域重叠的部分。
排除处理单元242进行排除每个特征值计算区域中的HSV色彩空间的一组H值和一组V值中的每一个中的极大不同的值。排除处理单元242在如上所述的每个特征值计算区域中执行H值和V值的拒绝测试，并且排除极大不同的值。
特征值计算处理单元243使用在每个特征值计算区域中的HSV色彩空间的排除处理之后的H值和V值执行统计处理，然后计算色彩属性的特征值。特征值计算处理单元243例如通过统计处理来计算平均值，以将其作为特征值给出。作为特征值，可以使用众数、中位值和最大值。当表示反射强饱和时的H值和V值的数量增加时，可以使用最小值。
这样，特征值计算处理单元243使用HSV色彩空间的排除处理之后的H值和V值计算特征值，并且因此，与使用未经过排除处理的H值和V值计算特征值的情况相比，可以计算强烈反映特征值计算区域的特征的特征值。
评价单元25的排除处理单元251执行排除极大地不同于在皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中的每个特征值计算区域中所计算的特征值的值的处理。如上所述，排除处理单元251执行使用H值在每个特征值计算区域计算的特征值的拒绝测试和使用V值在每个特征值计算区域计算的特征值的拒绝测试，然后排除极大不同的特征值。
评价值计算处理单元252使用排除处理之后的特征值执行统计处理，然后计算皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中的色彩属性的评价值。例如，评价值计算处理单元252使用在H值经过排除处理之后的特征值来执行统计处理，然后计算平均值，以将其作为评价值给出。作为评价值，可以使用众数和中位值。类似地，评价值处理单元252使用在V值经过排除处理之后的特征值来执行统计处理，然后计算平均值，例如以将其作为评价值给出。作为评价值，可以使用众数和中位值。
这样，评价值计算处理单元252计算HSV色彩空间的排除处理之后的特征值，并且因此，与从基于未进行排除处理的H值和V值的特征值计算评价值的情况相比，可以计算强烈反映皮肤区域的特征的特征值。
评价集成单元26集成对于皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域计算的评价值，以将其作为皮肤评价值给出。另外，评价集成单元26可以对在每个分割区域中计算的评价值进行加权，然后集成经加权的评价值。
[3-2.第二实施例的操作]
图12是示出图像处理设备的第二实施例的操作的流程图。
在步骤ST1中，图像处理设备20获得皮肤图像。图像处理设备20获得成像设备11所产生的皮肤图像，或者由成像设备11产生然后存储的皮肤图像。然后，处理进行到步骤ST5。
在步骤ST5中，图像处理设备20对皮肤图像执行色彩变换处理。例如，图像处理设备20将皮肤图像变换到HSV色彩空间(或者L*a*b色彩空间)，然后，过程进行到步骤ST11。
在步骤ST11中，图像处理设备20执行对比增强处理。图像处理设备20以可以执行适合的二值化处理的方式执行适合于皮肤区域分割的S值的图像的对比增强处理。然后，处理进行到步骤ST12。
在步骤ST12中，图像处理设备20执行二值化处理。图像处理设备20使用对比增强处理之后的图像执行二值化处理，然后将皮肤图像分割成皮肤区域和非皮肤区域。然后，处理进行到步骤ST13。
在步骤ST13中，图像处理设备20执行非皮肤区域的判断处理。例如，图像处理设备20基于非皮肤区域的形状和大小来判断等同于毛孔的非皮肤区域、等同于斑点的非皮肤区域以及等同于体毛的非皮肤区域。然后，处理进行到步骤ST21。
步骤ST21是每个分割区域(例如，皮肤区域、毛孔区域、斑点区域以及体毛区域)的循环开始点。
在步骤ST31中，图像处理设备20执行色彩评价。图像处理设备20在每个分割区域中执行在图7中图示的色彩评价，然后计算评价值。然后处理进行到步骤ST41。
步骤ST41是每个分割区域的循环结束点。更具体地，通过从步骤ST21至步骤ST41的处理对每个分割区域中的一组H值和一组V值的每一个计算评价值。然后，处理进行到ST51。
在步骤ST51中，图像处理设备20执行评价集成处理。图像处理设备20集成在皮肤区域、毛孔区域、斑点区域以及体毛区域中计算的评价值以计算皮肤评价值。
接下来，描述图像处理设备20的评价集成处理。图像处理设备20在每个分割区域中执行与第一实施例的处理相同的处理，然后集成每个分割区域中计算的评价值以计算皮肤评价值。作为示例，表达式(1)和(2)示出对每个分割区域中计算的评价值进行加权然后集成的情况。
皮肤色彩色调评价值
＝a1×(皮肤区域的H值的评价值)
+b1×(毛孔区域的H值的评价值)
+c1×(斑点区域的H值的评价值)
+d1×(体毛区域的H值的评价值)…(1)
皮肤亮度评价值
＝a2×(皮肤区域的V值的评价值)
+b2×(毛孔区域的V值的评价值)
+c2×(斑点区域的V值的评价值)
+d2×(体毛区域的V值的评价值)…(2)
在表达式(1)和(2)中，“a1、b1、c1、d1、a2、b2、c2和d2”是加权参数。这些参数可以根据区域的大小来设置，并且可以使用提前设置以使得使用多个样本获得最优评价结果的参数。
通过改变参数，可以计算所期望的区域的评价值以及排除所期望的区域的区域的评价值。例如，当设置“a1＝b1＝c1＝a2＝b2＝c2＝0”时，可以获得体毛区域的评价值。当设置“b1＝d1＝b2＝d2＝0”时，可以获得排除体毛区域和毛孔区域的皮肤的评价值。
上面的第二实施例描述分割非皮肤区域中的毛孔区域、斑点区域以及体毛区域的情况，但是可以基于每个组分将皮肤区域分割成区域。例如，将皮肤区域分割成皮嵴区域以及皮沟区域，如上所述那样地计算每个区域的评价值，然后集成评价值。当执行这样的区域分割时，例如在将皮嵴区域的V值以及皮嵴区域的H值和V值设置为指示皮肤透明度的指标的情况下，可以通过使用皮嵴区域的评价值来评价皮肤透明度。
如上所述，在第二实施例中，从皮肤图像分割皮肤区域、毛孔区域、斑点区域等，在每个分割区域中执行色彩评价，然后集成每个分割区域中的色彩评价。因此，根据第二实施例，可以对皮肤区域、毛孔区域、斑点区域等之中的每一个评价色彩。另外，根据第二实施例，可以以良好的精确度评价包括毛孔区域、斑点区域等的整个皮肤的色彩。另外，在第二实施例中，执行排除极大不同的值的排除处理，然后计算评价值，因此可以计算强烈反映每个区域的特征的评价值。
<4.第三实施例>
接下来，第三实施例描述在深度方向上将皮肤图像分割成区域，然后集成每个区域的评价结果以评价皮肤的情况。
在该情况下，如图13所示，附件12配备白色LED 121-1和白色LED121-2作为光源，该白色LED 121-1配备了预定偏振平面的偏振滤波器且该白色LED 121-2配备了其中偏振平面例如与该预定偏振平面正交的偏振滤波器。配备了附件12的成像设备11配备例如图14所示的、在到成像单元112的光路上、偏振平面垂直于预定偏振平面的偏振滤波器113。通过配备如上所述的偏振滤波器，当通过开启白色LED 121-1来捕捉图像时，截除皮肤表面反射分量，然后可以获得内部反射分量的图像，并且在通过开启白色LED121-2来捕捉图像时，可以获得皮肤表面的图像。为了照亮皮肤，可以利用另外的配置，其中获得偏振平面不同的捕捉图像。
在成像设备11中，使用与JP 2008-262336A中相似的、以矩阵的形状布置由液态透镜、液晶透镜等构成的多个微透镜的微透镜阵列作为成像透镜。在该情况下，可以通过控制施加到微透镜的电压改变焦点位置来产生在深度方向上不同的皮肤图像。另外，可以使用除了成像设备的光接收表面上的光的强度分布还能够获得使用由多个微透镜构成的微透镜阵列的光的行进方向信息的所谓的光场相机作为成像设备11。在该情况下，重构皮肤图像，其中，根据光的强度分布和行进方向信息，在深度方向上的任意位置处设置焦点位置。
[4-1.第三实施例的配置]
图15图示图像处理设备的第三实施例的配置。图像处理设备20具有层分割单元21、色彩变换单元22、特征值计算单元24、评价单元25以及评价集成单元26。特征值计算单元24具有特征值计算区域设置单元241、排除处理单元242以及特征值计算处理单元243。评价单元25具有排除处理单元251和评价值计算处理单元252。
层分割单元21获得深度方向上不同的多个皮肤图像。例如，层分割单元21获得皮肤表面的图像和示出皮肤内部的图像。在下面的描述中，将深度方向上不同的图像称为层不同的图像。作为示出皮肤内部的图像，在光源和成像单元的前面提供偏振滤波器，使得偏振平面如上所述那样地相互垂直，从而截除皮肤表面反射分量，并且产生皮肤内部的反射分量的图像。另外，可以通过控制施加到微透镜的电压以改变焦点位置来产生深度方向上不同的皮肤图像。另外，在使用光场相机时，层分割单元21可以重构皮肤图像，其中，根据光的强调分布和行进方向信息，在深度方向上的任意位置处设置焦点位置。
色彩变换单元22将皮肤图像的色彩空间变换成所期望的色彩空间。色彩变换单元22将皮肤空间变换到所期望的色彩空间，例如作为适于皮肤评价的色彩空间的HSV色彩空间。色彩变换单元22可以将皮肤图像变换成L*a*b色彩空间。
特征值计算单元24的特征值计算区域设置单元241在深度方向上不同的多个皮肤图像中设置多个特征值计算区域。特征值计算区域设置单元241在每层的皮肤图像中设置具有多边形、圆形、椭圆形等的多个特征值计算区域。特征值计算区域可以在形状和大小上不同，并且可以具有区域与另外的区域重叠的部分。
排除处理单元242排除每个特征值计算区域中的HSV色彩空间的一组H值和一组V值中的每一个中的极大不同的值。排除处理单元242执行如上所述的每个特征值计算区域中的H值和V值的拒绝测试，然后排除极大不同的值。
特征值计算处理单元243使用在每个特征值计算区域中的HSV色彩空间的排除处理之后的H值和V值执行统计处理，然后计算色彩属性的特征值。例如，特征值计算处理单元243通过统计处理来计算平均值，以将其作为特征值给出。作为特征值，可以使用众数、中位值和最大值。
这样，特征值计算处理单元243使用HSV色彩空间的排除处理之后的H值和V值计算特征值，并且因此，与使用不经过排除处理的H值和V值计算特征值的情况相比，可以计算强烈反映特征值计算区域的特征的特征值。
评价单元25的排除处理单元251执行从在每一层的皮肤图像的每个特征值计算区域中计算的特征值中排除值极大不同的值的处理。排除处理单元251执行如上所述的使用H值在每个特征值计算区域计算的特征值的拒绝测试和使用V值在每个特征值计算区域计算的特征值的拒绝测试，然后排除极大不同的特征值。
评价值计算处理单元252使用排除处理之后的特征值执行统计处理，然后计算每层的皮肤图像中的色彩属性的评价值。例如，评价值计算处理单元252使用在H值经过排除处理之后的特征值来执行统计处理，然后计算平均值，以将其作为评价值给出。作为评价值，可以使用众数和中位值。类似地，评价值处理单元252使用在V值经过排除处理之后的特征值来执行统计处理，然后计算平均值，例如以将其作为评价值给出。作为评价值，可以使用众数和中位值。
这样，评价值计算处理单元252计算HSV色彩空间的排除处理之后的特征值，并且因此，与根据基于未经过排除处理的H值和V值的特征值来计算评价值的情况下相比，可以计算强烈反映每个分割区域的特征的特征值。
评价集成单元26集成对每层的皮肤图像计算的评价值，以将其作为皮肤评价值给出。另外，评价集成单元26可以对在每层中计算的评价值进行加权，然后集成经加权的评价值。
[4-2.第三实施例的操作]
图16是示出图像处理设备的第三实施例的操作的流程图。
在步骤ST2中，图像处理设备20获得第一层的皮肤图像。图像处理设备20获得第一层，例如由成像设备11产生的皮肤表面的图像或者由成像设备11产生然后存储的皮肤表面的图像。然后，处理进行到步骤ST5。
在步骤ST3中，图像处理设备20获得第二层的皮肤图像。图像处理设备20获得第二层，例如由成像设备11产生的皮肤内部的图像或者由成像设备11产生然后存储的皮肤内部的图像。然后，处理进行到步骤ST5。
在步骤ST5中，图像处理设备20对皮肤图像执行色彩变换处理。例如，图像处理设备20将皮肤图像变换到HSV色彩空间(或者L*a*b色彩空间)，然后，过程进行到步骤ST22。步骤22是每层的循环开始点。
在步骤ST31中，图像处理设备20执行色彩评价。图像处理设备20在每个分割区域中执行在图7中图示的色彩评价，然后计算评价值。然后处理进行到步骤ST42。
步骤ST42是每层的循环结束点。更具体地，通过从步骤ST22至步骤ST42的处理对每层中的一组H值和一组V值计算评价值。然后，处理进行到步骤ST52。
在步骤ST52中，图像处理设备20执行评价集成处理。图像处理设备20集成在每层的皮肤图像中计算的评价值，以计算皮肤评价值。
图17图示皮肤图像的示例。图17(A)示出皮肤表面，并且图17(B)示出皮肤内部。描述图像处理设备20的评价集成处理。图像处理设备20集成在每层中计算的评价值以计算皮肤评价值。作为示例，表达式(3)和(4)示出对每层中计算的评价值进行加权，然后集成经加权的值的情况。
皮肤色彩色调评价值
＝e1×(皮肤表面的H值的评价值)
+f1×(皮肤内部的H值的评价值)…(3)
皮肤亮度评价值
＝e2×(皮肤表面的V值的评价值)
+f2×(皮肤内部的V值的评价值)…(4)
在表达式(3)和(4)中，“e1、f1、e2和f2”是加权参数。这些参数可以根据区域的大小来设置，并且可以使用提前设置以使得使用多个样本获得最优评价结果的参数。
如上所述，在第三实施例中，在深度方向上逐步地执行评价。此处，可以在皮肤的内部的图像中观察到的潜在的斑点、黯淡和黑色素也是确定皮肤色彩的色素成分。另外，皮肤内部的皮肤色彩状态很快通过皮肤周转(turnover)到达表面。因此，根据第三实施例，可以获得在深度方向上的色彩的评价结果，并且因此可以在较早的时机评价将来的皮肤状态，使得可以提前防止皮肤问题。
<5.第四实施例>
接下来，第四实施例描述在平面方向上和在深度方向上将皮肤图像分割成区域，然后集成每一个区域的评价结果以评价皮肤的情况。
[5-1.第四实施例的配置]
图18图示图像处理设备的第四实施例的配置。图像处理设备20具有层分割单元21、色彩变换单元22、区域分割单元23、特征值计算单元24、评价单元25以及评价集成单元26。区域分割单元23具有对比增强处理单元231、二值化处理单元232以及区域判断处理单元233。特征值计算单元具有特征值计算区域设置单元241、排除处理单元242以及特征值计算处理单元243。评价单元25具有排除处理单元251以及评价值计算处理单元252。
层分割单元21获得在深度方向上不同的多个皮肤图像。层分割单元21与第三实施例类似地获得在深度方向上不同的多个层的图像，例如示出皮肤内部的图像和示出皮肤表面的图像。更具体地，层分割单元21通过在光源和成像单元的前面设置偏振滤波器使得偏振平面如上所述地相互垂直，截除皮肤表面反射分量来产生皮肤内部的反射分量的图像。另外，在使用光场相机时，层分割单元21可以重构皮肤图像，其中，根据光的强度分布和行进方向信息，在深度方向上的任意位置处设置焦点位置。
色彩变换单元22将皮肤图像的色彩空间变换成所期望的色彩空间。色彩变换单元22将皮肤空间变换到所期望的色彩空间，例如作为适于皮肤评价的色彩空间的HSV色彩空间。色彩变换单元22可以将色彩空间变换成L*a*b色彩空间。
区域分割单元23的对比增强处理单元231可以通过执行对比增强处理来适当地执行二值化处理。对比增强处理单元231对HSV色彩空间的S值执行对比增强处理(例如诸如对比受限自适应直方图均衡化(CLAHE)等之类的基于直方图的处理)，以产生对比增强的图像。对比增强处理单元231可以对S值执行伽马校正处理，以产生对比增强的图像。对比增强处理单元231可以对L*a*b色彩空间的L*值执行对比增强处理，以产生对比增强的图像。
二值化处理单元232比较由对比增强处理单元231产生的对比增强的图像和预定阈值，以产生将皮肤图像二值化成皮肤区域和非皮肤区域的二值化图像。
区域判断处理单元233判断非皮肤区域等同于体毛、毛孔、斑点等之中的任何一个。区域判断处理单元233执行用于提取结构的处理，例如形态处理，以便于促进二值化图像中的非皮肤区域的判断。区域判断处理单元233基于经过形态处理的图像来判断非皮肤区域等同于体毛、毛孔、斑点等之中的任何一个。例如，当非皮肤区域的形状是线性形状时，将非皮肤区域判断为体毛区域。当非皮肤区域是圆形，并且大小在预先根据毛孔大小确定的阈值范围内时，将非皮肤区域判断为毛孔区域。当非皮肤区域的形状是不同于线性形状和圆形的形状，并且大小大于预定大小时，将非皮肤区域判断为斑点区域。另外，在第四实施例中，还可以将其配置为使得基于非皮肤区域的形状、大小等来区分痣区域等，然后以与第二实施例相同的方式来计算这些区域的评价值。在第四实施例中，当皮肤图像示出皮肤内部时，可以排除体毛区域的判断。当皮肤图像示出皮肤表面时，可以在皮肤区域中判断皮嵴区域和皮肤沟区域。
特征值计算单元24的特征值计算区域设置单元241在每层以及皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中设置多个特征值计算区域。特征值计算区域设置单元241在每层以及皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中设置具有多边形、圆形、椭圆形等的多个特征值计算区域。特征值计算区域可以在形状和大小上不同，并且可以具有区域与其他区域重叠的部分。
排除处理单元242进行每个特征值计算区域中的HSV色彩空间的一组H值和一组V值中的极大不同的值的排除处理。排除处理单元242在如上所述的每个特征值计算区域中执行H值和V值的拒绝测试，并且排除极大不同的值。
特征值计算处理单元243使用在每个特征值计算区域中的HSV色彩空间的排除处理之后的H值和V值执行统计处理，然后计算色彩属性的特征值。特征值计算处理单元243例如通过统计处理来计算平均值，以将其作为特征值给出。作为特征值，可以使用众数、中位值和最大值。
这样，特征值计算处理单元243使用HSV色彩空间的排除处理之后的H值和V值计算特征值。因此，与使用不经过排除处理的H值和V值计算特征值的情况相比，特征值是强烈反映特征值计算区域的特征的值。
评价单元25的排除处理单元251执行排除极大地不同于在每层以及皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中的每个特征值计算区域中计算的特征值的值的处理。如上所述，排除处理单元251执行使用H值在每个特征值计算区域计算的特征值的拒绝测试和使用V值在每个特征值计算区域计算的特征值的拒绝测试，然后排除极大不同的特征值。
评价值计算处理单元252使用排除处理之后的特征值执行统计处理，然后计算皮肤区域的每层以及皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域的每个分割区域中的色彩属性的评价值。例如，评价值计算处理单元252使用在H值经过排除处理之后的特征值来执行统计处理，然后计算平均值，以将其作为评价值给出。作为评价值，可以使用众数和中位值。类似地，评价值处理单元252使用在V值经过排除处理之后的特征值来执行统计处理，然后计算平均值，例如以将其作为评价值给出。作为评价值，可以使用众数和中位值。
这样，评价值计算处理单元252计算HSV色彩空间的排除处理之后的特征值。因此，与根据基于未进行排除处理的H值和V值的特征值来计算评价值的情况相比，特征值是强烈反映分割区域的特征的值。
评价集成单元26集成在每个分割区域(例如每层以及皮肤区域和非皮肤区域的体毛区域、毛孔区域和斑点区域)中计算的评价值，以将其作为皮肤评价值给出。另外，评价集成单元26可以对在每个分割区域中计算的评价值进行加权，然后集成经加权的评价值。
[5-2.第四实施例的操作]
图19是示出图像处理设备的第四实施例的操作的流程图。
在步骤ST2中，图像处理设备20获得第一层的皮肤图像。图像处理设备20获得第一层，例如由成像设备11产生的皮肤表面的图像或者由成像设备11产生然后存储的皮肤表面的图像。然后，处理进行到步骤ST5。
在步骤ST3中，图像处理设备20获得第二层的皮肤图像。图像处理设备20获得第二层，例如由成像设备11产生的皮肤内部的图像或者由成像设备11产生然后存储的皮肤内部的图像。然后，处理进行到步骤ST5。
在步骤ST5中，图像处理设备20对皮肤图像执行色彩变换处理。例如，图像处理设备20将皮肤图像变换到HSV色彩空间(或者L*a*b色彩空间)，然后，过程进行到步骤ST11。
在步骤ST11中，图像处理设备20执行对比增强处理。图像处理设备20以可以执行适合的二值化处理的方式执行适合于皮肤区域分割的S值的图像的对比增强处理。然后，处理进行到步骤ST12。
在步骤ST12中，图像处理设备20执行二值化处理。图像处理设备20使用经过对比增强处理之后的图像来执行二值化处理，然后将皮肤图像分割成皮肤区域和非皮肤区域。然后，处理进行到步骤ST13。
在步骤ST13中，图像处理设备20执行非皮肤区域的判断处理。例如，图像处理设备20基于非皮肤区域的形状和大小来判断等同于毛孔的非皮肤区域、等同于斑点的非皮肤区域以及等同于体毛的非皮肤区域。然后，处理进行到步骤ST23。
步骤ST23是每个分割区域(例如每层以及皮肤区域、体毛区域、毛孔区域和斑点区域)的循环开始点。
在步骤ST31中，图像处理设备20执行色彩评价。图像处理设备20在每个分割区域中执行在图7中图示的色彩评价，然后计算评价值。然后处理进行到步骤ST43。
步骤ST43是每个分割区域的循环结束点。更具体地，通过从步骤ST23至步骤ST43的处理对每层以及皮肤区域、体毛区域、毛孔区域和斑点区域中的每一个中的一组H值和一组V值中的每一个计算评价值。然后处理进行到ST53。
在步骤ST53中，图像处理设备20执行评价集成。图像处理设备20集成对每层的皮肤图像计算的评价值，以计算皮肤评价值。
在评价集成中，可以使用表达式(1)和(3)计算皮肤色彩色调的评价值，并且可以使用表达式(2)和(4)计算皮肤亮度的评价值。
如上所述，在第四实施例中，在平面方向上和深度方向上执行分割，在每个分割区域中计算评价值，然后集成评价值。因此，可以更加高度地评价包皮肤区域、毛孔区域、斑点区域等中的每一个的色彩以及包括毛孔区域、斑点区域等的整个皮肤的色彩。根据第四实施例，可以基于评价结果给出关于防止皮肤问题的建议等。
附带地，在本说明书中描述的处理可以通过硬件、软件或者两者的组合来执行。软件可以通过将记录处理序列的程序安装到与专用硬件集成的计算机中的存储器中，或者通过将程序安装在可以执行各种处理的通用计算机中来执行。
例如，程序可以在之前记录在作为记录介质的硬盘驱动器、ROM(只读存储器)等中。或者，程序可以临时性地或者永久性地存储(记录)在计算如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘或者半导体存储卡这样的可移动介质中。这样的可移除记录介质可以作为所谓的软件包来提供。
另外，程序不仅可以从可移除记录介质安装在计算机中，还可以通过经由诸如LAN(局域网)以及因特网从下载站点有线或无线地传输到计算机中来安装。计算机可以将如此传输的接收程序安装到计算如装载的硬盘驱动器这样的记录介质中。
本领域的技术人员应当理解到，可以根据设计需求以及其他因素进行各种修改、组合、子组合和变型，它们都在所附权利要求书或者其等效物的范围内。
另外，本技术的图像处理设备还可以如下地进行配置：
(1)一种图像处理设备，包含：
分割单元，其以多维的方式将皮肤的捕捉图像分割成区域；
特征值计算单元，其计算分割单元每一个分割区域中的色彩属性的特征值；以及
评价单元，其使用由特征值计算单元计算的特征值来计算皮肤的评价值。
(2)根据(1)所述的图像处理设备，
其中，分割单元在平面方向和深度方向中的至少一个上执行分割。
(3)根据(1)或(2)所述的图像处理设备，
其中，分割单元将皮肤的捕捉图像分割成皮肤区域和非皮肤区域。
(4)根据(3)所述的图像处理设备，
其中，分割单元分割毛孔区域、斑点区域和体毛区域中的至少一个，作为非皮肤区域。
(5)根据(3)或(4)所述的图像处理设备，
其中，分割单元基于皮肤的每个组分分割皮肤区域。
(6)根据(1)至(5)中的任一项所述的图像处理设备，
其中，色彩属性是皮肤亮度和皮肤透明度中的至少一个。
(7)根据(1)至(6)中的任一项所述的图像处理设备，
其中，评价单元对在每个区域中计算的特征值进行加权，然后使用已加权特征值来计算皮肤的评价值。
(8)根据(1)至(7)中的任一项所述的图像处理设备，
其中，特征值计算单元和评价单元执行排除极大不同的值的处理，然后计算特征值和评价值。
(9)根据(2)至(8)中的任一项所述的图像处理设备，
其中，分割单元获得所产生的在深度方向上的不同位置处的捕捉图像，同时控制光源的偏振平面，并且产生捕捉图像的成像单元获得所产生的深度方向上的不同位置处的捕捉图像，同时控制成像单元的焦距，或者根据光的强度分布和行进方向信息来产生深度方向上的不同位置处的捕捉图像，从而在深度方向上执行区域的分割。
根据本技术的图像处理设备、图像处理方法、程序以及图像处理系统，以多维的方式将皮肤的捕捉图像分割成区域，计算每个区域中的色彩属性的特征值，然后使用特征值计算单元计算的特征值来计算皮肤的评价值。因此，与在整个皮肤图像中评价皮肤色彩的情况相比，可以以良好的精确度评价皮肤色彩。相应地，本技术适用于具有皮肤成像功能的电子设备，例如，数字相机和移动终端设备，以及例如通过网络等提供各种服务的信息处理设备。
标号列表
10  图像处理系统
11  成像设备
12  附件
15、16 信息处理设备
20  图像处理设备
21  层分割单元
22  色彩变换单元
23  区域分割单元
24  特征值计算单元
25  评价单元
26  评价集成单元
50  呈现单元
111 相机镜筒
112 成像单元
113 偏振滤波器
121 光源
231 对比增强处理单元
232 二值化处理单元
233 区域判断处理单元
241 特征值计算区域设置单元
242、251 排除处理单元
243 特征值计算处理单元
252 评价值计算处理单元

Claims (12)

1.一种图像处理设备，包含：
分割单元，其以多维的方式将皮肤的捕捉图像分割成区域；
特征值计算单元，其计算由分割单元所分割的每个区域中的色彩属性的特征值；以及
评价单元，其使用由特征值计算单元计算的特征值来计算皮肤的评价值。
2.根据权利要求1所述的图像处理设备，
其中，分割单元在平面方向和深度方向中的至少一个上执行分割。
3.根据权利要求1所述的图像处理设备，
其中，分割单元将皮肤的捕捉图像分割成皮肤区域和非皮肤区域。
4.根据权利要求3所述的图像处理设备，
其中，分割单元分割毛孔区域、斑点区域和体毛区域中的至少一个，作为非皮肤区域。
5.根据权利要求3所述的图像处理设备，
其中，分割单元基于皮肤的每个组分分割皮肤区域。
6.根据权利要求1所述的图像处理设备，
其中，色彩属性是皮肤、亮度和皮肤透明度中的至少一个。
7.根据权利要求1所述的图像处理设备，
其中，评价单元对在每个区域中计算的特征值进行加权，然后使用已加权特征值来计算皮肤的评价值。
8.根据权利要求1所述的图像处理设备，
其中，特征值计算单元和评价单元执行排除极大不同的值的处理，然后计算特征值和评价值。
9.根据权利要求2所述的图像处理设备，
其中，分割单元获得控制光源和进行捕捉图像的产生的成像单元的偏振平面而产生的在深度方向上的不同位置处的捕捉图像，或者取得控制成像单元的焦距而产生的在深度方向上的不同位置处的捕捉图像，或者根据光的强度分布和行进方向的信息来产生在深度方向上的不同位置处的捕捉图像，从而在深度方向上执行区域的分割。
10.一种图像处理方法，包含：
以多维的方式将皮肤的捕捉图像分割成区域的步骤；
计算由分割单元所分割的每个区域中的色彩属性的特征值的步骤；以及
使用特征值计算单元计算的特征值来计算皮肤的评价值的步骤。
11.一种使计算机执行皮肤评价的程序，
其中，该程序使计算机执行：
以多维的方式将皮肤的捕捉图像分割成区域的处理；
计算分割单元所分割的每个区域中的色彩属性的特征值的处理；以及
使用由特征值计算单元计算的特征值来计算皮肤的评价值的处理。
12.一种图像处理系统，包含：
成像设备和图像处理设备，
其中，成像设备包括产生皮肤的捕捉图像的成像单元；并且
成像设备或者信息处理设备包括
分割单元，其以多维的方式将皮肤的捕捉图像分割成区域；
特征值计算单元，其计算由分割单元所分割的每个区域中的色彩属性的特征值；
评价单元，其使用由特征值计算单元计算的特征值来计算皮肤的评价值；以及
呈现单元，其基于皮肤的评价值来呈现评价结果。
CN201380042431.8A 2012-08-17 2013-07-02 图像处理设备、图像处理方法、以及图像处理系统 Active CN104540444B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-180860 2012-08-17
JP2012180860 2012-08-17
PCT/JP2013/068141 WO2014027523A1 (ja) 2012-08-17 2013-07-02 画像処理装置、画像処理方法、プログラムおよび画像処理システム

Publications (2)

Publication Number Publication Date
CN104540444A true CN104540444A (zh) 2015-04-22
CN104540444B CN104540444B (zh) 2017-08-11

Family

ID=50685533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380042431.8A Active CN104540444B (zh) 2012-08-17 2013-07-02 图像处理设备、图像处理方法、以及图像处理系统

Country Status (4)

Country Link
US (1) US9727969B2 (zh)
JP (1) JPWO2014027523A1 (zh)
CN (1) CN104540444B (zh)
WO (1) WO2014027523A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069818A (zh) * 2015-09-02 2015-11-18 泰山学院 一种基于图像分析的皮肤毛孔识别方法
CN105205490A (zh) * 2015-09-23 2015-12-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN108154483A (zh) * 2016-12-02 2018-06-12 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN105869155B (zh) * 2016-03-24 2018-11-16 天津大学 面部皮肤发红区域的提取方法
CN109859217B (zh) * 2019-02-20 2020-12-29 厦门美图之家科技有限公司 人脸图像中毛孔区域的分割方法及计算设备
CN113989227A (zh) * 2021-10-27 2022-01-28 北京市水产科学研究所（国家淡水渔业工程技术研究中心） 一种丹顶红白锦鲤色彩量化评价方法、装置及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6379519B2 (ja) * 2014-02-27 2018-08-29 カシオ計算機株式会社 肌処理装置、肌処理方法及びプログラム
US11263432B2 (en) 2015-02-06 2022-03-01 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US9424458B1 (en) 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US10339362B2 (en) * 2016-12-08 2019-07-02 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN105354810B (zh) * 2015-12-07 2019-02-12 厦门美图之家科技有限公司 一种图像祛斑处理的方法、系统及拍摄终端
US10339410B1 (en) * 2016-01-13 2019-07-02 Snap Inc. Color extraction of a video stream
EP3552150A4 (en) * 2016-12-08 2020-10-21 Veridium IP Limited SYSTEMS AND METHODS FOR PERFORMING FINGERPRINT-BASED USER AUTHENTICATION USING CAPTURED IMAGES USING MOBILE DEVICES
JP7307544B2 (ja) * 2018-06-14 2023-07-12 株式会社コーセー 皮膚透明感を評価する方法
JP6733723B2 (ja) * 2018-11-21 2020-08-05 カシオ計算機株式会社 肌の特異部分検出装置、方法及びプログラム
WO2020218180A1 (ja) * 2019-04-24 2020-10-29 ソニー株式会社 画像処理装置、方法及び電子機器
CN117064346B (zh) * 2023-10-18 2023-12-29 深圳市宗匠科技有限公司 智能皮肤护理方法、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326057A (ja) * 1998-05-20 1999-11-26 Kao Corp 三次元物体の計測方法及び装置
JP2004041753A (ja) * 2002-07-09 2004-02-12 Ric:Kk デジタルズーム肌診断装置
CN1588429A (zh) * 2004-08-06 2005-03-02 上海大学 皮肤显微图像症状自动识别方法
CN1975762A (zh) * 2006-12-11 2007-06-06 浙江大学 一种皮肤检测方法
CN101288103A (zh) * 2005-08-18 2008-10-15 高通股份有限公司 用于图像处理、用于色彩分类及用于皮肤色彩检测的系统、方法及设备
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2010179012A (ja) * 2009-02-09 2010-08-19 Shiseido Co Ltd 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム
JP2011118671A (ja) * 2009-12-03 2011-06-16 Kao Corp 画像処理装置、画像処理方法、画像処理システム、肌評価方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130981A (ja) * 1991-11-14 1993-05-28 Scala Kk 斑点の定量分析方法
JP4310850B2 (ja) * 1999-05-28 2009-08-12 コニカミノルタホールディングス株式会社 ３次元形状の対応付け方法
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
DE10309873A1 (de) 2002-07-09 2004-01-29 RIC Co. Ltd. Digitale-Zoom-Hautdiagnosevorrichtung
JP4213429B2 (ja) * 2002-08-12 2009-01-21 株式会社ナリス化粧品 皮膚のくすみ解消に有効な無機粉体組成物のスクリーニング方法とその無機粉体組成物、およびその組成物を用いた化粧料
JP4761924B2 (ja) * 2004-10-22 2011-08-31 株式会社 資生堂 肌状態診断システムおよび美容のためのカウンセリングシステム
JP4717595B2 (ja) * 2005-11-08 2011-07-06 株式会社 資生堂 肌状態解析方法、肌状態解析装置、肌状態解析プログラム、及び該プログラムが記録された記録媒体
US20090054744A1 (en) * 2005-04-28 2009-02-26 Naomi Kitamura Skin state analyzing method, skin state analyzing apparatus, and computer-readable medium storing skin state analyzing program
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
US20090245603A1 (en) * 2007-01-05 2009-10-01 Djuro Koruga System and method for analysis of light-matter interaction based on spectral convolution
JP2010022547A (ja) * 2008-07-18 2010-02-04 Pola Chem Ind Inc 皮膚透明感の鑑別法
JP2011115393A (ja) * 2009-12-03 2011-06-16 Utsunomiya Univ 肌特徴判別システム、肌特徴判別方法及び肌特徴判別プログラム
JP2011212308A (ja) * 2010-03-31 2011-10-27 Shiseido Co Ltd 肌評価装置、肌評価方法、及び肌評価プログラム
US9697618B2 (en) * 2012-08-17 2017-07-04 Sony Corporation Image processing apparatus, image processing method, program, and image processing system
WO2014204646A1 (en) * 2013-06-19 2014-12-24 Zoll Medical Corporation Analysis of skin coloration

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326057A (ja) * 1998-05-20 1999-11-26 Kao Corp 三次元物体の計測方法及び装置
JP2004041753A (ja) * 2002-07-09 2004-02-12 Ric:Kk デジタルズーム肌診断装置
CN1588429A (zh) * 2004-08-06 2005-03-02 上海大学 皮肤显微图像症状自动识别方法
CN101288103A (zh) * 2005-08-18 2008-10-15 高通股份有限公司 用于图像处理、用于色彩分类及用于皮肤色彩检测的系统、方法及设备
CN1975762A (zh) * 2006-12-11 2007-06-06 浙江大学 一种皮肤检测方法
JP2008293325A (ja) * 2007-05-25 2008-12-04 Noritsu Koki Co Ltd 顔画像解析システム
JP2010179012A (ja) * 2009-02-09 2010-08-19 Shiseido Co Ltd 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム
JP2011118671A (ja) * 2009-12-03 2011-06-16 Kao Corp 画像処理装置、画像処理方法、画像処理システム、肌評価方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069818A (zh) * 2015-09-02 2015-11-18 泰山学院 一种基于图像分析的皮肤毛孔识别方法
CN105205490A (zh) * 2015-09-23 2015-12-30 联想(北京)有限公司 一种信息处理方法及电子设备
CN105205490B (zh) * 2015-09-23 2019-09-24 联想(北京)有限公司 一种信息处理方法及电子设备
CN105869155B (zh) * 2016-03-24 2018-11-16 天津大学 面部皮肤发红区域的提取方法
CN108154483A (zh) * 2016-12-02 2018-06-12 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN108154483B (zh) * 2016-12-02 2022-05-31 卡西欧计算机株式会社 图像处理装置、图像处理方法以及记录介质
CN109859217B (zh) * 2019-02-20 2020-12-29 厦门美图之家科技有限公司 人脸图像中毛孔区域的分割方法及计算设备
CN113989227A (zh) * 2021-10-27 2022-01-28 北京市水产科学研究所（国家淡水渔业工程技术研究中心） 一种丹顶红白锦鲤色彩量化评价方法、装置及系统

Also Published As

Publication number Publication date
US20150199819A1 (en) 2015-07-16
JPWO2014027523A1 (ja) 2016-07-25
WO2014027523A1 (ja) 2014-02-20
US9727969B2 (en) 2017-08-08
CN104540444B (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN104540444A (zh) 图像处理设备、图像处理方法、程序以及图像处理系统
US8194975B2 (en) Use of an intrinsic image in face recognition
US8139850B2 (en) Constraint generation for use in image segregation
JP4549352B2 (ja) 画像処理装置および方法，ならびに画像処理プログラム
ES2374443T3 (es) Segmentación automatizada de estructuras de im�?genes.
EP1499110A2 (en) Detecting and correcting red-eye in a digital-image
US20150262356A1 (en) Information processing apparatus, information processing system, information processing method, program, and recording medium
US20110064263A1 (en) Method and system for processing an image received from a remote source
CN108549874A (zh) 一种目标检测方法、设备及计算机可读存储介质
CN104854620B (zh) 图像处理装置、图像处理系统和程序
CN109492714A (zh) 图像处理装置及其方法
CN108710910A (zh) 一种基于卷积神经网络的目标识别方法及系统
KR102170260B1 (ko) 합성 개구 레이더 영상 및 다중분광영상의 융합 장치, 방법 및 그를 이용한 변화 검출 방법
WO2011034559A1 (en) Method and system for learning a same-material constraint in an image
CN112598761B (zh) 一种纺织服装色彩搭配协同设计与智能推荐方法
WO2010065087A1 (en) Solver for image segregation
US20100142818A1 (en) Test bed for optimizing an image segregation
CN113128376B (zh) 基于图像处理的皱纹识别方法、皱纹识别装置及终端设备
Petrović et al. Evaluation of image fusion performance with visible differences
Cheng et al. Semantic single-image dehazing
JP5740147B2 (ja) 光源推定装置及び光源推定方法
CN105574844B (zh) 辐射响应函数估计方法和装置
CN114187515A (zh) 图像分割方法和图像分割装置
US11210791B2 (en) Computer-implemented method for locating possible artifacts in a virtually stained histology image
US8625890B1 (en) Stylizing geographic features in photographic images based on image content

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant