CN111447870A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN111447870A
CN111447870A CN201880079485.4A CN201880079485A CN111447870A CN 111447870 A CN111447870 A CN 111447870A CN 201880079485 A CN201880079485 A CN 201880079485A CN 111447870 A CN111447870 A CN 111447870A
Authority
CN
China
Prior art keywords
light source
subject
spectral characteristic
section
ambient light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880079485.4A
Other languages
English (en)
Inventor
五味信一郎
伊藤厚史
上森丈士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111447870A publication Critical patent/CN111447870A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/303—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces using photoelectric detection means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J2003/2866—Markers; Calibrating of scan
    • G01J2003/2873—Storing reference spectrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Abstract

本公开内容涉及一种图像处理装置、图像处理方法和程序，该图像处理装置使得可以在考虑环境光源的影响的同时通过简单的配置以及以高精度来评估被摄体的状态。在本发明中，计算被摄体光谱特性——其是作为捕获图像中的被摄体的用户的皮肤的光谱特性——与优选状态的光谱特性之间的差的平方的平方根之和，并且将该平方根之和与预定阈值进行比较，基于比较来评估被摄体皮肤的状态，并且呈现与评估结果对应的推荐商品。本发明可以应用于推荐商品呈现装置。

Description

图像处理装置、图像处理方法和程序
技术领域
本公开内容涉及图像处理装置、图像处理方法和程序，并且特别地涉及具有简单配置并且使得能够考虑环境光源的不利影响来评估被摄体的状态的图像处理装置以及图像处理方法和程序。
背景技术
已经提出了以下技术，其中，将人皮肤的图像作为被摄体来捕获，并且基于所捕获的皮肤的图像来测量和评估皮肤的状态。
例如，已经提出了以下技术，其中，捕获皮肤的图像，并且基于捕获的图像来诊断皮肤中的血管网络或皮肤中的毛孔状态或应用至皮肤的化妆品成分的颜色(参见专利文献1和专利文献2)。
引用列表
专利文献
专利文献1：JP 2002-263084 A
专利文献2：JP 2002-189918 A
发明内容
技术问题
然而，在专利文献1和专利文献2两者中的技术中，例如，在通过例如在测量期间不考虑环境光源的不利影响、使用专用皮肤测量装置或在捕获皮肤图像的同时捕获参考颜色图表的图像来消除环境光源的不利影响的情况下来测量皮肤的状态。
因此，在捕获用作被摄体的皮肤的图像并且基于图像捕获结果测量肤色的情况下，不能简单且准确地获取与作为被摄体的皮肤相关的颜色信息，调整环境光源或同时捕获参考颜色图表的图像是必需的。这对准确地评估被摄体的状态是繁重的。
鉴于这些情况，本公开内容的目的特别地在于允许通过使用简单的配置并且考虑环境光源的不利影响来准确地评估被摄体的状态。
问题的解决方案
根据本公开内容的一方面的图像处理装置是一种包括评估部的图像处理装置，该评估部基于与捕获图像中的被摄体的光谱特性对应的被摄体光谱特性和参考光谱特性来评估被摄体的状态。
可以使评估部基于被摄体光谱特性与参考光谱特性之间的差来评估被摄体的状态。
可以使评估部输出将被摄体光谱特性与参考光谱特性之间的差平方根和与预定阈值进行比较的比较结果，作为被摄体的状态的评估结果。
预定阈值可以是多个被摄体的被摄体光谱特性的平均值与参考光谱特性之间的差平方根和。
参考光谱特性可以是被摄体光谱特性中的被摄体的优选状态的光谱特性。
还可以提供标识部，其标识具有以下光谱特性的物品，该光谱特性被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性，并且还可以提供显示部，其显示由标识部标识的物品。
可以在包括将被摄体光谱特性与参考光谱特性之间的差平方根和与预定阈值进行比较的比较结果的被摄体的状态的评估结果中被摄体光谱特性与参考光谱特性之间的差平方根和大于预定阈值的情况下，使标识部基于被摄体光谱特性与参考光谱特性之间的差来标识具有以下光谱特性的物品，该光谱特性被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性。
被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性的光谱特性可以是通过以下操作而获得的光谱特性：针对每个波长，将被摄体光谱特性与参考光谱特性之间的差乘以预定系数；并且将被摄体光谱特性与相乘的结果相加。
还可以提供物品存储部，其将关于物品的信息与关于通过应用物品在被摄体中提供的光谱特性的信息相关联地存储，并且可以使标识部标识在物品存储部中存储的物品中包括的下述物品，该物品涉及与信息相关联地存储的光谱特性与被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性的光谱特性之间的差平方根和的减小。
可以使评估部通过对被摄体光谱特性进行分类来评估被摄体的状态。
可以使评估部通过以下操作来评估被摄体的状态：将被摄体光谱特性划分成多个波长区域；基于针对从划分得到的每个波长区域将预定阈值与差平方根和进行比较的比较结果，对被摄体光谱特性进行分类；以及获得分类结果作为评估索引。
还可以提供标识部，其基于评估索引来标识具有以下光谱特性的物品，该光谱特性被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性，并且还可以提供显示部，其显示由标识部标识的物品。
还可以提供物品存储部，其针对与物品相关的信息，将具有被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性的光谱特性的物品的索引与被摄体光谱特性的评估索引相关联地存储，该物品的索引基于被摄体光谱特性与参考光谱特性之间的差，并且可以使标识部将在物品存储部中存储的物品中包括的并且与评估索引相关联地存储的物品标识为具有被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性的光谱特性的物品。
被应用至被摄体以使被摄体的光谱特性更类似于参考光谱特性的光谱特性是通过以下操作而获得的光谱特性：针对每个波长，将被摄体光谱特性与参考光谱特性之间的差乘以预定系数；并且将被摄体光谱特性与相乘的结果相加。
还可以提供环境光源光谱特性估计部，其将捕获图像中的环境光源的光谱特性估计为环境光源光谱特性，并且可以使该评估部基于参考光谱特性与以下图像中的被摄体的被摄体光谱特性之间的差来评估被摄体的状态：在该图像中，使用根据该图像估计的环境光源光谱特性减少了该图像中的环境光源的不利影响。
还可以提供环境光源光谱特性存储部，其将由环境光源光谱特性估计部估计的环境光源光谱特性与测量位置相关联地存储，并且可以使评估部基于以下图像中的被摄体的被摄体光谱特性来评估被摄体的状态：在该图像中，使用从存储在环境光源光谱特性存储部中的环境光源光谱特性中选择的环境光源光谱特性减少了该图像中的环境光源的不利影响。
还可以提供不适当环境光源检测部，其基于由环境光源光谱特性估计部估计的环境光源光谱特性来检测环境光源对于被摄体光谱特性是不适当光源，并且还可以提供呈现部，其在环境光源被检测为不适当光源的情况下指示环境光源是不适当光源。
可以使不适当环境光源检测部基于由环境光源光谱特性估计部估计的环境光源光谱特性中的与被摄体光谱特性的平均值之间的比较来检测光源是不适当的。
根据本公开内容的一方面的图像处理方法是下述图像处理方法，该图像处理方法包括基于参考光谱特性和与捕获图像中的被摄体的光谱特性对应的被摄体光谱特性来评估被摄体的状态的评估处理。
根据本公开内容的一方面的程序是下述程序，该程序使基于参考光谱特性和与捕获图像中的被摄体的光谱特性对应的被摄体光谱特性来评估被摄体的状态的评估部用作计算机。
在本公开内容的一方面中，基于参考光谱特性和与捕获图像中的被摄体的光谱特性对应的被摄体光谱特性来评估被摄体的状态。
本发明的有益效果
根据本公开内容的一方面，特别地，可以通过使用简单的配置并且考虑环境光源的不利影响来准确地评估皮肤状态。
附图说明
[图1]图1是示出根据本公开内容的推荐产品呈现装置的第一实施方式的配置示例的框图。
[图2]图2是示出当评估所评估的被摄体光谱特性时要比较的优选的被摄体光谱特性的图。
[图3]图3是示出存储在特性分类存储部中的与优选的被摄体光谱特性相关的数据的示例的图。
[图4]图4是示出存储在特性分类存储部中的与平均被摄体光谱特性相关的数据的示例的图。
[图5]图5是示出根据估计的被摄体光谱特性和优选的被摄体光谱特性确定的合适的被摄体光谱特性的图。
[图6]图6是示出与存储在产品存储部中的优选状态的被摄体光谱特性相关联地存储的产品信息的示例的图。
[图7]图7是示出适合于被摄体光谱特性的环境光源光谱特性和不适合被摄体光谱特性的环境光源光谱特性的图。
[图8]图8是示出推荐产品的显示示例的图。
[图9]图9是示出指示环境光源不适当的警告的示例的图。
[图10]图10是示出由图1中的推荐产品呈现装置执行的产品推荐处理的流程图。
[图11]图11是示出根据本公开内容的推荐产品呈现装置的第二实施方式的配置示例的框图。
[图12]图12是示出对所评估的被摄体光谱特性进行分类的示例的图。
[图13]图13是示出由图11中的推荐产品呈现装置执行的产品推荐处理的流程图。
[图14]图14是示出根据本公开内容的推荐产品呈现装置的第三实施方式的配置示例的框图。
[图15]图15是示出当使用被摄体光谱特性执行评估时用于每个测量项目的波长区域的图。
[图16]图16是示出由图14中的推荐产品呈现装置执行的产品推荐处理的流程图。
[图17]图17是示出测量项目的选择画面的显示示例的图。
[图18]图18是示出根据本公开内容的推荐产品呈现装置的第四实施方式的配置示例的框图。
[图19]图19是示出由图18中的推荐产品呈现装置执行的产品推荐处理的流程图。
[图20]图20是示出用于选择环境光源光谱特性的测量环境选择画面的显示示例的图。
[图21]图21是示出根据本公开内容的推荐产品呈现装置的第五实施方式的配置示例的框图。
[图22]图22是示出由图21中的推荐产品呈现装置执行的产品推荐处理的流程图。
[图23]图23是示出通用计算机的配置示例的图。
具体实施方式
下面将参照附图详细描述本公开内容的合适实施方式。注意，在本说明书和附图中，具有基本上相同的功能和配置的部件由相同的附图标记表示，并且省略重复的描述。
下面将描述本技术的实施方式。按照以下顺序进行描述。
1.第一实施方式
2.第二实施方式
3.第三实施方式
4.第四实施方式
5.第五实施方式
6.通过使用软件执行的示例
<<1.第一实施方式>>
本公开内容被配置成通过使用简单的配置并且考虑环境光源的不利影响来准确地估计皮肤的光谱特性，并且基于估计结果来评估皮肤的状态。
更具体地，根据本公开内容的推荐产品呈现装置(图像处理装置)通过使用简单的配置并且考虑环境光源的不利影响来估计用户的皮肤的光谱特性，并且将该光谱特性与用作优选的光谱特性的参考光谱特性进行比较，以评估用户的皮肤状态。根据本公开内容的推荐产品呈现装置基于评估结果来选择(标识)并呈现推荐产品(推荐产品或物品)，其应用向皮肤提供合适的光谱特性的处理。
注意，在本公开内容中，对用户的皮肤状态的评估是用于在用作图像已被捕获的被摄体的皮肤的光谱特性与皮肤的优选状态的优选光谱特性之间进行比较的评估。此外，光谱特性之间的比较涉及整个波长区域、预定波长区域或整个波长区域被划分成的每个划分的波长区域的平均值、最大值和最小值，并且包括光谱特性之间的值的简单比较、光谱特性本身之间的差或该差与预定阈值之间的比较、光谱特性间的比率与预定阈值之间的比较以及其组合。
参照图1中的框图，下面将描述实现根据本公开内容的推荐产品呈现装置的功能的配置示例。
图1中的推荐产品呈现装置11包括例如由智能电话表示的便携式终端。推荐产品呈现装置11包括测量部31、操作部32、环境光源估计部33和被摄体光谱特性估计部34。此外，推荐产品呈现装置11包括被摄体特性比较部35、特性分类存储部36、推荐产品选择部37、产品存储部38、输出控制部39、输出部40和不适当光源检测部41。
测量部31包括CMOS(互补金属氧化物半导体)图像传感器，通过捕获皮肤的图像来测量用作被摄体的用户的皮肤，并且将所捕获的图像输出至环境光源估计部33和被摄体光谱特性估计部34。此外，测量部31包括闪光灯31a，并且在图像捕获期间，连续地捕获闪光灯31a接通时的图像和闪光灯31a关断时的图像，以捕获总共两个图像并且输出图像。
操作部32包括操作按钮和键盘，并且在测量部31捕获图像时由用户进行操作以将与操作内容对应的操作信号输出至测量部31。
环境光源估计部33基于与由测量部31馈送的测量结果对应的用户皮肤的图像来估计图像捕获期间的环境光源的光谱特性，并且将该光谱特性作为环境光源光谱特性输出至被摄体光谱特性估计部34和不适当光源检测部41。
基于与由测量部31馈送的测量结果对应的用户皮肤的图像，被摄体光谱特性估计部34使用环境光源光谱特性来消除(减少)环境光源的不利影响，并且估计图像捕获期间的被摄体的光谱特性并且将所估计的光谱特性作为被摄体光谱特性输出至被摄体特性比较部35。
注意，利用两个图像来估计环境光源的光谱特性和被摄体的光谱特性，所述两个图像包括以已知强度在闪光灯31a接通的情况下获得的图像和在闪光灯31a关断的情况下获得的图像。对于环境光源的光谱特性和被摄体的光谱特性的特定估计方法，例如，参见“Practical Scene Illuminant Estimation via Flash/No-Flash Pairs,Cheng Lu andMark S.Drew；School of Computing Science,Simon Fraser University,Vancouver,British Columbia,Canada V5A 1S6{clu,mark}@cs.sfu.ca.”
被摄体特性比较部35读取在皮肤被用作被摄体时获得的并且存储在特性分类存储部36中的优选状态的光谱特性作为参考光谱特性，并且将参考光谱特性与来自被摄体光谱特性估计部34的被摄体光谱特性进行比较以用于评估。被摄体特性比较部35将评估结果输出至推荐产品选择部37。更具体地，被摄体特性比较部35确定被摄体光谱特性与参考光谱特性之间的差，将该差的平方根和与预定阈值进行比较，并且将比较结果作为评估结果输出至推荐产品选择部37。
具体地，如图2所示，被摄体特性比较部35针对每个波长计算由被摄体光谱特性估计部34馈送并且由实线指示的被摄体光谱特性(被摄体的状态＝rm(λi))与在皮肤被用作被摄体时获得的并存储在特性分类存储部36中并由虚线指示的优选状态(优选状态＝rp(λi))的参考光谱特性之间的差di，如式(1)所示。
[数学式1]
di＝rp(λi)-rm(λi)...(1)
如下面的式(2)所表示的，被摄体特性比较部35将差di的平方根和m与预定阈值th进行比较，以评估用作被摄体的用户皮肤的状态，并且将比较结果作为对用户皮肤的状态的评估结果输出，同时将优选状态的参考光谱特性和被摄体光谱特性两者输出至推荐产品选择部37。
[数学式2]
Figure BDA0002530527620000081
此处，Σ√di 2是波长λi处的差di的平方根和m。
此外，图2示出了被摄体光谱特性(被摄体的状态＝rm(λi))和参考光谱特性(优选状态＝rp(λi))，并且水平轴指示波长，而竖直轴指示被摄体的光谱反射率。如图2所示，人皮肤的优选状态的被摄体光谱特性根据部位而变化，并且涉及大约700nm的波长处的较深的红色和大约400nm的波长处的较淡的蓝色。
特性分类存储部36将优选状态的光谱特性存储为参考光谱特性。与优选状态的参考光谱特性相关的信息例如被存储为如图3所示的表。对于与光谱特性相关的信息，如图3的表中所示的那样，从左起按顺序提供索引部、光谱特性部、部位部、属性部和特征部，并且存储包括身体部位、年龄和性别的属性以及诸如晒伤的皮肤和白皙的皮肤的特征。优选状态可以是记录在特性分类存储部36中的任何状态，并且可以由用户确定。
图3示出了以“脸颊”作为部位的示例以及以“二十几岁的女性”作为属性的示例，并且示出了“晒伤的皮肤”和“白皙的皮肤”作为特征。
此外，在光谱特性中，例如对于索引＝1，指示{400，0.20}、{405，0.25}、{410，0.30}、...、{695，0.55}、{700，0.55}。在{A，B}中，A表示波长，并且B表示光谱反射率。被摄体特性比较部35可以基于与图3所示的光谱特性相关的信息来恢复如图2中的虚线所示的波形。
具体地，如图3所示，对于索引＝1的参考光谱特性，光谱特性为“{400，0.20}、{405，0.25}、{410，0.30}、...、{695，0.55}、{700，0.55}”，该部位是“脸颊”，属性是“二十几岁的女性”，并且特征是“晒伤的皮肤”。
此外，如图3所示，对于索引＝2的参考光谱特性，光谱特性为“{400，0.30}、{405，0.30}、{410，0.35}、...、{695，0.80}、{700，0.85}”，该部位是“脸颊”，属性是“二十几岁的女性”，并且特征是“白皙的皮肤”。
此外，如图4中所示，特性分类存储部36存储与N个人的被摄体光谱特性的平均值对应的被摄体的平均光谱特性作为平均光谱特性。图4示出了以“脸颊”和“前额”作为部位的示例以及以“二十几岁的女性”作为属性的示例，并且示出了“晒伤的皮肤”和“白皙的皮肤”作为特征。存储各个条件下的平均被摄体光谱特性。
具体地，如图4所示，对于索引＝1的平均光谱特性，登记以下内容：光谱特性为“{400，0.20}、{405，0.25}、{410，0.30}、...、{695，0.60}、{700，0.65}”，该部位是“脸颊”，属性是“二十几岁的女性”，并且特征是“晒伤的皮肤”。
具体地，对于索引＝2的平均光谱特性，登记以下内容：光谱特性为“{400，0.30}、{405，0.30}、{410，0.35}、...、{695，0.80}、{700，0.85}”，该部位是“脸颊”，属性是“二十几岁的女性”，并且特征是“白皙的皮肤”。
此外，对于索引＝3的平均光谱特性，登记以下内容：光谱特性为“{400，0.35}、{405，0.35}、{410，0.40}、...、{695，0.70}、{700，0.70}”，部位是“前额”，属性是“二十几岁的女性”，并且特征是“白皙的皮肤”。
被摄体特性比较部35可以计算优选状态的参考光谱特性与平均光谱特性之间的差平方根和m作为阈值th，并且将阈值th用于评估被摄体光谱特性。此外，被摄体特性比较部35可以根据优选状态的参考光谱特性和平均光谱特性来计算方差σ，将阈值th确定为m+ασ，并且将该阈值用于评估被摄体光谱特性。此处，α是可以由设计者调整的参数。
在与用户皮肤的状态的评估结果对应的差平方根和m与预定阈值th的比较结果中，在差平方根和m大于预定阈值th的情况下，推荐产品选择部37基于被摄体光谱特性和优选状态的参考光谱特性从存储在产品存储部38中的产品(或物品)中选择(标识)要推荐的产品(或物品)，并且向输出控制部39输出关于与选择结果对应的产品的产品信息。
更具体地，推荐产品选择部37基于公式(3)通过将优选状态的参考光谱特性rp(λi)与被摄体光谱特性rm(λi)之间的差乘以预定系数α并且将相乘的结果与优选状态的参考光谱特性rp(λi)相加来计算合适的产品状态的光谱特性rr(λi)。
[数学式3]
rr(λi)＝α(rp(λi)-rm(λi))+rp(λi)...(3)
换言之，如图5所示，将由虚线指示的优选状态的参考光谱特性rp(λi)与由实线指示的被摄体光谱特性rm(λi)之间的差乘以预定系数α，并且将相乘的结果与优选状态的参考光谱特性rp(λi)相加，从而确定由粗线指示的合适的产品状态的光谱特性rr(λi)。此处，合适的产品状态的光谱特性例如是在将产品应用至与被摄体对应的皮肤时获得的被摄体的理想光谱特性，换言之，被应用至被摄体的产品的理想光谱特性。相比之下，优选状态的光谱特性(参考光谱特性)例如是在将产品应用至作为被摄体的皮肤之前的状态(未应用产品的状态)下的理想的被摄体光谱特性。因此，合适的产品状态的光谱特性可以说是在被应用至皮肤时的、预期用作被摄体的理想光谱特性的产品的光谱特性，该产品的光谱特性基于被摄体的当前估计的光谱特性和与在将产品应用至作为被摄体的皮肤之前的状态对应的优选状态的(理想)光谱特性(参考光谱特性)之间的差来确定。
推荐产品选择部37计算合适的产品状态的光谱特性rr(λi)与登记在产品存储部38中的产品信息中的光谱特性rdj(λi)之间的差的平方的和Dj，如下面由式(4)所表示的。
[数学式4]
Figure BDA0002530527620000112
此处，Dj是合适的产品状态的光谱特性rr(λi)与登记在产品存储部38中的产品的光谱特性rdj(λi)之间的差的平方的和。
此外，推荐产品选择部37在产品存储部38中搜索在产品存储部38中登记的产品，针对该产品，合适的产品状态的光谱特性rr(λi)与该产品的光谱特性rdj(λi)之间的差的平方的和Dj被最小化，选择该产品作为要推荐的产品，并且将该产品输出至输出控制部39，如下面的式(5)所表示的。
[数学式5]
Figure BDA0002530527620000111
此处，arg(min Dj)表示使差的平方的和Dj最小化的条件的集合，并且指示对登记在产品存储部38中的产品的索引的选择，并且针对该产品，合适的产品状态的光谱特性rr(λi)与产品的光谱特性rdj(λi)之间的差的平方的和Dj被最小化。
此处，产品存储部38例如存储针对各个产品的索引的光谱特性，如图6所示。
在图6中，从左起按顺序提供索引部、产品名称部、光谱特性部、特征部和产品照片部，并且登记与各个部对应的产品信息。
在图6中，作为产品名称，从顶部起按顺序示出“粉底A”、“粉底B”和“精华A”的示例，并且作为特征，示出了“白皙的皮肤”、“晒伤的皮肤”和“保湿”的示例，并且显示有产品照片的示例。
具体地，在图6中，针对索引＝1的产品信息登记以下内容：产品名称为“粉底A”，产品的合适光谱特性为“{400，0.35}、{405，0.35}、{410，0.40}、...、{695，0.85}、{700，0.90}”，特征为“白皙的皮肤”；并且登记有对应的产品照片。
此外，针对索引＝2的产品信息登记以下内容：产品名称为“粉底B”，产品的合适光谱特性为“{400，0.20}、{405，0.25}、{410，0.25}、...、{695，0.60}、{700、0.65}”，特征是“晒伤的皮肤”，并且登记有对应的产品照片。
此外，针对索引＝3的产品信息登记以下内容：产品名称为“精华C”，产品的合适光谱特性为“{400，0.35}、{405，0.35}、{410，0.40}、...、{695、0.80}、{700、0.85}”，特征为“保湿”，并且登记有对应的产品照片。
不适当光源检测部41将由环境光源估计部33馈送的环境光源光谱特性与存储在特性分类存储部36中的平均光谱特性进行比较以确定环境光源是否为不适合用于评估被摄体光谱特性的不适当光源，并且将确定结果输出至输出控制部39。
例如，如图7的上部所示，为了在整个波长区域内适当地估计“稍微亮的皮肤”和“晒伤的皮肤”的平均光谱特性，期望在整个波长区域内均匀地分布环境光源光谱特性的强度。
此处，为了在整个波长区域内进行适当的估计，在如最上部的白炽灯的情况那样在整个波长区域内分布一定强度的情况下，环境光源可以被认为是适当的环境光源。然而，对于图7的下部中的荧光灯和白光LED的环境光源光谱特性，仅在特定的波长区域处获得强度，并且环境光源被认为是不适当的环境光源。
具体地，荧光灯具有脉冲特性，并且因此仅在接近435nm和545nm的精确波长范围内提供足够的强度。此外，白光LED仅在从低于465nm的几十nm到高于465nm的几十nm的波长区域内提供足够的强度。
更具体地，不适当光源检测部41根据下面的式(6)执行计算以获得整个波长区域内的平均强度，以根据平均强度是否大于预定阈值来确定环境光源是否是不适当光源。
[数学式6]
Figure BDA0002530527620000121
此处，Λ是样本的数量，并且I(λ)是强度。
此外，可以将波长区域划分成多个区域，并且可以根据在区域中的每一个中是否获得足够的强度来确定环境光源是否是不适当环境光源。
整个波长区域可以例如被划分成四个区域，分别从400nm到500nm，从500nm到570nm，从570nm到630nm以及从630nm到700nm，并且例如，可以根据下面的式(7)来执行计算以确定环境光源是否是不适当环境光源。
[数学式7]
Figure BDA0002530527620000131
此处，Λi是每个波长区域的样本的数量，并且I(λi)是每个波长区域的强度。
注意，图7中的上部示出了“稍微亮的皮肤”和“晒伤的皮肤”的被摄体光谱特性，并且竖直轴指示光谱反射率，而水平轴指示波长。此外，注意，图7中的下部从顶部起示出了白炽灯、荧光灯和白光LED的环境光源光谱特性，并且竖直轴指示强度，而水平轴指示波长。
输出控制部39获取与推荐产品相关的并且由推荐产品选择部37馈送的信息以及来自不适当光源检测部41的指示环境光源是否是不适当光源的确定结果。输出控制部39控制输出部40显示与推荐产品相关的产品信息，并且当环境光源是不适当光源时，呈现警告信息。
输出部40包括显示部51、振动器52和扬声器53，并且被控制以呈现各种类型的信息。
显示部51是包括LCD(液晶显示器)、有机EL(电子发光)等的显示器，并且由输出控制部39控制以显示预定图像。
振动器52由输出控制部39控制，并且例如在偏心旋转轴的重量被电机旋转的情况下，振动整个推荐产品呈现装置11。
扬声器53由输出控制部39控制以输出预定声音。
具体地，输出控制部39获取与推荐产品相关的并且由推荐产品选择部37馈送的信息，并且使显示部51显示产品名称和产品图像作为与要推荐的产品相关的产品信息，例如，如图8所示。
图8示出了以下示例，在该示例中，显示部51显示作为产品名称的上部中的“粉底A”以及在“粉底A”的右侧的产品照片作为与推荐产品相关的产品信息。此外，在图8中，在与“粉底A”相关的产品信息下方，显示作为相关产品的“粉底B”至“粉底E”，并且显示有相应的产品照片。注意，图8示出了具有一个推荐产品的示例，但是可以显示多个推荐产品。
此外，在从不适当光源检测部41向输出控制部39馈送指示环境光源光谱特性不适合用于获取当前被摄体光谱特性的信息的情况下，输出控制部39例如，如图9的左侧部分所示，生成带有“XX在此处不能被测量”的警告图像，以使显示部51显示警告图像，以警告用户环境光源光谱特性是不适当的。警告不限于此，并且例如，可以显示图像，该图像提示另一环境光源以充分地捕获环境中的图像。此外，图9的左侧部分中的“XX”是例如肤色或斑点。
此外，在从不适当光源检测部41向输出控制部39馈送指示环境光源光谱特性不适合用于获取当前被摄体光谱特性的信息的情况下，输出控制部39例如，如图9的中央部分所示，控制振动器52使主体振动，从而警告用户环境光源光谱特性是不适当的。
此外，在从不适当光源检测部41向输出控制部39馈送指示环境光源光谱特性不适当的信息的情况下，输出控制部39例如，如图9的右侧部分所示，控制扬声器53生成警告声音，以警告用户环境光源光谱特性是不适当的。
<由图1中的推荐产品呈现装置进行的产品推荐处理>
现在，参照图10中的流程图，将描述由图1中的推荐产品呈现装置进行的产品推荐处理。
在步骤S11中，当用户操作操作部32以指示图像捕获时，测量部31控制闪光灯31a，在闪光灯31a接通的情况下捕获被摄体的图像，并且将所捕获的图像输出至环境光源估计部33和被摄体光谱特性估计部34。
在步骤S12中，测量部31在闪光灯31a关断的情况下捕获被摄体的图像，并且将所捕获的图像输出至环境光源估计部33和被摄体光谱特性估计部34。
在步骤S13中，环境光源估计部33使用包括闪光灯31a接通的情况下的图像和闪光灯31a关断的情况下的图像的两个图像来估计环境光源的光谱特性，并且将估计结果作为环境光源光谱特性输出至被摄体光谱特性估计部34和不适当光源检测部41。
在步骤S14中，被摄体光谱特性估计部34使用包括闪光灯31a接通的情况下的图像和闪光灯31a关断的情况下的图像的两个图像，基于环境光源光谱特性来消除环境光源的不利影响，然后估计图像中的被摄体的光谱特性，并且将估计结果作为被摄体光谱特性输出至被摄体特性比较部35。
在步骤S15中，被摄体特性比较部35将与估计结果对应的被摄体光谱特性和与存储在特性分类存储部36中的优选状态的光谱特性对应的参考光谱特性进行比较，将比较结果确定为评估用户皮肤的状态的评估结果，并且将被摄体光谱特性输出至推荐产品选择部37。这时，被摄体特性比较部35将被摄体光谱特性和优选状态的参考光谱特性连同评估结果输出至推荐产品选择部37。
在步骤S16中，基于评估结果、被摄体光谱特性和优选状态的参考光谱特性，推荐产品选择部37选择(标识)存储在产品存储部38中的产品中的要被推荐的产品作为推荐产品，并且将推荐产品输出至输出控制部39。
具体地，基于评估结果，在差平方根和m与预定阈值th之间进行比较的与对用户皮肤的状态的评估结果对应的比较结果指示差平方根和m大于预定阈值th的情况下，推荐产品选择部37使用被摄体光谱特性和优选状态的参考光谱特性来执行根据式(3)的计算，以计算如参照图5所述的合适的产品状态。然后，如存储在产品存储部38中的产品信息所指示的，推荐产品选择部37选择具有使通过式(4)和式(5)确定的差的平方的和最小化的光谱特性的产品——即，具有与合适的产品状态的光谱特性最类似的光谱特性的产品——的索引。
注意，在被摄体光谱特性与参考光谱特性之间的差平方根和m高于预定阈值th的情况下，选择推荐产品。因此，例如，在被摄体光谱特性与参考光谱特性之间的差平方根和m小于预定阈值th并且参照图2描述的比较指示被摄体的状态接近或好于优选状态的情况下，不选择推荐的产品。在这种情况下，推荐产品选择部37可以输出指示用户皮肤的状态处于优选状态的信息，例如，“您的皮肤处于优选状态”。此外，在被摄体的状态接近或好于优选状态的情况下，如上所述，可以省略推荐产品的选择，或者可以推荐一般产品。
在步骤S17中，不适当光源检测部41基于环境光源光谱特性在整个波长区域内的平均强度是否大于与存储在特性分类存储部36中的被摄体光谱特性的平均值对应的阈值以及环境光源是否适合作为利用其估计被摄体光谱特性的环境光源来确定环境光源是否是不适当光源，并且将确定结果输出至输出控制部39。
在步骤S17中，在环境光源在整个波长区域内的平均强度大于与存储在特性分类存储部36中的被摄体光谱特性的平均值对应的阈值并且环境光源被确定为适合作为利用其估计被摄体光谱特性的环境光源而不是不适当光源的情况下，处理进行至步骤S18。
在步骤S18中，输出控制部39在输出部40的显示部51上显示与推荐产品相关的产品信息，以结束处理。注意，例如，在被摄体光谱特性与参考光谱特性之间的差平方根和m小于预定阈值th并且参照图2描述的比较指示被摄体的状态接近或好于优选状态的情况下，不选择推荐的产品。在这种情况下，推荐产品选择部37可以向输出控制部39输出指示用户皮肤的状态处于优选状态的信息，例如，“您的皮肤处于优选状态”。这允许输出控制部39在输出部40的显示部51上显示诸如“您的皮肤处于优选状态”的信息，而不是与推荐产品相关的产品信息。
另一方面，在步骤S17中，在环境光源在整个波长区域内的平均强度不大于与存储在特性分类存储部36中的被摄体光谱特性的平均值对应的阈值并且环境光源被确定为利用其估计被摄体光谱特性的不适当环境光源并且被确定为不适当光源的情况下，处理进行至步骤S19。
在步骤S19中，输出控制部39在输出部40的显示部51上显示指示环境光源是不适当光源的信息以及与推荐产品相关的信息。此外，输出控制部39使振动器52振动并且使扬声器53输出预定声音，从而指示环境光源是不适当光源的信息并结束处理。
注意，足够的是，可以通过显示部51上的显示、振动器52的振动或来自扬声器53的声音中的至少之一来提供环境光源不适当的警告，并且不需要使用所有的配置来进行警告。此外，作为在环境光源不适当的情况下使用的警告方法，用户能够预设显示部51、振动器52和扬声器53之一或显示部51、振动器52和扬声器53的组合。
上述处理使得能够通过以下操作来评估用户的皮肤：捕获用作被摄体的用户皮肤的图像；在考虑环境光源的不利影响的情况下，确定与用户的皮肤对应的被摄体的被摄体光谱特性；以及将被摄体光谱特性与预定阈值进行比较。此外，基于对应于与阈值进行比较的评估，可以推荐(标识)并呈现使用户皮肤的状态进入合适状态的产品(或物品)作为推荐产品。
此外，在上述示例中，根据对用户的皮肤的评估，将使用户的皮肤进入合适的皮肤状态的产品呈现为推荐产品。然而，可以呈现对用户的皮肤的评估本身。换言之，通过捕获被用作被摄体的用户的皮肤的图像并且在考虑环境光源的不利影响的情况下确定与用户的皮肤对应的被摄体的被摄体光谱特性，可以呈现以下内容：与根据被摄体光谱特性的平均值设置的预定阈值进行比较的比较结果；与预定阈值的差异程度；或状态好坏的程度。
此外，在认为图1中的推荐产品呈现装置11呈现与用户的皮肤的评估对应的信息的情况下，推荐产品的呈现可以被认为是被包括作为被呈现为对用户皮肤的评估的信息的一条信息。
因此，与用户的皮肤的评估对应的信息可以是指示将与用户的皮肤对应的被摄体的被摄体光谱特性与根据由被摄体光谱特性的平均值指示的平均光谱特性设置的预定阈值进行比较的比较结果的信息，或者是根据与预定阈值的差指示状态好坏的程度的信息。此外，在晒伤导致光谱反射率普遍较低的情况下，与用户的皮肤的评估对应的信息例如可以是诸如“建议您避免进一步晒伤。”的评论。因此，可以与推荐的产品的呈现一起或代替推荐的产品的呈现来呈现与用户的皮肤的评估对应的信息，或者与用户的皮肤的评估对应的信息可以被呈现以鼓励用户响应于评估而采取行动。
此外，在上述示例中，呈现了用于根据用作被摄体的用户皮肤的状态来实现合适状态的推荐产品。然而，被摄体不限于皮肤的颜色，并且可以基于被摄体的颜色来评估任何其他被摄体。例如，可以使用例如头发、服饰、食物和涂料中的任一个作为被摄体，对捕获的图像的颜色进行评估，并且可以基于该评估来呈现以下：提供具有合适颜色的头发的产品；具有合适颜色的服饰产品；具有合适颜色的推荐食品；具有合适颜色的推荐涂料等。
此外，根据对用户皮肤的评估结果，不仅可以呈现诸如化妆产品的推荐产品，而且还可以呈现要推荐的服务。例如，可以推荐美学疗法或保健行动，例如锻炼。
此外，在上述示例中，推荐产品呈现装置11是诸如智能电话的便携式终端。然而，除了测量部31、操作部32、输出控制部39以及输出部40之外的配置也可以被设置在主体的外部，即，可以在主体的外部配置以下：环境光源估计部33、被摄体光谱特性估计部34、被摄体特性比较部35、特性分类存储部36、推荐产品选择部37、产品存储部38和不适当光源检测部41。这可以例如由云服务器经由网络来实现。
这使得智能电话上的处理负荷能够减小。此外，在用作被摄体的用户的皮肤的捕获图像可用的情况下，可以通过将捕获图像发送至由云服务器等实现的推荐产品呈现装置11来简单地评估用户的皮肤。
此外，上述示例使用被摄体光谱特性(被摄体的状态＝rm(λi))与参考光谱特性(优选状态＝rp(λi))之间的差di或合适的产品状态的光谱特性rr(λi)与登记在产品存储部38中的产品的光谱特性rdj(λi)的和Dj。然而，这些不仅可以由差来表示，而且还可以例如由比率来表示。
<<2.第二实施方式>>
在以上描述中的示例中，将对用户的皮肤的评估确定为将基于用户的皮肤的图像的被摄体光谱特性与优选状态的被摄体光谱特性之间的差平方根和与基于平均光谱特性和优选状态的参考光谱特性的预定阈值进行比较的比较结果，并且基于用户的皮肤的评估来选择(标识)并呈现推荐的产品(或物品)。
然而，对用户的皮肤的评估不限于此，并且例如，可以将被摄体光谱特性的波长区域划分成多个区域，可以根据针对划分的波长区域中的每一个在光谱反射率的平均值与阈值之间进行比较的比较结果的组合来对被摄体光谱特性进行分类，并且分类结果可以用于评估用户皮肤的状态。
图11示出了推荐产品呈现装置11的配置示例，该推荐产品呈现装置11根据针对每个波长区域在光谱反射率的平均值与阈值之间进行比较的比较结果的组合来对被摄体光谱特性进行分类，并且基于分类结果来评估用户皮肤的状态。
图11中的推荐产品呈现装置11的部件中的包括与图1中的推荐产品呈现装置11的对应部件的功能相同的功能的那些部件用相同的附图标记来表示，并且适当地省略对这些部件的描述。
换言之，图11中的推荐产品呈现装置11与图1中的推荐产品呈现装置11的不同之处在于，被摄体特性分类部71、特性分类存储部72、推荐产品选择部73和产品存储部74，代替被摄体特性比较部35、特性分类存储部36、推荐产品选择部37和产品存储部38。
被摄体特性分类部71将与针对每个波长区域在光谱反射率的平均值与阈值之间进行比较的比较结果的组合对应的被摄体光谱特性的分类结果作为用户皮肤的状态的评估输出至推荐产品选择部73。
例如，在被摄体光谱特性的波长区域被划分成例如如图12所示的六个波长区域即波长区域C1至C6的情况下，被摄体特性分类部71确定每个波长区域的被摄体光谱特性的平均值，如下面的式(8)。
[数学式8]
Figure BDA0002530527620000191
此处，c是每个波长区域的样本的数量，并且rm(λi)是每个波长区域Cm(m＝1、2、...、6)中的每个波长λi处的光谱反射率。
此外，基于针对每个波长区域对被摄体光谱特性的平均值与阈值进行的比较，被摄体特性分类部71设置包括小于阈值的值、等于阈值的值和大于阈值的值的三个值之一，并且针对每个波长区域根据三个值的组合对被摄体光谱特性进行分类。即，在这种情况下，被摄体光谱特性被分类成36＝729个类型。然后，被摄体特性分类部71基于对被摄体光谱特性的分类结果，读取与被摄体光谱特性的分类结果相关联地存储在特性分类存储部72中的评估索引，并且将该评估索引作为被摄体光谱特性的评估输出至推荐产品选择部73。
推荐产品选择部73基于该评估索引，读取存储在产品存储部74中的产品信息，并且将该产品信息输出至输出控制部39。换言之，产品存储部74将评估索引与产品信息的索引相关联地存储。
注意，图1中的推荐产品选择部37选择指示产品的光谱特性与根据被摄体光谱特性和参考光谱特性确定的合适产品状态的光谱特性之间的差的平方的最小和的产品信息，并且输出该产品信息作为推荐产品。相比之下，推荐产品选择部73选择(标识)具有与对应于被摄体光谱特性的分类结果的评估索引相关联地存储在产品存储部74中的索引的产品信息(或物品信息)，并且输出产品信息作为推荐产品(或推荐物品)。
换言之，可以说，图1中的推荐产品选择部37选择包括与基于被摄体光谱特性和参考光谱特性基本上确定的合适产品状态的光谱特性最类似的光谱特性的产品信息作为推荐产品。
此处，根据被摄体光谱特性来确定合适的产品状态的光谱特性，并且也根据合适的产品状态的光谱特性来确定被摄体光谱特性。类似地，根据针对对应的被摄体光谱特性的合适产品状态的光谱特性来确定与针对被摄体光谱特性的分类结果对应的评估索引，并且根据与针对被摄体光谱特性的分类结果对应的评估索引来确定合适的产品状态的光谱特性。
因此，在产品存储部74中，与评估索引相关联地登记下述产品信息的索引：针对该产品信息的合适产品状态的光谱特性最类似于产品信息中的光谱特性。
推荐产品选择部37将被摄体光谱特性与预定阈值th进行比较以评估用户的皮肤状态，并且基于评估结果，选择具有与合适产品状态的光谱特性最类似的光谱特性的产品作为推荐产品。
相比之下，推荐产品选择部73将被摄体光谱特性分类成评估索引以评估用户的皮肤状态，并且选择具有以下产品信息的索引的产品作为推荐产品，该产品信息包括由与评估结果对应的评估索引标识的合适产品状态的光谱特性。
换言之，推荐产品选择部37和73彼此不同之处在于，推荐产品选择部37和73获取的评估结果分别是被摄体光谱特性和评估索引，但是可以说执行了基本上相同的处理，因为这两个推荐产品选择部都选择包括与根据被摄体光谱特性和评估索引获得的合适产品状态的光谱特性最类似的光谱特性的产品信息。
<由图11中的推荐产品呈现装置进行的产品推荐处理>
现在，参照图13中的流程图，将描述由图11中的推荐产品呈现装置进行的产品推荐处理。注意，图13的流程图中的步骤S31至S34和S37至S39中的处理与图10中的步骤S11至S14和S17至S19中的处理类似，因此省略了这些处理的描述。
具体地，在步骤S35中，基于与针对每个波长区域在光谱反射率的平均值与阈值之间进行比较的比较结果的组合对应的被摄体光谱特性的分类结果，被摄体特性分类部71从特性分类存储部72读取与对应的评估索引相关的信息，并且将该信息作为用户的皮肤的评估结果输出至推荐产品选择部73。
在步骤S36中，基于具有与分类结果对应的评估索引的信息，推荐产品选择部73从产品存储部74读取具有与该评估索引相关联地登记的索引的产品信息，选择(标识)该产品信息作为要推荐的推荐产品(或推荐物品)，并且将推荐产品输出至输出控制部39。
上述处理使得能够通过以下操作来对用户的皮肤进行评估：捕获用作被摄体的用户的皮肤的图像；在考虑环境光源的不利影响的情况下，确定与用户的皮肤对应的被摄体的被摄体光谱特性；对被摄体光谱特性进行分类；以及输出与分类结果对应的评估索引。此外，基于根据分类结果设置的评估索引，可以使得选择(标识)和呈现具有与评估索引相关联地登记的索引的产品(或物品)作为使用户的皮肤状态进入合适的产品状态的产品信息。
<<3.第三实施方式>>
在上述示例中，基于由测量部31捕获的图像，利用环境光源光谱特性和被摄体光谱特性来评估用户的皮肤。基于该评估，将实现合适产品状态的产品作为推荐产品呈现，并且在环境光源不适当时呈现警告信息。
然而，不适当的环境光源可能妨碍对用户的皮肤进行适当的评估，并且使用基于不适当的评估呈现的推荐产品可能会妨碍发挥适当的效果。因此，基于估计的环境光源光谱特性，可以呈现使得能够适当地评估用户的皮肤的项目，使得用户可以从项目中进行选择，从而允许基于对所选项目的适当评估来呈现推荐产品。
图14示出了推荐产品呈现装置11的配置示例，该推荐产品呈现装置11基于估计的环境光源光谱特性来呈现使得能够适当地评估用户的皮肤的项目，使得用户能够从项目中进行选择，从而允许基于对所选项目的适当评估来呈现推荐产品。
图14中的推荐产品呈现装置11的部件中的包括与图1中的推荐产品呈现装置11的对应部件的功能相同的功能的那些部件用相同的附图标记来表示，并且适当地省略对这些部件的描述。
换言之，图14中的推荐产品呈现装置11与图1中的推荐产品呈现装置11的不同之处在于，提供测量项目选择部81代替不适当光源检测部41。
测量项目选择部81将由环境光源估计部33馈送的环境光源光谱特性与存储在特性分类存储部36中的被摄体光谱特性进行比较，以提取适合于测量的测量项目，将测量项目输出至输出控制部39，以使输出控制部39显示针对适合于测量的测量项目的选择画面。然后，在用户操作操作部32以基于选择画面选择测量项目的情况下，测量项目选择部81将所选择的选择项目输出至被摄体特性比较部35。
被摄体特性比较部35输出对参考光谱特性与对应于选择项目的波长区域中的用户的被摄体光谱特性之间的差平方根和与利用平均光谱特性与参考光谱特性之间的差平方根和的阈值进行比较的比较结果，作为对用户的皮肤状态的评估结果。
更具体地，例如，如图15所示，在测量项目是肤色的情况下，所使用的波长区域的范围是从400nm至700nm。在测量项目是皮肤上的斑点(发红)的情况下，所使用的波长区域的范围是从545nm至575nm以及从645nm至675nm。在测量项目是皮肤上的斑点(晒伤)的情况下，所使用的波长区域的范围是从645nm至675nm以及从845nm至875nm。在测量项目是脉搏的情况下，所使用的波长区域的范围是从500nm至550nm。在测量项目为AGEs(晚期糖基化终末产品)的情况下，所使用的波长区域的范围是从400nm至450nm。
被摄体特性比较部35根据由测量项目选择部81馈送的测量项目，使用对应的波长区域的被摄体光谱特性来对被摄体光谱特性与参考光谱特性进行比较，并且基于比较结果，评估用户的皮肤状态，并且将该状态输出至推荐产品选择部37。
推荐产品选择部37基于被摄体光谱特性和参考光谱特性的优选状态，来确定与该测量项目对应的波长区域的合适产品状态，从存储在产品存储部38中的产品中选择要推荐的产品，并且将与对应于选择结果的产品相关的产品信息输出至输出控制部39。
<由图14中的推荐产品呈现装置进行的产品推荐处理>
现在，参照图16中的流程图，将描述由图14中的推荐产品呈现装置进行的产品推荐处理。
步骤S51至S53中的处理使测量部31捕获用作被摄体的用户的皮肤的图像，并且环境光源估计部33基于所捕获的图像来估计并且输出环境光源光谱特性至被摄体光谱特性估计部34和测量项目选择部81。
在步骤S54中，测量项目选择部81基于环境光源光谱特性来选择适合于测量的测量项目并且将其输出至输出控制部39。
更具体地，在例如在环境光源光谱特性的从400nm到700nm的一部分中差平方根和m高于阈值的情况下，选择肤色作为适合于测量的测量项目，如参照图15所描述的。此外，类似地，在环境光源光谱特性的从545nm至575nm以及从645nm至675nm的部分中差平方根和m高于阈值的情况下，选择皮肤上的斑点(发红)作为适合于测量的测量项目，如参照图15所描述的。
此外，在环境光源光谱特性的从645nm至675nm以及从845nm至875nm的部分中差平方根和m高于阈值的情况下，选择皮肤上的斑点(晒伤)作为适合于测量的测量项目。此外，在环境光源的光谱特性的从500nm至550nm的一部分中差平方根和m高于阈值的情况下，选择脉搏作为适合于测量的测量项目。此外，在环境光源光谱特性的从400nm至450nm的一部分中差平方根和m高于阈值的情况下，选择AGEs(晚期糖基化终末产品)作为适合于测量的测量项目。
输出控制部39基于与适合于测量的测量项目相关的信息，例如生成如图17所示的选择画面，并且使显示部51显示该选择画面。
在图17中，在最上部指示“选择测量项目”，并且在“选择测量项目”的下方指示适合于测量的测量项目。可以通过经由操作部32操作左侧的圆形按钮来选择适合于测量的测量项目之一。在图17所示的示例中，从图的顶部开始以“肤色”、“脉搏”和“皮肤上的斑点”的顺序示出了测量项目，最上部的按钮被着色，并且选择“肤色”作为测量项目。
当如图17所示显示测量项目选择画面并且用户操作操作部32以选择测量项目时，测量项目选择部81将所选择的测量项目和与波长区域相关的对应信息输出至被摄体特性比较部35。
在步骤S55中，被摄体光谱特性估计部34估计被摄体光谱特性，并且将评估结果输出至被摄体特性比较部35。
在步骤S56中，被摄体特性比较部35针对测量所选择的测量项目所需的波长区域，确定被摄体光谱特性与参考光谱特性之间的差，以确定差平方根和m，对差平方根和m与阈值th进行比较来评估用户的皮肤，并且将被摄体光谱特性的评估结果和与所选择的测量项目相关的信息连同与阈值th进行比较的对应于评估结果的比较结果输出至推荐产品选择部37。
在步骤S57中，基于被摄体光谱特性的评估结果和与所选择的测量项目相关的信息，连同针对测量所选择的测量项目所需的波长区域对差平方根和m与阈值th进行比较的比较结果，推荐产品选择部37从存储在产品存储部38中的产品信息中选择要推荐的产品作为推荐产品，并且将与所选择的推荐产品相关的信息输出至输出控制部39。注意，除了仅使用与测量所选择的测量项目所需的波长区域相关的信息之外，用于选择推荐产品的方法的细节与由图1中的推荐产品呈现装置11执行的用于选择推荐产品的方法的细节类似，并且省略对细节的描述。
在步骤S58中，输出控制部39使显示部51显示与推荐产品相关的信息。
上述处理使得能够通过以下操作来实现基于环境光源的对用户的皮肤的适当评估：捕获用作被摄体的用户的皮肤的图像；显示测量项目选择画面，该测量项目选择画面仅包括适合于利用环境光源测量的测量项目作为选项，以允许用户选择选项之一；使用所选测量项目所需的被摄体光谱特性将被摄体光谱特性与预定阈值进行比较。此外，基于适当的评估结果，可以适当地选择(标识)并且呈现使用户的皮肤状态进入合适状态的产品，作为推荐产品(或推荐物品)。注意，对于适合于利用环境光源进行测量的测量项目，可以通过显示测量项目并且自动使用适合于测量的测量项目的被摄体光谱特性将被摄体光谱特性与预定阈值进行比较，基于环境光源适当地评估用户的皮肤。这使得能够快速呈现皮肤的评估，而无需等待测量项目选择画面的显示和由用户进行的选择。
<<4.第四实施方式>>
在上述示例中，每次估计环境光源光谱特性，并且实现基于被摄体光谱特性的产品推荐处理。然而，在用户将使用限制在某种有限的环境的情况下，可以存储曾经测量的环境光源光谱特性以供再次使用。
图18是存储环境光源光谱特性以供再次使用的推荐产品呈现装置11的配置示例。注意，图18中的推荐产品呈现装置11的部件中的包括与图1中的推荐产品呈现装置11的对应部件的功能相同的功能的那些部件由相同的附图标记表示，并且适当省略这些部件的描述。
具体地，图18中的推荐产品呈现装置11与图1中的推荐产品呈现装置11的不同之处在于环境光源登记部101、环境光源存储部102和环境光源选择部103。
当从环境光源估计部33馈入新的环境光源光谱特性时，环境光源登记部101经由输出控制部39使显示部51显示图像，该图像向用户询问是否登记环境光源光谱特性。然后，当用户响应于该显示而操作操作部32以指示登记时，环境光源登记部101将环境光源光谱特性与当前位置信息相关联地登记在环境光源存储部102中。
注意，对于当前位置信息，用户可以操作操作部32以输入诸如“用户的房间”、“盥洗室”或“厕所”的信息作为标识位置的信息。此外，可以将当前位置信息与包括利用未示出的GPS(全球定位系统)等检测到的地球上的纬度和经度的位置信息相关联地登记。
当测量部31捕获图像时，环境光源选择部103经由输出控制部39使显示部51显示图像，该图像询问将利用被登记在环境光源存储部102中的环境光源光谱特性中的哪一个。当选择环境光源光谱特性之一时，读取与所选择的环境光源光谱特性相关的信息并且将其输出至被摄体光谱特性估计部34。
<由图18中的推荐处理装置进行的产品推荐处理>
现在，利用图19中的流程图，将描述由图18中的推荐产品呈现装置11进行的产品推荐处理。
在步骤S71和S72中，测量部31捕获闪光灯31a接通的情况下的图像和闪光灯31a关断的情况下的图像，并且将图像输出至环境光源估计部33和被摄体光谱特性估计部34。
在步骤S73中，环境光源选择部103经由输出控制部39，使显示部51显示用于从与存储在环境光源存储部102中的环境光源光谱特性相关的多条信息中进行选择或用于选择不使用所登记的环境光源光谱特性的选择图像。
图20示出了显示部51上的选择图像的显示的示例。在最上部，指示“选择测量环境”，并且在该指示下方，从图的顶部起按顺序显示“用户的房间”、“盥洗室”、“厕所”、“不使用”作为与登记在环境光源存储部102中的环境光源光谱特性相关联地登记的位置的选项，并且在每个选项的左侧显示圆形选择按钮。
选择按钮之一由操作部32操作以选择对应的选项。
在步骤S74中，环境光源选择部103通过操作操作部32来确定是否已选择登记的环境光源光谱特性中的任何一个。
在步骤S74中，在例如选择“不使用”即没有一个登记的环境光源光谱特性被选择的情况下，处理进行至步骤S75。
在步骤S75中，环境光源估计部33根据包括闪光灯31a接通的情况下的图像和闪光灯31a关断的情况下的图像的两个图像来估计环境光源光谱特性，并且将评估结果输出至被摄体光谱特性估计部34、不适当光源检测部41和环境光源登记部101。
在步骤S76中，环境光源登记部101经由输出控制部39使显示部51显示图像，该图像询问是否将在对应位置中估计的环境光源光谱特性与显示部51的当前位置相关联地登记。
在步骤S77中，环境光源登记部101确定是否通过操作操作部32已经指示将在对应位置中估计的环境光源光谱特性与位置相关联地登记在环境光源存储部102中。
在步骤S77中，在已经指示将在对应位置中估计的环境光源光谱特性与位置相关联地登记在环境光源存储部102中的情况下，处理进行至步骤S78。
在步骤S78中，环境光源登记部101将在对应位置中估计的环境光源光谱特性与关于当前位置的信息相关联地登记在环境光源存储部102中。
在步骤S77中，在没有提供用于登记环境光源光谱特性的指示的情况下，跳过步骤S78中的处理。
在步骤S79中，被摄体光谱特性估计部34使用在对应位置中估计的环境光源光谱特性来消除环境光源的不利影响，使用包括闪光灯31a接通的情况下的图像和闪光灯31a关断的情况下的图像的两个图像来估计图像中的被摄体的光谱特性，并且将估计结果作为被摄体光谱特性输出至被摄体特性比较部35。
注意，在选择了登记在环境光源存储部102中的环境光源光谱特性中的任何一个的情况下，处理进行至步骤S80。
在步骤S80中，被摄体光谱特性估计部34使用选择的环境光源光谱特性来消除环境光源的不利影响，使用包括闪光灯31a接通的情况下的图像和闪光灯31a关断的情况下的图像的两个图像来估计图像中的被摄体的光谱特性，并且将估计结果作为被摄体光谱特性输出至被摄体特性比较部35。
注意，步骤S81至S85中的处理类似于图10的流程图中的步骤S15至S19中的处理，并且省略了对这些处理的描述。
具体地，在选择了任何登记的环境光源光谱特性的情况下，在通过利用所选择的环境光源光谱特性来消除环境光源的不利影响的情况下，估计被摄体光谱特性。在没有选择登记的环境光源光谱特性的情况下，在通过利用在对应位置中估计的环境光源光谱特性来消除环境光源的不利影响的情况下，估计被摄体光谱特性。
因此，无需估计曾经登记的位置的环境光源光谱特性，并且可以通过读取而简单地再次使用曾经登记的位置的环境光源光谱特性。这允许减少与用于估计环境光源光谱特性的处理相关的负荷，从而能够提高处理速度。
<<5.第五实施方式>>
在上述示例中，通过捕获被摄体的图像的测量部31捕获的图像被用于估计被摄体光谱特性和环境光源光谱特性两者。然而，可以向不同的测量部提供被摄体光谱特性和环境光源光谱特性，以允许更准确地估计环境光源光谱特性。
图21示出了推荐产品呈现装置11的配置示例，该推荐产品呈现装置11除了设置有捕获用于估计被摄体光谱特性的图像的测量部31之外，还设置有用于捕获用于估计环境光源光谱特性的图像的环境光源测量部。
注意，图21中的推荐产品呈现装置11的部件中的包括与图1中的推荐产品呈现装置11的对应部件的功能相同的功能的那些部件由相同的附图标记表示，并且适当省略这些部件的描述。
具体地，图21中的推荐产品呈现装置11与图1中的推荐产品呈现装置11的不同之处在于，图21中的推荐产品呈现装置11新设置有环境光源测量部121和环境光源估计部122，环境光源测量部121捕获用于估计环境光源光谱特性的图像。
环境光源测量部121基本上具有与测量部31的配置相同的配置，但是捕获下述方向的图像，在该方向上，可以捕获适合于测量可以用作环境光源的环境光源的图像，并且将捕获的图像输出至环境光源估计部122。理想地，环境光源测量部121被设置在可穿戴终端中，并且被配置成适当地捕获可以用作环境光源的光源的图像。
环境光源估计部122如在例如Masaharu Tominaga的“Computer Vision andSpectral Reflectance Estimation(Japanese Journal of Applied Physics),1997,Vol.26,No.12”中所述的那样基于由环境光源测量部121捕获的图像来估计光源的类型和光谱特性，并且将估计结果作为环境光源光谱特性输出至被摄体光谱特性估计部34和不适当光源检测部41。
<由图21中的推荐产品呈现装置进行的产品推荐处理>
现在，参照图22中的流程图，将描述由图21中的推荐产品呈现装置11进行的产品推荐处理。
在步骤S101中，当通过用户操作操作部32而指示捕获图像时，环境光源测量部121捕获在其上可以用作环境光源的光源可靠地存在的方向的图像，并且将所捕获的图像输出至环境光源估计部122。
在步骤S102中，测量部31控制闪光灯31a以在闪光灯31a接通的情况下捕获被摄体的图像，并且将所捕获的图像输出至被摄体光谱特性估计部34。
在步骤S103中，测量部31在闪光灯31a关断的情况下捕获被摄体的图像，并且将所捕获的图像输出至被摄体光谱特性估计部34。
在步骤S104中，环境光源估计部122根据由环境光源测量部121馈送的图像来估计环境光源的光谱特性，并且将估计结果作为环境光源光谱特性输出至被摄体光谱特性估计部34和不适当光源检测部41。
在步骤S105中，被摄体光谱特性估计部34使用由环境光源估计部122馈送的环境光源光谱特性来消除环境光源的不利影响，并且根据由测量部31捕获的图像来估计图像中的被摄体的光谱特性，并且将估计结果作为被摄体光谱特性输出至被摄体特性比较部35。
在步骤S106中，被摄体特性比较部35将与估计结果对应的被摄体光谱特性和与存储在特性分类存储部36中的优选状态的光谱特性对应的参考光谱特性进行比较，并且将比较结果作为用于评估用户的皮肤的评估结果输出至推荐产品选择部37。这时，被摄体特性比较部35将被摄体光谱特性和优选状态的参考光谱特性连同评估结果输出至推荐产品选择部37。
在步骤S107中，推荐产品选择部37从存储在产品存储部38中的产品中选择(标识)要推荐的产品作为推荐产品(或推荐物品)，并且基于评估结果、被摄体光谱特性和优选状态的参考光谱特性将推荐产品输出至输出控制部39。
在步骤S108中，不适当光源检测部41基于由环境光源估计部122馈送的整个波长区域内的环境光源光谱特性的平均强度是否大于与存储在特性分类存储部36中的被摄体光谱特性的平均值对应的阈值以及环境光源是否适合作为利用其估计被摄体光谱特性的环境光源，来确定环境光源是否为不适当光源，并且将确定结果输出至输出控制部39。
在步骤S108中，在环境光源在整个波长区域内的平均强度大于与存储在特性分类存储部36中的被摄体光谱特性的平均值对应的阈值并且环境光源被确定为适合作为利用其估计被摄体光谱特性的环境光源而不是不适当光源的情况下，处理进行至步骤S109。
在步骤S109中，输出控制部39在输出部40的显示部51上显示与推荐产品相关的产品信息，并且结束处理。
另一方面，在步骤S108中，在环境光源在整个波长区域内的平均强度不大于与存储在特性分类存储部36中的被摄体光谱特性的平均值对应的阈值并且环境光源被确定为不适合作为利用其估计被摄体光谱特性的环境光源并且被确定为不适当光源的情况下，处理进行至步骤S110。
在步骤S110中，输出控制部39在输出部40的显示部51上显示指示环境光源是不适当光源的信息以及与推荐产品相关的信息。此外，输出控制部39使振动器52振动以使扬声器53输出预定声音，从而指示环境光源是不适当光源的信息并结束处理。
通过单独提供用于估计环境光源光谱特性的配置，上述处理使得能够准确地估计环境光源光谱特性。因此，可以在更适当地消除环境光源的不利影响的情况下估计被摄体光谱特性。
此外，可以将由图21中的推荐产品呈现装置11的环境光源测量部121和环境光源估计部122估计的环境光源光谱特性与估计位置相关联地登记在云服务器等中，使得可以由例如图18中的推荐产品呈现装置11利用环境光源光谱特性，该推荐产品呈现装置11既不包括环境光源测量部121，又不包括环境光源估计部122。
<<6.通过使用软件执行的示例>>
顺便提及，上述一系列处理步骤可以通过使用硬件来执行，但是也可以代替地通过使用软件来执行。在通过使用软件执行一系列处理步骤的情况下，将软件中包括的程序从记录介质安装到集成在专用硬件中的计算机或例如安装有各种程序的通用计算机中，使得计算机可以执行各种功能。
图23示出了通用计算机的配置示例。个人计算机包括内置CPU(中央处理单元)1001。CPU 1001经由总线1004连接至I/O接口1005。总线1004连接至ROM(只读存储器)1002和RAM(随机存取存储器)1003。
I/O接口1005连接至包括用户通过其输入操作命令的诸如键盘和鼠标的输入装置的输入部1006、将处理操作画面和处理结果的图像输出至显示装置的输出部1007、包括存储程序和各种数据的硬盘驱动器等的存储部1008以及包括LAN(局域网)适配器等并经由以因特网为代表的网络执行通信处理的通信部1009。此外，I/O接口1005连接至驱动器1010，该驱动器从诸如磁盘(包括软盘)、光盘(包括CD-ROM(致密盘只读存储器)或DVD(数字多功能盘))、磁光盘(包括MD(小型盘))或半导体存储器的可移除存储介质1011读取数据并且向可移除存储介质1011写入数据。
CPU 1001根据ROM 1002中存储的程序或从诸如磁盘、光盘、磁光盘或半导体存储器的可移除存储介质1011读取并且安装在存储部1008中并然后从存储部1008加载到RAM1003中的程序执行各种类型的处理。RAM 1003还适当地存储CPU 1001执行各种类型的处理所需的数据。
在如上所述配置的计算机中，CPU 1001例如通过经由I/O接口1005和总线1004将存储在存储部1008中的程序加载到RAM 1003中来执行上述一系列处理步骤。
由计算机(CPU 1001)执行的程序可以通过例如将所述程序记录在用作封装介质的可移除存储介质1011等中来提供。替选地，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机中，通过将可移除存储介质1011安装在驱动器1010中，可以经由I/O接口1005将程序安装在存储部1008中。此外，程序可以由通信部1009经由有线或无线传输介质接收并安装在存储部1008中。或者，可以将程序预安装在ROM 1002或存储部1008中。
注意，由计算机执行的程序可以是以本文描述的顺序按时间顺序执行处理的程序，或者是并行地或在例如调用程序时的所需定时处执行处理的程序。
注意，图23中的CPU 1001实现图1中的环境光源估计部33、被摄体光谱特性估计部34、被摄体特性比较部35、推荐产品选择部37、输出控制部39和不适当光源检测部41、图11中的被摄体特性分类部71、图14中的测量项目选择部81、图18中的环境光源登记部101和环境光源选择部103以及图21中的环境光源估计部122的功能。此外，图23中的存储部1008实现图1、图11、图14、图18和图21中的特性分类存储部36和产品存储部38以及图18中的环境光源存储部102。
此外，本文中的系统是指一组多个部件(装置、模块(零件)等)，而不管所有部件是否都位于同一壳体内。因此，存储在不同壳体中并且经由网络连接在一起的多个装置和包括存储在一个壳体中的多个模块的一个装置都是系统。
注意，本公开内容的实施方式不限于上述实施方式，而是可以在不脱离本公开内容的精神的情况下对实施方式进行各种改变。
例如，本公开内容可以被配置为云计算，在该云计算中，一个功能由多个装置经由网络共享并协同处理。
此外，上述参照流程图描述的步骤不仅可以由单个装置执行，而且可以在多个装置之间共享。
此外，在一个步骤中包括多个处理任务的情况下，一个步骤中的多个处理任务可以在一个装置中被执行，或者可以由多个装置共享并执行。
本公开内容可以按照以下描述进行配置。
<1>一种图像处理装置，包括：
评估部，其基于与所捕获的图像中的被摄体的光谱特性对应的被摄体光谱特性和参考光谱特性来评估所述被摄体的状态。
<2>根据<1>所述的图像处理装置，其中，
所述评估部基于所述被摄体光谱特性与所述参考光谱特性之间的差来评估所述被摄体的状态。
<3>根据<2>所述的图像处理装置，其中，
所述评估部输出将所述被摄体光谱特性与所述参考光谱特性之间的差平方根和与预定阈值进行比较的比较结果，作为所述被摄体的状态的评估结果。
<4>根据<3>所述的图像处理装置，其中，
所述预定阈值是多个被摄体的被摄体光谱特性的平均值与所述参考光谱特性之间的差平方根和。
<5>根据<1>至<4>中任一项所述的图像处理装置，其中，
所述参考光谱特性是所述被摄体光谱特性中的被摄体的优选状态的光谱特性。
<6>根据<1>至<5>中任一项所述的图像处理装置，还包括：
标识部，其标识具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品；以及
显示部，其显示由所述标识部标识的物品。
<7>根据<6>所述的图像处理装置，其中，
在包括将所述被摄体光谱特性与所述参考光谱特性之间的差平方根和与预定阈值进行比较的比较结果的所述被摄体的状态的评估结果中，所述被摄体光谱特性与所述参考光谱特性之间的差平方根和大于所述预定阈值的情况下，
所述标识部基于所述被摄体光谱特性与所述参考光谱特性之间的差来标识具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品。
<8>根据<6>所述的图像处理装置，其中，
被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性是通过以下操作而获得的光谱特性：针对每个波长，将所述被摄体光谱特性与所述参考光谱特性之间的差乘以预定系数；并且将所述被摄体光谱特性与相乘的结果相加。
<9>根据<6>所述的图像处理装置，还包括：
物品存储部，其将关于所述物品的信息与关于通过应用所述物品在所述被摄体中提供的光谱特性的信息相关联地存储，其中，
所述标识部标识在所述物品存储部中存储的物品中包括的以下物品：该物品涉及与信息相关联地存储的光谱特性与被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性之间的差平方根和的减小。
<10>根据<1>所述的图像处理装置，其中，
所述评估部通过对所述被摄体光谱特性进行分类来评估所述被摄体的状态。
<11>根据<10>所述的图像处理装置，其中，
所述评估部通过以下操作来评估所述被摄体的状态：将所述被摄体光谱特性划分成多个波长区域；基于针对从所述划分得到的每个波长区域将预定阈值与差平方根和进行比较的比较结果，对所述被摄体光谱特性进行分类；并且获得分类结果作为评估索引。
<12>根据<11>所述的图像处理装置，还包括：
标识部，其基于所述评估索引来标识具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品；以及
显示部，其显示由所述标识部标识的物品。
<13>根据<12>所述的图像处理装置，还包括：
物品存储部，其针对关于所述物品的信息，将具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品的索引与所述被摄体光谱特性的评估索引相关联地存储，所述物品的索引基于所述被摄体光谱特性与所述参考光谱特性之间的差，其中，
所述标识部将在所述物品存储部中存储的物品中包括的并且与所述评估索引相关联地存储的物品标识为具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品。
<14>根据<13>所述的图像处理装置，其中，
被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性是通过以下操作而获得的光谱特性：针对每个波长，将所述被摄体光谱特性与所述参考光谱特性之间的差乘以预定系数；并且将所述被摄体光谱特性与相乘的结果相加。
<15>根据<1>至<14>中任一项所述的图像处理装置，还包括：
环境光源光谱特性估计部，其将所捕获的图像中的环境光源的光谱特性估计为环境光源光谱特性，其中，
所述评估部基于所述参考光谱特性与以下图像中的被摄体的被摄体光谱特性之间的差来评估所述被摄体的状态：在所述图像中，使用根据所述图像估计的所述环境光源光谱特性减少了所述图像中的环境光源的不利影响。
<16>根据<15>所述的图像处理装置，还包括：
环境光源光谱特性存储部，其将由所述环境光源光谱特性估计部估计的所述环境光源光谱特性与测量位置相关联地存储，其中，
所述评估部基于以下图像中的被摄体的被摄体光谱特性来评估所述被摄体的状态：在所述图像中，使用从存储在所述环境光源光谱特性存储部中的环境光源光谱特性中选择的环境光源光谱特性减少了所述图像中的环境光源的不利影响。
<17>根据<15>所述的图像处理装置，还包括：
不适当环境光源检测部，其基于由所述环境光源光谱特性估计部估计的环境光源光谱特性，来检测所述环境光源对于所述被摄体光谱特性而言是不适当光源；以及
呈现部，其在所述环境光源被检测为不适当光源的情况下指示所述环境光源是不适当光源。
<18>根据<17>所述的图像处理装置，其中，
所述不适当环境光源检测部基于由所述环境光源光谱特性估计部估计的环境光源光谱特性中的与所述被摄体光谱特性的平均值之间的比较来检测光源是不适当的。
<19>一种图像处理方法，包括：
基于参考光谱特性和与所捕获的图像中的被摄体的光谱特性对应的被摄体光谱特性来评估所述被摄体的状态的评估处理。
<20>一种程序，所述程序使基于参考光谱特性和与所捕获的图像中的被摄体的光谱特性对应的被摄体光谱特性来评估所述被摄体的状态的评估部用作计算机。
附图标记列表
11 推荐产品呈现装置
31 记录部
31a 闪光灯
32 操作部
33 环境光源估计部
34 被摄体光谱特性估计部
35 被摄体特性比较部
36 特性分类存储部
37 推荐产品选择部
38 产品存储部
39 输出控制部
40 输出部
41 不适当光源检测部
51 显示部
52 振动器
53 扬声器
71 被摄体特性分类部
72 特性分类存储部
73 推荐产品选择部
74 产品存储部
81 测量项目选择部
101 环境光源登记部
102 环境光源存储部
103 环境光源选择部
121 环境光源测量部
122 环境光源估计部

Claims (20)

1.一种图像处理装置，包括：
评估部，其基于与所捕获的图像中的被摄体的光谱特性对应的被摄体光谱特性和参考光谱特性来评估所述被摄体的状态。
2.根据权利要求1所述的图像处理装置，其中，
所述评估部基于所述被摄体光谱特性与所述参考光谱特性之间的差来评估所述被摄体的状态。
3.根据权利要求2所述的图像处理装置，其中，
所述评估部输出将所述被摄体光谱特性与所述参考光谱特性之间的差平方根和与预定阈值进行比较的比较结果，作为所述被摄体的状态的评估结果。
4.根据权利要求3所述的图像处理装置，其中，
所述预定阈值是多个被摄体的被摄体光谱特性的平均值与所述参考光谱特性之间的差平方根和。
5.根据权利要求1所述的图像处理装置，其中，
所述参考光谱特性是所述被摄体光谱特性中的被摄体的优选状态的光谱特性。
6.根据权利要求1所述的图像处理装置，还包括：
标识部，其标识具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品；以及
显示部，其显示由所述标识部标识的物品。
7.根据权利要求6所述的图像处理装置，其中，
在包括将所述被摄体光谱特性与所述参考光谱特性之间的差平方根和与预定阈值进行比较的比较结果的所述被摄体的状态的评估结果中，所述被摄体光谱特性与所述参考光谱特性之间的差平方根和大于所述预定阈值的情况下，
所述标识部基于所述被摄体光谱特性与所述参考光谱特性之间的差来标识具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品。
8.根据权利要求6所述的图像处理装置，其中，
被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性是通过以下操作而获得的光谱特性：针对每个波长，将所述被摄体光谱特性与所述参考光谱特性之间的差乘以预定系数；并且将所述被摄体光谱特性与相乘的结果相加。
9.根据权利要求6所述的图像处理装置，还包括：
物品存储部，其将关于所述物品的信息与关于通过应用所述物品在所述被摄体中提供的光谱特性的信息相关联地存储，其中，
所述标识部标识在所述物品存储部中存储的物品中包括的以下物品：该物品涉及与信息相关联地存储的光谱特性与被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性之间的差平方根和的减小。
10.根据权利要求1所述的图像处理装置，其中，
所述评估部通过对所述被摄体光谱特性进行分类来评估所述被摄体的状态。
11.根据权利要求10所述的图像处理装置，其中，
所述评估部通过以下操作来评估所述被摄体的状态：将所述被摄体光谱特性划分成多个波长区域；基于针对从所述划分得到的每个波长区域将预定阈值与差平方根和进行比较的比较结果，对所述被摄体光谱特性进行分类；并且获得分类结果作为评估索引。
12.根据权利要求11所述的图像处理装置，还包括：
标识部，其基于所述评估索引来标识具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品；以及
显示部，其显示由所述标识部标识的物品。
13.根据权利要求12所述的图像处理装置，还包括：
物品存储部，其针对关于所述物品的信息，将具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品的索引与所述被摄体光谱特性的评估索引相关联地存储，所述物品的索引基于所述被摄体光谱特性与所述参考光谱特性之间的差，其中，
所述标识部将在所述物品存储部中存储的物品中包括的并且与所述评估索引相关联地存储的物品标识为具有被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性的物品。
14.根据权利要求13所述的图像处理装置，其中，
被应用至所述被摄体以使所述被摄体的光谱特性更类似于所述参考光谱特性的光谱特性是通过以下操作而获得的光谱特性：针对每个波长，将所述被摄体光谱特性与所述参考光谱特性之间的差乘以预定系数；并且将所述被摄体光谱特性与相乘的结果相加。
15.根据权利要求1所述的图像处理装置，还包括：
环境光源光谱特性估计部，其将所捕获的图像中的环境光源的光谱特性估计为环境光源光谱特性，其中，
所述评估部基于所述参考光谱特性与以下图像中的被摄体的被摄体光谱特性之间的差来评估所述被摄体的状态：在所述图像中，使用根据所述图像估计的所述环境光源光谱特性减少了所述图像中的环境光源的不利影响。
16.根据权利要求15所述的图像处理装置，还包括：
环境光源光谱特性存储部，其将由所述环境光源光谱特性估计部估计的所述环境光源光谱特性与测量位置相关联地存储，其中，
所述评估部基于以下图像中的被摄体的被摄体光谱特性来评估所述被摄体的状态：在所述图像中，使用从存储在所述环境光源光谱特性存储部中的环境光源光谱特性中选择的环境光源光谱特性减少了所述图像中的环境光源的不利影响。
17.根据权利要求15所述的图像处理装置，还包括：
不适当环境光源检测部，其基于由所述环境光源光谱特性估计部估计的环境光源光谱特性，来检测所述环境光源对于所述被摄体光谱特性而言是不适当光源；以及
呈现部，其在所述环境光源被检测为不适当光源的情况下指示所述环境光源是不适当光源。
18.根据权利要求17所述的图像处理装置，其中，
所述不适当环境光源检测部基于由所述环境光源光谱特性估计部估计的环境光源光谱特性中的与所述被摄体光谱特性的平均值之间的比较来检测光源是不适当的。
19.一种图像处理方法，包括：
基于参考光谱特性和与所捕获的图像中的被摄体的光谱特性对应的被摄体光谱特性来评估所述被摄体的状态的评估处理。
20.一种程序，所述程序使基于参考光谱特性和与所捕获的图像中的被摄体的光谱特性对应的被摄体光谱特性来评估所述被摄体的状态的评估部用作计算机。
CN201880079485.4A 2017-12-15 2018-11-30 图像处理装置、图像处理方法和程序 Withdrawn CN111447870A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-240526 2017-12-15
JP2017240526 2017-12-15
PCT/JP2018/044129 WO2019116926A1 (ja) 2017-12-15 2018-11-30 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN111447870A true CN111447870A (zh) 2020-07-24

Family

ID=66819215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880079485.4A Withdrawn CN111447870A (zh) 2017-12-15 2018-11-30 图像处理装置、图像处理方法和程序

Country Status (5)

Country Link
US (1) US20200402227A1 (zh)
JP (1) JP7180614B2 (zh)
KR (1) KR20200099522A (zh)
CN (1) CN111447870A (zh)
WO (1) WO2019116926A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3278547B2 (ja) * 1995-05-18 2002-04-30 株式会社資生堂 色合わせ計算方法及び装置
US20020065452A1 (en) 2000-11-29 2002-05-30 Roland Bazin Process for diagnosing conditions of external body portions and features of products applied thereto
JP2002189918A (ja) 2000-12-20 2002-07-05 Pola Chem Ind Inc 化粧料情報作成装置，化粧料情報作成方法，及びコンピュータ読取可能な記録媒体
WO2003085376A2 (en) 2002-04-03 2003-10-16 The Regents Of The University Of California System and method for quantitative or qualitative measurement of exogenous substances in tissue and other materials using laser-induced fluorescence spectroscopy
JP2011067284A (ja) * 2009-09-24 2011-04-07 Aisin Seiki Co Ltd 疲労検査装置
JP2013050376A (ja) * 2011-08-31 2013-03-14 Nippon System Kenkyusho:Kk 生体組織機能状態測定装置及びその方法
US20130222787A1 (en) 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Roughness evaluating apparatus, and object evaluating apparatus and roughness evaluating method using the same
JP2014122847A (ja) * 2012-12-21 2014-07-03 Olympus Corp 画像補正装置、画像補正プログラム、画像補正方法
WO2015012028A1 (ja) 2013-07-22 2015-01-29 コニカミノルタ株式会社 メラノーマ診断支援装置、プログラムおよびメラノーマ診断支援方法
CN104970797B (zh) 2014-04-08 2019-09-13 花王株式会社 皮肤分类方法、化妆品的推荐方法以及皮肤分类卡

Also Published As

Publication number Publication date
JP7180614B2 (ja) 2022-11-30
KR20200099522A (ko) 2020-08-24
WO2019116926A1 (ja) 2019-06-20
JPWO2019116926A1 (ja) 2020-12-17
US20200402227A1 (en) 2020-12-24

Similar Documents

Publication Publication Date Title
US9445087B2 (en) Systems, devices, and methods for providing products and consultations
TWI585711B (zh) 獲得保養信息的方法、分享保養信息的方法及其電子裝置
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
US10296958B1 (en) Associating cosmetic products to skin tone color
KR102008023B1 (ko) 컬러 이미지로부터 미용 및 영양 요법을 제공하는 웹 사이트
US9357613B2 (en) Display and lighting arrangement for a fitting room
US10129460B2 (en) System for producing compliant facial images for selected identification documents
Tsouri et al. On the benefits of alternative color spaces for noncontact heart rate measurements using standard red-green-blue cameras
JP6545658B2 (ja) ビリルビンレベルを推定すること
US9013567B2 (en) Method for determining age, and age-dependent selection of cosmetic products
US11231366B2 (en) Method and device for determining a gloss value of hair
JPWO2002051285A1 (ja) マスカラの選定方法、マスカラの選定システムおよびマスカラカウンセリングツール
US11730372B2 (en) Accessory device and imaging device
JP2007175469A (ja) 肌状態管理システム
CN111447870A (zh) 图像处理装置、图像处理方法和程序
KR20210074812A (ko) 식품 신선도 검사방법
KR20180061629A (ko) 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치
KR101928501B1 (ko) 영상을 이용한 피부 산도 측정 방법
KR20200008484A (ko) 피부 진단을 통한 화장품 추천 시스템
SEN Fusing mobile, wearable and infrastructure sensing for immersive daily lifestyle analytics
JP2022058165A (ja) 肌の明るさを決定するシステム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200724

WW01 Invention patent application withdrawn after publication