JP2011118655A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】被験者の肌の見た目の美しさの向上を自然な状態でシミュレートすることのできる画像処理装置を提供する。
【解決手段】複数種類の成分画像を内包した被験者の肌の元画像を画像取得部１１０が取得する。取得された元画像から成分画像の一つであるヘモグロビン成分画像をヘモグロビン抽出部１２０が抽出する。抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度を画像処理部１３０が平滑化する。画素強度が平滑化されたヘモグロビン成分画像を元画像のヘモグロビン成分画像と成分置換部１４０が置換する。ヘモグロビン成分画像が置換された元画像を評価画像として画像表示部１５０が出力する。
【選択図】図１

Description

本発明は、被験者の肌の元画像を画像処理する画像処理装置および画像処理方法に関する。

肌の見た目の美しさを向上するための処置方法として、様々な化粧品や、その使用方法などが提案されている。そして、これらの処置方法の効果を事前に予測して示すためのシミュレーションが求められている。

ここで、肌のシミュレーション画像の形成方法について、本出願人は以下のいくつかの発明を提案している。

特許文献１の画像処理方法は、より自然な印象を与えるテクスチャの肌の画像を形成するために有用な肌の画像の解析方法及びシミュレーション画像の形成方法を提供することを目的としてなされたものであり、例えば、シミを大きく、濃く、あるいは小さく、薄くしたり、色ムラのパターンを自然に変化させたりすることが可能である。
この方法では、被験者の肌の内部反射光画像に対して独立成分分析をしてメラニン成分やヘモグロビン成分の画像を抽出し、画像ピラミッド法によって空間周波数の異なる複数階層の画像についてのヒストグラムを得ている。また、この方法では、被験者の肌のヒストグラムと他人の肌のヒストグラムとをマッチングさせて、被験者の肌の画像のテクスチャを置換したシミュレーション画像を作成する。

特許文献２の画像処理方法は、コンピュータを用いた画像処理により、肌の自然な質感や色を保持しつつ、シミ等の色ムラやテクスチャを変化させたシミュレーション画像を形成できるようにすること、さらには、色ムラやテクスチャを変化させることにより、特定の主観価値を与えるシミュレーション画像を形成できるようにすることを目的としてなされたものである。
この方法では、被験者の肌の内部反射光画像に対して独立成分分析をしてメラニン成分やヘモグロビン成分の画像を抽出した後、複数の空間周波数帯域の階層画像に分解している。また、この方法では、特定の空間周波数帯域の画像において画素強度の度数分布を変化させることで、肌の色ムラやテクスチャを変化させたシミュレーション画像を作成する。

特許文献３の画像処理方法は、コンピュータを用いた画像処理により、肌の自然な質感や色を保持しつつシミ等の色ムラを増減させたシミュレーション画像を形成できるようにすることを目的としてなされたものである。
この方法では、被験者の肌の内部反射光画像からメラニン成分画像を抽出し、複数の空間周波数帯域の階層画像に分解している。また、この方法では、特定の空間周波数帯域について選択的にメラニン成分画像のコントラストを変化させることで、肌の色ムラを変化させたシミュレーション画像を作成する。

特開２００４−２８３３５７号公報 特開２００５−２９３２３１号公報 特開２００５−２９３２１４号公報

特許文献１から３の画像処理方法は、特定の空間周波数に着目して、画像のヒストグラムや度数分布、コントラストを変化させるものであり、自然な印象を与える、あるいは肌の自然な質感や色を保持しつつ色ムラ等を変化させるシミュレーション画像の形成等を目的としたものである。
ここで、前述の処置方法の効果を事前に予測して示すためのシミュレーションが求められている。

本発明は上述のような課題に鑑みてなされたものであり、被験者の肌の見た目の美しさの向上を自然な状態でシミュレートすることのできる画像処理装置および画像処理方法を提供するものである。

本発明の画像処理装置は、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度を平滑化する画像処理手段と、画素強度が平滑化されたヘモグロビン成分画像を元画像のヘモグロビン成分画像と置換する成分置換手段と、ヘモグロビン成分画像が置換された元画像を評価画像として出力する画像出力手段と、を有する。

本発明の画像処理方法は、複数種類の成分画像を内包した被験者の肌の元画像を取得し、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出し、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度を平滑化し、画素強度が平滑化されたヘモグロビン成分画像を元画像のヘモグロビン成分画像と置換し、ヘモグロビン成分画像が置換された元画像を評価画像として出力する。

上記構成によれば、元画像におけるヘモグロビン成分が平滑化された評価画像が出力される。ここで、本発明者らの知見によれば、ヘモグロビン由来の肌の色ムラ(例えば、ニキビ、線状血管、鬱血等、以下、赤みムラともいう)を低減することによって、たとえメラニン濃度が不変であったとしても、シミ、そばかす、色ムラ、毛穴、等が目立たなくなり、見た目の肌の美しさが向上することが明らかとなっている。また、本発明者らのさらなる知見によれば、いわゆる美白剤や抗炎症剤を配合した化粧品を使用したり、マッサージを施したりすることによって、ヘモグロビン由来の肌の色ムラは、メラニンの色ムラに比べて短期間で低減させることが可能である。このため、本発明の画像処理装置および画像処理方法によれば、ヘモグロビン由来の肌の色ムラを低減する処置が施された場合の肌の見た目の美しさを予測して示すことができる。

本明細書でいう肌の見た目の美しさとは、シミ、そばかす、色ムラ、毛穴、等を目立たなくすることにより得られる肌の見た目の状態である。
また、本明細書において、画像の画素強度を平滑化するとは、その画像の一部または全部の画素について、当該画素の画素強度（画素値）と、近接する他の画素の画素強度（画素値）との変化度合を低減することをいう。

なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。

また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の要素で形成されていること、一つの構成要素が複数の要素で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

本発明の画像処理装置および画像処理方法によれば、ヘモグロビン由来の肌の色ムラを低減する処置が施された場合の肌の見た目の美しさを予測して示すことができる。このため、例えば、化粧品の販売現場やマッサージの施行現場などで、その効果をシミュレートして顧客に提示することが可能である。

本発明の実施の形態の画像処理装置の論理構造を示す模式的なブロック図である。 顔画像の元画像から独立成分分析によりヘモグロビン成分画像を生成する工程を示す模式図である。 ヘモグロビン成分画像のニキビによるムラと血管由来のムラとの実例を示す模式図である。 元画像から評価画像を生成する工程を示す模式図である。 （ａ）はヘモグロビン画像Ａの部分画像、（ｂ）はその画素強度の分布を示すグラフ、（ｃ）は平滑化および分散度が低減された画素強度の分布を示すグラフである。 画像処理装置によるデータ処理方法を示すフローチャートである。 実施例にかかる元画像である。 実施例の元画像より抽出されたメラニン成分画像である。 実施例の元画像より抽出されたヘモグロビン成分画像である。 一部の領域の画素強度を平滑化したヘモグロビン成分画像である。 メラニン成分画像と画素強度が平滑化されたヘモグロビン成分画像とを合成した評価画像である。

本発明の実施形態を、図面を参照して以下に説明する。本実施形態の画像処理装置１００は、図１に示すように、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得部１１０と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出部１２０と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度を平滑化する画像処理部１３０と、画素強度が平滑化されたヘモグロビン成分画像を元画像のヘモグロビン成分画像と置換する成分置換部１４０と、ヘモグロビン成分画像が置換された元画像を評価画像として出力する画像処理手段である画像表示部１５０と、を有する。

より具体的には、画像処理装置１００は、適正なコンピュータプログラムが実装されたコンピュータ装置に、必要により各種デバイスが接続されることで構築されている(図示せず)。

画像取得部１１０としては、大別して、被験者の肌の画像を撮影するためのカメラと、予め撮影された被験者の肌の画像データを画像処理装置１００に受け付けるための入力インタフェースとを挙げることができる。

本実施形態では、偏光フィルタが装着されたフルカラーのＣＣＤ(Charge Coupled Device)カメラを有し(図示せず)、元画像として被験者から内部反射光画像を取得することとする。

より具体的には、被験者の顔画像の内部反射光画像を、二つの偏光素子とデジタルカメラとを用いて取得する。ここに、内部反射光画像は、デジタルカメラの前面の偏光素子（検光子）を、光源の前面の偏光素子（偏光子）に対して偏光方向が直交するように装着し、表面反射光成分を除去することにより取得される。

この場合、陰影をできる限りキャンセルした内部反射光画像を得るため、光源は、被験者の顔をその全周囲方向から照明するように複数（例えば、被験者の顔の上下左右に）配置することが好ましい。なお、画像取得部１１０を画像データの入力インタフェースとする場合は、各種記憶媒体の読み取り装置を例示することができる。

ここで、元画像が複数種類の成分画像を内包しているとは、元画像がヘモグロビン成分の濃度分布を示す画像(ヘモグロビン成分画像)を含む複数種類の成分画像の合成画像として観念できることを意味している。ヘモグロビン成分画像以外の成分画像としては、例えば、メラニン成分画像、影成分画像、等がある。そして、検光子を備えたデジタルカメラを用いて被験者の頬部位などの内部反射光画像を所定の解像度で取得し、これを独立成分分析することによりメラニン成分内部反射光画像とヘモグロビン成分内部反射光画像と影成分内部反射光画像を得ることができる。
元画像としては、被験者の肌の内部反射光画像を用いることができる。このほか、元画像としては、内部反射光画像と表面反射光画像とを、ともに用いることもできる。

被験者の肌の表面反射光画像は、肌に照射する偏光と偏光方向を一致させた検光子を通じて撮影される第一の反射光と、入射光と偏光方向を直交させた検光子を通じて撮影される第二の反射光の強度の差分から取得することができる。
一方、内部反射光画像は、上記の第二の反射光の強度を画素ごとに二倍した画像を用いることができる。被験者の肌の部位に制限はなく、顔のほか、腕や胸元などを対象とすることができる。

ヘモグロビン成分画像は、被験者の皮膚の表面または内部に含まれるヘモグロビンの濃度と相関する数値が、特定の分解能で配列された画素単位で画素強度として割り当てられた画像である。

ヘモグロビン抽出部１２０および画像処理部１３０は、コンピュータ装置がコンピュータプログラムに対応して所定のデータ処理を実行する機能に相当する。ヘモグロビン抽出部１２０は、図２に示すように、被験者の顔画像（内部反射光画像）を元画像として独立成分分析してヘモグロビン成分画像を抽出する。

より具体的には、本実施の形態の画像処理装置１００での独立成分分析は、皮膚の層構造を、メラニンを主要な色素成分とした含有する表皮層と、ヘモグロビンを主要な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとモデル化する。そして、各層から独立的にデータが発せられ、それらが混合したものが画像データになっていると想定し、画像データから各層の信号を分離抽出する分析方法である。

このような独立成分分析の解析処理と画像処理の詳細は、Vol.16,No.9/ September1999/ J.Opt.Soc.Am.A2169に記載されている。

画像処理部１３０は、詳細には後述するが、図４に示すように、ヘモグロビン成分画像から一部の領域（以下、一部領域という）を部分画像として抽出し、抽出された部分画像の画素強度を平滑化し、画素強度が平滑化された部分画像をヘモグロビン成分画像の抽出位置に再度配置する。

そして、画像処理部１３０は、一部領域の画素強度を平滑化するとともに、画素強度の分散度を低減する。

このとき、画像処理部１３０は、抽出された部分画像（一部領域）の画素強度の総量を検出し、総量を維持したまま部分画像の画素強度を平滑化する。さらに、画像処理部１３０は、部分画像の画素強度を周囲のヘモグロビン成分画像の画素強度と連続するように平滑化する。また、画像処理部１３０は、部分画像の画素強度が同心円状に連続するように平滑化する。

画像表示部１５０は、いわゆるディスプレイデバイスを有し(図示せず)、ヘモグロビン成分画像の画素強度が平滑化される以前の元画像とヘモグロビン成分画像の画素強度が平滑化された評価画像とを並列出力する。

なお、本発明において二つの画像を並列出力するとは、二つの画像の位置が縦並びまたは横並びに表示または印刷出力される場合のほか、二つの画像を対比可能に個別に出力する場合を含む。

上述のような画像処理装置１００のコンピュータプログラムは、複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得処理と、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出処理と、抽出されたヘモグロビン成分画像の少なくとも一部の領域の画素強度を平滑化する低減画像処理と、画素強度が平滑化されたヘモグロビン成分画像を元画像のヘモグロビン成分画像と置換する成分置換処理と、ヘモグロビン成分画像が置換された元画像を評価画像として出力する画像出力処理と、をコンピュータ装置に実行させるように記述されている。

上述のような構成において、本実施の形態の画像処理装置１００は、例えば、化粧品の販売現場やマッサージの施行現場などに設置され、その色ムラ度をシミュレートして顧客に提示することなどに利用される。

図６は、本実施形態の画像処理装置１００における画像処理方法を表すフローチャートである。以下、同フローチャートと、図２〜図５の模式図を用いて本実施形態の画像処理方法を説明する。

まず、被験者が上述の色ムラ度のシミュレーションを要望すると、作業者は画像処理装置１００に肌評価の開始を所定操作で入力する。すると、図６のフローチャートに示すように、これを検知した画像処理装置１００は(図６：ステップＳ１−Ｙ)、所定の光学デバイスにより複数種類の成分画像を内包した元画像として内部反射光画像を被験者から取得する(図６：ステップＳ２)。

この内部反射光画像として取得された元画像は、図２に示すように、ディスプレイデバイスに表示出力されるので(図６：ステップＳ３)、被験者および作業者は、表示出力された元画像により現状の肌状態を確認することになる。

つぎに、画像処理装置１００は、元画像である内部反射光画像を独立成分分析することにより(図６：ステップＳ４)、取得された元画像から成分画像の一つであるヘモグロビン成分画像を抽出する(図６：ステップＳ５)。元画像として本実施形態では、被験者の顔面を含む頭部正面画像を用いている。

図２に示すように、このヘモグロビン成分画像もディスプレイデバイスに表示出力される(図６：ステップＳ６)。図３に示すように、ヘモグロビン成分画像は、ニキビなどによる局所的な赤みムラと、血管由来の赤みムラも反映している。また、ニキビなどの局所的な赤みムラは若年層に特に顕著に見られるのに対して、線状の血管由来のムラや鬱血に起因するムラなどの広範囲のムラは中高年層に特に顕著に見ることができる。

このため、被験者と作業者は、表示出力されたヘモグロビン成分画像により、皮膚表面の全体的な赤みや部分的な赤みムラの原因として、目視では確認しにくい皮下のヘモグロビン成分の濃度分布状態を確認することができる。

作業者は、表示出力されたヘモグロビン成分画像から、特にヘモグロビン成分が集中している一部領域に注目し、図４のヘモグロビン画像Ａに示すように、その一部領域を評価領域として手動操作で指定する(図６：ステップＳ７)。評価領域を一点鎖線で示す。

一方、図４に示すように、元画像の独立成分分析によって抽出された他の成分画像に関しては、画像取得部１１０（図１を参照）に保持しておく。他の成分画像としては、真皮層から得られるメラニン成分画像のほか、皮下組織から得られるその他の色素成分画像（以下、残り画像という）が挙げられる。図４では代表してメラニン成分画像（メラニン画像）を図示している。

つぎに、画像処理装置１００は、指定されたヘモグロビン画像Ａの一部領域を部分画像として抽出する(図６：ステップＳ８)。そして、その部分画像の画素強度を平滑化する(図６：ステップＳ９)。

図５（ａ）は、ヘモグロビン画像Ａの部分画像を示す模式図である。同図（ｂ）は、その画素強度の分布を示すグラフであり、同図（ｃ）は平滑化および分散度が低減された部分画像の画素強度の分布を示すグラフである。

画像処理装置１００は、例えば、図５（ｂ）、（ｃ）に示すように、図４のヘモグロビン画像Ａの部分画像の画素強度の総量を検出し、総量を維持したまま部分画像の画素強度を平滑化してヘモグロビン画像Ｂを得る。図５（ｂ）と図５（ｃ）の曲線下面積、すなわち画素強度の総量は、互いに等しい。

また、本実施形態の画像処理装置１００は、ヘモグロビン画像Ａの一部領域（部分画像）の画素強度を平滑化するとともに、当該領域内の画素強度の分散度を低減する。

ここで、画素強度の分散度とは、画素強度の高い画素が当該画像内において拡散して存在している程度をいう。画素強度の分散度の算出方法は一つに限定されるものではないが、一例として以下のように求めることができる。すなわち、画素の座標位置と画素強度とから、当該画像の画素強度の重心位置をまず求める。次に、この重心位置から各画素までの距離の二乗と当該画素の画素強度との積についての総和を求め、これを画素強度の分散度とすることができる。
本実施形態においては、画素強度の高い画素が一箇所にまとまって存在している場合に、当該画像の画素強度の分散度が低いと評価される。逆に、画素強度の高い画素がバラバラに存在している場合に、当該画像の画素強度の分散度が高いと評価される。
ヘモグロビン画像Ａの画素強度の平滑化処理と分散度の低減処理は、ヘモグロビン成分がそれぞれ集中している複数箇所の部分画像に対して個別に行ってもよい。また、画素強度の平滑化処理および分散度の低減処理にあたっては、画素強度の重心位置を変動させてもよく、または不変としてもよい。

画素強度の分散度を低減する方法としては種々を挙げることができる。一例として、画素強度の高い順に画素を並べ替えて、領域の重心近傍から順に再配置する方法が挙げられる。

このように、本実施形態の画像処理装置１００では、ヘモグロビン画像Ａの一部領域に関して、画素強度の平滑化とともに分散度の低減処理を行う。これにより、図５（ｃ）に模式的に示したように、画素強度の高い画素が当該領域の重心に集まるとともに、重心から周囲に向かって画素強度が漸減するように画像処理される。ヘモグロビン成分を、かかるスロープ状のプロファイルに置換することにより、化粧品の使用やマッサージなどによって赤みムラを低減した状態の自然な肌がシミュレートされる。

かかる画像処理は、以下のようなグラデーション処理によって行ってもよい。すなわち、本実施形態では、一部領域（部分画像）を同心円状に仮想的に複数のリング状領域に分割し、隣接するリング状領域同士、および最外周のリング状領域とヘモグロビン画像Ａとの間を連続値とする。

なお、一部領域（部分画像）の画素強度が連続値であるとは、ヘモグロビン画像を人間が目視した場合に顕著な不連続がないことを意味するものであり、互いに隣接するすべての画素の画素強度が単調に増加または減少することを要するものではない。

本実施形態では、図４に示すように、ヘモグロビン画像Ａにおいてヘモグロビン成分が集中している領域を手動操作で部分画像として選択する。画像処理部１３０は、選択された領域の径を段階的に減少させた複数の同心状のリング状領域に分割する（図４のヘモグロビン画像Ｂを参照）。

画像処理部１３０は、部分画像の外部近傍におけるヘモグロビン画像Ａの画素強度を複数画素について読み取り、その平均値を求める。平均値を算出する対象画素は、部分画像（同図で一点鎖線で示す）の外部であって、被験者の顔面の中心側の近傍画素を設定するとよい。より具体的には、図４のヘモグロビン画像Ａに×印で示すように、部分領域の外部であって、被験者の両目の中央側の近傍より、画素強度の平均値（以下、隣接平均値という）を算出する。上記平均値を算出するにあたって、被験者の顔面の中心側の近傍画素を設定することにより、ヘモグロビン画像Ｂの上記一部領域（部分画像）の境界は、特に人間の視線が集まりやすい顔面の中心側において画素強度が滑らかに連続する。このため、ヘモグロビン画像Ｂは、ヘモグロビン画像Ａの赤みムラをより自然な状態で低減した印象を与える画像となる。

つぎに、画像処理部１３０は、同心状のリング状領域の最外周から内周側に向かって、リング状領域の内部の複数点で画素強度を取得して平均値（以下、リング内平均値という）を求める。平均値の算出にあたっては、当該リング状領域の内部の全画素の画素強度を単純に平均してもよく、または当該リング状領域の内部の全画素のうち被験者の両目の中央側に位置する複数点の画素のみを対象として平均してもよい。

そして、画像処理部１３０は、部分領域の内部およびその近傍の画素に対して、算出された平均値に基づく画素値（画素強度）を与える。一例として、部分領域とその外部との境界の所定幅内の画素に対して隣接平均値を与える。そして、リング状領域の内部の画素に対しては、当該領域に関するリング内平均値を与える。

さらに、画像処理部１３０は、リング状領域同士の境界にあたる所定幅内の画素について、画素強度の不連続を解消する処理を行う。具体的には、上記所定幅内の画素に対して画素強度の平均化処理を行う。本実施形態では、平均化処理として、上記所定幅内の全画素に関する画素強度の単純平均値を求めてこれを各画素に均一に与えてもよく、または、任意の画素およびその近傍の複数画素の画素強度の単純平均値もしくは加重平均値を当該画素に与えてもよい。

上述のように生成された同心円状の複数のリング状領域ごとに画素強度を連続的に変化させ、この画素強度が連続的に変化した複数の領域を階層として結合することで、部分画像の画素強度が同心円状に連続的に変化する。

なお、画像処理部１３０における画像処理は上記に限られるものではない。ヘモグロビン画像Ａの画素強度の平滑化は、種々の局所処理によって行うことができる。一例として、任意の画素における画素強度を、当該画素およびその近傍の画素の画素強度の平均値または加重平均値に置換する平滑化（スムージング）フィルタを用いることができる。この場合、平滑化フィルタの総和を１として、部分画像の画素強度の総量を維持したまま画素強度を平滑化するとよい。

また、本実施形態の画像処理装置１００は、部分画像の画素強度を周囲のヘモグロビン画像Ａの画素強度と連続するように平滑化する。したがって、部分画像に平滑化フィルタを適用するとともに、部分画像における最外周の画素の画素値を、その周囲に隣接するヘモグロビン画像Ａの画素値に基づいて外挿演算して求めてもよい。

このほか、選択した一部領域の内部の画素強度を単純に平均化した値を、当該一部領域内の全画素に与えてもよい。また、一部領域内のピークの画素強度の値および当該画素の位置を不変として、そこから周囲に向かって画素強度を漸減させてもよい。

画像処理部１３０は、図４に示すように、上述のように画素強度が平滑化された部分画像をヘモグロビン画像Ａの抽出位置に再度配置してヘモグロビン画像Ｂを得る(図６：ステップＳ１０)。このヘモグロビン画像Ｂもディスプレイデバイスに表示出力されるので(図６：ステップＳ１１)、被験者と作業者とは、ヘモグロビン成分を平滑化した状態を確認することができる。

そして、画像処理装置１００の成分置換部１４０（図１を参照）は、上述のように部分画像の画素強度が平滑化されたヘモグロビン成分画像（ヘモグロビン画像Ｂ）を元画像のヘモグロビン成分画像（ヘモグロビン画像Ａ）と置換する(図６：ステップＳ１２)。

ここで、元画像のヘモグロビン成分画像を置換するとは、元画像に内包されたヘモグロビン成分画像の少なくとも一部の画素の画素強度が変更されることをいう。本実施形態の場合、一例として、元画像から抽出されたメラニン成分画像および残り画像と、ヘモグロビン画像Ｂとを合成することで、元画像のヘモグロビン成分画像が置換される。このほか、元画像より、部分画像の画素強度を画素ごとに減算し、また平滑化後の部分画像の画素強度を画素ごとに加算してもよい。

画像表示部１５０（図１を参照）は、このようにヘモグロビン成分画像が置換された元画像を評価画像としてディスプレイデバイスに表示出力する(図６：ステップＳ１３)。このとき、ヘモグロビン成分画像の画素強度が平滑化される以前の元画像と、ヘモグロビン成分画像の画素強度が平滑化された評価画像とが並列出力される。

このため、被験者と作業者とは、化粧品の使用やマッサージなどでヘモグロビン成分を平滑化させて分散させたことによる元画像と評価画像との色ムラ度の変化を一目で確認できることになる。従って、化粧品の販売現場やマッサージの施行現場などでは、ヘモグロビン成分のムラを低減させたことによって、メラニン成分の濃度が不変であったとしても、見た目の美しさが向上することを被験者に目視的に示すことができる。

さらに、画像処理装置１００では、元画像から抽出されたメラニン成分画像と、ヘモグロビン成分画像と、部分画像の画素強度が平滑化されたヘモグロビン成分画像と、を並列出力することもできる。このため、評価画像の色ムラ度の改善が、ヘモグロビン成分の平滑化によることが一目で確認できることになる。これにより、被験者の肌の見た目の美しさを向上するにあたって、ヘモグロビン由来の赤みムラを低減することが有効であることを示すことができる。

さらに、画像処理装置１００は、ヘモグロビン成分画像から一部の領域を部分画像として抽出し、抽出された部分画像の画素強度を平滑化して再度配置する。このため、特にヘモグロビン成分が集中している部分に注目して、かかるヘモグロビン成分を分散させて平滑化させた場合の肌の見た目の美しさの向上をシミュレートすることができる。

また、画像処理装置１００は、抽出された部分画像の画素強度の総量を検出し、総量を維持したまま部分画像の画素強度を連続的に平滑化する。このため、被験者は、ヘモグロビン成分の総量を低減せずとも肌の見た目の美しさが向上できることを確認できる。

さらに、画像処理装置１００は、部分画像の画素強度を周囲のヘモグロビン成分画像と連続的に変化させる。このため、ヘモグロビン成分を平滑化させた部分が周囲と不連続となることを防止することができ、自然な評価画像を表示出力することができる。また、画像処理装置１００は部分画像の画素強度を同心円状に連続的に変化させる。このため、ヘモグロビン成分を自然な状態に分散させた場合の評価画像をシミュレートして表示出力することができる。

なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。

例えば、上記実施形態では被験者の元画像および評価画像として内部反射光画像を用いることを例示したが、本発明はこれに限られない。すなわち、内部反射光画像と表面反射光画像とを合成したトータル反射光画像を元画像および評価画像に用いてもよい。

この場合、画像取得部１１０は、元画像として被験者から表面反射光画像と内部反射光画像とを取得し、ヘモグロビン抽出部１２０は、取得された内部反射光画像からヘモグロビン成分画像を抽出し、画像表示部１５０は、ヘモグロビン成分画像が置換された内部反射光画像と表面反射光画像とを合成して出力する。

このように、被験者から取得する元画像は一つの画像であることに限られず、表面反射光画像と内部反射光画像のように複数の画像を被験者の肌より取得してもよい。そして、本変形例のように表面反射光画像と内部反射光画像とを合成したトータル反射光画像を評価画像として出力することにより、目視に近い自然な状態の評価画像が出力されることになる。

また、上記形態では被験者の元画像から評価画像をリアルタイムに生成して提示することを例示した。しかし、画像処理装置１００が、被験者の元画像を記憶する画像記憶手段(図示せず)を有し、記憶された元画像に対して上記の画像処理方法を適用して評価画像を出力してもよい。

これにより、画像処理装置１００は、過去の一時点（第一の時点）において撮影された被験者の肌の元画像についてヘモグロビン成分画像を置換して出力された評価画像と、第一の時点よりも後の時点（第二の時点）において撮影された被験者の肌の元画像と、を並列出力することが可能である。

すなわち、本変形例の画像処理装置１００は、現在を第一の時点として被験者の肌を撮影し、評価画像を作成して出力する。これにより、ヘモグロビン成分の赤みムラを将来的に低減した場合に、肌の見た目の美しさが向上することを被験者に示す。そして、所定期間に亘って赤みムラの低減処置を実際に施した被験者に対して、改めて、処置後の時点を第二の時点として肌の画像（元画像）を取得する。そして、画像処理装置１００は、過去の第一の時点における予測画像である評価画像と、現在の第二の時点における実際の肌の状態を表す元画像とを、並列して出力する。

これにより、本変形例の画像処理装置１００によれば、赤みムラの低減処置によって、予想通りに肌の見た目の美しさが向上したことを確認することができる。

この場合、過去の第一の時点において撮影された被験者の肌の元画像を、さらに並列出力してもよい。これにより、過去の時点と現時点とにおける、被験者の実際の肌の変化もあわせて確認することができる。

また、本変形例に代えて、過去の一時点（第一の時点）において被験者の肌の元画像に基づいて評価画像を生成し、評価画像を画像記憶手段に格納しておいてもよい。そして、格納されていた過去の評価画像を、現時点（第二の時点）において撮影した被験者の肌の画像（元画像）と並列して出力してもよい。

すなわち、本変形例の画像処理装置１００は、被験者ごとに複数の元画像または複数の評価画像を記憶する画像記憶手段を有し、画像表示部１５０が、被験者の評価画像（過去の評価画像）と元画像（現在の元画像）とを並列出力するといえる。

ここで、画像記憶手段が被験者の元画像または評価画像を記憶するとは、被験者ごとに割り当てられた識別番号と対応付けて元画像または評価画像を長期的に蓄積しておく場合のほか、これらの画像を一時的にメモリー上に一時的に保持しておく場合を含む。

具体的には、被験者から画像取得部１１０が過去に取得した元画像、または成分置換部１４０が元画像のヘモグロビン成分画像の置換処理を行って過去に生成した評価画像の少なくとも一方を、画像記憶手段は蓄積して記憶する。一方、画像記憶手段は、現在の被験者の肌を撮影して取得した元画像と、当該元画像に基づいて成分置換部１４０が生成した評価画像を一時的にまたは長期的に記憶する。

また、画像処理装置１００は、複数種類の成分画像を内包した他の元画像を画像記憶手段が基準画像として記憶し、画像表示部１５０が、記憶されている基準画像と、被験者の評価画像とを並列出力してもよい。

この場合、例えば、肌モデルなどから取得した基準画像を、被験者の評価画像と並列出力することにより、化粧品の使用やマッサージなどによって肌の赤みムラを低減することで肌の美観が肌モデルに近づくことを顧客に提示することもできる。肌モデルとしては、年齢層、性別、人種などの属性を変えて複数を設定するとよい。そして、被験者の属性に一致する肌モデルの元画像を基準画像として画像表示部１５０に読み出し、被験者の評価画像とともに出力するとよい。

なお、完全な肌の基準画像を現実の人間から取得することの困難性に鑑み、基準画像を、複数の肌モデルの元画像から合成して作成してもよく、またはＣＧ(Computer Graphic)として作成してもよい。

なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本発明を満足する範囲で各種に変更することができる。

以下、実施例を用いて本発明をより具体的に説明する。ただし、本発明は下記の実施例に限定されるものではない。

図７は、５０歳台の日本人女性を被験者とする顔の内部反射光画像である。図４の元画像に対応している。この画像を元画像として、本発明による評価画像の作成を行った。
図８は、元画像を独立成分分析して抽出したメラニン成分画像であり、図４のメラニン画像に対応している。
図９は、同様に元画像を独立成分分析して抽出したヘモグロビン成分画像であり、図４のヘモグロビン画像Ａに対応している。
図１０は、図９にて楕円で囲った一部領域の画素強度を平滑化したヘモグロビン成分画像であり、図４のヘモグロビン画像Ｂに対応している。
図１１は、メラニン成分画像と、画素強度が平滑化されたヘモグロビン成分画像とを合成した評価画像である。同図は、図４の評価画像に対応している。

すなわち、図１１の評価画像は、図７の元画像において、メラニン画像および残り画像（図示せず）を不変として、ヘモグロビン成分画像の一部領域の画素強度のみを平滑化したものである。

図１０における画素強度の平滑化処理は、実施形態で上述したように、当該一部領域を同心円状の複数のリング状領域に分割し、グラデーション処理によって、内周側のリング状領域から外周側に向かって画素強度を漸減させ、さらに当該一部領域と周囲領域とを連続化したものである。

生成された評価画像(図１１)と元画像（図７）とに関する見た目の美しさを、１０人の美容専門家の官能評価によって客観化した。結果を表１に示す。表中の数字は、回答者の人数である。

すなわち、図７の元画像と図１１の評価画像とを比較した結果、評価画像において赤みムラが顕著に目立たなくなったと回答した専門家が１０人中５人であった。同様の傾向がやや強く見られると回答した専門家とあわせると、１０人中９人が評価画像では赤みムラが低減していると回答した。

一方、メラニン成分の濃度ムラに起因するシミやそばかすについても、１０人中９人の専門家が、評価画像においてその目立ち度が低減していると回答した。以上より、本実施例によれば、ヘモグロビン成分画像を平滑化したことで、赤みムラのみならず、メラニン成分の濃度ムラについても目立ち度が低減されたことが分かった。

これにより、メラニン濃度が不変であったとしても、ヘモグロビン成分のムラを低減することで、見た目の肌の美しさが向上することが明らかとなった。そして、ヘモグロビン成分に由来する赤みムラは、一般にメラニンの色ムラに比べて短期間で低減することが可能であることから、ヘモグロビン成分のムラを低減することにより、短期間において、肌の見た目の美しさを改善できることが分かった。そして、本発明による画像処理装置および画像処理方法によれば、ヘモグロビン成分のムラを低減した場合の自然な肌の状態をシミュレートすることが可能であると言える。

１００ 画像処理装置
１１０ 画像取得部
１２０ ヘモグロビン抽出部
１３０ 画像処理部
１４０ 成分置換部
１５０ 画像表示部

Claims (15)

1. 複数種類の成分画像を内包した被験者の肌の元画像を取得する画像取得手段と、
   取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出するヘモグロビン抽出手段と、
   抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度を平滑化する画像処理手段と、
   前記画素強度が平滑化された前記ヘモグロビン成分画像を前記元画像のヘモグロビン成分画像と置換する成分置換手段と、
   前記ヘモグロビン成分画像が置換された前記元画像を評価画像として出力する画像出力手段と、
   を有する画像処理装置。
2. 前記画像処理手段が、前記領域の画素強度の分散度を低減する請求項１に記載の画像処理装置。
3. 前記画像処理手段は、
   前記ヘモグロビン成分画像から一部の領域を部分画像として抽出し、
   抽出された前記部分画像の画素強度を平滑化し、
   前記画素強度が平滑化された前記部分画像を前記ヘモグロビン成分画像の抽出位置に再度配置する請求項１または２に記載の画像処理装置。
4. 前記画像処理手段は、
   前記領域の画素強度の総量を検出し、
   前記総量を維持したまま前記領域の画素強度を平滑化する請求項１ないし３の何れか一項に記載の画像処理装置。
5. 前記画像処理手段は、前記領域の画素強度を周囲の前記ヘモグロビン成分画像の画素強度と連続するように平滑化する請求項４に記載の画像処理装置。
6. 前記画像処理手段は、前記領域の前記画素強度を同心円状に連続するように平滑化する請求項１ないし５の何れか一項に記載の画像処理装置。
7. 前記画像出力手段は、前記ヘモグロビン成分画像の前記画素強度が平滑化される以前の前記元画像と、前記ヘモグロビン成分画像の前記画素強度が平滑化された前記評価画像と、を並列出力する請求項１ないし６の何れか一項に記載の画像処理装置。
8. 前記被験者ごとに複数の前記元画像または複数の前記評価画像を記憶する画像記憶手段を、さらに有し、
   前記画像出力手段は、前記被験者の前記評価画像と前記元画像とを並列出力する請求項１ないし７の何れか一項に記載の画像処理装置。
9. 複数種類の成分画像を内包した他の元画像を基準画像として記憶する画像記憶手段を、さらに有し、
   前記画像出力手段は、記憶されている前記基準画像と、前記被験者の前記評価画像とを並列出力する請求項１ないし８の何れか一項に記載の画像処理装置。
10. 前記画像取得手段は、前記元画像として前記被験者から表面反射光画像と内部反射光画像とを取得し、
    前記ヘモグロビン抽出手段は、取得された前記内部反射光画像から前記ヘモグロビン成分画像を抽出し、
    前記画像出力手段は、前記ヘモグロビン成分画像が置換された前記内部反射光画像と前記表面反射光画像とを合成して出力する請求項１ないし９の何れか一項に記載の画像処理装置。
11. 複数種類の成分画像を内包した被験者の肌の元画像を取得し、
    取得された前記元画像から前記成分画像の一つであるヘモグロビン成分画像を抽出し、
    抽出された前記ヘモグロビン成分画像の少なくとも一部の領域の画素強度を平滑化し、
    前記画素強度が平滑化された前記ヘモグロビン成分画像を前記元画像のヘモグロビン成分画像と置換し、
    前記ヘモグロビン成分画像が置換された前記元画像を評価画像として出力する画像処理方法。
12. 前記ヘモグロビン成分画像から一部の領域を部分画像として抽出し、
    抽出された前記部分画像の前記画素強度を平滑化し、
    前記画素強度が平滑化された前記部分画像を前記ヘモグロビン成分画像の抽出位置に再度配置する請求項１１に記載の画像処理方法。
13. 前記被験者ごとに複数の前記元画像または複数の前記評価画像を記憶し、
    前記被験者の前記評価画像と前記元画像とを並列出力する請求項１１または１２に記載の画像処理方法。
14. 第一の時点において撮影された前記被験者の肌の前記元画像について前記ヘモグロビン成分画像を置換して出力された前記評価画像と、前記第一の時点よりも後の第二の時点において撮影された前記被験者の肌の前記元画像と、を並列出力する請求項１３に記載の画像処理方法。
15. 前記第一の時点において撮影された前記被験者の肌の前記元画像を、さらに並列出力する請求項１４に記載の画像処理方法。