JP2022032564A - 皮膚の画像形成方法 - Google Patents

Abstract

【課題】偏光を用いて内部反射光画像を形成するにあたり、環境光の影響が内部反射光画像に現れないようにする。【解決手段】環境光下において照明用偏光フィルタ２を通して照明光Ｌ1を皮膚Ｓに照射し、受光用偏光フィルタ４を通して皮膚Ｓを撮像することにより照明光有り偏光画像を形成し、前記環境光下において照明光Ｌ1を照射せずに受光用偏光フィルタ４を通して前記皮膚Ｓを撮像することにより照明光無し偏光画像を形成し、照明光有り偏光画像と照明光無し偏光画像との差分画像を形成し、該差分画像を用いて皮膚画像を形成する画像形成方法である。ここで、照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明光Ｌ1を皮膚Ｓに照射する。【選択図】図１

Description

本発明は、皮膚に含まれる色素成分の濃度画像又は皮膚の表面反射光画像を形成する皮膚の画像形成方法及びシステムに関する。

皮膚の色がメラニン含量とヘモグロビン含量の影響を受けることが知られている。例えば、褐色の皮膚はメラニン含量が多く、白っぽい皮膚はメラニン含量が少ない。血色のよい皮膚はヘモグロビン含量が多く、血色の悪い皮膚はヘモグロビン含量が少ない。シミではメラニンが局所的に増加しており、紅斑ではヘモグロビンが局所的に増加している。

本出願人は、被験者の皮膚を撮影するにあたり、皮膚に照明用偏光板を通して照明光を照射し、該照明用偏光板と偏光方向の異なる受光用偏光板を通して反射光を受光することにより皮膚の表面で反射された光を除去し、皮膚の内部で反射された光を使用することで内部反射光画像を形成し、内部反射光画像に対して独立成分分析に基づく色素分析を行い、メラニンの濃度画像とヘモグロビンの濃度画像を形成することを提案している（特許文献１）。

この独立成分分析に基づく色素分析は、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとしてモデル化し、各層から独立的にLambert－Beerの法則に基づいて色素成分の信号が発せられ、それらが混合したものが画像信号になっているとして、画像信号から各層の色素成分の信号を分離抽出する方法である（「肌画像の独立成分分析に基づく顔色の変化予測」1997年日本光学会講演予稿集30aE02および「肌の色素成分に基づく顔色合成とその評価」カラーフォーラムＪＡＰＡＮ２０００第５～８頁)。

より具体的には、内部反射光画像におけるある点ｐの画素値Ｒ，Ｇ，Ｂの逆数の対数ｒ，ｇ，ｂ（即ち、ｒ＝log(1/R）、ｇ＝log(1/G)、ｂ＝log(1/B))をそれぞれ直交座標のｘ軸、ｙ軸、ｚ軸に割り当て、皮膚の平坦部分の肌色の画素値を色空間ｒ，ｇ，ｂにマッピングすると肌色分布面はほぼ平面状になる。この肌色分布面は、メラニンベクトルとヘモグロビンベクトルの合成ベクトルであると考えられる。そこで、個々の被験者の皮膚の内部反射光画像の信号からヘモグロビンベクトル又はメラニンベクトルを表す信号を抽出し、ヘモグロビン成分量又はメラニン成分量の分布を意味するヘモグロビンの濃度画像又はメラニンの濃度画像を出力する。

ここで、皮膚に起伏や照明ムラのある場合には、予め取得した光源成分のベクトルの方向に沿って、皮膚の肌色のベクトルをメラニンベクトル及びヘモグロビンベクトルの平面上に射影して陰影成分を除去し、ヘモグロビンの濃度画像又はメラニンの濃度画像を得る（特許文献２）。

このような解析処理と画像処理の詳細はVol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、AdobePhotoshop）を搭載することにより行うことができる。

特許３８７７９５９号公報 特許４０９８５４２号公報

しかしながら、特許文献１に記載のように偏光板を用いて内部反射光画像を形成しても、さらには特許文献２に記載のように内部反射光画像から陰影成分を除去しても、内部反射光画像の形成時に照明光以外の光（以下、環境光という）が皮膚にあたると、皮膚の表面及び内部で反射した環境光由来の光の一部が受光用偏光板を通り抜けてしまい、内部反射光画像に環境光による反射光が映り込むという問題が生じる。

この映り込みを解消するためには、暗室や環境光を遮る筐体内で撮像することが必要となる。そのため、例えば、店頭で化粧アドバイザーが顧客の顔の内部反射光画像を撮り、メラニン濃度の分布を説明し、顧客に好適な化粧方法をアドバイスしようとしても、店頭には通常暗室や環境光を遮る筐体が無いため、皮膚の精確な内部反射光画像を提示することができない。

これに対し、本発明の課題は、偏光を用いて皮膚の内部反射光画像を形成するにあたり、暗室や環境光を遮る筐体の有無に関わらず、環境光の影響が内部反射光画像に現れないようにすること、より具体的には環境光の皮膚の表面及び内部での反射光が内部反射光画像に映り込まないようにすることに関する。

本発明者は、環境光下で照明光として皮膚に特定の強さの偏光を照射し、偏光板を通して皮膚の偏光画像を形成すると共に、環境光下で照明光なしで前記偏光板を通して皮膚の偏光画像を形成し、照明光を用いて形成した偏光画像から、照明光なしで形成した偏光画像を差し引いて差分画像を形成すると、この差分画像では環境光の反射光の影響が相殺されて現れないこと、したがって、環境光による反射光の映り込みがない皮膚の内部反射光画像や表面反射光画像を形成するには、この差分画像を使用することが有効であることを想到し、本発明を完成させた。

即ち、本発明は、環境光下において照明用偏光フィルタを通して照明光を皮膚に照射し、受光用偏光フィルタを通して皮膚を撮像することにより偏光画像（以下、照明光有り偏光画像という）を形成し、
前記環境光下において照明光を照射せずに受光用偏光フィルタを通して前記皮膚を撮像することにより偏光画像（以下、照明光無し偏光画像という）を形成し、
照明光有り偏光画像と照明光無し偏光画像との差分画像を形成し、
該差分画像を用いて皮膚画像を形成する画像形成方法であって、
照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明光を照射する皮膚の画像形成方法を提供する。

また本発明は、照明手段、デジタルカメラ、及び演算手段を備え、照明手段の前面に照明用偏光フィルタを有すると共に、デジタルカメラの撮像用レンズの前面に受光用偏光フィルタを有し、
デジタルカメラは、照明手段が皮膚に照明光を照射すると、受光用偏光フィルタを通して該皮膚を撮ることにより照明光有り偏光画像を形成すると共に、照明手段が照明光を照射しない状態で受光用偏光フィルタを通して該皮膚を撮ることにより照明光無し偏光画像を形成し、
演算手段が、照明光有り偏光画像と照明光無し偏光画像の差分画像を形成し、
該差分画像を用いて皮膚画像を形成する画像形成システムであって、
照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明手段が照明光を皮膚に照射する画像形成システムを提供する。

本発明によれば、環境光下において照明光を皮膚に照射して得た偏光画像と、環境光下において照明光を照射せずに得た偏光画像との差分画像を使用するので、皮膚の内部反射光画像や表面反射光画像において環境光による反射光の映り込みをなくすことができる。

特に、内部反射光画像を得る場合には、照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせた場合において、照明光を照射して得た偏光画像と、照明光を照射せずに得た偏光画像の差分画像があればよい。このため、内部反射光画像を得るための撮像行為としては照明光の照射の有無を切り替えるだけで足る。

したがって、本発明によれば、店頭、化粧品ユーザーの自宅、会議室等の任意の場所で、暗室や環境光を遮る筐体を使用することなく、環境光による反射画像の映り込みの無い内部反射光画像に基づいてメラニン、ヘモグロビン等の皮膚の色素成分の濃度画像を精確にかつ簡便に形成することができ、また、表面反射光画像も同様に精確に形成することができる。よって、店頭等において美容アドバイザーが顧客に、メラニン、ヘモグロビン等の皮膚の色素成分の精確な濃度画像に基づいて美容アドバイスをすることが可能となり、また、顧客が自宅などで自らを撮影することで差分画像が形成され、差分画像に基づいて皮膚の色素成分の濃度画像が形成され、その濃度画像に基づいて美容アドバイザーが顧客に美容アドバイスを提供することも可能となる。

図１は、実施例の画像形成方法の流れの概要を示す模式図である。 図２は、実施例の画像形成システム１００Ａの模式的構成図である。 図３は、皮膚と照明手段と受光手段の好ましい位置関係の説明図である。 図４は、スマートフォンを用いた画像形成システム１００Ｂの平面図である。 図５は、スマートフォンを用いた画像形成システム１００Ｃの平面図及び側面図である。 図６は、スマートフォンを用いた画像形成システム１００Ｄの平面図である。 図７は、スマートフォンを用いた画像形成システムにおけるフローチャートである。 図８Ａは、試験例で用いた装置の構成図である。 図８Ｂは、関心領域を示した顔画像の正面図である。 図９は、試験例で照明手段として用いた蛍光灯の点灯モードの説明図である。 図１０は、試験例１における内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像である。 図１１は、試験例２における内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像である。 図１２Ａは、試験例３～試験例７における内部反射光画像である。 図１２Ｂは、試験例３～試験例７におけるヘモグロビン濃度画像である。 図１２Ｃは、試験例３～試験例７におけるメラニン濃度画像である。

以下、本発明を、図面を参照しつつ詳細に説明する。なお、各図中、同一符号は同一または同等の構成要素を表している。

（皮膚画像形成方法）
図１は、本発明の一実施例の画像形成方法の流れの概要を示しており、図２はこの画像形成方法を実施する画像形成システムの模式的構成図である。

本発明の方法では、偏光を使用して皮膚の内部反射光画像を得、内部反射光画像から独立成分分析に基づく色素分析等などによりメラニン、ヘモグロビン等の皮膚の色素成分の濃度画像を形成する公知の手法と同様に、照明用偏光フィルタを通して皮膚に照明光を照射し、その皮膚を、受光用偏光フィルタを通してデジタルカメラで撮像する。しかし、本発明においては、皮膚の色素成分の濃度画像において環境光による皮膚の表面及び内部の反射光の映り込みをなくすため、内部反射光画像を、次のように差分画像として形成することを特徴としている。

本実施例の方法では、まず、図１の工程１に示すように、天井照明１等の室内照明や外光などにより形成される環境光の下で照明用偏光フィルタ２を通して照明手段３により照明光Ｌ1を皮膚Ｓに照射し、受光用偏光フィルタ４を通して皮膚Ｓをデジタルカメラ５で撮像することにより照明光有り偏光画像Ａを得る。

この場合、照明光用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を互いに異ならせておく。例えば図１の工程１に示すように、照明用偏光フィルタ２を通る光を縦偏光と（振動電場が鉛直方向に振動する偏光）し、受光用偏光フィルタ４を通る光を横偏光（振動電場が水平方向に振動する偏光）とする。なお、本発明において照明用偏光フィルタ２の偏光方向は縦偏光及び横偏光のいずれでもよい。

また、照明手段３としては白色光源を使用することが好ましい。ここで、白色光源とはＲＧＢの各波長帯に成分を有する光を発する光源をいう。白色光源の使用により、皮膚画像の画素を形成するＲ、Ｇ、Ｂの光源ごとに環境光の影響を低減させる場合に比して極めて簡便に環境光の影響を皮膚画像からなくすことができる。白色光源としては、撮影した肌画像についてオーバーフローしない範囲でＲＧＢいずれの画素値についてもダイナミックレンジを有効に活用できるように、ＲＧＢの波長間のバランスがある程度揃っているものが好ましい。

また、内部反射光画像から色素成分の濃度画像を得る場合には、皮膚Ｓにあたる照明光Ｌ1の強度にはムラがあってもよい。ホワイトバランスをとることで、色素成分の濃度画像に対する照明光の強度ムラの影響をなくすことができる。したがって、白色光源として、白色蛍光灯、白色ＬＥＤ等を関心領域の周囲に単数又は複数個を配置することができる。

照明手段３は、図３に示すように、皮膚Ｓに対する照明光Ｌ1の入射角ａが、好ましくは６０°以下となるように、より好ましくはできるだけ垂直入射に近くなるように設置する。これにより、皮膚Ｓを明るく照明することができ、皮膚Ｓの関心領域の色素成分の濃度画像をより精度良く形成することができる。これに対して、照明光Ｌ１の入射角ａが大きくなると色素成分の濃度画像において、色素の深さ情報のばらつきが大きくなりやすい。

また、照明手段３では、照明光の光量が可変であることが好ましい。本発明では、工程２で説明するように、工程１で撮る照明光有り偏光画像Ａの関心領域における画素値を、工程２で撮る照明光無し偏光画像Ｘの同領域の画素値の１１５％以上、好ましくは１３０％以上に調整するので、照明手段３において照明光の光量が可変であると、この調整が容易となる。

デジタルカメラ５としては、絞りとシャッタースピードをマニュアルで設定でき、ガンマ補正等の加工を行う前の画像（いわゆるＲＡＷデータ）を出力できるものが好ましい。
また、図３に示すようにデジタルカメラ５は、皮膚Ｓの関心領域の法線に対する光軸の角度ｂが６０°以下となるように設置することが好ましい。上述のように照明光の皮膚Ｓに対する入射角ａも６０°以下とすることが好ましいことから、デジタルカメラ５と照明手段３とは近接して設置することが好ましい。

一方、表面反射光画像を用いた評価を行う場合には、表面反射光は指向性が強いため、皮膚に光沢が現れる角度が含まれるように照明手段３とデジタルカメラ５を配置することが好ましい。

デジタルカメラ５の視野角に特に制限はない。画像の歪みを押さえる点では視野角が狭い方が好ましく、一方、カメラと測定対象の距離が近くても広い領域を撮影できるため装置を小型化できるという点では視野角が広い方が好ましい。

図２に示すように、照明手段３から照明光が出射され、照明用偏光フィルタ２を通った照明光Ｌ1が縦偏光であるとき、皮膚Ｓに入射した光（縦偏光）Ｌ1は、皮膚Ｓの表面で反射すると共に、皮膚Ｓの内部で散乱する。皮膚Ｓの表面で反射した表面反射光Ｌ2は入射時の偏光を維持しているので受光用偏光フィルタ４でカットされる。

一方、皮膚Ｓの内部で散乱し、皮膚から出射した内部反射光Ｌ3は偏光が失われて無偏光となり、縦偏光と横偏光が半々で存在すると考えることができるので、内部反射光Ｌ3の１／２が受光用偏光フィルタ４を通ることになる。

また、環境光が皮膚Ｓに入射すると、皮膚Ｓにおける表面反射光と内部反射光を合わせた環境光由来の光Ｌ0が受光用偏光フィルタ４に入射する。そのうちα×Ｌ0が横偏光、（１－α）×Ｌ0が縦偏光だとすると、α×Ｌ0が受光用偏光フィルタ４を通る。なお、環境光由来の光Ｌ0を無偏光とみなす場合には、受光用偏光フィルタ４を通る光には縦偏光と横偏光が１／２ずつ含まれると考えることができるが、本発明においては、環境光由来の光の偏光を正しく評価するため、環境光由来の光Ｌ0における横偏光成分の割合αを考慮することが好ましい。

デジタルカメラ５で形成される画像の画素値は、受光用偏光フィルタ４を通る光の光量に比例すると考えて良いから、以下の計算では計算を簡単にするため、受光用偏光フィルタ４を通る光の光量をデジタルカメラ５で形成される画像の画素値とする。このようにしても、計算される画像の画素値は、実際のデジタルカメラで形成される画像の画素値の定数倍となるだけであるため、色素濃度の分布を得る点からは問題がない。

内部反射光Ｌ3の強度をI₃、環境光由来の光Ｌ0の強度をＩ₀、環境光由来の光Ｌ0における横偏光成分の割合をαとすると、照明光有り偏光画像Ａの画素値Ｉ_Aは次式（１）で表される。
Ｉ_A＝(1/2)*Ｉ₃＋α*Ｉ₀ 式（１）

次に、図１の工程２に示すように、工程１と同じ環境光の下で、照明手段３のスイッチをＯＦＦとして照明光を照射せず、前記受光用偏光フィルタ４を通して皮膚Ｓをデジタルカメラ５で撮像することにより照明光無し偏光画像Ｘを得る。この照明光無し偏光画像Ｘは、上述の環境光由来の光Ｌ0が受光用偏光フィルタ４を通ることにより形成される画像であり、その画素値Ｉ_X は次式（２）で表される。
Ｉ_X＝α*Ｉ₀ 式（２）

そこで、同図の工程３に示すように、照明光有り偏光画像Ａと照明光無し偏光画像Ｘの差分画像Ｐを形成する。即ち、
差分画像Ｐ＝照明光有り偏光画像Ａ－照明光無し偏光画像Ｘ
である。この場合、照明光有り偏光画像Ａと照明光なし偏光画像Ｘとの位置合わせは、テンプレートマッチングなど画像処理の手法により行う。この照明光有り偏光画像Ａと照明光なし偏光画像Ｘは、照明手段３のＯＮ、ＯＦＦが異なるだけで、他の設定は変更することなく連続的に形成できるので、位置合わせも容易である。なお、位置合わせの精度を高める点から、照明光無し偏光画像Ｘを照明光有り偏光画像Ａに合わせることが好ましい。

差分画像Ｐの画素値をＩ_Pとすると
Ｉ_P＝(1/2)*Ｉ₃ 式（３）
よって、
I₃＝2*Ｉ_P

こうして、差分画像Ｐを形成することにより、環境光の影響を受けない内部反射光画像を形成することができる。

本発明においては、このように差分画像Ｐを形成するにあたり、照明光有り偏光画像Ａの関心領域における画素値が、工程２で撮る照明光無し偏光画像Ｘの同領域の画素値の１１５％以上、好ましくは１３０％以上となるように、工程１の照明光の光量を調整する。これにより、工程３で形成する差分画像Ｐにおいて、環境光による反射光の映り込みを低減ないし解消することができる。これに対し、この画素値の割合が小さすぎると、照明光有り偏光画像Ａと照明光無し偏光画像Ｘとの差分画像形成時に、これらの画像の微妙な位置ずれのために除去できなかった環境光の影響が相対的に大きくなり、環境光による反射光の映り込みを十分に解消することができない。一方、照明光が環境光に対して充分強い場合、環境光の寄与が相対的に小さくなるので差分画像を形成しなくても内部反射光画像における環境光の反射光の映り込みを実質的になくすことができ、差分画像を形成しない従来技術に対して本発明の優位性が発揮されにくくなる。したがって、差分画像を形成しない従来技術に対して本発明の優位性が発揮されるようにする点から上述の画素値の割合は、５００％以下とすることが好ましい。

ここで関心領域の選び方に特に制限はなく、例えば顔全体を関心領域としても構わないが、撮影条件の工夫などにより、関心領域の中に環境光による光沢が生じないようにしておくことが好ましい。

差分画像Ｐは、特許文献１に記載の内部反射光画像から環境光による反射光の映り込みをなくしたものに相当する。そこで、工程４では、演算手段６を用いて、差分画像に対して公知の独立成分分析、主成分分析等に基づいた色素分析を行うことによりメラニン、ヘモグロビン等の色素成分の濃度画像を形成する。こうして、本発明によれば色素成分の濃度画像において、環境光による反射光の映り込みをなくすことができる。

なお、工程４で色素成分の濃度画像を形成するときには、内部反射光画像における或点ｐの画素値Ｒ，Ｇ，Ｂの逆数の対数ｒ，ｇ，ｂをそれぞれ直交座標のｘ軸、ｙ軸、ｚ軸に割り当てるから、環境光の影響を受けない内部反射光画像を形成するために、Ｒ、Ｇ、Ｂごとに照明光有り偏光画像と照明光無し偏光画像を形成し、それらの差分画像を形成することも可能である。しかしながら、白色光源を使用すると、照明光有り偏光画像Ａの形成と、照明光無し偏光画像Ｘの形成を１回ずつ行って差分画像Ｐを形成するだけで環境光による反射光の影響を受けない内部反射光画像を形成することができる。したがって、照明光として白色光を使用することにより、環境光による反射光の影響を受けない内部反射光画像の形成が極めて容易となる。

一方、本発明において表面反射光画像を形成する場合には、工程１～工程３に加えて工程５～工程８を行う。工程５では、照明用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を揃える。例えば、受光用偏光フィルタ４の偏光方向を横偏光から縦偏光に変更し、偏光フィルタ２、４が通す光を縦偏光とする。そして、照明用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を揃える以外は、上述の照明光有り偏光画像Ａの形成と同様にして、工程１と同じ環境光の下で、照明光有り偏光画像Ｂを形成する。

なお、本発明では照明用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を揃えた偏光画像を形成する場合に、縦偏光として揃えてもよく、横偏光として揃えてもよい。ただし、偏光方向の切替操作は、照明光の偏光方向を一定に保持する点から、受光用偏光フィルタで行うことが好ましい。

工程５において、皮膚の表面反射光（縦偏光）Ｌ2、内部反射光（無偏光）Ｌ3、環境光由来の光Ｌ0は図２に示したのと同様に形成される。ただし、図１に示した工程１では受光用偏光フィルタ４が通す光が横偏光であるのに対し、工程５では縦偏光であるため、表面反射光Ｌ2の強度をI₂、内部反射光Ｌ3の強度をI₃とし、前述と同様に環境光由来の光Ｌ0の強度をＩ₀、環境光由来の光Ｌ0における横偏光成分の割合をαとすると、照明光有り偏光画像Ｂの画素値Ｉ_B（ここでも、照明光有り偏光画像Ａの場合と同様に、受光用偏光フィルタ４を通る光の光量をデジタルカメラ５で形成される画像の画素値とする）は次式（４）で表される。

Ｉ_B＝Ｉ₂＋(1/2)*Ｉ₃＋(１－α)*Ｉ₀ 式（４）
この(１－α)*Ｉ₀が、照明光有り偏光画像Ｂに占める環境光由来の光の強度である。

次に、工程６において、工程１と同じ環境光の下で、照明手段３のスイッチをＯＦＦとして照明光を照射せず、工程５で用いた受光用偏光フィルタ４を通して皮膚Ｓをデジタルカメラ５で撮像することにより照明光無し偏光画像Ｙを得、工程７において照明光有り偏光画像Ｂと照明光無し偏光画像Ｙの差分画像Ｑを得る。

工程７で得る差分画像Ｑの画素値をＩ_Qとすると、Ｉ_Qは次式（５）で表される。
Ｉ_Q＝Ｉ₂＋(1/2)*Ｉ₃ 式（５）

工程８では式（５）と前述の式（３）から表面反射光の強度Ｉ₂を次式で得る。
Ｉ₂＝Ｉ_Q－(1/2)*Ｉ₃＝Ｉ_Q－I_P

こうして本発明によれば、環境光の影響を受けない表面反射光画像も容易かつ簡便に形成することができる。

（画像形成システム）
本発明の画像形成システムは、上述の工程１～工程４により皮膚の色素濃度画像を形成し、さらには工程５～工程８により皮膚の表面反射光画像を形成することを可能とする。図２に示した実施例の画像形成システム１００Ａは、上述した照明手段３、デジタルカメラ５、照明用偏光フィルタ２、受光用偏光フィルタ４を備え、さらにパーソナルコンピュータ等の演算手段６を備える。

なお、受光用偏光フィルタ４は装着の向きが可変であり、それにより照明用偏光フィルタ２の偏光方向に対して受光用偏光フィルタ４の偏光方向を異ならせたり、揃えたりすることができる。図２には、照明用偏光フィルタ２が縦偏光を通し、受光用偏光フィルタ４が横偏光を通す状態を示している。これに対し、照明用偏光フィルタ２の偏光方向を横とし、受光用偏光フィルタ４の偏光方向を縦としてもよい。

演算手段６は画像処理を行うアプリケーションを搭載しており、差分画像Ｐ、差分画像Ｑの形成や、差分画像Ｐ、差分画像Ｑから算出される内部反射光画像、表面反射光画像を形成することができる。

また、演算装置６には、独立成分分析、主成分分析等に基づいて色素分析を行うアプリケーションも搭載しており、内部反射光画像に対して色素分析を行うことにより色素成分の濃度画像としてヘモグロビン濃度画像、メラニン濃度画像等を形成することができる。

さらに、演算手段６が画像情報の記憶手段及び通信手段を備え、演算手段６で形成されたヘモグロビン濃度画像、メラニン濃度画像等を外部の美容アドバイザー等に送信できるようにしてもよい。

また、演算装置６が、前述の工程１～工程４で色素成分の濃度画像を形成する演算処理及び工程５～工程８で表面反射光画像を形成する演算処理を自動で行えるように、照明手段３及びデジタルカメラ５の動作、並びに照明用偏光フィルタ２または受光用偏光フィルタ４の偏光方向を演算手段６が制御してもよい。

この場合、照明手段３が発する照明光の強度と、照明光有り偏光画像Ａの関心領域における画素値との関係、及び照明光無し偏光画像Ｂの同領域における画素値は予め調べられており、照明光有り偏光画像Ａの関心領域における画素値が、照明光無し偏光画像Ｂの同領域における画素値の１１５％以上、好ましくは１３０％以上となるように、予め照明手段３が発する照明光の強度を演算手段６に記憶させておき、演算装置６はその強度となるように照明手段３を点灯する。

（画像形成システムの変形態様）
図４に示す本発明の画像形成システム１００Ｂは、照明手段３、デジタルカメラ及び演算装置として、これらが一体化されているスマートフォン７を使用し、スマートフォン７に照明用偏光フィルタ２と受光用偏光フィルタ４を着脱自在に装着したものである。

図４において、符号４は、デジタルカメラの撮像用レンズ５ａの前面に装着された受光用偏光フィルタであり、符号２はデジタルカメラのライト３ａ（照明手段）の前面に装着された照明用偏光フィルタである。

図５に示す画像形成システム１００Ｃは、デジタルカメラ及び演算装置としてこれらが一体化されているスマートフォン７を使用し、照明手段として、デジタルカメラの撮像用レンズ５ａを囲むリング状照明３ｂを設け、撮像用レンズ５ａの前面に受光用偏光フィルタ４を設けたものである。リング状照明３ｂの前面にはリング状照明を覆うリング状の照明用偏光フィルタ２が設けられている。このように外付けの照明を使用することにより容易に照明光の光量を高めることができるので、照明光有り偏光画像の関心領域における画素値を、照明光無し偏光画像の同領域における画素値の１１５％以上、好ましくは１３０％以上とすることが容易となる。

図６に示す画像形成システム１００Ｄは、図５に示した画像形成システム１００Ｃのリング状照明３ｂに代えて、矩形の外付け照明３ｃを使用し、その前面に照明用偏光フィルタ２を設けたものである。このような外付け照明３ｃとしては携帯性に優れたものを使用できるので、可搬性に優れたシステムを構築することができる。

図４～図６に示したスマートフォン７を用いた画像形成システム１００Ｂ、１００Ｃ、１００Ｄにおいて本発明の画像形成方法を実施する場合、スマートフォン７に本発明の画像形成方法を行うためのアプリケーションをインストールしておくことが好ましい。

図７は、スマートフォン７を用いた画像形成システム１００Ｂにおいて、アプリケーションを用いて皮膚の色素成分の濃度画像を得る場合の動作のフローチャートの例である。

このフローチャートでは、まず、アプリケーションが起動されると、カメラ及び照明の設定が初期化され、撮影フローに入る。初期化の工程中に、照明用偏光フィルタと受光用偏光フィルタの装着、カメラの絞り、及びシャッタースピードの設定の確認が行われる。そして、操作者が撮影スタートのボタンをクリックすることを待機する撮影スタートの待機状態となる。

操作者がスタートボタンをクリックすると、ライト３ａがつき、皮膚Ｓが撮影され照明光有り偏光画像Ａが形成される。引き続きライト３ａが消灯し、再度皮膚Ｓが撮影されて照明光無し偏光画像Ｘが形成される。次に、こうして形成された照明光有り偏光画像Ａと照明光無し偏光画像Ｘの関心領域の画素値のレンジ判定（即ち、照明光有り偏光画像Ａの関心領域における画素値が、照明光無し偏光画像Ｘの同領域における画素値の１１５％以上であるか否か）が行われる。このレンジ判定で、「不適」となった場合には、再撮影のメッセージがスマートフォンに表示され、露出条件が変更され、カメラ及び照明の設定が初期化され、再度撮影スタートの待機状態となる。
一方、レンジ判定で「適」となると画像処理フローに進む。

画像処理フローでは、撮影した画像の画素値が受光用偏光フィルタ４を通った光の光量に比例した値になるように、照明光有り偏光画像Ａと照明光無し偏光画像Ｘの画素値を変換するリニア変換を行う。

次に、照明光有り偏光画像Ａと照明光無し偏光画像Ｘの位置合わせを行う。この場合、補間により生じる誤差を最小化する観点から、照明光無し偏光画像Ｘを照明光有り偏光画像Ａに合わせることが好ましく、位置合わせ後の照明光無し偏光画像Ｘ’を形成する。

次に、差分画像Ｐ、即ち、［照明光有り偏光画像Ａ－位置合わせ後の照明光無し偏光画像Ｘ’］を形成する。そして、差分画像Ｐに対してホワイトバランス補正を行い、このホワイトバランス補正後の差分画像Ｐ’の画素値Ｒ，Ｇ，Ｂの逆数の対数ｒ，ｇ，ｂに対して独立成分分析に基づく色素分析を行うことによりヘモグロビン濃度画像、メラニン濃度画像等の色素成分濃度画像が形成される。

こうして形成されたヘモグロビン濃度画像、メラニン濃度画像がディスプレイに結果表示される。結果表示画面では、美容アドバイスが表示されるようにしてもよい。美容アドバイスの表示は、予め構築しておいたヘモグロビン濃度画像又はメラニン濃度画像と美容アドバイスとを対応づけるデータベースに基づいて行う。

なお、スマートフォンを用いて表面反射光画像もディスプレイに表示させる場合には、上述の照明光無し偏光画像Ｘの形成後に受光用偏光フィルタの偏光方向を横偏光から縦偏光に変更する。この受光用偏光フィルタの偏光方向の変更は、撮影者が偏光フィルタを手動で付け替える方法、２種の偏光板を電動でスライドさせる等のメカニカルな方法、偏光ローテーターの利用等により行う。

次に、照明用偏光フィルタの偏光方向を縦偏光とし、受光用偏光フィルタの偏光方向を横偏光とした場合と、照明用偏光フィルタと受光用偏光フィルタの双方とも縦偏光とした場合のそれぞれについて画素値のレンジ判定を行い、適となった場合に撮影条件を確定し、照明用偏光フィルタの偏光方向を縦偏光とし、受光用偏光フィルタの偏光方向を横偏光とした場合と、照明用偏光フィルタと受光用偏光フィルタの双方とも縦偏光とした場合のそれぞれについて前述と同様に画像処理フローを進行させ、ホワイトバランス補正後の差分画像Ｐ’、Ｑ’を形成し、差分画像Ｐ’から色素成分画像を形成し、差分画像Ｐ’、Ｑ’から表面反射光画像を形成し、色素成分画像と表面反射光画像をディスプレイに表示させる。

以下、実施例に基づいて本発明を具体的に説明する。
照明光の強度と環境光の強度の好ましい比率を調べるため、図８Ａに示すように、被験者の着座部８の前方にデジタルカメラ５と照明用偏光板９を設置し、照明用偏光板９の背面に照明手段３を取り付けた装置１０を室内に設けた。この場合、デジタルカメラの撮像用レンズ５ａが被験者の顔の関心領域Ｓの正面になるように配置し、その撮像用レンズ５ａと関心領域Ｓとの距離ｘを６８ｃｍとした。また、関心領域Ｓは、図８Ｂに示すように被験者の目の下と頬の境目付近の１０ｍｍ×１０ｍｍの領域とした。

照明手段３としては、撮像用レンズ５ａの周りに４本の直管型の白色蛍光灯（４０Ｗ）３ｄを矩形に配置したものを三重に設け（合計１２本）、撮像用レンズ５ａを挟んで対向する白色蛍光灯同士の距離ｙを７７ｃｍとした。また、撮像用レンズ５ａの真上にある白色蛍光灯３ｄの中心から皮膚の関心領域Ｓに向かう線と撮像用レンズ５ａから皮膚の関心領域Ｓに向かう線の成す角ａを３０°とした。

この１２本の蛍光灯３ｄは、図９に示すように（１）～（５）の５通りのモードで点灯させた。なお、同図において実線で示した蛍光灯３ｄは点灯している蛍光灯、破線で示した蛍光灯３ｄは消灯している蛍光灯を表している。

（１）１２本の全ての蛍光灯を点灯
（２）外側の２重の蛍光灯（合計８本）を点灯
（３）最も外側の蛍光灯（合計４本）を点灯
（４）最も外側の蛍光灯であって、撮像用レンズ５ａの左右両側にあるもの（合計２本）を点灯
（５）最も外側の蛍光灯であって、撮像用レンズ５ａの真上にある１本を点灯

照明用偏光板９の偏光方向は縦偏光とし、撮像用レンズ５ａの前面には横偏光を通す受光用偏光フィルタ４を設けた。

また、環境光としてスポットライト１１を用意し、スポットライト１１の光が顏正面にあたるように設置した。

環境光の有無、照明手段を構成する１２本の蛍光灯３ｄの点灯モードを変えて次の試験例１～７を、外光を遮蔽した撮影ブース内で行った。

試験例１
環境光（スポットライト１１）を点灯した状態で、照明手段３の点灯モードを（１）として被験者の顔画像を撮り、内部反射光画像を形成し、さらに内部反射光画像から独立成分分析に基づく色素分析によりヘモグロビン濃度画像及びメラニン濃度画像を形成した。結果を図１０に示す。

内部反射光画像に、環境光が皮膚表面で反射していることによる光沢が見られ、内部反射光画像におけるこの光沢部分がメラニン画像で白抜けになっていることがわかる。

試験例２
スポットライト１１を消灯して環境光が無い状態とし、試験例１と同様にして内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像を形成した。結果を図１１に示す。
この内部反射光画像には環境光による光沢部分が無く、ヘモグロビン濃度画像にもメラニン濃度画像にも環境光による影響が現れていない。このようなヘモグロビン濃度画像やメラニン濃度画像を、環境光が存在する状況下で簡便に取得できるようにすることが以下の試験例での目標となる。

試験例３～７
環境光がある状態で照明光の点灯モードを（１）～（５）とし、本発明の方法により差分画像を形成し、差分画像から内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像を形成した。結果を図１２Ａ、図１２Ｂ、図１２Ｃに示す。

図１２Ａから、試験例３（照明光の点灯モード(1)）、試験例４（照明光の点灯モード(2)）の内部反射光画像は、環境光が無い試験例２の内部反射光画像と略同様の画像となっており、試験例５（照明光の点灯モード(3）)の内部反射光画像も、環境光による反射が強い部分を除くと試験例２の内部反射光画像と略同様となっている。これに対し、試験例６（照明光の点灯モード(4)）では瞼で環境光によるノイズが大きくなり、試験例７（照明光の点灯モード(5)）ではノイズが関心領域を含む顔全体に及び、特に瞼におけるノイズが細かく激しい明暗の変化となって強く現れていることがわかる。

図１２Ｂから、ヘモグロビン濃度画像におけるノイズは、内部反射光画像に生じていたノイズと略一致している。試験例６のノイズは実際上の許容範囲内であるが、試験例７（照明光の点灯モード(5)）にはそれを越える強いノイズが現れていることがわかる。

図１２Ｃから、メラニン濃度画像におけるノイズも、内部反射光画像に生じていたノイズと略一致している。試験例６のノイズは実際上の許容範囲内であるが、試験例７（照明光の点灯モード(5)）には強いノイズが現れていることがわかる。

試験例３～７について、図８Ｂに示した関心領域Ｓにおける、照明光有り偏光画像Ａと、照明光無し偏光画像Ｘの画素値Ｒ、Ｇ、Ｂの平均値を求めた。結果を表１に示す。

また、試験例３～試験例７において、照明手段３で照射されている関心領域Ｓの照度を計測し、内部反射光画像（図１２Ａ）の画質と色素成分濃度画像（図１２Ｂ、図１２Ｃ）の解析品質とを次の基準で評価した。結果を表２に示す。
なお、試験例３～７において、照明手段３を消灯し、関心領域Ｓが環境光だけで照らされている状態の照度も測定した。その平均は４６１Ｌｘであった。

内部反射光画像の画質の評価基準
○：ノイズは抑制されており目視では試験例２の内部反射光画像との相違を確認できない
△：試験例２の内部反射光画像に対してノイズが若干のっているのが目視で確認できる
×：ノイズが大きく試験例２の内部反射光画像との乖離が認められる

色素成分濃度画像の解析品質の評価基準
○：ノイズは抑制されており目視では試験例２のヘモグロビン濃度画像又はメラニン濃度画像との相違を確認できない
△：試験例２のヘモグロビン濃度画像又はメラニン濃度画像に対してノイズが若干のっているのが目視で確認できる
×：ノイズが大きく試験例２のヘモグロビン濃度画像又はメラニン濃度画像との乖離が認められる

表２の試験例３～試験例７における照度の大小関係は、表１の試験例３～７の照明光有り偏光画像の画素値における大小関係と整合する。さらに表２によると、照明手段による照度が低下するにしたがって画質、解析品質が低下していることがわかる。

したがって、表１及び表２の結果から、照明光有り偏光画像Ａと、照明光無し偏光画像Ｘの比率Ａ／Ｘ（＝（Ａ－Ｘ）／Ｘ＋１００％）が、Ｒ、Ｇ、Ｂのそれぞれで１１５％以上、好ましくは１３０％以上であると内部反射光画像から環境光の影響を除去することができ、画質や解析品質が向上することがわかる。

１ 天井照明
２ 照明用偏光フィルタ
３ 照明手段
３ａ ライト
３ｂ リング状照明
３ｃ 外付け照明
３ｄ 蛍光灯
４ 受光用偏光フィルタ
５ デジタルカメラ
５ａ 撮像用レンズ
６ 演算手段
７ スマートフォン
８ 着座部
９ 照明用偏光板
１０ 装置
１１ スポットライト
１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ 画像形成システム
Ｌ0 環境光由来の光
Ｌ1 照明光
Ｌ2 表面反射光
Ｌ3 内部反射光
Ｓ 皮膚、関心領域

Claims (13)

1. 環境光下において照明用偏光フィルタを通して照明光を皮膚に照射し、受光用偏光フィルタを通して皮膚を撮像することにより偏光画像（以下、照明光有り偏光画像という）を形成し、
   前記環境光下において照明光を照射せずに受光用偏光フィルタを通して前記皮膚を撮像することにより偏光画像（以下、照明光無し偏光画像という）を形成し、
   照明光有り偏光画像と照明光無し偏光画像との差分画像を形成し、
   該差分画像を用いて皮膚画像を形成する画像形成方法であって、
   照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明光を照射する皮膚の画像形成方法。
2. 照明光有り偏光画像を、照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせて形成し、
   該照明光有り偏光画像の形成に使用した受光用偏光フィルタを使用して照明光無し偏光画像を形成し、
   差分画像から皮膚の色素成分の濃度画像を形成する請求項１記載の画像形成方法。
3. 照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせた場合と揃えた場合のそれぞれで差分画像を形成し、
   これらの差分画像を用いて皮膚の色素成分の濃度画像と表面反射光画像を形成する請求項１又は２記載の画像形成方法。
4. 受光用偏光フィルタの偏光方向を異ならせることにより、照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせた場合と揃えた場合を形成する請求項３記載の画像形成方法。
5. 照明光がＲＧＢの各波長帯に成分を有する光である請求項１～４のいずれかに記載の画像形成方法。
6. 皮膚の色素成分の濃度画像としてヘモグロビン又はメラニンの濃度画像を形成する請求項２～５のいずれかに記載の画像形成方法。
7. 照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１３０％以上となるように照明光の光量を調整する請求項１～６のいずれかに記載の画像形成方法。
8. 照明手段、デジタルカメラ、及び演算手段を備え、照明手段の前面に照明用偏光フィルタを有すると共に、デジタルカメラの撮像用レンズの前面に受光用偏光フィルタを有し、
   デジタルカメラは、照明手段が皮膚に照明光を照射すると、受光用偏光フィルタを通して該皮膚を撮ることにより照明光有り偏光画像を形成すると共に、照明手段が照明光を照射しない状態で受光用偏光フィルタを通して該皮膚を撮ることにより照明光無し偏光画像を形成し、
   演算手段が、照明光有り偏光画像と照明光無し偏光画像の差分画像を形成し、
   該差分画像を用いて皮膚画像を形成する画像形成システムであって、
   照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明手段が照明光を皮膚に照射する画像形成システム。
9. 照明用偏光フィルタと受光用偏光フィルタの偏光方向が異なる場合に、
   演算手段が、皮膚画像として、皮膚の色素成分の濃度画像を形成する請求項８記載の画像形成システム。
10. 照明手段が、デジタルカメラの撮像用レンズを囲むリング状照明である請求項８又は９記載の画像形成システム。
11. 受光用偏光フィルタの偏光方向が可変であり、
    演算手段が、照明用偏光フィルタと受光用偏光フィルタの偏光方向が異なる場合と揃っている場合のそれぞれにおいて差分画像を形成し、
    これらの差分画像を用いて皮膚画像として皮膚の色素成分の濃度画像と表面反射光画像を形成する請求項８～１０のいずれかに記載の画像形成システム。
12. 演算手段が、皮膚の色素成分の濃度画像としてヘモグロビン又はメラニンの濃度画像を形成する請求項９～１１のいずれかに記載の画像形成システム。
13. 照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１３０％以上となるように照明手段が照明光を皮膚に照射する請求項８～１２のいずれかに記載の画像形成システム。

Images