JP2016071868A - 毛領域検出装置及び毛領域検出方法 - Google Patents

Abstract

【課題】被写体の動きに追従して毛領域を動的に検出できる毛領域検出装置を提供する。【解決手段】毛領域検出装置は、第１の波長を有する第１の非可視光を、被写体に対して照射する第１の非可視光照射部と、第１の波長と異なる第２の波長を有する第２の非可視光を、被写体に対して照射する第２の非可視光照射部と、第１の非可視光が照射された状態で被写体の第１の画像を撮像し、第２の非可視光が照射された状態で被写体の第２の画像を撮像する撮像部と、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する領域検出部と、を備える。【選択図】図２

Description

本開示は、毛領域を検出する毛領域検出装置及び毛領域検出方法に関する。

従来、画像から髪領域を抽出する方法が知られている（特許文献１参照）。この方法では、顔と髪領域を含む元画像から、エッジが検出され、種々のエッジを形成するラインの方向と長さが保存され、同方向のラインが集中しているラインの束を用いて髪領域が抽出される。

特開２００５−３３９５２２号公報

特許文献１に記載された髪領域の抽出方法では、被写体の動きに追従して毛領域を動的に検出することが困難であった。

本開示は、上記事情に鑑みてなされたものであり、被写体の動きに追従して毛領域を動的に検出できる毛領域検出装置及び毛領域検出方法を提供する。

本開示の毛領域検出装置は、第１の波長を有する第１の非可視光を、被写体に対して照射する第１の非可視光照射部と、前記第１の波長と異なる第２の波長を有する第２の非可視光を、前記被写体に対して照射する第２の非可視光照射部と、前記第１の非可視光が照射された状態で前記被写体の第１の画像を撮像し、前記第２の非可視光が照射された状態で前記被写体の第２の画像を撮像する撮像部と、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する領域検出部と、を備える。

本開示の毛領域検出方法は、毛領域検出装置における毛領域検出方法であって、第１の波長を有する第１の非可視光を、被写体に対して照射し、前記第１の非可視光が照射された状態で前記被写体の第１の画像を撮像し、前記第１の波長と異なる第２の波長を有する第２の非可視光を、前記被写体に対して照射し、前記第２の非可視光が照射された状態でえ前記被写体の第２の画像を撮像し、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する。

本開示によれば、被写体の動きに追従して毛領域を動的に検出できる。

実施形態における毛領域検出装置の外観例を示す模式図 実施形態における毛領域検出装置の構成例を示すブロック図 実施形態における髪色指定入力インターフェイスの外観例を示す模式図 （Ａ）実施形態における各領域の分光反射特性を示すグラフ、（Ｂ）毛領域が検出された画像の表示例を示す模式図 実施形態における毛領域検出処理の一例を表すタイミングチャート 実施形態における毛領域検出処理の手順の一例を示すフローチャート 実施形態における毛領域検出処理の手順の一例を示すフローチャート（図６の続き） （Ａ）実施形態における元画像の表示例を示す模式図、（Ｂ）実施形態における毛髪領域の色を変化させた画像の表示例を示す模式図、（Ｃ）図８（Ｂ）に示す状態で、使用者が顔の向きを変えた場合の毛髪領域の色を変化させた画像の表示例を示す模式図

以下、本開示の実施形態について、図面を用いて説明する。

（本開示の一形態を得るに至った経緯）
特許文献１に記載された髪領域の抽出方法では、画像に対してエッジ検出するので、アルゴリズムが複雑となり、画像処理にかかる負荷が大きかった。このため、被写体が動き、被写体を含む画像が変化した場合、被写体の動きに追従するように髪領域を抽出することが困難であった。つまり、被写体の動きに合わせて髪領域が動的に変化することは困難であった。

以下、被写体の動きに追従して毛領域を動的に検出できる毛領域検出装置及び毛領域検出方法について説明する。

以下の実施形態の毛領域検出装置は、例えば、美容室において髪色（ヘアカラー）を変更する場合、髪色が変更されたイメージを表示する装置に適用される。

（実施形態）
図１は、実施形態における毛領域検出装置１０の外観例を示す模式図である。毛領域検出装置１０は、例えば、ディジタルミラー、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。ディジタルミラーは、例えば、化粧品売り場、ヘアケア製品売り場、美容室、ヘアサロンにおいて使用される。

毛領域検出装置１０の筐体１０ａの前面には、表示部３８、カメラ２２、第１の近赤外線投光器２１、及び第２の近赤外線投光器２３が配置される。後述するように、第１の近赤外線投光器２１及び第２の近赤外線投光器２３が、近赤外光を被写体に対して照射する。カメラ２２は、例えば、近赤外光の反射光又は自然光の反射光を結像させた画像を撮像する。表示部３８は、例えば、カメラ２２により撮像された被写体の画像を表示する。

図２は、毛領域検出装置１０の構成例を示すブロック図である。毛領域検出装置１０は、第１の近赤外線投光器２１、カメラ２２、第２の近赤外線投光器２３、第１の画像記憶部２６、第２の画像記憶部２７、カラー画像記憶部２８、毛髪領域判定部３０、毛髪領域記憶部３１、髪色指定入力インターフェイス３４、毛髪領域色変更部３５、及び表示部３８を有する。

カメラ２２（撮像部の一例）は、例えば、毛領域検出装置１０と向かい合う被写体（例えば人物の顔、全身）を撮像する。カメラ２２は、例えば、第１の近赤外線投光器２１又は第２の近赤外線投光器２３により近赤外光が照射された状態又は照射されていない状態で、被写体を撮像する。

カメラ２２は、例えば、撮像面に入射した光の光学像を電気信号に変換するＲＧＢ−ＩＲイメージセンサを有する。ＲＧＢ−ＩＲイメージセンサは、可視光から近赤外光まで受光可能である。

ＲＧＢ−ＩＲイメージセンサは、例えば、ベイヤ配列からなるＲ（赤色成分）、Ｇ（緑色成分）、Ｂ（青色成分）及びＩＲ（赤外線）のフィルタが前面に配置された撮像素子を有する。

ＲＧＢ−ＩＲイメージセンサは、例えば、Ｒ（赤色成分）、Ｇ（緑色成分）、Ｂ（青色成分）のフィルタが前面に配置された撮像素子を有してもよい。ＲＧＢのフィルタの前面には、ＩＲカットフィルタが配置され得る。ＩＲカットフィルタは、例えば、昼間は撮像素子の前面に配置され、夜間は撮像素子の前面から取り除かれる。

撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサイメージセンサ、又は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、を含む。

第１の近赤外線投光器２１は、被写体に向けて第１の赤外光（例えば、近赤外光、波長８５０ｎｍの光）を投射する。赤外光、近赤外光は、非可視光の一例である。第１の近赤外線投光器２１は、非可視光照射部の一例である。

第２の近赤外線投光器２３は、被写体に向けて第２の赤外光（例えば、近赤外光、波長９４０ｎｍの光）を投射する。第２の近赤外線投光器２３は、非可視光照射部の一例である。

第１の画像記憶部２６は、第１の近赤外光が照射された状態で、カメラ２２により撮像された画像（第１の画像の一例）を記憶する。

第２の画像記憶部２７は、第２の近赤外光が照射された状態で、カメラ２２により撮像された画像（第２の画像の一例）を記憶する。

カラー画像記憶部２８は、近赤外光が照射されない状態で、カメラ２２により撮像されたカラー画像（第３の画像の一例）を記憶する。

毛髪領域判定部３０は、第１の画像記憶部２６に記憶された画像、及び、第２の画像記憶部２７に記憶された画像を用いて、画素毎に対象の画素が毛髪領域に含まれるか否かを判定する。毛髪領域判定部３０は、領域検出部の一例である。

毛髪領域判定部３０は、例えば、第２の近赤外光が照射された状態で撮像された画像の画素値から、第１の近赤外光が照射された状態で撮像された画像の画素値を減算する。この減算は、両画像における同じ画素位置において行われる。

毛髪領域記憶部３１は、例えば、毛髪領域に含まれる画素位置を、座標（ＰＯＳ（Ｘ），ＰＯＳ（Ｙ））として記憶する。

髪色指定入力インターフェイス３４は、毛髪領域色変更部３５と有線又は無線により接続され、毛髪領域色変更部３５に対し、髪色等の情報を指示する。

毛髪領域色変更部３５は、髪色指定入力インターフェイス３４によって色が指定された場合、表示部３８に表示される毛髪領域の色を変更する。毛髪領域色変更部３５は、表示制御部の一例である。

表示部３８は、例えば、カラー画像記憶部２８に記憶されたカラー画像である元画像７１（例えば図８（Ａ）参照）を表示する。表示部３８は、例えば、毛髪領域７３Ａの色が変更された画像７３（例えば図８（Ｂ）、（Ｃ）参照）を表示する。表示部３８による表示の制御（例えば色の変更）は、毛髪領域色変更部３５により行われる。

次に、髪色指定入力インターフェイス３４を用いた毛髪領域の色変更について説明する。

図３は、髪色指定入力インターフェイス３４の外観例を示す模式図である。髪色指定入力インターフェイス３４は、例えば、カラーリングの色見本（色サンプル）を表示及び指定するためのタッチパネル３４ａを有する。

髪色指定入力インターフェイス３４は、例えばリモコンにより形成される。このリモコンは、例えば、毛領域検出装置１０の筐体１０ａの裏面に形成された凹部に収容かつ着脱自在な形状を有する。

例えば、ユーザは、タッチパネル３４ａの表示部に表示された複数の色見本５３のいずれかを指５１でタッチ操作する。この場合、タッチパネル３４ａの入力検出部（色指定部の一例）は、タッチ操作された色見本を受け付け、毛髪領域色変更部３５は、毛髪領域の色を変更する。

タッチパネル３４ａの画面には、複数の色見本５３として、例えば、アッシュ（Ａ）、ブラウン（Ｂｒ）、ベージュ（Ｂｅ）、イエロー（Ｙ）、オレンジ（Ｏ）、レッド（Ｒ）、ピンク（Ｐｉ）、パープル（Ｐｕ）が表示される。図３では、各色見本５３に表現されている模様は、異なる色であることを表す。

例えば、タッチパネル３４ａの画面に対し、指５１により、図３における左右方向にフリック操作又はスワイプ操作する。この場合、タッチパネル３４ａの入力検出部は、フリック操作又はスワイプ操作された色見本を受け付け、毛髪領域色変更部３５が、前の色見本又は次の色見本が反映された画像を表示部３８に表示させる。

尚、髪色指定入力インターフェイス３４は、別体であるリモコンとして構成されることを例示したが、毛領域検出装置１０の表示部３８をタッチパネルとし、その一部の領域を髪色指定入力インターフェイス３４として動作させてもよい。

このように、髪色指定入力インターフェイス３４を用いて色を指定することで、ユーザは、簡単に毛髪領域を所望の色に着色できる。また、表示された複数の色見本の中から所望の色見本を指定する場合、ユーザは、毛髪領域の着色の変更操作を簡単に行うことができる。

次に、毛領域検出装置１０の動作例について説明する。

まず、毛領域検出装置１０による毛領域検出方法の原理について説明する。図４（Ａ）は分光反射特性の一例を示すグラフである。この分光反射特性は、被写体における所定の素材（例えば肌、毛髪、綿（コットン））毎の、光の波長と光の反射率との関係性を示す。被写体が撮像された画像には、例えば、肌領域、毛髪領域、綿領域が含まれる。

図４（Ａ）のグラフの横軸は、光の波長を表す。ここでは、一例として、可視光である６００ｎｍから近赤外光である１１００ｎｍまでの範囲を示す。図４（Ａ）のグラフの縦軸は、光の反射率を表す。ここでは、０％から１００％の範囲を示す。カメラ２２により撮像される画像の画素値は、光の反射率に対応する値である。従って、光の反射率が高い被写体ほど、撮像画像の画素値は大きくなる。

図４（Ａ）では、毛髪、肌、綿の３つの素材の光の反射率が示される。毛髪の反射率を表す曲線ａでは、６００ｎｍ〜１１００ｎｍの範囲で、波長が長くなるにつれて徐々に反射率が大きくなる。毛髪の成分には、蛋白質が例えば８０〜９０％と多く含まれ、光の反射率を決定する要因となる。なお、人毛にかかわらず、動物の毛も同様の反射率を有する。

肌の反射率を表す曲線ｂでは、６００ｎｍ〜１１００ｎｍの範囲で、波長が短い側から順に、反射率が上昇から下降、再び上昇と変動する。

綿の反射率を表す曲線ｃでは、６００ｎｍ〜１１００ｎｍの範囲において、６００ｎｍ〜８５０ｎｍの範囲では波長が長くなるにつれて反射率は上昇し、８５０ｎｍ〜１１００ｎｍの範囲では反射率に大きな変化は無く、ほぼ一定である。なお、素材として、綿は、例えば衣服又は撮像画像の背景を含む。

例えば、人物の顔近傍を被写体として捉えた場合、カメラ２２により撮像される画像には、毛髪、肌、及び綿に近い素材が映り込むと考えられる。上記分光反射特性を加味し、例えば、８５０ｎｍの近赤外光と９４０ｎｍの近赤外光とにより被写体が照射されたとする。この場合、毛髪では、９４０ｎｍの反射率から８５０ｎｍの反射率が差し引かれると、その差分値は正の値となる。また、肌では、９４０ｎｍの反射率から８５０ｎｍの反射率が差し引かれると、その差分値は負の値となる。また、綿では、９４０ｎｍの反射率から８５０ｎｍの反射率が差し引かれると、その差分値はほぼ値０となる。

尚、綿では、例えば、７００ｎｍから８５０ｎｍにかけて、反射率の差分値が正の勾配を持つので、より高精度に毛髪領域を検出するために、８５０ｎｍ以上の波長を有する光を用いることが望ましい。

毛髪領域判定部３０は、例えば、９４０ｎｍの近赤外光を照射して撮像された画像の画素値から、８５０ｎｍの近赤外光を照射して撮像された画像の画素値を差し引いた差分値が、正の値である場合、その画素が毛髪領域に含まれると判定する。毛髪領域判定部３０は、この判定を、撮像画像中の全ての画素（領域）に対して行うことで、毛髪領域を検出する。

尚、毛髪領域判定部３０は、差分値が正の値であり、かつ、差分値が所定の閾値を超える場合に、その画素が毛髪領域に含まれると判定してもよい。上記所定の閾値は、例えば、およそ反射率５％分の差分値が毛髪領域と判定され、およそ反射率１％分の差分値が毛髪領域と判定されない値（例えば反射率３％分）である。これにより、綿の場合に差分値が正の値になっても、差分値が所定の閾値を超えない小さな値であるので、毛領域検出装置１０は、撮像画像における綿の領域を毛髪領域と誤検知することを抑制できる。

図４（Ｂ）は毛髪領域が検出された画像６０を示す模式図である。画像６０には、波長（９４０ｎｍ，８５０ｎｍ）を有する近赤外光がそれぞれ照射されて撮像された画像６２，６３と、画像６２及び画像６３とにおいて画素毎に差分値が導出された差分画像６１と、が含まれる。差分画像６１では、毛髪領域６１Ａは、画素値が高い画像として、毛髪領域以外の領域とは区別される。

このように、毛領域検出装置１０は、各素材の分光反射特性の相違を利用して、毛髪領域を抽出できる。また、例えば、分光反射特性において８５０ｎｍ以上の波長領域では、髪に関する特性が正の勾配を有することに対し、綿（衣服等）に関する特性は平坦であり、両者の差が顕著となる。従って、８５０ｎｍ以上の波長を有する近赤外光を第１の近赤外光及び第２の近赤外光とした場合、毛髪領域を衣服等と誤認識することを抑制でき、毛髪領域の検出精度を向上できる。

なお、２つの近赤外光として、８５０ｎｍ，９４０ｎｍの近赤外光が照射されることを例示したが、８５０ｎｍ以下、又は９４０ｎｍ以上の近赤外光が選ばれてもよい。つまり、非可視光で、毛髪、肌、綿の分光反射特性に相違があれば、いずれの波長を用いた光でもよい。また、毛髪、肌、又は綿において、非可視光の２つの波長における反射率の差分値が示す勾配の向きが同じ（例えば正の勾配又は負の勾配）であっても、差分値の大きさに相違がある場合、例えば、複数の差分値の中間に閾値が設定されてもよい。これにより、閾値を用いて毛髪領域の検出が可能である。

また、分光反射特性によっては、非可視光として紫外光（例えば近紫外光）を用いてもよい。尚、非可視光として近赤外光を用いた場合には、被写体への肌や毛髪への影響を低減できる。

図５は、毛領域検出処理の一例を表すタイミングチャートである。毛領域検出処理は、例えば図２に示した毛領域検出装置１０の各部（例えばハードウェア又はソフトウェア）により実行される。毛領域検出装置１０の各部は、例えば、パイプライン処理を実施する。毛領域検出装置１０の各部が同期するパイプラインピッチは、Ｔ１（例えば１１ｍｓｅｃ）である。

図５では、３０ｆ／ｓ（ｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で画像が更新される場合を示す。１つのパイプラインピッチの期間を、簡単のため「ピッチ期間」とも称する。始めのピッチ期間を第１のピッチ期間Ｐ１と称し、後続のピッチ期間を第２のピッチ期間Ｐ２、第３のピッチ期間Ｐ３、・・・と称する。

図５において、第１のピッチ期間Ｐ１では、第１の近赤外線投光器２１は、第１の近赤外光（例えば８５０ｎｍ）を被写体に照射する。第１のピッチ期間Ｐ１は、第１の照射期間の一例である。また、カラー画像記憶部２８は、カメラ２２によって撮像されたカラー画像を記憶する。

第２のピッチ期間Ｐ２では、第２の近赤外線投光器２３は、第２の近赤外光（例えば９４０ｎｍ）を被写体に照射する。第２のピッチ期間Ｐ２は、第２の照射期間の一例である。また、第１の画像記憶部２６は、第１の近赤外光により照射された状態で、カメラ２２によって撮像された画像（「第１の近赤外光の画像」とも称する）を記憶する。

第３のピッチ期間Ｐ３では、近赤外光の照射は行われず、第２の画像記憶部２７は、第２の近赤外光により照射された状態で、カメラ２２によって撮像された画像（「第２の近赤外光の画像」とも称する）を記憶する。第３のピッチ期間Ｐ３は、非照射期間の一例である。

以後同様に、近赤外線の照射及び画像取得（バッファリング）が反復される。つまり、第１のピッチ期間Ｐ１〜第３のピッチ期間Ｐ３における動作が反復される。

第４のピッチ期間Ｐ４では、第１のピッチ期間Ｐ１と同様に、第１の近赤外線投光器２１は、第１の近赤外線を照射し、カラー画像記憶部２８は、カラー画像を記憶する。また、毛髪領域判定部３０は、第１の画像記憶部２６に記憶された第１の近赤外光の画像と、第２の画像記憶部２７に記憶された第２の近赤外光の画像と、に基づいて、毛髪領域を判定する。例えば、毛髪領域判定部３０は、第１の近赤外光の画像の各領域の画素値と第２の近赤外光の画像の各領域の画素値とに基づいて、毛髪領域を判定する。例えば、毛髪領域判定部３０は、上記２つの画素値の差分に基づいて、毛髪領域を判定する。

尚、毛髪領域の判定は、第１の近赤外光の画像及び第２の近赤外光の画像が記憶された後に行われればよく、第４のピッチ期間Ｐ４以外のピッチ期間に実施されてもよい。

以後同様に、第１の近赤外光の画像及び第２の近赤外光の画像が記憶される度、毛髪領域の判定が反復される。従って、例えば、第４のピッチ期間Ｐ４、第７のピッチ期間Ｐ７、第１０のピッチ期間（図示せず）、・・・、において、毛髪領域が判定される。

第５のピッチ期間Ｐ５では、第２のピッチ期間Ｐ２と同様に、第２の近赤外線投光器２３は、第２の近赤外線を照射し、第１の画像記憶部２６は、第１の近赤外光の画像を記憶する。また、毛髪領域色変更部３５は、髪色指定入力インターフェイス３４からの色の指示に従って、毛髪領域の色を変更する。

尚、毛髪領域の色変更は、毛髪領域の判定の後に行われればよく、第５のピッチ期間Ｐ５以外のピッチ期間に実施されてもよい。

以後同様に、毛髪領域が判定される度、毛髪領域の色変更が反復される。従って、例えば、第５のピッチ期間Ｐ５、第８のピッチ期間Ｐ８、第１１のピッチ期間（図示せず）、・・・、において、毛髪領域の色が変更される。この場合、毛髪領域の色変更は、Ｔ２（例えば３３ｍｓｅｃ）の周期で行われることになる。

このように、第１の近赤外光を照射する期間、第２の近赤外光を照射する期間、及び近赤外光を照射しない期間が順番に反復されることで、毛領域検出装置１０は、効率良く毛髪領域を検出でき、被写体が動く場合でも被写体の動きに追従できる。

また、近赤外光の照射、画像の撮像、及び毛髪領域の判定の動作がパイプライン処理で行われることで、これらの動作時間を短縮でき、毛髪領域の検出が被写体の動きに追従し易くなる。従って、毛髪領域の検出後に行われる毛髪領域の色変更の動作も、被写体の動きに追従し易くなる。

図６及び図７は、毛領域検出装置１０による毛領域の判定及び変更の処理手順の一例を示すフローチャートである。

まず、毛領域検出装置１０は、第１の画像記憶部２６に記憶された被写体の画像（例えば顔画像）の中から特定の画素位置（ｘ，ｙ）の画素値を、毛髪領域判定部３０へ入力する（Ｓ１）。第１の画像記憶部２６に記憶された被写体の画像は、毛領域検出装置１０が、第１の近赤外線投光器２１を用いて、例えば毛領域検出装置１０の筐体１０ａの前面と向かい合う被写体に対し、第１の近赤外光を照射し、カメラ２２を用いて、第１の近赤外線投光器２１によって照射された被写体の画像（例えば顔画像）を入力画像として取得し、取得された入力画像の画素値を第１の画像記憶部２６に記憶したものである。画素値は、例えば画素毎に記憶される。

この入力画像の画素値は、ＩＦＲ１［ｙ］［ｘ］で表される。［ｘ］は、ｘ方向（例えば図１における横方向）における画素位置（例えば座標）を示し、「ｙ」は、ｙ方向（例えば図１における縦方向）における画素位置（例えば座標）を示す。つまり、ＩＦＲ１［ｙ］［ｘ］は、第１の近赤外光の画像の、ｙ方向及びｘ方向における特定の画素位置（ｘ，ｙ）の画素値を示す。

次に、毛領域検出装置１０は、第２の画像記憶部２７に記憶された被写体の画像（例えば顔画像）の中から特定の画素位置（ｘ，ｙ）の画素値を、毛髪領域判定部３０へ入力する（Ｓ２）。第２の画像記憶部２７に記憶された被写体の画像は、毛領域検出装置１０が、第２の近赤外線投光器２３を用いて、例えば毛領域検出装置１０の筐体１０ａの前面と向かい合う被写体に対し、第２の近赤外光を照射し、カメラ２２を用いて、第２の近赤外線投光器２３によって照射された被写体の画像（例えば顔画像）を入力画像として取得し、取得された入力画像の画素値を第２の画像記憶部２７に記憶したものである。

この入力画像の画素値は、ＩＦＲ２［ｙ］［ｘ］で表される。つまり、ＩＦＲ２［ｙ］［ｘ］は、第２の近赤外光の画像の、ｙ方向及びｘ方向における特定の画素位置（ｘ，ｙ）の画素値を示す。

以上とは別に、毛領域検出装置１０は、カラー画像記憶部２８に記憶された被写体の画像（例えば顔画像）の中から特定の画素位置（ｘ，ｙ）の画素値を、毛髪領域色変更部３５へ入力する（Ｓ３）。カラー画像記憶部２８に記憶された被写体の画像は、毛領域検出装置１０が、カメラ２２を用いて、近赤外光を照射することなく撮像された被写体の画像（例えば顔画像）を、カラー入力画像として取得し、取得されたカラー入力画像をカラー画像記憶部２８に記憶したものである。

カラー入力画像の画素値は、ＲＧＢ［ｙ］［ｘ］で表される。つまり、ＲＧＢ［ｙ］「ｘ」は、カラー画像の、ｙ方向及びｘ方向における特定の画素位置（ｘ，ｙ）の画素値を示す。

Ｓ３の処理後、Ｓ４〜Ｓ１１の処理では、毛髪領域判定部３０は、撮像画像に含まれる全ての画素に対し、毛髪を表す画素であるか否か、即ち、毛髪領域に含まれるか否かを判定する。つまり、Ｓ４〜Ｓ１１では、毛髪領域判定処理が行われる。毛髪領域判定部３０は、画素の位置（ｘ座標，ｙ座標）をｘ方向又はｙ方向において値１ずつ増やし、２重ループの処理を行うことで、毛髪領域の判定処理を行う。

毛髪領域判定部３０は、画素のｙ座標を値１（例えば表示部３８のｙ方向の一端部）から画像の縦方向の端部（例えば表示部３８のｙ方向の他端部）に至るまで、順にｙ座標の値を１増やし、ｙ座標を取得する（Ｓ４）。尚、画素のｙ座標の値１から画像の縦方向の端部までの範囲は、画像の縦幅に相当する。

毛髪領域判定部３０は、画素のｘ座標を値１（例えば表示部３８のｘ方向の一端部）から画像の横方向の端部（例えば表示部３８のｘ方向の他端部）に至るまで、順にｘ座標の値を１増やし、ｘ座標を取得する（Ｓ５）。尚、画素のｘ座標の値１から画像の横方向の端部までの範囲は、画像の横幅に相当する。

毛髪領域判定部３０は、Ｓ４，Ｓ５により設定された画素位置（ｘ，ｙ）における、画素値ＩＦＲ１［ｙ］［ｘ］と画素値ＩＦＲ２［ｙ］［ｘ］とを用いて、例えば（式１）に従って、差分ＤＩＦＦ［ｙ］［ｘ］を算出する（Ｓ６）。

ＤＩＦＦ［ｙ］［ｘ］＝ＩＦＲ２［ｙ］［ｘ］−ＩＦＲ１［ｙ］［ｘ］・・・（式１）

つまり、（式１）では、所定の画素位置における第２の近赤外光の画像の画素値から、同じ画素位置における第１の近赤外光の画像の画素値を差し引いて、差分ＤＩＦＦとしている。

毛髪領域判定部３０は、差分ＤＩＦＦ［ｙ］［ｘ］が正の値であるか否かを判定する（Ｓ７）。なお、Ｓ７では、差分ＤＩＦＦ［ｙ］［ｘ］が所定の閾値以上の正の値であるか否かが判定されてもよい。

Ｓ７において、差分ＤＩＦＦ［ｙ］［ｘ］が負又は零の値である場合、毛髪領域判定部３０は、この画素位置（ｘ，ｙ）が毛髪の画素でない、つまりこの画素が毛髪領域に含まれないと判定する（Ｓ９）。そして、Ｓ１０の処理に進む。

Ｓ７において、差分ＤＩＦＦ［ｙ］［ｘ］が正の値である場合、毛髪領域判定部３０は、画素位置（ｘ，ｙ）が毛髪の画素である、つまりこの画素が毛髪領域に含まれると判定する。毛髪領域判定部３０は、この画素位置（ｘ，ｙ）を、毛髪の位置情報ＰＯＳ（Ｘ），ＰＯＳ（Ｙ）として、毛髪領域記憶部３１に記憶する（Ｓ８）。そして、Ｓ１０の処理に進む。

毛髪領域判定部３０は、画素のｘ座標が画像の横方向（ｘ方向）端部に達し、ｘ方向のループ処理が終了したか否かを判定する（Ｓ１０）。ｘ方向のループ処理が終了していない場合、毛髪領域判定部３０は、Ｓ５に戻る。Ｓ５では、毛髪領域判定部３０は、画素のｘ座標を値１増やし、再びＳ６以降の処理を行う。

Ｓ１０においてｘ方向のループ処理が終了した場合、毛髪領域判定部３０は、画素のｙ座標が画像の縦方向（ｙ方向）端部に達し、ｙ方向のループ処理が終了したか否かを判定する（Ｓ１１）。ｙ方向のループ処理が終了していない場合、毛髪領域判定部３０は、Ｓ４に戻る。Ｓ４では、毛髪領域判定部３０は、画素のｙ座標を値１増やし、再びＳ５以降の処理を行う。

Ｓ１１においてｙ方向のループ処理が終了した場合、毛髪領域判定部３０は、Ｓ１２の処理に進む。

Ｓ１２〜Ｓ１８では、毛髪領域を指定の色に変更する処理（色変更処理）が行われる。色変更処理において、毛髪領域色変更部３５は、Ｓ４〜Ｓ１１における毛髪領域判定処理と同様、画素の位置（ｘ座標，ｙ座標）を順に値１ずつ増やし、２重ループの処理を行う。

毛髪領域色変更部３５は、画素のｙ座標を値１から画像の縦方向（ｙ方向）の端部に至るまで、順にｙ座標の値を１増やし、ｙ座標を取得する（Ｓ１２）。

毛髪領域色変更部３５は、画素のｘ座標を値１から画像の横方向（ｘ方向）の端部に至るまで、順にｘ座標の値を１増やし、ｘ座標を取得する（Ｓ１３）。

毛髪領域色変更部３５は、Ｓ１２，Ｓ１３において取得された画素位置（ｘ，ｙ）が、毛髪領域記憶部３１に記憶されている、毛髪領域に含まれる位置（ＰＯＳ（Ｘ），ＰＯＳ（Ｙ））と一致するか否かを判定する（Ｓ１４）。即ち、ｘ＝ＰＯＳ（Ｘ）かつｙ＝ＰＯＳ（Ｙ）であるかが判定される。

画素位置（ｘ，ｙ）が毛髪領域位置（ＰＯＳ（Ｘ），ＰＯＳ（Ｙ））と一致しない場合、毛髪領域色変更部３５は、画素位置（ｘ，ｙ）におけるＲＧＢの値（ＲＧＢ（ｘ，ｙ））を変更しない（Ｓ１６）。そして、Ｓ１７に進む。尚、Ｓ１６の処理が省略されても、結果として画素位置（ｘ，ｙ）における色は変更されない。

画素位置（ｘ，ｙ）が毛髪領域位置（ＰＯＳ（Ｘ），ＰＯＳ（Ｙ））と一致する場合、毛髪領域色変更部３５は、画素位置（ｘ，ｙ）におけるＲＧＢの値（ＲＧＢ（ｘ，ｙ））を、髪色指定入力インターフェイス３４により指定された色のＲＧＢ値に変更する（Ｓ１５）。そして、Ｓ１７に進む。

毛髪領域色変更部３５は、画素のｘ座標が画像の横方向（ｘ方向）端部に達し、ｘ方向のループ処理が終了したか否かを判定する（Ｓ１７）。ｘ方向のループ処理が終了していない場合、毛髪領域色変更部３５は、Ｓ１３の処理に戻る。Ｓ１３では、毛髪領域色変更部３５は、画素のｘ座標を値１増やし、再びＳ１４以降の処理を行う。

Ｓ１７においてｘ方向のループ処理が終了した場合、毛髪領域色変更部３５は、画素のｙ座標が画像の縦方向（ｙ方向）端部に達し、ｙ方向のループ処理が終了したか否かを判定する（Ｓ１８）。ｙ方向のループ処理が終了していない場合、毛髪領域色変更部３５は、Ｓ１２の処理に戻る。Ｓ１２では、毛髪領域色変更部３５は、画素のｙ座標を値１増やし、再びＳ１３以降の処理を行う。

Ｓ１８においてｙ方向のループ処理が終了した場合、毛髪領域色変更部３５は、本動作を終了する。

図６及び図７に示した処理によれば、被写体の動きに追従して毛髪領域を動的に検出できる。即ち、毛領域検出装置１０は、エッジ検出等を行うことなく、反射特性の差分を用いることで、毛髪領域検出に係る計算量を低減でき、毛髪領域を迅速に抽出でき、リアルタイム性を向上できる。従って、動きのある被写体でも、毛髪領域の検出を容易化できる。

次に、毛領域検出装置１０による画像の表示例について説明する。

図８（Ａ）は、元画像７１の一例を示す模式図である。元画像７１の毛髪領域７１Ａは、例えば、毛髪領域の色変更がされておらず、撮像されたカラー画像における毛髪領域の色を有する。例えば、元画像７１が表示部３８に表示された状態で、髪色指定入力インターフェイス３４により、複数の色見本５３の中から、指５１を用いて特定の色見本（例えばブラウンＢｒ）を指定する。

図８（Ｂ）は、毛髪領域の色を変化させた画像７３の一例を示す模式図である。毛髪領域色変更部３５は、元画像７１において毛髪領域の色を変化させ、画像７３を生成する。毛髪領域色変更部３５は、画像７３の毛髪領域７３Ａの色を、指定された色見本（ブラウン）に変更する。

図８（Ｃ）は、図８（Ｂ）に示す状態で、ユーザが顔の向きを変えた場合の毛髪領域の色を変化させた画像７５の一例を示す模式図である。図８（Ｃ）に示すように、ユーザが顔の向きを変え、元画像７１又は画像７３を変化させても、毛髪領域色変更部３５は、元画像７１又は画像７３からの画像の変化に追従して、画像７５における毛髪領域７５Ａの色を変更できる。従って、ユーザは、例えば、顔の向きを様々な方向に変更し、カラーリングを施した場合のイメージを容易に把握できる。

毛領域検出装置１０によれば、被写体の動きに追従して毛領域を動的に検出できる。即ち、毛領域検出装置１０は、エッジ検出等を行うことなく、反射特性の差分を用いることで、毛領域検出に係る計算量を低減でき、毛領域を迅速に抽出でき、リアルタイム性を向上できる。従って、動きのある被写体でも、毛領域の検出を容易化できる。

以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。

上記実施形態では、毛領域検出装置１０は、１つの装置により構成されることを例示したが、複数の装置により構成されてもよい。例えば、毛領域検出装置１０が、カメラ、複数の赤外線投光器、入力装置、表示装置、演算装置（ＰＣ等）を含むシステム（毛領域検出システム）により構成されてもよい。上記毛領域検出システムの一部は、一体に構成されてもよいし、更に別体に構成されてもよい。

上記実施形態では、カメラ２２において、フィルタが前面に配置された１つの撮像素子を有することを例示したが、撮像素子が複数設けられてもよい。例えば、カメラ２２において、ＲＧＢ用センサを有する撮像素子と、ＮＩＲ（Ｎｅａｒ−ｉｎｆｒａｒｅｄ）用センサを有する撮像素子とが、位置調整されて設けられてもよい。

上記実施形態では、カラー画像は、近赤外光が非照射状態で撮像されてもよいし、可視光が照射された状態で撮像されてもよい。

上記実施形態では、毛領域検出装置１０が、毛髪領域を検出することを例示したが、毛髪領域以外の毛の領域を検出してもよい。また、毛領域検出装置１０は、人以外の動物の毛の領域を検出してもよい。

上記実施形態では、用途の一例として、髪色を変更するカラーリングの場合を示したが、他の用途に用いられてもよい。例えば、毛領域検出装置１０は、動物検知に利用されてもよい。

（本開示の一態様の概要）
本開示の一態様の毛領域検出装置は、第１の波長を有する第１の非可視光を、被写体に対して照射する第１の非可視光照射部と、前記第１の波長と異なる第２の波長を有する第２の非可視光を、前記被写体に対して照射する第２の非可視光照射部と、前記第１の非可視光が照射された状態で前記被写体の第１の画像を撮像し、前記第２の非可視光が照射された状態で前記被写体の第２の画像を撮像する撮像部と、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する領域検出部と、を備える。

この構成によれば、毛領域検出装置は、被写体の動きに追従して毛領域を動的に検出できる。従って、動きのある被写体でも、毛領域の検出を容易化できる。

本開示の一態様の毛領域検出装置は、前記領域検出部が、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値の差分に基づいて、前記毛領域を検出する。

この構成によれば、毛領域検出装置は、エッジ検出等を行うことなく、反射特性の差分を用いることで、毛領域検出に係る計算量を低減でき、毛領域を迅速に抽出できる。

本開示の一態様の毛領域検出装置は、前記第２の波長が、前記第１の波長より長く、前記領域検出部が、前記第２の画像における各領域の画素値から前記第１の画像における各領域の画素値を減算し、得られた減算値が正の値である領域を前記毛領域として検出する。

この構成によれば、毛領域検出装置は、エッジ検出等を行うことなく、反射特性の差分を用いることで、毛領域検出に係る計算量を低減でき、毛領域を迅速に抽出できる。

本開示の一態様の毛領域検出装置は、前記領域検出部が、得られた前記減算値が所定の閾値以上である領域を前記毛領域として検出する。

この構成によれば、毛領域検出装置は、毛領域以外の領域（例えば画像における衣服の領域）との区別を明確化でき、毛領域の検出精度を向上できる。

本開示の一態様の毛領域検出装置は、前記第１の非可視光及び前記第２の非可視光が、近赤外光である。

この構成によれば、毛領域検出装置は、例えば紫外線の照射による人体への影響を低減できる。

本開示の一態様の毛領域検出装置は、前記第１の波長が、８５０ｎｍである。

この構成によれば、毛領域検出装置は、毛領域と毛領域以外の領域（例えば画像における衣服の領域）とにおいて、第２の近赤外光と第１の近赤外光とに対する反射特性の区別を明確化でき、毛領域の検出精度を向上できる。

本開示の一態様の毛領域検出装置は、前記毛領域に着色される色を指定する色指定部と、表示部による画像の表示を制御する表示制御部と、を備え、前記撮像部が、前記第１の非可視光及び前記第２の非可視光が照射されていない状態で前記被写体の第３の画像を撮像し、前記表示制御部が、前記第３の画像を表示し、前記第３の画像における前記毛領域に対して、前記色指定部により指定された色を着色して表示するよう制御する。

この構成によれば、ユーザは、簡単に毛領域を所望の色に着色できる。

本開示の一態様の毛領域検出装置は、前記第１の非可視光が照射される第１の照射期間と、前記第２の非可視光が照射される第２の照射期間と、前記第１の非可視光及び前記第２の非可視光が照射されない非照射期間と、が反復される。

この構成によれば、毛領域検出装置は、被写体の第１の画像、第２の画像、第３の画像を順次取得でき、毛領域の検出、毛領域の色変更を順次実施できる。従って、毛領域検出装置は、動きのある被写体に追従して、毛領域を所望の色に着色して被写体の画像を表示できる。

本開示の一態様の毛領域検出方法は、毛領域検出装置における毛領域検出方法であって、第１の波長を有する第１の非可視光を、被写体に対して照射し、前記第１の非可視光が照射された状態で前記被写体の第１の画像を撮像し、前記第１の波長と異なる第２の波長を有する第２の非可視光を、前記被写体に対して照射し、前記第２の非可視光が照射された状態で前記被写体の第２の画像を撮像し、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する。

この方法によれば、毛領域検出装置は、被写体の動きに追従して毛領域を動的に検出できる。従って、動きのある被写体でも、毛領域の検出を容易化できる。

本開示は、被写体の動きに追従して毛領域を動的に検出できる毛領域検出装置及び毛領域検出方法等に有用である。

１０ 毛領域検出装置
１０ａ 筐体
２１ 第１の近赤外線投光器
２２ カメラ
２３ 第２の近赤外線投光器
２６ 第１の画像記憶部
２７ 第２の画像記憶部
２８ カラー画像記憶部
３０ 毛髪領域判定部
３１ 毛髪領域記憶部
３４ 髪色指定入力インターフェイス
３４ａ タッチパネル
３５ 毛髪領域色変更部
３８ 表示部
５１ 指
５３ 色見本
６０、６２、６３ 画像
６１ 差分画像
６１Ａ 毛髪領域
７１ 元画像
７１Ａ，７３Ａ，７５Ａ 毛髪領域
７３，７５ 毛髪領域の色を変化させた画像

Claims (9)

1. 第１の波長を有する第１の非可視光を、被写体に対して照射する第１の非可視光照射部と、
   前記第１の波長と異なる第２の波長を有する第２の非可視光を、前記被写体に対して照射する第２の非可視光照射部と、
   前記第１の非可視光が照射された状態で前記被写体の第１の画像を撮像し、前記第２の非可視光が照射された状態で前記被写体の第２の画像を撮像する撮像部と、
   前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する領域検出部と、
   を備える毛領域検出装置。
2. 請求項１に記載の毛領域検出装置であって、
   前記領域検出部は、前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値の差分に基づいて、前記毛領域を検出する毛領域検出装置。
3. 請求項２に記載の毛領域検出装置であって、
   前記第２の波長は、前記第１の波長より長く、
   前記領域検出部は、前記第２の画像における各領域の画素値から前記第１の画像における各領域の画素値を減算し、得られた減算値が正の値である領域を前記毛領域として検出する毛領域検出装置。
4. 請求項３に記載の毛領域検出装置であって、
   前記領域検出部は、得られた前記減算値が所定の閾値以上である領域を前記毛領域として検出する、毛領域検出装置。
5. 請求項３または４に記載の毛領域検出装置であって、更に、
   前記第１の非可視光及び前記第２の非可視光は、近赤外光である、毛領域検出装置。
6. 請求項５に記載の毛領域検出装置であって、
   前記第１の波長は、８５０ｎｍである、毛領域検出装置。
7. 請求項３ないし６のいずれか１項に記載の毛領域検出装置であって、更に、
   前記毛領域に着色される色を指定する色指定部と、
   表示部による画像の表示を制御する表示制御部と、
   を備え、
   前記撮像部は、前記第１の非可視光及び前記第２の非可視光が照射されていない状態で前記被写体の第３の画像を撮像し、
   前記表示制御部は、前記第３の画像を表示し、前記第３の画像における前記毛領域に対して、前記色指定部により指定された色を着色して表示するよう制御する、毛領域検出装置。
8. 請求項７に記載の毛領域検出装置であって、
   前記第１の非可視光が照射される第１の照射期間と、前記第２の非可視光が照射される第２の照射期間と、前記第１の非可視光及び前記第２の非可視光が照射されない非照射期間と、が反復される、毛領域検出装置。
9. 毛領域検出装置における毛領域検出方法であって、
   第１の波長を有する第１の非可視光を、被写体に対して照射し、
   前記第１の非可視光が照射された状態で前記被写体の第１の画像を撮像し、
   前記第１の波長と異なる第２の波長を有する第２の非可視光を、前記被写体に対して照射し、
   前記第２の非可視光が照射された状態で前記被写体の第２の画像を撮像し、
   前記第１の画像における各領域の画素値及び前記第２の画像における各領域の画素値に基づいて、毛領域を検出する、毛領域検出方法。

Images