JP2016514305A - 陰影検出および減衰のためのマルチスペクトル撮像システム - Google Patents

Abstract

可視光画像における陰影を検出および減衰するためのシステムおよび方法が開示されている。様々な実施形態において、人間の肌上の陰影が、マルチスペクトル撮像技法を使用して検出および減衰されうる。マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含むマルチスペクトル画像データが処理されうる。マルチスペクトル画像データの検出された生身の被写体部分における陰影が識別されうる。マルチスペクトル画像データの少なくとも一部における識別された陰影が減衰されることができる。【選択図】 図３

Description

発明の分野
[0001]本開示は、陰影（shadow）検出および減衰（attenuation）のためのシステムおよび方法に関する。特に、本開示は、マルチスペクトル撮像技法を使用して人間の肌または他の生物（living object）上の陰影を検出および減衰するためのシステムおよび方法に関する。

関連出願の説明

[0002]撮像システムは、ユーザが多くの異なる照明コンディションで様々な異なる物体（object）および被写体（subject）の写真を撮ることを可能にする。しかしながら、日中に、またはブリングインドア光（bring indoor lights）の下で物体の写真がキャプチャされるとき、撮像されるべき物体を覆って陰影が投げかけられうる。例えば、ユーザが日中に外で別の人物の写真を撮るとき、介在する物体によって（例えば、木または構造によって）人物の顔上に陰影が投げかけられうる。これらの陰影は、画像品質を低下させ、陰影がない場合には違った様子で照射されうる人物の肌の鮮やかな細部をぼやけさせうる。したがって、物体上に投げかけられた陰影を検出および減衰するための改善したシステムおよび方法が望ましい。

[0003]一実装では、画像における陰影を減衰するためのコンピュータによって実行される方法が開示されている。方法は、マルチスペクトル画像データの生身の被写体部分（live-subject portions）を検出するために、生体（living subject）を含むマルチスペクトル画像データを処理することを含むことができる。さらに方法は、マルチスペクトル画像データの検出された生身の被写体部分における陰影を識別することを含むこともできる。識別された陰影は、マルチスペクトル画像データの少なくとも一部において減衰されうる。

[0004]別の実装では、可視画像における陰影を減衰するための撮像システムが開示されている。システムは、マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含むマルチスペクトル画像データを処理するようにプログラミングされた生身の被写体検証モジュールを含むことができる。システムはまた、マルチスペクトル画像データの検出された生身の被写体部分における陰影を識別するようにプログラミングされた陰影識別モジュールを含むこともできる。加えて、システムは、マルチスペクトル画像データの少なくとも一部における識別された陰影を減衰するようにプログラミングされた陰影減衰モジュールを含むことができる。

[0005]また別の実装では、撮像システムが開示されている。撮像システムは、マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含むマルチスペクトル画像データを処理するための手段を含むことができる。システムはまた、マルチスペクトル画像データの検出された生身の被写体部分における陰影を識別するための手段を含むこともできる。さらに、システムは、マルチスペクトル画像データの少なくとも一部における識別された陰影を減衰するための手段を含むことができる。

[0006]別の実装では、非一時的コンピュータ可読媒体が開示されている。非一時的なコンピュータ可読媒体は、実行されるとき、マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含むマルチスペクトル画像データを処理することを備える方法を実行するコードを記憶することができる。方法は、マルチスペクトル画像データの検出された生身の被写体部分における陰影を識別することを含むこともできる。さらに、方法は、マルチスペクトル画像データの少なくとも一部における識別された陰影を減衰することを含むことができる。

[0007]本明細書で説明されている主題の１つ以上の実装の詳細が、添付図面および以下の説明で述べられている。他の特徴、態様、および利点は、説明、図面、および請求項から明らかになるだろう。以下の図の相対的な寸法は原寸通りに描かれていないことがあることに留意されたい。

ユーザが、マルチスペクトル撮像システムを使用して日中に生身の被写体の画像をキャプチャする概略図である。 マルチスペクトル撮像システムによってキャプチャされた画像における陰影および非陰影領域を例示している、図１Ａで図示されている図の拡大されたビューである。 一実施形態にしたがった、陰影減衰システムの概略図である。 一実装にしたがった、可視光画像における陰影を減衰するための方法を例示しているフローチャートである。 いくつかの実装にしたがった、可視およびＮＩＲ画像の生身の被写体部分を検出するための方法を例示しているフローチャートである。 いくつかの実装にしたがった、検出された生身の被写体部分における陰影を識別するための方法を例示しているフローチャートである。 非陰影および陰影画素の測定された明度のヒストグラムである。 いくつかの実装にしたがった、識別された陰影を減衰するための方法を例示しているフローチャートである。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。 一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。

詳細な説明

システムの概略
[0017]本明細書で開示されている実装は、生身の人間の顔の肌、または人間の被写体のボディの別の部分のような、生身の被写体上に投げかけられた陰影を識別および減衰するためのシステム、方法、および装置を提供している。特に、開示されている実装は、マルチスペクトル撮像システムを使用して、生身の人間の肌上の陰影を識別および減衰することができる。マルチスペクトル撮像システムは、別個の可視光および近赤外線（ＮＩＲ）センサ、または可視およびＮＩＲ画像の両方をキャプチャする能力を有する単一センサを含むことができる。様々な実装において、マルチスペクトル撮像システムは、生身の被写体の可視光画像およびＮＩＲ画像の両方をキャプチャするように構成されうる。例えば、マルチスペクトル撮像システムは、日中コンディション中に人間の顔の可視およびＮＩＲ画像をキャプチャするように構成されうる。本明細書で説明されているように、日中オペレーション中に、人間の顔を覆って陰影が投げかけられ、それは、撮られた顔の画像の品質を不必要に（undesirably）妨げうる。例えば、陰影は顔を覆ってダーク領域を投げかけ、これは、顔の構造的な特徴、および／または被写体の肌の鮮やかな細部を隠しうる。顔の特徴の細部をぼやけさせることに加えて、撮像されるべき人物の上に投げかけられた陰影は、人物のボディの他のパーツにおける生身の被写体の肌の細部もまたぼやけさせうる。

[0018]本明細書で開示されている様々な実装において、生身の被写体の複数の部分上に投げかけられた陰影（例えば人間の顔に投げかけられた陰影）は、自動的に検出および減衰されうる。そのような自動検出および減衰は、陰影によって形成されたダーク領域を取り除くことによって、および人物の肌の鮮やかな細部または顔の特徴が撮像されることを可能にすることによって、画像品質を有利に向上させることができる。理論によって限定されることなく、被写体の肌の鮮やかな細部は、ＮＩＲ光によって照射されているときの人間の肌の一意の反射特性のために陰影においてさえ撮像されうる。したがって、可視およびＮＩＲ波長で撮像することを含む、開示されているマルチスペクトル撮像技法は、人間の肌の自然な様子を確保しながら、生身の被写体の肌上の陰影の自動的な検出および減衰を有効にすることができる。

[0019]例えば、いくつかの構成では、約４００ｎｍから約７５０ｎｍまでの範囲の波長を有する可視光をキャプチャし、また約７５０ｎｍから約１１００ｎｍまでの範囲の波長を有するＮＩＲ光をキャプチャするように構成されたマルチスペクトル撮像システムを使用して、被写体は撮像されうる。人間の顔が撮像される実装では、自動顔検出技法が、人間の顔を検出するために用いられうる。さらに、可視およびＮＩＲ画像の生身の被写体部分が検出されうる。例えば、人間の顔が撮像されるとき、顔の生身の肌部分または画素が、本明細書で開示されているシステムおよび方法によって識別されうる。マルチスペクトル撮像システムは、ＮＩＲ波長における光によって照射されるときの人間の肌の一意の反射特性に少なくとも部分的に基づいて、人間の被写体の生身の肌部分を検出することができる。

[0020]したがって肌を覆って投げかけられる陰影は、識別および減衰されうる。結果として生じる可視光画像は、画像の生身の被写体部分を覆って投げかけられた陰影によって誘発されるアーチファクトおよび他の不必要な効果から実質的に免れうる。いくつかの実装では、本明細書で説明されている方法は、最小のユーザ対話が必要とされるか、または一切のユーザ対話が必要とされないように、実質的に自動的に開示されているシステムによって実行されうる。そのような生体上に投げかけられた陰影の自動検出および減衰により、ユーザは、効率的およびシンプルな方法で、様々な撮像システム上で画像をキャプチャし、陰影を自動的に検出および衰退することができうる。

[0021]さらに、本明細書で開示されている実装のいくつかが、人間の顔、または人間の被写体の生身の肌部分に投げかけられた陰影を検出および減衰することに関するけれども、本明細書で開示されている原理および詳細は、他のタイプのマテリアルにも適用可能でありうることは認識されるべきである。例えば、ＮＩＲ光は、植物のような草木の一部が、ＮＩＲ光で照射され、ＮＩＲセンサで撮像されるとき、一意の感応特質（response characteristic）を有することもできる。実際、開示されている実装の多くが、光の様々な波長（例えば、可視およびＮＩＲ波長）によって照射されるときの人間の肌の較正された、および／または理論上の光学感応から生じるけれども、生きている草木、動物の肌等のような他のマテリアルの光学感応を、その、他のマテリアルが光の様々な波長によって照射されているときに較正および／または計算することも可能でありうることを当業者は認識するだろう。

[0022]以下の説明では、特定の詳細が例の完全な理解を提供するために与えられる。しかしながら、例がこれらの特定の詳細なしで実施されうることは当業者によって理解されるだろう。例えば、例を不必要な詳細でぼやけさせないように、電気コンポーネント／デバイスはブロック図で図示されうる。他の事例では、このようなコンポーネント、他の構造および技術が、例をさらに説明するために詳細に図示されうる。

[0023]また、例は、フローチャート、フロー図、有限状態図、構造図、またはブロック図として描写される、プロセスとして説明されうることに留意されたい。フローチャートは、動作をシーケンシャルなプロセスとして説明しうるけれども、動作の多くは並列または同時に実行されることができ、プロセスは繰り返されることができる。加えて、動作の順序は再配列されうる。プロセスは、その動作が完了したときに終了される。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム等に対応しうる。プロセスがソフトウェア関数に対応するとき、その終了は、関数が呼び出し関数または主関数に戻ること、あるいはサブルーチンまたは同様の関数（functionality）の類似の完了に対応しうる。

[0024]当業者は、情報および信号が、様々な異なる技術および技法のうちのいずれかを使用して表されうることを理解するだろう。例えば、上記の説明全体を通して参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、電磁場または電磁粒子、光学場または光学粒子、あるいはそれらのあらゆる組み合わせによって表されうる。

[0025]図１Ａは、ユーザが、陰影減衰システム１０を使用して日中に生身の被写体１の画像をキャプチャする概略図である。例示されている陰影減衰システム１０は、可視光センサ５およびＮＩＲセンサ７を含む。図１Ａでは、生身の被写体１は、木２の近くに立っている。太陽３（または他の光源）から発せられた光は、木２によって部分的にぼやかされ、それは、図１Ｂでより詳しく図示されているように、生身の被写体１の複数の部分を覆って陰影を投げかけうる。

[0026]図１Ｂは、生身の被写体１のより多くの詳細を図示している図１Ａで図示されている図の拡大されたビューである。木２が太陽３と生身の被写体１との間に位置付けられるので、陰影領域１４は、撮像された生身の被写体１の一部を覆って投げかけられる。木２によってぼやかされない光は、陰影を付けられていない、完全な照射の、領域１２で撮像されうる。陰影領域１４でキャプチャされる被写体１の部分は、非陰影領域１２でキャプチャされた被写体１の部分よりも、キャプチャされた画像においてより暗くあるようである。加えて、陰影領域１４でキャプチャされた被写体の肌１５の鮮やかな細部は、被写体１の肌１５を覆って投げかけられた陰影に起因して損失または悪化されうる。

[0027]非陰影領域１２は、非陰影の生身の肌部分１１、および非陰影の生身の肌でない部分（non-live skin portions）１３を含むことができる。非陰影の生身の肌部分１１は、陰影によってぼやかされていない生身の被写体１の肌に対応する画像の１つ以上の画素でありうる。非陰影の生身の肌でない部分１３は、画像において陰影によってぼやかされていない、画像における無機の（non-living）物体の、あるいは服または髪のような生身の被写体の無機の部分、に対応する画像の１つ以上の画素でありうる。

[0028]同様に、陰影領域１４は、陰影の生身の肌部分１５、および陰影の生身の肌でない部分１７を含むことができる。陰影の生身の肌でない部分１７は、生身の被写体１の服または髪、あるいは他の無機のまたは肌でない物体のような、画像における無機の部分に対応する１つ以上の画素を含むことができる。陰影の生身の肌の部分１５は、生身の被写体１の顔または首を撮像する部分のような、投げかけられた陰影によって少なくとも部分的にぼやかされている生身の被写体１の肌の部分に対応する画像の１つ以上の画素を含むことができる。本明細書で説明されるように、以下で説明されているシステムおよび方法は、陰影の生身の肌の部分１５において撮像された陰影を減衰し、画像におけるキャプチャされた肌の品質を向上させるためのものである。本明細書で開示されているシステムおよび方法は、画像が、鮮やかな細部を含み、肌の自然な様子を維持するように、画像において投げかけられた陰影の効果を有利に低減することができる。

[0029]図２に移ると、上記の図１Ａで図示された陰影減衰システム１０のような、陰影減衰システム１０の概略図が開示されている。陰影減衰システム１０は、いくつかの構成では、マルチスペクトル撮像システム１６を含むことができる。本明細書で説明されているように、マルチスペクトル撮像システム１６は、可視光センサ５およびＮＩＲセンサ７を含むことができる。例えば、可視光センサ５は、少なくとも約４００ｎｍから約７００ｎｍまでの範囲の可視光を検出する能力を有するＣＣＤ／ＣＭＯＳでありうる。マルチスペクトル撮像システム１６はさらに、約７００ｎｍから約１１００ｎｍまでの範囲のＮＩＲ光を検出する能力を有するＣＣＤ／ＣＭＯＳのような、第２のセンサを含むことができる。いくつかの実装では、可視およびＮＩＲセンサのための波長範囲は、重複しうる、または実質的に同じでさえありうる。他のタイプのセンサが可能であり、他の波長範囲が可能であることを、当業者は理解するでしょう。いくつかの実装では、ＮＩＲパスフィルタのような撮像フィルタは、ＮＩＲデータのみを検出するように適切なＣＣＤ／ＣＭＯＳ上で使用されうる。様々な他のセンサまたはそれらの組み合わせが、可視およびＮＩＲ画像データをキャプチャするために使用されうることを、当業者は理解するでしょう。いくつかの構成では、単一センサは、可視およびＮＩＲ波長の両方をキャプチャするように使用されうる。

[0030]他の実装では、マルチスペクトル撮像システム１６は、少なくとも可視光波長および近赤外線（ＮＩＲ）光波長を含む、波長の広い帯域を感知することができる単一のマルチスペクトル撮像センサを含むように構成されうる。マルチスペクトル撮像センサは、約４００ｎｍから約１１００ｎｍまで（例えば、様々な実装において、可視光に関しては約４００ｎｍから約７００ｎｍまで、およびＮＩＲ光に関しては約７００ｎｍから約１１００ｎｍまで）の波長の光を検出するように構成されうる。もちろん、撮像センサはまた、波長のずっと広い範囲も同様に検出するようにも構成されうる。いくつかの実装では、電荷結合素子（ＣＣＤ：charge-coupled device）はマルチスペクトル撮像センサとして使用されうる。他の実装では、ＣＭＯＳ撮像センサは、マルチスペクトル撮像センサとして使用されうる。

[0031]陰影減衰システム１０は、メモリ１８およびプロセッサ１９を含むことができる。メモリ１８およびプロセッサ１９は、互いに、およびマルチスペクトル撮像センサ１６に電気的に通信するように構成される。陰影減衰システム１０はまた、プロセッサ１９によって実行されうる様々なソフトウェアモジュールを記憶する能力を有する記憶デバイス４も有する。いくつかの実装では、プロセッサ１９は、マルチスペクトル撮像システム１６に、およびマルチスペクトル撮像システム１６から、データを受信および送信することができ、記憶デバイス４における１つ以上のソフトウェアモジュールに記憶されたコンピュータによって実行される命令を実行することによってそのデータに対して作用する（operate on）ことができる。

[0032]記憶デバイス４は、非一時的記憶媒体のような、あらゆる適したコンピュータ可読記憶媒体でありうる。記憶デバイス４は、あらゆる数のソフトウェアモジュールを備えることができる。例えば、記憶デバイス４は、顔検出モジュール２０を含むことができる。顔検出記憶モジュール２０は、画像において人間の顔を検出することができるソフトウェアを含むことができる。いくつかの実装では、顔検出モジュール２０は、画像におけるキャプチャされた顔の形状を検出および検証するための既知の技法を使用することができる。いくつかの実装では、顔検出モジュール２０は、顔の輪郭を検出するように構成されることができ、その一方で他の実装では、顔検出モジュール２０は、顔が位置する大まかな領域（general region）（例えば、顔が特定の正方形または長方形領域内に位置する）を検出することができる。一実装では、例えば、日本の京都にあるオムロン株式会社によって製造されたＯＫＡＯ Ｖｉｓｉｏｎ顔センシング技術（OKAO Vision Face Sensing Technology）は、顔検出モジュール２０によって使用されうる。顔検出モジュール２０の他の実装も可能であり、したがって実施形態は、画像において顔を検出するためのいずれの特定の方法にも限定されない。

[0033]生身の被写体検証モジュール２１もまた、記憶デバイス４に記憶されうる。本明細書でより詳細に説明されることになるように、生身の被写体検証モジュール２１は、画像において生身の被写体部分を識別するためのコンピュータによって実行される命令を含むことができる。例えば、生身の被写体検証モジュール２１は、生身の被写体１を含む画像の生身の人間の肌、例えば生身の肌部分、を識別するための命令を含むことができる。本明細書で説明されているように、生身の被写体検証モジュール２１は、２値肌マップを計算するようにプログラミングされることができ、それは、生身の肌の画素もしくは部分、または生身の肌でない画素もしくは部分として画素を識別することができる。さらに、生身の被写体検証モジュール２１は、２値肌マップで計算された、識別された肌の境界を平滑化する（smooth）ようにプログラミングされうる。他の実施形態では、生身の被写体検証モジュール２１は、草木のような、他のタイプの生体または生物を識別するように構成されうる。

[0034]さらに、記憶デバイス４は、陰影識別モジュール２２を含むことができる。陰影識別モジュール２２は、図１Ｂの陰影領域１４のような、画像における（１以上の）陰影領域を識別するためのコンピュータによって実行される命令を含むことができる。いくつかの実施形態では、陰影識別モジュール２２は、キャプチャされた画像において、ダークの非陰影物体と陰影領域を区別するようにプログラミングされうる。生身の被写体検証モジュール２１と連携して、陰影識別モジュール２２は、陰影の生身の肌部分１５を識別し、陰影の生身の肌でない部分１７と陰影の生身の肌部分１５を区別するようにプログラミングされうる。例えば、陰影識別モジュール２２は、キャプチャされた画像の陰影マップを導出するために、ＮＩＲおよび可視光で照射されるときの肌の一意の反射特性を利用することができる。

[0035]記憶デバイス４はまた、陰影減衰モジュール２３を備えることができる。陰影減衰モジュール２３は、画像における識別された陰影を減衰するためのコンピュータによって実行される命令を含むことができる。例えば、本明細書でより詳細に説明されているように、陰影減衰モジュール２３は、各画素に関する輝度シフトの量を示す重みマップを生成するようにプログラミングされうる。いくつかの実装では、各画素の輝度値は、陰影を減衰するために、例えば画像の陰影領域１４においてキャプチャされたダーク領域を低減するために、調整されうる。加えて、いくつかの構成では、画素の輝度は、陰影減衰モジュール２３によって複数の画素のブロックで調整されうる。

[0036]通信モジュール２５および前処理モジュール２６は、記憶デバイス４上に記憶されうる。通信モジュール２５は、陰影減衰システム１０のコンポーネント間のデータのフローを管理するコンピュータによって実行される命令を備えることができる。前処理モジュール２６は、他の動作がデータに対して実行される前に、マルチスペクトル撮像システム１６から受信された画像データのような、データを前処理するように構成されうる。記憶デバイス４はオプションで、ユーザインターフェースモジュール２４を含むことができる。ユーザインターフェースモジュール２４は、オプションのユーザインターフェース６を実装するための命令を備えることができる。例えば、ユーザインターフェース６は、マルチスペクトル撮像システム１６を作動させるための１つ以上のボタンおよび／またはディスプレイを含むことができる。いくつかの構成では、ユーザインターフェース６は、ユーザが陰影減衰モードを選択できるようにする特徴を含むことができ、陰影減衰モードでは、本明細書で開示されている方法が、生身の被写体１上に投げかけられた陰影を検出および減衰するために使用されうる。グラフィカルユーザインターフェース（ＧＵＩ）を含む、他のユーザインターフェース特徴は、ユーザインターフェースモジュール２４に記憶された命令によって制御または実装されうる。また、図２で図示されているように、他の処理モジュール２７は、システム１０のための様々な他の機能を実装するために、望まれるとおりに、記憶デバイス４に記憶されうる。

[0037]陰影減衰システム１０はまた、オプションのユーザインターフェース６を含むこともできる。ユーザインターフェース６は、システム１０のユーザが、陰影を検出および減衰するために、および／またはマルチスペクトル撮像システム１６を起動するために、システム１０と対話し、様々なモジュールを効率的に使用することを可能にすることができる。例えば、ユーザインターフェース６は、キャプチャされた画像および／または他のデータを表示するための１つ以上のディスプレイを含むことができる。（１つ以上の）ディスプレイはまた、システム１０の利用可能性をさらに強化するために、グラフィカルユーザインターフェース（ＧＵＩ）を表示するように構成されうる。いくつかの実装では、ユーザインターフェース６は、例えばキーボード、マウス、プリンタ、および他の入力／出力デバイスを含む、様々な周辺デバイスを含むことができる。

[0038]陰影減衰システム１０は、モバイル電話またはスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デジタルカメラ等を含む、モバイルデバイス上に実装されうる。モバイルデバイス上で、マルチスペクトル撮像システム１６、メモリ１８、プロセッサ１９、ストレージ４、およびオプションのユーザインターフェース６を統合することによって、陰影減衰システム１０は、システムが固定された位置に留まることを要求することなく、有利に使用されうる。しかしながら他の実装では、陰影減衰システム１０は、デスクトップコンピュータ、サーバ、コンピュータ、コンピュータワークステーション、または他のタイプのコンピューティングデバイスを備えることができる。陰影減衰システム１０は、他のコンピュータハードウェアと統合されることができるか、または陰影減衰システム１０は、例えば別個の１つ以上のカメラのように、コンピューティングデバイスとは別個であることができる。

陰影減衰の概要
[0039]図３は、可視光画像における陰影を減衰するための方法３０を例示しているフローチャートである。方法３０はブロック３１で始まり、ここにおいて生体の可視およびＮＩＲ画像はキャプチャされる。例えば、画像データは、約４００ｎｍから約１１００ｎｍまで（例えば、様々な実装において、可視光に関しては約４００ｎｍから約７００ｎｍまで、およびＮＩＲ光に関しては約７００ｎｍから約１１００ｎｍまで）の波長範囲をわたって、マルチスペクトル撮像システム１６によってキャプチャされうる。いくつかの構成では、可視およびＮＩＲ画像は、別個の可視光およびＮＩＲセンサによってキャプチャされうる。いくつかの実装では、可視光およびＮＩＲ画像は、可視光およびＮＩＲ撮像センサが互いに近い間隔が保たれうるので、最初は粗雑に整列されうる。したがって、可視光画像における画素は、可視画像とＮＩＲ画像との間に整列される画素が整列された画素ペアと称されうるように、ＮＩＲ画像における画素に対応しうる。ＮＩＲおよび可視画像は、その内容が全体として、かつすべての目的のために本願明細書に参照により組み込まれている、２０１２年１０月３０日付けで提出された「ＭＵＬＴＩＳＰＥＣＴＲＡＬ ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ」という題名の米国特許出願番号第１３／６６３，８９７号で開示されている技法に基づいてさらに整列されうる。他の構成では、可視およびＮＩＲ画像データは、可視およびＮＩＲ画像データを検出することができる単一センサによってキャプチャされうる。

[0040]方法３０は、可視およびＮＩＲ画像の生身の被写体部分を検出するためのブロック４０に移動する。本明細書で開示されている実施形態では、検出された生身の被写体部分は、人間の顔の人間の肌、例えば生身の肌部分または画素を備える。加えて、検出された生身の被写体部分は、被写体のボディの他のパーツ上の人間の肌を備えることができる。しかしながら他の実施形態では、検出された生身の被写体部分は、草木等のような、他のタイプの生体または物体を備えることができる。

[0041]いくつかの構成では、人間の顔は、キャプチャされた画像において検出されうる。顔検出のあらゆる適した方法が、画像において顔を検出するために使用されうる。例えば、いくつかの構成では、可視およびＮＩＲ画像における撮像された顔は、可視光センサ５およびＮＩＲセンサ７が互いに近い間隔が保たれうるので、および／または上記で説明されているように他の整列方法を使用することによって、粗雑に整列されうる。以下でより詳細に説明されるように、可視およびＮＩＲ画像における顔の整列により、システムは、画素毎ベースで、色対ＮＩＲ画素比を計算することができうる。さらに、顔検出モジュール２０は、キャプチャされた顔の形状についての細部を検出することができる。代わりとして、顔検出モジュール２０は、画像における特定のボックス内に置かれているような、顔がある大まかな領域を検出することができる。加えて、様々な実装では、１つ以上の関心領域（ＲＯＩ）は、顔上で定義されうる。例えば、重み付けされた顔マスクが、顔の形、および、目および／または口の位置に基づいて、顔検出モジュール２０から生成されうる。

[0042]撮像された被写体の生身の肌部分は、可視およびＮＩＲ照射の下での人間の肌の反射率の差異を利用して検出されうる。例えばブロック４０では、２値の肌マップが、整列された画素ペアにおける対応する可視画像画素（例えば、可視およびＮＩＲ画素が整列されるように、ＮＩＲ画像における画像と大体同じ位置にある可視光画像における画素）の緑チャネルの画素値とＮＩＲ画像画素の画素値との差異に基づいて計算されうる。２値の肌マップはまた、可視画像画素の赤と緑のチャネルの画素値間の差異に基づきうる。検出された肌の境界は、以下で説明されるような、シグモイド関数を使用して肌の境界を平滑化するような、様々な方法で平滑化されうる。

[0043]方法３０はその後、ブロック５０に移動し、ここにおいて陰影は、検出された生身の被写体部分において識別される。例えば、方法３０は、生身の被写体の顔の検出された生身の肌部分における陰影を識別することができる。いくつかの実装では、グローバルダークマップ（global dark map）が生成され、ここにおいて陰影候補は、他の部分よりも概してダークである可視およびＮＩＲ画像の複数の部分を分析することによって識別される。画像のダーク部分が陰影領域に、または、単に非陰影領域におけるダークな物体に、対応しうるので、方法３０は、各画素ペアに関する、ＮＩＲ光明度に対する可視光明度の比に基づいて、他のダークな物体から陰影の生身の肌領域を区別することができる。可視対ＮＩＲ比は、ＮＩＲ光によって照射されるときの人間の肌の一意の反射特性を活用することができる。

[0044]陰影マップは、画像の陰影領域内に位置する生身の肌の画素を識別するように生成されうる。実際、陰影画素は、陰影マップのヒストグラムに基づいて、生身の肌部分において非陰影画素と差別化されうる。様々な構成において、陰影のエッジは、エッジ検出アルゴリズムを使用して計算されることができ、陰影の境界は、陰影の半影（shadow penumbra）を発見し、その半影に基づいて画素値を調整することによって平滑化されうる。加えて、陰影および非陰影アンカ画素（non-shadow anchor pixels）が計算されうる。陰影および非陰影アンカ画素は、同じ人間の肌から生じる画像の領域を表すことができる。アンカ画素は、識別された陰影および非陰影画素の明度分布に基づいて計算されうる。

[0045]ブロック７０に移ると、生身の被写体部分における識別された陰影が減衰されうる。画素観点の方法（pixel-wise method）は、陰影を減衰するために、可視光画像における各画素の輝度を調整するように使用されうる。各画素の輝度をシフトすることによって、投げかけられた陰影によって生成されたダーク領域が取り除かれうる。いくつかの実装では、ブロック観点の方法（block-wise method）が、予め定義されたブロックにおける画素の輝度を調整するように使用されうる。画素観点およびブロック観点の減衰は、ブレンドされうる。結果として生じる、減衰された陰影を有する可視光画像は、人間の肌の鮮やかな細部および顔の形状の特徴、または画像の他の生身の被写体部分を含むことができる。

[0046]方法３０は、追加のマルチスペクトル画像がキャプチャされるものであるかどうかを決定するための決定ブロック３２に移動する。追加の画像がキャプチャされるものであるとの決定がなされる場合、方法３０は、生体の追加の可視およびＮＩＲ画像をキャプチャするためのブロック３１に戻る。どの追加の画像もキャプチャされるものではないとの決定がなされる場合、方法３０は終了する。

生身の被写体部分の検出
[0047]図４は、いくつかの実装にしたがった、可視およびＮＩＲ画像の生身の被写体部分を検出するための方法４０を例示しているフローチャートである。方法４０は、２値肌マップを計算するためのブロック４１で始まる。可視およびＮＩＲ照射の下での人間の肌の反射率の差異は、生体の生身の肌部分の検出を可能にすることができる。例えば、第１の正規化された反射率差異、ｒ_１は、可視画像画素ｉの緑のチャネルの画素値、およびＮＩＲ画像における対応する画素ｉの画素値に基づいて計算されうる：

ここにおいてｐは、チャネルＮＩＲ、緑、赤、青等を撮像するために画素ｉにおける正規化された明度を表す。

[0048]第２の正規化された反射率差異、ｒ_２は、可視画像画素ｉの赤と緑のチャネルの画素値に基づいて計算されうる：

[0049]ｒ_１およびｒ_２のヒストグラムのしきい値は、しきい値ｔ_ｎ１、ｔ_ｎ２、ｔ_ｒ１、およびｔ_ｒ２の推定を可能にすることができる。例えば、

かつ

である場合、特定の画素ｉは生身の肌の画素として識別されうる。

[0050]結果として生じる２値肌マップは、画像のどの部分が生身の肌の画素であるかを示すために使用されうる。生身の被写体部分、例えば生身の肌部分を検出するための様々な技法の追加の詳細は、その内容が全体として、かつすべての目的のために本願明細書に参照により組み込まれている、２０１２年６月２６日付けで提出された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＦＡＣＩＡＬ ＶＥＲＩＦＩＣＡＴＩＯＮ」という題名の米国特許出願番号第１３／５３３，７０６号で見受けられうる。

[0051]方法４０はブロック４３に移動し、ここにおいて肌の境界が平滑化される。ブロック４１で計算される２値肌マップは、画像の生身の肌、および生身の肌でない部分を区別することができる一方で、結果として生じる境界は途切れ途切れであるか、違った形で滑らかでないことがある。生身の肌部分と生身の肌でない部分との間の境界を平滑化するために、平滑化された肌マップ、Ｓは

によって計算されることができ、Ｎは、最小−最大正規化関数を表す。シグモイド関数ｗ_１、ｗ_２、ｗ_３、およびｗ_４は、正規化された反射率差異と、それらの関連付けられたしきい値との間の差異に基づいて計算されうる。例えば、シグモイド関数は、

かつ

によって計算されることができ、ａは、シグモイド関数ｗのレートを制御するパラメータである。

[0052]方法４０は決定ブロック４５に移動し、ここにおいて追加の画像が生身の被写体部分を識別するために処理されるものであるかどうかの決定がなされる。追加の画像が存在するとの決定がなされる場合、方法４０は、２値肌マップを計算するためのブロック４１に戻る。どの追加の画像も存在しないとの決定がなされる場合、方法４０は終了する。方法４０が画素観点の差異に基づく一方で、可視およびＮＩＲ画像の正確な整列が要求されないことは認識されるべきである。実際、顔の肌は通常、予想以上に（rather）滑らかであり、顔全体で一定の色感応を有する。したがって、方法４０は、可視およびＮＩＲ画像が、粗雑に整列される、例えば検出された顔に基づいて整列されるときでさえ、画像の生身の肌部分を的確に識別することができる。識別された生身の肌部分は、本明細書でより詳細に説明されるように、陰影を検出するように使用されうる。

陰影の識別
[0053]図５は、いくつかの実装にしたがった、検出された生身の被写体部分における陰影を識別するための方法５０を例示しているフローチャートである。方法５０は、陰影候補画素を識別するためにグローバルダークマップＤを計算するためのブロック５１で始まりうる。ダークマップＤは、ダークであるＮＩＲ画像と可視画像の両方における画素、例えば、両方の画像において低い測定された明度値を有するそれらの画素を識別する。ダークマップＤは、ダークであるＮＩＲおよび可視画像におけるすべての画素を識別するので、ダークマップＤは、単にダークな物体（例えば、黒または他のダーク色の物体）を表す画素と同様に、陰影領域にある物体（例えば、投げかけられた陰影に起因して両方の画像においてダークである物体）を表す画素を含むことができる。いくつかの実装では、グローバルダークマップＤは、

として計算されることができ、ここにおいて、

かつ

である。

[0054]したがって、ダークマップＤにおける大きな値は、陰影候補画素、例えば可視画像およびＮＩＲ画像の両方において概してダークである画素、を表すことができる。しかしながらダークマップＤが単独では、（陰影領域の中であろうと、外であろうと）ダーク陰影領域とダークな物体とを区別しないことがある。

[0055]方法５０は、ＮＩＲおよび可視画像における肌の反射率に基づいて影画像Ｆを計算するためのブロック５２に移動する。影画像Ｆは、非陰影のダークな物体で陰影領域の輪郭を描くことによって、非陰影の生身の肌部分と陰影の生身の肌部分を区別するのに役立ちうる。２値肌マップは、生身の肌でない部分から生身の肌部分をフィルタするために使用されうる。昼光（例えば直接日光）は、ＮＩＲ波長においてよりも可視波長において、より多くのエネルギーを発する。しかしながら、影、例えば直接昼光よりもむしろ天空光の下でのみ露出される領域における可視光とＮＩＲ光との間の照度の差異は、可視光によって照射された肌の反射率とＮＩＲ光によって照射された肌の反射率との間の差異と比較されると、大抵無視できる程度（negligible）である。したがって可視光とＮＩＲ光の比は、生身の肌部分として識別される領域に関して、非陰影のダークな物体から陰影領域を区別するために使用されうる。

[0056]例えばブロック５２において、影画像Ｆは、ＮＩＲおよび可視画像の画素ペア（例えば可視画像における画素に対応するＮＩＲ画像における画素）における色対ＮＩＲ画素値の比に基づいて計算されうる。ＮＩＲおよび可視画像における各画素ペアでは、画素比Ｆ_ｋは、チャネルｋに関して計算されることができ、ここにおいてチャネルｋは、ＲＧＢ可視光センサが使用されるときに、赤、緑、または青の画像データに対応する。画素比Ｆ_ｋは、

と定義されうる。

[0057]上で言及されたように、昼光（例えば直接日光）は、ＮＩＲ帯域においてよりも可視帯域においてより多くのエネルギーを発し、したがって、画像の生身の肌部分に関して、非陰影画素が陰影画素よりも比較的大きなＦ_ｋを有することができることは認識されるべきである。したがって、

である。

[0058]人間の肌に関して、影画像Ｆは、

によって画素比Ｆに基づいて計算されうる。

[0059]計算された影画像Ｆでは、生身の肌部分における大きな画素値は、真の陰影画素、例えば識別された肌上の陰影領域内に位置する画素、を表すことができる。したがって、画素比Ｆ_ｋは、ダークな物体と比較された実際の陰影領域の輪郭を描くために影画像Ｆを生成するように使用されうる。可視およびＮＩＲ照射の下での肌の一意の反射特性は、開示されたシステムが画像の生身の肌部分上の陰影を検出することを可能にしうる。

[0060]ブロック５３に移動すると、（陰影候補を表す）グローバルダークマップＤは、陰影マップＭを導出するために計算された影画像Ｆと組み合わせられうる。陰影マップＭは、

によって計算されうる。

[0061]計算された陰影マップＭでは、生身の肌部分における小さな画素値は、生身の肌の陰影画素である高確率を有する。可視光画像における陰影または非陰影領域として領域を分類するために、計算された陰影マップＭは２値化されうる。特に、Ｍのヒストグラムは、生身の肌の画素に関して算出されうる。上記の通り、２値肌マップは、生身の人間の肌に対応する画素を選択し、生身の肌でない部分を除外するために使用されうる。

[0062]方法５０は、しきい値θと画素ｐ（ｉ，ｊ）に関する陰影マップＭの値を比較するために、決定ブロック５４に移動する。Ｍの算出されたヒストグラムでは、しきい値θは、Ｍのヒストグラムの第１の谷に対応することができ、それは概して、それより下では画素が陰影領域内にある高確率が存在する画素値を表す。したがって、特定の画素ｐ（ｉ，ｊ）が生身の肌の陰影画素であるかどうかは、

によって与えられうる。

[0063]画素ｐ（ｉ，ｊ）に関するダークマップＭ（ｉ，ｊ）の値がしきい値θ以下であるという決定が、ブロック５４においてなされる場合、方法は、画像の生身の肌部分内の陰影画素として画素ｐ（ｉ，ｊ）を識別するためのブロック５５に移動する。画素ｐ（ｉ，ｊ）に関するダークマップＭ（ｉ，ｊ）の値がしきい値θ以下でないという決定がなされる場合、方法５０は、非陰影画素として画素ｐ（ｉ，ｊ）を識別するためのブロック５６に移動する。陰影または非陰影画素として画素を識別すると、方法５０は終了する。

[0064]いくつかの構成では、陰影の境界は、標準のエッジ検出アルゴリズムを実装することによって、陰影マップＭを使用して推定されうる。さらに陰影境界は、投げかけられた陰影境界を横断した半影領域を探索することによって平滑化されうる。半影領域を探索することによって、図７に関して以下で説明される陰影減衰方法の正確性は向上しうる。例えば、エッジまたは半影画素として識別される画素は、陰影境界を平滑化するために、マルコフ確率場（ＭＲＦ）技法と共に使用されうる。

[0065]さらに、図７に関して以下で説明される陰影減衰技法を向上させるために、陰影および非陰影アンカ画素が選択されうる。同じ画像における人間の肌上の陰影画素および非陰影画素の明度分布は、高度に相関されうる。実際、陰影および非陰影アンカ画素は、画像における同じ人間の肌から生じた可能性が高い画素を表すことができる。例えば、いくつかの構成では、陰影および非陰影アンカ画素は、陰影および非陰影画素の輝度値のヒストグラムに基づいて計算されうる。

[0066]特に、陰影および非陰影画素は、予め定義されたしきい値を上回る確率を有する陰影および非陰影領域の両方における画素に関して選択されうる。図６は、非陰影および陰影画素の測定された明度のヒストグラムである。いくつかの実装では、陰影および非陰影アンカ画素が０．２以上の確率を有する画素のみを含むことができるように、０．２を下回る確立に対応する正規化された明度を有する画素は破棄されうる。０．２以上の確率に対応する明度を有する、それぞれのアンカ画素は、図７に関して以下で説明される輝度分布を計算するために使用されうる。陰影および非陰影領域の両方に関する結果として生じるアンカ画素は、同じ人間の肌領域から生じる領域を表すことができる。

影の減衰
[0067]図７は、いくつかの実装にしたがった、識別された陰影を減衰するための方法７０を例示しているフローチャートである。概して陰影は、例えば減衰された画像において陰影領域をより明るく見えるようにするために、画像の検出された陰影領域における画素の輝度分布を非陰影領域のものにシフトすることによって、減衰されうる。いくつかの実施形態では、システムは、（１つ以上の）検出された陰影領域をより明るく見えるようにする（例えば陰影を減衰する）間、また画像の陰影領域における人間の肌のテクスチャを確保する間、キャプチャされた画像における非陰影および肌でない領域を確保する。さらに実施形態は、人間の肌が人工的に見えないように、または他の方法で修正されたように見えないように、人間の肌の自然な視覚的認識を確保する。

[0068]検出された陰影を減衰するために、輝度ヒストグラムは、陰影および非陰影画素の両方に関して計算されうる。累積分布関数（ＣＤＦ）は、陰影および非陰影画素、例えばＣ_{ｓｈａｄｏｗ}およびＣ_{ｎｏｎ−ｓｈａｄｏｗ}、それぞれのヒストグラムに関して計算されうる。陰影および非陰影領域における画素は、陰影および非陰影にある各画素ｉのＹＣｂＣｒ空間における輝度（luma）コンポーネントが相関されうるように整合されうる（match）。例えばいくつかの実装では、陰影および非陰影画素のＣＤＦは、各画素ｉの輝度コンポーネントＹ_ｉに関して、対応する輝度コンポーネントＹ_ｉ’が、

のように識別されることができ、ここにおいてＹ_ｉは、陰影領域における輝度に対応し、Ｙ_ｉ’は非陰影領域における輝度に対応する、ように整合されうる。したがって、輝度シフトは、

として推定されうる。

[0069]方法７０は、画素輝度シフトの重みマップＷを生成するためのブロック７１で始まる。重みマップＷは、生身の肌検出方法５０および／または陰影検出方法６０によって誘発された画素観点の誤差を排するために使用されることができ、各画素に関する輝度シフトの量を示すことができる。したがって重みマップＷは、人間の肌の自然な様子を確保するのに役立ちうる。いくつかの実装では、重みマップＷは、

によって計算されることができ、ここにおいて

かつ

であり、μ_１およびσ_１は、いくつかの構成では、陰影アンカ画素の輝度値の平均および変数を示すことができる。重みマップＷにおいて、より大きな重みが肌の陰影画素に割り当てられることができ、より小さな重みが肌でないおよび／または非陰影画素に割り当てられうる。

[0070]方法７０はその後、決定ブロック７２に移動し、ここにおいて画素観点の減衰技法が検出された陰影を減衰するために使用されることになるか否かに関する決定がなされる。以下でより詳細に説明されるように、画素観点の技法を用いないとの決定がなされる場合、方法７０は、ブロック観点の技法で陰影を減衰するための決定ブロック７４に継続する。画素観点の技法を使用するとの決定がなされる場合、方法７０は、画素毎ベースで各画素の輝度を調整するためのブロック７３に移動する。特に、各画素の輝度は、

によって調整されうる。

[0071]したがって、生身の肌部分における検出された陰影は、陰影領域を照らし、画像品質を向上させるために、重み付けされた量Δ分、元の輝度Ｙを調整することによって減衰されうる。

[0072]いくつかのケースでは、陰影境界は、切形（abrupt）または途切れ途切れでありうる。陰影境界を和らげる、および／または平滑化するために、ならびに撮像された肌の自然な様子を向上させるために、方向平滑化技法が適用されうる。例えば、いくつかの構成では、陰影半影マップＢは、

によって定義されることができ、ここにおいてτは、予め定義されたしきい値である。

は、輝度画像Ｙ’の画素ｐ（ｉ，ｊ）における傾度の大きさを表すので、陰影半影マップＢが、画像傾度が比較的小さい、例えば陰影境界が比較的滑らかである画像の領域を表すことができることは認識されるべきである。さらに、Ｙ値は、陰影半影マップＢにおける各画素が陰影エッジに正接の方向で局所的に平滑化されうるように、実際の半影領域を横断して平滑化されうる。陰影境界のテクスチャは、それにより確保されうる。

[0073]方法７０はその後、ブロック観点の減衰技法が検出された陰影に対して実行されるものであるかどうかを決定するための決定ブロック７４に移動する。回答がいいえである場合、方法７０は終了する。ブロック観点の減衰技法が実行されることになるとの決定がなされる場合、方法７０は、画素の１つ以上のブロックの輝度値を調整するためのブロック７５に移動する。ブロック７５のブロック観点の技法は、顔全体または生身の肌領域が陰影領域にあるもののような様々な状況で用いられうる。顔の大部分が陰影によってぼやかされうるので、画素観点の減衰技法は、肌の陰影部分の肌のテクスチャの差異を完全にキャプチャしないことがある。人間の肌の自然な様子を確保するために、ブロック観点の手法が使用されうる。例えば、画像は１つ以上のブロックに分割されることができ、コントラスト極限関数が各ブロックのヒストグラムに対して独立的に適用されうる。コントラスト極限関数は、レートを制御するためのパラメータを有する固定の指数関数でありうる。隣接するブロックのヒストグラムは平均化され、各画素の輝度は、４つの隣接するヒストグラムを使用してトーンマッピングされうる。重みは各ブロックに割り当てられうる。例えば、割り当てられた重みは、上記で説明された、重みマップＷから計算されうる。重みは、コントラスト極限関数のレートにマッピングされうる。いくつかの構成では、ブロックにおける全ての画素の重みが平均化されうる。マッピング関数は、

によって決定されることができ、ここにおいてａおよびｂは、予め決定されたパラメータ（例えば、いくつかの構成ではａ＝４、ｂ＝１）である。より大きな重みを有するブロックは、より多くのコントラスト促進が適用されうるように、より多くの陰影を有しうる。同様に、より小さな重みを有するブロックは、より少ないコントラスト促進が適用されうるように、より少ない陰影を有しうる。

[0074]方法７０はその後、画素およびブロック観点の減衰を、減衰の両方のタイプが用いられるケースにおいてブレンドするためのブロック７６に移動する。例えば、アルファブレンディングが、陰影減衰技法の両方のタイプの利点を組み込むために使用されうる。特に、減衰された画像Ｙ’は、

によって計算されることができ、ここにおいてαは０から１まで変動する。αの値は、ユーザによって、または適応的にシステムによって決定されうる。いくつかの構成では、αは投げかけられた陰影のケースでは約０．７５であることができ、投げかけられていない（non-cast）陰影のケースでは約０．２５であることができる。さらに彩度コンポーネントＣ_ｂおよびＣ_ｒは、

かつ

によって調整されうる。

[0075]したがって減衰された画像は、減衰された輝度および彩度コンポーネントを含むことができる。画像品質における結果として生じる改善は、キャプチャされた画像における生身の肌部分をぼやかすダーク部分を低減することができる。一度画像が減衰されると、方法７０は終了する。

陰影減衰の例
[0076]図８Ａ−１から８Ｅは、一実装にしたがった陰影減衰方法の異なる段階における実例となる画像である。例えば図８Ａ−１および８Ａ−２は、それぞれ、ＮＩＲセンサおよび別個の可視光センサを使用してキャプチャされた、実例となるＮＩＲおよび可視光画像である。図８Ａ−２の可視光画像が、図面において黒と白の写真で例示されているけれども、元の画像が色ＲＧＢ画像としてキャプチャされたことは認識されるべきである。図８Ａ−１および８Ａ−２の両方で図示されているように、生身の被写体は、日中に外で撮像された。被写体の帽子が、顔の細部が投げかけられた陰影によってぼやかされる程に、被写体の顔を覆って実質的な陰影を投げかけている。

[0077]図８Ｂ−１は、上記で詳細に説明された、図４のブロック４１にしたがって計算された２値肌マップを例示している。２値肌マップは、被写体の生身の肌の、および生身の肌でない画素を表すことができる。図８Ｂ−１で図示されているように、方法４０は、被写体の顔および露出された腕のような画像における生身の肌部分を的確に探索した。図８Ｂ−２は、図４のブロック４３にしたがって計算された肌マップＳを例示している。開示されている滑らかな関数（smoothing function）は、２値肌マップから生身の肌の画素と生身の肌でない画素の間の肌境界を平滑化することに成功した。

[0078]図８Ｃ−１は、上記で説明された、図１のブロック５１にしたがって生成されたダークマップＤを例示している。図８Ｃ−１で図示されているように、ダークマップＤにおける大きな値は概して、陰影領域または単にダークな物体のどちらかに対応する、概してダークな物体を表すことができる。したがって、（より高い画素値を表す）より明るい図８Ｃ−１における領域は、元の可視およびＮＩＲ画像におけるよりダークな領域に対応しうる。例えば、被写体の顔におけるその領域は、陰影領域に対応する、高い画素値を有する。加えて、ダークマップＤにおいて、被写体の髪および眉毛のようなダークな物体もまた、高い画素値を有する。

[0079]図８Ｃ−２に移ると、影マップＦは、生身の肌部分内の陰影領域の輪郭を描く。例えば図８Ｃ−２では、肌部分における大きな画素値が陰影の生身の肌部分を表す一方で、小さな画素値（例えば、よりダークな領域）は、画像の非陰影部分またはダークな物体部分のどちらかを表す。例えば影マップＦでは、（陰影によって妨げられている）顔はより高い画素値にある一方で、眉毛、髪、および目はより低い画素値にある。したがって生身の肌部分内の陰影領域は概して、眉毛、髪、目等のような非陰影部分によって輪郭が描かれる。影マップＦはそれにより、生身の肌部分における非肌領域と陰影を区別することができる。

[0080]図８Ｄにおいて、陰影マップＭは、実例となる画像に関して図示されている。陰影マップＭにおいて、肌部分内の小さな値（例えばよりダークな領域）は、陰影画素である高確率を有する領域を表す。図８Ｄで図示されているように、例えば、被写体の唇、髪、眉毛、および目は、（非陰影のダークな領域に対応する）より高い画素値を有する一方で、被写体の帽子によって妨げられた被写体の顔の肌は、より低い画素値を有し、それは被写体の顔の陰影領域に対応する。

[0081]図８Ｅは、被写体の顔を覆って投げかけられた陰影が検出され、実質的に減衰されている実例となる画像を例示している。特に図８Ｅは、被写体の顔を覆って投げかけられた陰影が低減されている可視光画像である。被写体の鼻、口、頬等を定義する線のような、顔の特徴が見られうるのに対して、図８Ａ−２では、同じ顔の特徴はダークな陰影領域によって多大にぼやかされる。図７に関して上記で説明されたように例えば、本明細書で開示されているシステムおよび方法は、人間の肌上の陰影を検出および減衰するために、ＮＩＲ光によって照射されるときの人間の肌の一意の反射特性を利用することができる。図８Ｅで図示されている画像が黒と白の画像としてレンダリングされうるけれども、元の可視光画像が、ＲＧＢ可視光センサを使用してキャプチャされたことは認識されるべきである。例示されている黒と白の画像が、例示の便宜のみのために提示されている。

用語に関する説明
[0082]当業者は、本明細書で開示されている実装と関係して説明されている様々な例示的な論理ブロック、モジュール、回路、およびプロセスステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合せとして実装されうることをさらに認識するだろう。ハードウェアとソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、概してそれらの機能の観点から上で説明されてきた。このような機能が、ハードウェアとして実装されるか、またはソフトウェアとして実装されるかは、特定のアプリケーションおよびシステム全体に課せられる設計制約に依存する。当業者は、各特定のアプリケーションのための様々な方法で説明された機能を実装しうるけれども、そのような実装決定は、本願発明の範囲からの逸脱を引き起こすとして解釈されるべきではない。当業者は、ある部分、または一部が、全体以下のものを備えうることを認めるだろう。例えば、画素のコレクションの部分は、それらの画素のサブコレクションを指しうる。

[0083]本明細書で開示されている実施形態と関係して説明されている様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラム可能論理デバイス、ディスクリートゲートもしくはトランジスタ論理回路、ディスクリートハードウェアコンポーネント、または本明細書で説明されている機能を実行するように設計されたそれらの任意の組み合わせを用いて実行または実装されうる。汎用プロセッサはマイクロプロセッサでありうるけれども、代わりとしてプロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサは、コンピュータデバイスの組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連結した１つ以上のマイクロプロセッサ、または任意の他のそのような構成としても実装されうる。

[0084]本明細書で開示されている実装に関係して説明されている方法またはプロセスのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、またはこれらの２つの組み合わせにおいて、具現化されうる。各モジュールは、様々なサブルーチン、プロシージャ、定義ステートメントおよびマクロを含むことができる。モジュールの各々は、単一の実行可能なプログラムに別々にコンパイルおよびリンクされうる。本明細書におけるモジュールの各々の説明は、便宜上、システムの機能を説明するために使用される。モジュールの各々により経験されるプロセスは、他のモジュールのうちの１つに適宜再分配され、単一のモジュールに互いに組み合わされ、または、例えば共有可能な動的リンクライブラリで利用可能にされうる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で既知のあらゆる他の形式の非一時的な記憶媒体に存在することができる。例示的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み出し、コンピュータ可読記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代わりとして、記憶媒体は、プロセッサと一体でありうる。プロセッサおよび記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイスに存在することができる。代わりとして、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイスにディスクリートコンポーネントとして存在することができる。

[0085]見出しは、参照のために、および様々なセクション探索するのを支援するために、本明細書に含まれている。これらの見出しは、それらに関して説明されている概念の範囲を限定するようには意図されない。そのような概念は、明細書全体にわたって適用性を有しうる。

[0086]開示されている実装の先の説明は、いかなる当業者であっても、本発明を製造または使用できるように提供されている。これらの実装への様々な修正は、当業者にとって容易に明らかになり、本明細書で定義されている一般的な原理は、本発明の趣旨または範囲から逸脱することなく、他の実装にも適用されうる。したがって、本発明は、本明細書で示されている実装に限定されるようには意図されておらず、本明細書で開示されている原理および新規な特徴と一致する可能性がある最も広い範囲が与えられることになる。

[0086]開示されている実装の先の説明は、いかなる当業者であっても、本発明を製造または使用できるように提供されている。これらの実装への様々な修正は、当業者にとって容易に明らかになり、本明細書で定義されている一般的な原理は、本発明の趣旨または範囲から逸脱することなく、他の実装にも適用されうる。したがって、本発明は、本明細書で示されている実装に限定されるようには意図されておらず、本明細書で開示されている原理および新規な特徴と一致する可能性がある最も広い範囲が与えられることになる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
画像における陰影を減衰するためのコンピュータによって実行される方法であって、
マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理することと、
前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別することと、
前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰することと、
を備える、コンピュータによって実行される方法。
［Ｃ２］
前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える、Ｃ１に記載の方法。
［Ｃ３］
前記識別された陰影を減衰することは、前記可視光画像データにおける前記識別された陰影を減衰することを備える、Ｃ２に記載の方法。
［Ｃ４］
前記生体は、人間の被写体を備え、前記検出された生身の被写体部分は生身の肌部分を備える、Ｃ２に記載の方法。
［Ｃ５］
前記陰影を識別することは、前記可視およびＮＩＲ画像における対応する画素に関する、可視対ＮＩＲ光の比を計算することを備える、Ｃ４に記載の方法。
［Ｃ６］
前記可視光画像データおよび前記ＮＩＲ画像データにおける前記検出された生身の肌部分および前記識別された陰影に少なくとも部分的に基づいて、前記識別された陰影を減衰することをさらに備える、Ｃ４に記載の方法。
［Ｃ７］
前記識別された陰影を減衰することは、前記ＮＩＲおよび可視光画像データにおける輝度分布を計算することを備える、Ｃ６に記載の方法。
［Ｃ８］
前記可視光およびＮＩＲ画像データにおける人間の顔を検出することをさらに備え、前記検出された人間の顔は、前記検出された生身の肌部分の少なくともいくらかを備える、Ｃ４に記載の方法。
［Ｃ９］
マルチスペクトル撮像システムで、前記マルチスペクトル画像データをキャプチャすることをさらに備える、Ｃ１に記載の方法。
［Ｃ１０］
前記マルチスペクトル画像データをキャプチャすることは、可視光画像データおよび近赤外線（ＮＩＲ）画像データをキャプチャすることを備える、Ｃ９に記載の方法。
［Ｃ１１］
可視光画像データおよびＮＩＲ画像データをキャプチャすることは、
可視光センサで前記生体の可視光画像をキャプチャすることと、
ＮＩＲ光センサで前記生体のＮＩＲ光画像をキャプチャすることと、
を備える、Ｃ１０に記載の方法。
［Ｃ１２］
可視画像における陰影を減衰するための撮像システムであって、
マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理するようにプログラミングされた生身の被写体検証モジュールと、
前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別するようにプログラミングされた陰影識別モジュールと、
前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰するようにプログラミングされた陰影減衰モジュールと、
を備える、撮像システム。
［Ｃ１３］
生体を含むマルチスペクトル画像データをキャプチャするように構成されたマルチスペクトル撮像システムをさらに備える、Ｃ１２に記載の撮像システム。
［Ｃ１４］
前記マルチスペクトル撮像システムは、可視光センサおよび近赤外線（ＮＩＲ）センサを備える、Ｃ１３に記載の撮像システム。
［Ｃ１５］
前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える、Ｃ１２に記載の撮像システム。
［Ｃ１６］
前記生体は、人間の被写体を備え、前記検出された生身の被写体部分は生身の肌部分を備える、Ｃ１２に記載の撮像システム。
［Ｃ１７］
前記陰影識別モジュールは、前記可視およびＮＩＲ画像における対応する画素に関する、可視対ＮＩＲ光の比を計算するようにプログラミングされる、Ｃ１６に記載の撮像システム。
［Ｃ１８］
前記陰影減衰モジュールは、前記可視光画像データおよび前記ＮＩＲ画像データにおける前記検出された生身の肌部分および前記識別された陰影に少なくとも部分的に基づいて、前記識別された陰影を減衰するようにプログラミングされる、Ｃ１６に記載の撮像システム。
［Ｃ１９］
前記陰影減衰モジュールは、前記ＮＩＲおよび可視光画像データにおける輝度分布を計算することによって、前記識別された陰影を減衰するようにプログラミングされる、Ｃ１８に記載の撮像システム。
［Ｃ２０］
撮像システムであって、
マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理するための手段と、
前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別するための手段と、
前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰するための手段と、
を備える、撮像システム。
［Ｃ２１］
生体を含むマルチスペクトル画像データをキャプチャするための手段をさらに備える、Ｃ２０に記載の撮像システム。
［Ｃ２２］
前記キャプチャする手段は、可視光センサおよび近赤外線（ＮＩＲ）センサを備える、Ｃ２１に記載の撮像システム。
［Ｃ２３］
前記処理する手段は、前記マルチスペクトル画像データを処理するようにプログラミングされた生身の被写体検証モジュールを備える、Ｃ２０に記載の撮像システム。
［Ｃ２４］
前記陰影識別手段は、前記陰影を識別するようにプログラミングされた陰影識別モジュールを備える、Ｃ２０に記載の撮像システム。
［Ｃ２５］
前記陰影減衰手段は、前記識別された陰影を減衰するようにプログラミングされた陰影減衰モジュールを備える、Ｃ２０に記載の撮像システム。
［Ｃ２６］
コードを記憶した非一時的なコンピュータ可読媒体であって、前記コードは、実行されたときに、
マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理することと、
前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別することと、
前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰することと、
を備える方法を実行する、非一時的なコンピュータ可読媒体。
［Ｃ２７］
前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える、Ｃ２６に記載のコンピュータ可読媒体。

Claims (27)

1. 画像における陰影を減衰するためのコンピュータによって実行される方法であって、
   マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理することと、
   前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別することと、
   前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰することと、
   を備える、コンピュータによって実行される方法。
2. 前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える、請求項１に記載の方法。
3. 前記識別された陰影を減衰することは、前記可視光画像データにおける前記識別された陰影を減衰することを備える、請求項２に記載の方法。
4. 前記生体は、人間の被写体を備え、前記検出された生身の被写体部分は生身の肌部分を備える、請求項２に記載の方法。
5. 前記陰影を識別することは、前記可視およびＮＩＲ画像における対応する画素に関する、可視対ＮＩＲ光の比を計算することを備える、請求項４に記載の方法。
6. 前記可視光画像データおよび前記ＮＩＲ画像データにおける前記検出された生身の肌部分および前記識別された陰影に少なくとも部分的に基づいて、前記識別された陰影を減衰することをさらに備える、請求項４に記載の方法。
7. 前記識別された陰影を減衰することは、前記ＮＩＲおよび可視光画像データにおける輝度分布を計算することを備える、請求項６に記載の方法。
8. 前記可視光およびＮＩＲ画像データにおける人間の顔を検出することをさらに備え、前記検出された人間の顔は、前記検出された生身の肌部分の少なくともいくらかを備える、請求項４に記載の方法。
9. マルチスペクトル撮像システムで、前記マルチスペクトル画像データをキャプチャすることをさらに備える、請求項１に記載の方法。
10. 前記マルチスペクトル画像データをキャプチャすることは、可視光画像データおよび近赤外線（ＮＩＲ）画像データをキャプチャすることを備える、請求項９に記載の方法。
11. 可視光画像データおよびＮＩＲ画像データをキャプチャすることは、
    可視光センサで前記生体の可視光画像をキャプチャすることと、
    ＮＩＲ光センサで前記生体のＮＩＲ光画像をキャプチャすることと、
    を備える、請求項１０に記載の方法。
12. 可視画像における陰影を減衰するための撮像システムであって、
    マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理するようにプログラミングされた生身の被写体検証モジュールと、
    前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別するようにプログラミングされた陰影識別モジュールと、
    前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰するようにプログラミングされた陰影減衰モジュールと、
    を備える、撮像システム。
13. 生体を含むマルチスペクトル画像データをキャプチャするように構成されたマルチスペクトル撮像システムをさらに備える、請求項１２に記載の撮像システム。
14. 前記マルチスペクトル撮像システムは、可視光センサおよび近赤外線（ＮＩＲ）センサを備える、請求項１３に記載の撮像システム。
15. 前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える、請求項１２に記載の撮像システム。
16. 前記生体は、人間の被写体を備え、前記検出された生身の被写体部分は生身の肌部分を備える、請求項１２に記載の撮像システム。
17. 前記陰影識別モジュールは、前記可視およびＮＩＲ画像における対応する画素に関する、可視対ＮＩＲ光の比を計算するようにプログラミングされる、請求項１６に記載の撮像システム。
18. 前記陰影減衰モジュールは、前記可視光画像データおよび前記ＮＩＲ画像データにおける前記検出された生身の肌部分および前記識別された陰影に少なくとも部分的に基づいて、前記識別された陰影を減衰するようにプログラミングされる、請求項１６に記載の撮像システム。
19. 前記陰影減衰モジュールは、前記ＮＩＲおよび可視光画像データにおける輝度分布を計算することによって、前記識別された陰影を減衰するようにプログラミングされる、請求項１８に記載の撮像システム。
20. 撮像システムであって、
    マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理するための手段と、
    前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別するための手段と、
    前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰するための手段と、
    を備える、撮像システム。
21. 生体を含むマルチスペクトル画像データをキャプチャするための手段をさらに備える、請求項２０に記載の撮像システム。
22. 前記キャプチャする手段は、可視光センサおよび近赤外線（ＮＩＲ）センサを備える、請求項２１に記載の撮像システム。
23. 前記処理する手段は、前記マルチスペクトル画像データを処理するようにプログラミングされた生身の被写体検証モジュールを備える、請求項２０に記載の撮像システム。
24. 前記陰影識別手段は、前記陰影を識別するようにプログラミングされた陰影識別モジュールを備える、請求項２０に記載の撮像システム。
25. 前記陰影減衰手段は、前記識別された陰影を減衰するようにプログラミングされた陰影減衰モジュールを備える、請求項２０に記載の撮像システム。
26. コードを記憶した非一時的なコンピュータ可読媒体であって、前記コードは、実行されたときに、
    マルチスペクトル画像データの生身の被写体部分を検出するために、生体を含む前記マルチスペクトル画像データを処理することと、
    前記マルチスペクトル画像データの前記検出された生身の被写体部分における陰影を識別することと、
    前記マルチスペクトル画像データの少なくとも一部における前記識別された陰影を減衰することと、
    を備える方法を実行する、非一時的なコンピュータ可読媒体。
27. 前記マルチスペクトル画像データは、可視光画像データおよび近赤外線（ＮＩＲ）画像データを備える、請求項２６に記載のコンピュータ可読媒体。