JP2017038162A - 撮像装置及び画像処理方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】被写体の特定の部位が遮光された状態であっても、被写体を撮像した画像から被写体に固有の情報を推定することができる技術の実現。
【解決手段】同一の被写体について可視光画像と赤外光画像を撮像可能な撮像装置であって、前記可視光画像から所定の被写体を検出する検出手段と、前記赤外光画像から前記検出手段により検出された被写体における特定の部位の特徴情報を抽出する抽出手段と、前記抽出手段により抽出された特徴情報を用いて前記所定の被写体に固有の情報を推定する推定手段と、を有する。
【選択図】図２

Description

本発明は、可視光画像と赤外光画像を撮像可能な装置に関する。

従来、可視光撮影と赤外線撮影を行うことができる撮像装置として、特許文献１には赤外光画像中の被写体として、人物の目の虹彩の輝度値から虹彩の色や人種を推定する技術が記載されている。

特開２０１４−７９４９５号公報

監視カメラ等では、撮像した画像から人物の特徴情報を抽出し記録することは重要な機能である。しかしながら、サングラス等で目を隠した人物を撮像した画像から目の部分の特徴情報を抽出することは困難である。この場合、赤外光画像を撮影可能なイメージセンサを用いることで、サングラス等で目を隠した人物であっても目の部分の画像を撮像することが可能となる。しかしながら、可視光画像ではないため、虹彩の色等の固有の生体情報を画像から抽出することはできない。

また、上記特許文献１では、虹彩の輝度値から虹彩の色や人種を推定する技術が記載されているが、医療分野での使用が想定されており、サングラス等を装着しないで裸眼で撮影した画像から虹彩の色を推定しているため、サングラス等を装着した人物の撮影に使用することは想定されていない。そのため、サングラス等が装着されて赤外光成分の輝度値が変化する場合には、虹彩の輝度値も変化してしまい、虹彩の色を推定することはできない。

本発明は、上記課題に鑑みてなされ、その目的は、被写体の特定の部位が遮光された状態であっても、被写体を撮像した画像から被写体に固有の情報を推定することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、同一の被写体について可視光画像と赤外光画像を撮像可能な撮像装置であって、前記可視光画像から所定の被写体を検出する検出手段と、前記赤外光画像から前記検出手段により検出された被写体における特定の部位の特徴情報を抽出する抽出手段と、前記抽出手段により抽出された特徴情報を用いて前記所定の被写体に固有の情報を推定する推定手段と、を有する。

本発明によれば、被写体の特定の部位が遮光された状態であっても、被写体を撮像した画像から被写体に固有の情報を推定することができ、認証精度を高めることができる。

本実施形態の装置構成を示すブロック図。 図１の画像処理部の構成を示すブロック図。 本実施形態の画像処理を示すフローチャート。 サングラスの検出方法を説明する図。 本実施形態の虹彩推定方法を説明する図。 本実施形態の虹彩推定に用いる輝度プロファイルを説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

以下、本発明の撮像装置を、例えば、静止画や動画を撮影するデジタルカメラに適用した実施形態について説明するが、その他の監視カメラ等にも適用可能である。

＜装置構成＞図１を参照して、本発明に係る実施形態のデジタルカメラの構成及び機能の概略について説明する。

本実施形態のデジタルカメラは、光軸Ｏ１上に、対物レンズ１、撮影絞り２、フォーカスレンズ３、撮影レンズ４が順次に配列されており、その後段に、波長分離のためのダイクロイックミラー５が配置されている。ダイクロイックミラー５は、可視光を透過する一方、赤外光を反射する構造を有する。ダイクロイックミラー５を透過した可視光成分は、ダイクロイックミラー５の後段に配置された可視光イメージセンサ６により光電変換され、可視光画像信号が生成される。一方、ダイクロイックミラー５で反射された赤外光成分は、光軸Ｏ２上に配置されたＣＭＯＳ等からなる赤外光イメージセンサ７により光電変換され、赤外光画像信号が生成される。

また、可視光画像撮像用及び赤外光画像撮像用の各イメージセンサ６、７から出力される画像信号は画像処理部８により図２で後述する信号処理及び画像処理が施されて制御部９に出力される。制御部９はＣＰＵやメモリ等を有し、カメラ全体の動作を制御する。制御部９には、ユーザ操作を受け付ける操作部を持つモニタ１０と画像データを記録する記録部１１が接続される。記録部１１は、カメラに内蔵または着脱可能なメモリカードやハードディスクである。画像処理部８は可視光イメージセンサ６で撮像された可視光画像中の所定の被写体としての人物の顔とサングラス等の遮蔽部を検出する。また、画像処理部８は赤外光イメージセンサ７で撮像された赤外光画像中の人物の顔における特定の部位の特徴情報として人物の顔に含まれる目の瞳孔、虹彩及び強膜の輝度情報を抽出する。さらに、画像処理部８は、人物の顔に含まれる目の瞳孔、虹彩及び強膜の輝度情報の関係から虹彩の色や人種等の固有の生体情報を推定する。そして、画像処理部８は、可視光画像における人物の顔に含まれる目の領域に、赤外光イメージセンサ７により撮像された赤外光画像から推定された目の虹彩の色を付加した合成画像を生成し、制御部９に出力する。制御部９は、合成画像を適宜モニタ１０に出力し、映像を表示すると同時に、合成画像を記録部１１に出力し、保存する。

このようにして得られた合成画像を用いて人物認証（生体認証）を行うことで、サングラス等により目が隠された顔画像であっても人物認証精度を高めることが可能となる。なお、人物認証は制御部９が行うようにしてもよいし、後述するネットワークを介して接続される外部装置が行うようにしてもよい。なお、人物認証は各メモリに事前に認証用データを記憶しておき、その認証用データと合成画像を比較することによって行う。比較した結果として、認証対象との類似する度合いが所定の量以上であれば、画像上の人物が認証対象と一致したと判定する。ここで、判定結果に画像上の人物の認証の該非のみではなく、比較した際の類似度合い等も含むようにしても良い。

ここで、可視光イメージセンサ６及び赤外光イメージセンサ７は略共役な位置に配置されているが、赤外光イメージセンサ７は、波長差による合焦位置のずれを吸収するために、光路上後方にずれて配置されている。なお、赤外光イメージセンサは、赤外線（中赤外線）に加えて遠赤外線や近赤外線を撮像可能な２波長赤外線センサの形態であっても良い。

さらに、本実施形態のデジタルカメラは、近赤外光を発光するＬＥＤ光源等からなる図示しない照明光源を有する。

制御部９は、外部ストレージや外部コンピュータなどの外部機器に接続可能であり、撮影された画像を外部機器へ転送することができる。また、外部機器により撮影の開始や終了を制御することも可能となっている。

なお、制御部９にはさらに通信部が接続されていても良い。この場合、通信部は、画像処理部８で生成された画像データを無線や有線などのネットワークを介して離れた場所に設置された外部装置や外部モニタなどに出力することができる。

上記構成によれば、同一の被写体について可視光画像と赤外光画像を同時に撮像することが可能となる。また、ほぼ同一の画角で可視光画像と赤外光画像を撮像することがきる。

＜画像処理部の構成＞次に、図２を参照して、図１の画像処理部８の詳細な構成及び処理の流れについて説明する。

まず、画像処理部８における可視光画像の処理ブロック及び信号処理の流れについて説明する。

可視光イメージセンサ６から出力される可視光画像信号は、可視光画像信号処理部２０１によりＲＧＢ信号に分離されて可視光画像処理部２０３に出力される。可視光画像処理部２０３はＲＧＢ信号に対してガンマ補正や色空間変換などの画像処理を実行し、ＹＣｂＣｒの輝度色差信号を生成し、顔・遮光部検出部２０５へ出力する。顔・遮光部検出部２０５は、ＹＣｂＣｒの輝度色差信号から可視光画像中の人物の顔領域と遮光部（例えば、光の透過率を低下させるサングラス）を検出する。顔・遮光部検出部２０５による顔領域と遮光部の検出結果は、目の周辺領域の可視光画像信号と共に、目や遮光部の画素位置の座標情報として虹彩推定部２０６へ出力される。また、可視光画像処理部２０３から出力されるＹＣｂＣｒの輝度色差信号は合成処理部２０７へ出力される。

次に、画像処理部８における赤外光画像の処理ブロック及び信号処理の流れについて説明する。

赤外光イメージセンサ７から出力される赤外光画像信号は、赤外光画像信号処理部２０２により輝度信号Ｙのみの画像信号が生成されて赤外光画像処理部２０４に出力される。赤外光画像処理部２０４は輝度信号Ｙのみの画像信号に対してガンマ補正などの画像処理を実行し、虹彩推定部２０６へ出力する。

虹彩推定部２０６は、顔・遮光部検出部２０５から得られた目や遮光部の画素位置の座標情報と赤外光画像信号から目の虹彩部分の色を推定し、推定された虹彩の色を、顔・遮光部検出部２０５から出力された目の周辺領域の可視光画像における虹彩部分に付加した可視光画像信号を生成し、合成処理部２０７に出力する。

合成処理部２０７は、虹彩推定部２０６から得られた目の周辺領域の可視光画像信号と、顔・遮光部検出部２０５から得られた可視光画像信号における目の周辺領域以外の可視光画像信号とを合成した合成画像を出力する。

なお、本実施形態では可視光画像の色空間をＹＣｂＣｒとしたが、ＲＧＢやＹＵＶ等の他の色空間を用いても良い。

＜画像処理＞次に、図３から図６を参照して、本実施形態の画像処理部による処理について説明する。

図３は本実施形態の画像処理部８による画像処理手順を示しており、制御部９がメモリに格納されたプログラムを読み出して実行し、画像処理部８を制御することにより実現される。また、図３の処理は、デジタルカメラがカメラモードに設定され、撮像された画像が外部に出力される場合などに実行される。なお、本実施形態では、画像処理部８は、制御部９とは別に構成されているが、制御部９に実装された構成や不図示の外部コンピュータ上に実装された構成であっても良い。

また、上述したように可視光画像処理部２０３から顔・遮光部検出部２０５に出力される可視光画像信号はＹＣｂＣｒの輝度色差信号であり、赤外光画像処理部２０４から虹彩推定部２０６に出力される赤外光画像信号は輝度信号Ｙのみであるものとする。また、顔・遮光部検出部２０５および虹彩推定部２０６から合成処理部２０７に出力される画像信号はＹＣｂＣｒの輝度色差信号であり、詳しくは、顔・遮光部検出部２０５から出力されるのは画像全体の可視光画像信号であり、虹彩推定部２０６から出力される画像信号は目の周辺領域の可視光画像信号であるものとする。

ステップＳ３０１では、画像処理部８は、顔・遮光部検出部２０５において可視光画像中の人物の顔領域を検出する。顔検出処理としては、主成分分析による固有顔（ｅｉｇｅｎｆａｃｅ）を用いた方法がある。この方法は「Ｍ．Ａ．Ｔｕｒｋ ａｎｄ Ａ．Ｐ．Ｐｅｎｔｌａｎｄ， ”Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｅｉｇｅｎｆａｃｅｓ”， Ｐｒｏｃ． ｏｆ ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ．５８６−５９１， １９９１．」に記載されている。また、特開平９−２５１５３４号公報に記載されているように、目、鼻、口等の特徴点を利用した方法により、顔検出処理を行うようにしても良い。これらの方法は、入力画像と複数の標準パターンとのパターンマッチング法により入力画像が人物の顔であるか否かを判定している。顔検出処理での顔検出の結果としては、顔画像の特徴点の情報（鼻・口・顔の輪郭形状、サングラスのフレームの形・色、帽子の形状・色、及びそれぞれのサイズと特徴点の位置等）が挙げられる。なお、顔検出処理は、前述した公知の技術で実現できるので、詳細な説明は省略する。

ステップＳ３０１で顔が検出された場合はステップＳ３０２に進み、顔が検出されない場合は可視光画像信号を出力し、本処理を終了する。

ステップＳ３０２では、画像処理部８は、顔・遮光部検出部２０５において可視光画像中に遮光部として存在するサングラスを検出する。ここで、サングラスの検出方法について図４を用いて説明する。ステップＳ３０１で検出された顔領域における目に相当する領域Ｅと、この領域Ｅと同じ大きさで下側に隣接する鼻や頬に相当する領域Ｎを設定する。この２つの領域Ｅ、Ｎの輝度平均値をそれぞれＩｅ、Ｉｎとすると、これらの比Ｉｅ／Ｉｎをしきい値と比較し、しきい値よりも小さい場合にはサングラスが存在すると判定し、しきい値よりも大きい場合にはサングラスは存在しないと判定する。

ステップＳ３０２でサングラスが検出された場合はステップＳ３０３に進み、検出されない場合は可視光画像信号を出力し、本処理を終了する。

ステップＳ３０３では、画像処理部８は、虹彩推定部２０６において虹彩の色の推定を行う。虹彩の色の推定方法を図５及び図６を用いて説明する。まず、虹彩推定部２０６は、ステップＳ３０１において可視光画像から検出された顔領域と同じ位置に対応する赤外光画像から目に相当する領域を抽出する。このように抽出された一方の目の領域５００を図５に示す。目の領域５００は、瞳孔５０１、瞳孔５０１の周囲の虹彩５０２、虹彩５０２の周囲の強膜（白目部分）５０３を含む。可視光画像では、サングラス等の遮光部で目が覆われている場合には目の領域５００を抽出することは困難であるが、赤外光画像ならば目の領域５００を抽出することが可能となる。

次に、抽出された目の領域５００から瞳孔５０１に相当する部分を抽出する。瞳孔５０１は、３〜４ｃｍ程度の目の領域５００の中で最も暗く映る領域である。瞳孔５０１の大きさは前述のようにほぼ既知であるため、検出された顔の大きさから瞳孔５０１の大きさとなる画素数を推定することが可能となる。また、瞳孔５０１は顔の中で最も暗く映る領域であるため、目の中心付近の最も暗い領域を抽出することで検出できる。

次に、抽出された目の領域５００について、図６の破線で示す縦方向に輝度値のプロファイルを作成する。このように作成された輝度プロファイルを図６に実線で示している。図６は同一の被写体である人物のサングラス着用時と非着用時の輝度プロファイルを例示しており、（ａ）はサングラス非着用時（裸眼時）の輝度プロファイル、（ｂ）はサングラス着用時の輝度プロファイルをそれぞれ示している。

図６（ａ）、（ｂ）において、強膜５０３に相当する部分の輝度値が最も高く、次に虹彩５０２に相当する部分の輝度値が高く、瞳孔５０１に相当する部分の輝度値が最も低くなる。ここで、サングラス着用時（図６（ｂ））の輝度値は、非着用時（図６（ａ））の輝度値に比べて輝度プロファイル全域において低い値となっている。そのため、虹彩５０２に相当する部分の輝度値の絶対値が変動していることが分かる。これに対して、瞳孔５０１に相当する部分の輝度値を基準とした強膜５０３と虹彩５０２の輝度値の比はサングラスの着用時と非着用時との間で差が小さい。つまり、サングラス着用時は輝度値の分布は低下するものの、虹彩や強膜といった部位ごとの輝度値の比はあまり変化しないため、瞳孔と強膜の輝度値の差や瞳孔と虹彩の輝度値の差の比は保持されることが分かる。

そこで、本実施形態では、図６の輝度プロファイルから強膜と虹彩のエッジ部分（図６の破線で示す境界）、虹彩と瞳孔のエッジ部分（図６の破線で示す境界）をそれぞれ検出し、検出されたエッジ部分に応じて、輝度プロファイルを強膜エリアＳ、虹彩エリアＩ、瞳孔エリアＰの３つのエリアに分割し、それぞれの平均輝度値Ｉｓ、Ｉｉ、Ｉｐを求める。

そして、これら強膜、虹彩、瞳孔の各エリアの平均輝度値Ｉｓ、Ｉｉ、Ｉｐから、下記式１を用いて虹彩推定値Ｐｉを求める。

Ｐｉ＝（Ｉｉ−Ｉｐ）／（Ｉｓ−Ｉｐ）・・・（１）
また、瞳孔エリアの輝度値Ｉｐは、図示しない照明光源を撮影対象となる人物が注視していなければ低い値となるため、上記式１から除外することも可能であり、その場合、以下の式２のように計算は簡略化される。

Ｐｉ＝Ｉｉ／Ｉｓ・・・（２）
撮影環境において、不図示の照明光源をカメラの撮影光軸に近い位置に配置した場合は上記式１を用い、撮影光軸と離れた位置に配置できる場合は上記式２を選択的に用いるようにしても良い。

図３に戻り、ステップＳ３０４では、画像処理部８は、虹彩推定部２０６において、ステップＳ３０３で求めた虹彩推定値Ｐｉから虹彩の色差成分テーブルを参照して虹彩の色を判定する。虹彩の色差成分テーブルを表１に示す。このテーブルは、虹彩の色ごとに赤外光の波長帯における輝度を予め実験等により記録し作成されたものであって、上述の式１、２から求めた虹彩推定値Ｐｉに応じて、虹彩の輝度値を強膜と瞳孔の輝度値を用いてスケーリングしている。このように、サングラス等の遮光部で赤外光画像の一部が遮光されても、強膜と瞳孔の輝度値を基準に虹彩の色（濃さ）を判定することで虹彩の色の推定が行える。また、カメラの光学特性や、撮像素子の特性等により前述の輝度値は変化するため、上記テーブルはカメラごと作成される。

このテーブルを用いて、虹彩推定値Ｐｉから推定される虹彩の色が色差情報として得られる。

虹彩推定部２０６は、上記のようにして得られた色差情報を、目の周辺領域の可視光画像における虹彩部分に付加した可視光画像信号を生成し、合成処理部２０７に出力する。また、瞳孔と強膜は色差情報がないので、色差情報としては０を付加する。また、サングラス等によって遮光された部分の肌の色は、周辺部の肌の色から推定するようにしても良い。

上述した処理によって、可視光画像から検出された顔領域と同じ位置に対応する赤外光画像から目に相当する領域を抽出し、目の領域の輝度値の分布から虹彩の色を推定し、虹彩の色を可視光画像の顔領域における目の虹彩部分に付加する。これにより、可視光画像からでは、サングラス等の遮光部がある場合には目の領域を抽出することは困難であるが、赤外光画像ならば目の領域を抽出することが可能となり、サングラス等により目を隠した人物の顔画像に、サングラス等で隠された目の画像を合成すると共に、虹彩の色も付加された合成画像が得られる。

このようにして得られた合成画像を用いて人物認証（生体認証）を行うことで、サングラス等の遮光部により目が隠された顔画像であっても人物認証精度を高めることが可能となる。

なお、本実施形態では、推定された虹彩の色を画像信号に付加しているがメタデータとして顔検出結果その他の画像解析結果と合わせて別途出力するように構成しても良い。メタデータの例としては、表１の最右列のように、虹彩の色をブラウン、ブルーとして、検出された顔位置とリンクさせて保持される。また、メタデータのデータ形式はＸＭＬ等どのような形式を用いても良い。

また、虹彩の色ではなく、人種を推定してメタデータとして保持しても良い。この場合、虹彩の色と人種とを関連付けたデータをテーブルやメタデータとして保持しておけば良い。

以上説明したように、本実施形態によれば、サングラス等の遮光部により目が隠されていても虹彩の色を推定することが可能となり、可視光画像のみを用いた場合よりも、人物認証精度を高めることが可能となる。

なお、上記実施形態では、可視光画像を用いて顔領域とサングラスの検出を行っているが、赤外光画像を用いて行っても良い。また、合成画像として、推定された虹彩の色差成分のみを可視光画像信号に付加しても良いし、メタデータとして推定される虹彩の色や人種を保持する構成としても良い。さらに、本発明は、静止画や動画に適用可能である。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

６…可視光イメージセンサ、７…赤外光イメージセンサ、８…画像処理部、９…制御部、２０３…可視光画像処理部、２０４…赤外光画像処理部、２０５…顔・遮光部検出部、２０６…虹彩推定部、２０７…合成処理部

Claims (11)

1. 同一の被写体について可視光画像と赤外光画像を撮像可能な撮像装置であって、
   前記可視光画像から所定の被写体を検出する検出手段と、
   前記赤外光画像から前記検出手段により検出された被写体における特定の部位の特徴情報を抽出する抽出手段と、
   前記抽出手段により抽出された特徴情報を用いて前記所定の被写体に固有の情報を推定する推定手段と、を有することを特徴とする撮像装置。
2. 前記検出手段は、前記所定の被写体としての人物の顔と前記顔を覆う遮光部を検出し、
   前記抽出手段は、前記遮光部に覆われた人物の顔に含まれる目の瞳孔と虹彩と強膜の輝度情報を抽出し、
   前記推定手段は、前記固有の情報として、前記瞳孔と前記虹彩と前記強膜の輝度情報の関係から虹彩の色を推定することを特徴とする請求項１に記載の撮像装置。
3. 前記推定手段により推定された虹彩の色を、前記可視光画像における前記人物の顔の目の領域に合成する合成手段を更に有することを特徴とする請求項２に記載の撮像装置。
4. 前記抽出手段は、前記人物の顔に含まれる目の瞳孔の輝度情報を抽出し、
   前記推定手段は、前記瞳孔と前記強膜の輝度情報および前記瞳孔と前記虹彩の輝度情報の関係から虹彩の色を推定することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記推定手段は、前記虹彩の輝度情報と前記強膜の輝度情報の比に基づいて前記人物の顔に含まれる目の虹彩の色もしくは人種を推定することを特徴とする請求項４に記載の撮像装置。
6. 前記推定手段は、前記虹彩と前記瞳孔の輝度情報の差と、前記強膜と前記瞳孔の輝度情報の差の比に基づいて前記人物の顔に含まれる目の虹彩の色もしくは人種を推定することを特徴とする請求項５に記載の撮像装置。
7. 前記虹彩の輝度情報と虹彩の色または人種との関係を示すテーブルまたはメタデータを記憶する記憶手段を更に有し、
   前記推定手段は、前記記憶手段に記憶された情報に基づいて虹彩の色または人種を判定することを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 前記可視光画像を撮像する第１の撮像手段と、前記赤外光画像を撮像する第２の撮像手段とをさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 同一の被写体について可視光画像と赤外光画像を撮像可能な装置における画像処理方法であって、
   前記可視光画像から所定の被写体を検出する検出工程と、
   前記赤外光画像から前記検出工程により検出された被写体における特定の部位の特徴情報を抽出する抽出工程と、
   前記抽出工程により抽出された特徴情報を用いて前記所定の被写体に固有の情報を推定する推定工程と、を有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の画像処理方法をコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images