JP2008225970A - 画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法 - Google Patents

Abstract

【課題】波長情報が異なる複数の画像の画像特徴情報を利用して登録または照合を行うことで、被写体の認証精度を高めることを可能とする。
【解決手段】画像照合装置１は、登録または照合を行うための入力画像３１を入力し、入力された入力画像３１を複数の部分領域に分割し、分割された部分領域ごとの複数の画像の画像特徴情報に基づいて複数の画像を合成した合成画像を生成する画像合成装置２と、合成された登録画像３０を記憶する登録画像記憶部１９と、被認証者の比較すべき比較画像３２を入力し、比較画像３２と登録画像記憶部１９に保存されている登録画像とを照合し、その結果を出力する照合部２０と、照合部２０から出力された結果などの情報を外部に接続された他の装置などに出力する出力部２１とを備えている。
【選択図】図１

Description

本発明は、被写体の画像情報を入力し、あらかじめ登録された画像情報と比較照合する画像照合技術に関し、特に画像の照合に用いる画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法に関する。

従来から、入力された２次元画像とあらかじめ記録された２次元画像とを比較照合する画像照合装置が実用化されている。特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきている。このような画像照合装置においては、認証可能な複数の者の顔画像としてあらかじめデータベースに登録しておき、認証される者（以下、「被認証者」と記す）の顔画像と登録された者の顔画像とを比較照合して、その結果、被認証者の顔画像が登録された者の顔画像と互いに一致するまたは類似すると判定された場合に、被認証者がその登録された者であるとして認証される(例えば、特許文献１を参照)。
特開平６−１６８３１７号公報

従来の画像照合装置は、１枚の同一画像の全領域に対して、輝度情報を用いて人物の顔の形状などの特徴点抽出を行っていた。しかしながら、顔の特徴は目、口、頬、顔の輪郭、しみなど部分領域ごとに画像特徴が異なっており、さらに光の波長に応じて顔から反射される光の反射率は部分領域ごとに異なるものであった。従来、波長情報の異なる画像を用いて、各部分領域を特徴づける方法については検討がなされていなかった。したがって、登録する画像に被写体の特徴を示す情報を精度良く反映することができず、比較すべき比較画像と登録した画像とを照合するときに、被写体の認識率が低下するという課題があった。

本発明はこのような課題に鑑みてなされたものであり、部分領域ごとに波長情報が異なる複数の画像の画像特徴情報を利用して登録または照合に用いる合成画像を生成することで、被写体の認証精度を高めることを可能とする画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を提供することを目的とする。

上述したような目的を達成するするために、本発明の画像合成装置は、被写体の波長情報が異なる複数の画像を取得する画像入力部と、画像を複数の部分領域に分割する領域分割部と、部分領域ごとの複数の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて少なくとも２つの画像を合成した合成画像を生成する合成画像作成部とを備えたことを特徴とする。

この構成によれば、部分領域ごとに、２つの波長情報の画像の画像特徴情報を利用することができるため、例えば形状の抽出を行うには拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の抽出を行うには拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、抽出する画像特徴の抽出精度を高めることができ、精度のよい画像合成装置を実現することができる。また、登録または照合にこの合成画像を使用することで、精度のよい画像照合装置を実現することが可能となる。

また、被写体が人物の顔であってもよい。これによれば、人物の顔画像特徴の抽出精度を高めることができる。

また、領域分割部は、画像から人物の顔画像を検出し、前記顔画像の画像特徴に基づいて分割された前記部分領域を結合して新たな領域に設定するようにしてもよい。これによれば、さらに、画像特徴に合わせて部分領域の大きさを設定することができ、人物の目、口、鼻、眉などの画像特徴を隣接する複数の部分領域で検出されることを抑え、領域ごとの特徴量の抽出精度を高めることができる。

また、合成画像作成部は、少なくとも２つの画像の画像特徴情報に対して光学情報の推定を行い、部分領域ごとの特徴情報を推定する推定部と、特徴情報に基づいて画像を合成するための重み係数を生成する重み係数決定部と、重み係数に応じて少なくとも２つの画像を合成する重み加算部とを備えている。

これによれば、さらに、各部分領域ごとの強度を、例えば、赤色成分および青色成分に応じて、それぞれ画像特徴を評価することが可能となる。したがって、各部分領域の各画素に対して３次元情報およびテクスチャ情報を効果的に評価し、被写体の特徴をより浮き立たせることができる。これにより、照合精度を高めることができる。

また、推定部は、赤色および青色の少なくとも１つの波長情報の画像の画像特徴情報に基づいて重み係数を生成するようにしてもよい。これによれば、さらに、各部分領域ごとの強度を、赤色成分および青色成分それぞれの画像特徴を評価し、重み係数を生成することができる。

また、推定部は、被写体の３次元形状の推定を行う場合には赤色の波長情報の画像を用いて推定し、３次元形状の特徴情報を出力するようにしてもよい。これによれば、さらに、推定部は、被写体の３次元形状の推定を赤色の波長情報の画像を用いて推定することができ、各部分領域ごとの必要な強度を精度よく推定できる。

また、推定部は、被写体のテクスチャ情報の推定を行う場合には青色の波長情報の画像を用いて推定し、被写体のテクスチャ情報の特徴情報を出力するようにしてもよい。これによれば、さらに、推定部は、被写体のテクスチャ情報の推定を青色の波長情報の画像を用いて推定することができ、各部分領域ごとの必要な強度を精度よく推定できる。

また、本発明の画像照合装置は、上述のいずれかに記載の画像合成装置と、画像合成装置で生成された合成画像を記憶する登録画像記憶部と、比較すべき比較画像を入力し、比較画像と登録画像記憶部に記憶された合成画像とを比較照合を行う照合部とを備えたことを特徴とする。

これによれば、部分領域ごとに２つの波長情報の画像の画像特徴情報を利用することができるため、例えば、部分領域ごとにその光学的な特徴を検出し、カラー信号のうち赤色成分または青色成分を強調した画像を合成することが可能となり、被写体の特徴をより浮き立たせた合成画像を登録することができる。このため、比較すべき比較画像と合成画像とを照合するときの画像特徴の比較精度を高めることができ、精度のよい画像照合装置を実現することができる。

また、本発明の画像合成方法は、被写体の波長情報が異なる複数の画像を合成する画像合成方法であって、画像を複数の部分領域に分割する領域分割ステップと、部分領域ごとの複数の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて少なくとも２つの画像を合成した合成画像を生成する合成画像作成ステップとを備えたことを特徴とする。

この方法によれば、部分領域ごとに、２つの波長情報の画像の画像特徴情報を利用することができるため、例えば形状の抽出を行うには拡散反射の大きい赤色の波長情報の画像、テクスチャおよび鏡面反射の抽出を行うには拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、抽出する画像特徴の抽出精度を高めることができ、精度のよい画像合成方法を実現することができる。

また、被写体が人物の顔であってもよい。これによれば、人物の顔画像特徴の抽出精度を高めることができる。

また、領域分割ステップにおいて、画像から人物の顔画像を検出し、顔画像の画像特徴に基づいて分割された部分領域を結合して新たな領域に設定するようにしてもよい。これによれば、さらに、画像特徴に合わせて部分領域の大きさを設定することができ、目、口、鼻、眉などの画像特徴を隣接する複数の部分領域にオーバーラップして検出されることを抑え、部分領域ごとの特徴量の抽出精度を高めることができる。

また、領域分割ステップにおいて、画像から人物の顔画像を検出し、顔画像の大きさに基づいて分割する領域の大きさを設定するようにしてもよい。これによれば、さらに、画像の中の顔画像の大きさに合わせて、分割する領域の大きさを設定することができ、人物の目、口、鼻、眉などの画像特徴を含む、顔画像領域を抽出して効率よく処理することができる。これにより、処理すべき画素数を削減でき、画像合成に係る処理時間を短縮することができる。

以上述べたように本発明によれば、部分領域ごとに波長情報が異なる複数の画像の画像特徴情報を利用して登録または照合に用いる合成画像を生成することで、被写体の認証精度を高めることを可能とする画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を提供することができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
本発明の実施の形態１における画像照合装置１は、被写体の波長情報が異なる複数の画像を入力し、入力した入力画像を複数の部分領域に分割し、分割された部分領域ごとに入力した複数の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて少なくとも２つの画像を合成することを特徴としている。以下、被写体を人物の顔として説明する。

これにより、画像照合装置１は、部分領域ごとに２つの波長情報の画像の画像特徴情報を利用することができるため、例えば顔の形状抽出には拡散反射の大きい赤色の波長情報の画像、顔のテクスチャ抽出には拡散反射の小さい青色の波長情報の画像を使用することができる。これにより、顔画像から得られる光学情報の抽出精度を高めた合成画像を生成することができ、精度のよい画像照合装置を実現するものである。

まず、図１および図２を用いて、本発明の実施の形態における画像照合装置１について説明する。図１は本発明の実施の形態における画像照合装置１の構成を示すブロック図、図２は赤色および青色の波長情報から得られる画像の画像特徴情報を説明する説明図であり、図２（ａ）は赤色の波長情報の場合の画像の画像特徴を示す説明図、図２（ｂ）は青色の波長情報の場合の画像の画像特徴を示す説明図である。ここでは、赤色の波長情報が６００ｎｍ、青色の波長情報が４００ｎｍである場合の例について説明する。

図１に示したように、本発明の実施の形態１における画像照合装置１は、登録または照合のために被写体３０１を撮影装置１０で撮影して得た波長情報が異なる複数の入力画像３１（以下、単に「入力画像３１」と記す）を入力し、登録または照合するための画像を合成（以下、この合成して作成された合成画像のうち、登録するものを「登録画像」、照合するものを「比較画像」と記す）する画像合成装置２と、画像合成装置２で合成された登録画像３０を記憶する登録画像記憶部１９と、画像合成装置２で合成された被認証者の比較すべき比較画像３２を入力し、この比較画像３２と登録画像記憶部１９に記憶された登録画像３０とを比較照合し、その結果を出力する照合部２０と、照合部２０から出力された結果などの情報を外部に接続された他の装置などに出力する出力部２１とを備えている。

画像合成装置２は、被写体３０１を撮影装置１０で撮影して得た波長情報が異なる複数の画像を入力する画像入力部１１と、入力画像３１の中から顔画像を検出し、検出された顔画像の大きさに合わせて顔画像領域を設定する顔検出部１２と、設定された顔画像領域を複数に分割する顔領域分割部１３と、分割された部分領域ごとに波長情報が異なる複数の画像を取得し、得られた複数の画像のうち、波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて画像を合成する合成画像作成部５０とを備えている。

合成画像作成部５０は、分割された部分領域ごとに光学情報を推定する推定部４０と、部分領域ごとの特徴情報に基づいて合成のための重み係数を決定する重み係数決定部１６と、この重み係数に応じて複数の画像を合成する重み加算部１７とを備えている。

以下、それぞれの構成要素の機能について説明する。

画像入力部１１は、被写体３０１を登録または照合する場合に、撮影装置１０から画像照合装置１に対して画像信号の入力を行う。このとき、撮影装置１０は、例えば、被写体３０１を白色光などで照明し、被写体３０１から反射してきた反射光を色フィルタなどを通過させて赤色成分、緑色成分、青色成分に分解した後、通過光を撮像素子（図示せず）などで受光する。これにより、撮影装置１０は、３つの波長情報の画像（赤色信号成分、緑色信号成分、青色信号成分）に色分解されたカラー画像信号を出力することができる。以後、赤色信号成分をＲ成分、緑色信号成分をＧ成分、青色信号成分をＢ成分と記す。なお、撮影装置１０は、３つの波長情報の画像を出力するものに限定されない。画像照合装置１は、光学情報の推定に必要な要件に応じて、マルチバンドメラなど、より多数の波長情報の画像を出力可能なものから入力画像３１を取得するようにしてもよい。また、撮影装置１０としては、異なる波長情報の画像の取得に際して、色フィルタを使って色分解するものに限定されず、異なる波長分布をもつ光線を切り換えるものであってもよい。

画像入力部１１で入力された入力画像３１には、図２に示す画像特徴がある。すなわち、図２（ａ）に示すように、赤色の波長情報（例えば、６００ｎｍの場合）の画像の場合は、被写体３０１の反射率が高く、拡散反射成分が大きいため、顔画像２３における表面が滑であるという特徴をもっている。そのため、一般に、眉、目などの輪郭情報２００は抑えられる。また、しわ、ほくろ、そばかす、しみなどのテクスチャ情報２０２の濃淡差も小さくなる。また、被写体３０１からの鏡面反射情報２０１は少ない。これにより、テクスチャ情報２０２などのノイズを受けることなく、被写体３０１の３次元の形状または反射率の推定を行うときの精度を高めることができる。

一方、青色の波長情報（例えば、４００ｎｍの場合）の画像の場合は、被写体３０１からの反射率が低く、拡散反射成分が小さいため、顔画像２３における表面の凹凸がはっきりしているという特徴をもつ。そのため、一般に、眉、目などの輪郭情報２００、しわ、ほくろ、そばかす、しみなどのテクスチャ情報２０２が得やすくなる。また、被写体３０１からの鏡面反射情報２０１は多い。これにより、テクスチャおよび鏡面反射の推定を行うときの精度を高めることができる。

なお、すべての波長情報が含まれる白色画像は、上述した青色と赤色の波長情報の画像の両方の成分が含まれるが、そのそれぞれの画像特徴情報を分離するのは難しい。

顔検出部１２は、入力画像３１の中から、図３に示すように、顔画像３００を検出する。公知の顔検出方法により、被写体３０１の顔のおおよその位置を検出した後、両目と口の位置を特徴点として検出する。つぎに、両目、口の位置、両目の距離を基準に、顔画像領域Ａを設定する。例えば、両目と口の重心を顔画像領域Ａの中心にするようにして、両目間隔の３倍を顔画像領域Ａの一辺の長さにする。なお、両目の距離で正規化し、縦横比固定で顔画像領域Ａを設定するようにしてもよい。

顔領域分割部１３は、顔検出部１２で設定された顔画像領域Ａを分割して、照合に必要なｐ個の部分領域を生成する。画像照合装置１は、後述する照合部２０により、ｐ個の部分領域それぞれ独立に照合を行い、ｐ個の部分領域の照合スコアの平均を、最終的な照合のスコア（本人らしさ）とする。

顔領域分割部１３は、図３に示すように、顔画像領域Ａを格子状に分割する。Ａ１、Ａ２は、顔画像領域Ａを分割して得られる部分領域である（その他の部分領域は図示せず）。ここで、例えば、部分領域グループＲ１、Ｒ２は、奥行きの変化が大きい領域であり、形状特徴を反映しやすいＲ成分の重みを大きくするのが好ましい領域である。一方、部分領域グループ領域Ｂ１は細かいテクスチャが見える領域であり、Ｂ成分の重みを大きくするのが好ましい領域である。一般的に画像特徴（形状、濃淡、テクスチャ）を検出するに際しては、抽出したい情報によって矛盾した特徴情報をもつ画像が要求される。例えば、顔の全体的な凹凸形状の特徴抽出には不要なノイズの少ないＲ成分が好ましく、しわ、ほくろ、しみなどテクスチャの抽出にはノイズの多いＢ成分が好ましい。また、反射率の推定には鏡面反射の少ないＲ成分が好ましく、鏡面反射の推定には拡散反射の少ないＢ成分が好ましい。

このように、部分領域ごとにＲ成分、Ｂ成分の画像特徴をそれぞれ検出し、画像特徴をより浮き立たせた合成画像を得るようにすることで、被写体３０１の認証精度を高めることができる。なお、図３では顔画像３００が顔画像領域Ａからはみ出しているが、顔画像領域Ａを拡大して顔画像３００より大きくしてもよい。また、所定の画素数をもつ、顔画像領域を設定している場合には、必要に応じて顔画像３００を拡大または縮小するようにしてもよい。

つぎに、推定部４０は、分割された部分領域ごとに顔の立体形状（以下、「３Ｄ」と記す）を推定する３Ｄ推定部１４と、分割された部分領域ごとに顔のテクスチャ情報を推定するテクスチャ推定部１５とを備えている。

３Ｄ推定部１４は、部分領域ごとの顔画像の各画素値の値から被写体３０１の法線方向および反射率を考慮した法線情報である、法線アルベドベクトルの値を推定する。なお、法線アルベドベクトルとは、被写体３０１の法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。この法線アルベトベクトルの値は、公知の方法、例えば、特開２００６−３５０５０６号公報に記載の方法により求めることができる。

また、３Ｄ推定部１４は、各画素ごとに、法線アルベドベクトルとＺ方向単位ベクトルとの内積を計算し、その平均値を求めて、逆３Ｄ評価値を算出する。この逆３Ｄ評価値が小さいほど、奥行きの変化が大きい。図４に示すように、被写体３０１の奥行きが大きい部分、例えば鼻３０３の横の法線アルベドベクトルＮに対して、Ｚ方向（撮影装置１０に向かう方向）のベクトル成分Ｚｂとの内積が小さい値になる。また、被写体３０１の奥行きが小さい部分、例えば頬３０４の法線アルベドベクトルＣは、Ｚ方向（撮影装置１０に向かう方向）のベクトル成分Ｚａとの内積が大きい値になる。これにより、推定結果の値は、平坦な領域では値が大きく、形状変化の大きい領域では値が小さくなる。

テクスチャ推定部１５は、各画素のテクスチャに対して、Ｘ方向とＹ方向にそれぞれ公知のエッジ抽出フィルタ、例えばＳｏｂｅｌフィルタなどを適用し、各画素のエッジベクトル（２次元）を求める。つぎに、エッジベクトルのノルムの平均値を計算し、その値をテクスチャ評価値とする。これにより、テクスチャ評価値が大きいほど、細かいテクスチャが多くなる推定結果を出力する。

重み係数決定部１６では、画素単位で求めた３Ｄ推定結果とテクスチャ推定結果に基づき、顔画像領域Ａの分割された部分領域ごとに立体形状およびテクスチャに関する評価を行い、評価結果に応じてＢ成分およびＲ成分についての重み係数を算出する。ここで、重み係数は部分領域ごとに算出される。例えば、Ｂ成分の重み係数Ｂｃは、Ｂｃ＝テクスチャ評価値×逆３Ｄ評価値×定数で算出し、Ｒ成分の重み係数Ｒｃは、例えば、Ｒｃ＝１−Ｂｃとする。

このように、画像照合装置１では、奥行きの変化が大きい部分と、細かいテクスチャが見える部分を、別々の部分領域として扱う。細かいテクスチャが見える部分については、ＲＧＢのカラー信号のうちＢ成分の重みが大きくなるように、その部分領域の重み係数を生成する。この理由は、Ｂ成分の画像は、他のＲ成分、Ｇ成分に比べて、しわ、ほくろ、しみなどのテクスチャが濃く映っているためである。一方、奥行きの変化が大きい部分領域については、Ｒ成分の重みが大きくなるように、その部分領域の重み係数を生成する。これは、Ｒ成分の画像ではテクスチャなどのノイズが少なくなり、顔の全体的な凹凸形状がよくわかるためである。

重み加算部１７は、重み係数決定部１６で決定された重み係数Ｒｃおよび重み係数Ｂｃに基づき、部分領域ごとにＲ成分とＢ成分とを加算して各画素の強度Ｉを算出し、合成画像として出力する。強度Ｉは、Ｉ＝Ｒ×Ｒｃ＋Ｂ×Ｂｃで算出される。ここで、Ｒは各画素のＲ成分、ＢはＢ成分、Ｒｃは重み係数決定部１６で求めたＲ成分の重み係数、ＢｃはＢ成分の重み係数をそれぞれ示す。なお、Ｒ成分およびＢ成分の出力時には、ＲｃとＢｃとの和が「１」になるように輝度方向の正規化を行う（図５）。

これにより、例えば、従来の認証方法のように、輝度信号Ｙを用いて、Ｓ／Ｎの悪い画像から特徴量の抽出を行うといった問題はなくなる。Ｓ／Ｎが悪い原因としては、輝度信号Ｙは、Ｙ＝ａ×Ｂ＋ｂ×Ｇ＋ｃ×Ｒ、ａ＋ｂ＋ｃ＝１となるため、３Ｄ推定部１４で推定に必要なＲ成分の割合が小さくなってしまうためである。人の目の感度に基づいて、一般的には、Ｂ成分をＢ、Ｇ成分をＧ、Ｒ成分をＲとしたとき、Ｂ成分の係数ａはａ＝０．１１、Ｇ成分の係数ｂはｂ＝０．５９、Ｒ成分の係数ｃはｃ＝０．３０となる。

重み加算部１７は、画像照合装置１の使用目的が画像登録である場合は登録画像記憶部１９に合成画像情報を送信し、画像登録でない場合（照合である場合）は照合部２０に合成画像情報を送信する。

登録画像記憶部１９は、ハードディスク装置（ＨＤＤ）や半導体メモリなどの公知の記録媒体を選択して使用することができる。

照合部２０は、被認証者の比較すべき比較画像３２を入力し、登録画像記憶部１９に保存されている登録画像３０を含む登録された者すべての画像群と
比較画像３２とを比較し、その結果、被認証者の顔画像が登録された者の顔画像と互いに一致するまたは類似すると判定された場合に、被認証者がその登録された者であるとして認証する。照合方法として、例えば、固有空間法、部分空間法またはＫＮＮ法などの公知の照合方法を用いることが可能である。照合部２０においては、後述する機能がソフトウェアによって実現されていてもよいし、専用回路などのハードウェアによって機能が実現されていてもよい。

出力部２１は、照合部２０における照合結果の出力を行う。照合部２０からの照合可能か否かを示す照合結果をそのまま出力する構成であってもよいし、被認証者に対して液晶、ＬＥＤなどの表示装置またはスピーカーなどの音声出力装置によって照合結果を報知する構成であってもよい。

つぎに、本発明の実施の形態１における画像照合装置１の動作について図５に示すフローチャートを用いて説明する。

まず、画像照合装置１の使用者が押しボタンなどを操作して画像照合装置１の動作を開始させ、操作者（被写体３０１）が登録または照合するために顔画像の撮影を撮影装置１０で行うなどの方法により、顔画像を画像入力部１１に入力する（Ｓ２）。画像入力部１１では入力された画像情報に対して所定の信号処理を行い、カラー信号を顔検出部１２に送信する。

顔検出部１２では、受信したカラー信号に基づき、顔画像から画像照合に不必要な部分を取り除くなどの処理を行い、入力画像３１の中の顔画像を検出し、設定した顔画像領域Ａ（照合する画像領域）の情報を顔領域分割部１３に送信する（Ｓ４）。顔領域分割部１３では、顔検出部１２で設定された顔画像領域Ａを分割する（Ｓ６）。

つぎに、推定部４０は、分割された各部分領域の各画素のＲ成分を３Ｄ推定部１４に入力し、３Ｄ推定部１４において法線アルベドベクトルの値を推定する。そして、各画素ごとに法線アルベドベクトルとＺ方向単位ベクトルとの内積を計算し、その平均値を求めて逆３Ｄ評価値を算出する（Ｓ８）。また、分割された各部分領域の各画素のＢ成分をテクスチャ推定部１５に入力し、テクスチャ推定部１５において各画素のテクスチャに対して、Ｘ方向とＹ方向にそれぞれ公知のエッジ抽出フィルタで、各画素のエッジベクトル（２次元）を求める。つぎに、エッジベクトルのノルムの平均値を計算し、その値をテクスチャ評価値とする（Ｓ１０）。なお、Ｓ８とＳ１０は順序が逆であっても同様の効果を発揮する。

つぎに、重み係数決定部１６は、３Ｄ推定部１４およびテクスチャ推定部１５からの推定結果の逆３Ｄ評価値とテクスチャ評価値とに基づき、各部分領域ごとに、Ｒ成分とＢ成分の重み係数を決定する（Ｓ１２）。例えば、Ｂ成分の重み係数Ｂｃは、Ｂｃ＝テクスチャ評価値×逆３Ｄ評価値×定数で算出し、Ｒ成分の重み係数Ｒｃは、Ｒｃ＝１−Ｂｃとする。

つぎに、重み加算部１７は、重み係数決定部１６で決定された重み係数Ｒｃおよび重み係数Ｂｃに基づいてＲ成分とＢ成分とを加算して各画素の強度Ｉを算出する（Ｓ１４）。強度Ｉは、Ｉ＝Ｒ×Ｒｃ＋Ｂ×Ｂｃで算出される。ここで、Ｒは各画素のＲ成分、ＢはＢ成分、Ｒｃは重み係数決定部１６で求めたＲ成分の重み係数、ＢｃはＢ成分の重み係数をそれぞれ示す。なお、Ｒ成分およびＢ成分の出力時には、ＲｃとＢｃとの和が「１」になるように輝度方向の正規化を行う。

つぎに、画像照合装置１の操作者の使用目的に対応する合成画像を作成する。
使用目的が画像登録である場合は、重み加算部１７から登録画像記憶部１９に合成画像情報（登録画像３０）を送信し、画像登録でない場合（照合である場合）は、照合部２０に合成画像情報（比較画像３２）を送信する（Ｓ１６）。登録画像記憶部１９では受信した合成画像情報を保存し、照合部２０では受信した合成画像情報（比較画像３２）を登録画像記憶部１９に保存された登録画像３０を含む登録された者すべての画像群と照合する（Ｓ１８、Ｓ２０）。なお、Ｓ２０およびＳ２２は互いの順序にかかわらず、いずれか一方が実施されることは、言うまでもない。

登録画像記憶部１９では受信した合成画像情報を保存し、照合部２０では受信した合成画像情報を登録画像記憶部１９に保存された登録画像３０と照合する。

最後に照合結果を出力部２１から他の装置に出力し、表示などにより操作者に通知して作業を終了する（Ｓ２２）。

なお、画像照合装置１の機能は、ハードウェアまたはソフトウェアで実現することが可能である。画像照合装置１の機能をソフトウェアにて実現しようとする場合には、後述するステップＳ２からステップＳ２２までの処理をプログラムに記述して、公知のＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリメモリ）およびＲＡＭ（ランダムアクセスメモリ）を備えたコンピュータに実行させるようにすればよい。

つぎに、図６、図７により、本発明の実施の形態１における画像照合装置１の応用例を示す。図６は、被写体の画像のうち、一部の領域を分割するに際し、部分領域を格子状に配置しない例を示す。目、鼻、口などが複数の領域にまたがった場合には、領域をまとめ、１つのセグメントにすることにより、被写体の特徴をより効果的に記録することができる。また、図７は、未知の人の眼間の距離を合わせて、登録済みの人物と比較する例を示している。この場合は、不定形状にセグメントした例（例えば図６）と比較すると、画像信号だけでなく、形状の特徴も加わり、被写体の特徴をより効果的に記録することができる。

具体的な認証の方法としては、図７に示すように、登録された顔画像Ｈ１と未知の人の顔画像Ｈ２において、対応する部分領域（同じ場所の分部領域）間の比較照合を実行し、スコアを求める。その後、全部分領域のスコアの平均を求めて、２つの顔の間のスコア（距離）とする。スコアが小さいほど、同一人物の可能性が大きい。比較照合は、例えば、画像から特徴量を抽出して、２枚の画像の特徴量間の距離を求める。特徴量の抽出方法としては、例えば、変換対象からウェーブレット波形を利用し、その波形がもつ特徴（周波数成分など）のみを取り出す、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換などを用いることが可能である。また、距離の計算方法としては、例えば、あらかじめ判別分析などを用いて、多数の顔の特徴量の判別に適した空間を求めておき、その空間上で距離を計算することが可能である。

以上、本発明の実施の形態１における画像照合装置１によれば、被写体３０１を撮影して得た画像の部分領域ごとに、２つの波長情報の画像の画像特徴情報を利用することができるため、例えば形状抽出を行うには拡散反射の大きいＲ成分の波長情報の画像、テクスチャの抽出を行うには拡散反射の小さいＢ成分の波長情報の画像を使用することができる。これにより、抽出する画像特徴の抽出精度を高めることができ、精度のよい画像合成装置２を実現することができる。また、登録または照合にこの合成画像を使用することで、精度のよい画像照合装置１を実現することができる。

（実施の形態２）
つぎに、図８を用いて、本発明の実施の形態２における画像照合装置１００について説明する。図８は本発明の実施の形態２における画像照合装置１００の構成を示すブロック図である。以下、本発明の実施の形態１における画像照合装置１と同一の機能には同一の符号を付し、その詳細な説明を省略する。

本発明の実施の形態１における画像照合装置１は、重み加算部１７から出力される合成画像を、直接に登録画像として登録画像記憶部１９に登録するようにした。本発明の実施の形態２における画像照合装置１００は、登録時または照合時の照明方向を考慮するために画像合成部１８を画像合成装置６０に備えた構成としている。これにより、登録画像から複数の照明条件下で撮影された合成画像を生成することができる。

画像合成部１８は、重み加算部１７で部分領域ごとに作成された各画素の強度Ｉに基づき、登録および照合用の合成画像信号として、任意の照明方向に対応した画像の合成を行う。ここでは、１枚の顔画像から複数の照明条件（光源方向・強度ベクトル）下で撮影された合成画像を生成する。

画像合成部１８は、重み加算部１７から登録画像３０および比較画像３２を入力し、登録のための登録画像３３または照合ための比較画像３４を出力する。

照合部２０は、登録画像記憶部１９に保存されている登録画像３３を含む登録された者すべての画像群と比較画像３４とを比較し、その結果、被認証者の顔画像が登録された者の顔画像と互いに一致するまたは類似すると判定された場合に、被認証者がその登録された者であるとして認証する。

画像合成部１８での合成処理方法は、公知の方法、例えば、特開２００６−３５０５０６号公報に記載の方法により、１枚の登録画像を入力とし、顔表面の法線方向や拡散反射係数を異なる人物の画像集合から得られた統計量を基に最大事後確率(以下、「ＭＡＰ」と記す)推定により求められ、学習処理、モデリング処理およびレンダリング処理を有している。

学習処理では、顔の統計モデル、すなわち、登録者と異なる人物の照明変動下の顔画像集合を用いて、アルベド（反射率）を含む法線方向の統計モデルと、拡散成分以外の反射成分に対応する誤差項の統計モデルを生成する。以下、登録者と異なる他の人物の顔画像の集合をブートストラップ画像の集合と呼ぶ。

モデリング処理では、学習処理で生成した統計モデルを用いて、免許証写真やパスポート写真のような１枚の登録画像から見えの変動をモデル化する。ここで、１枚の登録画像が撮影されたときの照明条件を推定する。つぎに、推定した照明条件と学習した統計量を基に、ＭＡＰ推定によって顔の形状と反射特性を復元する。

レンダリング処理では、新しい照明条件下の誤差項をＭＡＰ推定によって算出し、新しい照明条件下の拡散成分に加えて、新しい見えを生成する。

このように合成した画像の集合を、あたかも照明条件の異なる複数の登録画像が得られたように、クラス分類手法の学習サンプルとすることによって認識を可能とする。これにより、登録画像から複数の照明条件下で撮影された合成画像を生成することができる。

この合成画像の応用例として、例えば、登録時および照合時に正面から照明を照射したときの合成画像を出力するように統一することができる。これにより、登録時と照合時との照明条件を合わせることができ、照合精度を高めることができる。

また、他の例として、登録時に、１つの照明方向に対して複数の合成画像を作成するように、これを複数の照明方向に対して行う。これによって、照合時に、任意の照明条件下の未知顔（比較入力画像）を照合することができ、照合精度を高めることができる。

以上、本発明の実施の形態２における画像照合装置１００によれば、本発明の実施の形態１における画像照合装置１の効果に加えて、照合時に被写体３０１の顔が撮影されたときの照明方向などの照明条件と、登録時に被写体３０１が撮影されたときの照明方向などの照明条件とが、大きく異なる場合に効果を発揮する。

また、本発明の実施の形態１、２における画像照合装置１、１００は、被写体３０１の顔画像を入力し、合成画像を作成する場合について説明してきたが、被写体は立体形状をもつ立体物であればよく、本発明の実施の形態１、２における上述した効果を奏するものであり、例えば、自動車や列車や自転車などの乗り物、荷物、植物、動物、人体の血管、静脈パターンなどの立体物にも応用することができる。

本発明によれば、入力画像を複数の部分領域に分割し、部分領域ごとに波長情報の異なる複数の画像の画像特徴を用いて、被写体の特徴を詳細に反映した合成画像を生成することができ、認証精度を高めることが可能となる。したがって、比較すべき比較画像とあらかじめ登録した登録画像とを比較照合する画像照合技術に関し、特に画像照合に用いる画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法などとして有用である。

本発明の実施の形態１における画像照合装置の構成を示すブロック図 赤色および青色の波長情報の画像の画像特徴を説明する説明図 同画像照合装置の顔検出部を説明する説明図 同画像照合装置の３Ｄ推定部を説明する説明図 同画像照合装置の動作を説明するフローチャート 同画像照合装置における画像合成方法の応用例を示す説明図 同画像照合装置における画像合成方法の他の応用例を示す説明図 本発明の実施の形態２における画像照合装置の構成を示すブロック図

符号の説明

１，１００ 画像照合装置
２，６０ 画像合成装置
１０ 撮影装置
１１ 画像入力部
１２ 顔検出部
１３ 顔領域分割部
１４ ３Ｄ推定部
１５ テクスチャ推定部
１６ 重み係数決定部
１７ 重み加算部
１８ 画像合成部
１９ 登録画像記憶部
２０ 照合部
２１ 出力部
２３，３００ 顔画像
３０，３３ 登録画像
３１ 入力画像
３２，３４ 比較画像
４０ 推定部
５０ 合成画像作成部
２００ 輪郭情報
２０１ 鏡面反射情報
２０２ テクスチャ情報
３０１ 被写体
３０３ 鼻
３０４ 頬
Ａ 顔画像領域
Ａ１，Ａ２ 部分領域

Claims (12)

1. 被写体の波長情報が異なる複数の画像を取得する画像入力部と、
   前記画像を複数の部分領域に分割する領域分割部と、
   前記部分領域ごとの前記複数の画像のうち、前記波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて少なくとも２つの前記画像を合成した合成画像を生成する合成画像作成部と、
   を備えたことを特徴とする画像合成装置。
2. 前記被写体が人物の顔であることを特徴とする請求項１に記載の画像合成装置。
3. 前記領域分割部は、前記画像から人物の顔画像を検出し、前記顔画像の画像特徴に基づいて分割された前記部分領域を結合して新たな領域に設定することを特徴とする請求項２に記載の画像合成装置。
4. 前記合成画像作成部は、
   少なくとも２つの前記画像の画像特徴情報に対して光学情報の推定を行い、前記部分領域ごとの特徴情報を作成する推定部と、
   前記特徴情報に基づいて画像を合成するための重み係数を生成する重み係数決定部と、
   前記重み係数に応じて少なくとも前記２つの画像を合成する重み加算部と、
   を備えていることを特徴とする請求項１から請求項３のいずれか１項に記載の画像合成装置。
5. 前記推定部は、赤色および青色の少なくとも１つの波長情報の画像の画像特徴情報に基づいて前記重み係数を生成することを特徴とする請求項４に記載の画像合成装置。
6. 前記推定部は、前記被写体の３次元形状の推定を行う場合には赤色の波長情報の画像を用いて推定し、前記３次元形状の特徴情報を出力することを特徴とする請求項５に記載の画像合成装置。
7. 前記推定部は、前記被写体のテクスチャ情報の推定を行う場合には青色の波長情報の画像を用いて推定し、前記被写体のテクスチャ情報の特徴情報を出力することを特徴とする請求項５に記載の画像合成装置。
8. 請求項１から請求項７のいずれか１項に記載の画像合成装置と、
   前記画像合成装置で生成された前記合成画像を記憶する登録画像記憶部と、
   比較すべき比較画像を入力し、前記比較画像と前記登録画像記憶部に記憶された合成画像とを照合する照合部とを備えたことを特徴とする画像照合装置。
9. 被写体の波長情報が異なる複数の画像を合成する画像合成方法であって、
   前記画像を複数の部分領域に分割する領域分割ステップと、
   前記部分領域ごとの前記複数の画像のうち、前記波長情報が異なる少なくとも２つの画像の画像特徴情報に基づいて少なくとも２つの前記画像を合成した合成画像を生成する合成画像作成ステップと、
   を備えたことを特徴とする画像合成方法。
10. 前記被写体が人物の顔であることを特徴とする請求項９に記載の画像合成方法。
11. 前記領域分割ステップにおいて、前記画像から人物の顔画像を検出し、前記顔画像の画像特徴に基づいて分割された前記部分領域を結合して新たな領域に設定することを特徴とする請求項１０に記載の画像合成方法。
12. 前記領域分割ステップにおいて、前記画像から人物の顔画像を検出し、前記顔画像の大きさに基づいて分割する領域の大きさを設定することを特徴とする請求項１０に記載の画像合成方法。

Images