JP2007164401A

JP2007164401A - 立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法

Info

Publication number: JP2007164401A
Application number: JP2005358748A
Authority: JP
Inventors: Yasuhiro Morinaka; 康弘森中
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-12-13
Filing date: 2005-12-13
Publication date: 2007-06-28

Abstract

【課題】被写体を撮影するときの撮影条件が被写体ごとに異なっていても誤認証が抑えられる立体物認証システムを提供する。
【解決手段】設定部９０は被写体に付与された識別情報を取得する。撮影部２０は設定された撮影条件で被写体を撮影する。登録部４０は取得された識別情報と、設定された撮影条件と、その撮影条件で撮影して得た被写体の認証情報とを関連付けて登録情報５７として登録情報記憶部５０に格納する。設定部９０は登録情報５７より登録時の撮影条件を抽出し、抽出した撮影条件を撮影部２０に設定する。認証部６０は撮影部２０で撮影して得た被写体の認証情報と登録情報に登録されている認証情報との類似度を求め、この類似度から被写体の認証を行う。
【選択図】図１

Description

本発明は、立体形状をもつ被写体を認証するための立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法に関し、特に、複数の互いに異なる撮影条件のそれぞれの下で被写体を撮影して得た認証情報から被写体を認証する立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法に関する。

従来、立体物を撮影して得た撮影画像を用いて認証作業を行う立体物認証装置として、顔認証装置があった。この顔認証装置では、カメラで被認証者の顔を撮影して得た登録用の顔情報（以下、「登録顔画像」という）をデータベース（以下、「ＤＢ」という）に記憶していた。そして、顔認証装置は、カメラで撮影して得た被認証者の顔の認証用の顔情報（以下、「認証顔画像」という）とＤＢに記憶されている登録顔画像とを比較し、この被認証者が登録したものであるか否かを認証していた。

一般に人間の顔は凹凸をもった立体形状である。そのため、カメラで撮影される被認証者の顔は照明方向の違いにより陰影が変化し、異なった輪郭や濃淡情報をもつ。これにより、顔認証装置では異なる照明方向のもとで同一の被認証者同士の登録顔画像と認証顔画像とを比較した類似度よりも、同じ照明方向のもとで異なる被認証者同士の登録顔画像と認証顔画像とを比較した類似度の方が高くなることもあった。

この照明方向の違いによって生じる照合精度への影響を回避するため、従来の顔認証装置は、１人の被認証者の顔を複数の照明方向それぞれで撮影し、撮影された照明方向それぞれの登録顔画像をＤＢに記憶していた。そして、顔認証装置は、カメラで撮影して得た被認証者の顔の認証顔画像とＤＢに記憶されている照明方向それぞれの登録顔画像とを照合し、照明方向ごとの類似度を合算した結果を判断することで、被写体が登録したものであるか否かを認証していた（例えば特許文献１）。

一方、人名などが不明な問い合わせ顔画像があると、その性別、年齢などの特徴から対象のＤＢを絞り込み、その写真または顔画像（以下、「検索顔画像」という）を画面に表示したものと問い合わせ顔画像とを、人が見比べて、同一人物かどうかを人が判断していた。問い合わせ顔画像はコピーでもしない限り検索顔画像と全く同じにならないので、人が撮影された照明環境を予測しながら入念に問い合わせ顔画像と検索顔画像とを比較して判断していた。この照合のための作業を補助する試みとして、検索顔画像に照明環境を加味した擬似的な比較用の顔画像（以下、「比較用顔画像」という）を生成するようにした顔認証装置があった。この顔認証装置では、登録する被認証者の顔の３次元形状とその表面画像とをＤＢに登録しておき、この登録された顔の３次元形状とその表面画像からグラフィックス手法を使って照明条件が異なったときの推定画像を比較用顔画像として生成していた。そして、顔認証装置は、擬似的に生成した複数の比較用顔画像をモニタに表示し、モニタに表示した比較用顔画像の中から問い合わせ顔画像に近いものを利用者に選択させ、選択された比較用顔画像と問い合わせ顔画像とを照合し、問い合わせ顔画像が登録したものであるか否かを認証していた（例えば特許文献２）。
特開２００５−５６００４号公報特開２００１−２８３２２４号公報

しかしながら、従来の顔認証装置では、登録されている被写体の登録顔画像の中には照合するときに撮影された認証顔画像と照明の向きが違うものが多く含まれているため、登録顔画像と認証顔画像の一致度は低く、照合時に照合する対象から排除されてしまう率が高くなるといった問題があった。

一方、モニタに表示された複数の比較用顔画像の中から問い合わせ顔画像に近いものを利用者に選択させる方法では、誤った比較用顔画像が利用者によって選択されると照合時の類似度が低下するといった問題があった。

本発明は、このような課題を解決するものであり、被写体を撮影するときの撮影条件が被写体ごとに異なっていても誤認証が抑えられる立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法を提供することを目的とする。

上記目的を達成するために、本発明の立体物登録装置は、複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、被写体情報を得る撮影部と、撮影して得た前記被写体情報と前記被写体情報に対応する撮影条件とを関連付けた、少なくとも前記被写体についての登録情報を作成する登録情報作成部と、前記登録情報を登録する登録部と、を備えたことを特徴とする。

この構成によれば、登録情報から登録時の撮影条件を検出することが可能となる。これにより、登録情報を用いて認証作業を行えば、登録時と同じ撮影条件に合わせた被写体の認証情報を得ることができる。これにより、撮影条件の違いによって生じる認証情報の誤差要因を照合時に排除でき、認証精度を向上させることができる。

また、前記撮影条件を前記撮影部に設定するための設定部をさらに備え、前記設定部は前記複数の互いに異なる撮影条件から選択する条件の偏りを抑えるように前記撮影条件を前記撮影部に設定してもよい。

これにより、さらに、複数の互いに異なる撮影条件から選択する条件の集中を抑え、被写体ごとに設定される撮影条件の違いをより有効に利用することが可能となる。

また、前記撮影部は、複数の光源を有し、前記複数の互いに異なる撮影条件に対応した前記光源によって被写体を照明するようにしてもよい。

この構成によれば、さらに、撮影部は異なる照明方向から被写体に照明して被写体に固有な陰影を与えて撮影することも、複数の照明方向から同時に照明して被写体の凹凸部の陰影を抑えて撮影することもできる。

また、被写体に付与された固有の識別情報を前記登録情報にさらに付加してもよい。

これにより、さらに、認証部は、識別情報で登録情報を管理することが可能となり、認証時に登録情報を絞ることで認証に必要な時間を短縮できる。また、撮影部は、被写体の撮影作業も回数を減らすことができるので、被写体の疲労が少ない。

また、撮影して得た被写体情報と前記被写体情報に対応する撮影条件と前記被写体に付与された識別情報のうち、少なくとも２つを関連付けた前記登録情報を情報記憶媒体に記憶するようにしてもよい。

これにより、さらに、登録情報を利用する装置が解読できる暗号処理を登録情報に施すことができ、セキュリティ性能をさらに高くすることができる。また、情報記憶媒体を認証時に利用することで、被写体は認証時に識別情報を入力する必要がなくなる。さらに、被写体は識別情報を覚えておく必要がない。

また、前記被写体は、被認証者の顔であってもよい。

これにより、さらに、認証時に被認証者の顔から被認証者を認証できる。

また、本発明の立体物認証装置は、被写体を撮影して得た登録被写体情報と前記登録被写体情報に対応する撮影条件とが関連付けられている登録情報が記憶されている登録情報記憶部から前記登録情報を取得し、取得した前記登録情報に基づいて被写体の認証を行う立体物認証装置において、複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、前記被写体を認証するための認証被写体情報を得る撮影部と、取得した前記登録情報から抽出した撮影条件と一致する条件を前記複数の互いに異なる撮影条件から選択して前記撮影部に設定する設定部と、取得した前記登録情報に記録されている登録被写体情報と前記認証被写体情報とを照合し、前記被写体があらかじめ登録された被写体であるか否かを判断する認証部と、を備えたことを特徴とする。

この構成によれば、認証部は作成された登録情報から登録時の撮影条件を検出し、照合時に登録時の撮影条件と一致させて被写体を撮影することができる。これにより、撮影条件の違いによって生じる照合誤差を排除でき、認証精度を向上させることができる。

また、前記登録情報は、被写体に付与された固有の識別情報をさらに有し、被写体の識別情報が記録されている登録情報に基づいて前記被写体の認証を行うようにしてもよい。

また、前記被写体は、被認証者の顔であってもよい。

これにより、さらに、被認証者の顔から被認証者を認証できる。

また、本発明の立体物認証システムは、複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、被写体情報を得る撮影部と、登録される被写体を撮影して得た登録被写体情報と前記登録被写体情報に対応する撮影条件とを関連付けた、少なくとも前記登録される被写体についての登録情報を作成する登録情報作成部と、登録情報を記憶する登録情報記憶部と、前記登録情報作成部で作成された前記登録情報を前記登録情報記憶部に登録する登録部と、前記登録情報記憶部から前記登録情報を取得し、取得した前記登録情報から抽出した撮影条件と一致する条件を前記複数の互いに異なる撮影条件から選択して前記撮影部に設定する設定部と、前記設定部が抽出した撮影条件で撮影して得た被写体の認証被写体情報と前記登録情報に記録されている登録被写体情報とを照合し、前記被写体があらかじめ登録された被写体であるか否かを判断する認証部と、を備えたことを特徴とする。

また、前記複数の互いに異なる撮影条件のそれぞれの下で複数の被写体を撮影して得られた複数の被写体情報から統計的な特徴量を抽出するための統計情報を前記撮影条件ごとに記憶している統計情報記憶部と、選択された撮影条件で前記撮影部が撮影して得た１次登録被写体情報を、前記選択された撮影条件と一致する撮影条件で作成された前記統計情報を用いて統計的な特徴量である２次登録被写体情報に変換する登録特徴量変換部と、選択された撮影条件で前記撮影部が撮影して得た１次認証被写体情報を、前記選択された撮影条件と一致する撮影条件で作成された前記統計情報を用いて統計的な特徴量である２次認証被写体情報に変換する認証特徴量変換部とをさらに備え、前記認証部は変換された２次登録被写体情報と２次認証被写体情報とを照合するようにしてもよい。

この構成によれば、さらに、立体物認証システムは、撮影して得た１次登録被写体情報、１次認証被写体情報と一致する撮影条件で作成された統計情報を用いて登録特徴量、認証特徴量のそれぞれを変換できるので、撮影条件に固有な統計量に基づく学習結果を利用できる。また、この変換によって得た２次登録被写体情報と２次認証被写体情報を照合することで、被写体の統計的な特徴量を照合することができ、認証精度を高めることができる。

また、前記被写体は、被認証者の顔であってもよい。

これにより、さらに、立体物認証システムは、被認証者の顔から被認証者を認証できる。

また、本発明の立体物認証方法は、複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、前記被写体を認証するための認証被写体情報を得る撮影ステップと、被写体を撮影して得た登録被写体情報と前記登録被写体情報に対応する撮影条件とが関連付けられている登録情報が記憶されている登録情報記憶部から前記選択された撮影条件と一致する条件を記録した前記登録情報を取得する取得ステップと、取得した前記登録情報に記録されている登録被写体情報と前記認証被写体情報とを照合し、前記被写体があらかじめ登録された被写体であるか否かを判断する認証ステップと、を備えたことを特徴とする。

この方法によれば、取得ステップは、撮影ステップで撮影して得た認証被写体情報と撮影条件が一致する条件が記録された登録情報を取得し、認証ステップは取得された登録情報に記録されている登録被写体情報と認証被写体情報とを比較照合できる。これにより、撮影条件の違いによって生じる照合誤差を排除でき、認証精度を向上させることができる。

本発明によれば、被写体を撮影するときの撮影条件が被写体ごとに異なっていても誤認証が抑えられる立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法を提供することができる。

以下、本発明の実施の形態について図面を用いて説明する。

（実施の形態１）
本発明の実施の形態の立体物認証システムは、複数の互いに異なる撮影条件（例えば照明方向）から選択された条件で被写体を撮影し、撮影された被写体の被写体情報と、その被写体情報に対応する撮影条件とを関連付けて被写体ごとに登録用の情報（以下、「登録情報」という）を作成し、登録情報を記憶する記憶部（以下、「登録情報記憶部」という）に記憶する。そして、立体物認証システムは、登録情報記憶部に記憶されている登録情報から撮影条件を抽出し、抽出した撮影条件で被写体を撮影し、撮影して得た被写体情報から被写体が登録してあるものか否かの認証を行うものである。なお、立体物認証システムは、立体形状をもつ被写体に付与されている固有の識別情報（以下、「ＩＤ」という）をさらに用いて登録情報を管理することで、認証時間を短縮している。

なお、登録と認証を行う前に、あらかじめ多数の被写体の被写体情報の統計的な特徴量を学習し、学習した結果に基づいて被写体情報を統計的な特徴量に変換し、この変換された被写体情報を登録処理、認証処理に用いることで認証精度を高めている。この学習については後述する。

ここで、被写体は凹凸のある立体物であり、光源から照射された光により陰影を生じるものである。被写体は、例えば、人、顔、手、指、指の指紋、目、手または眼の血管のパターンなどである。

なお、被写体情報とは認証に利用できる被写体の情報であり、撮影して得られる情報である。例えば、被写体情報は、被写体の形状、表面の濃淡、表面の粗さ、表面の色、表面の光沢などを撮影して得た被写体の撮影画像またはその撮影画像から抽出した特徴量をいう。

以下、実施の形態の中では、被写体を被認証者の顔として、被認証者の顔を撮影して得られる顔情報を被写体情報の一例として説明する。また、登録情報をＩＤで管理する一例を説明する。

本発明の実施の形態１の立体物認証システムについて詳細に説明する。図１は、本発明の実施の形態１の立体物認証システム３の構成を示すブロック図であり、図２は同実施の形態における立体物認証システム３の各部の機能を説明する説明図である。

立体物認証システム３は、撮影部２０であらかじめ撮影して得られた多数の人の顔情報（以下、「学習用顔画像」という）から統計的な特徴量を抽出するための情報（以下、「統計情報」という）を作成して統計情報記憶部３０に記憶する学習部１０と、統計情報３１を記憶する統計情報記憶部３０と、被写体に付与されているＩＤと撮影条件とを取得する設定部９０と、ＩＤを保有する被写体を設定部９０から設定された撮影条件で撮影する撮影部２０と、撮影して得た顔情報（以下、「登録用顔画像」という）から統計情報３１を用いて登録用の顔情報（以下、「２次登録顔情報」という）に変換し、この２次登録顔情報と撮影条件とＩＤとを関連付けて登録情報５７を作成して登録情報記憶部５０に登録する登録部４０と、登録情報５７を記憶する登録情報記憶部５０と、撮影部２０が被写体を撮影して得た顔情報（以下、「認証用顔画像」という）を統計情報３１を用いて認証用の顔情報（以下、「２次認証顔情報」という）に変換し、この２次認証顔情報と２次登録顔情報とを照合し、照合したときの類似度から被写体が登録されたものか否かの認証を行い、認証結果を出力する認証部６０とを備える。

まず、学習部１０について図２を用いて説明する。

立体物認証システム３は、登録動作と認証動作に先立って、学習動作を行う。この学習動作とは、立体物認証システム３であらかじめ多くの被写体（学習用）を撮影し、撮影して得た顔情報を学習することで統計的な特徴量を抽出するための統計情報３１を作成し、あらかじめ立体物認証システム３に登録する動作である。なお、学習動作の対象は、立体物認証システム３で認証を行う被写体である。立体物認証システム３は、登録動作と認証動作でこの統計情報３１を用いる。

図２において、学習部１０は、学習用顔画像から特徴量を抽出し学習用顔情報を生成する特徴量生成部１１と、学習用顔情報の統計的な特徴量を分析する主成分分析部１２と、分析結果に基づいて顔情報を統計的な特徴量に変換するための統計情報３１を作成する統計情報作成部１３とを備える。

特徴量生成部１１は、学習用顔画像から濃淡情報、空間周波数情報などの特徴量を抽出し、学習用顔情報を生成する。主成分分析部１２は、この学習用顔情報に対して主成分分析を行い、その統計的な特徴量をあらかじめ求める。なお、この主成分分析の方法として、学習用顔画像の濃淡情報を用いる場合は、固有顔法（Ｍ．ＴＵＲＫＡＮＤＡ．ＰＥＮＴＬＡＮＤ， ”ＥＩＧＥＮＦＡＣＥＳＦＯＲＲＥＣＯＧＮＩＴＩＯＮ”，ＪＯＵＲＮＡＬＯＦＣＯＧＮＩＴＩＶＥＮＥＵＲＯＳＣＩＥＮＣＥ，ＭＡＲＣＨ１９９１．）などの一般に知られた技術を用いてもよい。統計情報作成部１３は、分析結果に基づいて統計情報３１を作成する。この統計情報３１は登録時と照合時に用いられる。また、主成分分析部１２で固有顔法を用いた場合は、統計情報３１は固有ベクトルと、固有値となる。

つぎに、撮影部２０について図３を用いて説明する。図３は撮影部２０を正面から見たときの構成を示す正面図である。

図３において、撮影部２０は、中央にＣＣＤ撮像素子を有するカメラ２１と、その周囲に複数の異なる位置に配置された光源２２ａ〜２２ｈを有する照明部２２とを備える。照明部２２は、設定部９０から設定される撮影条件に対応させて光源２２ａ〜２２ｈを選択的に点灯させることによって照明方向を切り替えて照明することができる。また、カメラ２１は、照明方向が切り替わったときに被写体に発生する陰影の変化を撮影できる。

例えば、照明部２２は、撮影条件として「左斜め上」の照明方向が設定部９０から設定されると光源２２ａを点灯する。同様に、照明部２２は設定部９０から「上」が設定されると光源２２ｂ、「右斜め上」が設定されると光源２２ｃ、「左」が設定されると光源２２ｄ、「右」が設定されると光源２２ｅ、「左斜め下」が設定されると光源２２ｆ、「下」が設定されると光源２２ｇ、「右斜め下」が設定されると光源２２ｈをそれぞれ点灯する。また、照明部２２は設定部９０から「正面」が設定されると光源２２ａから光源２２ｈをすべて点灯する。ここで、「正面」とは光源２２ａから光源２２ｈからの照明を意味している。カメラ２１は、光源の選択的な点灯によって照明方向がそれぞれ異なった顔を撮影する。このように、照明部２２は、設定部９０から設定される撮影条件に対応させて光源２２ａ〜２２ｈを選択的に点灯させることによって照明方向を切り替えて被写体を照明し、被写体の凹凸部分に異なる陰影を与える。

なお、点灯する光源を組み合わせることで、さらに、擬似的に照明方向を増やすこともできる。例えば、光源２２ａと光源２２ｂとを組み合わせて点灯することで、擬似的に、凹凸部分に異なる陰影を与える。この組み合わされた光源の点灯によって生じた陰影は被写体に固有であるので、認証に用いることができる。また。光源の点灯のＯＮ／ＯＦＦだけでなく、光源が点灯したときの明るさも組み合わせの条件にさらに加えてもよい。

つぎに、設定部９０について図４を用いて説明する。図４は、設定部９０の構成を示す説明図である。

図４において、設定部９０は、撮影部２０で撮影して得た顔情報、被認証者に対する指示などを表示する表示部９１と、ＩＤ、撮影条件、処理モードの設定などを入力する情報入力部９２とを有している。

表示部９１は、ＣＲＴ、液晶ディスプレイなどを使って顔情報や、被認証者に対する操作指示などを表示する。

情報入力部９２は、ＩＤ、撮影条件などを入力する入力キー９２１と、処理モードを設定するための登録ボタン９２２と、認証ボタン９２３とを有している。

具体的には、表示部９１は、図４に示すように、撮影部２０で撮影して得た撮影条件（照明方向）が異なる顔情報を表示する。ここで、「正面」の５番の画像は、照明部２２の光源２２ａ〜２２ｈをすべて点灯し、カメラ２１が撮影して得た画像である。同様に、「左斜め上」１番の画像は顔を左斜め上の照明方向から撮影して得た画像である。表示部９１は、「上」、「右斜め上」、「左」、「右」、「左斜め下」、「下」、「右斜め下」など照明方向と連動しながら撮影して得た顔情報をそれぞれ表示する。ここで、被認証者は表示された顔情報の画像からどれか１つの番号を選択し、入力キー９２１で入力する。設定部９０は、番号に対応する撮影条件を登録情報として登録部４０に伝達する。

また、設定部９０は、情報入力部９２に設定された処理モードに応じて、登録部４０、認証部６０に必要な情報を出力する。

設定部９０は、登録ボタン９２２、認証ボタン９２３を検出し、押されたボタンに対応して登録処理、認証処理を実行する。また、設定部９０は、取得したＩＤ、撮影条件を登録部４０、認証部６０に出力する。登録処理、認証処理については後述する。

つぎに、登録部４０について図２を用いて説明する。

図２において、登録部４０は、撮影部２０で撮影して得た被写体（ＩＤの保有者）の登録用顔画像から特徴量を抽出して得た１次登録顔情報を生成する特徴量生成部４１と、生成された１次登録顔情報から統計情報３１を使って統計的な特徴量である２次登録顔情報に変換する登録特徴量変換部４２と、設定部９０から取得したＩＤと、登録用顔画像を撮影したときに設定部９０により設定された撮影条件と、２次登録顔情報とから登録情報５７を作成し、作成した登録情報５７を登録情報記憶部５０に登録する登録情報作成部４３とを備える。

特徴量生成部４１は、被認証者が選択した登録用顔画像から濃淡情報、空間周波数情報などの特徴量を抽出して１次登録顔情報を生成する。

登録特徴量変換部４２は、統計情報３１（例えば固有ベクトル、固有値）を用いて１次登録顔情報の特徴量の主成分の抽出と統計的な重み付けを行い統計的な特徴量である２次登録顔情報に変換する。

登録情報作成部４３は、取得したＩＤと、設定された撮影条件と、２次登録顔情報とから登録情報５７を作成し、登録情報記憶部５０に登録する。

登録情報記憶部５０は、ＩＤごとに作成された登録情報５７を記憶する。

つぎに、認証部６０について図２を用いて説明する。

図２において、認証部６０は、撮影部２０で撮影して得た被認証者（ＩＤの保有者）の認証用顔画像から特徴量を抽出して得た１次認証顔情報を生成する特徴量生成部６１と、生成された１次認証顔情報から統計情報３１を使って統計的な特徴量である２次認証顔情報に変換する認証特徴量変換部６２と、登録情報５７から取得した２次登録顔情報と２次認証顔情報とを比較して類似度を算出する照合部６３と、類似度から照合する被写体があらかじめ登録されているものか否かの判定を行い認証結果を出力する判定部６４とを備える。

特徴量生成部６１は、認証用顔画像から特徴量を抽出して１次認証顔情報を生成する。この特徴量は、例えば、認証用顔画像の濃淡情報、認証用顔画像の空間周波数情報である。

認証特徴量変換部６２は、１次認証顔情報から統計情報３１を使って統計的な特徴量をもつ２次認証顔情報に変換する。

照合部６３は、設定部９０から取得したＩＤに対応する登録情報５７を登録情報記憶部５０から取得し、登録情報５７にある２次登録顔情報を抽出し、２次認証顔情報と２次登録顔情報とを比較し、類似度を算出する。

判定部６４は、算出された類似度から検出し、照合する被写体があらかじめ登録されているものか否かの判定を行い、認証結果を出力する。

なお、設定部９０は、取得した登録情報５７から撮影条件を抽出し、抽出した撮影条件を撮影部２０に設定する。これにより、撮影部２０は、登録時と一致した撮影条件で被認証者を撮影して認証用顔画像を得ている。

このように、認証部６０は、登録情報５７から登録時の撮影条件を抽出することができる。これにより、登録時の撮影条件が被写体ごとに異なっていても、登録時と一致した撮影条件で認証用顔画像を得ることができる。よって、認証部６０は、被写体ごとに撮影条件が異なっていても、同じ撮影条件の顔情報を比較するので、照明方向の違いにより立体物の凹凸にできる陰影の変化の影響を排除できる。なお、認証部６０は、撮影部２０に設定された撮影条件と一致する登録情報５７を登録情報記憶部５０から取得し、取得した登録情報５７に記録されている登録顔画像と認証顔画像とに基づいて比較照合するようにしてもよい。この方法によっても、登録顔画像と認証顔画像とで撮影条件を一致させることができる。

つぎに、本発明の実施の形態１における立体物認証装置２の動作について図５〜図１０を用いて説明する。

まず、学習部１０が実施する学習処理について図５を用いて説明する。図５は、学習部１０の学習処理の流れを示すフローチャートである。

学習処理とは、あらかじめ学習用の多数の顔を撮影し、撮影して得た多数の顔情報の特徴量を分析し、その統計的な特徴量を抽出するための統計情報を生成する処理である。

図５において、学習部１０は学習するため多数の被写体に対して、立体物認証システム３が備える複数の互いに異なる撮影条件で被写体を撮影するように設定部９０に指示する（Ｓ４００からＳ４０７までのステップを実施）。そして、学習部１０は、複数の撮影条件のすべてで撮影して得た被認証者の顔情報から統計情報３１を作成する（Ｓ４０８からＳ４１０までのステップを実施）。

このように、複数の互いに異なる撮影条件で被認証者の顔の撮影を行うことで、照明方向の違いにより立体物の凹凸にできる陰影の変化も含めた学習用顔画像を得ることができる。これにより、立体物の凹凸にできる陰影の変化も含め、統計的な分析が可能となる。

以下、各ステップについて詳しく説明する。学習部１０は設定部９０より取得した学習用の被写体の数Ｍの値を変数Ｍとして内部の一時記憶部（図示せず）に記憶する（Ｓ４００）。また、学習部１０は設定部９０より取得した撮影条件数Ｎの値を変数Ｎとして内部の一時記憶部に記憶する（Ｓ４０１）。例えば、上下左右、斜めの８個の照明方向と、全方向の照明方向とを撮影条件とすると、変数Ｎは「９」となる。ここで、被写体の数Ｍと撮影条件数Ｎとを情報入力部９２より入力する。また、あらかじめ被写体の数Ｍと撮影条件数Ｎとを内部の記憶部に格納しておいてもよい。

つぎに、学習部１０は、変数Ｎの値に対応して撮影部２０に互いに異なる撮影条件を設定するように設定部９０に指示する（Ｓ４０２）。

撮影部２０は、設定部９０により設定された撮影条件で被写体を撮影する（Ｓ４０３）。また、学習部１０は、撮影して得た顔情報を学習用顔画像として内部の一時記憶部に記憶する。

学習部１４は、設定部９０により設定された撮影条件で顔の撮影が完了すると、内部の一時記憶部に記憶した変数Ｎの値から「１」を減じるように更新する（Ｓ４０４）。つぎに、学習部１０は、この更新された変数Ｎの値「０」で、すべての撮影条件での被写体の撮影が完了したことを判断する（Ｓ４０５）。

学習部１０は、変数ＮがＮ＞０ならＳ４０２に戻りつぎの撮影条件を設定し（Ｓ４０２）、Ｎ＝０なら被写体の撮影を完了し、Ｓ４０６のステップに進む。学習部１０は、１人からすべての撮影条件で撮影して得た顔情報の取得が完了するまでＳ４０２からＳ４０５までのステップを繰り返し実施する。

学習部１０は、１人からすべての撮影条件での撮影が完了すると、内部の一時記憶部に記憶した変数Ｍの値から「１」を減じるように更新する（Ｓ４０６）。そして、学習部１０は、変数Ｍの値「０」で、対象とする多数の被写体の撮影がすべて完了したことを判断する（Ｓ４０７）。

ここで、学習部１０は、Ｍ＞０ならつぎの異なる被写体に入れ替えを行い、Ｓ４０１に戻る。また、Ｍ＝０ならば被写体の撮影を完了してＳ４０８のステップに進む。学習部１０は、すべての撮影条件で撮影部２０が被写体の撮影を完了するまではＳ４０１からＳ４０７までのステップを繰り返し実施する。

つぎに、図２に示すように、学習部１０は、各被写体の互いに異なる撮影条件のそれぞれの下で撮影して得た学習用顔画像を、すべての被写体から集め、統計情報３１の作成と格納を行う。

特徴量生成部１１は、撮影部２０が撮影して得たすべての学習用顔画像について濃淡情報、または空間周波数情報などの特徴量を抽出する（Ｓ４０８）。主成分分析部１２は、抽出された被写体の特徴量の分布から主成分を抽出する（Ｓ４０９）。そして、統計情報作成部１３は抽出された特徴の主成分か統計情報３１を作成し、統計情報記憶部３０に格納する（Ｓ４１０）。例えば、特徴量が濃淡情報であれば、固有顔法などを用いて統計情報３１を得る。

この統計情報３１を用いて、登録部４０の登録特徴量変換部４２は１次登録顔情報を２次登録顔情報に変換する。また、同様に、認証部６０の認証特徴量変換部６２は、１次認証顔情報を２次認証顔情報に変換する。この統計情報３１には、統計的手法に応じた特徴量を記憶する。例えば、固有顔法を用いたときは固有ベクトルと固有値である。

つぎに、立体物認証システム３の全体処理について図６を用いて説明する。図６は、立体物認証システム３の全体処理の流れを示すフローチャートである。

図６において、立体物認証システム３は、被写体が処理モードを設定することで、被写体に対して登録動作、認証動作を行う。なお、被写体が立体物認証システム３を操作することができない場合、例えば、被写体が果物などの静止物の場合は利用者が操作してもよい。

設定部９０は、認証ボタン９２３、登録ボタン９２２を検出し、被認証者から処理モードが設定されたかを検出する（Ｓ１００）。なお、設定部９０は、被認証者に対してモード設定動作を誘導する。このため、表示部９１にモード設定の方法を表示し、被認証者を誘導する。なお、誘導方法は音声を併用してもよい。

つぎに、設定部９０は、被認証者によって処理モードが設定されると、認証ボタン９２３、登録ボタン９２２のいずれのボタンが押されたかを検出する（Ｓ１０１）。そして、設定部９０は、認証ボタン９２３が押されたのを検出すれば、被写体のＩＤを取得し（Ｓ１０２）、認証部６０に認証処理を実施するように指示する。これにより、認証部６０は認証動作を行う（Ｓ１０３）。また、設定部９０は、登録ボタン９２２が押されたのを検出すれば、被写体のＩＤを取得し（Ｓ１０４）、登録部４０に登録処理を実施させるように指示する。これにより、登録部４０は登録動作を行う（Ｓ１０５）。ここで、設定部９０で取得されるＩＤは、例えば「１１１１」とする。各処理動作が終了したら、Ｓ１００に戻り、つぎの処理モードの設定を待つ。

つぎに、登録部４０が実施する登録処理について図７〜図９を用いて説明する。

図７を用いて登録部４０の登録処理の流れを説明する。図７は、登録部４０の登録処理の流れを示すフローチャートである。

図７において、登録部４０は、設定部９０から取得した撮影条件数Ｎの値を変数Ｎとして内部の一時記憶部（図示せず）に記憶する（Ｓ２００）。撮影部２０で選択できる照明方向を、例えば図３に示すように、上下左右、斜めの８個の方向と、全方向の１個とすると、変数Ｎの初期値は「９」となる。ここで、撮影条件数Ｎは情報入力部９２より入力する。また、あらかじめ、撮影条件数Ｎの値を内部の一時記憶部（図示せず）に格納しておいてもよい。

つぎに、登録部４０は、変数Ｎの値に対応して互いに異なる撮影条件を撮影部２０に設定するように設定部９０に指示する（Ｓ２０１）。撮影部２０は設定された撮影条件で被写体を撮影する（Ｓ２０２）。

ここで、撮影部２０の動作について図８（ａ）、図８（ｂ）を用いて説明する。図８（ａ）は、「左斜め上」から光源により照明された顔の陰影を説明する説明図、図８（ｂ）は、「下」から光源により照明された顔の陰影を説明する説明図である。

図８（ａ）に示すように、撮影部２０は、設定部９０から「左斜め上」の撮影条件が設定されると、光源２２ａを撮影時に点灯する。これにより、顔２４には左斜め下側よりの陰影が生じる。同様に、図８（ｂ）に示すように、撮影部２０は設定部９０から「下」の撮影条件が設定されると光源２２ｇを撮影時に点灯する。これにより、顔２４には上側よりの陰影が生じる。このように、撮影部２０は、設定される撮影条件に対応して被認証者の顔２４を異なる位置にある光源より照明して、撮影する。これにより、顔２４の凹凸部分には光源からの光によって固有の陰影を生じる。カメラ２１は、その顔に生じた固有の陰影を撮影する。

つぎに、図７に戻り、撮影された顔画像は、内部の一時記憶部に記憶される。被写体の撮影が完了すると、登録部４０は一時記憶部に記憶した変数Ｎの値から「１」を減じるように更新する（Ｓ２０３）。

登録部４０はこの更新された変数Ｎの「０」で、すべての撮影条件での被写体の撮影が完了したことを判断する（Ｓ２０４）。登録部４０は変数ＮがＮ＞０ならＳ２０１に戻りつぎの撮影条件を設定し（Ｓ２０１）、Ｎ＝０なら被写体の撮影を完了し、内部の一時記憶部に記憶した顔情報を表示部９１（図４）に送る。表示部９１は、送られた９個の顔情報を顔画像で表示する（Ｓ２０５）。

このように、登録部４０は、すべての撮影条件で撮影部２０が撮影して得た顔情報の取得が完了するまでＳ２０１からＳ２０４までのステップを繰り返し実施する。

被写体は、表示部９１に表示された顔画像を確認し、情報入力部９２１を使って撮影条件に対応する番号を選択し、設定する（Ｓ２０６）。これにより、設定部９０は、撮影部２０に設定した撮影条件と、その撮影条件に対応する登録用顔画像と、取得したＩＤとを登録部４０に渡す。

つぎに、登録部４０は、登録用顔画像から登録情報５７として格納する顔情報を生成する。登録部４０は、特徴量生成部４１を使って、被写体が選択した登録用顔画像から濃淡情報、空間周波数情報などの特徴量を抽出し１次登録顔情報を生成する（Ｓ２０７）。そして、登録部４０は、登録特徴量変換部４２を使って、統計情報３１を用いて１次登録顔情報の主成分の抽出と統計的な重み付けを行い、統計的な特徴量である２次登録顔情報に変換する（Ｓ２０８）。

登録部４０は、登録情報作成部４３を使って、取得したＩＤと、撮影部２０に設定された撮影条件と、２次登録顔情報とを関連付けて登録情報５７を作成し（Ｓ２０９）、登録情報記憶部５０に登録する（Ｓ２１０）。

ここで、登録情報５７について図９を用いて詳細に説明する。図９は、登録情報を説明する説明図である。

図９に示すように、登録部４０は、登録情報作成部４３を使って、例えば、被写体に付与されたＩＤごとに登録情報５１、５２、５３、５４を登録情報５７として作成する。このように、登録情報５７には立体物認証システム３に登録した被写体の数分の登録情報が記録されている。

ここで、登録部４０が設定部９０から取得した被写体のＩＤが「１１１１」であり、その被写体が選択した撮影条件が「左斜め上」であった場合を例に説明する。

まず、登録情報作成部４３は、ＩＤに対応した登録情報５１を作成する。登録情報作成部４３は、登録情報５１に「１１１１」という識別情報５１１と、このＩＤを付与された被写体が選択した撮影条件５１２である「左斜め上」と、撮影部２０が撮影条件５１２で撮影して得た顔情報５１３とを関連付けて記録する。もし、取得したＩＤが「２２２２」であれば、登録情報作成部４３は登録情報５７を検索することで新規なＩＤと判断し、あらたに登録情報５２を作成する。そして、登録情報作成部４３は、登録情報５２に「２２２２」という識別情報５２１と、撮影条件５２２である「下」と、撮影部２０が撮影条件５２２で撮影して得た顔情報５２３とを記録する。また、同様に、登録情報作成部４３はＩＤが「３３３３」の被写体に対しては登録情報５３をあらたに作成し、「３３３３」という識別情報５３１と、撮影条件５３２である「左斜め上」と、撮影部２０が撮影条件５３２で撮影して得た顔情報５３３とを記録する。また、登録情報作成部４３はＩＤが「４４４４」の被写体に対しては登録情報５４をあらたに作成し、「４４４４」という識別情報５４１と、撮影条件５４２である「下」と、撮影部２０が撮影条件５４２で撮影して得た顔情報５４３とを記録する。

このように、登録部４０は、被写体に付与された固有のＩＤと、撮影部２０に設定された撮影条件と、撮影部２０がその設定された撮影条件で撮影して得た顔情報とを関連付け、登録情報５７として登録情報記憶部５０に登録する。設定部９０は、認証時に、登録情報５７から登録時に撮影部２０に設定された撮影条件を抽出し、撮影部２０に同じ撮影条件を選択して設定することが可能となる。

また、識別情報５１１と、識別情報５３１である被写体の撮影条件が両者で同じことがこの登録情報５７から検出できる。同様に、識別情報５２１と識別情報５４１である被写体の照明方向が両者で同じであることが分かる。認証するときのパラメータとして、この被写体ごとに固有の撮影条件を付加することで、被写体が設定部９０に設定するＩＤを忘れても、認証の対象となる登録情報５７を設定された撮影条件で絞り、絞られた登録情報５７の中より認証作業を進めることが可能となる。これにより、照合する被写体の数を減らすことができるので、認証する時間を短縮することが可能となる。

つぎに、認証部６０が実施する認証処理について図１０を用いて説明する。図１０は認証部６０の認証処理の流れを示すフローチャートである。

認証部６０は、設定部９０より取得したＩＤに対応する登録情報５７を登録情報記憶部５０から取得する（Ｓ３００）。ここで、認証部６０は設定部９０より取得したＩＤが「１１１１」なので、認証部６０は登録情報５７から登録情報５１（図９）を取得する。さらに、認証部６０はこの取得した登録情報５１から撮影条件５１２である「左斜め上」を検出する。

認証部６０は、登録情報５１に記述された撮影条件５１２から撮影条件数Ｎの値を検出し、変数Ｎとして内部の一時記憶部（図示せず）に記憶する（Ｓ３０１）。この例では登録情報５１に記録されている撮影条件５１２は「左斜め上」の１つであることから、認証部６０はＮ＝１を設定する。また、認証部６０は、変数Ｎの値に対応した撮影条件を撮影部２０に設定するように設定部９０に指示する（Ｓ３０２）。ここでは、Ｎ＝１なら設定部９０は、撮影条件である「左斜め上」を撮影部２０に設定する。

撮影部２０は、設定部９０から設定された撮影条件で被写体を撮影する（Ｓ３０３）。また、認証部６０は、撮影部２０で撮影して得た顔情報を内部の一時記憶部（図示せず）に認証用顔画像として記憶する。

認証部６０は、撮影部２０で被写体の撮影が完了すると内部の一時記憶部（図示せず）に記憶した変数Ｎの値から「１」を減じるように更新する（Ｓ３０４）。

認証部６０は、この更新された変数Ｎの値が「０」で、撮影部２０において登録情報５１に記述されたすべての撮影条件での被写体の撮影が完了したことを判断する（Ｓ３０５）。認証部６０は変数ＮがＮ＞０ならＳ３０２に戻りつぎの異なる撮影条件を設定し（Ｓ３０２）、Ｎ＝０なら被写体の撮影を完了し、認証用顔画像から特徴量を抽出するＳ３０６に進む。認証部６０は、撮影部２０において、すべての撮影条件で撮影して得た顔情報の取得が完了するまでＳ３０２からＳ３０５までのステップを繰り返し実施する。ここでは、認証部６０は、検出した撮影条件数Ｎは「１」であるので、「左斜め上」の撮影条件で撮影部２０が撮影して得た認証用顔画像を取得したらＳ３０６のステップに進む。

つぎに、認証部６０は、認証用顔画像から照合に用いる顔情報を生成する。特徴量生成部６１は、認証用顔画像から濃淡情報、空間周波数情報などの特徴量を抽出し１次認証顔情報を生成する（Ｓ３０６）。そして、認証特徴量変換部６２は、統計情報３１を用いて１次認証顔情報の特徴量の主成分抽出と統計的な重み付けを行い、統計的な特徴量である２次認証顔情報に変換する（Ｓ３０７）。例えば、１次認証顔情報の特徴量が濃淡情報であれば、登録時と同様に、固有顔法を用いて２次認証顔情報に変換する。この特徴量の変換は、認証の精度を高めるために、登録と認証で一致させる必要がある。

照合部６３は、登録情報記憶部５０の登録情報５７からＩＤ（ここでは「１１１１」）が同じ登録情報５１を取得し、その中に記録されている２次登録顔情報５１３と２次認証顔情報とを照合し、その類似度を算出する（Ｓ３０８）。この類似度は、統計的な特徴量に変換された顔情報空間での距離や相関係数の比較により算出される。

判定部６４は、認証部６０で得られた類似度に対して所定のしきい値と比較し、「しきい値未満」「しきい値以上」を検出し、認証の対象となる被写体があらかじめ登録されているものか否かを判定し、認証結果を出力する（Ｓ３０９）。

以上のように、本発明の実施の形態１によれば、立体物認証システム３は、登録情報５７に記録されている登録時の撮影条件を検出することで、被写体ごとに撮影条件が異なっていても、認証時に登録時と一致した撮影条件を撮影部２０に設定することができる。よって、立体物認証システム３は、必ず、登録時と認証時とで、一致した撮影条件で撮影して得た顔情報を比較できる。これにより、立体物認証システム３は、照明方向の違いにより立体物の凹凸にできる陰影の変化の影響を排除して、被写体の認証を行うことができる。

また、立体物認証システム３は、被写体に固有な撮影条件をさらに付加した認証を行うことで、被写体情報だけの認証方法に比較して、認証する一致条件をさらに厳しくでき、セキュリティ性能を高くできる。

また、登録情報に撮影条件を記録することで、記録された撮影条件で撮影して得た顔情報のみを登録情報に登録するようにすればよいため、すべての撮影条件で撮影して得た顔情報を記憶する必要がなくなる。よって、ＤＢに記憶するデータ量を抑えることができる。

なお、撮影条件を照明方向としたが、照明の明るさでもよいし、照明の色としてもよい。撮影条件は照合に使用する被写体の特徴量に差を与えるもので、認証に必要な特徴量が得られるものであればよい。また、撮影条件は１つでもよく、複数でもよい。例えば、照明方向と照明の色を組み合わせてもよい。撮影条件の組み合わせ要素が多くなるほど、認証時に照合されるパラメータが多くなり、セキュリティ性能が高くなる。

また、登録部４０、認証部６０で統計情報３１を用いて特徴量変換を行わないとき、登録特徴量変換部４２、認証特徴量変換部６２、学習部１０、統計情報記憶部３０、統計情報３１はなくてもよい。このときには、照合部６３は登録情報５７に格納された１次登録顔情報と１次認証顔情報を直接に比較する。また、登録用顔画像を直接に登録情報としてもよい。このときは、照合部６３は登録情報５７に格納された登録用顔画像と認証用画像を直接に比較することになる。

また、統計情報３１を立体物認証システム３の外部であらかじめ作成するようにすれば、学習部１０はなくてもよい。

また、登録部４０が登録情報記憶部５０に登録する前に１次登録顔情報に対して特徴量変換を実施するようにしたが、認証部６０が１次登録顔情報に対して特徴量変換を実施してから照合部６３で類似度を算出するようにしてもよい。これにより、登録特徴量変換部４２と認証特徴量変換部６２とを共用できる。

また、ＩＤは入力キー９２１から取得するようにしたが、登録部４０が登録する被写体ごとに自動でＩＤを生成し、付与するようにしてもよい。

また、複数の互いに異なる撮影条件ごとに撮影して得た候補顔画像を表示部９１で表示せずに、最初から被写体が入力キー９２１で撮影条件を入力するようにしてもよい。この場合、入力キー９２１で入力された撮影条件を撮影部２０に設定し、被認証者の顔を撮影すればよい。また、撮影条件数Ｎは１つでも、複数でもよい。

（実施の形態２）
つぎに、本発明の実施の形態２の立体物認証システムについて図１１、図１２を用いて説明する。

図１１は、本発明の実施の形態２の立体物認証システム４の構成を示すブロック図である。図１２は、同実施の形態２の立体物認証システム４の各部の機能を説明する説明図である。

以下、実施の形態１と同様の部分については、同一符号を付し、その詳細な説明は省略する。

実施の形態２の立体物認証システム４が実施の形態１の立体物認証システム３と異なる点は、設定部９０の内部に乱数発生部９３をさらに設け、撮影部２０に設定する撮影条件の偏りを抑えるようにした点である。

また、学習部１０（図１）は、互いに異なる撮影条件を含めて１つの統計情報３１を作成するようにした。これに対して、学習部１４は、互いに異なる撮影条件ごとに学習した別々の学習結果を統計情報３１の中にさらに追加して設けた点である。このように、異なる撮影条件ごとに撮影して得た顔情報を別々に学習することで、立体物の凹凸にできる撮影条件ごとの陰影の変化に対応した統計情報３１を作成することができる。

また、統計情報記憶部３０に別々の学習結果を選ぶための情報選択部３２をさらに追加した点である。情報選択部３２は、撮影部２０に設定された撮影条件に対応して統計情報３１の中から撮影条件が一致する学習結果を選択して出力するようにしている。これにより、登録部４０は、設定部９０から設定された撮影条件と同じ撮影条件を情報選択部３２に設定した後、登録特徴量変換部４２を使って、１次登録顔情報の特徴量を統計情報３１の中から選択された情報（学習結果）を用いて変換する。また、認証部６０は、登録情報５７から抽出した撮影条件を情報選択部３２に設定した後、認証特徴量変換部６２を使って、１次認証顔情報の特徴量を統計情報３１の中から選択された情報を使って変換する。

まず、乱数発生部９３について図１１を用いて説明する。設定部９０は、内部の乱数発生部９３で発生したランダムな照明パターン信号に基づいて複数の互いに異なる撮影条件から条件を選択し、選択した条件を撮影部２０に設定する。

図１１において、設定部９０の内部にある情報入力部９２は、乱数発生部９３からのランダムな照明パターン信号を検出して撮影部２０の照明部２２に設定する。照明部２２は、設定されたパターン信号に対応した光源２２ａ〜２２ｈ（図３）を点灯する。これにより、設定部９０は、撮影部２０にランダムな撮影条件を設定でき、撮影条件の偏りを抑える。

乱数発生部９３は、例えば、Ｍ系列による巡回符号を用いて照明パターン信号を生成する。照明パターン信号は、例えば原始多項式をＸ^４＋Ｘ＋１とし、Ｘ^４／（Ｘ^４＋Ｘ＋１）の除算演算により得られるパターンを使って生成する。この原始多項式に基づく除算演算により、繰り返し周期が１５の擬似ランダムパターンが得られる。

設定部９０は、この擬似ランダムパターンを検出し、パターンに応じて照明部２２で点灯させる光源を切り替える。例えば、照明パターン信号の値が「１」のときは光源２２ａ（図３）を点灯し、同様に、照明パターン信号の値が「２」のときは光源２２ｂ（図３）を点灯する。以下、同様に、「０」を除く照明パターン信号の値１５個に対して点灯させる光源をあらかじめ割り振る。

また、設定部９０は、立体物認証システム４が備えている撮影条件の数（光源の数、複数の光源の組み合わせ数など）よりパターンの繰り返し周期が長い原始多項式をあらかじめ設定しておく。これは、原始多項式のパターンの繰り返し周期の数まで、撮影条件の数に対応できるためである。例えば、原始多項式を他のＸ^７＋Ｘ^３＋１とし、除算演算をＸ^７／（Ｘ^７＋Ｘ^３＋１）とすれば、パターンの繰り返し周期を「１２７」にできる。これにより、「０」を除く１２６個までの撮影条件の数に応じることができる。

このように、原始多項式の次数を増やすことにより、実質的にランダムとみなせるパターンの繰り返し周期を長くでき、この繰り返し周期の値だけ撮影条件の数（光源の数、複数の光源の組み合わせ数など）に対応できる。

また、設定部９０は、この次数の異なる原始多項式をあらかじめアルゴリズムとしてソフトウェアに組み込み、光源の数に応じて後で除算演算のアルゴリズムを変更してもよい。設定部９０は、情報入力部９２を使って光源の数を入力し、必要な照明パターン数に応じた繰り返し周期を算出し、最適な原始多項式による除算演算を実施する。

このように、設定部９０は、ランダムに発生する照明パターン信号Ｐを検出して、あらかじめ対応付けした撮影条件を撮影部２０に設定する。これにより、撮影部２０にはランダムな撮影条件が選択されて設定される。よって、設定部９０で選択される撮影条件の分布の偏りが抑えられる。

つぎに、学習部１４について説明する。図１１において、学習部１４は、多数の被写体を撮影部２０で撮影し、撮影して得た学習用顔画像を取得する。撮影部２０は、１人について照明部２２（図３）の８個の光源を順次点灯させ、照射される照明の方向が異なる８個の被写体（顔）を撮影する。また、撮影部２０は照明部２２の８個の光源を同時点灯させ、「全方向」の照明による被写体（顔）を撮影する。このように撮影部２０では、１人に対してそれぞれ撮影条件を異ならせて撮影して得た９個の学習用顔画像を取得する。そして、この作業を被写体の全数に対して、同様に繰り返す。

学習部１４は、図１２に示すように、学習対象に多数の被写体より収集した顔情報を撮影条件ごとに別々の群としてまとめ、それぞれの撮影条件ごとの顔情報群を用いて統計的な特徴量を抽出し、撮影条件ごとに統計情報３１を作成し、学習結果Ａ〜Ｈ、学習結果ＡＬＬとして統計情報記憶部３０（学習結果のＤＢ）に記憶する。ここで、学習結果Ａは照明部２２の光源２２ａで照明された多数の被写体（顔）を撮影して得た顔情報を学習した結果の情報である。同様に、学習結果Ｂは光源２２ｂ、学習結果Ｃは光源２２ｃ、学習結果Ｄは光源２２ｄ、学習結果Ｅは光源２２ｅ、学習結果Ｆは光源２２ｆ、学習結果Ｇは光源２２ｇ、学習結果Ｈは光源２２ｈ、学習結果ＡＬＬは光源２２ａから光源２２ｈの照明による多数の被写体（顔）を撮影して得た顔情報を学習した結果の情報である。

また、情報選択部３２は、情報選択部３２に設定された撮影条件に応じて対応して、学習結果Ａ〜Ｈ、学習結果ＡＬＬの中から選択して出力する。登録部４０の登録特徴量変換部４２、認証部６０の認証特徴量変換部６２は、情報選択部３２で選択された統計情報３１を使用する。

このように、登録時と認証時に同じ撮影条件で学習した学習結果を利用できることで、学習効果をより期待することができ、認証精度を向上させることができる。

つぎに、学習部１４の学習処理について図１３を用いて説明する。図１３は学習部１４の学習処理の流れを示すフローチャートである。

図１３において、学習部１４は、多数の被写体に対して、すべての撮影条件で撮影部２０が撮影して得た学習用顔画像を取得する（Ｓ５００からＳ５０７までのステップを実施）。つぎに、学習部１４は、取得したすべての学習用顔画像から撮影条件ごとに別々に分けた学習用顔画像に対してそれぞれ統計情報３１を作成する（Ｓ５０８からＳ５１３までのステップを実施）。

以下、各ステップについて詳しく説明する。学習部１４は設定部９０から取得した学習用の被写体の数Ｍの値を変数Ｍとして内部の一時記憶部（図示せず）に記憶する（Ｓ５００）。また、学習部１４は、設定部９０から取得した撮影条件数Ｎの値を変数Ｎとして内部の一時記憶部に記憶する（Ｓ５０１）。ここで、照明部２２における点灯パターンの組み合わせ数は、光源が８個あるので、各光源を点灯するときのパターン数（８通り）と全光源を点灯するときのパターン数（１通り）の和の「９」となる。よって、変数Ｎは「９」となる。ここで、被写体の数Ｍと撮影条件数Ｎは、情報入力部９２より入力してもよいし、あらかじめ、被写体の数Ｍと撮影条件数Ｎを設定部９０に格納してもよい。また、学習部１４が直接に設定部９０に設定するようにしてもよい。

つぎに、学習部１４は、変数Ｎの値に対応して異なる撮影条件を撮影部２０に設定する（Ｓ５０２）。撮影部２０は設定部９０から設定された撮影条件で被写体（人の顔）を撮影する（Ｓ５０３）。学習部１４は、撮影部２０による被写体の撮影が完了すると内部の一時記憶部に記憶した変数Ｎの値から「１」を減じるように更新する（Ｓ５０４）。なお、学習する被写体は登録する被写体を対象とする。

学習部１４は、この更新された変数Ｎの値の「０」で、すべての撮影条件で被写体が撮影されたことを判断する（Ｓ５０５）。

学習部１４は、変数ＮがＮ＞０ならＳ５０２に戻りつぎの撮影条件を設定し（Ｓ５０２）、Ｎ＝０なら被写体の撮影を完了し、Ｓ５０６に進む。学習部１４は、各被写体に対してすべての撮影条件で撮影した顔情報の取得が完了するまでＳ５０２からＳ５０５までのステップを繰り返し実施する。

このように、各被写体に対して、最初にすべての異なる撮影条件で撮影するようにしたことで、被写体の入れ替え回数を減らすことができる。

学習部１４は、各被写体に対してすべての撮影条件での撮影が完了すると、内部の一時記憶部に記憶した変数Ｍの値から「１」を減じるように更新する（Ｓ５０６）。また、学習部１４は、変数Ｍの値の「０」で、各被写体に対してすべての撮影条件での撮影が完了したことを判断する（Ｓ５０７）。ここで、学習部１４は、Ｍ＞０ならつぎの異なる被写体に入れ替えてＳ５０１に戻り、Ｍ＝０なら被写体の撮影をすべて完了してＳ５０８に進む。学習部１４は、多数の被写体に対して、すべての撮影条件で撮影部２０が撮影して得た学習用顔画像の取得が完了するまでＳ５０１からＳ５０７までのステップを繰り返し実施する。

つぎに、学習部１４は、撮影部２０で撮影して取得されたすべての学習用顔画像を撮影条件ごとに別々に分けて統計情報３１の作成を行う。

まず、学習部１４は撮影条件数Ｎの値を変数Ｎとして内部の一時記憶部に記憶する（Ｓ５０８）。そして、特徴量生成部１１は、変数Ｎの値に対応する撮影条件で撮影した学習用顔画像をすべて選択し、選択された学習用顔画像群に対して濃淡情報、または空間周波数情報などの特徴量を抽出する（Ｓ５０９）。主成分分析部１２は、抽出された被写体の特徴量の分布から主成分を抽出する（Ｓ５１０）。そして、統計情報作成部１３は抽出された特徴の主成分から統計情報３１を作成し、撮影条件Ｎでの学習結果として統計情報記憶部３０に格納する（Ｓ５１１）。例えば、特徴量が濃淡情報であれば、固有顔法などを用いて統計情報３１を得る。

この統計情報３１を用いて、登録部４０の登録特徴量変換部４２は１次登録顔情報を２次登録顔情報に変換する。また、同様に、認証部６０の認証特徴量変換部６２は、１次認証顔情報を２次認証顔情報に変換する。この統計情報３１には、統計的手法に応じた特徴量を記録する。例えば、固有顔法を用いたときは固有ベクトルと固有値である。

学習部１４は、撮影条件Ｎでの統計情報３１の作成が完了すると、内部の一時記憶部に記憶した変数Ｎの値から「１」を減じるように更新する（Ｓ５１２）。そして、学習部１４は、変数Ｎの値の「０」で、すべての撮影条件に対応する統計情報３１の作成が完了したことを判断する（Ｓ５１３）。ここで、学習部１４は、Ｎ＞０ならつぎの異なる撮影条件での統計情報３１を作成するためにＳ５０９に戻り、Ｎ＝０なら学習処理を終了する。このように、学習部１４はすべての撮影条件での統計情報３１の作成が完了するまでＳ５０９からＳ５１３までのステップを繰り返し実施する。

なお、統計情報３１を立体物認証システム４の外部であらかじめ作成するようにすれば、学習部１４はなくてもよい。

また、登録情報に記録する撮影条件として「全方向」がなければ、学習結果ＡＬＬはなくてもよい。

以上のように、本発明の実施の形態２によれば、設定部９０に照明パターン信号をランダムに発生する乱数発生部９３を設け、この照明パターン信号を検出して撮影条件を撮影部２０に設定するようにしたので、撮影条件が特定の条件に集中するのを抑えることができる。

また、学習部１４は、互いに異なる撮影条件ごとに統計情報３１を作成するようにした。そして、登録部４０と認証部６０は、設定された撮影条件と一致する撮影条件で作成された被写体の特徴量の学習結果の統計情報３１を選択して使用し、顔情報の特徴量を変換するようにした。これにより、認証部６０は、撮影条件ごとの被写体の特徴量を統計分析した学習結果を利用して認証作業ができ、認証精度を高めることができる。

なお、認証情報について、本発明の実施の形態１または実施の形態２では、被写体は人の顔を実施例として説明したが、人の顔以外でもよい。異なる撮影条件により被写体の凹凸部分に固有の陰影を生じる被写体であれば実施の形態１または実施の形態２と同様の効果を奏する。また、被写体は立体形状をもつものであればよく、例えば、人、手、指、指の指紋、目、果物、魚でもよい。なお、魚などは向きにより凹凸にできる陰影が異なるので、頭と尾の向きといった被写体の向きを撮影条件としてさらに追加してもよい。

また、登録情報について、登録情報５７に記録する撮影条件は複数でもよい。例えば、図１４に示すように、登録情報５５、５６には複数の撮影条件と、撮影条件に対応する複数の顔情報が記録される。登録情報５５には、識別情報５５１が「５５５５」、撮影条件５５２として「左斜め上」からの照明方向と「全方向」からの照明方向が記録されている。また、登録情報５５には撮影条件が「左斜め上」に対応する顔情報５５３ａと「全方向」に対応する顔情報５５３ｂが記録されている。また、同様に、登録情報５６には、識別情報５６１が「６６６６」、撮影条件５６２として「下」からの照明方向と「全方向」からの照明方向とが記録されている。また、登録情報５６には撮影条件が「下」の照明方向に対応する顔情報５６３ａと「全方向」に対応した顔情報５６３ｂが記録されている。このように、被写体に付与されたＩＤごとの登録情報５７として複数の撮影条件とそれぞれの撮影条件に対応した顔情報とを関連付けて記録できるようにしたことで、被写体ごとに固有な撮影条件をいくつか組み合わせることが可能となる。これにより、認証時に一致すべき顔情報の数が追加されたことになるので、さらに、被写体を認証するときの認証パラメータが多くなり、セキュリティ性能を高くすることができる。

さらに、認証部は、複数の異なる撮影条件で撮影して得たそれぞれの被写体情報を照合するときは、いずれか１つの撮影条件の被写体情報を優先させて照合してもよいし、それぞれ照合した複数の被写体情報との類似度を合算して、その結果を判断してもよい。いずれも、認証部では登録時と同じ撮影条件で撮影して得た被写体情報を比較することができる。これにより、立体物認証システムは、照明方向の違いにより立体物の凹凸にできる陰影の変化の影響を排除して、被写体の認証を行うことができる。なお、撮影条件を同じにし、被写体の凹凸にできる陰影の影響を除くだけであれば、登録情報にＩＤを記録しなくてもよい。

なお、実施の形態１、実施の形態２の登録処理、認証処理は、集積回路などを用いたハードウェアにより実施してもよいし、ＣＰＵ、ＤＳＰなどを用いたソフトウェアにより実施してもよい。

立体物認証処理をハードウェアで実施する場合は、上記実施の形態の各機能部を個別に１チップ化されたＬＳＩとしてもよいし、一部またはすべてを含むように１チップ化されたＬＳＩとしてもよい。また、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦＩＥＬＤＰＲＯＧＲＡＭＭＡＢＬＥＧＡＴＥＡＲＲＡＹ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性としてありえる。

なお、立体物認証処理をソフトウェアで実施する場合について、図１５を用いて説明する。図１５はコンピュータ５の構成を示すブロック図である。以下、実施の形態１、または実施の形態２と同様の部分については、同一符号を付し、その詳細な説明は省略する。

図１５において、コンピュータ５は、複数の互いに異なる撮影条件から選択した条件で被写体を撮影する撮影部２０と、統計情報３１を登録する統計情報記憶部３０と、撮影して得た被写体情報を登録する登録情報記憶部５０と、情報記憶媒体を適宜接続して記録情報の入出力を行うドライブ８０と、撮影条件を設定する設定部９０と、立体物認証処理のプログラムを記憶する記憶部１２０と、立体物認証処理のプログラムに従ってバス１４０に接続された各機能部を制御する制御部１１０とを備える。

制御部１１０は、各種プログラムの命令を処理する中央演算ユニット１１１（以下、「ＣＰＵ１１１」という）と、立体物認証処理のプログラムなどが格納されているリードオンリーメモリ１１２（以下、「ＲＯＭ１１２」という）と、一時記憶のデータを格納するランダムアクセスメモリ１１３（以下、「ＲＡＭ１１３」という）とを備える。

ＣＰＵ１１１は、ＲＯＭ１１２に記憶されているプログラム、または、記憶部１２０に記憶されているプログラムか、ＲＡＭ１１３に記憶されたプログラムに従って各種の処理を実施する。また、ＣＰＵ１１１は、ＲＡＭ１１３に各部の処理に必要なデータを一時記憶する。

ドライブ８０は、情報記憶媒体を適宜接続し、情報記憶媒体に記憶されている記憶情報を取得する。情報記憶媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスクなどのディスク８１、または半導体メモリなどのメモリカード８２などである。また、ドライブ８０はコンピュータ５で作成された記憶情報の書き込を情報記憶媒体に対して行う。この記憶情報として、被写体に付与された固有のＩＤ、被写体を撮影部２０で撮影したときの撮影条件、撮影部２０で撮影して得た被写体の被写体情報などを記憶するようにしてもよい。

記憶部１２０は、ハードディスクなどの磁気メモリ、半導体メモリなどで構成され、立体物認証処理に必要なプログラム群であるソフトウェアを記憶している。なお、立体物認証処理のソフトウェアを構成するプログラムは、あらかじめコンピュータに専用のハードウェアで組み込んでもよいし、立体物認証装置本体のＲＯＭ１１２、記憶部１２０にあらかじめ組み込んで提供してもよい。また、立体物認証装置本体とは別に、プログラムが記憶されている情報記憶媒体より取得するようにしてもよい。例えば、ドライブ８０にディスク８１、或いは、メモリカード８２が適宜接続され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１２０にインストールされようにしてもよい。また、バス１４０に通信部を備え、ネットワークに接続することで、ネットワークを経由してプログラムを取得し、必要に応じて記憶部１２０にインストールしてもよい。

また、立体物認証システムに情報記憶媒体を利用するようにしてもよい。

統計情報記憶部３０と登録情報記憶部５０は、統計情報３１と登録情報５７を記憶し、読み出しができる記録部であればよく、ディスク８１、メモリカード８２などの情報記憶媒体に格納するようにしてもよい。なお、記憶部１２０に格納するようにしてもよい。

登録部４０で作成した登録情報５７を情報記憶媒体に記憶することで、被写体が情報記憶媒体を立体物認証装置に読み込ませれば、ＩＤと撮影条件とを自動的に立体物認証装置に入力できる。また、記憶情報に立体物認証装置が解読できる暗号処理を施すことができ、セキュリティ性能をさらに高くすることができる。また、被写体は認証時にＩＤを入力する必要がなくなる。さらに、被写体はＩＤを覚えておく必要がない。なお、情報記憶媒体に記憶する情報として、ＩＤと撮影条件と被写体情報、またはＩＤと撮影条件、または撮影条件と被写体情報としてもよい。いずれの情報を使っても、登録時と認証時で撮影条件を一致させることができる。

また、登録候補の表示を以下のようにしてもよい。

設定部９０は、撮影部２０で撮影された被写体の画像がぼけて特徴量が生成できないものは表示部９１に表示させないようにしてもよい。これにより確実に認証可能な被写体情報のみを被写体に選択させることができる。また、表示する被写体情報の解像度は、操作者が照明方向を認識できる程度の精度でよく、サムネイルでもよい。また、登録候補の被写体情報を表示せずに、最初から被写体（操作者）が撮影条件を入力キーで入力するようにしてもよい。この場合は、表示部９１に被写体情報を表示しなくてよい。入力キーはテンキーで構成されるので、機構、回路を容易に実現できる。

なお、被写体の被写体情報を登録する機能のみを利用する場合は、図１の破線で示すように、立体物登録装置１を用いてもよい。

立体物登録装置１は、学習部１０と撮影部２０と統計情報記憶部３０と登録部４０と設定部９０とを備える。統計情報３１があらかじめ装置外で作成され、外部の記憶部に記憶される場合は、学習部１０と統計情報記憶部３０はなくてもよい。また、統計情報３１を用いない場合も同様に、学習部１０と統計情報記憶部３０はなくてもよい。

また、登録されている被写体の被写体情報から認証する機能のみを利用する場合は、図１の破線で示すように、立体物認証装置２を用いてもよい。

立体物認証装置２は、学習部１０と撮影部２０と統計情報記憶部３０と認証部６０と設定部９０とを備える。統計情報３１があらかじめ装置外で作成され、外部の記憶部に記憶される場合は、学習部１０と統計情報記憶部３０はなくてもよい。また、統計情報３１を用いない場合も同様に、学習部１０と統計情報記憶部３０はなくてもよい。

本発明に係る立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法によれば、被写体ごとに被写体を撮影する撮影条件が異なっていても誤認証が抑えられるので、カメラで被写体を撮影して得た被写体情報から被写体を認証する立体物登録装置、立体物認証装置、立体物認証システムおよび立体物認証方法などに有用である。

本発明の実施の形態１の立体物認証システムの構成を示すブロック図同実施の形態における各部の機能の説明図同実施の形態における撮影部を正面から見た正面図同実施の形態における設定部の説明図同実施の形態における学習部の学習処理の流れを示すフローチャート同実施の形態における立体物認証システムの全体処理の流れを示すフローチャート同実施の形態における登録部の登録処理の流れを示すフローチャート（ａ）は同実施の形態における「左斜め上」照明による顔の陰影の説明図（ｂ）は「下」照明による顔の陰影の説明図同実施の形態における登録情報の説明図同実施の形態における認証部の認証処理の流れを示すフローチャート本発明の実施の形態２の立体物認証システムの構成を示すブロック図同実施の形態における各部の機能の説明図同実施の形態における学習部の学習処理の流れを示すフローチャート同実施の形態における登録情報の説明図本発明の実施の形態におけるコンピュータの構成を示すブロック図

符号の説明

１立体物登録装置
２立体物認証装置
３，４立体物認証システム
５コンピュータ
１０，１４学習部
１１，４１，６１特徴量生成部
１２主成分分析部
１３統計情報作成部
２０撮影部
２１カメラ
２２照明部
３０統計情報記憶部
３１統計情報
３２情報選択部
４０登録部
４２登録特徴量変換部
４３登録情報作成部
５０登録情報記憶部
５７登録情報
６０認証部
６２認証特徴量変換部
６３照合部
６４判定部
８０ドライブ
８１ディスク
８２メモリカード
９０設定部
９１表示部
９２情報入力部
９３乱数発生部
１１０制御部
１１１ＣＰＵ
１１２ＲＯＭ
１１３ＲＡＭ
１２０記憶部
１４０バス

Claims

複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、被写体情報を得る撮影部と、
撮影して得た前記被写体情報と前記被写体情報に対応する撮影条件とを関連付けた、少なくとも前記被写体についての登録情報を作成する登録情報作成部と、
前記登録情報を登録する登録部と、
を備えた立体物登録装置。
前記撮影条件を前記撮影部に設定するための設定部をさらに備え、
前記設定部は前記複数の互いに異なる撮影条件から選択する条件の偏りを抑えるように前記撮影条件を前記撮影部に設定することを特徴とする請求項１記載の立体物登録装置。
前記撮影部は、複数の光源を有し、前記複数の互いに異なる撮影条件に対応した前記光源によって被写体を照明することを特徴とする請求項１または請求項２記載の立体物登録装置。
被写体に付与された固有の識別情報を前記登録情報にさらに付加したことを特徴とする請求項１から請求項３までのいずれか１項に記載の立体物登録装置。
撮影して得た被写体情報と前記被写体情報に対応する撮影条件と前記被写体に付与された識別情報のうち、少なくとも２つを関連付けた前記登録情報を情報記憶媒体に記憶することを特徴とする請求項４記載の立体物登録装置。
前記被写体は、被認証者の顔であることを特徴とする請求項１から請求項５までのいずれか１項に記載の立体物登録装置。
被写体を撮影して得た登録被写体情報と前記登録被写体情報に対応する撮影条件とが関連付けられている登録情報が記憶されている登録情報記憶部から前記登録情報を取得し、取得した前記登録情報に基づいて被写体の認証を行う立体物認証装置において、
複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、前記被写体を認証するための認証被写体情報を得る撮影部と、
取得した前記登録情報から抽出した撮影条件と一致する条件を前記複数の互いに異なる撮影条件から選択して前記撮影部に設定する設定部と、
取得した前記登録情報に記録されている登録被写体情報と前記認証被写体情報とを照合し、前記被写体があらかじめ登録された被写体であるか否かを判断する認証部と、
を備えた立体物認証装置。
前記登録情報は、被写体に付与された固有の識別情報をさらに有し、
被写体の識別情報が記録されている登録情報に基づいて前記被写体の認証を行うことを特徴とする請求項７記載の立体物認証装置。
前記被写体は、被認証者の顔であることを特徴とする請求項７または請求項８記載の立体物認証装置。
複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、被写体情報を得る撮影部と、
登録される被写体を撮影して得た登録被写体情報と前記登録被写体情報に対応する撮影条件とを関連付けた、少なくとも前記登録される被写体についての登録情報を作成する登録情報作成部と、
登録情報を記憶する登録情報記憶部と、
前記登録情報作成部で作成された前記登録情報を前記登録情報記憶部に登録する登録部と、
前記登録情報記憶部から前記登録情報を取得し、取得した前記登録情報から抽出した撮影条件と一致する条件を前記複数の互いに異なる撮影条件から選択して前記撮影部に設定する設定部と、
前記設定部が抽出した撮影条件で撮影して得た被写体の認証被写体情報と前記登録情報に記録されている登録被写体情報とを照合し、前記被写体があらかじめ登録された被写体であるか否かを判断する認証部と、
を備えた立体物認証システム。
前記複数の互いに異なる撮影条件のそれぞれの下で複数の被写体を撮影して得られた複数の被写体情報から統計的な特徴量を抽出するための統計情報を前記撮影条件ごとに記憶している統計情報記憶部と、
選択された撮影条件で前記撮影部が撮影して得た１次登録被写体情報を、前記選択された撮影条件と一致する撮影条件で作成された前記統計情報を用いて統計的な特徴量である２次登録被写体情報に変換する登録特徴量変換部と、
選択された撮影条件で前記撮影部が撮影して得た１次認証被写体情報を、前記選択された撮影条件と一致する撮影条件で作成された前記統計情報を用いて統計的な特徴量である２次認証被写体情報に変換する認証特徴量変換部とをさらに備え、
前記認証部は変換された２次登録被写体情報と２次認証被写体情報とを照合することを特徴とする請求項１０記載の立体物認証システム。
前記被写体は、被認証者の顔であることを特徴とする請求項１１記載の立体物認証システム。
複数の互いに異なる撮影条件から選択された条件で被写体を撮影し、前記被写体を認証するための認証被写体情報を得る撮影ステップと、
被写体を撮影して得た登録被写体情報と前記登録被写体情報に対応する撮影条件とが関連付けられている登録情報が記憶されている登録情報記憶部から前記選択された撮影条件と一致する条件を記録した前記登録情報を取得する取得ステップと、
取得した前記登録情報に記録されている登録被写体情報と前記認証被写体情報とを照合し、前記被写体があらかじめ登録された被写体であるか否かを判断する認証ステップと、
を備えた立体物認証方法。