JP2005149074A

JP2005149074A - 画像認識装置

Info

Publication number: JP2005149074A
Application number: JP2003384939A
Authority: JP
Inventors: Megumi Yamaoka; めぐみ山岡; Keisuke Hayata; 啓介早田; Kenji Nagao; 健司長尾
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-11-14
Filing date: 2003-11-14
Publication date: 2005-06-09
Anticipated expiration: 2023-11-14
Also published as: JP4529418B2

Abstract

【課題】登録画像の枚数が少ない場合の認識率の低下を改善することができる画像認識装置を提供する。
【解決手段】登録画像管理部２は、入力された人物名の登録画像全てを登録画像データベース３から抽出し、登録画像は照合部５１に、登録画像の枚数は照合方式指定部５２に出力する。照合方式指定部５２は、照合方式データベース５３に格納されている登録画像の枚数と照合の式との対のデータを参照して、照合方式を選択する。照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２から登録画像を入力し、照合方式指定部５２から選択された照合手法を入力すると、登録画像それぞれについて、照合用顔画像との距離を算出する。ｍ個の距離のうち、最も小さい値が閾値より小さければ、照合部５１は照合用顔画像をユーザが先に登録した人物の顔であると判断する。
【選択図】図１

Description

本発明は、登録画像と撮影した画像とを照合し、撮影した画像に認識対象物体が映っているかどうかを判定する画像認識装置に関する。

従来の画像認識装置は、例えば特許文献１に記載されたものなどが知られており、光学的に入力された撮像した画像データから特徴量を抽出して統計的確率モデルを登録し、登録された統計的確率モデルにより、光学的に入力された入力画像に認証対象物体が含まれると受理できる受理確率を求め、受理確率が設定閾値以上なら入力画像に含まれる物体は認識対象物体であると判定するように構成されている。
特開平１０−１２４６６９号公報

しかしながら、このような従来の画像認識装置は、「統計的確率モデルの学習において、学習パターンが多い程、モデルの推定精度が向上し、照合率も向上する」と記載されているように、各認識対象物体の登録画像枚数が多く、認識対象物体ごとに画像データの特性にばらつきがある場合には、認識対象物体ごとに最適な認識アルゴリズムを選択できるので認識率が良いが、例えば携帯端末における認証のように、認識対象物体の数は限られているが記憶可能なデータ量も限られていて各認識対象物体の登録画像枚数が少ない場合には、予め記憶している登録画像で対象の画像データの特性を適正に表現できず、登録画像枚数の減少に従って認識率が急激に低下するという課題を有していた。

本発明は、上記従来の課題を解決するもので、登録画像の枚数が少ない場合の認識率の低下を改善することができる画像認識装置を提供することを目的とする。

本発明の画像認識装置は、画像を入力する画像入力手段と、画像を認識対象物体毎に区分する情報である物体情報を入力する物体情報入力手段と、予め画像入力手段から入力した登録画像と物体情報とを対応づけて管理する登録画像管理手段と、登録画像と物体情報とを格納しておく登録画像データベースと、登録画像データベースに格納した登録画像の枚数に基づき照合の条件を設定する照合条件設定手段と、画像入力手段から入力した入力画像と登録データベースに格納した登録画像とを照合条件設定手段で設定した照合の条件で照合して入力画像中に認識対象物体の有無を判定する照合手段とを備えた構成を有している。

この構成により、登録画像の枚数に応じて最適な照合の条件を設定でき、登録画像の枚数が少なくなって認識率が急激に低下するのを改善するようにできるという作用を有する。

また、本発明の画像認識装置は、照合の条件が、照合の手法である構成を有している。この構成により、登録画像が枚数が少ない場合に適した照合の手法と登録画像の枚数が多い場合に適した照合の手法を切り替えることができ、登録画像の枚数が少なくなって認識率が急激に低下するのを改善するようにできるという作用を有する。

また、本発明の画像認識装置は、照合の手法が、入力画像中の認識対象物体と統計処理された認識対象物体の登録画像との類似度を用いて判定する手法と、入力画像中の被認識
対象物体とに最も入力画像中の認識対象物体に類似している認識対象物体の登録画像との類似度を用いて判定する手法とである構成を有している。

この構成により、照合を行う際に、登録画像の枚数が少ない場合には、入力画像に最も類似した登録画像との類似度で判定し、登録画像の枚数が多い場合は登録画像の平均との類似度で判定するといった統計的手法を使うよう設定して、登録画像の枚数の多少によらず精度よく認識するという作用を有する。

また、本発明の画像認識装置は、照合の条件が、登録画像の枚数に応じた画像の特徴量である構成を有している。この構成により、登録画像の枚数に応じて、適切な照合条件を選択することができ、精度よく認識するという作用を有する。

また、本発明の画像認識装置は、照合の条件が、登録画像の枚数に応じた照合判定の閾値である構成を有している。この構成により、登録画像の枚数が少ない場合でも、対象物体を対象物体でないと判断する誤拒否率を改善するようにできるという作用を有する。

また、本発明の画像認識装置は、照合判定の閾値が、他の物体を認識対象物体と誤認識する誤受理率と認識対象物体を認識すべき物体として認識できない誤拒否率とが予め定めた割合となる照合判定の閾値の初期値を決定し、一定回数実施後の誤受理率の実績と一定回数実施後の誤拒否率の実績との少なくとも一方が、予め定めた割合からの変化内容に基づいて、照合判定の閾値を変更する構成を有している。この構成により、画像認識実績に応じて、より適切な照合判定の閾値を適応できるという作用を有する。

また、本発明の画像認識装置は、誤受理率の実績が、予め定めた割合より低く、かつ、誤拒否率の実績が、予め定めた値より高い場合に、誤拒否率が低くなるように照合判定の閾値を変える構成を有している。この構成により、入力画像中の物体を対象物体と認識する割合を増やし、誤受理率が十分低い場合に、誤拒否率を改善できる。

さらに、本発明の画像認識装置は、誤受理率の実績が予め定めた割合より高く、かつ、誤拒否率の実績が予め定めた割合より低い場合に、誤受理率が低くなるように照合判定の閾値を変える構成を有している。この構成により、入力画像中の対象でない物体を対象と誤認識する割合を減らし、誤拒否率が十分低い場合に、誤受理率を改善できる。

本発明によれば、登録画像データベースに格納した登録画像の枚数に基づき照合の条件を設定し、入力画像と登録画像とを設定した照合の条件で照合して入力画像中に認識対象物体の有無を判定することにより、登録画像の枚数に応じて最適な照合の条件を設定でき、登録画像の枚数が少なくなって認識率が急激に低下するのを改善するようにできるという効果を有する画像認識装置を提供することができる。

以下、本発明の実施の形態による画像認識装置について、図面を用いて説明する。

（実施の形態１）
本発明の第１の実施の形態における画像認識装置のブロック構成図を図１に示す。

図１において、画像認識装置は、画像や物体の名称などをユーザが入力する情報入力部１と、登録画像として予め情報入力部１から入力した画像と物体の名称を対にして格納したり、情報入力部１から入力した名称の物体の登録画像を抽出したり、登録画像の枚数を数えて出力する登録画像管理部２と、登録画像と登録画像中の物体の名称を対にして格納
しておく登録画像データベース３と、登録画像と照合用に入力された画像を照合する照合判定部５と、照合結果を出力する出力部６とを有する構成である。

情報入力部１は、物体の画像を入力する画像入力部１１と、画像入力部１１から入力した画像中の物体の名称をユーザが入力する物体情報入力部１２とを有する構成であり、照合判定部５は、登録画像管理部２から入力した登録画像と画像入力部１１から入力した画像を照合する照合部５１と、登録画像管理部２から入力した登録画像の枚数に基づいて照合の方式を決定する照合方式指定部５２と、登録画像の枚数と照合の式とを対にして保存している照合方式データベース５３とを有する構成である。

以上のように構成された画像認識装置について、以下その動作を顔認識の場合を例に図２〜図８を用いて説明する。図２〜図５は、本実施の形態における画像認識装置での本人画像と他人画像との関係を示す模式図であり、図６は、本実施の形態における画像認識装置での登録画像枚数と認識精度の関係を示す図であり、図７、図８は、本実施の形態における画像認識装置の動作を示すフローチャートである。

まず、照合の手法について説明する。照合第１手法として、正規分布や二項分布といった平均や分散などの統計手法を使用し、登録画像が多数得られる場合の模式図を図２に示す。

図２において、理想的な本人画像の範囲を２ａで示しており、実在の他人の分布を２ｂに示している。両者共、中央に分布は集中している。登録画像が多数ある場合には、それらの登録画像から得られた本人画像の分布は、２ｃとして示したように、理想的な本人画像の分布２ａとおよそ一致しているので、本人が入力した照合画像を本人画像と正しくみなす精度は高い。

２ａと２ｂとが重なる２ｄは、他人を本人と誤って認識してしまう部分を示し、誤受理率（ＦＡＲ：ｆａｌｓｅａｃｃｅｐｔａｎｃｅｒａｔｅ）と表現し、例えば、１％と設定する。

次に、統計手法を使用し、登録画像が少数しか得られない場合の模式図を図３に示す。図３において、理想的な本人画像の範囲２ａと、実在する他人の画像の分布２ｂと、両者が重なる部分２ｄとは、図２の場合と同様であるので同じ符号を用いて、その説明を省略する。

×印３ｅは各１枚の登録画像を示し、例えば、登録画像が、３個の×印で示すように、３枚の場合、誤受理率が１％で入力された照合画像を本人とみなせる範囲を統計手法で算出すると３ｃと示され、３枚の登録画像の関係によっては得られた範囲３ｃは楕円となってしまい、理想的な本人画像範囲２ａとは大きく異なって、本来、本人と認識すべき画像を拒否してしまい、誤拒否率が高くなってしまう。

一方、個々の登録画像のうち、最も照合画像に類似している登録画像で本人か否かを判断する照合第２手法で、登録画像が少ない場合を図４に示す。

図４において、２ａ、２ｂ、２ｄは図２の場合と同様であるので同じ符号を用いて、その説明を省略する。×印３ｅは図３と同じように各１枚の登録画像を示し、例えば、登録画像が、３個の×印で示すように、３枚の場合、入力された照合画像を本人とみなせる範囲を大きさの等しい３つの円４ｃの和で誤受理率が照合第１手法と同一条件である１％となるように円の大きさを算出すると、図２で示す楕円３ｃより、理想的な本人画像の範囲２ａのより広い領域をカバーでき、誤拒否率を、言いかえれば認識精度を照合第１手法よ
り改善することができる。

しかし、照合第２手法を登録画像が多い場合に適用する場合を、図５を用いて説明する。２ａ、２ｂ、２ｄは、図２の場合と同様である。誤受理率を照合第１手法と同一条件である１％とすると、図４の４ｃで示した大きさの等しい個々の円は５ｆとして示すように極めて小さくなってしまい、理想的な本人画像の範囲である２ａの中にあっても、５ｆといった円以外の５ｇで示すような多くのエリアで本人の画像であっても本人と認識できず、認識精度は照合第１手法に比べて劣ることとなる。

照合第１手法について、誤受理率を一定となるようにしながら、登録枚数と認識精度との関係を実験的に調査した。登録者数が９人で各登録枚数が４４枚の場合に、これらの登録者９人それぞれの各１００枚以上の照合画像を正しく本人と認識できた精度は約９０％であった。登録者数３０数人で各登録枚数が３６枚の場合に、これらの登録者、それぞれの各数百枚の照合画像を正しく本人と認識できた精度は約８０％であった。

登録者数約５０人で各登録枚数が２４枚の場合に、これらの登録者、それぞれの各数百枚以上の照合画像を正しく本人と認識できた精度は約７０％であった。さらに、登録者数が５０人よりさらに多くで、各登録枚数が１２枚の場合に、これらの登録者、それぞれの各数百枚以上の照合画像を正しく本人と認識できた精度は約５０％であった。

一方、照合第２手法では、登録画像枚数と認識の精度との関係はほぼ比例関係になり、ここで実験した場合では、図６に示すように、登録画像の枚数が２５枚以上の場合は、照合第１手法の方が照合第２手法より認識の精度は高く、逆に、登録画像の枚数が２５枚以下の場合は、照合第２手法の方が照合第１手法より認識の精度が高くなることが確認できた。

次に、照合を開始する前に、対象人物の顔画像を予め登録画像として取得しておく動作について説明する。ユーザが、対象人物の顔画像を画像入力部１１から入力し（Ｓ１０１）、顔画像を分類するための情報である物体情報として、対象人物の人物名を物体情報入力部１２から入力する（Ｓ１０２）と、登録画像管理部２は、顔画像と人物名を登録データとして、登録画像データベース３に格納する（Ｓ１０３）。このようにして、画像認識の対象人物の顔画像を、人物毎に区分して順次登録画像データベース３に蓄積する。

次に、照合の動作について説明する。上記の特性を踏まえて、ユーザが画像入力部１１から照合用画像を入力し（Ｓ１０４）、物体情報入力部１２から人物名を入力すると（Ｓ１０５）、登録画像管理部２は、ユーザが入力した人物名の登録画像全てを登録画像データベース３から抽出し、抽出した登録画像は照合部５１に、登録画像の枚数は照合方式指定部５２に出力する（Ｓ１０６）。

照合方式指定部５２は、照合方式データベース５３に格納されている登録画像の枚数と照合の式との対のデータを参照して、照合方式を選択する（Ｓ１０７）。例えば、登録画像の枚数が２５枚以下の場合は「個々の登録画像のうち最も照合画像に類似している登録画像との類似度を算出」という照合第２手法という方式を出力し、２５枚より多い場合は「登録画像の平均との類似度を算出」という照合第１手法という方式を出力する。

まず、登録画像が少ない場合に、照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２から例えばｍ枚（ｍ≦２５）の登録画像を入力し、照合方式指定部５２から照合第２手法を入力すると、ｍ枚の登録画像それぞれについて、照合用顔画像との距離を、類似度として算出する。

距離は、例えば、登録画像と照合画像の画像中での同じ位置における画素値の差の二乗の和の平方根で求め、予め定めた閾値と比較し、ｍ個の距離のうち、最も小さい値が閾値より小さければ、Ｓ１０９に移行し、ｍ個の距離のうち最も小さい値が閾値以上であれば、Ｓ１１０に移行する（Ｓ１０８）。

Ｓ１０９にて、照合部５１は、ｍ個の距離のうち、最も小さい値が閾値より小さいため、照合用顔画像をユーザが先に登録した人物の顔であると判断し、出力部６から出力する。また、Ｓ１１０にて、照合部５１は、ｍ個の距離のうち最も小さい値が閾値以上であるため、照合用顔画像をユーザが先に登録した人物の顔でないと判断し、出力部６から出力する。

次に、登録画像が多い場合に、照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２から例えばｍ枚（２５≦ｍ）の登録画像を入力し、照合方式指定部５２は照合第１手法を指定し、ｍ枚の登録画像から、例えば、正規分布といった統計手法により得られた本人画像の分布との距離を、類似度として算出し、予め定めた閾値と比較し、ｍ個の距離のうち、最も小さい値が閾値より小さければ、Ｓ１０９に移行し、ｍ個の距離のうち最も小さい値が閾値以上であれば、Ｓ１１０に移行する（Ｓ１０８）。

Ｓ１０９にて、照合部５１は、ｍ個の距離の最小値が閾値より小さいため、照合用顔画像をユーザが先に登録した人物の顔であると判断し、出力部６から出力する。また、Ｓ１１０にて、照合部５１は、ｍ個の距離の最小値が閾値以上であるため、照合用顔画像をユーザが先に登録した人物の顔でないと判断し、出力部６から出力する。

このように本発明の第１の実施の形態の画像認識装置によれば、画像入力部１１から入力した画像と、予め登録画像データベース３に格納されている登録画像とを、照合部５１で照合する際に、登録画像の枚数によって照合方式を変更することにより、登録枚数が多い場合には統計的手法を用いて精度良く認識し、登録枚数が少ない場合には登録画像と照合画像を画素ごとに比較する手法を用いるというように、登録画像の枚数に応じて最適な照合の条件を設定でき、登録画像の枚数が少なくなって認識の精度が急激に低下するのを改善することができ、その実用的効果は大きい。

（実施の形態２）
次に、本発明の第２の実施の形態における画像認識装置のブロック構成図を図９に示す。

図９において、画像認識装置は、画像や物体の名称などをユーザが入力する情報入力部１と、登録画像として予め情報入力部１から入力した画像と物体の名称を対にして格納したり、情報入力部１から入力した名称の物体の登録画像を抽出したり、登録画像の枚数を数えて出力する登録画像管理部２と、登録画像と登録画像中の物体の名称を対にして格納しておく登録画像データベース３と、登録画像と照合用に入力された画像を照合する照合判定部５と、照合結果を出力する出力部６とを有する構成である。

情報入力部１は、物体の画像を入力する画像入力部１１と、画像入力部１１から入力した画像中の物体の名称をユーザが入力する物体情報入力部１２とを有する構成であり、照合判定部５は、登録画像管理部２から登録画像の枚数を入力して登録画像と照合用画像との照合の閾値を指定する照合閾値指定部５０と、登録画像管理部２から入力した登録画像と画像入力部１１から入力した画像を照合閾値指定部５０が指定する閾値で照合する照合部５１とを有する構成である。

以上のように構成された画像認識装置について、以下その動作を顔認識の場合を例に図
１０のフローチャートを用いて説明する。

照合を開始する前の、対象人物の顔画像を登録画像として取得する動作は、本発明の第１の実施の形態の画像認識装置の動作Ｓ１０１〜Ｓ１０３と同様であるので、その説明を省略する。

次に、顔画像を認識する場合、ユーザが画像入力部１１から照合用画像を入力し（Ｓ２０４）、物体情報入力部１２から対象名である人物名を入力すると（Ｓ２０５）、登録画像管理部２は、ユーザが入力した人物名の登録画像全てを登録画像データベース３から抽出し、登録画像を照合部５１に、登録画像の枚数を照合閾値指定部５０に出力する（Ｓ２０６）。

照合閾値指定部５０は、例えば、登録画像の枚数ｍが５枚以下の場合は閾値２ｎを出力し、５枚より多い場合は閾値ｎを出力する（Ｓ２０７）。登録画像の枚数ｍが５枚以下の場合は、照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２からｍ枚（ｍ≦５）の登録画像を入力し、照合閾値指定部５０から値２ｎを入力すると、まず、ｍ枚の登録画像それぞれについて、照合用顔画像との距離を算出する（Ｓ２０８）。

距離は、例えば、登録画像と照合画像の画像中の同じ位置の画素値の差の二乗の和の平方根で求める。ｍ個の距離のうち、最も小さい値が閾値２ｎより小さければ、照合部５１は、照合用顔画像はユーザが入力した人物の顔であると判断し、出力部６に出力する（Ｓ２１０）。ｍ個の距離のうち最も小さい値が閾値２ｎ以上であれば、照合部５１は照合用顔画像はユーザが入力した人物の顔でないと判断し、出力部６に出力する（Ｓ２１１）。

一方、登録画像の枚数ｍが５枚より多い場合は、照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２からｍ枚（５≦ｍ）の登録画像を入力し、照合閾値指定部５０から値ｎを入力すると、まず、ｍ枚の登録画像それぞれについて、照合用顔画像との距離を先の場合と同様に算出する（Ｓ２０８）。

ｍ個の距離のうち、最も小さい値が閾値ｎより小さければ、照合部５１は照合用顔画像をユーザが入力した人物の顔であると判断し、出力部６に出力する（Ｓ２１０）。ｍ個の距離のうち最も小さい値が閾値ｎ以上であれば、照合部５１は照合用顔画像をユーザが入力した人物の顔でないと判断し、出力部６に出力する（Ｓ２１１）。

これにより、本実施の形態では、画像入力部１１から入力した画像と、予め登録画像データベース３に格納されている登録画像とを、照合部５１で照合する際に、登録画像の枚数によって照合の閾値を変更することにより、登録枚数が少ない場合にも対象物体を対象物体でないと判断する誤拒否率を改善することができ、その実用的効果は大きい。

なお、本実施の形態は、第１の実施の形態による照合判定に用いる閾値を変更する場合においても同様の効果を得ることが可能である。

（実施の形態３）
次に、本発明の第３の実施の形態における画像認識装置のブロック構成図を図１１に示す。

図１１において、図９と同じ構成については同じ符号を用い、説明を省略する。

本実施の形態では、情報入力部１に、画像入力部１１から入力された画像が誰の画像で
あるかの正解を入力する正解入力部１３を設け、照合判定部５に、照合部５１での照合実績を記憶する照合実績記憶部５４を設けている。

以上のように構成された画像認識装置について、以下その動作を顔認識の場合を例に図１２のフローチャートを用いて説明する。

次に、顔画像を認識する場合、ユーザが画像入力部１１から照合用画像を入力し（Ｓ３０４）、物体情報入力部１２から対象名である人物名を入力すると（Ｓ３０５）、登録画像管理部２は、ユーザが入力した人物名の登録画像全てを登録画像データベース３から抽出し、登録画像を照合部５１に、登録画像の枚数を照合閾値指定部５０に出力する（Ｓ３０６）。

照合閾値指定部５０は、照合実績記憶部５４に記憶されている照合部５１における今までの照合実績に基づき、他人の顔を認識対象物体であるユーザ本人の顔と誤って認識する誤受理率（ＦＡＲ：ＦａｌｓｅＡｃｃｅｐｔａｎｃｅＲａｔｅ）の実績が、あらかじめ設定した割合より低く、かつ、ユーザ本人の顔を本人の顔と認識できない誤拒否率（ＦＲＲ：ＦａｌｓｅＲｅｊｅｃｔｉｏｎＲａｔｅ）の実績があらかじめ設定した割合より高い場合に、誤拒否率が低くなるように閾値を変更する。

さらに、照合閾値指定部５０は、誤受理率の実績があらかじめ設定した割合より高く、かつ、誤拒否率の実績があらかじめ設定した割合より低い場合に、誤受理率が低くなるように閾値を変更する（Ｓ３０７）。これらの変更は、今までの照合実績がない場合は実施しない。また、照合実績記憶部５４に記憶された照合実績数が十分でない場合は、これらの変更は実施せず、照合実績数があらかじめ定めた数量になる毎にこれらの変更を実施するようにしてもよいし、毎回、蓄積された過去の照合実績に基づいて変更するようにしてもよい。

次に、照合閾値指定部５０は、Ｓ３０７で変更された新しい閾値を用いて、例えば登録画像の枚数ｍが５枚以下の場合は閾値２ｎを出力し、５枚より多い場合は閾値ｎを出力する（Ｓ３０８）。登録画像の枚数ｍが５枚以下の場合は、照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２からｍ枚（ｍ≦５）の登録画像を入力し、照合閾値指定部５０から値２ｎを入力すると、まず、ｍ枚の登録画像それぞれについて、照合用顔画像との距離を算出する（Ｓ３０９）。

そして、ｍ個の距離のうち、最も小さい値が閾値２ｎより小さければ（Ｓ３１０のＹｅｓ）、照合部５１は照合用顔画像をユーザが入力した人物の顔であると判断し、出力部６に出力する（Ｓ３１１）。ｍ個の距離のうち最も小さい値が閾値２ｎ以上であれば（Ｓ３１０のＮｏ）、照合部５１は照合用顔画像をユーザが入力した人物の顔でないと判断し、出力部６に出力する（Ｓ３１２）。

出力部６に出力された結果は、照合実績記憶部５４に格納される（Ｓ３１３）。また、ユーザは、出力部６に表示された照合結果に対して、正解入力部１３を介して正解情報を入力し（Ｓ３１４）、出力部６に表示された照合結果と正解情報との組み合わせの履歴から照合実績を算出して記憶し（Ｓ３１５）、次回照合時に閾値設定の基準となる誤受理率の実績と誤拒否率の実績を出力する。

一方、登録画像の枚数ｍが５枚より多い場合は、照合部５１は、画像入力部１１から照合用の顔画像を入力し、登録画像管理部２からｍ枚（５≦ｍ）の登録画像を入力し、照合閾値指定部５０から値ｎを入力すると、まず、ｍ枚の登録画像それぞれについて、照合用顔画像との距離を先の場合と同様に算出する（Ｓ３０９）。

そして、ｍ個の距離のうち、最も小さい値が閾値ｎより小さければ（Ｓ３１０のＹｅｓ）、照合部５１は照合用顔画像をユーザが入力した人物の顔であると判断し、出力部６に出力する（Ｓ３１１）。ｍ個の距離のうち最も小さい値が閾値ｎ以上であれば（Ｓ３１０のＮｏ）、照合部５１は照合用顔画像をユーザが入力した人物の顔でないと判断し、出力部６に出力する（Ｓ３１２）。

これにより、本実施の形態では、照合実績記憶部５４に記憶した照合部５１での照合実績に基づいて入力画像中のユーザ本人顔画像を本人と認識する割合を増やして、誤受理率が十分低い場合に、誤拒否率を改善でき、あるいは、入力画像中の他人の顔画像をユーザ本人と誤認識する割合を減らして、誤拒否率が十分低い場合に、誤受理率を改善することができ、その実用的効果は大きい。

（実施の形態４）
次に、本発明の第４の実施の形態における画像認識装置のブロック構成図を図１３に示す。

図１３において、図１と同じ構成については同じ符号を用い、説明を省略する。

本実施の形態では、照合判定部５の前に、画像から特徴を抽出する特徴抽出ブロック４を設けている。

特徴抽出ブロック４は、登録画像および照合用画像から特徴を抽出する特徴抽出部４１と、登録画像管理部２から入力した登録画像の枚数に基づいて特徴抽出部４１で抽出する特徴量の種類を決定したり、特徴抽出部４１で抽出した登録画像の特徴量を予め格納したりする特徴量管理部４２と、登録画像の枚数と特徴抽出部４１で抽出する特徴量の種類との関係を対にして保存し、また、特徴抽出部４１で抽出された登録画像の特徴量を予め保管している特徴量記憶部４３とを備えている。

以上のように構成された画像認識装置について、以下その動作を顔認識の場合を例に図１４、図１５のフローチャートを用いて説明する。

照合を開始する前に、対象人物の顔画像を予め登録画像として取得しておく。ユーザが、対象人物の顔画像を画像入力部１１から入力し（Ｓ４０１）、対象人物の人物名を物体情報入力部１２から入力する（Ｓ４０２）と、登録画像管理部２は、顔画像と人物名を登録データとして、登録画像データベース３に格納する（Ｓ４０３）。

登録画像を全て格納し終わると、登録画像管理部２は、登録画像の枚数を抽出し（Ｓ４０４）、特徴量記憶部４３に格納されている特徴量を、抽出した枚数に応じて選択する（Ｓ４０５）。例えば登録画像の枚数が５枚以下の場合は、使用する特徴量として画素値を選択し、登録画像の枚数が５枚より多い場合には、使用する特徴量として対象人物の全ての登録画像を固有空間に射影したときの平均ベクトルと共分散行列を選択する。

特徴抽出部４１は、特徴量管理部４２から、例えば、特徴量として画素値を入力すると、登録画像管理部２から入力したその人物の全ての登録画像の画素値を、人物ごとに特徴量記憶部４３に保存しておく（Ｓ４０６）。

特徴量記憶部４３に格納されているデータの一例としては、特徴量記憶部４３には、例えば、人物名と、使用する特徴量名と、抽出された特徴量データが人物ごとに予め格納されている。例えば、Ａさんの場合は、特徴量が画素値で、データとして全ての登録画像の画素値がデータ１、データ２・・・として格納されている。また、Ｂさんの場合は、特徴量が固有空間における登録画像の平均ベクトルと共分散行列であり、データとして、固有空間の基底ベクトルと、平均ベクトルと共分散行列が格納されている。

次に照合時の動作を説明する。ユーザが物体情報入力部１２から人物名を入力すると（Ｓ４０７）、特徴抽出部２は、人物名を特徴量管理部４２に出力し、特徴量記憶部４３に予め格納されている対象人物の特徴量名と特徴量データを特徴量管理部４２から受け取る（Ｓ４０８）。ユーザが画像入力部１１から照合用画像を入力すると（Ｓ４０９）、特徴量抽出部４１は、例えば人物名が先に説明したＡさんである場合には、特徴量管理部４２から特徴量名として「画素値」を受け取り、画像入力部１１から入力した照合用画像の画素値を抽出して登録画像の画素値データと共に照合部５１に出力する（Ｓ４１０）。

照合部５１は、照合画像の画素値と登録画像の特徴量である画素値とを比較して照合し、距離を算出し、算出した距離が予め定めた閾値以下である場合は（Ｓ４１１のＹｅｓ）、Ｓ４１２に移行し、算出した距離が予め定めた閾値を超過する場合は（Ｓ４１１のＮｏ）、Ｓ４１３に移行する。

次に、Ｓ４１２にて、照合部５１は、照合用顔画像をユーザが入力した人物の顔であると判断し、出力部６に出力する。また、Ｓ４１３にて、照合部５１は、照合用顔画像をユーザが入力した人物の顔ではないと判断して出力部６に出力する。

これにより、本実施の形態では、画像入力部１１から入力した画像と、予め登録画像データベース３に格納されている登録画像とを、照合部５１で照合する際に、登録画像の枚数によって照合の特徴量を変更することにより、登録枚数が多い場合には統計量を用いて精度良く認識し、登録枚数が少ない場合には画素のパターンマッチングを用いて精度を低下させずに認識することができ、その実用的効果は大きい。

なお、本実施の形態による閾値は、第３の実施の形態に示したように、登録画像の枚数に基づいて変更することも可能である。

以上のように、本発明にかかる画像認識装置は、登録画像データベースに格納した登録画像の枚数に基づき照合の条件を設定し、入力画像と登録画像とを設定した照合の条件で照合して入力画像中に認識対象物体の有無を判定することにより、登録画像の枚数に応じて最適な照合の条件を設定でき、登録画像の枚数が少なくなって認識率が急激に低下するのを改善するようにできるという効果を有し、登録画像と撮影した画像とを照合し、撮影した画像に認識対象物体が映っているかどうかを判定する画像認識装置等として有用であ
る。

本発明の第１の実施の形態における画像認識装置のブロック構成図本発明の第１の実施の形態における画像認識装置での本人画像と他人画像との関係を示す模式図本発明の第１の実施の形態における画像認識装置での本人画像と他人画像との関係を示す模式図本発明の第１の実施の形態における画像認識装置での本人画像と他人画像との関係を示す模式図本発明の第１の実施の形態における画像認識装置での本人画像と他人画像との関係を示す模式図本発明の第１の実施の形態における画像認識装置での登録画像枚数と認識精度の関係を示す図本発明の第１の実施の形態における画像認識装置の動作を示すフローチャート本発明の第１の実施の形態における画像認識装置の動作を示すフローチャート本発明の第２の実施の形態における画像認識装置のブロック構成図本発明の第２の実施の形態における画像認識装置の動作を示すフローチャート本発明の第３の実施の形態における画像認識装置のブロック構成図本発明の第３の実施の形態における画像認識装置の動作を示すフローチャート本発明の第４の実施の形態における画像認識装置のブロック構成図本発明の第４の実施の形態における画像認識装置の動作を示すフローチャート本発明の第４の実施の形態における画像認識装置の動作を示すフローチャート

符号の説明

１情報入力部
２登録画像管理部
３登録画像データベース
４特徴抽出ブロック
５照合判定部
６出力部
１１画像入力部
１２物体情報入力部
４１特徴抽出部
４２特徴量管理部
４３特徴量記憶部
５０照合閾値指定部
５１照合部
５２照合方式指定部
５３照合方式データベース

Claims

画像を入力する画像入力手段と、前記画像を認識対象物体毎に区分する情報である物体情報を入力する物体情報入力手段と、予め前記画像入力手段から入力した登録画像と前記物体情報とを対応づけて管理する登録画像管理手段と、前記登録画像と前記物体情報とを格納しておく登録画像データベースと、前記登録画像データベースに格納した登録画像の枚数に基づき照合の条件を設定する照合条件設定手段と、前記画像入力手段から入力した入力画像と前記登録データベースに格納した登録画像とを前記照合条件設定手段で設定した照合の条件で照合して前記入力画像中に前記認識対象物体の有無を判定する照合手段と、を備えた画像認識装置。
前記照合の条件は、照合の手法であることを特徴とする請求項１記載の画像認識装置。
前記照合の手法は、前記入力画像中の認識対象物体と統計処理された前記認識対象物体の登録画像との類似度を用いて判定する手法と、前記入力画像中の認識対象物体と最も前記入力画像中の認識対象物体に類似している認識対象物体の登録画像との類似度を用いて判定する手法と、であることを特徴とする請求項２記載の画像認識装置。
前記照合の条件は、前記登録画像の枚数に応じた画像の特徴量であることを特徴とする請求項２記載の画像認識装置。
前記照合の条件は、前記登録画像の枚数に応じた照合判定の閾値であることを特徴とする請求項２ないし４のいずれか記載の画像認識装置。
前記照合判定の閾値は、他の物体を認識対象物体と誤認識する誤受理率と前記認識対象物体を認識すべき物体として認識できない誤拒否率とが予め定めた割合となる照合判定の閾値の初期値を決定し、一定回数実施後の誤受理率の実績と一定回数実施後の誤拒否率の実績との少なくとも一方が、予め定めた割合からの変化内容に基づいて、前記照合判定の閾値を変更することを特徴とする請求項５記載の画像認識装置。
前記誤受理率の実績が、前記予め定めた割合より低く、かつ、前記誤拒否率の実績が、前記予め定めた割合より高い場合に、前記誤拒否率が低くなるように前記照合判定の閾値を変えることを特徴とする請求項６記載の画像認識装置。
前記誤受理率の実績が、前記予め定めた割合より高く、かつ、前記誤拒否率の実績が、前記予め定めた割合より低い場合に、前記誤受理率が低くなるように前記照合判定の閾値を変えることを特徴とする請求項６記載の画像認識装置。
画像を入力する画像入力ステップと、前記画像に含まれる物体を認識対象物体毎に区分する情報である物体情報を入力する物体情報入力ステップと、予め前記画像入力ステップで入力した登録画像と前記物体情報とを対応づけて管理する登録画像管理ステップと、前記登録画像と前記物体情報とをデータベースに格納しておく画像登録ステップと、前記画像登録ステップで格納した登録画像の枚数に基づき照合の条件を設定する照合条件設定ステップと、前記画像入力ステップで入力した入力画像と前記画像登録ステップで格納した登録画像とを前記照合条件設定ステップで設定した照合の条件で照合して前記入力画像中に前記認識対象物体の有無を判定する照合ステップと、を備えた画像認識方法。