JP2004127285A - 画像認識装置、画像認識処理方法および画像認識プログラム - Google Patents

Abstract

【課題】　画像データベースに登録される参照画像の総数が増加しても、認識率の向上を図ることができる認識装置、認識方法および認識プログラムを実現する。
【解決手段】　例えば、人物や店舗などに掲示されたロゴマークなどを撮像し、その対象画像から個人や法人等を特定する際に、日時や場所、対象画像に対する親密度などの状況に対応した属性の画像データベースが自動的に選択され、その画像データベースの参照画像を参照して個人や法人等を特定する。これにより、画像データベースに登録される参照画像数が増加しても属性別に細分化が図られ、１つの属性に登録される参照画像の個数を抑制でき、認識が行われる状況に応じて最適な属性の画像データベースが選択されるので、選択操作を行うことなく、参照画像の個数が絞り込まれ、状況という付加的な情報によって参照画像が絞り込まれるので、認識率の向上を図ることができる。
【選択図】　図４

Description

　本発明は、例えば、人物や店舗などに掲示されたロゴマークなどを撮像し、その対象画像から個人や法人を特定する画像認識装置、画像認識処理方法および画像認識プログラムに関する。

　カメラで撮像した画像中に写る顔が誰の顔であるかを識別して人物同定する顔認識技術は、個人を識別したり認証するセキュリティ分野に用いられる他、例えば犬等の動物を模した外観形状を有するペットロボットのヒューマンインタフェースにも利用されている。

　ヒューマンインタフェースに使用される顔認識技術としては、例えばサポートベクタマシン（ＳＶＭ）を用いて撮像画像中から人の顔に相当する濃淡パターンをパターン識別して顔検出し、これにて得られる入力顔画像データと、予めデータベース登録される各人毎の登録顔画像データとの差分値を算出し、その算出結果に基づいて、差分値が最も小さい登録顔画像データに対応付けられた人物を撮像画像中に写る人物と同定する手法が知られており、その詳細については例えば特許文献１に開示されている。

特許公開２００２−１５７５９６号公報

　ところで、上述した従来の顔認識技術では、登録顔画像データを記憶管理するデータベースに予め登録されている参照画像のサンプル数が多くなると、必然的に相似する顔も増えることから誤認識が生じ易くなり認識率低下を招致するという問題がある。

　そこで本発明は、このような事情に鑑みてなされたもので、データベースに登録される参照画像のサンプル数が多い場合でも認識率を向上させることができる画像認識装置、画像認識処理方法および画像認識プログラムを提供することを目的としている。

　上記目的を達成するため、請求項１に記載の発明は、認識すべき対象画像を撮像する撮像手段と、前記撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識ＩＤとをそれぞれ記憶する複数の属性別画像データベース手段と、前記複数の属性別画像データベース手段の内から現在の状況に対応した属性別画像データベース手段を選択する選択手段と、前記選択手段によって選択された属性別画像データベース手段に記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識ＩＤを特定する対象特定手段とを具備することを特徴とする。

　請求項２に記載の発明は、請求項１に加えて、現在の日時を計数する日時計数手段をさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から現在の日時に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項３に記載の発明は、請求項１に加えて、現在の位置を測位する測位手段をさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から現在の位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項４に記載の発明は、請求項１に加えて、現在の日時を計数する日時計数手段と、現在の位置を測位する測位手段とをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から現在の日時と位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項５に記載の発明は、請求項１に加えて、前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定手段によって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定手段をさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度に依存した相対属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項６に記載の発明は、請求項５に加えて、現在の日時を計数する日時計数手段をさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項７に記載の発明は、請求項５に加えて、現在の位置を測位する測位手段をさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項８に記載の発明は、請求項５に加えて、現在の日時を計数する日時計数手段と、現在の位置を測位する測位手段とをさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項９及び１７に記載の発明は、認識すべき対象画像を撮像する撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識ＩＤとをそれぞれ記憶する複数の属性別画像データベースの内から現在の状況に対応した属性別画像データベースを選択する選択処理ステップと、前記選択処理ステップによって選択された属性別画像データベースに記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識ＩＤを特定する対象特定処理ステップとを具備することを特徴とする。

　請求項１０及び１８に記載の発明は、請求項９及び１７に加えて、現在の日時を計数する日時計数処理ステップをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から現在の日時に対応した属性別画像データベースを自動的に選択することを特徴とする。

　請求項１１及び１９に記載の発明は、請求項９及び１７に加えて、現在の位置を測位する測位処理ステップをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする。

　請求項１２及び２０に記載の発明は、請求項９及び１７に加えて、現在の日時を計数する日時計数処理ステップと、現在の位置を測位する測位処理ステップとをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から現在の日時と位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

　請求項１３及び２１に記載の発明は、請求項９及び１７に加えて、前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定処理ステップによって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベースを自動的に選択することを特徴とする。

　請求項１４及び２２に記載の発明は、請求項１３及び２１に加えて、現在の日時を計数する日時計数処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベースを自動的に選択することを特徴とする。

　請求項１５及び２３に記載の発明は、請求項１３及び２１に加えて、現在の位置を測位する測位処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする。

　請求項１６及び２４に記載の発明は、請求項１３及び２１に加えて、現在の日時を計数する日時計数処理ステップと、現在の位置を測位する測位処理ステップとをさらに備え、前記属性別画像データベースは、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする。

　本発明によれば、例えば、人物や店舗などに掲示されたロゴマークなどを撮像し、その対象画像から個人や法人等を特定する際に、認識が行われる日時や場所、対象画像に対する親密度などの、その場の状況に対応した属性の画像データベースが自動的に選択され、選択された属性の画像データベースに記憶された参照画像を参照して、撮像された画像から個人や法人等を特定するようにしたので、画像データベースに登録される参照画像の総数が増加しても、属性別に画像データベースの細分化が図られ、１つの属性に対応する画像データベースに登録される参照画像の個数を少なく抑えることができ、しかも認識が行われる日時や場所や親密度などの状況に対応して、最適な属性の画像データベースが自動的に選択されるので、ユーザが意図的に選択操作を行わなくても、参照画像の個数が絞り込まれると共に、状況という付加的な情報によって参照画像が絞り込まれるので、認識率の向上を図ることができる。

　以下、図面を参照して本発明の実施の一形態について説明する。

（１）概要
　図１（ａ）は、本発明の実施の一形態である縫い包み１００の外観を示す外観図である。縫い包み１００は、ネコを模したキャラクタ人形であり、その内部には顔認識装置２０（後述する）が内蔵される。顔認識装置２０は、縫い包み１００がユーザの肩に乗せられた状態（同図（ｂ）参照）で「肩乗せモード」として動作し、一方、同図（ｃ）に示すように、ユーザの膝あるいは机の上に乗せられた状態で「膝乗せモード」として動作する。これらのモードは、後述するモード切替スイッチ９によって自動的に切り替えられる。

　「肩乗せモード」では撮像した画像中に写る顔が誰の顔であるかを識別して人物同定し、その人物の名前をユーザにネコ語（鳴き声）で教えたり、撮像した画像中に写る顔を新たにデータベース登録したり、撮像した画像を、後述するアルバム閲覧処理で表示される画像として順次記録する処理を実行する。

　一方、「膝乗せモード」では図１（ｃ）に図示するように、縫い包み１００の尻尾部分に設けられたビデオ出力ポート１０（後述する）に、外部モニタＭのケーブルＣＡを接続し、上記「肩乗せモード」下で撮像した一連の顔画像を外部モニタＭにおいてアルバムとして閲覧させる処理を実行する。これら各モードの処理動作については追って詳述する。

（２）顔認識装置２０の構成
　次に、図２を参照して顔認識装置２０の構成について説明する。図２において、ＣＰＵ１はＲＯＭ２に格納される制御プログラム（ＢＩＯＳ）を実行して装置各部の入出力インタフェースを確立させた後、ＨＤＤ４（ハードディスク装置）に格納されるＯＳプログラムをＲＡＭ３にロードして起動させる。ＯＳ（オペレーティングシステム）プログラム起動後、ＣＰＵ１はユーザ操作によって実行指示されるアプリケーションプログラムをＨＤＤ４から読み出してＲＡＭ３にロードして実行する。

　なお、ここで言うアプリケーションプログラムは、後述する「データベース選択処理」、「人物登録処理」および「名前お知らせ処理」などから構成されるメインルーチンを含んで構成されている。

　ＲＡＭ３は、各種プログラムデータを格納するプログラムエリア、ＣＰＵ１の演算結果を一時記憶するワークエリアおよびＣＣＤカメラ７によって撮像される画像を一時記憶する画像データエリアを備える。ＨＤＤ４は、各種プログラムを記憶すると共に、各種データベース、テーブルデータおよび音声ファイルを記憶する。

　ＨＤＤ４に記憶される各種データベースとは、顔認識時に参照される複数の画像データベースＩＤＢおよび親密度データベースＦＤＢを指す。複数の画像データベースＩＤＢとは、顔認識が行われる状況に対応した複数の属性毎に設けられ、各属性に含まれる人物の参照顔画像をそれぞれ記憶するデータベースである。

　具体的には、例えば図３に図示する一例のように、ユーザが勤務する会社に属する人物（上司や同僚、部下など）の参照顔画像を登録した画像データベースＩＤＢ１や、友人・知人の参照顔画像を登録した画像データベースＩＤＢ２等、ユーザの公私にわたる人間関係を属性別に分けて人物の参照顔画像を登録したデータベースである。

　これら画像データベースＩＤＢは、後述するように、顔認識が行われる状況に応じて自動的に選択される。各画像データベースＩＤＢは、少なくとも認識ＩＤと、それに対応付けられた人物の参照顔画像データとから構成されるレコードを複数記憶管理する。認識率の低下を避けるため、１つの画像データベース当り１０人程度の参照顔画像データを登録することが好ましい。

　親密度データベースＦＤＢとは、各画像データベースＩＤＢと連係するリレーショナルデータベースであって、各画像データベースＩＤＢに登録された人物の認識ＩＤ毎の親密度、後述するCCDカメラ７によって撮像される全領域に対する対象画像の占有面積比、および過去において同じ対象画像として特定された認識回数を記憶管理するものであり、その一例を図４に示す。

　ここで言う親密度とは、顔認識された人物の顔領域の大きさおよび認識回数に応じて定まる値である。例えば、図１１（ａ）に示す様に認識した顔領域Ａ１が大きく、かつ同一人物として認識した回数も多ければ、ユーザと親密な関係にあるとして親密度が高く、これに対し、例えば図１１（ｂ）に示す様に顔領域Ａ２が小さく、かつ同一人物として認識した回数も少なければ、ユーザとあまり親密な関係でないとして親密度が低くなるよう定義されている。

　ここで、顔認識装置２０で定義された親密度について、より具体的に説明する。図１１（ａ）に示す顔領域Ａ１とは、後述する輝度パターンによって顔を検出する際に算出される領域で、個人を特定するために必要な顔面の内の眼、鼻、口をほぼ内包する矩形領域を意味する。そして、顔領域Ａ１が大きいとは、撮像される全領域に対する顔領域Ａ１（対象画像）が占める割合、すなわち占有面積比が大であることを意味し、この場合、対象となる人物との距離が近く、親密度がより高いものとの推定が成り立つ。

　一方、図１１（ｂ）に示す様に顔領域Ａ２が小さいとは、撮像される全領域に対する顔領域Ａ２（対象画像）が占める割合、すなわち占有面積比が小であることを意味し、この場合、対象となる人物との距離が遠く、親密度がより低いものとの推定が成り立つ。

　以上の推定に基づき、親密度Ｒは、例えば、以下の算出式（１）に基づいて算出される。
　　　　Ｒ=a×(N／Nmax)＋（1−a）×（N／Nfull）‥‥‥（１）

　ここで、aは0.0から1.0の範囲内で任意に設定される重み付け定数、Ｎは現在認識している顔領域Ａ１に関して過去同一人物として認識した認識回数、Ｎmaxは親密度データベースＦＤＢに蓄積された認識回数の内の最大値(図４に示す例では、10回)、Nは現在認識している顔領域Ａ１の面積、Nfullは撮像される全領域の面積である。上述した、算出式（１）によって、図４に示す親密度Ｒが算出され、新たな親密度Ｒが算出される度に、親密度データベースＦＤＢが更新される。なお、顔領域Ａ１としては、顔面の内の眼、鼻、口をほぼ内包する矩形領域ではなく、顔面が内接する矩形領域の面積等、対象となる人物との距離に応じて変化するパラメータを利用しても勿論構わない。

　ＨＤＤ４に記憶されるテーブルデータとは、データベース選択テーブルＤＳＴおよび名前お知らせテーブルＮＩＴを指す。データベース選択テーブルＤＳＴは、現在日時およびユーザの現在位置に応じて、上述した複数の画像データベースＩＤＢのいずれを選択するかを指定するテーブルデータである。

　このデータベース選択テーブルＤＳＴでは、現在の日時および現在位置に対応させてユーザが任意に指定値を登録することが可能になっており、例えば日時が平日の日中で、現在位置が会社である場合には上述の画像データベースＩＤＢ１を選択する指定値を登録し、日時が土曜日または日曜日で、現在位置を特定しない場合には上述の画像データベースＩＤＢ２を選択する指定値を登録する。

　名前お知らせテーブルＮＩＴとは、顔認識にて同定された人物の認識ＩＤと、音声ファイルとを対応付けたテーブルデータであり、同定された人物の認識ＩＤに対応する音声ファイルを選択する際に用いられる。

　サウンドシステム５は、ＣＰＵ１が再生指示する音声ファイルからＰＣＭ波形データを読み出し、それをＤ／Ａ変換して音声出力する。マウス６は、ユーザ操作に応じたポインティング信号やスイッチイベントを発生するものであり、縫い包み１００（図１参照）の右手部分ＲＨに設けられる。ＣＣＤカメラ７は、縫い包み１００の左目部分ＬＥに設けられ、ＣＰＵ１の制御の下に撮像して画像データを発生する。位置検出部８は、ＣＰＵ１の制御の下にＧＰＳ（Global Positioning System）信号を受信して現在位置を測位し、測位結果位置データをとして発生する。

　モード切替スイッチ９は、縫い包み１００の腰部に設けられ、腰の曲げ伸ばしに応じたモード切替イベントを発生する。すなわち、図１（ｂ）に図示するように、縫い包み１００がユーザの肩に乗せられた場合には「肩乗せモード」を表すスイッチイベントを発生し、同図（ｃ）に示すように、ユーザの膝あるいは机の上に乗せられた場合には「膝乗せモード」を表すスイッチイベントを発生する。ビデオ出力ポート（ＶＧＡコネクタ）１０は、縫い包み１００の尻尾に設けられ、表示制御信号を出力する。

　なお、マウス６、ＣＣＤカメラ７、モード切替スイッチ９およびビデオ出力ポート９以外の構成要件は装置本体として縫い包み１００の胴体部分に内蔵されるようになっている。

（３）顔認識アルゴリズムの詳細
　上述した顔認識装置２０で使用される顔認識アルゴリズムの詳細については、本出願人が先に提案した特許文献１（特許公開２００２−１５７５９６号公報（対応米国特許公開２００３／００５９０９２号公報））に開示されている。

　すなわち、顔認識装置２０においては、次の３つの技術により顔認識を実現している。

　（i）複雑なシーンからの顔の検出
　（ii）顔の実時間トラッキング
　（iii）顔の識別

　顔の検出手法は、対象物の識別に色、動き及びパターンを使うものに大別できるが、複雑なシーンの中から精度良く顔を切り出すためには顔のパターンを使うのが最も高性能である。しかしながら、シーン全体にわたり全てのスケールの顔を探索するのは、非常に処理が重いため、従来より、この手法は静止画に対してしか用いられていない。

　その一方で、実時間で顔を検出するシステムのほとんどは肌色の検出を行っている。しかし、色は照明条件により変化してしまうし、肌色にも人種や個人差があるため、単純な肌色認識のみでは有効な手段となり得ない。

　そこで、検出した顔パターンに含まれる色分布を元に顔の実時間トラッキングを行い、その動的変化に顔検出を適応していく手法を取る。また、推定した色分布から求めた顔領域に対してのみ、顔パターンの探索を行う。これにより、顔検出における演算時間の短縮を図る。

　さらに、顔の識別には、パターン探索により切り出した顔画像を用いて行う。そして、トラッキングに成功している間は同じ顔の識別結果として扱うことで複数の識別結果から総合的な判断を下すことを可能としている。

　例えば、顔識別のための処理は、（i）複雑なシーンからの顔の検出を、輝度パターンによる顔の検出（顔認識）により行い、（ii）顔の実時間トラッキングを、色による顔の追跡（顔のトラッキング）により行い、そして、（iii）顔の識別を、差分顔を利用した人物識別を行っている。

　例えば、顔認識装置２０におけるこのような各処理は、モジュール或いはオブジェクトとして実現される。すなわち、顔認識装置２０は、顔の追跡モジュール、顔の検出モジュール及び顔の識別モジュールを備える。ここで、顔の追跡モジュールは、ＣＣＤカメラ７に撮像された画像内で変化する顔を追跡する顔追跡手段として機能し、顔の検出モジュールは、顔の追跡モジュールによる顔の追跡情報に基づいて、ＣＣＤカメラ７により撮像された画像内の顔の顔データを検出する顔データ検出手段として機能し、顔の識別モジュールは、顔の検出モジュールが検出した顔データに基づいて、特定顔を識別する顔識別手段として機能する。

　ここで、輝度パターンによる顔の検出では、入力画像中から顔を検出（認識）する処理を行う。具体的には、この顔の検出では、サポートベクタマシン（ＳＶＭ）による顔、非顔の識別を行う。この処理は、通常、環境変化に強く、計算量が多く、姿勢変化に弱いといった特徴がある。ここで、環境変化としては、例えば、周囲の照明の変化が挙げられる。

　また、色による顔の追跡では、入力画像中の顔を追跡する処理を行う。具体的には、この顔の追跡では、顔の色分布の推定、顔領域の推定を行う。この処理は、通常、環境変化に弱く、計算量が少なく、姿勢変化に強いといった特徴がある。

　また、人物識別では、上述の顔の検出により認識された顔を特定の顔として識別する処理を行う。具体的には、この人物識別では、目、鼻の位置同定から位置合わせ（モーフィング）を行い、差分顔から同一人物判定を行う。

　顔識別のシステムでは、以上のような処理を顔識別における各工程として適宜分担させ、相互に補完しあう関係とすることで、精度を高くした顔検出を可能としている。例えば、次のように各処理が補完しあう関係とされている。

　例えば、色による顔の追跡では環境変化に弱いが、輝度パターンによる顔の検出では環境に強いことを利用することで補完している。逆に、輝度パターンによる顔の検出では計算量が多く、姿勢変化に弱いが、色による顔の追跡が計算量が少なく、姿勢変化に強いことを利用することが補完している。

　すなわち、概略すれば次のように言える。もともと計算量が多い処理とされる顔の検出を実時間で行うことは困難である。しかし、所定のタイミングにより一定期間行うとすれば、計算量の負担は軽減される。一方で、各タイミングにおいて入力画像内から顔の位置まで毎回検出したのでは、負担が大きい。

　そこで、計算量が少なく、姿勢変化に強い処理を利用して、入力画像内の顔の変化を実時間で追跡して、この追跡結果から得られる入力画像内の顔の推定位置についてだけ顔を検出する処理をすることとすれば、顔の位置を特定した状態での顔の検出が可能になる。すなわち、大雑把ではあるが早い処理と、信頼性は高いが遅い処理とを組み合わせて、役割を分担することで、システム全体においては各処理相互間で補完させ、これにより、協調して実時間による顔検出を可能としている。

　これにより、多くの顔検出結果を短時間で獲得でき、この獲得した顔検出結果に基づいて顔の識別を行い、そのような処理を統計的に処理することで、高精度の顔識別を可能にしている。

　顔認識装置２０は、このような顔識別のシステムにより、シーン中から人間を見つけ出し（顔検出処理）、それを注視し（顔のトラッキング処理）、そこから得られた情報を用いた顔の識別による人物の特定（顔識別処理）に至るまで、全ての処理を自動的に行い、信頼性の高い顔識別を実現している。

（４）顔認識装置２０の動作
　次に、図５〜図９を参照して上記構成による顔認識装置２０の動作について説明する。以下では、最初にメインルーチンの動作について説明した後、そのメインルーチンを構成するデータベース選択処理、人物登録処理および名前お知らせ処理の各動作を説明する。

［１］メインルーチンの動作
　ユーザが装置電源を投入して図５に図示するメインルーチンを実行させると、顔認識装置２０は、ステップＳＡ１に処理を進め、「肩乗せモード」下にあるか否かを判断する。ここで、図１（ｂ）に図示したように、縫い包み１００がユーザの肩に乗せられていると、モード切替スイッチ９が「肩乗せモード」を表すスイッチイベントを発生するので、判断結果は「ＹＥＳ」となり、ステップＳＡ２に進む。

　ステップＳＡ２では、ＣＣＤカメラ７に対して撮像実行を指示し、続くステップＳＡ３では、撮像した画像中から人の顔に相当する濃淡パターンをパターン識別して顔検出する。次いで、ステップＳＡ４では、顔画像の撮像条件（人物撮影条件）を満たしているか否か、すなわち先に撮像した画像中から検出した顔領域が所定の大きさを超えているかどうか、より具体的には、撮像される全領域に対する顔領域Ａ１（対象画像）が占める割合として算出される占有面積比が、所定値よりも大であるか否かを判断する。

　撮像した画像中から検出した顔領域が所定の大きさを超えていなければ、撮像条件を満たしていないとして判断結果は「ＮＯ」となり、上記ステップＳＡ２に処理を戻す。以後、撮像した画像中から検出した顔領域が所定の大きさを超えるまで撮像および顔検出を随時繰り返す。

　そして、撮像した画像中から検出した顔領域が所定の大きさを超えて撮像条件を満たすと、ステップＳＡ４の判断結果が「ＹＥＳ」となり、顔画像を取得すべくＣＣＤカメラ７に対して撮像実行を指示する。これにより得られる顔画像データは、いったんＲＡＭ３の画像データエリアに一時記憶される。

　なお、上記ステップＳＡ４では、撮像した画像中から検出した顔領域が所定の大きさを超えているか否かを撮像条件としたが、これに限らず、例えば顔検出してから一定時間経過後に対象人物の顔画像を撮像する態様としても構わない。

　さて、こうして顔画像データを取得すると、顔認識装置２０はステップＳＡ６に処理を進め、データベース選択処理を実行する。データベース選択処理では、ＨＤＤ４に格納される複数の画像データベース、すなわちユーザの公私にわたる人間関係を属性別に分け、各属性に含まれる人物の顔画像をそれぞれ登録した複数の画像データベースの内から、顔認識する場面に最も適する属性の画像データベースを選択する。具体的には、現在の日時およびユーザの現在位置に応じて、前述したデータベース選択テーブルＤＳＴから該当する画像データベースを選択する。

　次に、ステップＳＡ７ではユーザが縫い包み１００の右手部分ＲＨに設けられたマウス６の右ボタンをクリックして登録指示イベントを発生させた場合に人物登録処理を実行する。この処理では、上記ステップＳＡ５にて撮像した顔画像データに認識ＩＤを付与して、上記ステップＳＡ６にて選択された画像データベースに新規登録したり、名前お知らせテーブルＮＩＴに新規認識ＩＤに対応する音声ファイルをアサインする。

　ステップＳＡ８では、上記ステップＳＡ６にて選択された画像データベースに登録される各人毎の登録顔画像データと、撮像して新たに得られた顔画像データとの差分値が各々算出され、この差分値が最も小さい登録顔画像データに対応付けられた個人を撮像画像中に写る人物と同定する顔認識処理を実行する。

　次いで、ステップＳＡ９では、顔認識結果に基づき、前述した親密度データベースＦＤＢの内容を更新する。すなわち、顔認識にて同定された人物の認識ＩＤに対応する親密度を認識回数および顔領域の大きさに応じて更新する。また、このステップＳＡ９では、顔認識が完了した顔画像データをＲＡＭ３の画像データエリアから読み出してＨＤＤ４のアルバムフォルダ下に格納する。

　なお、親密度を更新する態様としては、上記ステップＳＡ９の処理に限らず、時間の概念を採り入れることも可能である。すなわち、図４に図示した親密度データベースＦＤＢにおいて、顔認識された日時もデータベース項目として記憶管理しておき、前回顔認識した日時と今回顔認識した日時とから認識間隔を求め、求めた認識間隔が短ければ親密度を上げ、長ければ親密度を下げるようにすることもできる。

　次に、ステップＳＡ１０では、ユーザが縫い包み１００の右手部分ＲＨに設けられたマウス６の左ボタンをクリックして名前お知らせ指示イベントを発生させた場合に名前お知らせ処理を実行する。この処理では、名前お知らせテーブルＮＩＴを参照して、顔認識にて同定された人物の認識ＩＤに対応する音声ファイルを選択して再生する。

　この後、前述のステップＳＡ１に処理を戻し、以後、ユーザが縫い包み１００を肩に乗せている状態ではステップＳＡ２〜ＳＡ１０から構成される肩乗せモードの動作を繰り返す。

　そして、図１（ｃ）に図示したように、縫い包み１００の尻尾部分に設けられたビデオ出力ポート（ＶＧＡコネクタ）１０に、外部モニタＭのケーブルＣＡに接続した状態で、その縫い包み１００をユーザの膝に乗せたりあるいは机に乗せると、モード切替スイッチ９が「膝乗せモード」を表すスイッチイベントを発生するので、ステップＳＡ２の判断結果が「ＮＯ」となり、ステップＳＡ１１に進み、アルバム閲覧処理を実行する。

　アルバム閲覧処理では、図６に図示するアルバム閲覧ウインドウＷを生成し、外部モニタＭに表示する。このアルバム閲覧ウインドウＷは、ＨＤＤ４のアルバムフォルダ内に格納された顔画像データをインデックス表示（サムネイル表示）するもので、これらインデックス表示された中から選択された顔画像データにフレーム（画面枠）を付加して一画面表示させる機能も有している。

　例えば、アルバム閲覧ウインドウＷ内の日付指定ボタン２０をマウス操作でクリックすると、ＨＤＤ４のアルバムフォルダ内に格納された全ての顔画像データに対応した撮影日付のリストが日付リストウインドウ２１に表示される。

　一方、アルバム閲覧ウインドウＷ内の人物指定ボタン２２をマウス操作でクリックすると、ＨＤＤ４のアルバムフォルダ内に格納された全ての顔画像データに対応した人物の認識ＩＤ（例えば、００１，００２，００３，…等）のリストが人物リストウインドウ２３に表示される。

　これら日付リストウインドウ２１に表示された任意の日付、または人物リストウインドウ２３に表示された任意の人物の認識ＩＤをマウス操作でクリックして指定した後、表示ボタン２４をマウス操作でクリックすると、該当する日付もしくは人物ＩＤに対応する顔画像データがＨＤＤ４から読み出され、インデックス画像Ｐ１，Ｐ２，Ｐ３，Ｐ４としてサムネイル表示エリア２５に一覧表示される。

　さらに、このサムネイル表示エリア２５に一覧表示されたインデックス画像Ｐ１，Ｐ２，Ｐ３，Ｐ４の中から任意の画像をマウス操作でクリックして指定すると、選択された顔画像データにフレームを付加した画像を表示する。

　その際、画面表示する顔画像データの認識ＩＤに基づき親密度データベースＦＤＢから該当人物の親密度を検索し、検索した親密度に対応したフレーム（画面枠）を選択する。例えば、親密度が高い人物の顔画像データを画面表示する場合には、図１２（ａ）に示す様に華やかなフレームを付与し、一方、親密度が低い人物の顔画像データを画面表示する場合には図１２（ｂ）に示す様に暗い感じのフレームを付与する等のエンターテイメント性を提供するようになっている。

［２］データベース選択処理の動作
　次に、図７を参照してデータベース選択処理の動作について説明する。上述したステップＳＡ６を介して本処理が実行されると、顔認識装置２０は図７に示すステップＳＢ１に処理を進め、稼働中のＯＳプログラム側から現在の日時データを取得する。次いで、ステップＳＢ２に進み、現在日時に対応する予定の有無を判断する。すなわち、常駐ソフトウェアとして稼働しているスケジュール帳（スケジュール管理ソフト）に、現在日時に対応した予定が登録されているかどうかを判断する。

　そして、現在日時に対応した予定が登録されていれば、判断結果は「ＹＥＳ」となり、次のステップＳＢ３に処理を進め、スケジュール帳に設定されているデータベース指定値に対応した画像データベースを選択する。

　一方、現在日時に対応した予定がスケジュール帳に登録されていない場合には、上記ステップＳＢ２の判断結果が「ＮＯ」となり、ステップＳＢ４に進む。ステップＳＢ４では、位置検出部８が発生するＧＰＳ位置情報から現在の場所を決定する。なお、ＧＰＳ信号を受信できず現在の場所を特定できない状態では、ＧＰＳ信号をロストした時点（例えば、屋内に入った時など）のＧＰＳ位置情報に基づき現在の場所を決定する。

　続いて、ステップＳＢ５では、現在の日時およびユーザの現在位置に応じて、前述したデータベース選択テーブルＤＳＴから該当する画像データベースを選択する。これにより、顔認識する場面に最も適合した属性の画像データベースが選択される。具体的には、例えば日時が平日の日中で場所が会社であれば、前述の画像データベースＩＤＢ１が選択され、日時が土曜日または日曜日で場所を特定しない場合には前述の画像データベースＩＤＢ２が選択される。

［３］人物登録処理の動作
　次に、図８を参照して人物登録処理の動作について説明する。前述したステップＳＡ７を介して本処理が実行されると、顔認識装置２０は図８に示すステップＳＣ１に処理を進め、登録指示イベントの有無を判断する。登録指示イベントが無ければ、判断結果は「ＮＯ」となり、何も処理せずにメインルーチン（図３参照）に復帰する。

　一方、ユーザが縫い包み１００の右手部分ＲＨに設けられたマウス６の右ボタンをクリックして登録指示イベントを発生させると、判断結果が「ＹＥＳ」となり、次のステップＳＣ２に処理を進める。ステップＳＣ２では、メインルーチンのステップＳＡ５において撮像した顔画像データに新規認識ＩＤを付与して、上記データベース選択処理にて選択された画像データベースに新規登録する。

　次いで、ステップＳＣ３では、登録終了指示イベントが発生するまで待機する。そして、ユーザが縫い包み１００の右手部分ＲＨに設けられたマウス６の右ボタンを再度クリックして登録終了指示イベントを発生させると、判断結果が「ＹＥＳ」となり、ステップＳＣ４に進む。

　ステップＳＣ４では、名前お知らせテーブルＮＩＴ中の未使用の音声ファイルに、新規認識ＩＤを対応付けて登録する。そして、ステップＳＣ５では、その新規認識ＩＤに対応付けた音声ファイルを再生する。これにより、画像データベースに新規登録された人物の名前を知らせる音声ファイルの内容（例えば「にゃ〜ん」というネコの鳴き声）がユーザに通知される。

［４］名前お知らせ処理の動作
　次に、図９を参照して名前お知らせ処理の動作について説明する。前述したステップＳＡ１０を介して本処理が実行されると、顔認識装置２０は図９に示すステップＳＤ１に処理を進め、名前お知らせ指示イベントの有無を判断する。名前お知らせ指示イベントが無ければ、判断結果は「ＮＯ」となり、何も処理せずにメインルーチン（図５参照）に復帰する。

　一方、ユーザが縫い包み１００の右手部分ＲＨに設けられたマウス６の左ボタンをクリックして名前お知らせ指示イベントを発生させると、判断結果が「ＹＥＳ」となり、ステップＳＤ２に進み、名前お知らせテーブルＮＩＴを参照して、顔認識にて同定された人物の認識ＩＤに対応する音声ファイルを選択して再生する。これにより、縫い包み１００は顔認識にて同定された人物の名前をネコ語（鳴き声）で知らせる。

　以上のように、本実施の形態によれば、顔認識が行われる状況に対応した複数の属性、言い換えればユーザの公私にわたる人間関係を日時あるいは場所などの属性別に分け、各属性に含まれる人物の顔画像をそれぞれ登録した複数の画像データベースを設けておき、これら画像データベースの内から顔認識する場面に最も適する属性の画像データベースを選択し、選択した画像データベースを参照して撮像画像シーン中に写る顔が誰の顔であるかを識別して人物同定するようになっている。

　この為、データベース登録される人数が多い場合であっても、属性別に画像データベースを細分化するから、１つの画像データベース当りに登録される人数を最適化でき、しかも顔認識する場面に最も適合する属性の画像データベースを選択してそれに基づき顔認識する結果、認識率向上を図ることが可能になる。

（５）変形例
　上述した実施の一形態では、縫い包み１００に顔認識装置２０を内蔵させて撮像画像シーン中に写る顔が誰の顔であるか人物同定し、同定した人物の名前を知らせるようにしたが、本発明の要旨はこうした態様に限定されず種々変形が可能である。

　例えば図１０に示すように、縫い包み１００に替えて顔認識装置２０の本体部分をショルダーバックＢに収納し、マウス６やＣＣＤカメラ７を当該バックのショルダーベルトＳＢに配設させる形態にすることもできる。

　また、本実施の一形態では、日時あるいは場所に応じて、顔認識する場面に最も適する画像データベースを選択するようにしたが、これに限らず、前述した親密度データベースＦＤＢ（図４参照）を用いて顔認識する場面に適した画像データベースを作成することも可能である。

　すなわち、顔検出時に得られる顔領域の大きさに基づき、その顔領域の大きさに対応した親密度を有する人物の認識ＩＤを親密度データベースＦＤＢから検索し、検索した認識ＩＤに対応する登録顔画像データを各画像データベースから抽出して新たな画像データベースを作成し、それを用いて顔認識すれば、撮像画像中から検出される顔領域の大きさに対応した親密度を有する人物に限定して顔認識が行われる為、認識率向上を図ることができる。

　また、上述の実施の形態においては、人物の顔から個人を特定する場合を一例として説明したが、本発明はこれに限らず、例えば、店舗などに掲示されたロゴマークなどを撮像し、そのロゴマークの画像から店舗名や法人等を特定する画像認識装置に適用し、認識が行われる日時や場所、対象となるロゴマーク画像に対する親密度などの、その場の状況に対応した属性の画像データベースを自動的に選択し、選択された属性の画像データベースに記憶された参照画像を参照して、撮像されたロゴマークの画像から店舗名や法人等を特定するようにしても構わない。

　さらに、本発明の要旨は、上述の実施の形態のみならず、撮像機能やＧＰＳ位置検出機能を備えた携帯電話もしくは撮像機能、ＧＰＳ位置検出機能および無線通信機能を有する携帯端末にも適用可能である。その場合、携帯電話あるいは携帯端末はＣＰＵの演算処理能力が充分でないものが多い為、端末側で撮像した画像および撮像位置を、ネットワークを介して顔認識処理するサーバ側へ送出し、サーバ側が顔認識した結果を端末側に返送する形態とすれば良い。

本発明による実施の一形態である縫い包み１００の外観およびその動作モードを説明するための図である。 顔認識装置２０の構成を示すブロック図である。 画像データベースＩＤＢ１，ＩＤＢ２の概念を示す概念図である。 親密度データベースＦＤＢの概念を示す概念図である。 メインルーチンの動作を示すフローチャートである。 アルバム閲覧処理に画面表示されるＧＵＩ画面の一例を示す図である。 データベース選択処理の動作を示すフローチャートである。 人物登録処理の動作を示すフローチャートである。 名前お知らせ処理の動作を示すフローチャートである。 変形例を示す図である。 親密度の定義を説明するための図である。 アルバム閲覧処理にて画面表示される顔画像データに付加されるフレームの一例を示す図である。

符号の説明

　１　ＣＰＵ，　２　ＲＯＭ，　３　ＲＡＭ，　４　ＨＤＤ，　５　サウンドシステム，　６　マウス，　７　ＣＣＤカメラ，　８　位置検出部，　９　モード切替スイッチ，　１０　ビデオ出力ポート，　２０　顔認識装置，　１００　縫い包み

Claims (24)

1. 　認識すべき対象画像を撮像する撮像手段と、
   　前記撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識ＩＤとをそれぞれ記憶する複数の属性別画像データベース手段と、
   　前記複数の属性別画像データベース手段の内から現在の状況に対応した属性別画像データベース手段を選択する選択手段と、
   　前記選択手段によって選択された属性別画像データベース手段に記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識ＩＤを特定する対象特定手段と
   　を具備することを特徴とする画像認識装置。
2. 　現在の日時を計数する日時計数手段をさらに備え、
   　前記属性別画像データベース手段は、前記撮像手段によって撮像される時刻に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から現在の日時に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項１記載の画像認識装置。
3. 　現在の位置を測位する測位手段をさらに備え、
   　前記属性別画像データベース手段は、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から現在の位置に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項１記載の画像認識装置。
4. 　現在の日時を計数する日時計数手段と、
   　現在の位置を測位する測位手段とをさらに備え、
   　前記属性別画像データベース手段は、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から現在の日時と位置に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項１記載の画像認識装置。
5. 　前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定手段によって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定手段をさらに備え、
   　前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項１記載の画像認識装置。
6. 　現在の日時を計数する日時計数手段をさらに備え、
   　前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項５記載の画像認識装置。
7. 　現在の位置を測位する測位手段をさらに備え、
   　前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項５記載の画像認識装置。
8. 　現在の日時を計数する日時計数手段と、
   　現在の位置を測位する測位手段とをさらに備え、
   　前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベース手段を自動的に選択する
   　ことを特徴とする請求項５記載の画像認識装置。
9. 　認識すべき対象画像を撮像する撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識ＩＤとをそれぞれ記憶する複数の属性別画像データベースの内から現在の状況に対応した属性別画像データベースを選択する選択処理ステップと、
   　前記選択処理ステップによって選択された属性別画像データベースに記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識ＩＤを特定する対象特定処理ステップと
   　を具備することを特徴とする画像認識処理方法。
10. 　現在の日時を計数する日時計数処理ステップをさらに備え、
    　前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する時刻属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から現在の日時に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項９記載の画像認識処理方法。
11. 　現在の位置を測位する測位処理ステップをさらに備え、
    　前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から現在の位置に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項９記載の画像認識処理方法。
12. 　現在の日時を計数する日時計数処理ステップと、
    　現在の位置を測位する測位処理ステップとをさらに備え、
    　前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から現在の日時と位置に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項９記載の画像認識処理方法。
13. 　前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定処理ステップによって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定処理ステップをさらに備え、
    　前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択処理ステップは、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項９記載の画像認識処理方法。
14. 　現在の日時を計数する日時計数処理ステップをさらに備え、
    　前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１３記載の画像認識処理方法。
15. 　現在の位置を測位する測位処理ステップをさらに備え、
    　前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１３記載の画像認識処理方法。
16. 　現在の日時を計数する日時計数処理ステップと、
    　現在の位置を測位する測位処理ステップとをさらに備え、
    　前記属性別画像データベースは、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１３記載の画像認識処理方法。
17. 　認識すべき対象画像を撮像する撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識ＩＤとをそれぞれ記憶する複数の属性別画像データベースの内から現在の状況に対応した属性別画像データベースを選択する選択処理ステップと、
    　前記選択処理ステップによって選択された属性別画像データベースに記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識ＩＤを特定する対象特定処理ステップと
    　を具備することを特徴とする画像認識プログラム。
18. 　現在の日時を計数する日時計数処理ステップをさらに備え、
    　前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する時刻属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から現在の日時に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１７記載の画像認識プログラム。
19. 　現在の位置を測位する測位処理ステップをさらに備え、
    　前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から現在の位置に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１７記載の画像認識プログラム。
20. 　現在の日時を計数する日時計数処理ステップと、
    　現在の位置を測位する測位処理ステップとをさらに備え、
    　前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から現在の日時と位置に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１７記載の画像認識プログラム。
21. 　前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定処理ステップによって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定処理ステップをさらに備え、
    　前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択処理ステップは、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベースを自動的に選択する
    　ことを特徴とする請求項１７記載の画像認識プログラム。
22. 　現在の日時を計数する日時計数処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベースを自動的に選択することを特徴とする請求項２１記載の画像認識プログラム。
23. 　現在の位置を測位する測位処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする請求項２１記載の画像認識処理プログラム。
24. 　現在の日時を計数する日時計数処理ステップと、現在の位置を測位する測位処理ステップとをさらに備え、前記属性別画像データベースは、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする請求項２１記載の画像認識プログラム。

Images