JP2004127285A - 画像認識装置、画像認識処理方法および画像認識プログラム - Google Patents

画像認識装置、画像認識処理方法および画像認識プログラム Download PDF

Info

Publication number
JP2004127285A
JP2004127285A JP2003320733A JP2003320733A JP2004127285A JP 2004127285 A JP2004127285 A JP 2004127285A JP 2003320733 A JP2003320733 A JP 2003320733A JP 2003320733 A JP2003320733 A JP 2003320733A JP 2004127285 A JP2004127285 A JP 2004127285A
Authority
JP
Japan
Prior art keywords
attribute
image
time
based
processing step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003320733A
Other languages
English (en)
Other versions
JP4427714B2 (ja
Inventor
Fumitake Cho
Futoshi Goto
Keigo Ihara
Makoto Murata
Machiko Segawa
Toshihiro Watanabe
井原 圭吾
後藤 太
村田 誠
渡邉 敏博
瀬川 真智子
趙 文武
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2002267595 priority Critical
Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
Priority to JP2003320733A priority patent/JP4427714B2/ja
Publication of JP2004127285A publication Critical patent/JP2004127285A/ja
Application granted granted Critical
Publication of JP4427714B2 publication Critical patent/JP4427714B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 画像データベースに登録される参照画像の総数が増加しても、認識率の向上を図ることができる認識装置、認識方法および認識プログラムを実現する。
【解決手段】 例えば、人物や店舗などに掲示されたロゴマークなどを撮像し、その対象画像から個人や法人等を特定する際に、日時や場所、対象画像に対する親密度などの状況に対応した属性の画像データベースが自動的に選択され、その画像データベースの参照画像を参照して個人や法人等を特定する。これにより、画像データベースに登録される参照画像数が増加しても属性別に細分化が図られ、1つの属性に登録される参照画像の個数を抑制でき、認識が行われる状況に応じて最適な属性の画像データベースが選択されるので、選択操作を行うことなく、参照画像の個数が絞り込まれ、状況という付加的な情報によって参照画像が絞り込まれるので、認識率の向上を図ることができる。
【選択図】 図4

Description

 本発明は、例えば、人物や店舗などに掲示されたロゴマークなどを撮像し、その対象画像から個人や法人を特定する画像認識装置、画像認識処理方法および画像認識プログラムに関する。

 カメラで撮像した画像中に写る顔が誰の顔であるかを識別して人物同定する顔認識技術は、個人を識別したり認証するセキュリティ分野に用いられる他、例えば犬等の動物を模した外観形状を有するペットロボットのヒューマンインタフェースにも利用されている。

 ヒューマンインタフェースに使用される顔認識技術としては、例えばサポートベクタマシン(SVM)を用いて撮像画像中から人の顔に相当する濃淡パターンをパターン識別して顔検出し、これにて得られる入力顔画像データと、予めデータベース登録される各人毎の登録顔画像データとの差分値を算出し、その算出結果に基づいて、差分値が最も小さい登録顔画像データに対応付けられた人物を撮像画像中に写る人物と同定する手法が知られており、その詳細については例えば特許文献1に開示されている。

特許公開2002−157596号公報

 ところで、上述した従来の顔認識技術では、登録顔画像データを記憶管理するデータベースに予め登録されている参照画像のサンプル数が多くなると、必然的に相似する顔も増えることから誤認識が生じ易くなり認識率低下を招致するという問題がある。

 そこで本発明は、このような事情に鑑みてなされたもので、データベースに登録される参照画像のサンプル数が多い場合でも認識率を向上させることができる画像認識装置、画像認識処理方法および画像認識プログラムを提供することを目的としている。

 上記目的を達成するため、請求項1に記載の発明は、認識すべき対象画像を撮像する撮像手段と、前記撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識IDとをそれぞれ記憶する複数の属性別画像データベース手段と、前記複数の属性別画像データベース手段の内から現在の状況に対応した属性別画像データベース手段を選択する選択手段と、前記選択手段によって選択された属性別画像データベース手段に記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識IDを特定する対象特定手段とを具備することを特徴とする。

 請求項2に記載の発明は、請求項1に加えて、現在の日時を計数する日時計数手段をさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から現在の日時に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項3に記載の発明は、請求項1に加えて、現在の位置を測位する測位手段をさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から現在の位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項4に記載の発明は、請求項1に加えて、現在の日時を計数する日時計数手段と、現在の位置を測位する測位手段とをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から現在の日時と位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項5に記載の発明は、請求項1に加えて、前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定手段によって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定手段をさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度に依存した相対属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項6に記載の発明は、請求項5に加えて、現在の日時を計数する日時計数手段をさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項7に記載の発明は、請求項5に加えて、現在の位置を測位する測位手段をさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項8に記載の発明は、請求項5に加えて、現在の日時を計数する日時計数手段と、現在の位置を測位する測位手段とをさらに備え、前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項9及び17に記載の発明は、認識すべき対象画像を撮像する撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識IDとをそれぞれ記憶する複数の属性別画像データベースの内から現在の状況に対応した属性別画像データベースを選択する選択処理ステップと、前記選択処理ステップによって選択された属性別画像データベースに記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識IDを特定する対象特定処理ステップとを具備することを特徴とする。

 請求項10及び18に記載の発明は、請求項9及び17に加えて、現在の日時を計数する日時計数処理ステップをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から現在の日時に対応した属性別画像データベースを自動的に選択することを特徴とする。

 請求項11及び19に記載の発明は、請求項9及び17に加えて、現在の位置を測位する測位処理ステップをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする。

 請求項12及び20に記載の発明は、請求項9及び17に加えて、現在の日時を計数する日時計数処理ステップと、現在の位置を測位する測位処理ステップとをさらに備え、前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から現在の日時と位置に対応した属性別画像データベース手段を自動的に選択することを特徴とする。

 請求項13及び21に記載の発明は、請求項9及び17に加えて、前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定処理ステップによって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベースを自動的に選択することを特徴とする。

 請求項14及び22に記載の発明は、請求項13及び21に加えて、現在の日時を計数する日時計数処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベースを自動的に選択することを特徴とする。

 請求項15及び23に記載の発明は、請求項13及び21に加えて、現在の位置を測位する測位処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする。

 請求項16及び24に記載の発明は、請求項13及び21に加えて、現在の日時を計数する日時計数処理ステップと、現在の位置を測位する測位処理ステップとをさらに備え、前記属性別画像データベースは、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする。

 本発明によれば、例えば、人物や店舗などに掲示されたロゴマークなどを撮像し、その対象画像から個人や法人等を特定する際に、認識が行われる日時や場所、対象画像に対する親密度などの、その場の状況に対応した属性の画像データベースが自動的に選択され、選択された属性の画像データベースに記憶された参照画像を参照して、撮像された画像から個人や法人等を特定するようにしたので、画像データベースに登録される参照画像の総数が増加しても、属性別に画像データベースの細分化が図られ、1つの属性に対応する画像データベースに登録される参照画像の個数を少なく抑えることができ、しかも認識が行われる日時や場所や親密度などの状況に対応して、最適な属性の画像データベースが自動的に選択されるので、ユーザが意図的に選択操作を行わなくても、参照画像の個数が絞り込まれると共に、状況という付加的な情報によって参照画像が絞り込まれるので、認識率の向上を図ることができる。

 以下、図面を参照して本発明の実施の一形態について説明する。

(1)概要
 図1(a)は、本発明の実施の一形態である縫い包み100の外観を示す外観図である。縫い包み100は、ネコを模したキャラクタ人形であり、その内部には顔認識装置20(後述する)が内蔵される。顔認識装置20は、縫い包み100がユーザの肩に乗せられた状態(同図(b)参照)で「肩乗せモード」として動作し、一方、同図(c)に示すように、ユーザの膝あるいは机の上に乗せられた状態で「膝乗せモード」として動作する。これらのモードは、後述するモード切替スイッチ9によって自動的に切り替えられる。

 「肩乗せモード」では撮像した画像中に写る顔が誰の顔であるかを識別して人物同定し、その人物の名前をユーザにネコ語(鳴き声)で教えたり、撮像した画像中に写る顔を新たにデータベース登録したり、撮像した画像を、後述するアルバム閲覧処理で表示される画像として順次記録する処理を実行する。

 一方、「膝乗せモード」では図1(c)に図示するように、縫い包み100の尻尾部分に設けられたビデオ出力ポート10(後述する)に、外部モニタMのケーブルCAを接続し、上記「肩乗せモード」下で撮像した一連の顔画像を外部モニタMにおいてアルバムとして閲覧させる処理を実行する。これら各モードの処理動作については追って詳述する。

(2)顔認識装置20の構成
 次に、図2を参照して顔認識装置20の構成について説明する。図2において、CPU1はROM2に格納される制御プログラム(BIOS)を実行して装置各部の入出力インタフェースを確立させた後、HDD4(ハードディスク装置)に格納されるOSプログラムをRAM3にロードして起動させる。OS(オペレーティングシステム)プログラム起動後、CPU1はユーザ操作によって実行指示されるアプリケーションプログラムをHDD4から読み出してRAM3にロードして実行する。

 なお、ここで言うアプリケーションプログラムは、後述する「データベース選択処理」、「人物登録処理」および「名前お知らせ処理」などから構成されるメインルーチンを含んで構成されている。

 RAM3は、各種プログラムデータを格納するプログラムエリア、CPU1の演算結果を一時記憶するワークエリアおよびCCDカメラ7によって撮像される画像を一時記憶する画像データエリアを備える。HDD4は、各種プログラムを記憶すると共に、各種データベース、テーブルデータおよび音声ファイルを記憶する。

 HDD4に記憶される各種データベースとは、顔認識時に参照される複数の画像データベースIDBおよび親密度データベースFDBを指す。複数の画像データベースIDBとは、顔認識が行われる状況に対応した複数の属性毎に設けられ、各属性に含まれる人物の参照顔画像をそれぞれ記憶するデータベースである。

 具体的には、例えば図3に図示する一例のように、ユーザが勤務する会社に属する人物(上司や同僚、部下など)の参照顔画像を登録した画像データベースIDB1や、友人・知人の参照顔画像を登録した画像データベースIDB2等、ユーザの公私にわたる人間関係を属性別に分けて人物の参照顔画像を登録したデータベースである。

 これら画像データベースIDBは、後述するように、顔認識が行われる状況に応じて自動的に選択される。各画像データベースIDBは、少なくとも認識IDと、それに対応付けられた人物の参照顔画像データとから構成されるレコードを複数記憶管理する。認識率の低下を避けるため、1つの画像データベース当り10人程度の参照顔画像データを登録することが好ましい。

 親密度データベースFDBとは、各画像データベースIDBと連係するリレーショナルデータベースであって、各画像データベースIDBに登録された人物の認識ID毎の親密度、後述するCCDカメラ7によって撮像される全領域に対する対象画像の占有面積比、および過去において同じ対象画像として特定された認識回数を記憶管理するものであり、その一例を図4に示す。

 ここで言う親密度とは、顔認識された人物の顔領域の大きさおよび認識回数に応じて定まる値である。例えば、図11(a)に示す様に認識した顔領域A1が大きく、かつ同一人物として認識した回数も多ければ、ユーザと親密な関係にあるとして親密度が高く、これに対し、例えば図11(b)に示す様に顔領域A2が小さく、かつ同一人物として認識した回数も少なければ、ユーザとあまり親密な関係でないとして親密度が低くなるよう定義されている。

 ここで、顔認識装置20で定義された親密度について、より具体的に説明する。図11(a)に示す顔領域A1とは、後述する輝度パターンによって顔を検出する際に算出される領域で、個人を特定するために必要な顔面の内の眼、鼻、口をほぼ内包する矩形領域を意味する。そして、顔領域A1が大きいとは、撮像される全領域に対する顔領域A1(対象画像)が占める割合、すなわち占有面積比が大であることを意味し、この場合、対象となる人物との距離が近く、親密度がより高いものとの推定が成り立つ。

 一方、図11(b)に示す様に顔領域A2が小さいとは、撮像される全領域に対する顔領域A2(対象画像)が占める割合、すなわち占有面積比が小であることを意味し、この場合、対象となる人物との距離が遠く、親密度がより低いものとの推定が成り立つ。

 以上の推定に基づき、親密度Rは、例えば、以下の算出式(1)に基づいて算出される。
    R=a×(N/Nmax)+(1−a)×(N/Nfull)‥‥‥(1)

 ここで、aは0.0から1.0の範囲内で任意に設定される重み付け定数、Nは現在認識している顔領域A1に関して過去同一人物として認識した認識回数、Nmaxは親密度データベースFDBに蓄積された認識回数の内の最大値(図4に示す例では、10回)、Nは現在認識している顔領域A1の面積、Nfullは撮像される全領域の面積である。上述した、算出式(1)によって、図4に示す親密度Rが算出され、新たな親密度Rが算出される度に、親密度データベースFDBが更新される。なお、顔領域A1としては、顔面の内の眼、鼻、口をほぼ内包する矩形領域ではなく、顔面が内接する矩形領域の面積等、対象となる人物との距離に応じて変化するパラメータを利用しても勿論構わない。

 HDD4に記憶されるテーブルデータとは、データベース選択テーブルDSTおよび名前お知らせテーブルNITを指す。データベース選択テーブルDSTは、現在日時およびユーザの現在位置に応じて、上述した複数の画像データベースIDBのいずれを選択するかを指定するテーブルデータである。

 このデータベース選択テーブルDSTでは、現在の日時および現在位置に対応させてユーザが任意に指定値を登録することが可能になっており、例えば日時が平日の日中で、現在位置が会社である場合には上述の画像データベースIDB1を選択する指定値を登録し、日時が土曜日または日曜日で、現在位置を特定しない場合には上述の画像データベースIDB2を選択する指定値を登録する。

 名前お知らせテーブルNITとは、顔認識にて同定された人物の認識IDと、音声ファイルとを対応付けたテーブルデータであり、同定された人物の認識IDに対応する音声ファイルを選択する際に用いられる。

 サウンドシステム5は、CPU1が再生指示する音声ファイルからPCM波形データを読み出し、それをD/A変換して音声出力する。マウス6は、ユーザ操作に応じたポインティング信号やスイッチイベントを発生するものであり、縫い包み100(図1参照)の右手部分RHに設けられる。CCDカメラ7は、縫い包み100の左目部分LEに設けられ、CPU1の制御の下に撮像して画像データを発生する。位置検出部8は、CPU1の制御の下にGPS(Global Positioning System)信号を受信して現在位置を測位し、測位結果位置データをとして発生する。

 モード切替スイッチ9は、縫い包み100の腰部に設けられ、腰の曲げ伸ばしに応じたモード切替イベントを発生する。すなわち、図1(b)に図示するように、縫い包み100がユーザの肩に乗せられた場合には「肩乗せモード」を表すスイッチイベントを発生し、同図(c)に示すように、ユーザの膝あるいは机の上に乗せられた場合には「膝乗せモード」を表すスイッチイベントを発生する。ビデオ出力ポート(VGAコネクタ)10は、縫い包み100の尻尾に設けられ、表示制御信号を出力する。

 なお、マウス6、CCDカメラ7、モード切替スイッチ9およびビデオ出力ポート9以外の構成要件は装置本体として縫い包み100の胴体部分に内蔵されるようになっている。

(3)顔認識アルゴリズムの詳細
 上述した顔認識装置20で使用される顔認識アルゴリズムの詳細については、本出願人が先に提案した特許文献1(特許公開2002−157596号公報(対応米国特許公開2003/0059092号公報))に開示されている。

 すなわち、顔認識装置20においては、次の3つの技術により顔認識を実現している。

 (i)複雑なシーンからの顔の検出
 (ii)顔の実時間トラッキング
 (iii)顔の識別

 顔の検出手法は、対象物の識別に色、動き及びパターンを使うものに大別できるが、複雑なシーンの中から精度良く顔を切り出すためには顔のパターンを使うのが最も高性能である。しかしながら、シーン全体にわたり全てのスケールの顔を探索するのは、非常に処理が重いため、従来より、この手法は静止画に対してしか用いられていない。

 その一方で、実時間で顔を検出するシステムのほとんどは肌色の検出を行っている。しかし、色は照明条件により変化してしまうし、肌色にも人種や個人差があるため、単純な肌色認識のみでは有効な手段となり得ない。

 そこで、検出した顔パターンに含まれる色分布を元に顔の実時間トラッキングを行い、その動的変化に顔検出を適応していく手法を取る。また、推定した色分布から求めた顔領域に対してのみ、顔パターンの探索を行う。これにより、顔検出における演算時間の短縮を図る。

 さらに、顔の識別には、パターン探索により切り出した顔画像を用いて行う。そして、トラッキングに成功している間は同じ顔の識別結果として扱うことで複数の識別結果から総合的な判断を下すことを可能としている。

 例えば、顔識別のための処理は、(i)複雑なシーンからの顔の検出を、輝度パターンによる顔の検出(顔認識)により行い、(ii)顔の実時間トラッキングを、色による顔の追跡(顔のトラッキング)により行い、そして、(iii)顔の識別を、差分顔を利用した人物識別を行っている。

 例えば、顔認識装置20におけるこのような各処理は、モジュール或いはオブジェクトとして実現される。すなわち、顔認識装置20は、顔の追跡モジュール、顔の検出モジュール及び顔の識別モジュールを備える。ここで、顔の追跡モジュールは、CCDカメラ7に撮像された画像内で変化する顔を追跡する顔追跡手段として機能し、顔の検出モジュールは、顔の追跡モジュールによる顔の追跡情報に基づいて、CCDカメラ7により撮像された画像内の顔の顔データを検出する顔データ検出手段として機能し、顔の識別モジュールは、顔の検出モジュールが検出した顔データに基づいて、特定顔を識別する顔識別手段として機能する。

 ここで、輝度パターンによる顔の検出では、入力画像中から顔を検出(認識)する処理を行う。具体的には、この顔の検出では、サポートベクタマシン(SVM)による顔、非顔の識別を行う。この処理は、通常、環境変化に強く、計算量が多く、姿勢変化に弱いといった特徴がある。ここで、環境変化としては、例えば、周囲の照明の変化が挙げられる。

 また、色による顔の追跡では、入力画像中の顔を追跡する処理を行う。具体的には、この顔の追跡では、顔の色分布の推定、顔領域の推定を行う。この処理は、通常、環境変化に弱く、計算量が少なく、姿勢変化に強いといった特徴がある。

 また、人物識別では、上述の顔の検出により認識された顔を特定の顔として識別する処理を行う。具体的には、この人物識別では、目、鼻の位置同定から位置合わせ(モーフィング)を行い、差分顔から同一人物判定を行う。

 顔識別のシステムでは、以上のような処理を顔識別における各工程として適宜分担させ、相互に補完しあう関係とすることで、精度を高くした顔検出を可能としている。例えば、次のように各処理が補完しあう関係とされている。

 例えば、色による顔の追跡では環境変化に弱いが、輝度パターンによる顔の検出では環境に強いことを利用することで補完している。逆に、輝度パターンによる顔の検出では計算量が多く、姿勢変化に弱いが、色による顔の追跡が計算量が少なく、姿勢変化に強いことを利用することが補完している。

 すなわち、概略すれば次のように言える。もともと計算量が多い処理とされる顔の検出を実時間で行うことは困難である。しかし、所定のタイミングにより一定期間行うとすれば、計算量の負担は軽減される。一方で、各タイミングにおいて入力画像内から顔の位置まで毎回検出したのでは、負担が大きい。

 そこで、計算量が少なく、姿勢変化に強い処理を利用して、入力画像内の顔の変化を実時間で追跡して、この追跡結果から得られる入力画像内の顔の推定位置についてだけ顔を検出する処理をすることとすれば、顔の位置を特定した状態での顔の検出が可能になる。すなわち、大雑把ではあるが早い処理と、信頼性は高いが遅い処理とを組み合わせて、役割を分担することで、システム全体においては各処理相互間で補完させ、これにより、協調して実時間による顔検出を可能としている。

 これにより、多くの顔検出結果を短時間で獲得でき、この獲得した顔検出結果に基づいて顔の識別を行い、そのような処理を統計的に処理することで、高精度の顔識別を可能にしている。

 顔認識装置20は、このような顔識別のシステムにより、シーン中から人間を見つけ出し(顔検出処理)、それを注視し(顔のトラッキング処理)、そこから得られた情報を用いた顔の識別による人物の特定(顔識別処理)に至るまで、全ての処理を自動的に行い、信頼性の高い顔識別を実現している。

(4)顔認識装置20の動作
 次に、図5〜図9を参照して上記構成による顔認識装置20の動作について説明する。以下では、最初にメインルーチンの動作について説明した後、そのメインルーチンを構成するデータベース選択処理、人物登録処理および名前お知らせ処理の各動作を説明する。

[1]メインルーチンの動作
 ユーザが装置電源を投入して図5に図示するメインルーチンを実行させると、顔認識装置20は、ステップSA1に処理を進め、「肩乗せモード」下にあるか否かを判断する。ここで、図1(b)に図示したように、縫い包み100がユーザの肩に乗せられていると、モード切替スイッチ9が「肩乗せモード」を表すスイッチイベントを発生するので、判断結果は「YES」となり、ステップSA2に進む。

 ステップSA2では、CCDカメラ7に対して撮像実行を指示し、続くステップSA3では、撮像した画像中から人の顔に相当する濃淡パターンをパターン識別して顔検出する。次いで、ステップSA4では、顔画像の撮像条件(人物撮影条件)を満たしているか否か、すなわち先に撮像した画像中から検出した顔領域が所定の大きさを超えているかどうか、より具体的には、撮像される全領域に対する顔領域A1(対象画像)が占める割合として算出される占有面積比が、所定値よりも大であるか否かを判断する。

 撮像した画像中から検出した顔領域が所定の大きさを超えていなければ、撮像条件を満たしていないとして判断結果は「NO」となり、上記ステップSA2に処理を戻す。以後、撮像した画像中から検出した顔領域が所定の大きさを超えるまで撮像および顔検出を随時繰り返す。

 そして、撮像した画像中から検出した顔領域が所定の大きさを超えて撮像条件を満たすと、ステップSA4の判断結果が「YES」となり、顔画像を取得すべくCCDカメラ7に対して撮像実行を指示する。これにより得られる顔画像データは、いったんRAM3の画像データエリアに一時記憶される。

 なお、上記ステップSA4では、撮像した画像中から検出した顔領域が所定の大きさを超えているか否かを撮像条件としたが、これに限らず、例えば顔検出してから一定時間経過後に対象人物の顔画像を撮像する態様としても構わない。

 さて、こうして顔画像データを取得すると、顔認識装置20はステップSA6に処理を進め、データベース選択処理を実行する。データベース選択処理では、HDD4に格納される複数の画像データベース、すなわちユーザの公私にわたる人間関係を属性別に分け、各属性に含まれる人物の顔画像をそれぞれ登録した複数の画像データベースの内から、顔認識する場面に最も適する属性の画像データベースを選択する。具体的には、現在の日時およびユーザの現在位置に応じて、前述したデータベース選択テーブルDSTから該当する画像データベースを選択する。

 次に、ステップSA7ではユーザが縫い包み100の右手部分RHに設けられたマウス6の右ボタンをクリックして登録指示イベントを発生させた場合に人物登録処理を実行する。この処理では、上記ステップSA5にて撮像した顔画像データに認識IDを付与して、上記ステップSA6にて選択された画像データベースに新規登録したり、名前お知らせテーブルNITに新規認識IDに対応する音声ファイルをアサインする。

 ステップSA8では、上記ステップSA6にて選択された画像データベースに登録される各人毎の登録顔画像データと、撮像して新たに得られた顔画像データとの差分値が各々算出され、この差分値が最も小さい登録顔画像データに対応付けられた個人を撮像画像中に写る人物と同定する顔認識処理を実行する。

 次いで、ステップSA9では、顔認識結果に基づき、前述した親密度データベースFDBの内容を更新する。すなわち、顔認識にて同定された人物の認識IDに対応する親密度を認識回数および顔領域の大きさに応じて更新する。また、このステップSA9では、顔認識が完了した顔画像データをRAM3の画像データエリアから読み出してHDD4のアルバムフォルダ下に格納する。

 なお、親密度を更新する態様としては、上記ステップSA9の処理に限らず、時間の概念を採り入れることも可能である。すなわち、図4に図示した親密度データベースFDBにおいて、顔認識された日時もデータベース項目として記憶管理しておき、前回顔認識した日時と今回顔認識した日時とから認識間隔を求め、求めた認識間隔が短ければ親密度を上げ、長ければ親密度を下げるようにすることもできる。

 次に、ステップSA10では、ユーザが縫い包み100の右手部分RHに設けられたマウス6の左ボタンをクリックして名前お知らせ指示イベントを発生させた場合に名前お知らせ処理を実行する。この処理では、名前お知らせテーブルNITを参照して、顔認識にて同定された人物の認識IDに対応する音声ファイルを選択して再生する。

 この後、前述のステップSA1に処理を戻し、以後、ユーザが縫い包み100を肩に乗せている状態ではステップSA2〜SA10から構成される肩乗せモードの動作を繰り返す。

 そして、図1(c)に図示したように、縫い包み100の尻尾部分に設けられたビデオ出力ポート(VGAコネクタ)10に、外部モニタMのケーブルCAに接続した状態で、その縫い包み100をユーザの膝に乗せたりあるいは机に乗せると、モード切替スイッチ9が「膝乗せモード」を表すスイッチイベントを発生するので、ステップSA2の判断結果が「NO」となり、ステップSA11に進み、アルバム閲覧処理を実行する。

 アルバム閲覧処理では、図6に図示するアルバム閲覧ウインドウWを生成し、外部モニタMに表示する。このアルバム閲覧ウインドウWは、HDD4のアルバムフォルダ内に格納された顔画像データをインデックス表示(サムネイル表示)するもので、これらインデックス表示された中から選択された顔画像データにフレーム(画面枠)を付加して一画面表示させる機能も有している。

 例えば、アルバム閲覧ウインドウW内の日付指定ボタン20をマウス操作でクリックすると、HDD4のアルバムフォルダ内に格納された全ての顔画像データに対応した撮影日付のリストが日付リストウインドウ21に表示される。

 一方、アルバム閲覧ウインドウW内の人物指定ボタン22をマウス操作でクリックすると、HDD4のアルバムフォルダ内に格納された全ての顔画像データに対応した人物の認識ID(例えば、001,002,003,…等)のリストが人物リストウインドウ23に表示される。

 これら日付リストウインドウ21に表示された任意の日付、または人物リストウインドウ23に表示された任意の人物の認識IDをマウス操作でクリックして指定した後、表示ボタン24をマウス操作でクリックすると、該当する日付もしくは人物IDに対応する顔画像データがHDD4から読み出され、インデックス画像P1,P2,P3,P4としてサムネイル表示エリア25に一覧表示される。

 さらに、このサムネイル表示エリア25に一覧表示されたインデックス画像P1,P2,P3,P4の中から任意の画像をマウス操作でクリックして指定すると、選択された顔画像データにフレームを付加した画像を表示する。

 その際、画面表示する顔画像データの認識IDに基づき親密度データベースFDBから該当人物の親密度を検索し、検索した親密度に対応したフレーム(画面枠)を選択する。例えば、親密度が高い人物の顔画像データを画面表示する場合には、図12(a)に示す様に華やかなフレームを付与し、一方、親密度が低い人物の顔画像データを画面表示する場合には図12(b)に示す様に暗い感じのフレームを付与する等のエンターテイメント性を提供するようになっている。

[2]データベース選択処理の動作
 次に、図7を参照してデータベース選択処理の動作について説明する。上述したステップSA6を介して本処理が実行されると、顔認識装置20は図7に示すステップSB1に処理を進め、稼働中のOSプログラム側から現在の日時データを取得する。次いで、ステップSB2に進み、現在日時に対応する予定の有無を判断する。すなわち、常駐ソフトウェアとして稼働しているスケジュール帳(スケジュール管理ソフト)に、現在日時に対応した予定が登録されているかどうかを判断する。

 そして、現在日時に対応した予定が登録されていれば、判断結果は「YES」となり、次のステップSB3に処理を進め、スケジュール帳に設定されているデータベース指定値に対応した画像データベースを選択する。

 一方、現在日時に対応した予定がスケジュール帳に登録されていない場合には、上記ステップSB2の判断結果が「NO」となり、ステップSB4に進む。ステップSB4では、位置検出部8が発生するGPS位置情報から現在の場所を決定する。なお、GPS信号を受信できず現在の場所を特定できない状態では、GPS信号をロストした時点(例えば、屋内に入った時など)のGPS位置情報に基づき現在の場所を決定する。

 続いて、ステップSB5では、現在の日時およびユーザの現在位置に応じて、前述したデータベース選択テーブルDSTから該当する画像データベースを選択する。これにより、顔認識する場面に最も適合した属性の画像データベースが選択される。具体的には、例えば日時が平日の日中で場所が会社であれば、前述の画像データベースIDB1が選択され、日時が土曜日または日曜日で場所を特定しない場合には前述の画像データベースIDB2が選択される。

[3]人物登録処理の動作
 次に、図8を参照して人物登録処理の動作について説明する。前述したステップSA7を介して本処理が実行されると、顔認識装置20は図8に示すステップSC1に処理を進め、登録指示イベントの有無を判断する。登録指示イベントが無ければ、判断結果は「NO」となり、何も処理せずにメインルーチン(図3参照)に復帰する。

 一方、ユーザが縫い包み100の右手部分RHに設けられたマウス6の右ボタンをクリックして登録指示イベントを発生させると、判断結果が「YES」となり、次のステップSC2に処理を進める。ステップSC2では、メインルーチンのステップSA5において撮像した顔画像データに新規認識IDを付与して、上記データベース選択処理にて選択された画像データベースに新規登録する。

 次いで、ステップSC3では、登録終了指示イベントが発生するまで待機する。そして、ユーザが縫い包み100の右手部分RHに設けられたマウス6の右ボタンを再度クリックして登録終了指示イベントを発生させると、判断結果が「YES」となり、ステップSC4に進む。

 ステップSC4では、名前お知らせテーブルNIT中の未使用の音声ファイルに、新規認識IDを対応付けて登録する。そして、ステップSC5では、その新規認識IDに対応付けた音声ファイルを再生する。これにより、画像データベースに新規登録された人物の名前を知らせる音声ファイルの内容(例えば「にゃ〜ん」というネコの鳴き声)がユーザに通知される。

[4]名前お知らせ処理の動作
 次に、図9を参照して名前お知らせ処理の動作について説明する。前述したステップSA10を介して本処理が実行されると、顔認識装置20は図9に示すステップSD1に処理を進め、名前お知らせ指示イベントの有無を判断する。名前お知らせ指示イベントが無ければ、判断結果は「NO」となり、何も処理せずにメインルーチン(図5参照)に復帰する。

 一方、ユーザが縫い包み100の右手部分RHに設けられたマウス6の左ボタンをクリックして名前お知らせ指示イベントを発生させると、判断結果が「YES」となり、ステップSD2に進み、名前お知らせテーブルNITを参照して、顔認識にて同定された人物の認識IDに対応する音声ファイルを選択して再生する。これにより、縫い包み100は顔認識にて同定された人物の名前をネコ語(鳴き声)で知らせる。

 以上のように、本実施の形態によれば、顔認識が行われる状況に対応した複数の属性、言い換えればユーザの公私にわたる人間関係を日時あるいは場所などの属性別に分け、各属性に含まれる人物の顔画像をそれぞれ登録した複数の画像データベースを設けておき、これら画像データベースの内から顔認識する場面に最も適する属性の画像データベースを選択し、選択した画像データベースを参照して撮像画像シーン中に写る顔が誰の顔であるかを識別して人物同定するようになっている。

 この為、データベース登録される人数が多い場合であっても、属性別に画像データベースを細分化するから、1つの画像データベース当りに登録される人数を最適化でき、しかも顔認識する場面に最も適合する属性の画像データベースを選択してそれに基づき顔認識する結果、認識率向上を図ることが可能になる。

(5)変形例
 上述した実施の一形態では、縫い包み100に顔認識装置20を内蔵させて撮像画像シーン中に写る顔が誰の顔であるか人物同定し、同定した人物の名前を知らせるようにしたが、本発明の要旨はこうした態様に限定されず種々変形が可能である。

 例えば図10に示すように、縫い包み100に替えて顔認識装置20の本体部分をショルダーバックBに収納し、マウス6やCCDカメラ7を当該バックのショルダーベルトSBに配設させる形態にすることもできる。

 また、本実施の一形態では、日時あるいは場所に応じて、顔認識する場面に最も適する画像データベースを選択するようにしたが、これに限らず、前述した親密度データベースFDB(図4参照)を用いて顔認識する場面に適した画像データベースを作成することも可能である。

 すなわち、顔検出時に得られる顔領域の大きさに基づき、その顔領域の大きさに対応した親密度を有する人物の認識IDを親密度データベースFDBから検索し、検索した認識IDに対応する登録顔画像データを各画像データベースから抽出して新たな画像データベースを作成し、それを用いて顔認識すれば、撮像画像中から検出される顔領域の大きさに対応した親密度を有する人物に限定して顔認識が行われる為、認識率向上を図ることができる。

 また、上述の実施の形態においては、人物の顔から個人を特定する場合を一例として説明したが、本発明はこれに限らず、例えば、店舗などに掲示されたロゴマークなどを撮像し、そのロゴマークの画像から店舗名や法人等を特定する画像認識装置に適用し、認識が行われる日時や場所、対象となるロゴマーク画像に対する親密度などの、その場の状況に対応した属性の画像データベースを自動的に選択し、選択された属性の画像データベースに記憶された参照画像を参照して、撮像されたロゴマークの画像から店舗名や法人等を特定するようにしても構わない。

 さらに、本発明の要旨は、上述の実施の形態のみならず、撮像機能やGPS位置検出機能を備えた携帯電話もしくは撮像機能、GPS位置検出機能および無線通信機能を有する携帯端末にも適用可能である。その場合、携帯電話あるいは携帯端末はCPUの演算処理能力が充分でないものが多い為、端末側で撮像した画像および撮像位置を、ネットワークを介して顔認識処理するサーバ側へ送出し、サーバ側が顔認識した結果を端末側に返送する形態とすれば良い。

本発明による実施の一形態である縫い包み100の外観およびその動作モードを説明するための図である。 顔認識装置20の構成を示すブロック図である。 画像データベースIDB1,IDB2の概念を示す概念図である。 親密度データベースFDBの概念を示す概念図である。 メインルーチンの動作を示すフローチャートである。 アルバム閲覧処理に画面表示されるGUI画面の一例を示す図である。 データベース選択処理の動作を示すフローチャートである。 人物登録処理の動作を示すフローチャートである。 名前お知らせ処理の動作を示すフローチャートである。 変形例を示す図である。 親密度の定義を説明するための図である。 アルバム閲覧処理にて画面表示される顔画像データに付加されるフレームの一例を示す図である。

符号の説明

 1 CPU, 2 ROM, 3 RAM, 4 HDD, 5 サウンドシステム, 6 マウス, 7 CCDカメラ, 8 位置検出部, 9 モード切替スイッチ, 10 ビデオ出力ポート, 20 顔認識装置, 100 縫い包み

Claims (24)

  1.  認識すべき対象画像を撮像する撮像手段と、
     前記撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識IDとをそれぞれ記憶する複数の属性別画像データベース手段と、
     前記複数の属性別画像データベース手段の内から現在の状況に対応した属性別画像データベース手段を選択する選択手段と、
     前記選択手段によって選択された属性別画像データベース手段に記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識IDを特定する対象特定手段と
     を具備することを特徴とする画像認識装置。
  2.  現在の日時を計数する日時計数手段をさらに備え、
     前記属性別画像データベース手段は、前記撮像手段によって撮像される時刻に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から現在の日時に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項1記載の画像認識装置。
  3.  現在の位置を測位する測位手段をさらに備え、
     前記属性別画像データベース手段は、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から現在の位置に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項1記載の画像認識装置。
  4.  現在の日時を計数する日時計数手段と、
     現在の位置を測位する測位手段とをさらに備え、
     前記属性別画像データベース手段は、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から現在の日時と位置に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項1記載の画像認識装置。
  5.  前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定手段によって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定手段をさらに備え、
     前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項1記載の画像認識装置。
  6.  現在の日時を計数する日時計数手段をさらに備え、
     前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項5記載の画像認識装置。
  7.  現在の位置を測位する測位手段をさらに備え、
     前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記測位手段によって測位された現在の位置に基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項5記載の画像認識装置。
  8.  現在の日時を計数する日時計数手段と、
     現在の位置を測位する測位手段とをさらに備え、
     前記属性別画像データベース手段は、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択手段は、前記推定手段によって推定された親密度と、前記日時計数手段によって計数された現在日時と、前記測位手段によって測位された現在の位置とに基づいて、前記複数の属性別画像データベース手段の内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベース手段を自動的に選択する
     ことを特徴とする請求項5記載の画像認識装置。
  9.  認識すべき対象画像を撮像する撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識IDとをそれぞれ記憶する複数の属性別画像データベースの内から現在の状況に対応した属性別画像データベースを選択する選択処理ステップと、
     前記選択処理ステップによって選択された属性別画像データベースに記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識IDを特定する対象特定処理ステップと
     を具備することを特徴とする画像認識処理方法。
  10.  現在の日時を計数する日時計数処理ステップをさらに備え、
     前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する時刻属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から現在の日時に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項9記載の画像認識処理方法。
  11.  現在の位置を測位する測位処理ステップをさらに備え、
     前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から現在の位置に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項9記載の画像認識処理方法。
  12.  現在の日時を計数する日時計数処理ステップと、
     現在の位置を測位する測位処理ステップとをさらに備え、
     前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から現在の日時と位置に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項9記載の画像認識処理方法。
  13.  前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定処理ステップによって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定処理ステップをさらに備え、
     前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択処理ステップは、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項9記載の画像認識処理方法。
  14.  現在の日時を計数する日時計数処理ステップをさらに備え、
     前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項13記載の画像認識処理方法。
  15.  現在の位置を測位する測位処理ステップをさらに備え、
     前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項13記載の画像認識処理方法。
  16.  現在の日時を計数する日時計数処理ステップと、
     現在の位置を測位する測位処理ステップとをさらに備え、
     前記属性別画像データベースは、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項13記載の画像認識処理方法。
  17.  認識すべき対象画像を撮像する撮像手段によって撮像される種々の状況に対応した複数の属性毎に分類され、各属性に分類された参照画像と、各参照画像に各々対応して一意に付与された認識IDとをそれぞれ記憶する複数の属性別画像データベースの内から現在の状況に対応した属性別画像データベースを選択する選択処理ステップと、
     前記選択処理ステップによって選択された属性別画像データベースに記憶された参照画像を参照して、前記撮像手段によって撮像された対象画像に対応した認識IDを特定する対象特定処理ステップと
     を具備することを特徴とする画像認識プログラム。
  18.  現在の日時を計数する日時計数処理ステップをさらに備え、
     前記属性別画像データベースは、前記撮像手段によって撮像される時刻に依存する時刻属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から現在の日時に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項17記載の画像認識プログラム。
  19.  現在の位置を測位する測位処理ステップをさらに備え、
     前記属性別画像データベースは、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から現在の位置に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項17記載の画像認識プログラム。
  20.  現在の日時を計数する日時計数処理ステップと、
     現在の位置を測位する測位処理ステップとをさらに備え、
     前記属性別画像データベースは、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から現在の日時と位置に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項17記載の画像認識プログラム。
  21.  前記撮像手段によって撮像される全領域に対する対象画像の占有面積比、または過去において前記対象特定処理ステップによって前記対象画像が特定された回数、または前記占有面積比と前記回数の組み合わせに基づいて、前記対象画像に対する親密度を推定する推定処理ステップをさらに備え、
     前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度に依存する属性によって分類され、前記選択処理ステップは、前記推定手段によって推定された親密度に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度に対応した属性別画像データベースを自動的に選択する
     ことを特徴とする請求項17記載の画像認識プログラム。
  22.  現在の日時を計数する日時計数処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻に依存する属性に分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時に対応した属性別画像データベースを自動的に選択することを特徴とする請求項21記載の画像認識プログラム。
  23.  現在の位置を測位する測位処理ステップをさらに備え、前記属性別画像データベースは、前記推定処理ステップによって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記測位処理ステップによって測位された現在の位置に基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする請求項21記載の画像認識処理プログラム。
  24.  現在の日時を計数する日時計数処理ステップと、現在の位置を測位する測位処理ステップとをさらに備え、前記属性別画像データベースは、前記推定手段によって推定された前記対象画像に対する親密度と、前記撮像手段によって撮像される時刻と位置に依存する属性によって分類され、前記選択処理ステップは、前記推定処理ステップによって推定された親密度と、前記日時計数処理ステップによって計数された現在日時と、前記測位処理ステップによって測位された現在の位置とに基づいて、前記複数の属性別画像データベースの内から、現在、前記撮像手段によって撮像された対象画像に対する親密度と、現在の日時と、現在の位置に対応した属性別画像データベースを自動的に選択することを特徴とする請求項21記載の画像認識プログラム。
JP2003320733A 2002-09-13 2003-09-12 画像認識装置、画像認識処理方法および画像認識プログラム Expired - Fee Related JP4427714B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002267595 2002-09-13
JP2003320733A JP4427714B2 (ja) 2002-09-13 2003-09-12 画像認識装置、画像認識処理方法および画像認識プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003320733A JP4427714B2 (ja) 2002-09-13 2003-09-12 画像認識装置、画像認識処理方法および画像認識プログラム

Publications (2)

Publication Number Publication Date
JP2004127285A true JP2004127285A (ja) 2004-04-22
JP4427714B2 JP4427714B2 (ja) 2010-03-10

Family

ID=32301607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003320733A Expired - Fee Related JP4427714B2 (ja) 2002-09-13 2003-09-12 画像認識装置、画像認識処理方法および画像認識プログラム

Country Status (1)

Country Link
JP (1) JP4427714B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006098418A1 (en) * 2005-03-16 2006-09-21 Fujifilm Corporation Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and program
JP2007228458A (ja) * 2006-02-27 2007-09-06 Fujifilm Corp 撮影条件設定方法およびこれを用いた撮影装置
JP2009135616A (ja) * 2007-11-28 2009-06-18 Olaworks Inc 通信端末、情報処理方法及びプログラム
JP2010016796A (ja) * 2008-06-06 2010-01-21 Sony Corp 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP2010509695A (ja) * 2006-11-14 2010-03-25 イーストマン コダック カンパニー 顔認識のためのユーザーインターフェース
US8477207B2 (en) 2008-06-06 2013-07-02 Sony Corporation Image capturing apparatus, image capturing method, and computer program
WO2014128751A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
CN104933391A (zh) * 2014-03-20 2015-09-23 联想(北京)有限公司 用于进行面部识别的方法和装置、以及电子设备
JP2017167793A (ja) * 2016-03-16 2017-09-21 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2018190430A (ja) * 2018-06-14 2018-11-29 株式会社ニコン テキスト生成装置、電子機器及びプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868924B2 (en) 2005-03-16 2011-01-11 Fujifilm Corporation Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
JP2006295889A (ja) * 2005-03-16 2006-10-26 Fuji Photo Film Co Ltd 撮像装置、撮像方法、アルバム作成装置、アルバム作成方法、アルバム作成システム、及びプログラム
US8345118B2 (en) 2005-03-16 2013-01-01 Fujifilm Corporation Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and computer readable medium
JP4624933B2 (ja) * 2005-03-16 2011-02-02 富士フイルム株式会社 撮像装置、撮像方法、アルバム作成装置、アルバム作成方法、アルバム作成システム、及びプログラム
WO2006098418A1 (en) * 2005-03-16 2006-09-21 Fujifilm Corporation Image capturing apparatus, image capturing method, album creating apparatus, album creating method, album creating system and program
JP4579169B2 (ja) * 2006-02-27 2010-11-10 富士フイルム株式会社 撮影条件設定方法およびこれを用いた撮影装置
JP2007228458A (ja) * 2006-02-27 2007-09-06 Fujifilm Corp 撮影条件設定方法およびこれを用いた撮影装置
JP2010509695A (ja) * 2006-11-14 2010-03-25 イーストマン コダック カンパニー 顔認識のためのユーザーインターフェース
JP2009135616A (ja) * 2007-11-28 2009-06-18 Olaworks Inc 通信端末、情報処理方法及びプログラム
JP2010016796A (ja) * 2008-06-06 2010-01-21 Sony Corp 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US8467581B2 (en) 2008-06-06 2013-06-18 Sony Corporation Image capturing apparatus, image capturing method, and computer program
US8477207B2 (en) 2008-06-06 2013-07-02 Sony Corporation Image capturing apparatus, image capturing method, and computer program
WO2014128751A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
CN104933391A (zh) * 2014-03-20 2015-09-23 联想(北京)有限公司 用于进行面部识别的方法和装置、以及电子设备
CN104933391B (zh) * 2014-03-20 2018-08-10 联想(北京)有限公司 用于进行面部识别的方法和装置、以及电子设备
JP2017167793A (ja) * 2016-03-16 2017-09-21 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10262193B2 (en) 2016-03-16 2019-04-16 Fujifilm Corporation Image processing apparatus and method which determine an intimacy between a person in an image and a photographer of the image
JP2018190430A (ja) * 2018-06-14 2018-11-29 株式会社ニコン テキスト生成装置、電子機器及びプログラム

Also Published As

Publication number Publication date
JP4427714B2 (ja) 2010-03-10

Similar Documents

Publication Publication Date Title
US8886222B1 (en) Intuitive computing methods and systems
JP3992909B2 (ja) 本人画像提供システム
CN101427263B (zh) 选择性地拒绝数字图像的方法和设备
US8587670B2 (en) Automatic capture modes
JP5818799B2 (ja) デジタル画像の美的品質の推定方法
KR101796008B1 (ko) 센서-기반 모바일 검색, 관련 방법들 및 시스템들
US8334902B2 (en) System and method for facilitating the use of whiteboards
JP2009526302A (ja) デジタルデータに対するタグ付け方法及びシステム
US20020070945A1 (en) Method and device for generating a person's portrait, method and device for communications, and computer product
US20140226900A1 (en) Methods for extracting objects from digital images and for performing color change on the object
JP4168940B2 (ja) 映像表示システム
US20130201344A1 (en) Smart camera for taking pictures automatically
JP2005250950A (ja) マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
US20120014567A1 (en) Wireless Location and Facial/Speaker Recognition System
CN101164083B (zh) 影集产生设备及影集产生方法
JP2008521133A (ja) 分散ベースのイベント・クラスタリング
JP2010509695A (ja) 顔認識のためのユーザーインターフェース
JP2006165822A (ja) 電子カメラおよびプログラム
JP4725377B2 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
JP5934653B2 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US8180396B2 (en) User augmented reality for camera-enabled mobile devices
US20150023596A1 (en) Person clothing feature extraction device, person search device, and processing method thereof
US10089327B2 (en) Smart camera for sharing pictures automatically
US20160026257A1 (en) Wearable unit for selectively withholding actions based on recognized gestures
CN104572905B (zh) 照片索引创建方法、照片搜索方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A977 Report on retrieval

Effective date: 20090717

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Effective date: 20090723

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20091119

Free format text: JAPANESE INTERMEDIATE CODE: A01

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091202

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121225

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20131225

LAPS Cancellation because of no payment of annual fees