JP2008146137A - 画像認識装置、電子機器、画像認識方法、制御プログラム及び記録媒体 - Google Patents

Abstract

【課題】顔認識の高速化が可能な画像認識装置、電子機器、画像認識方法、制御プログラ
ム及び記録媒体を提供する。
【解決手段】複数の顔画像のそれぞれの認識に使用する複数の照合用情報と、顔画像のそ
れぞれの表情を特定する複数の表情情報とを対応づけて格納するテーブルデータを作成し
、これら照合用情報の照合順を、テーブルデータ内の照合用情報のそれぞれに対応する表
情情報に基づいて設定するようにした。この場合、テーブルデータ内の複数の表情情報に
基づいて表情毎に出現頻度を算出し、この出現頻度の順に、照合用情報の照合順を設定す
るようにした。
【選択図】図７

Description

本発明は、顔画像を認識する技術に関し、特に顔認識の高速化を実現する画像認識装置
、電子機器、画像認識方法、制御プログラム及び記録媒体に関する。

従来、データベースに顔認識用の照合用情報を登録しておき、検出対象の顔画像と照合
して顔認識する画像認識装置が知られている。この種の画像認識装置は、顔の位置、大き
さ、向き、傾き、画像の明度等の影響を受けやすいため、同一人物の様々な顔や複数の人
物の顔を検出できるように様々なバリエーションの画像に対応する多数の照合用情報を登
録したものがある。また、この種の画像認識装置には、人物を認識できなかった場合に、
新たに照合用情報をデータベースに登録する機能を具備するものもある（例えば特許文献
１参照）。
特開２００２−２８８６７０号公報

しかし、従来の構成では、照合用情報等の容量が膨大になると、その分、照合に要する
時間が長くなってしまい、顔認識に時間がかかってしまう問題があった。また、従来の画
像認識装置は、セキュリティー分野への適用が多く、顔画像の登録作業や更新作業が明示
的に発生する。このため、作業の利便性がより重要視される分野、例えば、画像検索アプ
リケーション分野へ適用し難い問題があった。

本発明は、上述した事情に鑑みてなされたものであり、顔認識の高速化が可能な画像認
識装置、電子機器、画像認識方法、制御プログラム及び記録媒体を提供することにある。

上述課題を解決するため、本発明は、画像認識装置において、複数の顔画像のそれぞれ
の認識に使用する複数の照合用情報と、前記顔画像のそれぞれの表情を特定する複数の表
情情報とを対応づけて保持する保持手段と、前記複数の照合用情報の照合順を、前記照合
用情報のそれぞれに対応する前記表情情報に基づいて設定する照合順設定手段と、前記照
合順設定手段により設定された照合順に従って、認識対象の画像に対して前記照合用情報
を照合する照合手段とを備えることを特徴とする。この発明によれば、複数の照合用情報
の照合順を、照合用情報のそれぞれに対応する表情情報に基づいて設定するので、出現頻
度が高い表情に対応する照合用情報を優先した照合順を設定することができ、顔認識の高
速化を図ることができる。

上記構成において、前記保持手段は、人物情報と、前記人物情報に対応する顔画像のそ
れぞれの認識に使用する前記複数の照合用情報と、前記顔画像のそれぞれの表情を特定す
る前記複数の表情情報とを対応付けて保持し、前記照合順設定手段は、前記人物情報毎に
、前記表情情報に基づいて前記照合用情報の照合順を設定することが好ましい。この構成
によれば、人物に応じて表情に基づく照合用情報の照合順を設定することができる。

また、上記構成において、前記照合順設定手段は、前記保持手段に保持された前記複数
の表情情報に基づいて表情毎の出現頻度を算出し、前記出現頻度の順に、前記複数の照合
用情報の照合順を設定することが好ましい。この構成によれば、複数の表情情報に基づい
て表情毎の出現頻度を算出し、この出現頻度の順に複数の照合用情報の照合順を設定する
ので、確実に顔認識の高速化を図ることができる。この場合、前記照合順設定手段は、前
記複数の表情情報に基づいて表情毎にグループに分け、前記グループのそれぞれに含まれ
る前記表情情報に対応する顔画像の数から前記出現頻度を算出することが好ましい。この
構成によれば、出現頻度を正確に算出することができる。

また、上記構成において、前記照合順設定手段は、前記出現頻度が高い前記グループほ
ど、前記グループに対応する複数の照合用情報の中から照合候補として選ぶ照合用情報の
数を多くすることが好ましい。この構成によれば、出現頻度が高い表情の照合用情報の数
を増やすので、高精度な顔認識を可能にしつつ、照合回数を減らすることができ、これに
よっても顔認識の高速化が可能になる。この場合、前記照合順設定手段は、前記グループ
に対応する複数の照合用情報の中から複数の照合候補を選ぶ場合、前記照合用情報のそれ
ぞれに対応する特徴量が異なるものを選ぶことが好ましい。この構成によれば、同じ表情
と判断される様々な顔の人物を高精度で認識することができる。

また、上記構成において、前記照合順設定手段は、設定した照合順位を、前記複数の照
合用情報と対応づけて前記保持手段に保持させることが好ましい。この構成によれば、照
合順から対応する照合用情報を容易に特定することができる。

さらに、上記構成において、前記照合手段は、認識対象の前記画像が認識された場合に
、前記画像から得た特徴情報を前記照合用情報として前記保持手段に追加すると共に、前
記画像から得た前記表情情報を対応づけて前記保持手段に追加し、前記照合順設定手段は
、前記照合順を再設定することが好ましい。この構成によれば、過去の照合結果を反映し
て顔認識の高速化に最適な照合順を設定することができる。また、本発明は、画像認識装
置を備える電子機器に広く適用可能である。

また、本発明は、顔画像を認識する画像認識装置の制御方法において、複数の顔画像の
それぞれの認識に使用する複数の照合用情報と、前記顔画像のそれぞれの表情を特定する
複数の表情情報とを対応づけて保持部に保持し、前記複数の照合用情報の照合順を、前記
照合用情報のそれぞれに対応する前記表情情報に基づいて設定し、設定された前記照合順
に従って、認識対象の画像に対して前記照合用情報を照合することを特徴とする。この発
明によれば、複数の照合用情報の照合順を、照合用情報のそれぞれに対応する表情情報に
基づいて設定するので、出現頻度が高い表情に対応する照合用情報を優先した照合順を設
定することができ、顔認識の高速化を図ることができる。

また、本発明は、以上説明した画像認識装置、電子機器及び画像認識装置の制御方法に
適用する他、この発明を実施するための制御プログラムを電気通信回線を介してダウンロ
ード可能にしたり、そのようなプログラムを、磁気記録媒体、光記録媒体、半導体記録媒
体といった、コンピュータに読み取り可能な記録媒体に記憶して配布する、といった態様
でも実施され得る。

本発明に係る画像認識装置、電子機器、画像認識方法、制御プログラム及び記録媒体に
よれば、複数の照合用情報の照合順を、照合用情報のそれぞれに対応する表情情報に基づ
いて設定するので、出現頻度が高い表情に対応する照合用情報を優先した照合順を設定し
て顔認識の高速化を図ることができる。

以下、図面を参照して本発明の実施形態を詳述する。本実施形態では、デジタルカメラ
等で撮影した人物を含む画像を用いて、その被写体が誰であるのかを認識する画像認識装
置（顔認識装置）に適用した場合を例に説明する。
図１は、本実施形態に係る画像認識装置１０の機能構成を示すブロック図である。この
画像認識装置１０は、認識対象の画像を入力する画像入力部（入力手段）１１と、この画
像入力部１１に入力された画像に対し、登録情報保持部（保持手段）２１に登録された照
合用情報を順次照合する照合部（照合手段）２０と、照合用情報を更新する登録情報更新
部（照合順設定手段）１３と、入力された画像に照合部２０により認識された人物（被写
体）を特定するタグ情報を対応付けるタグ付け部（タグ付け手段）１４と、入力された画
像等を格納する画像格納部（格納手段）１５とを備えている。

画像入力部１１は、顔画像が含まれる画像データを入力するものであり、例えば、デジ
タルカメラで撮影した画像データ、スキャナで読み取られた画像データ、或いは、インタ
ーネット等の通信回線を介して取得した画像データを入力する。なお、画像入力部１１へ
の画像入力方法は、有線又は無線による通信で入力してもよいし、記録媒体に記録された
画像データを読み取って入力してもよい。

照合部２０は、顔検出部２２と、顔認識部２３と、表情認識部２４と、登録情報保持部
２１とを備えている。顔検出部２２は、画像入力部１１が入力した画像データを解析して
顔領域を検出する顔領域検出手段として機能する。具体的には、この顔検出部２２には、
輝度やエッジから生成される画像特徴量に基づいて特定の大きさの画像を顔らしい領域と
検出する方式や、顔画像が肌色であることを利用して色分布に基づき顔があるらしい領域
を検出する肌色利用方式や、顔部品を検出することによって顔があるらしい領域を検出す
る顔部品検出方式や、これら方式を併用した方式等が適用される。この場合、顔検出部２
２は、多層ニューラルネットワーク、サポートベクトルマシン、判別分析等の統計的な手
法を用いて実現することができる。
また、それ以外の手法の例としては、例えば、「荒木祐一，島田伸敬，白井良明：“背
景と顔の方向に依存しない顔の検出と顔方向の推定”、信学技報，ＰＲＭＵ２００１−２
１７，ｐｐ．８７−９４（２００２−０１）」がある。この参考文献によれば、顔の部位
を確率付きで求め、弛緩法を用いて顔の検出を行うことが可能になる。

顔認識部２３は、顔検出部２２によって検出された顔領域（顔画像）の人物（被写体）
を認識する顔認識手段として機能する。具体的には、顔認識部２３は、検出された顔領域
に対し、登録情報保持部２１に保持された複数の照合用情報を順次照合することによって
、その顔領域に対応する人物を特定する。例えば、ニューラルネットワーク等の統計的な
手法を用いた学習により、顔検出部２２が検出した顔領域の画像（顔画像）と、照合用情
報が対応する顔画像とに若干の相違（例えば、各顔画像から抽出した特徴情報に相違）が
あっても、顔認識可能な顔認識部２３を実現することができる。
また、それ以外の手法の例としては、例えば、「特開平９−２５１５３４号公報“人物
認証装置及び人物認証方法”」がある。この参考文献によれば、輝度変化等に影響されず
に、入力画像から目、鼻などの特徴点を安定に抽出して人物認証を高精度に行うことが可
能になる。

表情認識部２４は、顔検出部２２によって検出された顔領域の画像（顔画像）の表情を
認識する表情認識手段として機能する。具体的には、表情認識部２４は、顔検出部２２に
よって検出された顔画像から表情認識特徴量を検出し、例えば、予め収集した表情が既知
の顔画像（一例として、６つの基本的な表情（普通、悲しみ、嫌悪、喜び、怒り、驚き）
の顔画像）から統計的な手法により得た表情毎の特徴を元に、表情を分類することができ
る。この統計的な手法は、上述したニューラルネットワークや判別分析等を適用すればよ
い。
また、それ以外の手法の例としては、例えば、「特開平８−２４９４５３号公報“顔の
表情認識装置”」がある。この参考文献によれば、顔画像の特徴ベクトルを抽出し、喜怒
哀楽等のカテゴリ別に量子化することで、各カテゴリの表情を認識することが可能になる
。

登録情報保持部２１は、照合部２０が使用する照合用情報等を記述したテーブルデータ
Ｔ０等の各種データを保持する保持手段として機能する。図２は、テーブルデータＴ０の
一例を示す図である。図２に示すように、テーブルデータＴ０は、人物ＩＤと、画像Ｎｏ
と、アクセス順位と、顔認識特徴量と、表情認識特徴量とに対応するフィールドが設定さ
れている。人物ＩＤのフィールドには、人物（被写体）を特定する人物情報として使用さ
れる識別子（以下、人物ＩＤという。図示の例では、Ａ０００１、Ａ０００２、・・・）
が格納される。また、画像Ｎｏのフィールドには、同レコード内の人物ＩＤに対応する登
録済みの顔画像のデータ（以下、顔データという）を特定する識別子（以下、画像Ｎｏと
いう、図示の例では、Ｎ０００１、Ｎ０００２、・・・）が格納される。

また、顔認識特徴量のフィールドには、同レコード内の画像Ｎｏに対応する顔データか
ら検出した顔認識特徴量を数値化した情報（以下、顔特徴情報という）が格納される。こ
の顔特徴情報は、この情報を検出した顔データに含まれる顔画像と一致或いは近似する顔
画像の認識を可能にする照合用情報として使用される。この顔特徴情報は、例えば、目の
間隔や、目が一重か二重か、鼻の大きさ、口の大きさ等の顔の各部（目、鼻、口等）の特
徴を所定の規則で数値化した情報（図２の例では各特徴項目をカンマ区切りで区別した情
報）が適用される。
また、表情認識特徴量のフィールドには、同レコード内の画像Ｎｏに対応する顔データ
から検出した表情認識特徴量を示す情報（以下、表情情報という）が格納される。本実施
形態では、この表情情報は、例えば、口の形状、眉毛の傾き等の表情に応じて一定の傾向
を持つ特徴を所定の規則で数値化した情報（図２の例では各特徴項目をカンマ区切りで区
別した情報）が適用される。

アクセス順位のフィールドには、顔認識部２３が照合を行う際の照合順位（アクセス順
位）が格納される。本実施形態では、同一の人物ＩＤ毎に、この人物ＩＤに対応する顔特
徴情報の照合順位が割り当てられる。
登録情報更新部１３は、登録情報保持部２１に格納された複数の顔特徴情報の照合順を
設定する照合順設定手段として機能するものである。以下、この照合順の設定方法の概略
を説明する。図３（Ａ）に示すように、登録情報更新部１３は、まず、上記テーブルデー
タＴ０を参照し、同一の人物ＩＤの各表情情報に基づき、同一又は近似の表情毎にグルー
プを設定する。次に、登録情報更新部１３は、図３（Ｂ）に示すように、各グループのそ
れぞれに含まれる表情情報に対応する顔画像の数を、その人物の顔画像に出現した表情の
出現頻度として算出し、この出現頻度が多い順に照合順を割り当てる。

図３（Ａ）（Ｂ）の例では、「第１の表情の顔（笑い顔）」に相当するグループ「１」
が１１枚、「第２の表情の顔（キメ顔）」に相当するグループ「２」が９枚、「第３の表
情の顔」に相当するグループ「３」が５枚、「第４の表情の顔」のグループ「４」が３枚
の場合を示している。この場合、グループ「１」の出現頻度は、総数２８枚に対する１１
枚の割合である３９．３％と算出され、グループ「２」の出現頻度は３２．１％、グルー
プ「３」の出現頻度は１７．９％、グループ「４」の出現頻度は１０．７％と算出される
。また、上述のグループ分けは、Ｋ平均アルゴリズム等の手法が適用され、Ｋ平均アルゴ
リズムを使用した場合は、表情情報をｎ次元ベクトルとして扱い、ユークリッド距離等を
使用してクラスタリングを行い、クラスタリングされた結果として、グループ番号とグル
ープ内に含まれる表情情報に対応する顔画像の枚数を記録しておき、グループ内に含まれ
る顔画像の枚数から出現頻度を算出することができる。

タグ付け部１４は、顔認識部２３により入力画像に含まれた人物に対応する人物ＩＤが
特定された場合に、入力画像に対応する顔データと人物ＩＤとを対応づける対応付け手段
として機能する。より具体的には、画像格納部１５にテーブルデータを作成し、このテー
ブルデータに顔データの識別子（上記したＮ０００１、Ｎ０００２、・・）と人物ＩＤと
を対応付けて記録する。
画像格納部１５は、上述した顔データと人物ＩＤとを対応付けたテーブルデータや、顔
データを格納する画像格納手段として機能するものである。このように、顔データと人物
ＩＤとを対応づけしておくことで、人物ＩＤを検索キーとして顔データを容易に検索する
ことが可能になる。

この画像認識装置１０の各部のうち、画像入力部１１と、各種情報を記憶する記憶部（
登録情報保持部２１と画像格納部１５）を除く部分は、ソフトウェア処理或いはハードウ
ェア処理で各種演算処理を実行する情報処理部で構成することができる。このため、実際
に画像認識装置１０を構成する場合には、図４に示すように、例えば、画像入力部１１と
して機能する入力装置１００と、情報を格納する部分（登録情報保持部２１と画像格納部
１５）として機能するハードディスク装置等の補助記憶装置１１０とを備え、その他の部
分をソフトウェア処理で行うＣＰＵ１２０やＲＯＭ１２１やＲＡＭ１２２といった汎用の
コンピュータシステムで構成することが可能である。

なお、図４において、入力装置１００は、デジタルカメラや記録媒体等から画像を入力
するハードウェア装置の他に、ユーザが人物ＩＤ等の入力や各種操作を行うためのキーボ
ード等の操作装置を含んでいる。また、インターフェース（Ｉ／Ｆ）１３０は、入力装置
１００と、ＣＰＵ１２０、ＲＯＭ１２１及びＲＡＭ１２２が接続されるバス１３１とを接
続して情報の入出力を行う入出力手段として機能するものであり、出力装置１４０は、こ
のコンピュータシステムに接続された表示装置やプリンタ等である。

この構成の場合、顔データと人物ＩＤとを対応付けたテーブルデータは補助記憶装置１
１０に格納されることとなる。そして、このコンピュータに、画像検索アプリケーション
をインストールし、この画像検索アプリケーションが、ユーザ指示に基づき、上記テーブ
ルデータを参照して人物ＩＤを検索キーとして顔データを検索する機能を具備することに
よって、ユーザは、容易に所望の人物の画像データを迅速に抽出することが可能になる。
このため、この検索結果を得たユーザは、所望の人物が写った画像データの取り扱いが容
易になり、例えば、画像データの人物毎の整理を行うことや、ある特定の人物が写った画
像データだけを表示装置に表示させることや、ある特定人物の画像データだけをプリンタ
から印刷させるといった作業を容易に行うことが可能になる。

次に、この画像認識装置１０の動作を説明する。図５は、顔／表情認識用画像の登録処
理を示すフローチャートである。この登録処理は画像認識装置１０を初めて使用する際に
実施する処理である。前提として、ユーザが、顔画像の画像データを画像認識装置１０の
画像格納部１５に予め格納しているものとする。なお、以下の説明では、画像入力部１１
が画像格納部１５に格納された画像データを取り込むものとして説明する。
画像認識装置１０の制御部（図４の構成の場合のＣＰＵ１２０に相当、以下、説明を分
かり易くするため、制御部１２０と表記する）は、画像格納部１５に格納された画像デー
タ（格納画像）に登録処理が未処理のものがあるか否かを判定し（ステップＳ１１）、未
処理の画像があればステップＳ１２の処理に移行し、未処理の画像がなければ登録処理を
終了する。

ステップＳ１２の処理に移行すると、制御部１２０は、画像入力部１１により未処理の
画像データを１画像分だけ取り込む。次いで、制御部１２０は、取り込んだ画像データに
ついて顔検出部２２による顔検出を実行して顔領域を検出する（ステップＳ１３）。この
とき、制御部１２０は、検出された顔領域の位置（ｘ、ｙ座標）や顔の輪郭を含めた顔サ
イズ等をメモリ（図４の構成の場合のＲＡＭ１２２に相当）に記録しておく。
次に、制御部１２０は、検出した顔領域の情報に基づき、顔認識部２３により目、鼻、
口等の顔部位を検出し（ステップＳ１４）、この検出結果に基づき顔認識特徴量を数値化
した顔特徴情報（照合用情報）を抽出すると共に、表情認識部２４により表情認識特徴量
を数値化した表情情報を抽出し（ステップＳ１５）、これら顔特徴情報及び表情情報を、
ユーザが指示した人物ＩＤと対応づけて、登録情報保持部２１内のテーブルデータＴ０に
格納する（ステップＳ１６）。

このステップＳ１６の処理が終了すると、ステップＳ１１の処理に移行することにより
、未処理の画像データ毎に、上記ステップＳ１２〜Ｓ１６の処理が実行され、格納された
画像データに上記処理を施すと登録処理が終了する。これにより、顔認識に使用する顔特
徴情報（照合用情報）と、表情を特定する表情情報と、人物ＩＤとが対応づけられたテー
ブルデータＴ０が作成される。テーブルデータＴ０が作成されると、画像データ中の人物
を自動認識可能な顔認識処理が可能になる。

図６は顔認識処理を示すフローチャートである。ユーザが新たに画像データを格納し、
画像データの取り込み（或いは、画像データの整理）を指示すると、制御部１２０は、取
り込み対象の画像データ（格納画像）に未処理のものがあるか否かを判定し（ステップＳ
２１）、未処理の画像があればステップＳ２２の処理に移行し、未処理の画像がなければ
顔認識処理を終了する。
ステップＳ２２の処理に移行すると、制御部１２０は、未処理の画像データを１画像分
だけ取り込み、顔検出部２２による顔検出を実行する（ステップＳ２３）。この顔検出に
おいて、顔領域が検出されなかった場合には（ステップＳ２４：ＮＯ）、顔を含まない画
像であると判断できるため、制御部１２０は、その旨を図示せぬ報知手段（表示装置等）
によりメッセージ等で報知する報知処理を実行した後、ステップＳ２１の処理へ移行し、
次の未処理の画像データの取り込みを行う。

一方、顔領域が検出された場合（ステップＳ２４：ＹＥＳ）、制御部１２０は、ステッ
プＳ２５の処理へ移行し、顔認識部２３により目、鼻、口等の顔部位を検出する。続いて
、制御部１２０は、顔認識部２３により顔認識の処理を実行することにより、認識対象の
画像データに対し、テーブルデータＴ０に格納された顔特徴情報と順次照合する処理を行
い、その画像データに含まれる顔の人物の特定を行う（ステップＳ２６）。この場合、顔
認識部２３は、テーブルデータＴ０に格納された照合順位（アクセス順位）に従った照合
順で認識対象の画像データに対して顔特徴情報を順次照合する。

この場合の照合は、人物毎に照合順位（アクセス順位）が設定された顔特徴情報を照合
順で順次照合する方法が適用される。具体的には、図２に示すテーブルデータＴ０の場合
、まず、人物ＩＤ「Ａ０００１」について、アクセス順位「１」の画像Ｎｏ「Ｎ０００４
」の顔特徴情報で照合し、次にアクセス順位「２」の画像Ｎｏ「Ｎ０００２」の顔特徴情
報で照合し、・・・、次に、人物ＩＤ「Ａ０００２」について、アクセス順位「１」の画
像Ｎｏ「Ｎ００１３」の顔特徴情報で照合し、次にアクセス順位「２」の画像Ｎｏ「Ｎ０
０１１」の顔特徴情報で照合し、・・・、といった照合順で照合を行う。なお、いずれの
人物（人物ＩＤ）から照合を行うかは、人物毎に、照合によって特定された回数を記憶し
ておき、最も回数が多かった人物に対応する顔特徴情報から順に照合することが好ましい
。

また、上記方法以外に、同じ照合順位のものから順次照合する方法を適用してもよい。
具体的には、図２に示すテーブルデータＴ０の場合、アクセス順位「１」の各顔特徴情報
を、全ての人物について順次照合した後、次に、アクセス順位「２」の各顔特徴情報を、
全ての人物について順次照合する、といった照合順で照合を行う。この場合も、いずれの
人物から照合を行うかは、人物毎に顔認識された回数を記憶しておき、最も回数が多かっ
た人物に対応する顔特徴情報から順に照合することが好ましい。

上述した照合順位（アクセス順位）は、登録情報更新部１３により、人物の顔画像に出
現した表情の出現頻度が多い順に設定されるので、出現頻度が多い顔画像の顔特徴情報か
ら順に照合することができる。従って、認識対象の画像データに適合する可能性の高い顔
特徴情報から順に照合することが可能になる。従って、顔認識に要する時間（人物特定に
要する時間）が短縮化され、顔認識の高速化が可能になる。

なお、この照合処理の際、ステップＳ２５で検出した顔部位等の特徴を利用することで
、より高精度な人物認証が可能である。そして、このステップＳ２６の処理において、テ
ーブルデータＴ０に登録された人物ＩＤの人物と特定できた場合、制御部１２０は、ステ
ップＳ２７の認識結果記録処理を行った後、ステップＳ２１の処理へ移行する。
このステップＳ２７の認識結果記録処理においては、制御部１２０は、タグ付け部１４
により画像データと人物ＩＤとを対応づけるべく画像格納部１５に作成されたテーブルデ
ータに画像データの識別子と人物ＩＤとを対応付けて格納すると共に、上述のステップＳ
２４やＳ２５の処理の際等に、顔認識部２３により抽出した顔特徴情報（照合用情報）や
表情情報を、特定した人物ＩＤと対応付けて登録情報保持部２１内のテーブルデータＴ０
に格納する。

一方、ステップＳ２６の処理でテーブルデータＴ０に登録された人物ＩＤの人物とは特
定されなかった場合、制御部１２０は、その旨を報知手段（図示せず）によりメッセージ
等で報知する報知処理を実行し（ステップＳ２８）、この報知処理実行後に次の未処理の
画像データを取り込むべく、ステップＳ２１の処理へ移行する。

ここで、ステップＳ２８の処理の際、ユーザに対して人物情報（人物ＩＤ等）の入力を
促し、入力された人物情報に基づいてテーブルデータＴ０に追加登録を行うようにしても
よい。具体的には、入力された人物情報がテーブルデータＴ０に登録済みの人物ＩＤに対
応する場合には、テーブルデータＴ０の同じ人物ＩＤに対応づけて画像データから抽出し
た顔特徴情報（照合用情報）や表情情報を追加登録してもよい。また、入力された人物情
報が新規であった場合には、新たな人物ＩＤを発行し、この人物ＩＤをテーブルデータＴ
０に追加登録すると共に、この人物ＩＤに対応づけて、顔認識できなかった画像データか
ら抽出した顔特徴情報（照合用情報）や表情情報とを格納してもよい。このように、既存
のテーブルデータＴ０の情報では顔認識できなかった画像データについては、新たに追加
登録処理を行うことによって、同じ人物ＩＤに対応する顔特徴情報や表情情報のバリエー
ションを容易に増やすことができ、顔認識精度を向上させることができる。また、この顔
認識処理中に、新規な人物ＩＤに対応する顔特徴情報や表情情報を容易に新規登録できる
ので、認識可能な人物のバリエーションを容易に増やすことができる。

このようにして顔認識処理においては、未処理の画像データ毎に、上記ステップＳ２２
〜Ｓ２７の処理或いは上記ステップＳ２２〜Ｓ２８の処理が実行され、ユーザに指定され
た全画像データが処理済みになると顔認識処理が終了する。

次に、登録情報更新部１３の動作（照合順更新処理）を説明する。図７は、照合順更新
処理を示すフローチャートである。なお、この照合順更新処理は、時間間隔を空けて実行
される処理であり、具体的には、テーブルデータＴ０に追加登録等の登録内容に変更があ
った場合や、予め設定された周期で実行される処理である。
登録情報更新部１３は、照合順更新処理を開始すると、まず、テーブルデータＴ０内で
、この照合順更新処理を未処理の人物ＩＤが存在するか否かを判定し（ステップＳ３１）
、未処理の人物ＩＤが存在すればステップＳ３２の処理に移行し、存在しなければ照合順
更新処理を終了する。

ステップＳ３２の処理に移行すると、登録情報更新部１３は、未処理の人物ＩＤの一つ
を選択し、テーブルデータＴ０から選択した人物ＩＤに対応する表情情報を取り込み（ス
テップＳ３２）、取り込んだ表情情報に基づいてクラスタリングを行う（ステップＳ３３
）。このクラスタリングの処理は、上述したように、テーブルデータＴ０に登録画像を表
情毎にグループ分けする処理であり、Ｋ平均アルゴリズムを使用した場合、表情情報をｎ
次元ベクトル（ｎは、表情情報に含まれる表情認識特徴量の個数）として扱い、ユークリ
ッド距離が近いグループ、言い換えれば、表情がほぼ同じと考えられる範囲毎にグループ
を設定することができる。そして、登録情報更新部１３は、クラスタリングされた結果と
して、グループ番号と、グループ内に含まれる表情情報に対応する顔画像の枚数とを記録
し、グループ内の顔画像の枚数から出現頻度を計算により取得する。

続いて、登録情報更新部１３は、各グループの出現頻度に応じて照合順位（アクセス順
位）を選択する処理を行い、テーブルデータＴ０を再構築する（ステップＳ３４、Ｓ３５
）。具体的には、登録情報更新部１３は、出現頻度が最も多いグループ（図３の例ではグ
ループ「１」）からはｋ１個（ｋ１は整数）の顔画像を選び、このｋ１個（例えばｋ１＝
４）の顔画像に対応するアクセス順位のフィールドに上位の照合順位（アクセス順位、ｋ
１＝４の場合は「１」、「２」、「３」、「４」）を格納する。
また、出現頻度が次に多いグループ（図３の例ではグループ「２」）からはｋ２個（ｋ
２は０＜ｋ２＜ｋ１の条件を満たす整数、例えば、ｋ２＝３）の顔画像を選び、このｋ２
個の顔画像に対応するアクセス順位のフィールドに徐々に下位の照合順位（アクセス順位
、ｋ２＝３の場合は「５」、「６」、「７」、）を格納する。
さらに、出現頻度が次に多いグループからはｋ３個（ｋ３は０＜ｋ３＜ｋ２の条件を満
たす整数）の顔画像を選び、このｋ３個（図２の例では、ｋ３＝２）の顔画像に対応する
アクセス順位のフィールドに更に下位の照合順位（アクセス順位、ｋ３＝２の場合は「８
」、「９」）を格納する。

上述したように、本構成では、アクセス順位が設定されたレコードの顔特徴情報が照合
候補として使用されるので、上述のように、各グループ内の全ての顔画像の顔特徴情報を
照合候補にするのではなく、かつ、出現頻度が高いグループほど照合候補の顔特徴情報の
数を多く選ぶので、照合精度を高精度にしつつ照合回数を効率よく減らすことができる。
従って、これによっても顔認識の高速化が可能になる。

また、各グループから画像を選ぶ方法は、グループ内の顔画像の顔特徴情報のうち、顔
特徴情報の特徴量のベクトル距離がほぼ等間隔になるように選ぶことが好ましい。これに
よれば、同一グループであっても異なる顔特徴情報を照合候補に選ぶことができ、例えば
、表情情報から「笑い顔」と判断される顔であっても、様々な笑い顔の顔特徴情報を照合
候補に選ぶことができ、高精度な顔認識が可能になる。なお、処理を簡略化する場合は、
各グループから画像をランダムに選ぶようにしてもよい。そして、この照合順更新処理で
は、人物ＩＤ毎に上記ステップＳ３２〜Ｓ３５の処理が実行され、全ての人物ＩＤが処理
済みになると照合順更新処理を終了する。

以上説明したように、本実施形態の画像認識装置１０によれば、複数の顔画像の顔特徴
情報と複数の表情情報とを対応付けたテーブルデータＴ０を保持し、テーブルデータＴ０
に格納された表情情報に基づいて表情毎の出現頻度を算出し、この出現頻度の順に、顔特
徴情報（照合用情報）の照合順を設定するので、認識対象の画像データに適合する可能性
の高い顔特徴情報から順に照合することができ、顔認識の高速化を図ることが可能になる
。
しかも、本構成では、人物が認識された画像に対応する顔特徴情報や表情情報等をテー
ブルデータＴ０に追加登録すると共に、上述の照合順を設定する処理を時間間隔を空けて
行うので、過去の照合結果を反映した表情毎の出現頻度を算出でき、顔認識の高速化に適
切な照合順を確実に設定することができる。

さらに、本構成では、複数の表情情報に基づいて表情毎にグループに分け、各グループ
に対応する顔画像の数から出現頻度を算出すると共に、出現頻度が高いグループほど照合
候補として選ぶ顔特徴情報の数を多くするので、高精度な顔認識を可能にしつつ、かつ、
照合回数を減らすことができ、これによっても顔認識の高速化が可能になる。
また、各表情のグループの中から照合候補の顔特徴情報を選ぶ際には、異なる顔特徴情
報を選ぶので、同じ表情と判断される様々な顔の人物を高精度で認識することが可能にな
る。さらに、テーブルデータＴ０には、顔特徴情報と表情情報に加え、照合順位（アクセ
ス順位）等を対応づけて格納するので、照合順位に対応する顔特徴情報等を容易に特定す
ることが可能である。

なお、本発明は上述の実施形態に限定されるものではなく、本発明の目的を達成できる
範囲での変形、改良などは本発明に含まれるものである。例えば、上述の実施形態では、
画像に含まれる顔が予め登録された複数人のいずれに該当するか否かを認識する画像認識
装置に本発明を適用する場合について説明したが、これに限らず、画像に含まれる顔が予
め登録された一人の人物に該当するか否かを認識する画像認識装置にも適用可能であり、
例えば、個人用のパーソナルコンピュータや携帯電話機等の電子機器に内蔵され、或いは
、外付けされる画像認識装置に適用可能である。
また、人物を特定する必要がない場合、例えば、認証対象の顔画像が予め登録された顔
と一致するか否かを判定するだけでよい場合、テーブルデータＴ０から人物情報（人物Ｉ
Ｄ）を省略してもよい。これによれば、顔認識に要するデータ量を低減することが可能で
ある。

また、上述の実施形態では、表情の出現頻度順に顔特徴情報（照合用情報）の照合順を
設定する場合について説明したが、これに限らず、表情情報に基づいて顔特徴情報（照合
用情報）の照合順を設定するあらゆる形態で実施することが可能である。例えば、どの表
情を優先するかの条件をユーザ等が設定可能に構成し、この設定条件に従って顔特徴情報
（照合用情報）の照合順を設定するようにしてもよい。一例を挙げると、一般に、撮影画
像には「笑い顔」や「キメ顔」の出現頻度が多いと予想されるため、かかる出現頻度が高
い表情を優先する設定条件を設定しておき、この設定条件に従って「笑い顔」や「キメ顔
」に対応する顔特徴情報（照合用情報）を優先した照合順に設定するようにしてもよい。
この場合も顔認識の高速化を図ることができる。

また、本発明は、以上説明した本発明を実施するための処理手順が記述された制御プロ
グラムを作成し、この制御プログラムを電気通信回線を介してダウンロード可能にしたり
、そのようなプログラムを、磁気記録媒体、光記録媒体、半導体記録媒体といった、コン
ピュータに読み取り可能な記録媒体に記憶して配布する、といった態様でも実施され可能
である。

さらに、本実施形態に係る画像認識装置をカメラ、スキャナ、プロジェクタ、テレビ、
プリンタ等のあらゆる電子機器が備える形態で実施することも可能である。例えば、上述
した画像認識装置を備えるカメラは、撮影対象の顔画像の人物を認識し、撮影データの付
加情報に人物情報を付加したり、撮影データそのものに人物名等の画像情報を付加するこ
とが可能になる。また、上述した画像認識装置を備えるプリンタは、印刷対象画像に含ま
れる顔画像の人物を認識し、人物名等の画像情報を付加したり、その人物に応じたフレー
ム（枠）を自動で画像に付加して印刷するといったように、人物に基づいて画像を加工し
、印刷することが可能となる。

本実施形態に係る画像認識装置の機能構成を示すブロック図である。 テーブルデータの一例を示す図である。 （Ａ）は顔画像の表情毎のグループ分けの説明に供する図であり、（Ｂ）は顔画像の表情毎の出現頻度の一例を示す図である。 画像認識装置の構成例を示す図である。 顔／表情認識用画像の登録処理を示すフローチャートである。 顔認識処理を示すフローチャートである。 照合順更新処理を示すフローチャートである。

符号の説明

１０…画像認識装置、１１…画像入力部（入力手段）、１３…登録情報更新部（照合順
設定手段）、１４…タグ付け部（タグ付け手段）、１５…画像格納部（格納手段）、２０
…照合部（照合手段）、２１…登録情報保持部（保持手段）、２２…顔検出部（顔領域検
出手段）、２３…顔認識部（顔認識手段）、２４…表情認識部（表情認識手段）、１００
…入力装置、１１０…補助記憶装置、１２０…ＣＰＵ（制御部）、１２１…ＲＯＭ、１２
２…ＲＡＭ、１３０…インターフェース、１３１…バス。

Claims (12)

1. 複数の顔画像のそれぞれの認識に使用する複数の照合用情報と、前記顔画像のそれぞれ
   の表情を特定する複数の表情情報とを対応づけて保持する保持手段と、
   前記複数の照合用情報の照合順を、前記照合用情報のそれぞれに対応する前記表情情報
   に基づいて設定する照合順設定手段と、
   前記照合順設定手段により設定された照合順に従って、認識対象の画像に対して前記照
   合用情報を照合する照合手段と
   を備えることを特徴とする画像認識装置。
2. 請求項１に記載の画像認識装置において、
   前記保持手段は、人物情報と、前記人物情報に対応する顔画像のそれぞれの認識に使用
   する前記複数の照合用情報と、前記顔画像のそれぞれの表情を特定する前記複数の表情情
   報とを対応付けて保持し、
   前記照合順設定手段は、前記人物情報毎に、前記表情情報に基づいて前記照合用情報の
   照合順を設定することを特徴とする画像認識装置。
3. 請求項１又は２に記載の画像認識装置において、
   前記照合順設定手段は、前記保持手段に保持された前記複数の表情情報に基づいて表情
   毎の出現頻度を算出し、前記出現頻度の順に、前記複数の照合用情報の照合順を設定する
   ことを特徴とする画像認識装置。
4. 請求項３に記載の画像認識装置において、
   前記照合順設定手段は、前記複数の表情情報に基づいて表情毎にグループに分け、前記
   グループのそれぞれに含まれる前記表情情報に対応する顔画像の数から前記出現頻度を算
   出することを特徴とする画像認識装置。
5. 請求項４に記載の画像認識装置において、
   前記照合順設定手段は、前記出現頻度が高い前記グループほど、前記グループに対応す
   る複数の照合用情報の中から照合候補として選ぶ照合用情報の数を多くすることを特徴と
   する画像認識装置。
6. 請求項５に記載の画像認識装置において、
   前記照合順設定手段は、前記グループに対応する複数の照合用情報の中から複数の照合
   候補を選ぶ場合、前記照合用情報のそれぞれに対応する特徴量が異なるものを選ぶことを
   特徴とする画像認識装置。
7. 請求項１乃至６のいずれかに記載の画像認識装置において、
   前記照合順設定手段は、設定した照合順位を、前記複数の照合用情報と対応づけて前記
   保持手段に保持させることを特徴とする画像認識装置。
8. 請求項１乃至７のいずれかに記載の画像認識装置において、
   前記照合手段は、認識対象の前記画像が認識された場合に、前記画像から得た特徴情報
   を前記照合用情報として前記保持手段に追加すると共に、前記画像から得た前記表情情報
   を対応づけて前記保持手段に追加し、
   前記照合順設定手段は、前記照合順を再設定することを特徴とする画像認識装置。
9. 請求項１乃至８のいずれかに記載の画像認識装置を備えることを特徴とする電子機器。
10. 顔画像を認識する画像認識装置の制御方法において、
    複数の顔画像のそれぞれの認識に使用する複数の照合用情報と、前記顔画像のそれぞれ
    の表情を特定する複数の表情情報とを対応づけて保持部に保持し、
    前記複数の照合用情報の照合順を、前記照合用情報のそれぞれに対応する前記表情情報
    に基づいて設定し、
    設定された前記照合順に従って、認識対象の画像に対して前記照合用情報を照合するこ
    とを特徴とする画像認識装置の制御方法。
11. 顔画像を認識する画像認識装置をコンピュータにより制御するための制御プログラムに
    おいて、
    前記コンピュータを、
    複数の顔画像のそれぞれの認識に使用する複数の照合用情報と、前記顔画像のそれぞれ
    の表情を特定する複数の表情情報とを対応づけて保持する保持手段と、
    前記複数の照合用情報の照合順を、前記照合用情報のそれぞれに対応する前記表情情報
    に基づいて設定する照合順設定手段と、
    前記照合順設定手段により設定された照合順に従って、認識対象の画像に対して前記照
    合用情報を照合する照合手段として機能させるための制御プログラム。
12. 請求項１１に記載の制御プログラムが記録されたことを特徴とするコンピュータ読み取
    り可能な記録媒体。

Images