JP2007102549A - 画像検索支援装置 - Google Patents

Abstract

【課題】 キーワードやターゲットとなる画像の事前登録は一切不要であり、自動的に画像の顔部分を抽出して各々の顔の特徴量に基づくインデックスデータを提供することで、人間の識別能力をより高度にアシストする画像検索支援装置を提供する。
【解決手段】 ＣＰＵ１０は、複数コマの画像データの各々から顔画像を抽出し、抽出された顔画像と顔画像が抽出されたコマの画像データとを関連付けてＨＤＤ１３に格納し、ＨＤＤ１３に格納された顔画像の各々から顔画像の特徴量を算出し、顔画像を算出した特徴量に基づいてソートした後、表示部１４により顔画像をソート順に表示する。
【選択図】 図１

Description

本発明は、画像検索支援装置に係り、特に画像から抽出した顔画像を特徴量でソートして表示し、ユーザによる画像検索をアシストする画像検索支援装置に関する。

従来のインデックス方式による画像検索は、検索キーワード（例えば、写っている人の名前、撮影日付等）を事前に登録しておき、これをキーにして目標とする画像を探すものである。

しかし、Ｗｅｂによる画像共有システムが普及し、デジタルカメラで撮影された大量の画像が蓄積されてくると、全ての画像にキーワードを登録するには大変な労力を要することとなる。

このような問題点を解決するものとして、検索キーとなるオブジェクト画像を適切に指定することにより、ユーザの入力作業を軽減する画像検索装置（例えば、特許文献１参照。）、検索基準画像となる画像を選択させ、これに基づいて検索する画像検索装置（例えば、特許文献２参照。）、原画像から生成したインデックス画像をキーとして検索する画像検索方法（例えば、特許文献３参照。）などの技術が提案されている。
特開２００２−２０７７４１公報 特開２００５−１５７７６４公報 特開２００４−２０１０５１公報

しかしながら、これらの技術は、検索時に特定のターゲットとなる画像をユーザが指定し、ターゲットにどれくらい近似するかで装置が検索する仕組みになっている。即ち、検索行為はすべて自動化され、元来、人間が社会性動物の特性として保有している顔識別能力は活かされておらず、検索結果に誤りがあった場合でも、これを人が修正するなど人が介入する余地は残されていない、という問題点がある。

本発明は、上記問題点を解消するために成されたものであり、キーワードやターゲットとなる画像の事前登録は一切不要であり、自動的に画像データから顔部分を抽出して各々の顔の特徴量に基づいて顔画像を並べて表示するインデックスデータを提供することで、人間の識別能力をより高度にアシストすることができる画像検索支援装置を提供することを目的とする。

上記目的を達成するため、請求項１記載の画像検索支援装置は、複数コマの画像データの各々から顔画像を抽出する抽出手段と、抽出された顔画像と、顔画像が抽出されたコマの画像データとを関連付けて記憶手段に格納する格納手段と、前記記憶手段に格納された顔画像の各々から顔画像の特徴量を算出する算出手段と、前記記憶手段に格納された各顔画像を、前記算出手段で算出された前記特徴量に基づいてソートするソート手段と、前記ソート手段でソートされた各顔画像をソート順に表示する表示手段と、を含んでいる。

この発明に係る抽出手段は、画像データの各々から顔画像を抽出し、格納手段は、抽出された顔画像と顔画像が抽出されたコマの画像データとを関連付けて記憶手段に格納し、算出手段は、記憶手段に格納された各顔画像の特徴量を算出し、ソート手段は、各顔画像を特徴量に基づいてソートし、表示手段は、各顔画像をソート順に表示する。

このように、特徴量でソートした顔画像をインデックスデータとして表示することで、ユーザが求める画像を容易に検索できるようにアシストすることができる。

請求項２記載の画像検索支援装置は、記憶手段を、画像検索支援装置内に設置するか、または画像検索支援装置とネットワークを介して接続する。即ち、画像検索支援装置をスタンドアローン構成とすることも、ネットワークを介したクライアント／サーバ構成とすることもできる。

請求項３記載の画像検索支援装置は、表示手段に表示した顔画像の１つが選択されると、該顔画像と関連付けられたコマの画像データを表示手段に表示するように制御する制御手段を含む。これにより、インデックスデータとして表示された顔画像を含む原画像である画像データが自分の求める画像であるか否かをユーザ自身で確認することができる。

また、請求項４記載の画像検索支援装置では、算出手段は画像データの顔画像の顔部品に基づく固有ベクトルと顔サンプル画像の顔部品に基づく基準ベクトルとを比較することにより特徴量を算出し、請求項５記載の画像検索支援装置では、算出手段は固有ベクトルと基準ベクトルとの差の絶対値の総和を求めることにより特徴量を算出する。

以上説明したように、本発明によれば、画像データの顔部分を抽出し、顔の特徴量でソートされた顔画像から成るインデックスデータを自動的に作成するため、事前登録が不要で、ユーザはインデックスデータを目視しながら画像を選択することにより、所望の画像に容易に到達することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を説明する。図１は本実施の形態に係る画像検索支援装置の構成を示すブロック図である。

同図において、ＣＰＵ１０は、本実施の形態に係る画像検索支援装置全体の動作を司る中央演算処理装置、ＲＯＭ１１はブートプログラム等を記憶したメモリ、ＲＡＭ１２はＣＰＵ１０によって実行される本装置の制御ルーチンがロードされる際にワークエリアとして使用されるメモリである。ＨＤＤ（ハードディスク・ドライブ）１３は大容量記憶装置であり、複数の画像データ、これらの画像から抽出した顔画像データ及び顔サンプル画像の基準ベクトルが保存される。表示部１４はＣＲＴディスプレイや液晶パネル等の表示装置であり、操作部１５は、キーボードやマウス、ライトペン等のポインティング・デバイスを備え、ここからの指示に応じて制御ルーチンが実行される。

尚、本実施の形態では、ＰＣ（パーソナル・コンピュータ）単独のスタンドアローン構成としているが、ネットワークＩ／Ｆ１６を介してネットワーク上の画像データを記憶したサーバと接続し、制御やデータの保存はサーバに委ね、ＰＣは端末として使用するクライアント／サーバ・システムの構成として実行してもよい。

次に、本発明の実施の形態の作用を図２に示した制御ルーチンを表すフローチャートに沿って説明する。

ステップ１００では、先ず、本実施の形態に係る画像検索支援装置に登録すべき原画像である画像データを入力する。画像データとしてはデジタルカメラで撮影した画像、スキャナで入力した画像又はインターネットから入手した画像などが考えられるが、画像データがデジタル形式でＨＤＤ１３に格納されている必要がある。入力は、例えば、操作部１５のマウス等で登録する画像データを単一のファイル又はフォルダ（又はディレクトリ）ごと指定することにより行う。

これと同時に、入力された画像データから顔画像を抽出する。ここで抽出された顔画像は、後にインデックスデータとして使用される。また、画像データから顔画像を抽出する方法は公知のいかなる方法でもよく、本実施の形態ではその方法は問わない。

例えば、予め様々な人物の様々な方向の顔で瞳と鼻孔が含まれている顔辞書パターン（例えば、３０×３０ピクセル）を登録しておき、撮像データ全体を移動させながら、かつ撮像データのスケール変化を行いながら顔辞書パターンとの類似度を計算し、閾値評価を行うことにより顔領域の画像を抽出するテンプレート・マッチングによる方法などであるが、これに限定するものではない。

ステップ１１０では、画像データ中の顔の存否、即ち、ステップ１００での顔画像の抽出処理の成否を判定する。本装置の特徴から、人物が写った写真を登録するはずであるので通常は顔が抽出できるが、後ろ向きで写っているなどの理由で顔が抽出できない場合や、間違って入力した場合など顔画像が抽出できない場合が考えられる。顔画像が抽出できた場合にはステップ１２０に進み、顔画像が抽出できなかった場合には、本装置への登録は行わずに処理を終了する。

ステップ１２０では、ステップ１００で抽出された顔画像及びその顔画像が含まれる原画像をＨＤＤ１３内のデータベースに格納することによって、本装置へ登録する。登録時には、図４に示す登録ウィンドウ４０が表示部１４に表示される。原画像は画面上方の大きな原画像表示域４２に表示され、顔画像は画面下方の顔画像表示域（サムネイル領域）４４に小さく表示される。図４の例では、１枚の原画像から４人の顔画像が抽出されている。また、この時、抽出された顔画像と顔が含まれる原画像とを関連付けておく。これは、顔画像から容易に原画像を検索できるようにしておくためである。

ステップ１３０では、抽出した顔画像の特徴量を算出する。特徴量とは、それぞれの顔が有する特徴を示す数値であり、同一人物の顔画像からは略同一の数値、類似する顔画像からは近い数値が得られる。

特徴量の算出に当たっては、先ず、顔画像の目の位置を基準とした例えば１００個程度の固有ベクトルａを求める。固有ベクトルとしては、例えば図３に示すように、一方の目を始点とし且つ他方の目を終点とするベクトル、目を始点とし且つ眉毛を終点とするベクトル、目を始点とし且つ鼻孔を終点とするベクトル、目を始点とし且つ唇端を終点とするベクトルなどがある。このようにして下記（１）式に示す固有ベクトルａを求める。

次に、基準ベクトルを求める。基準ベクトルとは、顔サンプル画像の固有ベクトルである。顔サンプル画像は、一般的なある人物の顔画像、または、ある集合の平均的な顔画像を用いることもできる。この顔サンプル画像の固有ベクトルを下記（２）式のように基準ベクトルｘとして固有ベクトルと同数求める。本実施の形態では、この基準ベクトルを予め求めておきＨＤＤ１３に記憶しておく。

次に、上記の固有ベクトルａと基準ベクトルｘとの差δを下記（３）式により求める。ここで、各々の固有ベクトルと基準ベクトルの差を下記（４）式のように表わし、これらの絶対値の総和Ｓを求めると下記（５）式となる。この総和Ｓを当該顔画像の特徴量とする。

なお、本実施の形態では、特徴量の算出は上述の固有顔方式に基づいて行ったが、この方式にこだわるものではない。

ステップ１４０では、ＨＤＤ１３に格納してある顔画像を、算出した特徴量に基づいてソートする。特徴量でソートすることによって、特徴量が近似する顔画像（即ち、類似する顔画像）が並ぶことになる。

ステップ１５０では、図５に示すように、特徴量でソートされた顔画像をインデックスデータとして表示部１４のインデックス表示ウィンドウ４８に複数の顔画像表示域４４からなるインデックス表示域４６に表示する。表示された顔画像のインデックスデータは、類似する顔ほど連続した領域に並んで表示される。

また、ステップ１６０では、図６に示すように、ユーザがインデックス表示域４６内の１つの顔画像表示域４４を指定（ダブルクリック等）することにより、その顔画像表示域４４に表示される顔画像が含まれる原画像が、ポップアップする原画像ウィンドウ５０に大きく表示される。これによって、その顔画像を含む原画像が確かに自分が所望するものであるか否かを確認することができる。

このように、ユーザはインデックスデータを目視することにより、更にインデックスデータの顔画像から原画像を確認することにより、自分の求める顔画像（多くの場合は自分の顔）が表示されている場所を確認でき、インデックスの「ここからここまでが多分自分の顔である。」という範囲指定を、操作部１５のマウス等で行うことで、自分が求めたい画像に容易に到達することができる。

もちろん、常に自分の顔画像が１つの範囲に連続して並ぶとは限らない。例えば、偶々横を向いている顔が写っていたために正確な特徴量が算出できず、間に他の人の顔画像が入ってしまい、インデックス上で自分の顔が離れた場所に表示されることなどが想定されるが、このような横を向いている写真はあまり必要ではない場合が多いと考えられ、また、かかる場合でも範囲指定とは別に単独で選択することも可能であり、大きな問題とはならない。

このように、画像の検索を完全に自動化するのではなく、画像を選択するためのユーザ・インタフェースを提供し、後の選択はユーザ自身で行うようにアシストする点に本画像検索支援装置の特長がある。

本実施の形態における画像検索支援装置の構成を示したブロック図である。 制御ルーチンの処理の流れを示したフローチャートである。 顔画像の固有ベクトルを示した図である。 画像の登録時に表示される画面の図である。 顔インデックスデータの一覧が表示された画面の図である。 顔インデックスデータから選択した顔画像が含まれる原画像が表示された画面の図である。

符号の説明

１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１３ ＨＤＤ
１４ 表示部
１５ 操作部
１６ ネットワークＩ／Ｆ
４０ 登録ウィンドウ
４２ 原画像表示域
４４ 顔画像表示域（サムネイル領域）
４６ インデックス表示域
４８ インデックス表示ウィンドウ
５０ 原画像ウィンドウ

Claims (5)

1. 複数コマの画像データの各々から顔画像を抽出する抽出手段と、
   抽出された顔画像と、顔画像が抽出されたコマの画像データとを関連付けて記憶手段に格納する格納手段と、
   前記記憶手段に格納された顔画像の各々から顔画像の特徴量を算出する算出手段と、
   前記記憶手段に格納された各顔画像を、前記算出手段で算出された前記特徴量に基づいてソートするソート手段と、
   前記ソート手段でソートされた各顔画像をソート順に表示する表示手段と、
   を含む画像検索支援装置。
2. 前記記憶手段を、前記画像検索支援装置内に設置するか、または前記画像検索支援装置とネットワークを介して接続した請求項１記載の画像検索支援装置。
3. 前記表示手段に表示した顔画像の１つが選択されると、該顔画像と関連付けられたコマの画像データを前記表示手段に表示するように制御する制御手段を含む請求項１又は請求項２記載の画像検索支援装置。
4. 前記算出手段は、
   前記画像データの前記顔画像の顔部品に基づく固有ベクトルと、顔サンプル画像の顔部品に基づく基準ベクトルとを比較することにより、前記特徴量を算出する請求項１乃至請求項３の何れか１項記載の画像検索支援装置。
5. 前記算出手段は、
   前記固有ベクトルと前記基準ベクトルとの差の絶対値の総和を求めることにより、前記特徴量を算出する請求項４記載の画像検索支援装置。

Images