JP2005157764A - 画像検索装置、画像検索方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】 検索を目的とするユーザにとって、基準顔データを予め登録しなければならないという面倒な操作が必要となっている。
【解決手段】 複数の画像データから人物の顔画像を含む画像データを検索し、その検索された画像データを表示し、その表示された画像データの中から画像検索のための顔画像データを抽出して基準顔画像データとして登録する（Ｓ１０５）。こうして登録された基準顔画像データの内の特定された基準顔画像データを指定して（Ｓ１０２）、その基準顔画像データを含む画像データを検索する（Ｓ１０３）。
【選択図】 図２

Description

本発明は、複数の画像データから人物の顔画像を含む画像データを検索する画像検索装置及びその方法およびその検索方法を適用したプログラムを保存した記憶媒体に関するものである。

近年、人物の顔が含まれている画像データから、その顔の領域を検索する技術が提案されている。それによれば、特定の人物を検索するために、その人物の顔画像を特徴付けるデータを基準顔データとして予め登録しておき、その登録された基準顔データと検索対象の画像データとを比較し、その基準顔データに類似した顔データを有する画像領域を検索している。
特開２００２−１８３７３４

しかしながら、上述の画像検索に際しては、基準となる顔画像を予め登録する必要があり、以下に説明するようにその操作は面倒で、民生機器としてはなじまないものであった。

具体的に説明すると、まず検索対象となる基準となる顔データを登録する。これには、登録したいと思う顔が写っている画像ファイルを指定し、その画像ファイルの画像データから登録したい顔の領域を指定して顔を登録する。この際、その顔の画像データからその顔を特徴付ける特徴データを抽出し、その特徴データを基準顔データとして保存する。

次に検索を行う際には、検索対象となる画像ファイルが指定されると、基準顔を特徴付ける基準顔データと検索対象である画像ファイルの画像データとを比較し、目的の顔に最も似ている顔が写っている画像データを検索する。

以上説明したように、従来の検索装置では、検索したい基準顔データの登録と、画像データにおける顔の検索とが別個の操作となっている。このため、検索を目的とするユーザにとって、基準顔データを予め登録しなければならないという面倒な操作が必要となっているため、特に民生機器のユーザにとってはなじまないものであった。

本発明は上記問題点に鑑みてなされたもので、検索の基準となる基準顔画像データの登録と、その基準顔画像データを用いた検索処理を容易に行うことができる画像検索装置及びその方法および記憶媒体を提供する。

本発明の画像検索装置は以下のような構成を備える。即ち、
複数の画像データから人物の顔画像を含む画像データを検索する顔検索手段と、
前記顔検索手段により検索された前記画像データを表示する表示手段と、
前記表示手段に表示された画像データの中から画像検索のための顔画像データを抽出して基準顔画像データとして登録する登録手段と、
前記登録手段により登録した前記基準顔画像データのうちの特定された基準顔画像データを含む画像データを検索する画像検索手段とを有することを特徴とする。

本発明の画像検索方法は以下のような工程を備える。即ち、
複数の画像データから人物の顔画像を含む画像データを検索する顔検索工程と、
前記顔検索工程で検索された前記画像データを表示する表示工程と、
前記表示工程で表示された画像データの中から画像検索のための顔画像データを抽出して基準顔画像データとして登録する登録工程と、
前記登録工程で登録された前記基準顔画像データの内の特定された基準顔画像データを含む画像データを検索する画像検索工程とを有することを特徴とする。

本発明によれば、検索の基準となる基準顔画像データの登録作業が簡単になり、更にその基準顔画像データを用いた検索処理を容易に行うことができ、例えば、特定の人物の顔画像を手間が少なく、容易に検索することができる。

以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。

図１は、本発明の実施の形態に係る検索装置の構成を示すブロック図である。尚、この実施の形態では、この検索装置は、一般的なパーソナルコンピュータ（ＰＣ）１００などで実現した場合で説明する。

図において、１０１はＣＰＵで、この検索装置全体の動作を制御している演算処理装置(ＣＰＵ)である。１０２はメモリで、ＢＩＯＳヤブートプログラムなどを記憶しているＲＯＭ、ＣＰＵ１０１による制御処理の実行時にワークエリアとして使用され、各種データを一時的に保存したり、或はＣＰＵ１０１により実行されるプログラムをロードするためのプログラムエリア（ＲＡＭ）を有している。１０３はブリッジ回路で、メインバス１１１と周辺バス１１２とを接続している。１０４は、ＣＲＴディスプレイや液晶パネルなどの表示部（ディスプレイ）である。１０５は週へバス１１２に接続されたハードディスク（ＨＤ）等の大容量記憶装置で、ＣＰＵ１０１により実行されるプログラムや画像データなどのデジタルデータを記録している。尚、このハードディスク１０１には、後述する検索プログラムがＣＰＵ１０１に読み取り可能なプログラムコードとして予めインストールされており、操作部１０６からの指示に応じて、このプログラムコードをメモリ１０２にロードしてＣＰＵ１０１が実行する構成となっている。操作部１０６は、キーボードや、マウスなどのポインティングデバイスを備える。１０８は、装着可能な記憶媒体（フロッピィ、ＣＤ，ＤＶＤ或はメモリカードなど）を読み込むためのドライブユニットである。１０９は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの外部記憶媒体である。

尚、本実施の形態では、ハードディスク１０５にプログラムが記録されている場合で説明するが、そのプログラムがＣＤ−ＲＯＭなどの外部記憶媒体１０９に記憶されており、記憶媒体ドライブユニット１０８を介してＣＰＵ１０１に実行させる形態でも良い。また同様に、そのプログラムをネットワークインターフェース（Ｉ／Ｆ）１０７を介してメモリ１０２にダウンロードして実行しても良い。

本実施の形態では、このＰＣ１００の上でＯＳ（オペレーティングシステム）が動作しており、このＯＳのプログラムは、ＨＤＤ１０５に記憶されており、システムの電源投入後、メインメモリ１０２にロードされてＣＰＵ１０１で順次実行され、ブリッジ回路１０３、表示部１０４、ＨＤＤ１０５、操作部１０６、ネットワークインターフェース１０７を制御することにより、ユーザにサービスを提供する。本実施の形態の顔検索プログラムはこのＰＣ１００のＯＳ上で動作する。

次に本実施の形態に係る検索装置における検索処理を説明する。

図２は、本実施の形態に係る検索装置における検索処理を説明するフローチャートで、この処理を実行するプログラムはＨＤＤ１０５に記憶されており、操作部１０６からの支持により起動されるとメモリ１０２にロードされてＣＰＵ１０１により実行される。

この処理が開始されると、まずステップＳ１０１で、表示部１０４にユーザインターフェース（ＵＩ）画面を表示し、ユーザにより検索対象を示す範囲を指定させる。

図３は、このとき表示部１０４に表示されるウィンドウ例を示す図である。

図３において、ＰＣ１０１のＯＳが管理するファイルシステムが表示されており、画面の左側３００には、ツリー状にファイルシステムが管理するファイル構造が表示され、右側３０１には、カレントディレクトリ（ここでは、Ｄドライブのディレクトリ「MyPicture」の中のディレクトリ「2003-3-3」）にある画像ファイルのサムネイル一覧が表示されている。ステップＳ１０１では、ユーザが操作部１０６を使用して、この図３で表示されるファイル構造情報の中から検索対象範囲を指定する。この検索対象範囲の指定方法としては、各ファイルを個別に複数指定してもよく、或はディレクトリ単位に複数指定してもよい。

次にステップＳ１０２に進み、画像の検索条件を指定するための画面を表示部１０４に表示し、ユーザによりその検索条件を入力させる。

図４は、このステップＳ１０２で表示部１０４に表示されるウィンドウ例を示す図である。

ここでは、検索条件として次の２つがユーザに提供される。

（１）人の顔の検索（チェックボタン４００で指示）
（２）似た顔の検索（チェックボタン４０１で指示）
ユーザは、これら２つの選択肢の中から所望の検索条件を選択する。以下、ユーザが「人の顔の検索」を選択した場合と、「似た顔の検索」を選択した場合の動作を順に説明する。

まずユーザが「人の顔の検索」を選択した場合について説明する。

ステップＳ１０２で、チェックボタン４０１がチェックされて「はい」ボタン４０２が指示されるとステップＳ１０３に進み、ステップＳ１０２で設定された検索条件に基づいて検索を実行する。ここで実際の顔検索は、Laurenz Wiskottらによって提案されているフェイスグラフとウェーブレット変換を用いた手法を利用している。（Laurenz Wiskott, Jean-Marc Fellous, Norbert Kruger, and Christoph von der Malsburg, "Face Recognition by Elastic Bunch Graph Matching" IEEE Trans. on Pattern Analysis and Machine Intelligence, vol.19, no.7, pp.775-779, 1997）
これによれば、検索対象である顔画像に対して、ウェーブレット変換手法を用いて顔画像のラフな輪郭検出を行う。即ち少数のノードからなるフェイスグラフを画像に当て嵌め、それぞれにノードに対してウェーブレット変換を行い、顔としての特徴と示すと判断されるグラフ、即ち顔の領域を検出する。検索対象である複数の画像に対して、この操作を繰り返すことにより、顔が含まれている画像とその顔の位置を検索することができる。

次にステップＳ１０４で、検索をやり直すか、検索結果の顔データを基準顔データとして登録するか、或は検索終了するかを選択する。

図５は、ステップＳ１０４で表示部１０４に表示されるユーザインタフェース画面例を示す図である。

図５において、検索結果を示す画像表示欄５００とともに、「登録」ボタン５０１、再検索を指示する「はい」ボタン、及び再検索を指示しない、即ち、検索終了を指示する「いいえ」ボタン５０３が配されている。ユーザが再度検索を希望して「はい」ボタン５０２をクリックすると、処理はステップＳ１０２に戻り、前述のように検索条件を再設定する。

また、ユーザが検索を終了する場合は、「いいえ」ボタン５０３をクリックすると、この検索処理を終了する。

また検索した結果を示す画像表示欄５００中のある画像をカーソル枠５０４で選択し、その選択した顔データを基準顔データとして登録する場合は「登録」ボタン５０１をクリックする。これにより、図５の例では、カーソル枠５０４で選択されている画像５０５の画像データが基準顔データとして登録される。こうして登録された基準顔データが、その名称と共にＨＤＤ１０５に格納される。

図５の「登録」ボタン５０１がクリックされるとステップＳ１０４からステップＳ１０５に進み、ユーザが基準顔として登録したいとする顔画像データから、その顔を特徴付ける顔データを生成し、その顔データを基準顔データとして登録する。実際には、ステップＳ１０３でラフに検出された顔領域を基に、顔の傾き、大きさなどを補正した後、再びウェーブレット変換を用いて、顔パーツの個々の位置を含む多数のノードからなるフェイスグラフを作成する。ここで作成したフェイスグラフは、元の顔画像を特徴付ける顔データそのものとなる。尚、この登録に際しては、「登録」ボタン５０１がクリックされると、その顔画像データを特定する名称、例えば、その顔の個人名やＩＤ等を入力する画面が表示部１０４に表示され、ユーザが操作部１０６を使用して、その個人名やＩＤ等を入力することにより、その画像データを特定可能に登録することができる。

こうしてステップＳ１０５で、基準顔データの登録を終了するとステップＳ１０４に進み、図４で示す画面を表示して、検索結果の他の画像の顔データを基準顔データとして登録する処理を行うか、或は登録されている顔画像データを用いて「似た顔の検索」を行うか、或は検索終了するかの選択を促す。以上が、ステップＳ１０２で、ユーザが「人の顔の検索」を選択した場合の説明である。

次に、ユーザが図４のユーザインターフェース画面で「似た顔の検索」を選択した場合の処理について説明する。ここで重要なことは、ユーザに対するユーザインターフェースの処理の流れを変更することなく、「似た顔の検索」を実行できることである。尚、このまま処理を終了する場合には、「終了」ボタン４０４をクリックすればよい。

ここでは「似た顔の検索」が選択されると、図４の４０３で示すように、基準顔データとして登録されている人物の名称の一覧が表示される。ここで例えば、この欄４０３の先頭の「鈴木一朗」が選択されて、検索の開始を指示する「はい」ボタン４０２が指示されると、この「鈴木一朗」に似た顔の人物が含まれている画像の検索が開始される。尚、この場合、欄４０３の人物名が指定されると、その指定された人物の顔を確認できるように、その顔を表示するための表示エリアを設け、そこに表示するようにしても良い。

そしてステップＳ１０３で、実際の検索を実行するが、ここではプログラムは以下の動作を行いって顔を検索する。まず、前述した「人の顔の検索」の場合と同様に、対象である顔画像データに対して、ウェーブレット変換の手法を用いて顔画像のラフな輪郭検出を行う。即ち、少数のノードからなるフェイスグラフを画像に当て嵌め、それぞれノードに対してウェーブレット変換を行い、顔としての特徴と示すと判断されるグラフ、即ち顔の領域を検出する。次に、そうして検出された顔領域に対して、顔の傾き、大きさなどを補正した後、再びウェーブレット変換を用いて、顔パーツの個々の位置を含む多数のノードからなるフェイスグラフを作成する。ここで作成したフェイスグラフは、検索対象の顔画像を特徴付ける顔データとなる。ここで、登録されている基準顔のフェイスグラフの特徴量と値とを比較し、その差が閾値以下であれば似てる顔と判断する。

こうして検索対象である複数の画像の全てに対してこの操作を繰り返し実行することにより、図４の画面で指定された人物の顔に似た顔が含まれている画像とその顔の位置を検索することができる。

ステップＳ１０４では、図５に示す画面をユーザに提供する。尚、この場合、画像表示欄５００には、ステップＳ１０３の検索処理の結果、「鈴木一朗」に似ていると判断された人物が含まれている画像群（複数ある場合）が表示される。そしてユーザは、この表示欄５００に表示されている画像の中から所望の画像を選択して検索処理を終了させるか、或は（「人の顔の検索」の場合と同じく）検索をやり直すか、或は検索終了をするかを選択する。

以上説明したように本実施の形態によれば、ユーザは登録／検索を、統一した唯一のフローに従ったユーザインタフェースを用いて実行することができ、非常に分かり易くシンプルに顔検索を実行することができる。

（その他の実施例）
なお本発明は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また本発明の目的は、前述した実施形態の機能（カメラ側で行われる処理、プリンタ側でわれる各種印刷処理）を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記憶媒体）を、システム或は装置に供給し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータで稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。例えば、ＰＣ上のドライバでこれらの処理を行う場合が、これに相当することは言うまでもない。

本発明の実施の形態に係る検索装置の構成を示すブロック図である。 本実施の形態に係る検索装置における検索処理を説明するフローチャートである。 本実施の形態に係る検索装置において検索対象の画像を指定するためのウィンドウ表示例を示す図である。 図２のステップＳ１０２で表示部に表示されるウィンドウ例を示す図である。 図２のステップＳ１０４で表示部に表示されるユーザインタフェース画面例を示す図である。

Claims (10)

1. 複数の画像データから人物の顔画像を含む画像データを検索する顔検索手段と、
   前記顔検索手段により検索された前記画像データを表示する表示手段と、
   前記表示手段に表示された画像データの中から画像検索のための顔画像データを抽出して基準顔画像データとして登録する登録手段と、
   前記登録手段により登録した前記基準顔画像データのうちの特定された基準顔画像データを含む画像データを検索する画像検索手段と、
   を有することを特徴とする画像検索装置。
2. 前記登録手段は、
   前記表示手段に表示された画像データの中から一つの画像データを選択する選択手段を有し、前記選択手段により選択された画像データから顔画像データを抽出して基準顔画像データとして登録することを特徴とする請求項１に記載の画像検索装置。
3. 前記画像検索手段は、人名で特定された前記基準顔画像データを含む画像データを検索することを特徴とする請求項１又は２に記載の画像検索装置。
4. 前記顔検索手段により検索される複数の画像データを指定する指定手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像検索装置。
5. 複数の画像データから人物の顔画像を含む画像データを検索する顔検索工程と、
   前記顔検索工程で検索された前記画像データを表示する表示工程と、
   前記表示工程で表示された画像データの中から画像検索のための顔画像データを抽出して基準顔画像データとして登録する登録工程と、
   前記登録工程で登録された前記基準顔画像データの内の特定された基準顔画像データを含む画像データを検索する画像検索工程と、
   を有することを特徴とする画像検索方法。
6. 前記登録工程は、
   前記表示工程で表示された画像データの中から一つの画像データを選択する選択工程を有し、前記選択工程で選択された画像データから顔画像データを抽出して基準顔画像データとして登録することを特徴とする請求項５に記載の画像検索方法。
7. 前記画像検索工程では、人名で特定された前記基準顔画像データを含む画像データを検索することを特徴とする請求項５又は６に記載の画像検索方法。
8. 前記顔検索工程で検索される複数の画像データを指定する指定工程を更に有することを特徴とする請求項５乃至７のいずれか１項に記載の画像検索方法。
9. 請求項５乃至８のいずれか１項に記載の画像検索方法を実行することを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶していることを特徴とするコンピュータにより読取可能な記憶媒体。

Images