JP2011203769A - 画像検索装置および方法、情報端末、情報処理方法、画像検索システム、並びにプログラム - Google Patents

Abstract

【課題】画像上で複数の人物の顔が指定されたとき、指定された複数の顔画像を検索条件と決定し、決定した検索条件に基づく画像を検索する。
【解決手段】ユーザが、表示部１６に表示されているサムネイル画像一覧の中から、複数の顔を指定したとき、指定受付部２１は、その入力信号を受け付け、受け付けた入力信号を検索クエリ決定部２２に出力する。検索クエリ決定部２２は、指定受付部２１からの入力信号に基づいて、指定された顔画像の特徴量に基づいて、検索クエリを決定する。画像検索部２３は、検索クエリ決定部２２で決定された検索クエリに基づいて、リムーバブルメディア２内に記憶されている検索対象画像群を検索し、検索クエリとの類似度が閾値以上の画像を抽出する。
【選択図】図３

Description

本発明は、画像検索装置および方法、情報端末、情報処理方法、画像検索システム、並びにプログラムに関し、特に、画像上で複数の人物の顔が指定されたとき、指定された複数の顔画像を検索条件と決定し、決定した検索条件に基づく画像を検索することが可能な画像検索装置および方法、情報端末、情報処理方法、画像検索システム、並びにプログラムに関する。

近年のマルチメディアの普及により、デジタルデータの蓄積は益々増加の一途をたどっており、その一環をなす静止画像においては、特にその傾向が著しい。

ユーザは、デジタルスチルカメラで撮影され、メモリカードに保存されている大量の画像の中から、所望の画像を家庭用のプリンターで出力する場合、プリンターにそのメモリカードを装着し、サムネイル画像を一覧表示させ、１つ１つ画像を確認しながら出力すべき画像を選択する。そして、選択した画像の印刷を行う。

しかしながら、ユーザは、大量の画像の中から所望の画像を見つけるまでに時間がかかるという理由から、たくさん撮影したものの、撮影画像を印刷するのが面倒になり、結局、撮影したまま大量のデータが埋もれていくことになる。このように、大量のデータを扱うには、データ検索や検索結果の表示といった技術が非常に重要となる。

そこで、特許文献１には、撮影された不特定多数の人物画像を予めデータベースに蓄積しておき、新たに撮像部が対象者を撮影すると、撮影した画像を用いて、データベースに蓄積されている既登録人物と一致する人物画像があるか否かを判定し、撮影した対象者が既登録人物と一致する場合には、撮影した対象者を含む人物画像を出力する技術が提案されている。

特開２００７−２９３４３２号公報

しかしながら、特許文献１の技術では、対象者が撮影される毎に、その対象者と一致する既登録人物があるか否かを判定するとともに、一致する既登録人物がない場合には、新たな対象者として登録する処理が必要になり、処理量およびデータ量が膨大になる課題があった。

また、特許文献１の技術では、対象者が複数になる場合を想定していないため、仮に、複数の対象者が撮影された場合には、その複数の対象者を１つのグループとしてデータベースに登録し、かつ、そのグループに既登録人物でない対象者が含まれている場合には、その対象者も新たにデータベースに登録する必要があり、さらに処理量およびデータ量が膨大になる課題があった。

本発明はこのような状況に鑑みてなされたものであり、その目的は、画像上で複数の人物の顔が指定されたとき、指定された複数の顔画像を検索条件と決定し、決定した検索条件に基づく画像を検索することが可能な画像検索装置および方法、情報端末、情報処理方法、画像検索システム、並びにプログラムを提供することである。

本発明の一側面は、複数の検索対象画像における複数の顔の指定を受け付ける指定受付手段と、指定受付手段により受け付けられた複数の顔の画像に基づいて、検索条件を決定する決定手段と、決定手段により決定された検索条件に基づいて、複数の検索対象画像の中から画像を検索する検索手段とを備えることを特徴とする。このことより、複数の顔画像を含む画像を容易に検索することができる。

検索手段により検索された画像の表示を制御する表示制御手段、またはその画像を印刷する印刷手段をさらに備えることができる。これにより検索結果を表示または印刷することができる。

決定手段は、指定受付手段により受け付けられた複数の顔のち、同一人物の顔を複数含むと判定した場合、複数の同一人物の顔のうちの１つの顔の画像の特徴量と、他の人物の顔の画像の特徴量に基づいて、検索条件を決定することができる。これにより、たとえば、ユーザの意図にあった画像検索を行うことができる。

決定手段は、指定受付手段により受け付けられた複数の顔が全て同一人物の顔であると判定した場合、同一人物の顔のうち、最も正面を向いている顔の画像の特徴量に基づいて、検索条件を決定することができる。これにより、たとえば、ユーザの意図にあった画像検索を行うことができる。

決定手段は、指定受付手段により受け付けられた複数の顔が全て異なる人物の顔であると判定した場合、先に指定された顔の画像の特徴量ほど大きな重み係数を設定することができる。これにより、たとえば、ユーザの意図にあった画像検索を行うことができる。

決定手段は、指定受付手段により受け付けられた複数の顔のうち、同一人物の顔を複数含むと判定した場合は、複数の同一人物の顔の画像の特徴量に最も大きな重み係数を設定し、他の人物の顔の画像の特徴量のうち、先に指定された顔の画像の特徴量ほど大きな重み係数を設定することができる。これにより、たとえば、ユーザの意図にあった画像検索を行うことができる。

決定手段は、指定受付手段により、１つの検索対象画像から複数の顔の指定が受け付けられた場合、大きい顔の画像の特徴量ほど大きな重み係数を設定することができる。これにより、たとえば、ユーザの意図にあった画像検索を行うことができる。

検索手段は、検索対象画像のうち、決定手段により決定された検索条件との類似度が閾値以上の画像を抽出することができる。これにより、たとえば、ユーザの意図にあった画像検索を行うことができる。

本発明の一側面は、複数の検索対象画像における複数の顔の指定を受け付ける指定受付ステップと、指定受付ステップの処理により受け付けられた複数の顔の画像に基づいて、検索条件を決定する決定ステップと、決定ステップの処理により決定された検索条件に基づいて、複数の検索対象画像の中から画像を検索する検索ステップとを含むことを特徴とする。このことより、複数の顔画像を含む画像を容易に検索することができる。

本発明の一側面は、複数の検索対象画像における複数の顔の指定を受け付ける指定受付手段と、指定受付手段により受け付けられた複数の顔の画像に基づいて、検索条件を決定する決定手段と、決定手段により決定された検索条件を、画像検索装置に送信する検索条件送信手段と、画像検索装置から送信されてきた、検索条件に基づく検索結果を受信する検索結果受信手段とを備えることを特徴とする。このことより、複数の顔画像を含む画像を容易に検索することができる。

本発明の一側面は、複数の検索対象画像における複数の顔の指定を受け付ける指定受付ステップと、指定受付ステップの処理により受け付けられた複数の顔の画像に基づいて、検索条件を決定する決定ステップと、決定ステップの処理により決定された検索条件を、画像検索装置に送信する検索条件送信ステップと、画像検索装置から送信されてきた、検索条件に基づく検索結果を受信する検索結果受信ステップとを含むことを特徴とする。このことより、複数の顔画像を含む画像を容易に検索することができる。

本発明の一側面は、情報端末、および、複数の検索対象画像を蓄積する画像検索装置からなる画像検索システムにおいて、情報端末が、複数の検索対象画像における複数の顔の指定を受け付ける指定受付手段と、指定受付手段により受け付けられた複数の顔の画像に基づいて、検索条件を決定する決定手段と、決定手段により決定された検索条件を、画像検索装置に送信する検索条件送信手段と、画像検索装置から送信されてきた、検索条件に基づく検索結果を受信する検索結果受信手段とを備え、画像検索装置が、情報端末から送信されてきた検索条件を受信し、受信した検索条件に基づいて、複数の検索対象画像の中から画像を検索する検索手段と、検索手段により検索された画像を検索結果として、情報端末に送信する検索結果送信手段とを備えることを特徴とする。このことより、複数の顔画像を含む画像を容易に検索することができる。

本発明によれば、画像上で複数の人物の顔が指定されたとき、指定された複数の顔画像を検索条件と決定し、決定した検索条件に基づく画像を検索することが可能な画像検索装置および方法、情報端末、情報処理方法、画像検索システム、並びにプログラムを提供することができる。

第１の実施の形態に係るプリンターの構成例を示す図である。 サムネイル画像一覧の表示例を示す図である。 プリンターの機能構成例を示すブロック図である。 第１の実施の形態における画像検索処理を説明するフローチャートである。 図４のステップＳ２における、検索クエリの決定処理の詳細を説明するフローチャートである。 検索結果の表示例を示す図である。 本発明の第２の実施の形態に係る検索システムの構成例を示す図である。 画像検索サーバーの構成例を示すブロック図である。 情報端末と画像検索サーバーの機能構成例を示すブロック図である。 第２の実施の形態における画像検索処理を説明するフローチャートである。 本発明を適用したコンピュータの構成例を示すブロック図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［本発明の第１の実施の形態］
図１は、第１の実施の形態に係るプリンターの構成例を示すブロック図である。このプリンター１は、CPU(Central Processing Unit)１１、メモリ１２、および入出力インターフェース１３が、バス１４を介して接続されている。入出力インターフェース１３には、入力部１５、表示部１６、ドライブ１７、およびプリンターエンジン１８が接続されている。

CPU１１は、入力部１５からの入力信号に基づいてプリンター１を起動するためのブートプログラムをメモリ１２から読み出して実行し、さらにメモリ１２に格納されている各種オペレーティングシステムを読み出す。

またCPU１１は、入力部１５からの入力信号に基づいて各種の制御を行ったり、メモリ１２に記憶されているプログラムを読み出し、読み出したプログラムのコマンドに基づいて一連の処理を実行したりする。

メモリ１２は、半導体メモリなどで構成されており、CPU１１で実行されるプログラムなどを記憶する。メモリ１２には、CPU１１が実行するプログラムとして、例えば、ユーザによって指定された検索クエリに基づく画像を検索するアプリケーションが用意される。以下、適宜、ユーザによって指定された検索クエリに基づく画像を検索するこのアプリケーションを画像検索アプリケーションという。

検索クエリとは、画像検索のための抽出条件や処理要求などを文字列として表わしたものであって、検索条件に相当する。本発明では、ユーザによって、画像上で複数の顔が指定されたとき、指定された複数の顔のそれぞれの特徴量を得て、得たそれぞれの特徴量から検索クエリを決定する。さらに、決定された検索クエリにおいて、同一人物の顔を含むか否かによって、および、指定された順によって、重み係数を設定する。

入力部１５は、プリンター１の操作者が各種の操作を入力する操作パネル、ボタン、スイッチなどの入力デバイスにより構成されており、操作者の操作に基づいて入力信号を生成し、入出力インターフェース１３およびバス１４を介してCPU１１に送信する。

表示部１６は、例えば液晶ディスプレイであり、CPU１１からバス１４および入出力インターフェース１３を介して受信した信号に基づいて、各種画面などを表示する。また表示部１６は、タッチパネルとして機能するようにしてもよい。

ドライブ１７は、CPU１１の制御の下、リムーバブルメディア２から読み出したデータを、入出力インターフェース１３を介して表示部１６に表示させる。

プリンターエンジン１８は、CPU１１から供給された印刷データに基づき印刷を行う印刷機構である。

リムーバブルメディア２は、例えばフラッシュメモリや超小型のハードディスクを内蔵したメモリカードである。このリムーバブルメディア２には、図示せぬデジタルスチルカメラで撮影された画像データ、およびパーソナルコンピュータから取り込んだ画像データなどが記憶されている。また画像データには、画像特徴量（色、テクスチャ、物体形状といった画像の特徴を数値ベクトル化したものや色情報など）が付随されている。

図２は、画像検索アプリケーションが実行されることに応じて表示部１６に表示される、サムネイル画像一覧の表示例を示す図である。なおここに表示されるサムネイル画像は、たとえば、所定の記憶媒体やフォルダに記憶されている画像のサムネイル画像であったり、何らかの検索処理により抽出された画像のサムネイル画像である。

図２に示す表示例では、表示部１６に、サムネイル画像Ｐ１からＰ９が一覧表示されているとともに、サムネイル画像一覧の下方に、複数選択ボタンＢ１、次ページボタンＢ２、および検索スタートボタンＢ３が表示されている。

サムネイル画像Ｐ１からＰ９は、リムーバブルメディア２から読み出した画像を、視認性を高めるために縮小したものである。複数選択ボタンＢ１は、検索画像を複数選択する場合に操作される。次ページボタンＢ２は、リムーバブルメディア２から読み出した画像のサムネイル画像を一度に表示することができない場合に表示され、次のサムネイル画像を表示させる場合に操作される。検索スタートボタンＢ３は、指定（選択）された画像に基づく画像を検索する場合に操作される。

図３は、プリンター１の機能構成例を示すブロック図である。図３に示す機能部のうちの少なくとも一部は、図１のCPU１１により画像検索アプリケーションが実行されることによって実現される。

指定受付部２１は、表示部１６に表示されたサムネイル画像一覧（図２）において、ユーザが入力部１５を用いて人物の顔を指定したとき、その入力信号を受け付け、受け付けた入力信号を検索クエリ決定部２２に出力する。

検索クエリ決定部２２は、指定受付部２１からの入力信号に基づいて、検索クエリを決定する。検索クエリの決定方法としては、まず、指定された人物の顔を構成する目、鼻、口といったパーツなどから顔と判断できる画像が取り出される。次に、取り出した顔画像の、例えば、色、テクスチャ、物体形状といった画像の特徴を要素に持つ特徴ベクトルを作成して検索クエリとして決定されたり、あるいは、色情報を作成して検索クエリとして決定される。検索クエリ決定部２２は、決定した検索クエリ（特徴ベクトルや色情報など）を画像検索部２３に出力する。

画像検索部２３は、検索クエリ決定部２２から出力された検索クエリに基づいて、リムーバブルメディア２内に記憶されている検索対象画像群を検索し、検索クエリと類似する画像を抽出する。

検索方法としては、例えば、検索クエリに含まれる特徴ベクトルと、検索対象画像に付随する特徴ベクトルとの距離を算出し、それを画像の類似度とし、類似度が閾値以上の画像を抽出する（たとえば、特開平９−２５１５３４号公報）。また例えば、検索クエリに含まれる色情報と、検索対象画像に付随する色情報とを比較し、似ている画像同士では画像を構成する色が似ていることを利用して、色ヒストグラムから画像を抽出する。

画像検索部２３は、抽出した画像を検索結果として表示制御部２４に出力する。

表示制御部２４は、画像検索部２３から出力された検索結果である画像を表示部１６に表示させる。

次に、図４のフローチャートを参照して、画像検索アプリケーションが実行する画像検索処理について説明する。この処理を開始するにあたり、画像検索アプリケーションの起動に伴って、表示部１６には、図２に示したようなサムネイル画像一覧が表示されている。

ステップＳ１において、指定受付部２１は、ユーザによって入力部１５が用いられ、サムネイル画像一覧の中から顔の指定を受け付けたか否かを判定し、顔の指定を受け付けるまで待機する。

例えば、ユーザは、図２に示すサムネイル画像一覧の中から、入力部１５を用いて、検索画像としたい顔を１つまたは複数指定する。なお、表示部１６がタッチパネルで構成されている場合には、表示部１６上を直接押下することで検索画像としたい顔を指定することができる。

ステップＳ１において、指定受付部２１は、顔の指定を受け付けたと判定した場合、その入力信号を検索クエリ決定部２２に出力し、ステップＳ２に進む。

ステップＳ２において、検索クエリ決定部２２は、指定受付部２１からの入力信号に基づいて、検索クエリの決定処理を行う。

図５は、図４のステップＳ２における、検索クエリの決定処理の詳細を説明するフローチャートである。

ステップＳ１１において、検索クエリ決定部２２は、指定受付部２１から出力された入力信号から、複数の顔が指定されたか否かを判定し、複数の顔が指定されたと判定した場合、ステップＳ１２に進む。

複数の顔が指定される場合とは、表示部１６に表示されたサムネイル画像一覧において、例えば、ユーザが、入力部１５を用いて、複数選択ボタンＢ１を押下した後で、サムネイル画像Ｐ３に含まれる顔Ｆ１、およびサムネイル画像Ｐ９に含まれる顔Ｆ２を指定し、検索スタートボタンＢ３を押下することである。

ステップＳ１２において、検索クエリ決定部２２は、指定された複数の顔において、それぞれの顔を構成する目、鼻、口といったパーツなどから顔と判断できる画像を取り出し、取り出した顔画像の特徴量を得る。

ステップＳ１３において、検索クエリ決定部２２は、ステップＳ１２の処理で得た特徴量から、指定された複数の顔が全て同一人物の顔であるか否かを判定する。ステップＳ１３において、検索クエリ決定部２２は、指定された複数の顔が全て同一人物の顔であると判定した場合、ステップＳ１４に進む。

ステップＳ１４において、検索クエリ決定部２２は、指定された複数の顔のうち、顔の輪郭、目、鼻、口の位置などから、最も正面を向いている顔画像のみの特徴量に基づいて、検索クエリを決定する。

ステップＳ１３において、検索クエリ決定部２２は、指定された複数の顔が全て同一人物ではないと判定した場合、ステップＳ１５に進み、さらに、指定された複数の顔のうち、同一人物の顔を複数含むか否かを判定する。ステップＳ１５において、検索クエリ決定部２２は、指定された複数の顔のうち、同一人物の顔を複数含むと判定した場合、ステップＳ１６に進む。

ステップＳ１６において、検索クエリ決定部２２は、複数の同一人物の顔のうちの１つの顔画像の特徴量と、他の人物の顔画像の特徴量に基づいて、検索クエリ画像を決定する。

例えば、ユーザが、図２に示すサムネイル画像一覧の中から、入力部１５を用いて、検索画像としたい顔として、サムネイル画像Ｐ１に含まれる顔Ｆ３、サムネイル画像Ｐ３に含まれる顔Ｆ１、サムネイル画像Ｐ８に含まれる顔Ｆ４、およびサムネイル画像Ｐ９に含まれる顔Ｆ２を順に指定したとする。この場合において、検索クエリ決定部２２は、顔Ｆ２と顔Ｆ４が同一人物の顔であると判断したとすると、顔Ｆ２と顔Ｆ４のうちの最も正面を向いている顔Ｆ２の画像の特徴量と、他の人物の顔Ｆ１の画像の特徴量および顔Ｆ３の画像の特徴量とに基づいて、検索クエリを決定する。

ステップＳ１７において、検索クエリ決定部２２は、ステップＳ１６の処理で決定された検索クエリに含まれる特徴量のうち、同一人物の顔の特徴量に最も大きな重み係数を設定し、他の人物の顔の特徴量のうち、先に指定された顔ほど、大きな重み係数を設定する。

例えば、上述したようにして指定された顔Ｆ２、顔Ｆ１、および顔Ｆ３の特徴量を含む検索クエリのうち、同一人物とされた顔Ｆ２の特徴量に最も大きな重み係数を設定し、他の人物の顔のうち、先に指定された顔Ｆ１の特徴量に２番目に大きな重み係数を設定し、他の人物の顔のうち、顔Ｆ３の特徴量に、３つの顔の特徴量の中では最も小さな重み係数を設定する。

ステップＳ１５において、検索クエリ決定部２２は、複数の顔のうち、同一人物の顔を含まない、すなわち、全て異なる人物の顔であると判定した場合、ステップＳ１８に進む。ステップＳ１８において、検索クエリ決定部２２は、指定された複数の顔の特徴量に基づいて、検索クエリを決定し、先に指定された顔ほど、大きな重み係数を設定する。

例えば、ユーザが、図２に示すサムネイル画像一覧の中から、入力部１５を用いて、検索画像としたい顔として、サムネイル画像Ｐ１に含まれる顔Ｆ３、サムネイル画像Ｐ３に含まれる顔Ｆ１、およびサムネイル画像Ｐ８に含まれる顔Ｆ４を順に指定したとする。この場合において、検索クエリ決定部２２は、顔Ｆ３の特徴量に最も大きな重み係数を設定し、顔Ｆ１の特徴量に２番目に大きな重み係数を設定し、顔Ｆ４の特徴量に、３つの顔の特徴量の中では最も小さな重み係数を設定する。

ステップＳ１１において、検索クエリ決定部２２は、複数の顔が指定されていないと判定した場合、ステップＳ１９に進み、指定された１つの顔の画像を取り出し、取り出した顔画像の特徴量を得る。ステップＳ２０において、検索クエリ決定部２２は、ステップＳ１９の処理で得た特徴量に基づいて、検索クエリを決定する。

図４の説明に戻る。ステップＳ３において、画像検索部２３は、ステップＳ２の処理で決定された検索クエリに基づいて、リムーバブルメディア２内に記憶されている検索対象画像群を検索し、検索クエリとの類似度が閾値以上の画像を抽出する。

画像検索に用いる類似度は、デフォルトに設定されているが、ユーザによって、いつでもその値を変更することができ、検索精度を自由に調整することが可能である。なお、指定された複数の顔が全て異なる人物である場合の類似度の閾値は、指定された複数の顔が全て同一人物である場合の類似度の閾値よりも低く設定されている。これによって、同一人物であると指定された顔を含む画像を精度良く検索することができる。また、複数の人物が指定された場合には、その複数の人物の顔を含む画像を検索し易く（引っかかり易く）することができる。

ステップＳ４において、表示制御部２４は、ステップＳ３の処理による検索結果に基づいて、例えば、図６に示すような検索結果を表示部１６に表示させる。

図６に示す表示例では、検索クエリとされた顔Ｆ１を含むサムネイル画像Ｐ３および検索クエリとされた顔Ｆ２を含むサムネイル画像Ｐ９が表示されているとともに、これらの検索クエリに基づいて検索された結果が、画像Ｐ１１からＰ１３（それらの顔画像と類似する画像を含む画像）として表示されている。

［発明の第１の実施の形態における効果］
１．以上のように、複数の顔の指定を受け付け、受け付けた複数の顔の画像に基づいて、検索クエリを決定し、その検索クエリに基づいて、検索対象画像から画像を検索するようにしたので、複数の顔画像を含む画像を容易に検索することができる。

２．また以上のように、ユーザによって検索画像としたい複数の顔が指定された場合において、同一人物の顔を複数含む場合には、最も正面を向いている顔画像のみの特徴量に基づいて検索クエリを決定し、また、同一人物の顔の特徴量に最も大きな重み係数を設定し、他の人物の顔のうち、先に指定された顔の特徴量ほど大きな重み係数を設定することで、所望の画像を、より効果的に検索することができる。つまり、ユーザが最も検索したい顔の特徴量に大きな重み係数を設定することによって、検索精度を向上させることができる。

３．また以上においては、１つのサムネイル画像につき、１つの顔を指定し、その操作を複数回行うことで、複数の顔画像の特徴量を検索クエリとして決定する場合について説明したが、本発明はこれに限らず、１つのサムネイル画像につき、複数の顔を指定する場合にも適用することが可能である。

例えば、ユーザが、図２に示すサムネイル画像一覧の中から、入力部１５を用いて、サムネイル画像Ｐ９に含まれる顔Ｆ２と顔Ｆ５を指定したとする。この場合において、顔の大きさを考慮して、顔Ｆ２の特徴量の重み係数を顔Ｆ５の特徴量の重み係数よりも大きく設定する。これにより、１つのサムネイル画像で複数の顔を指定した場合にも、顔の大きさを考慮した重み係数を設定することにより、重要度の高いと思われる画像を精度良く検索することが可能となる。

なお、１つのサムネイル画像につき、１つの顔を指定し、その操作を複数回行うことで複数の顔画像を指定した場合には、顔の大きさを考慮せず、上述したように、先に指定された顔画像の特徴量ほど大きな重み係数を設定するようにする。

［本発明の第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第２の実施の形態において、上述の第１の実施の形態において説明した構成要素と同一の構成要素には同一の符号を付してあり、重複する説明は適宜省略する。

第２の実施の形態においては、図７に示すような、画像検索システムで構成されている。この画像検索システムは、画像検索を要求する情報端末５１、および、要求された画像の検索を行う画像検索装置としての画像検索サーバー５２がネットワーク５３を介して接続されており、情報端末５１には、プリンター１が接続されている。また情報端末５１には、リムーバブルメディア２が装着可能になされている。

この構成例において、情報端末５１には、上述した第１の実施の形態においてプリンター１が持っていた画像の指定受付機能（指定受付部２１）、検索クエリの決定機能（検索クエリ決定部２２）、および検索結果の表示機能（表示制御部２４）のみを有する構成とし、プリンター１が持っていた画像の検索機能（画像検索部２３）は、画像検索サーバー５２に移した点に特徴がある。なお、図７の例では、ネットワーク５３に１台の情報端末５１と１台の画像検索サーバー５２とが接続されているが、情報端末５１と画像検索サーバー５２が、それぞれ複数台であってもよい。

さらに検索対象となる画像群は、予め画像検索サーバー５２に蓄積されているが、情報端末５１に装着されたリムーバブルメディア２から読み出した画像データ、あるいは、情報端末５１内に記憶されている画像データを、ネットワーク５３を介して画像検索サーバー５２に送信し、そこに蓄積させるようにしてもよい。

図８は、画像検索サーバー５２の構成例を示すブロック図である。この画像検索サーバー５２は、CPU６１、ROM（Read Only Memory）６２、RAM（Random Access Memory）６３、および入出力インターフェース６４が、バス６５を介して接続されている。入出力インターフェース６４には、入力部６６、表示部６７、通信部６８、記憶部６９、およびデータベース７０が接続されている。

CPU６１は、入力部６６からの入力信号に基づいて画像検索サーバー５２を起動するためのブートプログラムをROM６２から読み出して実行し、記憶部６９に格納されている各種オペレーティングシステムを読み出す。またCPU６１は、入力部６６からの入力信号に基づいて各種の制御を行ったり、ROM６２や記憶部６９に記憶されたプログラムおよびデータを読み出してRAM６３にロードしたり、あるいはRAM６３から読み出されたプログラムのコマンドに基づいて、データ演算または加工などの一連の処理を実行する。

入力部６６は、画像検索サーバー５２の操作者が各種の操作を入力するキーボードやマウスなどの入力デバイスにより構成されており、操作者の操作に基づいて入力信号を生成し、入出力インターフェース６４およびバス６５を介してCPU６１に送信する。表示部６７は、例えば液晶ディスプレイであり、CPU６１からバス６５および入出力インターフェース６４を介して受信した信号に基づいて、CPU６１の処理結果などを表示する。

通信部６８は、LAN（Local Area Network）カードやモデムなどで構成されており、画像サーバー５２をネットワーク５３に接続することを可能にする。すなわち通信部６８は、ネットワーク５３から受信したデータを、入出力インターフェース６４およびバス６５を介してCPU６１に送信し、CPU６１からバス６５および入出力インターフェース６４を介して受信したデータを、ネットワーク５３に送信する。

記憶部６９は、半導体メモリや磁気ディスクなどで構成されており、CPU６１で実行されるプログラムやデータを記憶する。記憶部６９には、CPU６１が実行するプログラムとして、画像検索アプリケーションが用意される。

データベース７０は、大容量のハードディスクなどで構成されており、大量の画像データを蓄積する。

なお、情報端末５１は、汎用のパーソナルコンピュータで構成され、基本的には、図８に示した画像検索サーバー５２のデータベース７０を含まない構成と同等であるため、図示およびその説明は省略する。

図９は、情報端末５１と画像検索サーバー５２の機能構成例を示すブロック図である。

情報端末５１は、指定受付部２１、検索クエリ決定部２２、検索クエリ送信部８１、検索結果受信部８２、および表示制御部２４とから構成され、画像検索サーバー５２は、検索クエリ受信部９１、画像検索部２３、および検索結果送信部９２とから構成される。

情報端末５１における指定受付部２１、検索クエリ決定部２２、表示制御部２４、および、画像検索サーバー５２における画像検索部２３は、第１の実施の形態で上述した通りである。

情報端末５１における検索クエリ送信部８１は、検索クエリ決定部２２で決定された検索クエリを、ネットワーク５３を介して画像検索サーバー５２に送信する。検索結果受信部８２は、ネットワーク５３を介して画像検索サーバー５２から送信されてきた、検索クエリに基づく検索結果を受信し、それを表示制御部２４に出力する。

画像検索サーバー５２における検索クエリ受信部９１は、ネットワーク５３を介して情報端末５１から送信されてきた検索クエリを受信し、それを画像検索部２３に出力する。検索結果送信部９２は、画像検索部２３で検索クエリに基づいて検索された画像を検索結果として、ネットワーク５３を介して情報端末５１に送信する。

次に、図１０のフローチャートを参照して、情報端末５１と画像検索サーバー５２との間で行われる画像検索処理について説明する。

まず、画像検索アプリケーションの起動に伴って、情報端末５１は、ネットワーク５３を介して画像検索サーバー５２にアクセスし、データベース７０に蓄積されている画像のサムネイル画像を取得する。これにより、情報端末５１の図示せぬ表示部には、例えば、図２に示したようなサムネイル画像一覧が表示される。

ステップＳ３１において、情報端末５１の指定受付部２１は、ユーザによってサムネイル画像一覧の中から顔の指定を受け付けたか否かを判定し、顔の指定を受け付けるまで待機する。

ステップＳ３１において、指定受付部２１は、顔の指定を受け付けたと判定した場合、その入力信号を検索クエリ決定部２２に出力し、ステップＳ３２に進む。

ステップＳ３２において、検索クエリ決定部２２は、指定受付部２１からの入力信号に基づいて、図５のフローチャートを用いて上述したようにして、検索クエリの決定処理を行う。

ステップＳ３３において、検索クエリ送信部８１は、ステップＳ３２の処理で決定された検索クエリを、ネットワーク５３を介して画像検索サーバー５２に送信する。

ステップＳ４１において、画像検索サーバー５２の検索クエリ受信部９１は、ネットワーク５３を介して情報端末５１から送信されてきた検索クエリを受信する。ステップＳ４２において、画像検索部２３は、ステップＳ４１の処理で検索クエリ受信部９１により受信された検索クエリに基づいて、データベース７０に蓄積されている検索対象画像群を検索し、検索クエリとの類似度が閾値以上の画像を抽出する。

ステップＳ４３において、検索結果送信部９２は、ステップＳ４２の処理により検索された画像を検索結果として、ネットワーク５３を介して情報端末５１に送信する。

ステップＳ３４において、情報端末５１の検索結果受信部８２は、ネットワーク５３を介して画像検索サーバー５２から送信されてきた検索結果を受信する。ステップＳ３５において、表示制御部２４は、ステップＳ３４の処理で検索結果受信部８２により受信された検索結果に基づいて、例えば、図６に示したような検索結果を図示せぬ表示部に表示させる。

［発明の第２の実施の形態における効果］
以上のように、情報端末５１では、検索画像としたい顔が指定されたとき、指定された顔画像の特徴量に基づいて検索クエリを決定し、決定した検索クエリを画像検索サーバー５２に送信し、この検索クエリを受信した画像検索サーバー５２では、検索クエリとの類似度が閾値以上の画像を検索し、その検索結果を情報端末５１に送信する。そして、情報端末５１では、受信した検索結果を表示させることができる。

つまり、画像検索アプリケーションの複数の機能のうち、指定受付機能、検索クエリ決定機能、および検索結果の表示機能を情報端末５１に設け、画像の検索機能を画像検索サーバー５２に設けることで、処理を分散させることが可能となり、処理能力の高いサーバーで検索処理を実行させることができる。

［変形例］
１．以上において、画像検索アプリケーションの機能を、プリンター１、情報端末５１、あるいは画像検索サーバー５２に適用するようにしたが、本実施の形態はこれに限定されず、例えば、iPhone（商標）などの携帯電話機、iPod（商標）などの携帯型情報端末、携帯型ゲーム機、デジタルスチルカメラ、ハードディスクレコーダなどに適用するようにしても良い。

２．また以上においては、図２に示したサムネイル画像から顔の指定を行う場合を例として説明したが、図６に示した検索結果として表示された画像から顔の指定を行うこともできる。

３．また以上においては、人物の顔画像を検索する場合において、検索クエリの数を変更するものとしたが、他の画像（たとえば、ペット、自動車の画像）についても同様に適用することができる。

４．上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU１０１，ROM１０２，RAM１０３、および入出力インターフェース１０４は、バス１０５により相互に接続されている。

入出力インターフェース１０５には、さらに、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インターフェース１０４およびバス１０５を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インターフェース１０４を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

５．この発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化したり、上記実施の形態に開示されている複数の構成要素を適宜組み合わせたりすることにより種々の発明を形成できる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施の形態に亘る構成要素を適宜組み合わせても良い。

１ プリンター
２ リムーバブルメディア
２１ 指定受付部
２２ 検索クエリ決定部
２３ 画像検索部
２４ 表示制御部
５１ 画像検索サーバー
５２ 情報端末
５３ ネットワーク
７０ データベース
８１ 検索クエリ送信部
８２ 検索結果受信部
９１ 検索クエリ受信部
９２ 検索結果送信部

Claims (20)

1. 複数の検索対象画像における複数の顔の指定を受け付ける指定受付手段と、
   前記指定受付手段により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定手段と、
   前記決定手段により決定された前記検索条件に基づいて、前記複数の検索対象画像の中から画像を検索する検索手段と
   を備えることを特徴とする画像検索装置。
2. 前記検索手段により検索された前記画像の表示を制御する表示制御手段、またはその画像を印刷する印刷手段をさらに備える
   ことを特徴とする請求項１に記載の画像検索装置。
3. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔のち、同一人物の顔を複数含むと判定した場合、複数の前記同一人物の顔のうちの１つの顔の画像の特徴量と、他の人物の顔の画像の特徴量に基づいて、前記検索条件を決定する
   ことを特徴とする請求項１に記載の画像検索装置。
4. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔が全て同一人物の顔であると判定した場合、前記同一人物の顔のうち、最も正面を向いている顔の画像の特徴量に基づいて、前記検索条件を決定する
   ことを特徴とする請求項１に記載の画像検索装置。
5. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔が全て異なる人物の顔であると判定した場合、先に指定された顔の画像の特徴量ほど大きな重み係数を設定する
   ことを特徴とする請求項１に記載の画像検索装置。
6. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔のうち、同一人物の顔を複数含むと判定した場合は、複数の前記同一人物の顔の画像の特徴量に最も大きな重み係数を設定し、他の人物の顔の画像の特徴量のうち、先に指定された顔の画像の特徴量ほど大きな重み係数を設定する
   ことを特徴とする請求項１に記載の画像検索装置。
7. 前記決定手段は、前記指定受付手段により、１つの検索対象画像から複数の顔の指定が受け付けられた場合、大きい顔の画像の特徴量ほど大きな重み係数を設定する
   ことを特徴とする請求項１に記載の画像検索装置。
8. 前記検索手段は、前記検索対象画像のうち、前記決定手段により決定された前記検索条件との類似度が閾値以上の画像を抽出する
   ことを特徴とする請求項１に記載の画像検索装置。
9. 複数の検索対象画像における複数の顔の指定を受け付ける指定受付ステップと、
   前記指定受付ステップの処理により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定ステップと、
   前記決定ステップの処理により決定された前記検索条件に基づいて、前記複数の検索対象画像の中から画像を検索する検索ステップと
   を含むことを特徴とする画像検索方法。
10. 複数の検索対象画像における複数の顔の指定を受け付ける指定受付ステップと、
    前記指定受付ステップの処理により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定ステップと、
    前記決定ステップの処理により決定された前記検索条件に基づいて、前記複数の検索対象画像の中から画像を検索する検索ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
11. 複数の検索対象画像における複数の顔の指定を受け付ける指定受付手段と、
    前記指定受付手段により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定手段と、
    前記決定手段により決定された前記検索条件を、画像検索装置に送信する検索条件送信手段と、
    前記画像検索装置から送信されてきた、前記検索条件に基づく検索結果を受信する検索結果受信手段と
    を備えることを特徴とする情報端末。
12. 前記検索結果受信手段により受信された前記検索結果の表示を制御する表示制御手段をさらに備える
    ことを特徴とする請求項１１に記載の情報端末。
13. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔のち、同一人物の顔を複数含むと判定した場合、複数の前記同一人物の顔のうちの１つの顔の画像の特徴量と、他の人物の顔の画像の特徴量に基づいて、前記検索条件を決定する
    ことを特徴とする請求項１１に記載の情報端末。
14. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔が全て同一人物の顔であると判定した場合、前記同一人物の顔のうち、最も正面を向いている顔の画像の特徴量に基づいて、前記検索条件を決定する
    ことを特徴とする請求項１１に記載の情報端末。
15. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔が全て異なる人物の顔であると判定した場合、先に指定された顔の画像の特徴量ほど大きな重み係数を設定する
    ことを特徴とする請求項１１に記載の情報端末。
16. 前記決定手段は、前記指定受付手段により受け付けられた前記複数の顔のうち、同一人物の顔を複数含むと判定した場合は、複数の前記同一人物の顔の画像の特徴量に最も大きな重み係数を設定し、他の人物の顔の画像の特徴量のうち、先に指定された顔の画像の特徴量ほど大きな重み係数を設定する
    ことを特徴とする請求項１１に記載の情報端末。
17. 前記決定手段は、前記指定受付手段により、１つの検索対象画像から複数の顔の指定が受け付けられた場合、大きい顔の画像の特徴量ほど大きな重み係数を設定する
    ことを特徴とする請求項１１に記載の情報端末。
18. 複数の検索対象画像における複数の顔の指定を受け付ける指定受付ステップと、
    前記指定受付ステップの処理により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定ステップと、
    前記決定ステップの処理により決定された前記検索条件を、画像検索装置に送信する検索条件送信ステップと、
    前記画像検索装置から送信されてきた、前記検索条件に基づく検索結果を受信する検索結果受信ステップと
    を含むことを特徴とする情報処理方法。
19. 複数の検索対象画像における複数の顔の指定を受け付ける指定受付ステップと、
    前記指定受付ステップの処理により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定ステップと、
    前記決定ステップの処理により決定された前記検索条件を、画像検索装置に送信する検索条件送信ステップと、
    前記画像検索装置から送信されてきた、前記検索条件に基づく検索結果を受信する検索結果受信ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
20. 情報端末、および、複数の検索対象画像を蓄積する画像検索装置からなる画像検索システムにおいて、
    前記情報端末は、
    複数の検索対象画像における複数の顔の指定を受け付ける指定受付手段と、
    前記指定受付手段により受け付けられた前記複数の顔の画像に基づいて、検索条件を決定する決定手段と、
    前記決定手段により決定された前記検索条件を、前記画像検索装置に送信する検索条件送信手段と、
    前記画像検索装置から送信されてきた、前記検索条件に基づく検索結果を受信する検索結果受信手段と
    を備え、
    前記画像検索装置は、
    前記情報端末から送信されてきた前記検索条件を受信し、受信した前記検索条件に基づいて、前記複数の検索対象画像の中から画像を検索する検索手段と、
    前記検索手段により検索された前記画像を検索結果として、前記情報端末に送信する検索結果送信手段と
    を備えることを特徴とする画像検索システム。

Images