JP2007122694A - 画像検索装置および方法並びにプログラム - Google Patents

Abstract

【課題】ユーザの画像に関する断片的な記憶に基づく画像検索をより容易に、より正確に行わせる。
【解決手段】ユーザが画像検索を選択すると、代表画像抽出部３２がメモリカード２より読み込んだ画像群から１または複数の代表画像を抽出し、表示制御部２８が代表画像の一覧を表示する。ユーザは、入力部７を用いて、検索対象が含まれる代表画像を選択し、その代表画像の中で検索対象が含まれる主要被写体領域や背景領域、すなわち、代表画像の一部または全部を選択する。検索条件設定部３４は、選択された領域を用いて検索条件を設定し、検索部３６は、画像群に対して、この検索条件と合致する画像の検索を行う。
【選択図】図２

Description

本発明は、複数の画像から抽出された代表画像を用いて、前記複数の画像の中から画像を検索する画像検索装置および方法並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。

銀塩カメラと比較すると、デジタルカメラでは、フィルム料金がかからない分、撮影自体のコストが下がり、その結果、より多くの画像を撮影する傾向にある。また、デジタルカメラに着脱される記録メディアの大容量化もその傾向を助長している。その結果、デジタルカメラの記録メディアや、記録メディアから読み出された画像データが保存されるＰＣ（パーソナルコンピュータ）のハードディスクやＣＤ−Ｒ等の記憶メディアには、非常に多くの画像がストックされ、その中には、必要な画像と不要な画像が混在し、さらにそれらは未整理のままとなっていることが多い。ここで、必要な画像とは、写りの良い画像等であり、不要な画像とは失敗写真や重複して撮影された画像等である。

このような大量の画像を整理するのは大変面倒な作業となる。そこで、このような画像ストックからの必要な画像の検索・抽出や不要な画像の抽出・削除、また、画像ストック中の画像のイベントや日時、場所等の観点に基づく分類・整理をサポートする装置が提案されている。

そのうち、画像検索をサポートするものとしては、例えば、特許文献１に、ユーザが所望の画像に似せて描画したイラストを検索元画像とし、その検索元画像の特徴量を計算し、算出された特徴量に基づき類似画像を検索し、検索により得られた類似画像を表示する旨が開示されている。

また、特許文献２には、画像を構成する複数の個別パーツを定義し、各個別パーツに複数のバリエーションを用意しておき、画像データベースに登録される画像は、個別パーツ毎に、複数のバリエーションの中からパーツを選択することによって構成されるようにし、画像検索の際には、各個別パーツを選択することによって検索条件を設定する旨が開示されている。
特開２００１−１３４７６５号公報 特開２００２−１０８９１３号公報

ところで、上記のようにストックされた膨大な画像からユーザが所望する画像を検索する場合、ユーザは、画像の部分的な記憶に基づいて検索条件を設定することになる。

このように、ユーザが記憶の断片を頼りに検索を行うことに鑑みると、特許文献１に記載のように、ユーザが検索したい画像全体のイラストを描画することは非常に困難と考えられる。また、イラストは個人による巧拙があり、ユーザ・インターフェースとしては抵抗を感じるユーザも少なくない。

さらに、特許文献２に記載のように、予め準備されたパーツの選択によって検索条件を設定する場合には、ユーザが記憶している実際の画像の一部分とはうまくフィットしないことが考えられる。

本発明は、上記事情に鑑みてなされたものであり、ユーザの画像に関する断片的な記憶に基づく画像検索をより容易に、より正確に行わせることを可能にする画像検索装置等を提供することを目的とする。

本発明による画像検索装置は、複数の画像からなる画像群から抽出された１または複数の代表画像を表示させる表示手段と、前記１または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定する検索条件設定手段と、前記画像群に対して、設定された前記検索条件と合致する画像の検索を行う検索手段とを備えたことを特徴とするものである。

前記検索条件設定手段は、前記一部の画像中の位置を前記検索条件の一つとして設定するようにしてもよい。

前記画像の一部または全部を選択する際の選択候補として、前記１または複数の代表画像から主要被写体領域および／または背景領域を抽出して、抽出された該領域を選択可能な状態にする領域抽出手段をさらに備えるようにしてもよい。

また、前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施す機能を有し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであってもよい。

さらに、前記検索条件設定手段は、選択された前記画像の一部または全部に前記検索条件の一つとして検索の優先度を付与するものであってもよい。

本発明による画像検索方法は、複数の画像からなる画像群から抽出された１または複数の代表画像を表示し、前記１または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定し、前記画像群に対して、設定された前記検索条件と合致する画像の検索を行うことを特徴とするものである。

ここで、「代表画像」とは、イベントの種類や主要被写体を最もよく表す画像であり、例えば、最も画質がよいと判定された画像や、特徴量の分布に基づくグルーピングを行った際にグループ毎に画質が最もよいと判断された画像、シーン判定の結果により最も判定結果が高かった画像、最も出現頻度が高かったシーンの画像、平均画像、それに最も近い画像、特徴量の分布に基づくグルーピングを行った際のグループの重心となる画像、それに最も近い画像などが挙げられる。また、特定の人物が最も大きく写っている画像、特定の人物が最も小さく写っている画像、背景の場所の特定を容易にするという意味で人物が最も小さい顔で写っている画像なども代表画像になりうる。

ここで、「画像の一部」とは、例えば、人物、顔、服装、動物、植物、静物、乗り物、建築物、山等の主要被写体領域や背景領域である。この「画像の一部」は、予め抽出しておいてもよいし、ユーザに手動でその境界も含めて領域を選択させてもよい。ユーザに手動で領域の一部を選択させた後、選択された領域を抽出するようにしてもよい。または、ユーザに主要被写体領域や背景領域を含む概略的な領域を手動で選択させた後、選択された領域中の主要被写体領域や背景領域を抽出してもよい。

なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の画像検索装置および画像検索方法によれば、画像群から抽出した代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定する。記憶の断片に基づいて画像を探す場合、記憶の断片は、探したい画像群の中に存在し、もっと言えば、頻繁に存在する可能性が高く、画像群の中のリアルなパーツの組合せである可能性が高い。このため、一般的なパーツではユーザが記憶している実際の画像の一部分とはうまくフィットしないことが考えられ、一般的なパーツを用いた検索では非効率的である。これに対し、本発明では、代表画像の一部または全部を検索用パーツとして用いて検索できるため、ユーザの画像に関する断片的な記憶に基づいて、より容易に、より正確に画像検索を行うことができる。

ここで、前記一部の画像中の位置を検索条件の一つとして設定すれば、主要被写体等の位置、すなわち画像中の構図に関する記憶も検索条件として設定可能になり、より詳細な条件での画像検索を行うことができる。

また、前記画像の一部または全部を選択する際の選択候補として、前記１または複数の代表画像から主要被写体領域および／または背景領域を抽出して、抽出された該領域を選択可能な状態にする領域抽出手段をさらに備えれば、ユーザは抽出済みの領域を選択すればよいため、より操作が単純なユーザ・インターフェースにより検索条件の設定が可能になる。これは店頭に設置される一般消費者向けの端末等に適用する場合には特に有効である。

さらに、前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施す機能を有し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであれば、検索条件に検索の意図をより明確に反映させることができる。

あるいは、前記検索条件設定手段は、選択された前記画像の一部または全部に前記検索条件の一つとして検索の優先度を付与するものであれば、特定の人物のみ優先して検索すること等が可能になり、記憶されている程度を検索に反映させることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像検索装置の外観斜視図であり、図２は該画像検索装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像検索装置１は、ユーザによる画像の検索や画像のプリント注文のために写真店等の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、画像検索やプリント注文のための各種表示を行う液晶モニタ等からなる表示部６と、種々の指示を画像検索装置１に対して行うためのマウスからなる入力部７とを備え、写真店に設置されたプリンタ８と、画像処理やプリント注文の管理を行うことができるコンピュータからなるコントローラ１０と接続されている。

図２に示すように、画像検索装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、画像検索装置１を構成する各部の制御を行うＣＰＵ１２と、画像検索装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、上述した入力部７および表示部６とを備える。

また、画像検索装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、メモリカード２から読み出した画像データ、代表画像の抽出および画像の検索のプログラム等のＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部（表示手段）２８と、プリンタ８やコントローラ１０を画像検索装置１に接続するためのネットワークインターフェース３０とを備える。

なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。

また、画像検索装置１は、後述するように代表画像を抽出する代表画像抽出部３２と、画像検索の検索条件を設定する検索条件設定部（検索条件設定手段）３４と、設定された検索条件で画像検索を行う検索部（検索手段）３６とを備える。

以下、代表画像抽出部３２、検索条件設定部３４および検索部３６の機能について、本実施形態において行われる処理と併せて説明する。

図３は本実施形態において行われる画像検索処理を示すフローチャートである。ユーザが持参したメモリカード２には複数の画像からなる画像群の画像データが記憶されている。ユーザがカードスロット４に、メモリカード２を装填すると、画像検索装置１はメモリカード２に記憶された画像群の画像データを読み込み（ステップＳＴ１）、画像データをシステムメモリ１４のＲＡＭまたはハードディスク２４に一時的に記憶する。

さらに、画像検索装置１は、ＣＰＵ１２の処理により、表示部６に画像検索やプリント等の各種サービスを選択させるメニュー画面を表示し、ユーザに希望のサービスを選択させる（ステップＳＴ２）。ユーザが画像検索以外のサービスを選択した場合には、画像検索装置１はその選択されたサービスの処理を行う（ステップＳＴ３）。ユーザが画像検索のサービスを選択した場合には、代表画像抽出部３２が、読み込んだ画像から１または複数の代表画像を自動的に抽出する（ステップＳＴ４）。

代表画像とは、イベントの種類や主要被写体を最もよく表す画像である。代表画像を抽出する方法は、例えば、特開２００３−３３０９４１号公報、特開２００５−０４９９６８号公報に記載された色、形状、大きさ等を表す特徴ベクトルを用いて画像中の人物等の主要被写体や背景等のシーンが類似するものをグルーピングし、各グループの各画像のエッジ情報や濃淡情報を用いて画質を判定し、最も画質がよいと判定された画像を各グループの代表画像として選出する方法等、既知の方法を採用することができる。

代表画像抽出後、表示制御部２８が検索画面を表示部６に表示する（ステップＳＴ５）。図４は、検索画面の例を示す図である。図４に示すように検索画面４０には、複数の代表画像４１の一覧を表示する代表画像エリア４２と、検索用画像を表示する入力エリア４３と、検索を実行するための検索実行ボタン４４と、入力データをクリアするためのクリアボタン４５とが表示されている。なお、図４では、複数の代表画像をまとめて４１の符号を付し、そのうちの２つの代表画像にそれぞれ４１Ａ、４１Ｂの符号を付している。

ユーザが、一覧表示されている代表画像４１の中から検索対象が含まれる代表画像を選択し、検索対象の領域である選択した代表画像の一部または全部を選択して、これを入力エリア４３に貼り付けて検索用画像を作成し、検索条件設定部３４がこの検索用画像を検索条件として設定する（ステップＳＴ６）。すなわち、選択された代表画像の一部または全部は検索用パーツとして機能する。検索用画像の作成は、具体的には例えば以下のように行う。

検索対象が人物や動物、建築物等の主要被写体のときは、ユーザは、検索対象が含まれる代表画像の中で、その検索対象が含まれるように入力部７を用いてドラッグ操作して領域を選択し、右クリック操作で表示されるメニューで「主要被写体として選択」を選択する。さらに選択した領域をドラッグドロップ操作で入力エリア４３内に貼り付ける。このとき、ユーザは、選択した領域の検索用画像中における位置を指定して貼り付けることができる。さらに、ユーザは、選択した領域の検索用画像中における大きさを調整することができる。

「主要被写体として選択」が選択されたら、エッジ検出等の公知の手法により、ドラッグ操作により選択した領域から主要被写体の領域を主要被写体の輪郭に沿って検出し、検出された主要被写体領域のみを入力エリア４３に貼り付けるようにすることが好ましい。または、このような輪郭に沿った主要被写体の抽出は、ユーザが入力部７を用いて手動で行ってもよいし、あるいは、ユーザが主要被写体をクリックしたら画像検索装置１がエッジ検出等の方法を用いて自動的に抽出するようにしてもよい。なお、ユーザが選択できる主要被写体は、人物全体に限らず、人物の顔、服装等、部分的なものでもよい。

検索対象が背景のときには、ユーザは、検索対象が含まれる代表画像の中で、その検索対象である背景の領域をクリックまたはドラッグ操作によって選択し、右クリック操作で表示されるメニューで「背景として選択」を選択する。さらに入力エリア４３で、ドラッグ操作によって背景としたい領域を選択し、右クリック操作で「選択した背景の貼り付け」を選択すると、入力エリア４３内の選択された領域に選択された背景が貼り付けられる。背景についても、ユーザは、検索用画像中における位置、大きさを指定することができる。なお、検索対象が、ある１つの代表画像全部であるときも同様に、代表画像全部をクリックまたはドラッグ操作によって選択し、右クリック操作で表示されるメニューで「背景として選択」を選択して、入力エリア４３全体を選択して、入力エリア４３に貼り付ける。

検索対象によっては、木や山など、主要被写体、背景のどちらにもなりうるものがある。このようなものは主要被写体、背景のいずれとして選択してもよいが、背景として選択された検索対象は主要被写体より背面に貼り付けられるように予め設定されているため、適宜使い分けることが好ましい。また、一旦入力エリア４３に貼り付けても不要なものはクリアボタン４５をクリックすることにより取り消しできる。

検索用パーツとなる領域は、１つに限らず、複数でもよく、複数の主要被写体の組合せ、複数の背景の組合せ、主要被写体と背景の組合せ等による検索条件の設定が可能である。図４の入力エリア４３に、代表画像４１Ａの左側の人物を主要被写体Ａとして選択して画面中央より右側に配置し、代表画像４１Ｂの背景を背景Ｂとして選択して作成した検索用画像の例を示す。このように、代表画像の一部または全部を検索用パーツとして用いて、各検索用パーツを画像中の所望の位置に、所望の大きさで配置させて検索用画像を作成できるため、ユーザの断片的な記憶を忠実にかつ容易に具現化することが可能である。

検索用画像作成後、ユーザが検索実行ボタン４４をクリックすると、検索部３６によりメモリカード２から読み込んだ画像群に対して、検索条件と合致する画像の検索が実行される（ステップＳＴ７）。検索用画像が主要被写体を含む場合には、検索部３６は、この主要被写体を含む画像を、画像群の中から検索する。例えば、主要被写体が人物の場合には、顔の輪郭や目、鼻、口、耳等のパーツの特徴量のマッチング等の公知の手法を用いる。このとき、検索された画像中の主要被写体の位置を判定し、検索用画像中の主要被写体の位置との一致度の高いものを検索する。

検索用画像が背景を含む場合には、検索部３６は、この背景の色とメモリカード２から読み込んだ画像の背景の色とを比較し、一致度の高いものを検索する。検索用画像中の背景領域が複数の領域に分割されている場合、すなわち、複数の背景が貼り付けられている場合には、分割された領域毎に比較を行う。

検索用画像が主要被写体と背景の両方を含む場合には、検索部３６は、まず、主要被写体について上記と同様に検索作業を行った後、背景について上記と同様に検索作業を行う。

検索が終了したら、表示制御部２８が検索結果を表示部６に表示する（ステップＳＴ８）。図５は、検索結果の画面の例を示す図である。図５に示すように検索結果の画面５０には、検索の結果抽出され、検索用画像との一致度の高い順に配列された画像５１の一覧と、プリント画面への移行を誘導するプリントボタン５２と、検索をやり直すための検索やり直しボタン５３と、検索処理を終了させて初期画面へ移行するための終了ボタン５４とが表示されている。なお、図５では、複数の画像をまとめて５１の符号を付している。

ユーザは所望の処理を実行させるボタンを選択してクリックする。ユーザがプリントボタン５２を選択すると、表示部６にプリント対象を選択させる画面が表示され、ユーザがプリントしたい画像を選択すると、ＣＰＵ１２がプリント指示を出し、プリント対象の画像データをコントローラ１０に送信する。コントローラ１０は、画質改善のための画像処理を行い、処理済の画像データがプリンタ８に送信され、プリンタ８にて写真プリント出力される。

ユーザが検索やり直しボタン５３を選択すると、表示部６に検索画面４０が表示され、検索をやり直すことができる。ユーザが終了ボタン５４を選択すると、表示部６にメニュー画面が表示される。

このように、本実施形態においては、代表画像の一部または全部を用いて検索するため、ユーザの断片的な記憶に基づいて、より容易により正確に画像検索を行うことができる。さらに主要被写体や背景の位置も検索条件として設定可能であるため、構図的要素も取り入れて検索でき、より詳細な条件での画像検索を行うことができる。

なお、図１および上記説明では、入力部７としてマウスを用いた例を示したが、入力方法を工夫することにより、入力部７はペンタブレット等の他のポインティングデバイスや、キーボード、タッチパネル等で構成することも可能である。

次いで、本発明の第２の実施形態について説明する。図６は本実施形態による画像検索装置１’の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による画像検索装置１’は、第１の実施形態の画像検索装置１に、領域抽出部（領域抽出手段）３８を追加した点が第１の実施形態と異なる。以下、領域抽出部３８の機能について、本実施形態において行われる処理と併せて説明する。

図７は本実施形態において行われる画像検索処理を示すフローチャートである。本実施形態のステップＳＴ１１からステップＳＴ１４までの処理は、第１の実施形態のステップＳＴ１からステップＳＴ４までの処理と全く同じであるため、その説明は省略する。

ステップＳＴ１４の処理である代表画像抽出後、領域抽出部３８は代表画像から主要被写体領域および／または背景領域を、該画像の一部または全部をユーザが選択する際の選択候補として抽出し（ステップＳＴ１５）、抽出された該領域を選択可能な状態にするとともに保存しておく。領域の抽出は例えばエッジ検出等の公知の手法により行うことができる。なお、選択可能な状態にするとは、例えば、抽出された領域を表示部６に示したり、抽出された領域に縁取りやマーキング、領域の種類等を付けて表示部６に示したりすることである。なおここで、領域の種類とは、人物、背景、オブジェクト（人物と風景以外の領域）等である。図８は、表示部６に表示させる抽出された領域の一覧を示す例である。図９は、代表画像６１ｃの人物６６を主要被写体領域として抽出し、その周囲に縁取り６６ａと、領域の種類を示す小ウインドウ６６ｂとを付けて代表画像６１ｃの中に表示させる例を示す図である。このように表示することにより、抽出されている領域を確認するのが容易になる。

その後、表示制御部２８が検索画面を表示部６に表示する（ステップＳＴ１６）。図１０は、検索画面の例を示す図である。図１０に示すように検索画面６０には、代表画像６１の一覧を表示する代表画像エリア６２と、選択された領域を表示する入力エリア６３が表示され、入力エリア６３には検索を実行するための検索実行ボタン６４と、入力データをクリアするためのクリアボタン６５も表示されている。なお、図１０では、複数の代表画像をまとめて６１の符号を付し、そのうちの個々の２つの代表画像に６１Ａ、６１Ｂの符号を付している。

ユーザは、一覧表示されている代表画像６１の中から検索対象が含まれる代表画像を選択し、検索対象の領域である、予め抽出された主要被写体領域または背景領域を選択すると、検索条件設定部３４が選択された領域を検索条件として設定する（ステップＳＴ１７）。本実施形態においても、選択された代表画像の一部または全部は検索用パーツとして機能する。領域の選択は、具体的には例えば以下のように行う。

ユーザが検索画面６０において代表画像を選択すると、サブメニューが表示され、選択された代表画像の主要被写体と背景のどちらを検索条件に採用するかをユーザに選択させる。背景を選択した場合には、入力エリア６３には、その背景が表示される。主要被写体を選択し、１つの代表画像に複数の主要被写体が含まれる場合は、さらに検索対象となる主要被写体を選択させる画面が表示され、入力エリア６３には、選択された主要被写体が表示される。ユーザはこの選択動作を繰り返すことにより、複数の領域を選択でき、選択された全ての領域が入力エリア６３に表示される。図１０の入力エリア６３に、代表画像６１Ａの左側の人物を主要被写体Ａとして選択し、代表画像６１Ｂの背景を背景Ｂとして選択した例を示す。なお、一旦入力エリア６３に入力しても不要なものはクリアボタン６５をクリックすることにより取り消しできる。

ユーザが検索実行ボタン６４をクリックすると、検索部３６により検索条件と合致する画像の検索が実行される（ステップＳＴ１８）。ここでの画像検索は、第１の実施形態とほぼ同様であるが、本実施形態では主要被写体および背景のマッチングのみ行い、これらの位置については考慮しない点が第１の実施形態と異なる。

検索が終了したら、表示制御部２８が検索結果を表示部６に表示する（ステップＳＴ１９）。以降の処理は第１の実施形態のＳＴ８以降の処理と同様である。

このように、本実施形態では、代表画像の一部の領域を予め抽出しておき、それをユーザに選択させるようにしているため、第１の実施形態の領域選択のためのドラッグ操作や、貼り付けのためのドラッグドロップ操作が不要になり、ユーザは簡単な操作だけで画像検索できる。また、このため、本実施形態の入力部は、必ずしもマウスやペンタブレットを用いる必要はなく、タッチパネル式の入力部だけで構成可能となる。

なお、本実施形態の領域抽出部３８を第１の実施形態に適用して、第１の実施形態において代表画像の一部の領域を予め抽出しておき、ユーザがその領域を選択することにより検索用画像を作成して画像検索するようにしてもよい。

次いで、本発明の変形例について説明する。本変形例の装置構成は第２の実施形態と同様であるが、本変形例では検索用パーツとなる領域を１つ検索条件として設定する度に画像検索を実行し、逐次検索結果を表示する点が第２の実施形態と異なる。以下の説明では第２の実施形態との相違点に注目して説明し、第２の実施形態と同様の構成、処理については重複説明を一部省略する。

図１１は、本変形例における検索画面の例を示す図である。図１１に示すように検索画面７０には、代表画像７１の一覧を表示する代表画像エリア７２と、選択された領域を表示する入力エリア７３と、検索結果を表示するための検索結果エリア７４とが表示されている。入力エリア７３には入力データをクリアするためのクリアボタン７６が表示され、検索結果エリア７４には検索結果の画像枚数を表示する枚数表示部７７と、検索結果の画像を表示させるための画像表示ボタン７８が表示されている。

ユーザが検索用パーツとなる主要被写体領域または背景領域を１つ選択して入力エリア７３にこの領域が表示されると、検索条件設定部３４がこの領域を検索条件として自動的に設定し、検索部３６が画像検索を自動的に実行する。画像検索後、表示制御部２８が検索結果エリア７４の枚数表示部７７に検索されて抽出された画像の枚数を自動的に表示する。ここで、ユーザが画像表示ボタン７８をクリックすると、抽出された画像の一覧が表示部６に表示される。

上記の領域の選択から検索結果の枚数表示までの一連の処理は、１つの領域の選択ごとに行われる。例えば、まず、ユーザが代表画像７１Ａの左側の人物を主要被写体Ａとして選択すると、主要被写体Ａを含む画像が検索され、その枚数が枚数表示部７７に表示される。さらに、ユーザが代表画像４１Ｂの背景を背景Ｂとして選択すると、主要被写体Ａを含む画像検索で得られた画像の中で背景Ｂを含む画像が検索され、その枚数が枚数表示部７７に表示される。

このように、本変形例によれば、ユーザは逐次表示される検索結果を見ながら検索用パーツとなる領域を選択できるため、効率的な絞り込み検索が可能である。

なお、図１１に示す例では、検索結果として画像枚数のみを表示しているが、検索結果の画像のサムネイル表示や、このサムネイル表示と画像枚数の両方の表示をするようにしてもよい。また、上記説明では第２の実施形態の変形例として記述したが、第１の実施形態においても、検索用パーツとなる領域を１つ選択するたびに上記のように検索、結果表示を逐次行うようにしてもよい。また、検索結果の画像上で、検索にヒットした領域を縁取りなどで表示するようにしてもよい。これにより、どの領域がヒットしたのかを確認するのが容易になる。

上記で説明した実施形態および変形例において、検索条件設定部３４に上記以外の機能を持たせて、検索条件を設定するようにしてもよい。以下、この場合の２つの例について説明する。

第１の例は、検索条件設定部３４が、検索用パーツとなる選択された代表画像の一部または全部に画像処理を施す機能を有し、画像処理が施された代表画像の一部または全部を用いて前記検索条件を設定する場合である。施す画像処理としては、サイズの変更、回転、変形、色の変更、ぼかし、色補正、赤目補正、美肌補正、手ぶれ補正等、様々な処理が考えられる。例えば、明確に覚えているものとうろ覚えのものがあったとき、うろ覚えのものをぼかすことで、ユーザの断片的な記憶により近い検索条件を設定することができる。また、所定人物の服装やオブジェクト等を記憶に近い状態の色やテクスチャに変更してもよく、この場合もユーザの記憶により近い検索条件を設定することができる。

画像処理は、例えば、検索用パーツ選択後に、ユーザの指示により行うようにしてもよし、あるいは、検索用パーツ選択前に画像処理を行うようにしてもよい。画像処理を施すか否かをユーザに選択させるようにしてもよい。

上記のように画像処理を施す機能を持たせることで、検索したい画像の内容について、検索しようとしているパーツの状態をより的確に検索に反映させることができる。

第２の例は、検索条件設定部３４が、検索用パーツとなる選択された前記画像の一部または全部に検索条件の一つとして検索の優先度を付与する機能を有する場合である。例えば、検索用パーツの中でも人物を優先する、人物の中でも特定の人物を優先する、オブジェクト（人物と風景以外の検索用パーツ）を優先する、オブジェクトの中でも特定のオブジェクトを優先する、風景を優先する等、優先するものに応じて優先度を付与する。一般に、検索用パーツごとに検索の優先度は異なるため、優先度を付与することで、検索の意図や記憶の程度を検索に反映させることができる。具体的な手法としては、検索用パーツごとに優先度に基づいた重み付けを行い、これを検索条件の一つして設定して検索を行い、検索結果に反映させる。

優先度の付与にはいくつかの方法が考えられる。例えば、ユーザが検索用パーツ毎に数値で入力してもよい。図１２に一例を示す。図１２に示す例では、入力エリア８３に貼り付けられた右側の人物、風景、建物、左側の人物はそれぞれ、検索用パーツＡ、Ｂ、Ｃ、Ｄとして設定されたものである。入力エリア８３内の各検索用パーツ上でクリックすると、優先度を入力するための小ウインドウ８４が表示されるので、ユーザはキーボード等の入力手段から優先度を表す数字を入力する。

優先度は、全検索用パーツの優先度の合計が１００となるように付与してもよく、この場合は、例えば図１３に例示するような優先度設定ウインドウ８６を画面上に表示させて使用することができる。図１３の優先度設定ウインドウ８６において、Ａ、Ｂ、Ｃ、Ｄはそれぞれ検索用パーツＡ、Ｂ、Ｃ、Ｄを意味し、Ａ、Ｂ、Ｃ、Ｄの上の各数字５０、３０、１０、１０が各検索用パーツＡ、Ｂ、Ｃ、Ｄに設定された優先度である。これらの数字は、ユーザがスライドバー８７を画面の左右方向に移動させることにより変更可能であり、これらの合計は必ず１００になるように設定されている。なお、優先度は、例えば３：３：２：１のような比率で付与するようにしてもよい。このように、優先度を数値で与えることにより、細かい設定が可能となる。

または、ユーザには優先順位のみ指示させるようにし、あらかじめ決めておいた優先順位ごとの比率により優先度を設定するようにしてもよい。このとき、優先順位ごとの比率は、変更可能なことが好ましい。個々の検索用パーツに、比率等の細かい数値を付与するのが困難で煩雑な場合は、順位付けだけでよいため、優先度を容易に設定でき、ユーザの負担を軽減できる。

あるいは、あらかじめ、人物優先モード・風景優先モード等のモードを設けておき、優先したい検索用パーツの優先度が高くなるようなモードをユーザが選択できるようにしてもよい。このようなモードを設けることで、優先度設定の容易さが向上する。

また、検索用パーツの状態に応じて優先順位を設定するようにしてもよい。例えば大きいものほど優先順位が高い、ボケ度合いが少ないものほど優先順位が高い、検索用パーツが入力エリア内に配置されたときに前面にくるものほど優先順位が高い、代表画像中における検索用パーツの占有率が大きいほど優先順位が高い等のようにしてもよい。このような設定を採用することで、操作性が向上し、より感覚的な設定が可能になる。

なお、上記の第１の例として説明した画像処理を施す機能と、第２の例として説明した優先度を付与する機能を併用してもよい。例えば、画像処理機能により所定の検索用パーツにぼかしを施し、優先度を付与するときに、ボケ度合いが少ないものほど優先順位が高いように設定してもよい。または、画像処理機能により所定の検索用パーツのサイズを大きくし、優先度を付与するときに、大きいものほど優先順位が高いように設定してもよい。

なお、本発明は上記で説明した実施形態および変形例以外にも各種の変形例が可能である。例えば、上記実施形態では検索結果は、全ての検索用パーツについて一致度の高い順に表示するようにしたが、個々の検索用パーツごとに一致度の高い順に表示するようにしてもよい。図１４にこの一例を示す。図１４に例示する検索結果を表す画面９０では、左端縦列に検索用パーツＡ、Ｂ、Ｃ、Ｄを表示し、各検索用パーツごとにその右側行方向に一致度の高い順に配列された検索結果の画像９１を表示している。

また、上記実施形態では、検索結果として得られた画像を印刷する場合について説明したが、検索結果の用途は印刷だけに限定されず、検索結果として得られた画像データを所望の場所へ送信するようにしてもよく、あるいは所望の記憶媒体に書き込むようにしてもよい。

代表画像を抽出するときには、各画像が保持している撮影日時等の情報に基づいて各画像を日付で分類し、この分類ごとに、イベントの種類や主要被写体を最もよく表す画像を代表画像として抽出するようにしてもよい。または、過去の検索や印刷等のアクセスの履歴を記憶しておき、過去の検索結果で上位になった頻度の高い画像、印刷された頻度の高い画像を代表画像として抽出するようにしてもよい。

なお、検索の際に、検索用パーツを抽出した代表画像は、検索におけるヒット率が非常に高くなる可能性があるので、優先度を下げたり検索対象から外したりするようにしてもよい。

以上、本発明の実施形態および変形例に係る装置について説明したが、コンピュータを、上記の代表画像抽出部３２、検索条件設定部３４、検索部３６、領域抽出部３８に対応する手段として機能させ、図３、７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による画像検索装置の外観斜視図 本発明の第１の実施形態による画像検索装置の構成を示す概略ブロック図 本発明の第１の実施形態において行われる処理を示すフローチャート 検索画面の例を示す図 検索結果の画面の例を示す図 本発明の第２の実施形態による画像検索装置の構成を示す概略ブロック図 本発明の第２の実施形態において行われる処理を示すフローチャート 抽出された領域の例を示す図 抽出した領域に縁取りと種類を付けて代表画像の中に表示する例を示す図 検索画面の例を示す図 検索画面の例を示す図 検索画面の例を示す図 優先度設定ウインドウの例を示す図 検索結果の画面の例を示す図

符号の説明

１ 画像検索装置
２ メモリカード
４ カードスロット
６ 表示部
７ 入力部
８ プリンタ
１０ コントローラ
１２ ＣＰＵ
１４ システムメモリ
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ ネットワークインターフェース
３２ 代表画像抽出部
３４ 検索条件設定部
３６ 検索部
３８ 領域抽出部
４０ 検索画面
４１ 代表画像

Claims (7)

1. 複数の画像からなる画像群から抽出された１または複数の代表画像を表示させる表示手段と、
   前記１または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定する検索条件設定手段と、
   前記画像群に対して、設定された前記検索条件と合致する画像の検索を行う検索手段とを備えたことを特徴とする画像検索装置。
2. 前記検索条件設定手段は、前記一部の画像中の位置を前記検索条件の一つとして設定するものであることを特徴とする請求項１に記載の画像検索装置。
3. 前記画像の一部または全部を選択する際の選択候補として、前記１または複数の代表画像から主要被写体領域および／または背景領域を抽出して、抽出された該領域を選択可能な状態にする領域抽出手段をさらに備えたことを特徴とする請求項１または２に記載の画像検索装置。
4. 前記検索条件設定手段は、選択された前記画像の一部または全部に画像処理を施す機能を有し、前記画像処理が施された前記画像の一部または全部を用いて前記検索条件を設定するものであることを特徴とする請求項１から３のいずれか１項に記載の画像検索装置。
5. 前記検索条件設定手段は、選択された前記画像の一部または全部に前記検索条件の一つとして検索の優先度を付与するものであることを特徴とする請求項１から３のいずれか１項に記載の画像検索装置。
6. 複数の画像からなる画像群から抽出された１または複数の代表画像を表示し、
   前記１または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定し、
   前記画像群に対して、設定された前記検索条件と合致する画像の検索を行うことを特徴とする画像検索方法。
7. 複数の画像からなる画像群から抽出された１または複数の代表画像を表示する手順と、
   前記１または複数の代表画像の中から選択された該画像の一部または全部を用いて検索条件を設定する手順と、
   前記画像群に対して、設定された前記検索条件と合致する画像の検索を行う手順とを有することを特徴とする画像検索方法をコンピュータに実行させるためのプログラム。

Images