JP2010134664A - 画像処理装置、画像表示方法および画像表示プログラム - Google Patents

Abstract

【課題】画像検索の結果を検索キー（検索条件）との関係をも把握できるように提供する。
【解決手段】タッチパネル１０７を通じて画像検索に用いる検索キーを指示する。この指示された検索キーに関連する情報を有する画像データを、制御部１２０により、検索キーに対応する情報を有する画像データを複数記憶する記録媒体１３５から検索して抽出する。検索されて抽出された画像データに応じて画像を、制御部１２０が、表示部１０６の表示画面に表示する。この場合、検索の結果得られた画像データに応じた画像を、制御部１２０が、検索キーに対する関連度に応じた表示画面上の位置に表示する。
【選択図】図１

Description

この発明は、例えば、デジタルスチルカメラなどの、比較的に大きな表示画面を有する表示素子を備え、種々の画像を表示することが可能な装置、当該装置で用いられる方法、プログラムに関する。

撮影した画像をデジタルデータとして記録媒体に記録するデジタルスチルカメラが広く利用されている。近年、デジタルスチルカメラで用いられる内蔵フラッシュメモリーやリムーバルメモリーの小型化、大容量化が促進され、これらのメモリーに大量の画像データを蓄積することができるようになっている。

そして、デジタルスチルカメラにおいては、使用年数を重ねるごとに撮影された画像の蓄積枚数も増加し、内蔵フラッシュメモリーやリムーバブルメモリーに、ユーザーの頭の中では管理できないほどの数の画像データが蓄積されてしまう場合も少なくない。

このため、デジタルスチルカメラにおいては、画像データに対してユーザーがキーワードを付加するようにしておき、当該キーワードを用いた検索を行えるようにしているものもある。例えば、撮影することにより得た画像データに対して、撮影を行った場所や写っている人の名前などの種々の情報をキーワードとして付加することが行われている。

そして、画像データに対して付加されたキーワードを利用して複数の画像データの中から所望の画像の画像データを検索する場合には、ユーザーが検索キー（検索条件）を設定（指示）して検索処理を行うようにする。

例えば、予め提示するようにされる検索キーから適切なものを選択するなどして検索キーを設定したり、ユーザーからテキストデータの入力を受け付けて、これを検索キーとして設定したりする。この後、設定された検索キーを用いて、検索処理を実行し、当該検索キーを有する画像データを絞り込むことができる。

このように、画像データに対してキーワードを付加しておくことにより、そのキーワードを用いた画像データの検索ができるようにされ、柔軟に画像データの検索を行うことができるようにされる。

また、キーワードを用いた画像検索については、種々の改良も成され、例えば、後に記す特許文献１や特許文献２には、迅速かつ確実に所望の画像を検索できるようにするための発明が開示されている。

なお、上述した特許文献１、特許文献２は以下に示す通りである。
特開２００５−３５４１３４号公報 特開２００８−１６５４２４号公報

ところで、検索キー（検索条件）に一致する情報を有する画像データを検出する場合には、検索結果を一覧表示することによりその結果を適切に把握することができる場合が多い。

しかし、検索キー（検索条件）に関連する画像データにまで検索範囲を広げた場合には、その検索結果を平坦かつタイル上に並べて表示するようにしただけでは、検索結果について検索条件との関連度を視覚的に瞬時に認識するのは困難である。

以上のことに鑑み、この発明は、画像検索の結果を検索キー（検索条件）との関係をも把握できるように提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
表示素子と、
検索キーに対応する情報を有する画像データを複数記憶する記憶手段と、
画像検索に用いる検索キーを指示する検索キー指示手段と、
前記検索キー指示手段により指示された検索キーに関連する情報を有する画像データを前記記憶手段から検索して抽出する検索手段と、
前記検索手段により抽出された画像データに応じた画像を、前記表示素子の表示画面上において、前記検索キーに対する関連度に応じた位置に表示するように制御する表示制御手段と
を備える。

この請求項１に記載の発明の画像処理装置によれば、検索キー指示手段を通じて画像検索に用いる検索キーが指示される。この指示された検索キーに関連する情報を有する画像データが、検索手段により、画像データを複数記憶する記憶手段から検索されて抽出される。

そして、検索されて抽出された画像データに応じた画像が、表示制御手段によって、表示素子の表示画面に表示される。この場合、検索の結果得られた画像データに応じた画像は、表示制御手段により、検索キーに対する関連度に応じた表示画面上の位置に表示される。

これにより、画像検索の結果を検索キー（検索条件）との関係をも把握できるように、ユーザーに対して提供することができるようにされる。

この発明によれば、画像検索の結果を検索キー（検索条件）との関係をも把握できるようにしてユーザーに提供することができる。

以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。

［撮像装置の構成例］
図１は、この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置１００の構成例を説明するためのブロック図である。撮像装置１００は、撮影モードを切り替えることにより、静止画像と動画像のいずれをも撮影して記録媒体に記録することができるものである。

しかし、以下に説明する実施の形態においては、説明を簡単にするため、撮像装置１００はデジタルスチルカメラとしての機能が用いられ、主に静止画像を撮影したり、再生したりする場合を例にして、この撮像装置１００の構成と動作について説明する。

図１に示すように、撮像装置１００は、レンズ部１０１、撮像素子１０２、前処理部１０３、画像処理部１０４、表示処理部１０５、表示部１０６、タッチパネル１０７、圧縮処理部１０９、伸張処理部１１０、表示画像形成部１１１を備えている。

また、撮像装置１００は、制御部１２０、操作部１３１、外部インターフェース（以下、外部Ｉ／Ｆと略称する。）１３２、入出力端子１３３、書き込み／読み出し部１３４、記録媒体１３５を備えている。また、撮像装置１００は、セット上部のタッチパネル１３６、モーションセンサ１３７、ＧＰＳ受信部１３８、ＧＰＳ用受信アンテナ１３９、時計回路１４０を備えている。

この実施の形態の撮像装置１００において、表示部１０６は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル（Organic Electroluminescence Panel）等のいわゆる薄型の表示素子からなるものである。そして、後述もするが、この表示部１０６の表示画面の全面に対して操作面を形成するようにタッチパネル１０７が貼付されている。

タッチパネル１０７は、ユーザー（使用者）からの操作面に対する指示操作（接触操作）を受け付けて、タッチパネル１０７の当該操作面上の指示位置（接触位置）を検出し、当該指示位置を示す座標データを制御部１２０に通知するものである。

制御部１２０は、後述もするように、撮像装置１００の各部を制御するものであり、表示部１０６の表示画面に対して、どのような表示を行っているかをも把握している。制御部１２０は、タッチパネル１０７からの操作面上の指示位置を示す座標データと、当該指示位置に対応する表示部１０６の表示画面上の表示情報とに基づいて、ユーザーからの指示操作（入力操作）を受け付けることができる。

例えば、ユーザーがタッチパネル１０７の操作面上の位置に、指やスタイラスなどを接触させたとする。この場合に、その接触位置に対応する（一致する）表示画面上の位置に数字が表示されていた場合には、ユーザーはその表示されている数字を選択して入力するようにしたと制御部１２０において判別することができる。

このように、撮像装置１００においては、表示部１０６とタッチパネル１０７とによって、入力装置としてのタッチスクリーン１０８を形成している。なお、タッチパネル１０７は、例えば、感圧式や静電式のものとして実現される。

また、タッチパネル１０７は、操作面上の複数の箇所に同時に行うようにされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができるものである。また、タッチパネル１０７は、操作面に対して繰り返し行うようにされる指示操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。

さらに、タッチパネル１０７は、ユーザーによって、指やスタイラスが接触されている間は、所定のタイミング毎に連続して接触位置を検出し、これを示す座標データを出力することもできる。

これにより、タッチパネル１０７は、いわゆるタップ操作、ダブルタップ操作、ドラッグ操作、フリック操作、ピンチ操作などのユーザーからの様々な指示操作（操作入力）を受け付けて、これを検出することができるものである。

ここで、タップ操作は、ユーザーの指やスタイラスによって、操作面上を「ちょん」と１回だけ指示する動作（操作）である。ダブルタップ操作は、操作面上を連続して２回、「ちょん、ちょん」と指示する動作である。

また、ドラッグ操作は、ユーザーの指やスタイラスを操作面上に接触させたまま移動させる動作である。フリック操作は、ユーザーの指やスタイラスを操作面上の１点を指示してから、そのまま任意の方向に素早く「はじく」ようにする動作である。

ピンチ操作は、ユーザーの２本の指等を同時に操作面上に接触させて、当該２本の指等を開いたり、閉じたりする動作である。この場合、特に、接触させた２本の指等を開く操作をピンチアウト操作、２本の指等を閉じる操作をピンチイン操作と呼んでいる。

ドラッグ操作とフリック操作とは、動作の速さに違いがあるものの、操作面上にユーザーの指等を接触させた後に、当該操作面上を移動させる操作（操作面上をなぞる操作）であり、移動距離と移動方向との２種類の情報によって把握できる操作である。

このため、この明細書においては、ドラッグ操作とフリック操作とのいずれかの操作を行うことにより、同じ処理を行うようにすることができる場合には、ドラッグ操作とフリック操作との総称として「なぞり操作」という文言を用いる。

そして、制御部１２０は、撮像装置１００を構成する各部と接続され、上述もしたように、撮像装置１００の各部を制御するものであり、いわゆるマイクロコンピュータの構成されたものである。

制御部１２０は、ＣＰＵ（central Processing Unit）１２１、ＲＯＭ（Read Only Memory）１２２、ＲＡＭ（Random Access Memory）１２３、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１２４が、ＣＰＵバス１２５を通じて接続されて構成されている。

ＣＰＵ１２１は、後述するＲＯＭ１２２に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給し、また各部から提供されるデータ等を受け付けて、これを処理するものである。

ＲＯＭ１２２は、上述のように、ＣＰＵ１２１において実行される種々のプログラムや処理に必要になる種々のデータ等を予め記憶保持しているものである。ＲＡＭ１２３は、各種の処理において途中結果を一時記憶するなど、主にワークエリアとして用いられるものである。

ＥＥＰＲＯＭ１２４は、いわゆる不揮発性メモリーであり、撮像装置１００の電源が落とされても保持しておくべき情報を記憶保持する。例えば、ユーザーによって設定された種々のパラメータや、種々の処理の最終結果、あるいは、機能追加などのために新たに提供された処理プログラムやデータ等が、ＥＥＰＲＯＭ１２４に保持される。

このように構成された制御部１２０に対しては、図１に示したように、操作部１３１、外部Ｉ／Ｆ１３２、書き込み／読み出し部１３４、セット上部のタッチパネル１３６、モーションセンサ１３７、ＧＰＳ受信部１３８、時計回路１４０が接続されている。

操作部１３１は、各種の調整キーや機能キー、シャッターキーなどの操作キーを有し、ユーザーからの操作入力を受け付けて、これを制御部１２０に通知する。これにより、制御部１２０は、操作部１３１を通じて受け付けたユーザーからの操作入力に応じて、各部を制御し、操作入力に応じた処理を実行することができるようにされる。

外部Ｉ／Ｆ１３２は、例えば、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ（Institute of Electrical and Electronics Engineers Inc）１３９４などの、所定の規格に準拠したデジタルインターフェースである。

すなわち、外部Ｉ／Ｆ１３２は、入出力端子１３３に接続された外部機器からのデータを自機において処理可能な形式のデータに変換して受け付けたり、自機から送出するデータを所定の形式のデータに変換して出力したりするものである。

書き込み／読み出し部１３４は、制御部１２０の制御に応じて、自機の記録媒体１３５に対して、データを書き込んだり、記録媒体１３５に記録されているデータを読み出したりするものである。

記録媒体１３５は、撮像装置１００に対して着脱可能に構成され、例えば、半導体メモリーが用いられて、数ギガバイト以上の記憶容量を有するようにされたいわゆるメモリーカード型のリムーバブルメモリーである。

なお、メモリーカード型のリムーバブルメモリー以外にも、記録媒体１３５として、例えば、内蔵フラッシュメモリーや小型のハードディスクなど内蔵型の記録媒体を用いる構成することもできる。

また、記録媒体１３５として、小型のＤＶＤ（digital Versatile Disc）やＣＤ（Compact Disc）等の光ディスクなどの他のリムーバブル型の記録媒体を用いる構成とすることもできる。

セット上部のタッチパネル１３６は、所定の場合にユーザーからの指示入力を受け付けるためのものである。このタッチパネル１３６もまた、感圧式や静電式のものとして実現される。なお、セット上部のタッチパネル１３６は、必ずしもタッチパネルによって構成されなくてもよい。いわゆるハードウェアキーとして実現してもよい。

モーションセンサ１３７は、撮像装置１００の動きを検出するものであり、具体的には、２軸若しくは３軸の加速度センサなどにより構成される。そして、モーションセンサ１３７は、撮像装置１００が傾けられるようにされた場合に、どの方向にどれだけ傾けられたのかを検出し、制御部１２０に通知することができるものである。

また、モーションセンサ１３７は、撮像装置１００が左右に振られた場合と上下に振られた場合とを区別して検出し、これを制御部１２０に通知することができる。また、モーションセンサ１３７は、例えば、叩かれるなどして振動が加えられた場合に、これを検出して制御部１２０に通知することもできる。

ＧＰＳ受信部１３８は、ＧＰＳ用受信アンテナ１３９を通じて、複数の人口衛星からの所定の信号を受信し、これを解析することによって、撮像装置１００の現在位置を検出し、これを制御部１２０に通知することができるものである。

このＧＰＳ受信部１３８の機能により、撮像装置１００においては、撮影時に現在位置情報を取得して、画像データに対してメタデータとして撮影位置を示す位置情報（ＧＰＳ情報）を付加することができるようにしている。

なお、ＧＰＳ受信部１３８は、例えば、操作部１３１を通じて受け付けるユーザーからの指示に応じて、動作させたり、動作を停止させたりすることもできるようにされている。

時計回路１４０は、カレンダ機能を備え、現在年月日、現在曜日、現在時刻を提供することができると共に、必要に応じて、所定の時間間隔を計測する時間カウンタの機能をも実現することができるものである。

この時計回路１４０の機能により、撮影された画像データに対して撮影日時や撮影曜日などの撮影日に関する情報を付加することができるようにしている。また、時計回路１４０の機能を利用して、所定の操作から一定時間経過後に自動的にシャッターをきって撮影できるようにするセルフタイマー撮影機能をも実現することができるようにしている。

そして、図１に示した撮像装置１００において、レンズ部１０１は、図示しないが、撮像レンズ（対物レンズ）、露光調整機構、合焦調整機構、シャッター機構等を含み、被写体の画像を取り込み後段の撮像素子のセンサ面に結像させるようにする部分である。

撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像センサ（撮像素子）からなるものである。撮像素子１０２は、レンズ部１０１を通じて自己のセンサ面に結像するようにされた画像を電気信号（画像信号）として取り込む。

この実施の形態の撮像装置１００において、撮像素子１０２は、画素毎にＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの信号を形成するようにする予め決められた色パターンの単板の色フィルタを備えたものである。

そして、撮像素子１０２を通じて取り込まれた画像信号は、後段の前処理部１０３に供給される。前処理部１０３は、ＣＤＳ（Correlated Double Sampling：２重相関サンプリング）回路やＡＧＣ（Automatic Gain Control）回路やＡ／Ｄ（Analog/Digital）変換器などを含み、撮像素子１０２からの画像信号をデジタルデータとして取り込む部分である。

前処理部１０３を通じて取り込まれた画像信号（画像データ）は、画像処理部１０４に供給される。画像処理部１０４は、図示しないが検波回路、ホワイトバランス回路、デモザイク回路、解像度変換回路、その他の画像補正回路等を有するものである。

画像処理部１０４においては、まず、前処理回路１０３からの画像データに基づいて、露光（露出）調整のためのパラメータ、合焦（焦点）調整のためのパラメータ、ホワイトバランス調整のためのパラメータなど、種々の調整処理のためのパラメータを形成する。

画像処理部１０４において形成されたパラメータの内、露光（露出）調整のためのパラメータと合焦（焦点）調整のためのパラメータとは制御部１２０に供給される。制御部１２０は、画像処理部１０４からのパラメータに基づいて、レンズ部１０２の露光調整機構や合焦調整機構を制御し、露光や合焦のための調整を適切に行うことができるようにしている。

そして、画像処理部１０４においては、前処理部１０３からの画像データに対して、黒レベル合わせ処理や上述したように形成されるホワイトバランス調整のためのパラメータ基づくホワイトバランス調整処理を行う。これらの調整処理により、前処理部１０３からの画像データが形成する画像が適切な色合いになるように調整する。

この後、画像処理部１０４においては、適切な色合いになるように調整された画像データに対して、画素毎にＲＧＢデータ（３原色データ）を生成するデモザイク処理（同時化処理）、アパーチャ補正処理、ガンマ（γ）補正処理等を行う。

さらに、画像処理部１０４においては、形成したＲＧＢデータから輝度信号（Ｙ）と色信号（Ｃｂ、Ｃｒ）を形成するＹ／Ｃ変換処理や、色収差補正処理、解像度変換処理などを行って、輝度信号Ｙおよび色信号Ｃｂ、Ｃｒを形成する。

画像処理部１０４で形成された画像データ（輝度信号Ｙ、色信号Ｃｂ、Ｃｒ）は、表示処理部１０５に供給され、ここで表示部１０６に供給する形式の画像信号に変換されて表示部１０６に供給される。

これにより、表示部１０６の表示画面には、レンズ部１０１を通じて取り込んだ被写体の画像が表示され、ユーザーは、表示部１０６の表示画面に表示される被写体の画像を確認しながら、目的とする被写体の画像を撮影することができる。

同時に、画像処理部１０４で形成された輝度信号Ｙ、色信号Ｃｂ、Ｃｒは、圧縮処理部１０９にも供給される。そして、操作部１３１のシャッターキーが押下されたタイミングにおいて、圧縮処理部１０９は、その時点において、表示部１０６の表示画面に表示するようにしていた画像の画像データをデータ圧縮し、これを制御部１２０に供給する。

なお、圧縮処理部１０３においては、予め決められたデータ圧縮方式に従って、データ圧縮処理を行う。データ圧縮方式としては、静止画であれば、ＪＰＥＧ（Joint Photographic Experts Group）方式、動画であれば、ＭＰＥＧ（Moving picture Experts Group）方式などが用いられる。もちろん、これに限るものではなく、データ圧縮方式は種々のものを用いるようにすることが可能である。

制御部１２０は、書き込み／読み出し部１３４を制御し、圧縮処理部１０９からのデータ圧縮された画像データを記録媒体１３５に記録する。このようにして、撮像装置１００においては、被写体の画像を撮影し、当該被写体の画像を形成する画像データを記録媒体１３５に記録することができるようにしている。

撮像装置１００において、上述のように撮影して得た画像データは、詳しくは後述するが、ユーザーが形成するようにするフォルダ毎に、記録媒体１３５に格納して管理することができるようにしている。

フォルダは、被写体毎やイベント毎などと言うように、目的に応じて形成することができる。この実施の形態の撮像装置１００においては、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベント毎にフォルダを形成するようにしている。もちろん、撮影した画像データを後から、目的とするフォルダに移動させたりするなどのこともできるようにされる。

そして、記録媒体１３５に記録された画像データは、制御部１２０に制御される書き込み／読み出し部１３４によって読み出すことができるようにされる。記録媒体１３５から読み出された画像データは、制御部１２０を通じて伸張処理部１１０に供給される。

伸張処理部１１０は、これに供給された画像データを、データ圧縮時に用いたデータ圧縮方式にしたがって伸張処理し、データ圧縮前の画像データを復元して、これを表示画像形成部１１１に供給する。

表示画像形成部１１１は、伸張処理部１１０からの画像データを用いて、また、必要な場合には、制御部１２０から供給される種々の表示用データをも用いて、表示部１０６の表示画面に表示すべき画像の画像データを形成し、これを表示処理部１０５に供給する。

表示処理部１０５は、画像処理部１０４からの画像データを処理したときと同様に、表示画像形成部１１１からの画像データから、表示部１０６に供給する形式の画像信号に変換し、これを表示部１０６に供給する。

これにより、記録媒体１３５に記録されている画像データに応じた画像を、表示部１０６の表示画面に表示することができる。すなわち、記録媒体１３５に記録されている目的とする画像の画像データを再生することができる。

このように、この実施の形態の撮像装置１００は、被写体の画像を撮影して、記録媒体１３５に記録することができるものである。また、撮像装置１００は、記録媒体１３５に記録されている画像データを読み出して再生処理し、当該画像データに応じた画像を表示部１０６の表示画面に表示することもできるものである。

上述の構成を有する撮像装置１００においては、以下に説明するように、撮影することにより記録媒体１３５に記録した画像ファイルにキーワードなどの検索キー（検索条件）の候補となる情報を付加しておき、これに応じて画像データを検索できるようにしている。

そして、撮像装置１００は、検索キーに一致する情報を有する画像データを単純に抽出するものではない。検索キーに関連する情報を有する画像データを検索して抽出し、その結果を検索キーに対する関連度に応じて、表示部１０６の表示画面に表示することができるようにしている。

また、撮像装置１００は、画像検索の結果を、複雑な操作を行うことなく、ユーザーの意図する範囲で確定し、保存するなどのこともできるようにしている。

［画像ファイル、画像フォルダの構成例］
図２は、撮像装置１００の記録媒体１３５に記録される画像ファイルのレイアウト例を説明するための図である。図２に示すように、画像ファイルは、各画像ファイルを識別するための識別情報であるファイル名を有している。このファイル名は、例えば、撮影時において、制御部１２０により自動付与されるものである。

また、各画像ファイルには、キーワード、ＧＰＳ情報、画像分析情報、カメラ情報、撮影日時などからなるメタデータが付加するようにされている。これらのメタデータは、画像データの検索キーに対応する情報として用いることができるものである。

ここで、キーワードは、ユーザーによって入力される主にテキストデータである。具体的にキーワードは、撮影を行った場所を示す地名、画像に写っている人の名前、撮影を行った場所で開かれていたイベント名など、当該画像の内容などを示す情報が複数個登録可能にされている。

なお、キーワードは、これを付加する画像ファイルの画像データに応じて画像が表示部１０６の表示画面に表示されている場合において、操作部１３１やタッチスクリーン１０８を通じて入力し、当該画像ファイルに付加することができるようにされている。

また、例えば、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子１３３及び外部Ｉ／Ｆ１３２を通じて撮像装置１００に取り込み、記録媒体１３５に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置１００に取り込んで、これを利用するようにすることもできる。

ＧＰＳ情報は、撮影時において、上述したＧＰＳ受信部１３８を通じて取得した撮影時の位置を示す位置情報（経度、緯度の情報）であり、制御部１２０を通じて、画像ファイルに付加することができるようにされている。

画像分析情報は、当該画像ファイルの画像データを所定の方式で画像分析（画像解析）を行うことにより、画像分析結果を得て、これを各画像ファイルに格納するようにしたものである。この画像分析は、撮影後の適宜にタイミングにおいて、主に制御部１２０の機能により行われ、画像ファイルに付加するようにされている。

そして、画像分析情報は、例えば、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。

さらに言えば、当該画像分析情報は、当該画像分析の結果に基づいて、類似する人物（顔）が写っている画像を検索したり、類似する場所が写っている画像を検索したり、あるいは、色あいや複雑さの特徴が類似する画像を検索したりするなどのことができるものである。

また、当該画像分析情報は、後述もするが、画像分析の結果得られる情報であって、画像における人物の顔の面積、画像に写っている人物の数、画像に写っている人物の笑顔の度合い、画像全体の特徴を示す情報といった種々の分析情報をも含んでいる。

カメラ情報は、撮影時の絞りやシャッタースピードなどを示す情報である。このカメラ情報は、制御部１２０において管理されている情報であり、撮影が行われた場合に、制御部１２０によって画像ファイルに付加するようにされている。そして、当該カメラ情報により、どのようなカメラ条件の下で撮影された画像データであるかが把握できる。

撮影日時は、時計回路１４０を通じて撮影時において制御部１２０が取得し、画像ファイルに付加した日時情報であり、年月日及び時刻からなる情報である。これにより、各画像ファイルの画像データは、いつ撮影されたものかを正確に把握することができる。

そして、画像ファイルには、メインデータとして、撮影することにより得られた被写体の画像を形成する画像データが格納されている。

このように形成される画像ファイルが、撮像装置１００の記録媒体１３５に記録される。そして、画像ファイルは、以下に説明するように、ユーザーの指示に応じて記録媒体１３５に作成される画像フォルダに格納するようにされる。

なお、この実施の形態の撮像装置１００においては、ユーザーが画像フォルダを形成しない場合、例えば、撮影日に対応するフォルダを自動的に形成し、これに撮影することにより得た画像データを格納することができるようにしている。

そして、画像ファイルが格納される画像フォルダは、上述もしたように、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベント毎や撮影年月や撮影年月日毎などに形成されるものである。

これ以外にも、例えば、被写体毎に画像フォルダを形成して用いるようにしたり、撮像装置１００を家族などで共用する場合には、撮影者毎に画像フォルダを形成して使い分けるようにしたりすることもできる。

図３は、撮像装置の１００の記録媒体１３５に形成される画像フォルダのレイアウト例を説明するための図である。図３に示すように、画像フォルダは、各フォルダを識別するための識別情報であるフォルダ名を有している。このフォルダ名が、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベントに対応する情報や、撮影年月や撮影年月日などの撮影日に関する情報などである。

また、各画像フォルダは、当該画像フォルダのイベントタイトル、作成日時、その他の種々のメタデータを有している。

イベントタイトルは、その画像フォルダがイベントに対応して作成されたものである場合に、より詳しいイベントの内容、例えば、「○○ちゃんの入学式 ２００８．４．１０」などのようにより詳しい内容を示す情報を格納することができる。

作成日時は、当該画像ファイルを作成した日時を示す情報であり、画像フォルダの作成時において、制御部１２０が時計回路１４０から取得する情報である。

この他、メタデータとして、当該画像フォルダに格納されている画像ファイルの数などの撮像装置１００において自動的に付与可能な情報や、ユーザーによって入力される注釈情報（文字情報）等を付加することも可能である。

そして、画像フォルダには、当該フォルダに属する画像ファイルのそれぞれの、ファイル名、記録媒体上のアドレス、撮影日時が格納されている。この画像フォルダの情報により、当該画像フォルダには、いつ撮影された、どの画像ファイルが格納されており、それらの画像ファイルは、記録媒体上のどこに格納されているかを把握することができる。

そして、各画像ファイルにおいては、撮影することにより得られた画像データの画像ファイルを撮影日時に応じて時系列順に管理している。これにより、画像フォルダの情報に基づいて、図３に示した画像ファイルの画像データを、時間が進む方向に読み出して順次に表示したり、時間が戻る方向に順次に読み出して表示したりすることができるようにしている。

［検索キーの候補情報テーブル］
そして、この実施の形態の撮像装置１００においては、検索キーを用いた画像データの検索処理を手軽に行うことができるようにするために、検索キーの候補となる情報（検索キー候補情報）が予め登録されている。この検索キー候補情報テーブルに登録されている検索キー候補情報が、後述もするが、検索時に登録することなく検索キーとして用いることができるものである。

図４は、撮像装置１００の記録媒体１３５に、あるいは、ＥＥＰＲＯＭ１２４などに予め作成される検索キー候補情報テーブルを説明するための図である。この実施の形態の撮像装置１００において、検索キー候補情報テーブルは、図４に示すように、「人」、「場所」、「色」、「季節」、「被写体」、「カメラ情報」、「その他」の７つのカテゴリに分けて検索キー候補情報を管理するものである。

カテゴリ「人」は、人に関する検索キー候補情報が属するものであり、図４に示すように、「家族、父、母、兄、姉、弟、妹、…」などの情報が予め登録されている。また、カテゴリ「人」には、例えば、「○子（ユーザー本人）」、「Ａさん」、「Ｂさん」、「Ｃさん」など、ユーザー自身の名前や、被写体になる（なった）友人や知人の名前などを、ユーザー自身が登録することもできる。

カテゴリ「場所」は、場所に関する検索キー候補情報が属するものであり、図４に示すように、都道府県名、市町村名、区名、その他の地名、駅名、種々のランドマーク名等の情報が予め登録されている。なお、新たにできた地名や新たにできたランドマーク（高層ビルや商業施設等）の名前など、登録されていない地名などについては、ユーザー自身が登録することもできる。

カテゴリ「色」は、図４に示したように、赤、白、黒、青、…などの色名が属するものであり、一般的によく用いられる複数の色名が予め登録されている。なお、予め登録されていない色名については、ユーザー自身が登録することもできる。

カテゴリ「季節」は、季節に関する検索キー候補情報が属するものであり、図４に示すように、「春、夏、秋、冬」のほか、新春、早春、初夏、初秋、初冬などの季節に関する幾つかの単語も予め登録されている。なお、予め登録されていない季節に関する単語については、ユーザー自身が登録することもできる。

カテゴリ「被写体」は、被写体となりうるものに関する検索キー候補情報が登録されるものであり、図４に示すように、動物、花、木、山、海など、一般によく被写体となるものの名前が予め登録されている。なお、予め登録されていない被写体となりうるものに関する単語については、ユーザー自身が登録することもできる。

カテゴリ「カメラ情報」は、絞りやシャッタースピードなどの撮影時のカメラの設定条件などの検索キー候補情報が予め登録されるものである。例えば、特殊な設定条件を用いて撮影した画像を検索する場合などに用いられる。なお、予め登録されていないカメラ情報については、ユーザー自身が登録することもできる。

カテゴリ「その他」は、上記の６つのカテゴリのいずれにも属さない検索キー候補情報が登録されるものである。例えば、画像分析やＧＰＳ情報といった項目名が登録されており、これらを選択することにより、特定の画像の画像分析情報を検索キーとして用いるようにしたり、特定の画像のＧＰＳ情報を検索キーとして用いるようにしたりすることができるようにされる。

そして、この実施の形態の撮像装置１００においては、上述もしたように、撮影することにより記録媒体１３５に記録した画像ファイルに対しては、ユーザーが種々のキーワードを付すことができるようにしている。

ユーザーは、上述もしたように、撮影することにより記録媒体１３５に記録した画像ファイルに格納されている画像データによる画像を再生するようにし、キーワードを付加するための所定の操作を行うと、操作部１３１を通じてキーワードを入力することができる。

この場合、図４に示した検索キー候補情報テーブルの検索キー候補情報の一覧を表示し、その表示された候補の中から目的とするキーワードを選択して付加するようにすることができる。

また、検索キー候補情報の一覧の中に目的するキーワードが存在しない場合には、例えば、タッチスクリーン８により実現される入力キーを通じて、単語などのテキストデータを入力し、これをキーワードとして付加することもできる。

もちろん、上述もしたように、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子１３３及び外部Ｉ／Ｆ１３２を通じて撮像装置１００に取り込み、記録媒体１３５に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置１００に取り込んで、これを利用するようにすることもできる。

また、入出力端子１３３及び外部Ｉ／Ｆ１３２を通じて接続されるパーソナルコンピュータなどの外部機器を通じて、撮像装置１００の検索キー候補テーブルに検索キーの候補を追加することも可能である。

もちろん、パーソナルコンピュータなどの外部機器で形成された検索キー候補テーブルを、入出力端子１３３及び外部Ｉ／Ｆ１３２を通じて取り込んで、ＥＥＰＲＯＭ１２４などの所定のメモリーに格納し、これを利用するようにすることもできる。

この場合、制御部１２０は、キーワードとして入力された情報が、検索キー候補情報テーブルに存在しない場合には、当該キーワードを検索キー候補情報テーブルに追加登録するか否かの確認を求める。

そして、追加登録することが指示された場合には、制御部１２０は、例えば操作部１３１等を通じてユーザーによって指示されたカテゴリに当該キーワードを登録することができるようにされている。

このようにして、この実施の形態の撮像装置１００においては、記録媒体１３５に格納されている各画像ファイルに付加されているキーワードのいずれかと、検索キー候補情報テーブルに登録された検索キー候補情報のいずれかが一致するようにされている。

［画像検索に用いる検索キーの選択処理］
次に、この実施の形態の撮像装置１００において、図４に示した検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明する。図５〜図７は、検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。

撮像装置１００においては、例えば、操作部１３１に設けられているメニューキーを押下操作するなど、所定の操作を行うことにより、制御部１２０は、自機において実行可能な処理を選択項目として有するメニューを形成し、これを表示部１０６に表示する。

すなわち、制御部１２０は、ＲＯＭ１２２に格納されている表示用情報等を用いて、メニュー表示用の画像データ（メニュー画面）を形成する。そして、制御部１２０は、形成したメニュー表示用の画像データを、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を通じて処理するようにし、メニュー表示用の画像信号を形成して表示部１０６に供給する。

これにより、表示部１０６の表示画面６Ｇには、自機において実行可能な処理を選択項目とするメニュー画面が表示される。なお、メニュー表示用の画像データについては、伸張処理の必要は無いので、伸張処理部１１０においては特に処理が施されることはない。

そして、撮像装置１００においては、図１を用いて説明したように、表示部１０６とタッチパネル１０７とによりタッチスクリーン１０８が形成されており、このタッチスクリーン１０８を通じてユーザーからの指示入力が受け付けられる。

ユーザーは、撮像装置１００に対して、表示部１０６の表示画面６Ｇに表示されたメニューから、メニュー項目「画像検索」を選択する操作を行う。具体的には、メニュー項目「画像検索」の表示位置に対応するタッチパネル１０７の操作面上の位置に対して指等を接触させる。

これにより、タッチパネル１０７から制御部１２０に対して、操作面上のユーザーの接触位置を示す座標データが供給される。制御部１２０は、当該座標データと当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、ユーザーによってどの項目が選択されたかを判断する。

この場合、制御部１２０は、ユーザーによって接触された操作面上の位置に対応する表示画面６Ｇの位置には、メニュー項目「画像検索」が表示されていることを把握している。したがって、制御部１２０は、ユーザーによって、メニュー項目「画像検索」が選択されたと判断することができる。

そして、制御部１２０は、上述したメニューを表示した場合と同様にして、図５（ａ）に示す検索範囲設定画面を表示部１０６の表示画面６Ｇに表示する。図５（ａ）に示すように、検索範囲設定画面は、「＊画像検索＊」という表題（画面のタイトル）を有すると共に、検索範囲を指定するための全体アイコン６Ｘ、フォルダアイコン６Ｙ、日付アイコン６Ｚを有するものである。また、検索範囲設定画面は、図５（ａ）に示すように、右上端部には、終了アイコン６Ａ、ＯＫアイコン６Ｂを有している。

そして、図５（ａ）において、全体アイコン６Ｘは、記録媒体１３５に記録されている全画像ファイルを検索対象として指定するためのものである。したがって、全体アイコン６Ｘが選択された場合には、制御部１２０は、画像検索時において、記録媒体に記録されている全ての画像ファイルを検索対象とする。

フォルダアイコン６Ｙは、記録媒体１３５に記録されている画像ファイルの内、ユーザーによって選択された画像フォルダに格納されている画像ファイルだけを検索対象として指定するためのものである。

フォルダアイコン６Ｙが選択された場合には、制御部１２０は、記録媒体１３５に形成されている画像フォルダの一覧リストを形成して表示部１０６の表示画面に表示し、ユーザーが目的とする画像フォルダを選択することができるようにする。

ユーザーによって画像フォルダが選択された場合には、制御部１２０は、図５（ａ）において、表示６Ｙ１が示すように、選択された画像フォルダのフォルダ名を表示部１０６の表示画面６Ｇに表示する。

そして、制御部１２０は、選択された画像フォルダに格納されている画像ファイルだけを検索対象とする。なお、選択できる画像フォルダは１つに限るものではなく、複数の画像フォルダを検索対象とすることもできる。

日付アイコン６Ｚは、記録媒体１３５に記録されている画像ファイルの内、画像ファイルに付加されている撮影年月日が、ユーザーによって指示された日付範囲に属する画像ファイルだけを検索対象として指定するためのものである。

日付アイコン６Ｚが選択された場合には、制御部１２０は、日付範囲の設定画面を表示部１０６の表示画面に表示し、ユーザーが目的とする日付範囲を入力することができるようにする。

日付範囲が入力された場合には、制御部１２０は、図５（ａ）において、表示６Ｚ１が示すように、入力された日付範囲を表示部１０６の表示画面６Ｇに表示する。そして、制御部１２０は、入力された日付範囲に撮影年月日が属する画像ファイルだけを検索対象とする。

なお、日付範囲は、２００８年１０月１日〜２００８年１０月１日までのように、１日だけの場合も可能であるし、数日、数週間単位、数ヶ月、数年といった範囲の入力（設定）も可能である。

そして、図５（ａ）に示した検索範囲設定画面において、終了アイコン６Ａが選択された場合には、制御部１２０は、画像の検索処理を終了させ、例えば、メニュー画面が表示された状態に戻るようにする。

また、図５（ａ）に示した検索範囲設定画面において、ＯＫアイコン６Ｂが選択された場合には、制御部１２０は、選択された範囲で、画像の検索を行うようにする。この場合、制御部１２０は、図５（ｂ）に示すように、カテゴリ一覧表示６１１を有する検索キーの選択画面（１）を形成し、これを表示部１０６の表示画面６Ｇに表示する。

なお、検索範囲が選択されていないにもかかわらず、ＯＫアイコン６Ｂが選択された場合、制御部１２０は、警告音を放音したり、警告メッセージを表示したりして、検索範囲を選択することをユーザーに促すようにしている。

図５（ｂ）に示すように、検索キーの選択画面（１）は、終了アイコン６ＡとＢＫアイコン６Ｃを有すると共に、表示画面６Ｇの下端部にカテゴリ一覧表示６１１を有するものである。

カテゴリ一覧表示６１１は、図４を用いて説明した検索キー候補テーブルのカテゴリ情報に基づいて形成されるものであり、図５（ｂ）に示したように、人、場所、色、季節、被写体、カメラ情報、その他というように、７つのカテゴリ名を有している。

ユーザーは、表示されたカテゴリ一覧表示６１１から、検索キーとして用いようとする検索キー候補情報が属すると考えられるカテゴリ名を選択する。具体的には、目的とするカテゴリ名の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させることによりカテゴリ名を選択する。

制御部１２０は、タッチパネル１０７からの座標データと、当該座標データが示すタッチパネル１０７の操作面上の位置に対応する表示画面６Ｇ上の位置に表示されている表示情報とに基づいて、ユーザーによりどのような指示入力がされたかを把握する。

ここで、図５（ｂ）に示すように、ユーザーによって、カテゴリ「人」の表示位置に対応するタッチパネル１０７の操作面上の位置に指等が接触されたとする。この場合、制御部１２０は、カテゴリ「人」が選択されたと判断し、カテゴリ「人」に属する検索キー候補情報の一覧表示（検索キー候補表示）６２１を有する検索キーの選択画面（２）を形成し、これを表示部１０６の表示画面６Ｇに表示する。

なお、図５（ｂ）において、終了アイコン６Ａが選択された場合には、制御部１２０は、画像の検索処理を終了させ、例えば、メニュー画面が表示された状態に戻るようにする。また、図５（ｂ）において、ＢＫアイコン６Ｃが選択された場合には、制御部１２０は、図５（ａ）を用いて説明した検索範囲設定画面に戻り、再度の検索範囲の設定を行うことができるようにする。

図６（ａ）に示すように、検索キーの選択画面（２）は、終了アイコン６Ａと、ＯＫアイコン６Ｂと、ＢＫアイコン６Ｃを有すると共に、表示画面６Ｇの下端部に検索キー候補表示６２１を有するものである。

検索キー候補表示６２１は、前段の検索キーの選択画面（１）において選択されたカテゴリ「人」に属する検索キー候補情報の一覧リストである。また、図６（ａ）に示すように、検索キーの選択画面（２）の場合、検索キー候補表示をスクロールさせるための左矢印アイコン６２２と右矢印アイコン６２３とを有している。

この場合、左矢印アイコン６２２に対してタップ操作を行うようにすると、制御部１２０は、検索キー候補表示６２１を右側から左側へ検索キー候補１つ分スクロールさせる。左矢印アイコン６２２に対してタップ操作を繰り返すことにより、検索キー候補表示６２１を右側から左側へ検索キー候補１つ分ずつ順次にスクロールさせることができる。

同様に、左矢印アイコン６２３に対してタップ操作を行うようにすると、制御部１２０は、検索キー候補表示６２１を左側から右側へ検索キー候補１つ分スクロールさせる。右矢印アイコン６２３に対してタップ操作を繰り返すことにより、検索キー候補表示６２１を左側から右側へ検索キー候補１つ分ずつ順次にスクロールさせることができる。

これら左矢印アイコン６２２、右矢印アイコン６２３に対して操作を行うことにより、検索キー候補表示をスクロールさせ、目的とする検索キー候補情報が表示された場合には、その検索キー候補情報を選択する操作を行う。

なお、左右の矢印アイコン６２２、６２３を用いるのではなく、例えば、タッチパネル１０７の操作面において、左方向のなぞり操作や右方向のなぞり操作を行うことによって、検索キー候補表示をスクロールさせるようにすることもできる。

例えば、図６（ａ）において、検索キー候補表示中の項目「Ａさん」が、ユーザーが検索キーとしたい検索キー候補情報であったとする。この場合、ユーザーは、項目「Ａさん」の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させて、なぞり操作（ドラッグ操作またはフリック操作）を行う。

制御部１２０は、上述したように、タッチパネル１０７からの座標データと、各表示情報の表示画面６Ｇ上の表示位置とに基づいて、項目「Ａさん」の表示位置からなぞり操作が行われたことを把握する。

この場合、制御部１２０は、項目「Ａさん」が検索キーとして選択されたと認識し、検索キー候補表示６２１の表示外に、検索キーとして選択された「Ａさん」の表示６２４を表示画面６Ｇに表示する。これにより、ユーザーは、撮像装置１００において、項目「Ａさん」を検索キーとして選択できたことを認識することができる。

同様にして、カテゴリ「人」に属する他の項目を検索キーとして選択することもできるようにされる。つまり、同じカテゴリ内において、複数の項目（検索キー候補情報）を、検索キーとして選択することも可能である。

そして、項目「Ａさん」が検索キーとして選択された後、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン６Ａを選択する。これにより、制御部１２０は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、選択された検索キーは選択されなかったものとされる。

また、項目「Ａさん」が検索キーとして選択された後、カテゴリの選択をし直したい場合には、ユーザーは、ＢＫアイコン６Ｃを選択する。これにより、制御部１２０は、図５（ｂ）を用いて説明した検索キーの選択画面（１）に戻り、カテゴリの選択をやり直すことができるようにする。この場合、項目「Ａさん」が検索キーとして選択されたことはなかったものとされる。

また、項目「Ａさん」が検索キーとして選択された後、ＯＫアイコン６Ｂが選択された場合には、制御部１２０は、図６（ａ）において選択された項目「Ａさん」を検索キーとして特定する。

そして、制御部１２０は、図６（ｂ）に示すように、検索キーとして特定した項目「Ａさん」の表示６３１を有し、再度、カテゴリ一覧表示６１１を表示するようにした検索キーの選択画面（３）を形成し、これを表示部１０６の表示画面６Ｇに表示する。これにより、検索キー候補情報テーブルのカテゴリを新たに選択することができるようにされる。

図６（ｂ）の状態にあるときに、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン６Ａを選択する。これにより、制御部１２０は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。

また、カテゴリ「人」においての検索キーの選択をやり直したい場合には、ユーザーは、ＢＫアイコン６Ｃを選択する。これにより、制御部１２０は、図６（ａ）を用いて説明した検索キーの選択画面（２）に戻り、カテゴリ「人」においての検索キーの選択をやり直すことができるようにする。

この場合、制御部１２０の制御により、既に選択した検索キーを取り消したり、既に選択した検索キーを取り消して、新たな検索キーを選択したり、既に選択した検索キーに加えてさらに検索キーを選択したりするなどのことができるようにされる。

また、図６（ｂ）の状態にあるときに、検索キーの選択を完了し、選択した検索キーにより画像の検索を行うようにする場合には、ユーザーは、ＯＫアイコン６Ｂを選択する。これにより、制御部１２０は、図６（ｂ）において、カテゴリ一覧表示６１１を消去し、画像の検索処理を実行できるようにする。

この場合、制御部１２０は、図５（ａ）において設定した範囲の画像（検索範囲の画像）データを読み出し、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御し、表示画面６Ｇの全面に検索範囲の画像のサムネイル画像をランダムに表示する。そして、画像検索の開始を指示する操作である、選択した検索キーの表示（図６（ｂ）の場合には表示６３１）への指示操作（接触操作）を待つことになる。

また、図６（ｂ）の状態にあるときに、さらに検索キーの選択を行う場合には、ユーザーは、図５（ｂ）を用いて説明した場合と同様に、検索キーとして用いようとする検索キー候補情報が属すると考えられるカテゴリ名を選択する。すなわち、目的とするカテゴリ名の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させることによりカテゴリ名を選択する。

ここで、図６（ｂ）に示すように、ユーザーによって、カテゴリ「場所」の表示位置に対応するタッチパネル１０７の操作面上の位置に指等が接触されたとする。制御部１２０は、カテゴリ「場所」が選択されたと判断し、図７（ａ）に示す、カテゴリ「場所」に属する検索キー候補情報の一覧表示（検索キー候補表示）６２１を有する検索キーの選択画面（４）を形成し、これを表示部１０６の表示画面６Ｇに表示する。

検索キーの選択画面（４）は、図７（ａ）に示すように、終了アイコン６Ａと、ＯＫアイコン６Ｂと、ＢＫアイコン６Ｃを有すると共に、表示画面６Ｇの下端部に検索キー候補表示６４１を有するものである。

検索キー候補表示６４１は、前段の検索キーの選択画面（３）において選択されたカテゴリ「場所」に属する検索キー候補情報の一覧リストである。また、図７（ａ）に示すように、検索キーの選択画面（４）の場合、検索キー候補表示をスクロールさせるための左矢印アイコン６４２と右矢印アイコン６４３とを有している。

この場合、左矢印アイコン６４２に対してタップ操作を行うようにすると、制御部１２０は、検索キー候補表示６４１を右側から左側へ検索キー候補１つ分スクロールさせる。左矢印アイコン６４２に対してタップ操作を繰り返すことにより、検索キー候補表示６４１を右側から左側へ検索キー候補１つ分ずつ順次にスクロールさせることができる。

同様に、左矢印アイコン６４３に対してタップ操作を行うようにすると、制御部１２０は、検索キー候補表示６４１を左側から右側へ検索キー候補１つ分スクロールさせる。右矢印アイコン６４３に対してタップ操作を繰り返すことにより、検索キー候補表示６４１を左側から右側へ検索キー候補１つ分ずつ順次にスクロールさせることができる。

これら左矢印アイコン６４２、右矢印アイコン６４３に対して操作を行うことにより、検索キー候補表示をスクロールさせ、目的とする検索キー候補情報が表示された場合には、その検索キー候補情報を選択する操作を行う。

例えば、図７（ａ）において、検索キー候補表示中の項目「横浜」が、ユーザーが検索キーとしたい検索キー候補情報であったとする。この場合、ユーザーは、項目「横浜」の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させて、なぞり操作（ドラッグ操作またはフリック操作）を行う。

制御部１２０は、タッチパネル１０７からの座標データと、各表示情報の表示画面６Ｇ上の表示位置とに基づいて、項目「横浜」の表示位置からなぞり操作が行われたことを把握する。

この場合、制御部１２０は、項目「横浜」を検索キーとして選択したと認識し、検索キー候補表示６２１の表示外に、検索キーとして選択された「横浜」の表示６４４を表示画面６Ｇに表示する。これにより、ユーザーは、撮像装置１００において、項目「横浜」を検索キーとして選択できたことを認識することができる。

同様にして、カテゴリ「場所」に属する他の項目を検索キーとして選択することもできるようにされる。つまり、同じカテゴリ内において、複数の項目（検索キー候補情報）を、検索キーとして選択することも可能である。

そして、項目「横浜」が検索キーとして選択された後、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン６Ａを選択する。これにより、制御部１２０は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、選択された検索キーは選択されなかったものとされる。

また、項目「Ａさん」、項目「横浜」が検索キーとして選択された後、カテゴリの選択をし直したい場合には、ユーザーは、ＢＫアイコン６Ｃを選択する。これにより、制御部１２０は、図６（ｂ）を用いて説明した検索キーの選択画面（３）に戻り、カテゴリの選択をやり直すことができるようにする。この場合、項目「横浜」が検索キーとして選択されたことはなかったものとされる。

また、項目「Ａさん」、項目「横浜」が検索キーとして選択された後、ＯＫアイコン６Ｂが選択された場合には、制御部１２０は、図７（ａ）において選択された項目「横浜」を検索キーとして特定する。

そして、制御部１２０は、図７（ｂ）に示すように、検索キーとして特定した項目「Ａさん」の表示６３１、及び、項目「横浜」の表示６５１を有し、再度、カテゴリ一覧表示６１１を表示するようにした検索キーの選択画面（５）を形成する。そして、この図７（ｂ）に示した検索キーの選択画面（５）を表示部１０６の表示画面６Ｇに表示する。

このようにして、検索キー候補情報テーブルの７つのカテゴリから必要なカテゴリについて、１つ以上の検索キー候補情報を検索キーとして選択し、特定することができるようにされている。

したがって、同じカテゴリから複数の検索キー候補情報を検索キーとして選択したり、複数のカテゴリのそれぞれから１つ以上の検索キー候補情報を検索キーとして選択したりすることができるようにされる。

そして、図７（ｂ）の状態にあるときに、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン６Ａを選択する。これにより、制御部１２０は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、検索キーの選択はされなかったものとされる。

また、カテゴリ「場所」においての検索キーの選択をやり直したい場合には、ユーザーは、ＢＫアイコン６Ｃを選択する。これにより、制御部１２０は、図７（ａ）を用いて説明した検索キーの選択画面（４）に戻り、カテゴリ「場所」においての検索キーの選択をやり直すことができるようにする。

この場合、制御部１２０の制御により、既に選択した検索キーを取り消したり、既に選択した検索キーを取り消して、新たな検索キーを選択したり、既に選択した検索キーに加えてさらに検索キーを選択したりするなどのことができるようにされる。

また、図７（ｂ）の状態にあるときに、検索キーの選択を完了し、選択した検索キーにより画像の検索を行うようにする場合には、ユーザーは、ＯＫアイコン６Ｂを選択する。これにより、制御部１２０は、図７（ｂ）において、カテゴリ一覧表示６１１を消去し、画像の検索処理を実行できるようにする。

この場合、制御部１２０は、図５（ａ）において設定した範囲の画像（検索範囲の画像）データを読み出し、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御し、表示画面６Ｇの全面に検索範囲の画像のサムネイル画像をランダムに表示する。そして、画像検索の開始を指示する操作である、選択した検索キーの表示（図７（ｂ）の場合には表示６３１、表示６５１）への指示操作（接触操作）を待つことになる。

このようにして、ユーザーにより検索キーが選択され、この選択された検索キーが撮像装置１００において特定されると、画像の検索ができるようにされる。この実施の形態の撮像装置１００においては、図６（ｂ）、図７（ｂ）に示したように、検索キーとして特定された検索キー項目の表示に対してユーザーが指等を接触させるようにすることで、画像の検索が開始される。

すなわち、検索キー項目の表示は、項目「Ａさん」の表示６３１や項目「横浜」の表示６５１であり、これら特定された検索キー項目の表示に対して、ユーザーが指等を接触させ、これを制御部１２０が検知した場合に、制御部１２０は、画像の検索を開始する。

なお、図５〜図７を用いて説明した検索キーの選択処理は一例であり、これとは別の態様で、検索キー候補情報の中から目的とする検索キーを選択するようにすることも可能である。

［検索キーに関連する情報を有する画像データを検索するための構成］
上述もしたように、この実施の形態の撮像装置１００は、検索キーに関連する情報を有する画像データを検索して抽出し、その結果を検索キーに対する関連度に応じて、表示部１０６の表示画面に表示することができるものである。

これを実現するために、撮像装置１００は、検索キーに関連する情報を有する画像データを検索するための構成を備えている。当該構成には、大きく分けて２つある。１つは、検索キーが文字情報である場合に用いられるものであり、他の１つは、検索キーが画像分析情報である場合に用いられるものである。以下にそれぞれについて説明する。

［検索キー関連度辞書の構成例］
検索キーが文字情報である場合に、検索キーに関連する情報を有する画像データを検索するための構成について説明する。この場合、この実施の形態の撮像装置１００は、検索キー関連度辞書を用いるようにしている。

図８は、検索キー関連度辞書の構成例を説明するための図である。検索キー関連度辞書は、検索キーとして用いられる可能性のある文字情報について、当該文字情報に関連する文字情報（キーワード）を、当該文字情報に対する関連度に応じてまとめるようにしたものである。

図８に示す例においては、検索キーに対して、関連度「高」、「中」、「低」と言う３段階に分けて、関連するキーワードが登録されたものである。ここで、検索キーに対して関連度「高」の文字情報（キーワード）は、当該検索キーに対して、同一の文字情報、同義語となる文字情報、同一の文字を有し、ほぼ同一の意味、内容を示す文字情報等である。

また、検索キーに対して関連度「中」の文字情報（キーワード）は、一般的なイメージとして、当該検索キーに対して、直接に結びつく文字情報である。また、検索キーに対して関連度「低」の文字情報（キーワード）は、一般的なイメージとして、当該検索キーに対して、直接結びつくことは少ないが、間に何らかのキーワードが介在するなどすることによって当該検索キーに対して結びつくことが可能な文字情報である。

図８に示す例においては、検索キー「夏」に対して、関連度「高」のキーワードとしては、「夏、サマー、初夏、夏休み、…」などが登録されている。キーワード「夏」は検索キーそのものであり、キーワード「サマー」は検索キー「夏」の同義語であり、キーワード「初夏、夏休み」は、検索キー「夏」と同一の文字を有し、ほぼ同一の意味内容を有するものであるので、これらについては関連度「高」としている。

また、検索キー「夏」に対して、関連度「中」のキーワードとしては、「ひまわり、すいか、花火大会、海、…」などが登録されている。キーワード「ひまわり、すいか」は、主に、「夏」において見られるものであり、検索キー「夏」に直接結びつくので、関連度「中」としている。

また、キーワード「花火大会」は、主に「夏」の風物詩であり、検索キー「夏」に直接結びつくので、関連度「中」としている。また、キーワード「海」は、「夏」をイメージする場合が多いので、関連度「中」としている。

また、検索キー「夏」に対して、関連度「低」のキーワードとしては、「梅雨、宿題、学校、旅行」などが登録されている。キーワード「梅雨」は、夏の直前の気候状態であり、検索キー「夏」を直接的にイメージさせるものではないが、「梅雨」が明ければ「夏」になることから検索キー「夏」に対して関連度「低」としている。

また、キーワード「宿題、学校、旅行」は、例えば、「夏休み」と言う文言を介して、検索キー「夏」に関連付けることが可能であるので、この例では関連度「低」としている。

このように、検索キー関連度辞書は、検索キーとして用いられる可能性のある文言の１つ１つに対して、関連度「高」、「中」、「低」の３段階に分けて、関連するキーワードが予め登録するようにされたものである。

なお、検索キーとして用いられる可能性のある文字情報は、少なくとも、図４を用いて説明した検索キー候補情報テーブルのカテゴリ「人」、「場所」、「色」、「季節」、「被写体」に登録された文字情報である。

したがって、検索キーとして用いられる可能性のある文字情報毎に、図８に示したような検索キー関連度辞書が形成され、撮像装置１００の例えばＥＥＰＲＯＭ１２４などに記憶保持されている。

また、検索キー関連度辞書は、予め作成されたものが提供されるが、これをユーザーが手直しして使用することもできるようにされている。

そして、図８に示した検索キー関連度辞書の構成例に従えば、検索キーとして「夏」と言う文言を用いるようにした場合、図８に示した、関連度「高」、「中」、「低」の各キーワードを有する画像ファイル（画像データ）を検索して抽出することができるようにされる。

そして、抽出した画像ファイルを関連度に応じて分類し、関連度「高」、「中」、「低」のそれぞれ毎に扱うことができるようにされる。

［画像分析情報に基づく画像の関連度判別基準の例］
次に、検索キーが画像分析情報である場合に、検索キーに関連する情報を有する画像データを検索するための構成について説明する。この場合、この実施の形態の撮像装置１００は、画像分析情報に基づいて画像検索を行う。

この場合、画像分析情報のどの情報に基づいて、画像検索を行うようにするかが重要になる。図９は、画像分析情報の内、画像検索のための検索キーとなりうる情報について説明するための図である。

図２を用いて説明したように、各画像ファイルには、各画像ファイルの画像データを分析することにより得られる画像分析情報がメタデータとして付加されている。この画像分析情報の中には、上述もし、また、図９にも示すように、画像における人物の顔の面積、画像に写っている人物の数、画像に写っている人物の笑顔の度合い、画像全体の特徴を示す情報等が含まれている。

そして、図５（ｂ）等に示したカテゴリ一覧表示６１１において、カテゴリ「その他」を選択すると、画像分析情報を構成する情報として、図９に示した各情報が表示され、その中から目的とする情報を選択する。これにより、当該選択した画像分析情報に応じた画像検索を行うことができるようにされる。

例えば、画像分析情報として「画像における人物の顔の面積」を選択し、検索キーとして用いる画像を指示したとする。この場合、制御部１２０は、検索キーとして指示された画像の画像分析情報の「画像における人物の顔の面積」に基づいて、関連する画像を記録媒体１３５から検索して抽出する。

具体的に制御部１２０は、「画像における人物の顔の面積」が、第１の所定範囲の画像を関連度「高」の画像とし、第２の所定範囲の画像を関連度「中」の画像として、第３の所定範囲の画像を関連度「低」として、記録媒体１３５から検索して抽出する。

この場合、第１の所定範囲が、検索キーとした画像における人物の顔の面積に最も近い範囲であり、第２、第３の所定範囲は、徐々に、検索キーとした画像における人物の顔の面積から離れる範囲となるようにされる。

このように、画像分析情報の内の「画像における人物の顔の面積」を用いるようにした場合には、検索キーとして用いるようにした画像の当該画像における人物の顔の面積を基準にして、検索キーとした画像に関連する画像を検索して抽出することができる。

また、画像分析情報として「画像における人物の数」を選択し、検索キーとして用いる画像を指示したとする。この場合、制御部１２０は、検索キーとして指示された画像の画像分析情報の「画像における人物の数」に基づいて、関連する画像を記録媒体１３５から検索して抽出する。

具体的に制御部１２０は、「画像における人物の数」が、第１の所定範囲の画像を関連度「高」の画像とし、第２の所定範囲の画像を関連度「中」の画像として、第３の所定範囲の画像を関連度「低」として、記録媒体１３５から検索して抽出する。

この場合、第１の所定範囲が、検索キーとした画像における人物の数に最も近い範囲であり、第２、第３の所定範囲は、徐々に、検索キーとした画像における人物の数から離れる範囲となるようにされる。

このように、画像分析情報の内の「画像における人物の数」を用いるようにした場合には、検索キーとして用いるようにした画像の当該画像における人物の数を基準にして、検索キーとした画像に関連する画像を検索して抽出することができる。

また、画像分析情報である「画像における人物の笑顔の度合い」を用いるようにした場合にも、制御部１２０は、検索キーとして指示された画像の「画像における人物の笑顔の度合い」に基づいて、関連する画像を記録媒体１３５から検索することができる。

また、画像分析情報である「画像全体の特長」を用いるようにした場合にも、制御部１２０は、検索キーとして指示された画像の「画像全体の特長」に基づいて、関連する画像を記録媒体１３５から検索することができる。

この場合には、画像の色合いや複雑さから類似度を求め、当該類似度に応じて、関連する画像を抽出して、関連度「高」、「中」、「低」に分類することができるようにされる。

このように、この実施の形態の撮像装置１００においては、検索キー関連度辞書や画像分析情報を用いることにより、指示された検索キーに関連する画像を検索して抽出することができる。そして、撮像装置１００においては、検索して抽出した画像を、検索キーに対する関連度に応じて表示するなどのことができるようにしている。

［画像検索の結果の表示態様（１）］
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の表示態様について説明する。ここでは、文字情報としての検索キーが選択された場合を例にして説明する。

図１０は、図５、図６を用いて説明したようにして１つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（１）を説明するための図である。

図１０において、図１０（Ａ）は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示し、図１０（Ｂ）は、図１０（Ａ）における検索結果表示領域Ａｒの詳細を説明するための図である。

図５、図６を用いて説明したように、画像の検索範囲を設定し、目的とする１つの検索キーを選択すると、制御部１２０は、検索範囲の画像データに応じた画像（サムネイル画像）を表示部１０６の表示画面６Ｇにバラバラと表示する。また、制御部１２０は、選択された検索キーに応じた検索キー表示（検索キーアイコン）Ｋ１を表示部１０６の表示画面６Ｇに表示する。

そして、図１０（Ａ）に示すように、ユーザーが表示画面６Ｇに表示された検索キー表示Ｋ１の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させると、タッチパネル１０７からは、その接触位置を示す座標データを制御部１２０に供給する。

制御部１２０は、上述もしたように、表示画面６Ｇ上のどこにどのような情報を表示しているかを管理している。そして、制御部１２０は、タッチパネル１０７からの操作面上の指示位置を示す座標データと、当該指示位置に対応する表示部１０６の表示画面６Ｇ上の表示情報とに基づいて、検索キー表示Ｋ１が指示されたことを検知することができる。

制御部１２０は、検索キー表示の指示は、当該検索キー表示に対応する検索キーを用いた画像検索の開始を指示するものであると認識し、選択された検索キーを用いた画像検索を行う。この場合、制御部１２０は、図８を用いて説明したように構成される検索キー関連度辞書をも参照し、検索キーに関連するキーワードを有する画像ファイルを検索して抽出する。

そして、制御部１２０は、抽出した画像ファイルの画像データに応じたサムネイル画像を、検索キーに対するキーワードの関連度に応じた位置に表示する。この例の場合には、制御部１２０は、検索の結果得られた画像データを、表示画面６Ｇの検索結果表示領域Ａｒが示す領域内であって、検索キーに対するキーワードの関連度に応じた位置に表示する。

すなわち、図１０（Ｂ）に検索結果表示領域Ａｒだけを示したように、検索結果表示領域Ａｒ内は、その中央部分から外側に向う方向に、関連度「高」の表示領域、関連度「中」の表示領域、関連度「低」の表示領域となっている。

したがって、この例の場合、制御部１２０は、図１０（Ｂ）において、検索キーに対して関連度が「高」のキーワードを有する画像ファイルのサムネイル画像を表示領域Ａｒの中央部分ＡｒＨに表示する。

そして、制御部１２０は、検索キーに対して関連度が「中」のキーワードを有する画像ファイルのサムネイル画像を表示領域Ａｒの関連度が「高」の表示領域の外側の領域ＡｒＭに表示する。

さらに、制御部１２０は、検索キーに対して関連度が「低」のキーワードを有する画像ファイルのサムネイル画像を表示領域Ａｒの関連度が「中」の表示領域ＡｒＭの外側の領域ＡｒＬに表示する。

このようにして、検索キーに対して関連度が「高」、「中」、「低」のキーワードを有する画像ファイルのサムネイル画像を、それぞれの関連度に応じた位置に表示することができるようにしている。

なお、この例の場合、画像検索は、制御部１２０が、検索キーと検索キー関連度辞書とに基づいて、記録媒体１３５に格納されている画像ファイルの中から、検索キーに関連するキーワードを有する画像ファイルを検索して抽出する。

抽出した画像ファイルは、例えば、ＲＡＭ１２３に一時記憶され、制御部１２０により画像データが関連度に応じて読み出されて伸張処理部１１０に供給され、ここで、伸張処理されてデータ圧縮前の画像データが復元される。

そして、伸張処理部１１０で伸張処理された画像データは、表示画像形成部１１１に供給され、ここで間引き処理されるなどしてサムネイルデータが形成されて、これが検索キーに対する自己の有するキーワードの関連度に応じた位置に配置される。

このようにして、表示画像形成部１１１においては、１画面分の画像を構成する画像データを形成し、これを表示処理部１０５に供給される形式の画像信号に変換して、表示処理部１０５に供給する。

表示処理部１０５は、表示画像形成部１１１からの画像信号の供給を受けて、これから表示部１０６に供給する画像信号を形成し、これを表示部１０６に供給する。これにより、表示部１０６の表示画面には、図１０（Ａ）に示したように、選択された検索キーに関連するキーワードを有する画像が、その関連度に応じた位置に表示される。

なお、関連度が低くなるにつれて、絞り込まれた画像の透明度を高くしたり、明度を下げたりすることにより、関連度の異なるサムネイル画像を区別できるよう表示することも可能である。

これにより、検索キーに対して関連度の異なるキーワードを有する画像を、その関連度に応じた位置に表示し、ユーザーがその違いを意識しながら画像検索の結果を確認することができるようにされる。

そして、従来のように、検索キーに一致するキーワードを有する画像だけを検索するのではなく、検索キーに関連するキーワードを有するがお図をも検索することができ、関連度の違いをも考慮して検索結果を表示することができる。したがって、画像検索を効率よく行って、その結果を適切に利用することができる。

なお、ここでは、表示画像形成部１１１において、画像データを間引き処理するなどしてサムネイル画像を表示するためのサムネイルデータを形成するものとして説明した。しかし、これに限るものではない。

画像データからサムネイルデータを形成する処理には負荷がかかる。そこで、各画像ファイルにおいて、予め画像データからサムネイルデータを形成しておき、これを各画像ファイルにおいて保持するようにしておいてもよい。

このように、予め各画像ファイルにサムネイルデータを形成して付加しておくことにより、伸張処理部１１０での画像データの伸張処理や、表示画像形成部１１１でのサムネイルデータの形成処理を省略することができる。

すなわち、各画像ファイルにサムネイルデータが存在する場合には、検索キーに応じた画像ファイルを抽出し、その画像ファイルからサムネイルデータを読み出して表示画像形成部１１１に供給する。

これにより、図１０に示した態様で、検索結果を検索キーに対して関連するキーワードを有する画像ファイルのサムネイル画像を、その関連度に応じた位置に表示することができる。

［画像検索時の処理の詳細］
次に、この実施の形態の撮像装置１００において行われる画像検索時の処理について説明する。図１１、図１２は、撮像装置１００において行われる画像検索時の処理について説明するためのフローチャートである。

この図１１、図１２に示すフローチャートの処理は、上述もしたよう、表示されたメニューから、メニュー項目「画像検索」が選択された場合に、主に制御部１２０によって実行される処理である。

図１１、図１２に示す処理が実行されると、制御部１２０は、図５〜図７を用いて説明したように、画像の検索範囲の設定及び検索キーの選択処理を実行する（ステップＳ１０１）。

そして、制御部１２０は、ステップＳ１０１の処理において、終了操作がされたか否かを判断する（ステップＳ１０２）。ステップＳ１０２の判断処理において、終了操作がされたと判断したときには、制御部１２０は、画像検索処理を終了する処理を行い（ステップＳ１０３）、この図１１、図１２に示す処理を終了して、例えばメニュー表示に戻るようにする。

また、ステップＳ１０２の判断処理において、終了操作はされていないと判断したときには、制御部１２０は、検索キーの選択が適切に行われた判断し、画像検索の初期画面を表示する（ステップＳ１０４）。

すなわち、ステップＳ１０４において制御部１２０は、ステップＳ１０１の処理により設定された検索範囲の画像ファイルのサムネイル画像を表示画面６Ｇ上にばらばらに表示すると共に、選択された検索キーに応じた検索キー表示を表示する。

そして、制御部１２０は、タッチスクリーン１０８等を通じて使用者からの操作入力を受け付けるようにし（ステップＳ１０５）、操作入力を受け付けたか否かを判断する（ステップＳ１０６）。

ステップＳ１０６の判断処理において、ユーザーからの操作入力を受け付けていないと判断したときには、ステップＳ１０５からの処理を繰り返し、ユーザーからの操作入力を待つようにする。

ステップＳ１０６の判断処理において、ユーザーからの操作入力を受け付けたと判断したときには、選択された検索キーに対応する検索キー表示がユーザーによって指示するようにされたか否かを判断する（ステップＳ１０７）。

ステップＳ１０７の判断処理において、選択された検索キーに対応する検索キー表示がユーザーによって指示されていないと判断したときには、制御部１２０は、ステップＳ１０５において受け付けた操作入力に応じた処理を実行する（ステップＳ１０８）。

このステップＳ１０８においては、ユーザーの操作入力に応じて種々の処理を行うことができるようにされる。例えば、検索キーの変更、追加処理等をも行うことができるようにされている。

そして、ステップＳ１０７の判断処理において、検索キー表示がユーザーによって指示されたと判断したときには、制御部１２０は、指示された検索キー表示に対応する検索キーを用いて画像検索を実行し、検索結果を表示する（ステップＳ１０９）。

ステップＳ１０９において制御部１２０は、図１０（Ａ）、（Ｂ）を用いて説明したように、検索キーに関連するキーワードを有する画像ファイルのサムネイル画像を、表示画面６Ｇ上において、関連度に応じた位置に表示し、図１２の処理に進む。

そして、制御部１２０は、検索キー表示へのユーザーの指等の接触が終了したか否かを判断する（ステップＳ１１０）。ステップＳ１１０の判断処理において、まだ接触が継続していると判断したときには、ステップＳ１１０からの処理を繰り返し、接触が終了するまで待ち状態となる。

ステップＳ１１０の判断処理において、検索キー表示へのユーザーの指等の接触が終了したと判断したときは、制御部１２０は、時計回路１４０の機能を用い、検索キー表示へのユーザーの指等の接触が終了してからの時間Ｔｓの計測を開始する（ステップＳ１１１）。

そして、制御部１２０は、ステップＳ１１１において計測を開始した時間Ｔｓが、予め決められた一定時間Ｔ以上になったか否かを判断する（ステップＳ１１２）。ステップＳ１１２の判断処理において、計測時間Ｔｓが一定時間Ｔ以上になっていないと判断したときには、制御部１２０は、ユーザーからの操作入力を受け付ける（ステップＳ１１３）。

そして、制御部１２０は、ユーザーからの操作入力を受け付けたか否かを判断する（ステップＳ１１４）。ステップＳ１１４の判断処理において、操作入力は受け付けていないと判断したときには、制御部１２０は、ステップＳ１１２からの処理を繰り返す。

ステップＳ１１４の判断処理において、操作入力を受け付けたと判断したときには、制御部１２０は、受け付けた操作入力は、検索結果の確定操作か否かを判断する（ステップＳ１１５）。

ステップＳ１１５の判断処理において、受け付けた操作入力は、検索結果の確定操作であると判断したときには、制御部１２０は、指示された画像群をグループとして確定し、その他の画像はバラバラと表示された状態とする（ステップＳ１１６）。

ステップＳ１１６の処理の後、制御部１２０は、確定したグループの画像を所定の画像フォルダに格納したり、再生の対象としたりするなど、確定したグループの画像についての処理を行うようにする（ステップＳ１１７）。この後、制御部１２０は、例えば、図１１のステップＳ１０１からの処理を繰り返すようにする。

また、ステップＳ１１５の判断処理において、受け付けた操作入力は、検索結果の確定操作ではないと判断したときには、制御部１２０は、受け付けた操作入力は、検索結果の解除操作か否かを判断する（ステップＳ１１８）。

ステップＳ１１８の判断処理において、受け付けた操作入力が、検索結果の解除処理ではないと判断したときには、制御部１２０は、受け付けた操作入力に応じた処理を実行する（ステップＳ１１９）。

また、ステップＳ１１８の判断処理において、受け付けた操作入力が、検索結果の解除処理であると判断したときには、制御部１２０は、例えば、画像検索の結果の表示を解除し、画像検索の初期状態に戻る（ステップＳ１２０）。

画像検索の初期状態は、上述もしたように、検索範囲の画像ファイルのサムネイル画像がバラバラに表示画面６Ｇに表示されると共に、選択された検索キーに対応する検索キー表示がされ、画像検索を行うことが可能とされた状態である。

このステップＳ１２０の処理の後、制御部１２０は、図１１のステップＳ１０５からの処理を繰り返し、表示されている検索キー表示に応じた画像検索を行うようにしたり、新たな検索キーを追加して画像検索を行うようにしたりすることができるようにされる。

また、ステップＳ１１２の判断処理において、計測時間Ｔｓが一定時間Ｔ以上になったと判断したときには、画像検索の結果の表示を解除し、画像検索の初期状態に戻る（ステップＳ１２０）。そして、上述もしたように、図１１のステップＳ１０５からの処理を繰り返すようにする。

このように、この実施の形態の撮像装置１００においては、利用可能な検索キー候補情報の中から検索キーを選択し、その検索キーを指示するようにするだけで、検索キーに関連するキーワードを有する画像の検索を行うことができる。

そして、画像検索の結果は、図１０を用いて説明したように、検索キーに対するキーワードの関連度に応じて表示することができるので、どの画像が検索キーに対して関連度が高いのかをも確実に認識することができる。

［画像検索の結果の表示態様（２）］
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の他の表示態様について説明する。ここでも、図１０を用いて説明した場合と同様に、文字情報としての検索キーが選択された場合を例にして説明する。

図１３は、図５、図６を用いて説明したようにして１つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（２）を説明するための図である。

図１３において、図１３（Ａ）は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示し、図１３（Ｂ）は、図１３（Ａ）における検索結果表示領域Ａｒの詳細を説明するための図である。

図１０を用いて上述した検索結果の表示態様（１）の場合には、画像検索の結果を一時に全部表示した。これに対して、図１３に示す検索結果の表示態様（２）の場合には、検索キー表示への指等の接触継続時間（指示継続時間）に応じて、検索結果の表示範囲を制御するようにしている。

検索キーの選択と、当該検索キーを用いた画像検索の処理の実行は、図１０を用いて説明した場合と同様にして行われる。すなわち、図１３（Ａ）に示すように、表示された検索キー表示Ｋ１の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させた場合に、制御部１２０は、当該操作を検索キーに応じた画像検索処理の開始指示であると認識する。

そして、上述もしたように、タッチパネル１０７は、ユーザーによって、指等が接触されている間は、所定のタイミング毎に連続して接触位置を検出し、これを示す座標データを出力することができる。

したがって、制御部１２０は、所定のタイミング毎に同じ座標データがタッチパネル１０７から供給される場合、タッチパネル１０７の操作面の同じ位置に指等が接触させたままであることを検出することができる。

そこで、制御部１２０は、検索キー表示の表示位置に対応するタッチパネル１０７の操作面上の位置に指等が接触されてから当該接触が解除されるまでの間において、接触継続時間Ｔｘを、時計回路１４０を通じて計測する。

制御部１２０は、当該接触計測時間Ｔｘが、予め決められる閾値ｔ１が経過するまでは、検索キーに対して関連度が「高」であるキーワードを有する画像ファイルのサムネイル画像だけを検索結果表示領域Ａｒに表示する。

この場合、検索キーに対して関連度が「高」であるキーワードを有する画像ファイルのサムネイル画像を、図１３（Ｂ）に示すように３つの表示領域に分けられる検索結果表示領域Ａｒの中央部分ＡｒＨに表示する。

そして、制御部１２０は、当該接触継続時間Ｔｘが、予め決められる閾値ｔ１を越えた場合には、検索キーに対して関連度が「中」であるキーワードを有する画像ファイルのサムネイル画像を検索結果表示領域Ａｒに追加して表示する。

この場合、検索キーに対して関連度が「中」であるキーワードを有する画像ファイルのサムネイル画像を、図１３（Ｂ）に示すように３つの表示領域に分けられる検索結果表示領域Ａｒの中央部分ＡｒＨの外側の領域である領域ＡｒＭに表示する。

また、この場合には、中央部分ＡｒＨに既に表示されている関連度が「高」のサムネイル画像の表示に加えて、その外側の領域ＡｒＭに、関連度が「中」のサムネイル画像を表示する。

そして、制御部１２０は、当該接触継続時間Ｔｘが、予め決められる閾値ｔ２を越えた場合には、検索キーに対して関連度が「低」であるキーワードを有する画像ファイルのサムネイル画像を検索結果表示領域Ａｒに追加して表示する。

この場合、検索キーに対して関連度が「低」であるキーワードを有する画像ファイルのサムネイル画像を、図１３（Ｂ）に示すように３つの表示領域に分けられる検索結果表示領域Ａｒの外側の領域である領域ＡｒＬに表示する。

つまり、中央部分ＡｒＨに既に表示されている関連度が「高」のサムネイル画像の表示と、領域ＡｒＭに既に表示されている関連度が「中」のサムネイル画像の表示とに加えて、その外側の領域ＡｒＬに、関連度が「低」のサムネイル画像を表示する。

このようにして、検索キー表示Ｋ１へのユーザーの指等の接触継続時間Ｔｘに応じて、検索結果の表示範囲を徐々に拡大し、画像検索の結果を段階的にユーザーに対して提供することができる。

したがって、画像検索の結果を一度に表示する場合に比べて、画像検索の結果を、検索キーに対する関連度に応じて段階的に示すようにすることができるので、検索結果の内容を比較的に容易に把握することができるようにされる。

なお、上述した閾値ｔ１、ｔ２は、ｔ１＜ｔ２という関係を満足するものであり、例えば、ｔ１は２秒、ｔ２は４秒などと言うように決められるものである。

また、図１３（Ａ）、（Ｂ）を用いて説明した画像検索の結果の表示態様（２）の場合にも、制御部１２０によって制御される伸張処理部１１０、表示画像形成部１１１、表示処理部１０５の機能により、図１３に示した態様で検索結果を表示することができる。

なお、図１３（Ｂ）においては、接触継続時間Ｔｘが閾値ｔ１以下である場合に、検索キーに対して関連度「高」の画像ファイルのサムネイル画像を領域ＡｒＨに表示することが記載されている。

また、図１３（Ｂ）においては、接触継続時間Ｔｘが閾値ｔ１より大きく、かつ、閾値ｔ２以下である場合に、検索キーに対して関連度「中」の画像ファイルのサムネイル画像を領域ＡｒＭに表示することが記載されている。

また、図１３（Ｂ）においては、接触継続時間Ｔｘが閾値ｔ２より大きい場合に、検索キーに対して関連度「低」の画像ファイルのサムネイル画像を領域ＡｒＬに表示することが記載されている。

しかし、接触継続時間Ｔｘは連続して計測されるものであるので、上述もしたように、接触継続時間Ｔｘが、閾値ｔ１以下の場合、閾値ｔ１より大きい場合、閾値ｔ２より大きい場合の３つの場合を検出する。

これにより、図１３（Ｂ）に示した条件式と同様の条件で、検索キーに対する関連度に応じて、画像検索の結果を表示することができる。

［検索結果の表示処理の詳細］
次に、図１３を用いて説明した表示態様（２）で、画像検索の結果を表示する場合の処理について説明する。図１４は、図１３を用いて説明した表示態様（２）で、画像検索の結果を表示する場合の処理を説明するためのフローチャートである。

この図１４に示す処理は、図１１、図１２を用いて説明した画像検索時の処理のステップＳ１０９において実行するようにされる。つまり、検索キー表示に対して指等が接触するようにされ、画像検索を行うように指示されると、制御部１２０は、図１１に示したステップＳ１０９において、図１４に示す検索結果表示処理を実行する。

まず、制御部１２０は、自機の時計回路１４０を通じて、検索キー表示の表示位置に対応するタッチパネル１０７の操作面上の位置へのユーザーの指等の接触継続時間Ｔｘの計測を開始する（ステップＳ１０９１）。

この接触継続時間Ｔｘの計測は、タッチパネル１０７からの検索キー表示の表示位置に対応するタッチパネル１０７の操作面上の位置を示す座標データが継続して提供されている間においては継続して行う。

そして、制御部１２０は、指示された検索キーと当該検索キーに対応する検索キー関連度辞書の内容に基づいて、画像検索を実行し、指示された検索キーに関連するキーワードを有する画像ファイルを抽出する（ステップＳ１０９２）。

次に、制御部１２０は、検索結果に基づいて、検索キーに対して関連度が「高」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を、図１３に示したように検索結果表示領域Ａｒの中央部分ＡｒＨに表示する（ステップＳ１０９３）。

すなわち、このステップＳ１０９３の処理においては、ステップＳ１０９２において検索されて抽出された画像ファイルの内、検索キーに対して関連度が「高」であるキーワードを有する画像ファイルだけを処理対象とする。

そして、ステップＳ１０９３においては、上述もしたように、制御部１２０が、主に、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御して領域ＡｒＨへのサムネイル画像の一連の表示処理を行う。

具体的に、ステップＳ１０９３においては、伸張処理部１１０による表示対象の画像データの伸張処理が行われる。また、表示画像形成処理部１１１による伸張された画像データからサムネイルデータを形成する処理及びサムネイルデータによるサムネイル画像を中央部分ＡｒＨに配置した画像信号を形成する処理が行われる。表示処理部１０５による当該画像信号による画像を表示部１０６の表示画面に表示する処理が行われる。

ステップＳ１０９３の処理の後、制御部１２０は、タッチパネル１０７から供給される座標データに基づいて、検索キー表示の表示位置に対応するタッチパネル１０７の操作面上の位置への接触が終了したか否かを判断する（ステップＳ１０９４）。

ステップＳ１０９４の判断処理において、接触は終了したと判断したときには、この図１４に示す処理を抜けて、以降の表示処理（関連度「中」及び関連度「低」の検索結果の表示処理）は行わないようにする。

また、ステップＳ１０９４の判断処理において、接触は終了していないと判断したときには、制御部１２０は、接触継続時間Ｔｘは、予め決められた第１の閾値ｔ１を越えたか否かを判断する（ステップＳ１０９５）。

ステップＳ１０９５の判断処理において、接触継続時間Ｔｘが閾値ｔ１を越えていないと判断したときには、制御部１２０は、ステップＳ１０９４からの処理を繰り返すようにする。

ステップＳ１０９５の判断処理において、接触継続時間Ｔｘが閾値ｔ１を越えたと判断したときには、制御部１２０は、検索キーに対して関連度が「中」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を表示する（ステップＳ１０９６）。

このステップＳ１０９６の処理は、画像検索の結果に基づいて、検索キーに対して関連度が「中」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を、図１３に示したように検索結果表示領域Ａｒの領域ＡｒＭに表示する処理である。

すなわち、このステップＳ１０９６の処理においては、ステップＳ１０９２において検索されて抽出された画像ファイルの内、検索キーに対して関連度が「中」であるキーワードを有する画像ファイルだけを処理対象とする。

そして、ステップＳ１０９６においては、上述したステップＳ１０９３の処理と同様に、制御部１２０が、主に、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御して領域ＡｒＭへのサムネイル画像の一連の表示処理を行う。

具体的に、ステップＳ１０９６においては、伸張処理部１１０による表示対象の画像データの伸張処理が行われる。また、表示画像形成処理部１１１による伸張された画像データからサムネイルデータを形成する処理及びサムネイルデータによるサムネイル画像を領域ＡｒＭに配置した画像信号を形成する処理が行われる。表示処理部１０５による当該画像信号による画像を表示部１０６の表示画面に表示する処理が行われる。

ステップＳ１０９６の処理の後、制御部１２０は、タッチパネル１０７から供給される座標データに基づいて、検索キー表示の表示位置に対応するタッチパネル１０７の操作面上の位置への接触が終了したか否かを判断する（ステップＳ１０９７）。

ステップＳ１０９７の判断処理において、接触は終了したと判断したときには、この図１４に示す処理を抜けて、以降の表示処理（関連度「低」の検索結果の表示処理）は行わないようにする。

また、ステップＳ１０９７の判断処理において、接触は終了していないと判断したときには、制御部１２０は、接触継続時間ｔｘは、予め決められた第１の閾値ｔ２を越えたか否かを判断する（ステップＳ１０９８）。

ステップＳ１０９８の判断処理において、接触継続時間ｔｘが閾値ｔ２を越えていないと判断したときには、制御部１２０は、ステップＳ１０９７からの処理を繰り返すようにする。

ステップＳ１０９８の判断処理において、接触継続時間ｔｘが閾値ｔ２を越えたと判断したときには、制御部１２０は、検索キーに対して関連度が「低」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を表示する（ステップＳ１０９９）。

このステップＳ１０９９の処理は、画像検索の結果に基づいて、検索キーに対して関連度が「低」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を、図１３に示したように検索結果表示領域Ａｒの領域ＡｒＬに表示する処理である。

すなわち、このステップＳ１０９９の処理においては、ステップＳ１０９２において検索されて抽出された画像ファイルの内、検索キーに対して関連度が「低」であるキーワードを有する画像ファイルだけを処理対象とする。

そして、ステップＳ１０９９においては、上述もしたように、制御部１２０が、主に、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御して領域ＡｒＬへのサムネイル画像の一連の表示処理を行う。

具体的に、ステップＳ１０９９においては、伸張処理部１１０による表示対象の画像データの伸張処理が行われる。また、表示画像形成処理部１１１による伸張された画像データからサムネイルデータを形成する処理及びサムネイルデータによるサムネイル画像を中央部分ＡｒＬに配置した画像信号を形成する処理が行われる。表示処理部１０５による当該画像信号による画像を表示部１０６の表示画面に表示する処理が行われる。

このステップＳ１０９９の処理の後、制御部１２０は、この図１４に示す処理を終了し、図１１に示したステップＳ１０９の処理に戻り、図１２のステップＳ１１０からの処理を行うことになる。

このように、図１３、図１４を用いて説明した検索結果の表示態様（２）の場合には、検索キー表示Ｋ１へのユーザーの指等の接触継続時間ｔｘに応じて、検索結果の表示範囲を徐々に拡大し、画像検索の結果を段階的にユーザーに対して提供することができる。

すなわち、検索キー表示に対する接触継続時間が短い場合には、検索キーに対して関連度が高い画像のみを表示し、接触継続時間が閾値を越える毎に、検索キーに対して関連度か下がった画像を段階的に表示することができる。

［画像検索の結果の表示態様（３）］
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の他の表示態様について説明する。ここでは、図５〜図７を用いて説明したように、文字情報としての検索キーが２つ選択された場合を例にして説明する。

図１５は、図５〜図７を用いて説明したようにして２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（３）を説明するための図である。

図１５において、図１５（Ａ）は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示し、図１５（Ｂ）は、図１５（Ａ）における検索結果表示領域Ａｒの詳細を説明するための図である。

図１５（Ａ）に示すように、この例の場合には、検索キーが２つ選択され、これに対応する検索キー表示（検索キーアイコン）Ｋ１、Ｋ２が表示部１０６の表示画面６Ｇに表示されている。そして、図１５（Ａ）に示すように、検索キー表示Ｋ１と検索キー表示Ｋ２のそれぞれをユーザーが指示するようにしたとする。

すなわち、検索キー表示Ｋ１の表示位置と、検索キー表示ｋ２の表示位置とのそれぞれに対応するタッチパネル１０７の操作面上のそれぞれの位置に、ユーザーが指等を接触させたとする。

上述もしたように、タッチパネル１０７は、操作面上の複数の箇所に同時に行うようにされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができるものである。

したがって、図１５（Ａ）に示したように、検索キー表示Ｋ１と検索キー表示Ｋ２との両方が指示された場合、制御部１２０はタッチパネル１０７からの座標データに基づいて、操作面上の２箇所が指示されたことを検出することができる。

そして、この例の場合にも、制御部１２０は、タッチパネル１０７からの座標データと当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、ユーザーに検索キー表示Ｋ１、Ｋ２が選択されたと判別できる。

この場合、制御部１２０は、指示された検索キー表示Ｋ１、Ｋ２に対応する２つの検索キーの両方を用いて、画像検索を行う。ここでは、検索キー表示Ｋ１に対応する検索キーを検索キーｋ１とし、検索キー表示Ｋ２に対応する検索キーを検索キーｋ２とする。

そして、制御部１２０は、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとの両方を有する画像ファイルとを検索して抽出し、抽出した画像ファイルの画像データに応じたサムネイル画像を表示画面６Ｇに表示する。

この場合、サムネイル画像は、検索キーｋ１、ｋ２に関連するキーワードの関連度に応じて、図１５（Ａ）に示すように、検索結果表示領域Ａｒ内に表示する。基本的には、図１０、図１３に示した場合と同様に、関連度「高」→関連度「中」→関連度「低」の順に、サムネイル画像を検索結果表示領域Ａｒの中央部分から外側に向うように表示する。

しかし、用いる検索キーが２つ存在する場合、いずれか一方の検索キーに対しては関連度の高いキーワードを有するが、他方の検索キーに対しては関連度の低いキーワードしか有していないと言う画像ファイルも存在する。

このような場合には、どの検索キーにより関連度が高い画像かをもユーザーに分るように表示する。例えば、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「中」あるいは関連度「低」のキーワードとを有する画像ファイルのサムネイル画像は、検索キー表示Ｋ１に近い位置に表示する。

逆に、検索キーｋ２に対して関連度「高」のキーワードと、検索キーｋ１に対して関連度「中」あるいは関連度「低」のキーワードとを有する画像ファイルのサムネイル画像は、検索キー表示Ｋ２に近い位置に表示する。

このようにすることにより、２つの検索キーを用いた画像検索を行った場合に、検索の結果のサムネイル画像の表示において、各画像が、どちらの検索キーにより関連度が強いものであるのかをも正確にユーザーに通知することができるようにしている。

より具体的には、この例の場合、図１５（Ａ）に示すように検索結果が表示される検索結果領域Ａｒについて、図１５（Ｂ）に示すように表示領域を割り当てる。

図１５（Ｂ）に示すように、検索結果表示領域Ａｒにおいて、その中央部分を関連度「高」の画像の表示領域とし、その外側を関連度「中」の表示領域とし、さらにその外側を関連度「低」の表示する点は、図１０、図１３を用いて説明した場合と同様である。

さらに、この例の場合には、検索キーｋ１により関連がある画像の表示領域として、検索キー表示Ｋ１側に領域ＡｒＬを設けている。また、検索キーｋ２により関連がある画像の表示領域として、検索キー表示Ｋ２側に領域ＡｒＲを設けている。そして、検索キーｋ１と検索キーｋ２の両方に同程度の関連がある画像の表示領域として、領域ＡｒＬと領域ＡｒＲとの間に領域ＡｒＣを設けている。

そして、制御部１２０は、２つの検索キーｋ１、ｋ２を用いて画像検索を行った場合、その検索結果を、検索キーｋ１に対応するキーワードの関連度と、検索キーｋ２に対応するキーワードの関連度とに基づいて、サムネイル画像の表示領域を決定する。

図１６は、２つの検索キーｋ１、ｋ２に対応するキーワードのそれぞれの検索キーに対する関連度に応じて、サムネイル画像の表示領域を決定するための表示位置特定テーブル（１）を説明するための図である。

上述もしたように、制御部１２０は、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとの両方を有する画像ファイルとを検索して抽出し、抽出した画像ファイルの画像データに応じたサムネイル画像を表示画面６Ｇに表示する。

この場合、制御部１２０は、図１６に示した表示位置特定テーブル（１）に基づいて、検索して抽出した画像ファイルの画像データに応じたサムネイル画像の表示領域を特定する。

すなわち、図１６に示すように、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＣの文字「高」が示す部分に表示する。

また、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＣの文字「中」が示す部分に表示する。

また、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＣの文字「低」が示す部分に表示する。

また、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＬの文字「中」が示す部分に表示する。

また、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＬの文字「中」が示す部分に表示する。

また、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＲの文字「中」が示す部分に表示する。

また、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＬの文字「低」が示す部分に表示する。

また、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＲの文字「中」が示す部分に表示する。

また、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像については、図１５（Ｂ）に示した領域ＡｒＲの文字「低」が示す部分に表示する。

このようにすることによって、図１５を用いて上述したように、２つの検索キーを用いた画像検索を行った場合に、表示画面６Ｇに表示されたサムネイル画像が、どちらの検索キーにより関連度が強いものであるのかを、ユーザーに適切に通知できる。

なお、このような画像検索の結果の表示処理は、図１１、図１２を用いて説明した処理のステップＳ１０９において行われる。この例の場合にも、制御部１２０が、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御することにより、画像検索の結果抽出された画像ファイルの画像データに応じたサムネイルを、図１５に示した表示態様（３）に応じて表示する。

また、ここでは、２つの検索キーを用いた場合について説明したが、これに限るものではない。３つ以上の検索キーを用いるようにすることもできる。このように、３つ以上の検索キーを用いる場合であっても、各検索キーに応じた表示領域を設けるようにすればよい。

そして、例えば、図１６を用いて説明したように、各検索キーに対する関連度の組み合わせに応じて、サムネイル画像を表示する表示位置（表示領域）を決めるようにすればよい。

また、ここでは、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとを有する画像ファイルを抽出するものとして説明した。しかし、これに限るものではない。

例えば、１つのキーワードが、検索キーｋ１にも、検索キーｋ２にも関連するものである場合もある。このような場合であっても、異なるキーワードの場合と同様に、検索キーｋ１に対する関連度と、検索キーｋ２に対する関連度とに応じて、サムネイル画像の表示位置（表示領域）を決定するようにすればよい。

なお、図１６に示した表示位置特定テーブル（１）は一例であり、他のテーブルにしたがって、１つの検索キーに対する関連度に応じて、画像検索の結果を表示するようにしてももちろんよい。

［画像検索の結果の表示態様（４）］
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の他の表示態様について説明する。ここでは、図５〜図７を用いて説明したように、文字情報としての検索キーが２つ選択された場合を例にして説明する。

図１７は、図５〜図７を用いて説明したようにして２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（４）を説明するための図である。

図１７において、図１７（Ａ）は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示し、図１７（Ｂ）は、図１７（Ａ）における検索結果表示領域Ａｒの詳細を説明するための図である。

そして、この図１７に示す表示態様（４）の場合にも、２つの検索キー表示Ｋ１、Ｋ２が同時に指示され、これらに対応する２つの検索キーに応じた画像検索は、図１５を用いて説明した場合と同様に行われる。この例においても、検索キー表示Ｋ１に対応する検索キーを検索キーｋ１とし、検索キー表示Ｋ２に対応する検索キーを検索キーｋ２とする。

そして、制御部１２０は、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとの両方を有する画像ファイルとを検索して抽出し、抽出した画像ファイルの画像データに応じたサムネイル画像を表示画面６Ｇに表示する。

しかし、サムネイル画像の表示態様が、図１５を用いて説明した表示態様（３）とは大きく異なっている。この例の表示態様（４）の場合には、表示画面６Ｇ上において、検索キーｋ１、ｋ２のそれぞれに対応する座標軸を設け、当該座標軸に応じて決まる位置に、サムネイル画像を表示する。

より具体的には、この例の場合、図１７（Ａ）に示すように検索結果が表示される検索結果領域Ａｒについて、図１７（Ｂ）に示すように表示領域を割り当てる。

図１７（Ｂ）に示すように、横軸を検索キーｋ１に対する座標軸とし、縦軸を検索キーｋ２に対する座標軸とする。そして、これら縦軸、横軸に囲まれた領域に表示領域Ａｒを設けるようにする。

そして、横軸と縦軸との交点を例えば関連度「０」とし、横軸については、右側へ行くほど関連度は高くなり、縦軸については上側に行くほど関連度が高くなるものとする。

そして、横軸と縦軸で囲まれたエリアに形成される検索結果表示領域Ａｒを、図１７（Ｂ）に示すように、９個の小領域Ａｒ１〜Ａｒ９に分割する。

そして、制御部１２０は、２つの検索キーｋ１、ｋ２を用いて画像検索を行った場合、その検索結果を、検索キーｋ１に対応するキーワードの関連度と、検索キーｋ２に対応するキーワードの関連度とに基づいて、サムネイル画像の表示領域を決定する。つまり、小領域Ａｒ１〜Ａｒ９のどこにするかを決定する。

図１８は、２つの検索キーｋ１、ｋ２に対応するキーワードのそれぞれの検索キーに対する関連度に応じて、サムネイル画像の表示領域を決定するための表示位置特定テーブル（２）を説明するための図である。

上述もしたように、制御部１２０は、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとの両方を有する画像ファイルとを検索して抽出し、抽出した画像ファイルの画像データに応じたサムネイル画像を表示画面６Ｇに表示する。

この場合、制御部１２０は、図１８に示した表示位置特定テーブル（２）に基づいて、検索して抽出した画像ファイルの画像データに応じたサムネイル画像の表示領域を特定する。

すなわち、図１８に示すように、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ３に表示する。

また、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ６に表示する。

また、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ９に表示する。

また、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ２に表示する。

また、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ５に表示する。

また、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ８に表示する。

また、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ１に表示する。

また、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ４の文字「中」が示す部分に表示する。

また、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像については、図１７（Ｂ）に示した領域Ａｒ７に表示する。

このようにすることによって、図１７を用いて上述したように、２つの検索キーを用いた画像検索を行った場合に、表示画面６Ｇに表示されたサムネイル画像が、２つの検索キーのそれぞれに対してどれだけ関連度があるかを、ユーザーに適切に通知できる。

なお、このような画像検索の結果の表示処理は、図１１、図１２を用いて説明した処理のステップＳ１０９において行われる。この例の場合にも、制御部１２０が、伸張処理部１１０、表示画像形成部１１１、表示処理部１０５を制御することにより、画像検索の結果抽出された画像ファイルの画像データに応じたサムネイルを、図１７に示した表示態様（４）に応じて表示する。

また、ここでは、２つの検索キーを用いた場合について説明したが、これに限るものではない。３つ以上の検索キーを用いるようにすることもできる。３つ以上の検索キーを用いる場合であっても、各検索キーに対応する座標軸を設けるようにすればよい。

そして、複数の当該座標軸によって形成される空間内に、サムネイル画像の表示領域を設けるようにする。そして、図１８を用いて説明したように、各検索キーに対する関連度の組み合わせに応じて、サムネイル画像を表示する表示位置（表示領域）を決めるようにすればよい。

また、ここでは、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとを有する画像ファイルを抽出するものとして説明した。しかし、これに限るものではない。

例えば、１つのキーワードが、検索キーｋ１にも、検索キーｋ２にも関連するものである場合もある。このような場合であっても、異なるキーワードの場合と同様に、検索キーｋ１に対する関連度と、検索キーｋ２に対する関連度とに応じて、サムネイル画像の表示位置（表示領域）を決定するようにすればよい。

［画像検索の結果の表示態様（５）］
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の他の表示態様について説明する。ここでは、図５〜図７を用いて説明したように、文字情報としての検索キーが２つ選択された場合を例にして説明する。

そして、この表示態様（５）の場合には、選択された２つの検索キーのそれぞれに対応する検索キー表示の間の距離（表示画面上における距離）に応じて、検索結果の表示範囲を変えるようにするものである。

図１９は、図５〜図７を用いて説明したようにして２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（５）を説明するための図である。

図１９において、図１９（Ａ）は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示している。また、図１９（Ｂ）は、表示画面６Ｇ上に表示される２つの検索キー表示の表示画面６Ｇ上の位置関係について説明するための図である。また、図１９（Ｃ）は、図１９（Ａ）における検索結果表示領域Ａｒの詳細を説明するための図である。

そして、この図１９に示す表示態様（５）の場合にも、２つの検索キー表示Ｋ１、Ｋ２が同時に指示され、これらに対応する２つの検索キーに応じた画像検索は、図１５を用いて説明した場合と同様に行われる。この例においても、検索キー表示Ｋ１に対応する検索キーを検索キーｋ１とし、検索キー表示Ｋ２に対応する検索キーを検索キーｋ２とする。

そして、制御部１２０は、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとの両方を有する画像ファイルとを検索して抽出する。そして、この抽出した画像ファイルの画像データに応じたサムネイル画像を表示画面６Ｇに表示する。

この場合に、制御部１２０は、単に検索結果のサムネイル画像の表示を表示画面６Ｇに行うものではない。ユーザーのタッチパネル１０７の操作面に対する操作に応じて、検索結果の表示範囲を変えるようにしている。

具体的には、図１９（Ａ）に示したように、検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置に接触させるようにした指等を、当該操作面に対して接触させたまま移動させるドラック操作を行う。

このドラッグ操作に応じて、制御部１２０は、表示情報形成部１１１、表示処理部１０５を制御し、検索キー表示Ｋ１、Ｋ２の表示位置を変えることができる。そして、制御部１２０は、表示画面６Ｇ上のどの位置にどのような情報を表示しているのかを把握できる。

したがって、制御部１２０は、図１９（Ｂ）に示すように、表示位置が変更される検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄを常時適切に把握することができる。そこで、制御部１２０は、ユーザーのドラッグ操作によって表示位置が変えられる検索キー表示Ｋ１と検索キー表示Ｋ２と表示画面６Ｇ上での距離ｄに応じて、画像検索の結果の表示範囲を制御する。

この例の場合、画像検索の初期状態においては、検索キー表示Ｋ１と検索キー表示Ｋ２との表示画面６Ｇ上の表示位置は、その間の距離ｄが予め決められた閾値ｄ１より小さくなる位置とされている。

そして、上述もしたように、検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置に指等を接触させた場合に、これを制御部１２０が検知し、対応する検索キーｋ１、ｋ２を用いて画像検索を実行する。

そして、検索キー表示Ｋ１と検索キー表示Ｋ２の間の距離ｄが、閾値ｄ１より小さい場合においては、制御部１２０は、検索キーに対して関連度「高」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像のみを領域ＡｒＨに表示する。

この場合、検索キーｋ１に対して関連度「高」のキーワードと、検索キーｋ２に対して関連度「高」のキーワードとを有する画像ファイルの画像データに応じたサムネイル画像だけが、検索結果表意領域Ａｒの中央部分ＡｒＨに表示される。

この後、検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置に接触させた指等をそのまま移動させるドラッグ操作が行われ、検索キー表示Ｋ１、Ｋ２の表示位置が移動されたとする。

この時、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが、閾値ｄ１よりも大きく、かつ、閾値ｄ２以下となった場合には、検索キーに対して関連度「中」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を領域ＡｒＭに表示する。

この場合、制御部１２０は、領域ＡｒＨの関連度「高」のサムネイル画像の表示に加えて、関連度「中」のサムネイル画像の表示を領域ＡｒＭに行う。

また、検索キーに対して関連度「中」の画像ファイルは、以下の２つの組み合わせのものである。１つは、検索キーｋ１、ｋ２のいずれか一方に対して関連度「高」のキーワードと、他方の検索キーに対して関連度「中」または関連度「低」のキーワードを有する画像ファイルは関連度「中」とされる。他の１つは、検索キーｋ１に対して関連度「中」のキーワードと、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルは関連度「中」とされる。

この後、さらに検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置に接触させた指等をそのまま移動させるドラッグ操作が行われ、検索キー表示Ｋ１、Ｋ２の表示位置が移動されたとする。

この時、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが、閾値ｄ２よりも大きくなった場合には、検索キーに対して関連度「低」のキーワードを有する画像ファイルの画像データに応じたサムネイル画像を領域ＡｒＬに表示する。

この場合、制御部１２０は、領域ＡｒＨの関連度「高」のサムネイル画像の表示と、領域ＡｒＭの関連度「中」のサムネイル画像の表示とに加えて、関連度「低」のサムネイル画像の表示を領域ＡｒＬに行う。

また、検索キーに対して関連度「低」の画像ファイルは、以下の２つの組み合わせのものである。１つは、検索キーｋ１、ｋ２のいずれか一方に対して関連度「中」のキーワードと、他方の検索キーに対して関連度「低」のキーワードを有する画像ファイルは関連度「低」とされる。他の１つは、検索キーｋ１に対して関連度「低」のキーワードと、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルは関連度「低」とされる。

［検索結果の表示処理の詳細］
次に、図１９を用いて説明した表示態様（５）で、画像検索の結果を表示する場合の処理について説明する。図２０は、図１９を用いて説明した表示態様（５）で、画像検索の結果を表示する場合の処理を説明するためのフローチャートである。

この図２０に示す処理は、図１１、図１２を用いて説明した画像検索時の処理のステップＳ１０９において実行するようにされる。つまり、検索キー表示Ｋ１、Ｋ２に対して指等が接触するようにされ、画像検索を行うように指示されると、制御部１２０は、図１１に示したステップＳ１０９において、図２０に示す検索結果表示処理を実行する。

まず、制御部１２０は、指示された検索キーｋ１、ｋ２と当該検索キーに対応する検索キー関連度辞書の内容に基づいて、画像検索を実行し、指示された検索キーｋ１、ｋ２に関連するキーワードを有する画像ファイルを抽出する（ステップＳ１０９Ａ）。

そして、制御部１２０は、タッチパネル１０７から供給される座標データに基づいて、検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置への接触が終了したか否かを判断する（ステップＳ１０９Ｂ）。

ステップＳ１０９Ｂの判断処理において、接触は終了していると判断したときには、制御部１２０は、図２０に示す処理を終了し、図１１に示したステップＳ１０９に戻り、図１２のステップＳ１１０からの処理を実行することになる。

ステップＳ１０９Ｂの判断処理において、接触は終了していないと判断したときには、制御部１２０は、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ１以下か否かを判断する（ステップＳ１０９Ｃ）。

ステップＳ１０９Ｃの判断処理において、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ１以下であると判断したときには、制御部１２０は、ステップＳ１０９Ｄの表示処理を実行する。

つまり、制御部１２０は、検索キーｋ１、ｋ２に対して関連度「高」のキーワードを有する画像ファイルの画像データのサムネイル画像を、表示領域Ａｒの中央部分ＡｒＨに表示する（ステップＳ１０９Ｄ）。この後、ステップＳ１０９Ｂからの処理を繰り返す。

また、ステップＳ１０９Ｃの判断処理において、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ１以下ではないと判断したときには、制御部１２０は、ステップＳ１０９Ｅの判断処理を実行する。

つまり、制御部１２０は、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ１より大きく、かつ、閾値ｄ２以下か否かを判断する（ステップＳ１０９Ｅ）。

ステップＳ１０９Ｅの判断処理において、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ１より大きく、かつ閾値ｄ２以下であると判断したときには、制御部１２０は、ステップＳ１０９Ｆの表示処理を実行する。

この場合、制御部１２０は、検索結果表示領域Ａｒの中央部分ＡｒＨと、その外側の領域ＡｒＭとにサムネイル画像を表示する（ステップＳ１０９Ｆ）。

つまり、ステップＳ１０９Ｆにおいては、検索キーｋ１、ｋ２に対して、関連度「高」のキーワードを有する画像ファイルの画像データのサムネイル画像を中央部分ＡｒＨに表示する。

さらにステップＳ１０９Ｆにおいては、検索キーｋ１、ｋ２に対して、関連度「中」のキーワードを有する画像ファイルの画像データのサムネイル画像を領域ＡｒＭに表示する。このステップＳ１０９Ｆの処理の後、制御部１２０は、ステップＳ１０９Ｂからの処理を繰り返す。

また、ステップＳ１０９Ｅの判断処理において、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ１より大きく、かつｄ２以下ではないと判断したときには、制御部１２０は、ステップＳ１０９Ｇの判断処理を実行する。

つまり、制御部１２０は、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ２より大きいか否かを判断する（ステップＳ１０９Ｇ）。

ステップＳ１０９Ｇの判断処理において、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ２より大きいと判断したときには、制御部１２０は、ステップＳ１０９Ｈの表示処理を実行する。

この場合、制御部１２０は、検索結果表示領域Ａｒの中央部分ＡｒＨと、その外側の領域ＡｒＭと、さらに外側の領域ＡｒＬにサムネイル画像を表示する（ステップＳ１０９Ｈ）。

つまり、ステップＳ１０９Ｈにおいては、検索キーｋ１、ｋ２に対して、関連度「高」のキーワードを有する画像ファイルの画像データのサムネイル画像を中央部分ＡｒＨに表示する。さらにステップＳ１０９Ｈにおいては、検索キーｋ１、ｋ２に対して、関連度「中」のキーワードを有する画像ファイルの画像データのサムネイル画像を領域ＡｒＭに表示する。さらにステップＳ１０９Ｈにおいては、検索キーｋ１、ｋ２に対して、関連度「低」のキーワードを有する画像ファイルの画像データのサムネイル画像を領域ＡｒＬに表示する。

このステップＳ１０９Ｈの処理の後、また、ステップＳ１０９Ｇの判断処理において、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄが閾値ｄ２より大きくないと判断したときには、制御部１２０は、ステップＳ１０９Ｂからの処理を繰り返す。

なお、この例の場合、ステップＳ１０９Ｄ、ステップＳ１０９Ｆ、ステップＳ１０９Ｈの表示処理においては、始めに検索結果表示領域Ａｒの表示クリア処理が行われた後に、サムネイル画像の表示処理が行われる。

これにより、一旦、関連度「高」、「中」、「低」のすべてのサムネイル画像を表示した後であっても、再度、検索キー表示Ｋ１と検索キー表示Ｋ２との間隔ｄを狭めた場合には、関連度「高」のサムネイル画像だけを表示するなどのことができるようにされる。

この例の場合、検索キー表示の長押し操作は必要なく、ユーザーの意図に応じて即座にユーザーの意図する範囲で、画像検索の結果を表示することができる。

［画像検索の結果の表示態様（６）］
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行った場合の検索結果の他の表示態様について説明する。ここでも、図１９、図２０を用いて説明した表示態様（５）の場合と同様に、図５〜図７を用いて説明したように、文字情報としての検索キーが２つ選択された場合を例にして説明する。

そして、この表示態様（６）の場合にも、上述した表示態様（５）の場合とどうように、選択された２つの検索キーのそれぞれに対応する検索キー表示の間の距離（表示画面上における距離）に応じて、検索結果の表示範囲を変えるようにするものである。

しかし、以下に説明する表示態様（６）の場合には、検索キー表示間の距離ｄだけでなく、２つの検索キー表示の内、いずれの検索キー表示が移動するようにされたかをも考慮して、表示する画像検索の結果を変えるようにしている。

図２１は、図５〜図７を用いて説明したようにして２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（６）を説明するための図である。

図２１において、図２１（Ａ）は、選択された検索キーにしたがって画像検索が行われた場合の検索結果の表示態様を示している。図２１（Ｂ）は、図２１（Ａ）における検索結果表示領域Ａｒに検索結果が表示されることを説明するための図である。

そして、この図２１に示す表示態様（６）の場合にも、２つの検索キー表示Ｋ１、Ｋ２が同時に指示され、これらに対応する２つの検索キーに応じた画像検索は、図１５を用いて説明した場合と同様に行われる。この例においても、検索キー表示Ｋ１に対応する検索キーを検索キーｋ１とし、検索キー表示Ｋ２に対応する検索キーを検索キーｋ２とする。

制御部１２０は、検索キーｋ１に関連するキーワードと、検索キーｋ２に関連するキーワードとの両方を有する画像ファイルとを検索して抽出し、この抽出した画像ファイルの画像データに応じたサムネイル画像を表示画面６Ｇに表示する。

この場合に、制御部１２０は、単に検索結果のサムネイル画像の表示を表示画面６Ｇに行うものではない。この表示態様（６）の場合にも、ユーザーのタッチパネル１０７の操作面に対する操作に応じて、検索結果の表示範囲を変えるようにしている。

具体的には、図２１（Ａ）に示すように、検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置に接触させるようにした指等の内、一方の指等を、当該操作面に対して接触させたまま移動させるドラック操作を行う。

このドラッグ操作に応じて、制御部１２０は、表示情報形成部１１１、表示処理部１０５を制御し、移動するようにされた検索キー表示の表示位置を変えることができる。そして、制御部１２０は、上述もしたように、表示画面６Ｇ上のどの位置にどのような情報を表示しているのかを把握している。

したがって、制御部１２０は、検索キー表示Ｋ１、Ｋ２の内、いずれの検索キー表示の表示位置が変更するようにされたかを把握することができる。また、制御部１２０は、上述した表示態様（５）の場合と同様に、検索キー表示Ｋ１と検索キー表示Ｋ２との間の距離ｄを常時適切に把握することができる。

このため、表示位置が変えられなかった検索キー表示に対応する検索キーに対して関連度「高」のキーワードを有し、表示位置が変えられた検索キー表示に対応する検索キーに対して関連度「中」、または、関連度「低」のキーワードを有する画像ファイルのサムネイル画像を表示するようにする。

図２１（Ａ）は、検索キー表示Ｋ１の表示位置は変えることなく、検索キー表示Ｋ２に接触させるようにした指等だけをドラッグ操作させることにより、検索キー表示Ｋ２の表示位置を移動させるようにしている場合を示している。

この場合に、検索キー表示Ｋ１に対応する検索キーｋ１に対しては関連度「高」のキーワードを有し、検索キー表示Ｋ２に対応する検索キーｋ２に対しては、関連度「中」または関連度「低」のキーワードを有する画像ファイルのサムネイル画像を表示する。

そして、検索結果の表示は、図２１（Ａ）、（Ｂ）に示すように、表示画面内の検索結果表示領域Ａｒ内に表示される。

例えば、検索キー表示Ｋ１、Ｋ２のいずれの表示位置も移動させていない場合には、検索キーｋ１に対して関連度「高」のキーワードを有すると共に、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像を表示する。

検索キー表示Ｋ２を所定量以上移動させた場合には、既に表示されている画像に加えて、検索キーｋ１に対して関連度「高」のキーワードを有すると共に、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像を表示する。

さらに、検索キー表示Ｋ２を所定量以上移動させた場合には、既に表示されている画像に加えて、検索キーｋ１に対して関連度「高」のキーワードを有すると共に、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像を表示する。

この場合においても、検索結果表示領域Ａｒの中央部分から外側に向う方向に、検索キーに対する関連度に応じて徐々にサムネイル画像を表示するようにすればよい。

なお、ここでは、検索キー表示Ｋ１の表示位置は変えずに、検索キー表示Ｋ２の表示位置を移動させるようにした場合を例にして説明した。これとは逆に、検索キー表示Ｋ２の表示位置は変えずに、検索キー表示Ｋ１の表示位置を移動させることにより、検索キーｋ２に対する関連度は変えずに、検索キーｋ１に対する関連度を変えて、画像検索の結果を表示するようにすることももちろん可能である。

また、表示位置を移動させるようにした検索キー表示に対応する検索キーに対して関連度「中」までを対象とするのか、関連度「低」までの対象とするのかは、検索キー表示Ｋ１、Ｋ２間の距離ｄに応じて変えるようにすればよい。

このようにすることによって、画像検索に用いる２の検索キーについて、一方の検索キーに対する関連度を固定し、他方の検索キーに対する関連度を変化させるようにして、画像検索の結果を表示することができるようにされる。

［検索結果の表示処理の詳細］
次に、図２１を用いて説明した表示態様（６）で、画像検索の結果を表示する場合の処理について説明する。図２２は、図２１を用いて説明した表示態様（６）で、画像検索の結果を表示する場合の処理を説明するためのフローチャートである。

この図２２に示す処理は、図１１、図１２を用いて説明した画像検索時の処理のステップＳ１０９において実行するようにされる。つまり、検索キー表示Ｋ１、Ｋ２に対して指等が接触するようにされ、画像検索を行うように指示されると、制御部１２０は、図１１に示したステップＳ１０９において、図２２に示す検索結果表示処理を実行する。

まず、制御部１２０は、指示された検索キーｋ１、ｋ２と当該検索キーに対応する検索キー関連度辞書の内容に基づいて、画像検索を実行し、指示された検索キーｋ１、ｋ２に関連するキーワードを有する画像ファイルを抽出する（ステップＳ１０９ａ）。

そして、制御部１２０は、検索キーｋ１、ｋ２に対して関連度「高」のキーワードを有する画像ファイルの画像データのサムネイル画像を、表示領域Ａｒの中央部分に表示する（ステップＳ１０９ｂ）。

そして、制御部１２０は、タッチパネル１０７から供給される座標データに基づいて、検索キー表示Ｋ１、Ｋ２の表示位置に対応するタッチパネル１０７の操作面上の位置への接触が終了したか否かを判断する（ステップＳ１０９ｃ）。

ステップＳ１０９ｃの判断処理において、接触は終了していると判断したときには、制御部１２０は、図２２に示す処理を終了し、図１１に示したステップＳ１０９に戻り、図１２のステップＳ１１０からの処理を実行することになる。

ステップＳ１０９ｃの判断処理において、接触は終了していないと判断したときには、制御部１２０は、タッチパネル１０７からの座標データに基づいて、検索キー表示Ｋ１の表示位置が変化したか否かを判断する（ステップＳ１０９ｄ）。

ステップＳ１０９ｄの判断処理において、検索キー表示Ｋ１の表示位置が変化したと判断したときには、ユーザーの指示に応じて、検索キーｋ１に対する関連度を調整して画像検索の結果を表示する処理を行う（ステップＳ１０９ｅ）。

具体的にステップＳ１０９ｅにおいては、検索キーｋ２に対する関連度は維持し、検索キーｋ１に対する関連度は下げて、画像検索の結果から対応する関連度となるサムネイル画像を抽出し、これを追加表示する。この後、ステップＳ１０９ｃからの処理を繰り返すようにする。

また、ステップＳ１０９ｄの判断処理において、検索キー表示Ｋ１の表示位置は変化していないと判断したときには、検索キー表示Ｋ２の表示位置が変化したか否かを判断する（ステップＳ１０９ｆ）。

ステップＳ１０９ｆの判断処理において、検索キー表示Ｋ２の表示位置が変化したと判断したときには、ユーザーの指示に応じて、検索キーｋ２に対する関連度を調整して画像検索の結果を表示する処理を行う（ステップＳ１０９ｇ）。

具体的にステップＳ１０９ｇにおいては、検索キーｋ１に対する関連度は維持し、検索キーｋ２に対する関連度は下げて、画像検索の結果から対応する関連度となるサムネイル画像を抽出し、これを追加表示する。この後、ステップＳ１０９ｃからの処理を繰り返すようにする。

また、ステップＳ１０９ｆの判断処理において、検索キー表示Ｋ２の表示位置は変化していないと判断したときには、検索結果を調整する処理は行われていないので、ステップＳ１０９ｃからの処理を繰り返すようにする。

これにより、上述もしたように、２つの検索キーのうち、一方の検索キーに対する関連度を調整するようにしながら、画像検索の結果を表示することができるようにされる。

なお、図２１、図２２を用いて説明した例の場合には、既に表示されているサムネイル画像に加えるようにして、関連度か調整されたサムネイル画像を表示するようにした。しかし、これに限るものではない。

例えば、検索キー表示Ｋ１、Ｋ２のいずれの表示位置も移動させていない場合には、検索キーｋ１に対して関連度「高」のキーワードを有すると共に、検索キーｋ２に対して関連度「高」のキーワードを有する画像ファイルのサムネイル画像のみを表示する。

そして、検索キー表示Ｋ１の表示位置はそのままに、検索キー表示Ｋ２を所定量以上移動させた場合には、まず、既に表示されている画像を消去する。そして、検索キーｋ１に対して関連度「高」のキーワードを有すると共に、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像のみを表示する。

さらに、検索キー表示Ｋ１の表示位置はそのままに、検索キー表示Ｋ２を所定量以上移動させた場合には、まず、既に表示されている画像を消去する。そして、検索キーｋ１に対して関連度「高」のキーワードを有すると共に、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像のみを表示する。

このように、検索キー表示の表示位置を動かした場合に、その直前の表示をクリアすることで、ユーザーによって指示された関連度の画像ファイルのサムネイル画像だけを表示することができる。

そして、検索キー表示Ｋ１と検索キー表示Ｋ２とのそれぞれの表示位置を順次に移動させるようにする。このようにした場合、検索キーｋ１に対して関連度「中」のキーワードを有すると共に、検索キーｋ２に対して関連度「中」のキーワードを有する画像ファイルのサムネイル画像のみを表示することができる。

同様に、検索キーｋ１に対して関連度「中」のキーワードを有すると共に、検索キーｋ２に対して関連度「低」のキーワードを有する画像ファイルのサムネイル画像のみを表示するなどのことも可能となる。

［変形例１］
上述した実施の形態の撮像装置１００においては、検索キーに合致するキーワードを有する画像ファイルを検索するようにした。すなわち、上述した実施の形態においては、検索キーがキーワード情報の場合である。

しかし、検索キーはキーワード情報に限るものではない。画像自体、具体的には、画像分析の結果の情報を検索キーとして、類似画像を検索することもできる。この変形例１の撮像装置１００においては、画像自体を検索キーとして用いて、画像検索を行うものである。

図２３は、画像を検索キーとして用いて画像検索を行う場合について説明するための図である。図２３（ａ）に示すように、検索キーとして使用可能な画像については、例えば、ハイライト表示など区別可能な態様で表示されている。

図２を用いて説明したように、各画像ファイルには、その画像ファイルの画像データを画像分析することにより得た画像分析情報がメタデータとして付加されている。この画像分析情報は、上述もしたように、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。

このため、画像分析の結果、例えば、人の顔が大きく写っている画像や、輪郭がはっきりとした建物や風景の画像など、特徴のはっきりした画像であることが判明した画像を、検索キーとして用いることができるようにしておく。

具体的には、検索キーとして利用可能な画像の画像ファイルにはフラグを立てておくなどすることにより、区別できるようにしておく。これにより、図２３（ａ）に示すように、検索キーとなりうる画像のサムネイル画像については、ハイライト表示するなどして区別することができるようにされる。

そして、図２３（ｂ）に示すように、検索キーとなりうる画像のサムネイル画像内、ユーザーが目的とする画像のサムネイル画像の表示位置上のタッチパネル１０７の操作面に指等を接触させる。

この場合、制御部１２０は、タッチパネル１０７からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されているサムネイル画像とに基づいて、どのサムネイル画像が検索キーとして指定されたかを認識することができる。

制御部１２０は、指定されたサムネイル画像に対応する画像ファイルから画像分析情報を読み出し、当該画像分析情報を検索キーにして、当該検索キーに類似する画像分析情報を有する画像ファイルを抽出する。そして、制御部１２０は、抽出した画像ファイルのサムネイル画像を、図２３（ｂ）に示すように、表示画面上の所定の位置に集めて表示するようにする。

図２３に示した例の場合には、２つのサムネイル画像が検索キーとなるように指定された場合を示している。そして、この例の場合には、指示された２の画像の画像分析結果の両方に類似する画像が抽出される。なお、ユーザーの指示に応じて、指示された２の画像の画像分析結果のいずれか一方に類似する画像を抽出するようにすることも可能である。

このように、画像を検索キーとして指定することによって、当該画像に写っている人物や建物などを検索条件として画像を絞り込むことが可能となる。つまり、検索キーとして指示された画像に類似する画像を抽出することができる。

なお、ここでは、画像分析の結果、特徴のはっきりした画像を検索キーとして指定可能な画像として予め特定しておくものとして説明した。しかし、これに限るものではない。全ての画像を検索キーとして指定可能なようにしてももちろんよい。この場合には、サムネイル画像をハイライト表示する必要もない。

また、ユーザー自身が、予め検索キーとして用いる画像を設定するようにすることも可能である。

そして、図９を用いて説明したように、画像分析情報として「画像における人物の顔の面積」を選択し、図２３を用いて説明したように、検索キーとして用いる画像を指示するようにする。

この場合、制御部１２０は、検索キーとして指示された画像の画像分析情報の「画像における人物の顔の面積」に基づいて、関連する画像を記録媒体１３５から検索して抽出し、その結果を関連度に応じて表示することが可能である。

また、画像分析情報として「画像における人物の数」を選択し、図２３を用いて説明したように、検索キーとして用いる画像を指示するようにする。この場合、制御部１２０は、検索キーとして指示された画像の画像分析情報の「画像における人物の数」に基づいて、関連する画像を記録媒体１３５から検索して抽出し、その結果を関連度に応じて表示することが可能である。

また、画像分析情報である「画像における人物の笑顔の度合い」を用いるようにした場合にも、制御部１２０は、検索キーとして指示された画像の「画像における人物の笑顔の度合い」に基づいて、関連する画像を記録媒体１３５から検索することができる。

また、画像分析情報である「画像全体の特長」を用いるようにした場合にも、制御部１２０は、検索キーとして指示された画像の「画像全体の特長」に基づいて、関連する画像を記録媒体１３５から検索することができる。

この場合には、画像の色合いや複雑さから類似度を求め、当該類似度に応じて、関連する画像を抽出して、関連度「高」、「中」、「低」に分類することができるようにされる。

このように、この実施の形態の撮像装置１００においては、画像分析情報を用いることにより、画像自体を検索キーとして用いるようにし、当該検索キーに関連する画像を検索して抽出することができる。

そして、上述したように、画像を検索キーとして用いるようにした場合であっても、図１０、図１３、図１５、図１７、図１９、図２０に示した表示態様で、検索結果を表示することができる。

［変形例２］
また、検索キーとして、各画像ファイルが有するＧＰＳ情報（位置情報）を用いるようにすることもできる。

この場合には、検索キーとして位置情報を用いるように設定し、当該位置情報に対応知る検索キー表示を表示画面６Ｇに表示する。また、ユーザーが、検索キーとして用いる実際の位置情報（経度、緯度）を入力したり、あるいは、予め用意されているものの中から選択したりするなどして設定する。

そして、位置情報に対応する検索キー表示に指等を接触させることにより、制御部１２０が、位置情報を用いた画像検索を実行する。この場合、制御部１２０は、検索キーとしての位置情報（経度、緯度）を中心にして、予め決められる半径のエリアに属するＧＰＳ情報を有する画像ファイルを検索する。

具体的には、制御部１２０は、検索キーとしての位置情報（経度、緯度）を中心にして、例えば、半径１０ｋｍ未満のエリアに属するＧＰＳ情報を有する画像ファイルを関連度「高」の画像ファイルとして検索して抽出する。

また、制御部１２０は、検索キーとしての位置情報（経度、緯度）を中心にして、例えば、半径１０ｋｍ以上、２０ｋｍ未満のエリアに属するＧＰＳ情報を有する画像ファイルを関連度「中」の画像ファイルとして検索して抽出する。

また、制御部１２０は、検索キーとしての位置情報（経度、緯度）を中心にして、例えば、半径１２０ｋｍ以上、３０ｋｍ未満のエリアに属するＧＰＳ情報を有する画像ファイルを関連度「低」の画像ファイルとして検索して抽出する。

このように、位置情報を検索キーを用い、その検索キーとされた位置情報を基準として定められる関連度にしたがって、画像ファイルの検索を行うことも可能である。

このように、この実施の形態の撮像装置１００においては、位置情報（ＧＰＳ情報）を検索キーとして用いるようにし、当該検索キーに関連する画像を検索して抽出することができる。

そして、上述したように、位置情報を検索キーとして用いるようにした場合であっても、図１０、図１３、図１５、図１７、図１９、図２０に示した表示態様で、検索結果を表示することができる。

［画像検索の結果の確定］
この実施の形態の撮像装置１００においては、上述したように、画像検索を行い、その結果を表示部１０６の表示画面６Ｇに表示した場合に、ユーザーが所定の操作を行うことによって、その検索結果を確定し、検索結果をフォルダに格納することができる。

図２４は、検索結果を確定する操作について説明するための図である。この実施の形態の撮像装置１００は、図１を用いて説明したように、モーションセンサ１３７を備えている。そして、モーションセンサ１３７の機能により、上述もしたように、撮像装置１００が傾けられた場合、振られた場合、叩かれた場合のそれぞれを検出し、制御部１２０に通知することができる。

そこで、図２４に示すように、画像検索を行って、検索結果が表示画面６Ｇに表示されている場合に、撮像装置１００が傾けられた場合、振られた場合、叩かれた場合には、これらを検索結果の確定操作として認識するようにしている。

すなわち、図２４（ａ）に示すように、検索結果が表示画面６Ｇに表示されている場合に、撮像装置１００が傾けられたことをモーションセンサ１３７が検出すると、制御部１２０は、当該傾ける操作を、検索結果の確定操作と認識する。

そして、制御部１２０は、現在、表示画面６Ｇに表示されているサムネイル画像に対応する画像ファイルを、図２４（ｄ）に示すように、例えば、ユーザーによって選択された画像フォルダに格納するように処理する。

この場合、例えば、図２４（ｄ）に示すように、画像フォルダのイメージを表示し、徐々に、画像検索の結果得られた画像ファイルを格納するようにするイメージ画像を表示することにより、ユーザーに検索結果をフォルダに格納していることを明確に通知できる。

また、図２４（ｂ）に示すように、検索結果が表示画面６Ｇに表示されている場合に、撮像装置１００が例えば左右に振られたことをモーションセンサ１３７が検出すると、制御部１２０は、当該振る操作を、検索結果の確定操作と認識する。

そして、制御部１２０は、現在、表示画面６Ｇに表示されているサムネイル画像に対応する画像ファイルを、図２４（ｄ）に示すように、例えば、ユーザーによって選択された画像フォルダに格納するように処理する。

この場合にも、図２４（ｄ）に示すように、画像フォルダのイメージを表示し、徐々に、画像検索の結果得られた画像ファイルを格納するようにするイメージ画像を表示することにより、ユーザーに検索結果をフォルダに格納していることを明確に通知できる。

また、図２４（ｃ）に示すように、検索結果が表示画面６Ｇに表示されている場合に、撮像装置１００が例えば左右に振られたことをモーションセンサ１３７が検出すると、制御部１２０は、当該振る操作を、検索結果の確定操作と認識する。

そして、制御部１２０は、現在、表示画面６Ｇに表示されているサムネイル画像に対応する画像ファイルを、図２４（ｄ）に示すように、例えば、ユーザーによって選択された画像フォルダに格納するように処理する。

この場合にも、図２４（ｄ）に示すように、画像フォルダのイメージを表示し、徐々に、画像検索の結果得られた画像ファイルを格納するようにするイメージ画像を表示することにより、ユーザーに検索結果をフォルダに格納していることを明確に通知できる。

なお、ここでは、撮像装置１００が叩かれたことをモーションセンサ１３７により検出することを説明したが、これに限るものではない。この実施の形態の撮像装置１００は、図１を用いて説明したように、セット上部のタッチパネル１３６を備えている。そこで、セット上部のタッチパネル１３６を通じて、ユーザーによって叩かれたことを検出した場合に、制御部１２０が、検索結果をフォルダに格納する処理を実行するようにしてもよい。

また、上述もしたように、この実施の形態の撮像装置１００は、検索キーに対する関連度に応じて画像を検索し、その結果を表示することができるものである。このため、検索結果を確定する操作の度合いに応じて、フォルダに格納する検索結果の範囲を調整することもできる。

図２５は、ユーザーによって傾けるようにされる撮像装置１００の傾きに応じて、フォルダに格納する画像検索の結果の範囲を変える場合について説明するための図である。

上述もしたように、この実施の形態の撮像装置１００に搭載されているモーションセンサ１３７は、撮像装置１００が傾けられた場合、どの方向にどれだけ傾けられたかを検出することができるものである。

そこで、図２５（ａ）に示すように、撮像装置１００が、予め決められた角度Ｘ１以上傾けられたことをモーションセンサ１３７が検出した場合には、制御部１２０は、検索キーに対して関連度「高」とされた画像ファイルを画像フォルダに格納する。

そして、図２５（ｂ）に示すように、撮像装置１００が、さらに予め決められた角度Ｘ２以上傾けられたことをモーションセンサ１３７が検出した場合には、制御部１２０は、検索キーに対して関連度「中」とされた画像ファイルを画像フォルダに追加して格納する。

そして、図２５（ｃ）に示すように、撮像装置１００が、さらに予め決められた角度Ｘ３以上傾けられたことをモーションセンサ１３７が検出した場合には、制御部１２０は、検索キーに対して関連度「低」とされた画像ファイルを画像フォルダに追加して格納する。

そして、図２５（ａ）に示した状態から、撮像装置１００が水平となる状態に戻された場合には、検索キーに対して関連度「中」や関連度「低」の画像ファイルについては画像フォルダに格納しないようにすることができる。

同様に、図２５（ｂ）に示した状態から、撮像装置１００が水平となる状態に戻された場合には、検索キーに対して関連度「低」の画像ファイルについては画像フォルダに格納しないようにすることができる。

また、図２５に示した例の場合、角度Ｘ１、Ｘ２、Ｘ３は、Ｘ１＜Ｘ２＜Ｘ３と言う関係を満足するものであり、例えば、Ｘ１＝１５度、Ｘ２＝３０度、Ｘ３＝４５度などのように設定される。もちろん、これらは一例であり、種々の値を設定することが可能である。

このように、この実施の形態の撮像装置１００のユーザーは、意図する範囲の検索結果を、簡単な操作で目的とする画像フォルダに格納することができる。

［画像検索の結果の確定処理］
図２６は、図２５を用いて説明したユーザーによって傾けるようにされる撮像装置１００の傾きに応じて、フォルダに格納する画像検索の結果の範囲を変える場合の処理について説明するためのフローチャートである。

この図２６に示す処理は、例えば、図１１、図１２を用いて説明した画像検索処理のステップＳ１１７において、主に制御部１２０によって行われる。

まず、制御部１２０は、モーションセンサ１３７からの検出出力を監視し、撮像装置１００（本体）を傾ける操作が行われたか否かを判断する（ステップＳ１１７０）。ステップＳ１１７０の判断処理において、傾けられていないと判断したときには、ステップＳ１１７０の処理を繰り替えし、傾けられるまで待ち状態となる。

ステップＳ１１７０の判断処理において、撮像装置１００が傾けられたと判断したときには、撮像装置１００の傾きＸは、予め決められた第１の傾きＸ１以上か否かを判断する（ステップＳ１１７１）。

ステップＳ１１７１の判断処理において、撮像装置１００の傾きＸが、第１の傾きＸ１以上ではないと判断したときには、制御部１２０は、撮像装置１００が水平に戻されたか否かを判断する（ステップＳ１１７２）。

ステップＳ１１７２の判断処理において、水平に戻されていないと判断したときは、制御部１２０は、ステップＳ１１７１からの処理を繰り返すようにする。また、ステップＳ１１７２の判断処理において、水平に戻されたと判断したときは、制御部１２０は、この図２６の処理を終了する。

また、ステップＳ１１７１の判断処理において、撮像装置１００の傾きＸが、第１の傾きＸ１以上であると判断したときには、制御部１２０は、検索キーに対して関連度「高」とされた画像群（画像ファイル群）を所定のフォルダに格納する（ステップＳ１１７３）。

そして、制御部１２０は、撮像装置１００の傾きＸが、予め決められた第２の傾きＸ２以上になったか否かを判断する（ステップＳ１１７４）。

ステップＳ１１７４の判断処理において、撮像装置１００の傾きＸが、第２の傾きＸ２以上ではないと判断したときには、制御部１２０は、撮像装置１００が水平に戻されたか否かを判断する（ステップＳ１１７５）。

ステップＳ１１７５の判断処理において、水平に戻されていないと判断したときは、制御部１２０は、ステップＳ１１７４からの処理を繰り返すようにする。また、ステップＳ１１７５の判断処理において、水平に戻されたと判断したときは、制御部１２０は、この図２６の処理を終了する。

また、ステップＳ１１７４の判断処理において、撮像装置１００の傾きＸが、第２の傾きＸ２以上であると判断したときには、制御部１２０は、検索キーに対して関連度「中」とされた画像群（画像ファイル群）を当該フォルダに追加格納する（ステップＳ１１７６）。

そして、制御部１２０は、撮像装置１００の傾きＸが、予め決められた第３の傾きＸ３以上になったか否かを判断する（ステップＳ１１７７）。

ステップＳ１１７７の判断処理において、撮像装置１００の傾きＸが、第３の傾きＸ３以上ではないと判断したときには、制御部１２０は、撮像装置１００が水平に戻されたか否かを判断する（ステップＳ１１７８）。

ステップＳ１１７８の判断処理において、水平に戻されていないと判断したときは、制御部１２０は、ステップＳ１１７７からの処理を繰り返すようにする。また、ステップＳ１１７８の判断処理において、水平に戻されたと判断したときは、制御部１２０は、この図２６の処理を終了する。

また、ステップＳ１１７７の判断処理において、撮像装置１００の傾きＸが、第３の傾きＸ３以上であると判断したときには、制御部１２０は、検索キーに対して関連度「低」とされた画像群（画像ファイル群）を当該フォルダに追加格納する（ステップＳ１１７９）。この後、この図２６の処理を終了する。

このようにして、この実施の形態の撮像装置１００のユーザーは、画像検索を行った後に、撮像装置１００を傾ける操作を行うことにより、画像検索の結果を所定のフォルダに格納することができる。

また、撮像装置１００の傾きを調整することによって、ユーザーは、意図する範囲の検索結果を、目的とする画像フォルダに格納することができる。

なお、図２５、図２６は、撮像装置１００を傾ける操作を、画像検索の結果を格納する処理の開始操作とした場合を例にして説明した。しかし、これだけなく、撮像装置１００を振る操作や、叩く操作を画像検索の結果を格納する処理の開始操作とすることもできる。

この場合、撮像装置１００を振る操作の回数や、叩く操作の回数によって、フォルダに格納する画像検索の結果の範囲を制御することができる。また、撮像装置１００を振る操作の強度や叩く操作の強度が検出可能な場合には、当該強度に応じて、フォルダに格納する画像検索の範囲を制御するようにしてもよい。

［実施の形態の効果］
上述した実施の形態の撮像装置１００は、ユーザーによって指示された検索キーに関連する画像の検索を行うことができる。そして、撮像装置１００においては、画像検索の結果を、検索キー（検索条件）との関連度を視覚的に認識できるようにして提供することができる。

また、上述した撮像装置１００は、画像検索の結果を、簡単な操作によって、フォルダに格納することができる。しかも、ユーザーの操作の度合いによって、フォルダに格納する画像検索の結果の範囲を制御することができる。

また、画像検索を開始させる操作は、検索キー表示に対して指等を接触させる操作であり、また、画像検索の結果をフォルダに格納するための操作は、撮像装置１００を傾ける、振る、叩くといった操作である。

このように、画像検索や検索結果の格納処理を、直感的な操作によって簡単に実行することができる。

［この発明の方法、プログラム］
なお、上述した実施の形態から明らかなように、この発明の方法、プログラムは、主に、図１１、図１２に示したフローチャートを用いて説明した方法、プログラムとして実現可能である。

すなわち、図１１、図１２を用いて説明した方法は、この発明の方法である。

そして、図１１、図１２を用いて説明した処理を実行するプログラムが、この発明のプログラムである。

したがって、この発明のプログラムを実現し、デジタルスチルカメラや種々の画像処理装置に搭載することにより、この発明の画像処理装置を実現することができる。

さらに、図１４、図２０、図２２、図２６に示したフローチャートを用いて説明した方法、プログラムも実現可能である。また、図１１のステップＳ１０９において、図１５、図１６を用いて説明した表示処理を行うようにする方法、プログラムも実現可能である。同様に、図１１のステップＳ１０９において、図１７、図１８を用いて説明した表示処理を行うようにする方法、プログラムも実現可能である。

［その他］
なお、上述した実施の形態において、表示素子は表示部１０６が実現し、記憶手段は記録媒体１３５が実現し、検索キー指示手段は、表示部１０６とタッチパネル１０７とが協働して実現している。また、検索手段、表示制御手段は、主に制御部１２０が実現している。

また、指示位置検出手段はタッチパネル１０７が実現し、検索キー表示制御手段は制御部１２０が実現している。また、動き検出手段は、モーションセンサ１３７、セット上部のタッチパネル１３６が実現している。

また、上述した実施の形態においては、検索キー指示手段を、表示部１０６とタッチパネル１０７とが協働して実現するようにしたが、これに限るものではない。検索キー指示手段は、例えば、操作部１３１に設けられるハードウェアキーによっても実現することができる。

具体的には、画像検索に用いる検索キーを指定した後に、当該検索キーを用いて画像検索を実行するための所定のハードウェアキーを押下操作した場合に、当該検索キーを用いた画像検索を行うようにすることができる。

この場合、２つ以上の検索キーを用いる場合には、これに対応して、画像検索を実行するための所定のハードウェアキーを複数個設けるようにしておくことにより、タッチパネルを用いた場合と同様にして、画像検索を行うようにすることができる。

また、当該ハードウェアキーを、例えば、スライド移動可能な２つのハードウェアキーとして設けておくことにより、２つの検索キーを用いた画像検索を、上述した実施の形態で説明したように実行することが可能である。

また、上述した実施の形態においては、検索キーに対して関連度「高」、関連度「中」、関連度「低」の３段階で関連度のある画像ファイルを検索するようにしたが、これに限るものではない。さらに細かく、関連度を分けるようにすることももちろん可能である。

また、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。例えば、カメラ機能付きの携帯電話端末、画像データの処理が可能なＰＤＡ（Personal Digital Assistant）等と呼ばれる携帯情報端末、その他の画像データの処理が可能な種々の画像処理装置にこの発明を適用することができる。

また、表示対象の画像データは、静止画像の画像データに限るものではない。例えば、記録媒体に蓄積された複数の動画コンテンツの代表画像やサムネイル画像を表示対象とする画像処理装置にこの発明を適用することができる。

また、上述した実施の形態において、撮像装置１００が備えるタッチパネル１０７は、ユーザーの指等の接触を検出できるものとして説明したがこれに限るものではない。例えば、指等を操作面に接触させることなくある程度近づけた場合に、その近づけた位置を検出できるものであれば、この発明の実現に用いることができる。

つまり、タッチパネル１０７は、接触式のものに限るものではない。例えば、指等がある程度近づいた場合に、近づいた位置の操作面における電位が変化したり、明るさが変化したりしたことを検出し、当該変化した操作面上の位置を指示位置として特定可能な非接触式のタッチパネルを用いるようにしてもよい。

また、上述した実施の形態においては、図１０等に示したように、表示されるサムネイル画像の表示位置や表示の向きなどはバラバラに（ランダムに）表示するようにしたが、これに限るものではない。

表示の向きは一定になるようにしてもよい。要は、画像検索を実行した場合に、検索キーに合致する画像のサムネイル画像を表示画面上の所定の位置に集まるように表示する点を特徴とし、その他の部分は種々の態様で表示するようにすることができる。

また、上述もしたが、予め画像データからサムネイルデータを形成しおき、これを各画像ファイルに付加しておくことにより、サムネイル画像の表示時においてサムネイルデータを形成する必要が無いので、装置の負荷を軽減することができる。

この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置１００の構成例を説明するためのブロック図である。 撮像装置１００の記録媒体１３５に記録される画像ファイルのレイアウト例を説明するための図である。 撮像装置の１００の記録媒体１３５に形成される画像フォルダのレイアウト例を説明するための図である。 撮像装置１００の記録媒体１３５に、あるいは、ＥＥＰＲＯＭ１２４などに予め作成される検索キー候補情報テーブルを説明するための図である。 検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。 検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。 検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。 検索キー関連度辞書の構成例を説明するための図である。 画像分析情報の内、画像検索のための検索キーとなりうる情報について説明するための図である。 １つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（１）を説明するための図である。 撮像装置１００において行われる画像検索時の処理について説明するためのフローチャートである。 図１１に続くフローチャートである。 １つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（２）を説明するための図である。 図１３を用いて説明した表示態様（２）で、画像検索の結果を表示する場合の処理を説明するためのフローチャートである。 ２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（３）を説明するための図である。 サムネイル画像の表示領域を決定するための表示位置特定テーブル（１）を説明するための図である。 ２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（４）を説明するための図である。 サムネイル画像の表示領域を決定するための表示位置特定テーブル（２）を説明するための図である。 ２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（５）を説明するための図である。 図１９を用いて説明した表示態様（５）で、画像検索の結果を表示する場合の処理を説明するためのフローチャートである。 ２つの検索キー（文字情報）が選択された状態から画像検索を行うようにした場合の検索結果の表示態様（６）を説明するための図である。 図２１を用いて説明した表示態様（６）で、画像検索の結果を表示する場合の処理を説明するためのフローチャートである。 画像を検索キーとして用いて画像検索を行う場合について説明するための図である。 検索結果を確定する操作について説明するための図である。 ユーザーによって傾けるようにされる撮像装置１００の傾きに応じて、フォルダに格納する画像検索の結果の範囲を変える場合について説明するための図である。 図２５を用いて説明したユーザーによって傾けるようにされる撮像装置１００の傾きに応じて、フォルダに格納する画像検索の結果の範囲を変える場合の処理について説明するためのフローチャートである。

符号の説明

１００…撮像装置、１０１…レンズ部、１０２…撮像素子、１０３…前処理部、１０４…画像処理部、１０５…表示処理部、１０６…表示部、１０７…タッチパネル、１０９…圧縮処理部、１１０…伸張処理部、１１１…表示画像形成部、１２０…制御部、１３１…操作部、１３２…外部Ｉ／Ｆ、１３３…入出力端子、１３４…書き込み／読み出し部、１３５…記録媒体、１３６…セット上部のタッチパネル、１３７…モーションセンサ、１３８…ＧＰＳ受信部、１３９…ＧＰＳ受信アンテナ、１４０…時計回路

Claims (11)

1. 表示素子と、
   検索キーに対応する情報を有する画像データを複数記憶する記憶手段と、
   画像検索に用いる検索キーを指示する検索キー指示手段と、
   前記検索キー指示手段により指示された検索キーに関連する情報を有する画像データを前記記憶手段から検索して抽出する検索手段と、
   前記検索手段により抽出された画像データに応じた画像を、前記表示素子の表示画面上において、前記検索キーに対する関連度に応じた位置に表示するように制御する表示制御手段と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記表示制御手段は、前記表示素子の表示画面上において、前記検索キー指示手段を通じて行う検索キーの指示継続時間に応じて、前記検索手段により抽出された画像データに応じた画像を、関連度に応じたまとまり毎に表示する画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記検索キー指示手段は、複数の検索キーを用いるように指示することができるものであり、
   前記表示制御手段は、前記表示素子の表示画面上において、前記検索手段により抽出された画像データに応じた画像を、前記複数の検索キーに対する関連度に応じて、前記複数の検索キーのそれぞれに応じた位置に表示するように制御する画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記検索キー指示手段は、複数の検索キーを用いるように指示することができるものであり、
   前記表示制御手段は、前記表示素子の表示画面上に形成する前記複数の検索キーのそれぞれ毎に対応する座標軸を有する座標系において、前記検索手段により抽出された画像データに応じた画像を、前記複数の検索キーの関連度に応じた位置に表示するように制御する画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記検索キー指示手段は、
   前記表示素子の表示画面に対して設けられる操作面を通じて、使用者からの指示操作を受け付け、前記操作面に対する前記指示操作の指示位置を検出して出力する指示位置検出手段と、
   前記表示素子の表示画面に選択可能なように１以上の検索キーを表示するように制御する検索キー表示制御手段と
   により構成される画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記検索キー指示手段は、複数の検索キーを用いるように指示することができるものであり、
   前記検索キー表示制御手段は、前記指示位置検出手段を通じて行われる表示された前記検索キーに対する表示位置を移動させる操作に応じて、表示された前記検索キーの表示位置を変更することができるものであり、
   前記表示制御手段は、前記検索手段により抽出された画像データに応じた画像の内、前記表示素子の表示画面上における前記複数の検索キー同士の距離に応じた関連度の画像データに応じた画像を表示するように制御する画像処理装置。
7. 請求項１に記載の画像処理装置であって、
   前記表示制御手段の制御により、前記検索手段により抽出された画像データに応じた画像を、前記表示画面上に表示した後、検索結果を確定する指示操作を受け付けた場合に、表示中の検索結果を確定する検索確定手段を備える画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   自機の動きを検出する動き検出手段を備え、
   前記検索結果を確定する指示操作は、前記動き検出手段を通じて検出される自機を斜めに傾ける操作、自機を振る操作、自機を叩く操作のいずれかである画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記動き検出手段で検出される自機の動きの度合いに応じて、前記検索確定手段が、確定する範囲を検索キーに対する関連度に応じて制御する画像処理装置。
10. 検索キー指示手段を通じて画像検索に用いる検索キーを指示する検索キー指示工程と、
    前記検索キー指示工程において検索キーが指示された場合に、検索キーに対応する情報を有する画像データを複数記憶する記憶手段から、指示された検索キーに関連する情報を有する画像データを検索して抽出する検索工程と、
    前記検索工程において抽出した画像データに応じた画像を、表示素子の表示画面上において、表示制御手段が、前記検索キーに対する関連度に応じた位置に表示するように制御する表示制御工程と
    を有する画像表示方法。
11. 検索キー指示手段を通じて画像検索に用いる検索キーを指示する検索キー指示ステップと、
    前記検索キー指示ステップにおいて検索キーが指示された場合に、検索キーに対応する情報を有する画像データを複数記憶する記憶手段から、指示された検索キーに関連する情報を有する画像データを検索して抽出する検索ステップと、
    前記検索ステップにおいて抽出した画像データに応じた画像を、表示素子の表示画面上において、表示制御手段が、前記検索キーに対する関連度に応じた位置に表示するように制御する表示制御ステップと
    を画像処理装置に搭載されたコンピュータが実行する画像表示プログラム。

Images