JP2010054762A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】付加情報の操作が簡便にできるようにする。
【解決手段】全ての画像群は、無限大の空間サイズのデスクトップの上に散在しているイメージとし、タッチスクリーン１８にはデスクトップの一部が表示エリアとして表示されている（Ａ）。ユーザが関連画像P2を起点としなぞり操作を表示エリア外にも行おうとした場合（Ｂ）、新規な関連画像P3は、Ｃに示されるように、指f1がリリースした位置（点線で図示された位置）ではなく、タッチスクリーン１８の中心の位置（実線で図示された位置）に表示される。本発明は、例えば撮像装置に適用することができる。
【選択図】図１８

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、画像の表示サイズを確保したまま、ユーザが好きなように画像を配置した上で閲覧することができるようになった、情報処理装置および方法、並びにプログラムに関する。

近年のデジタルカメラ（特許文献１参照）では、内蔵フラッシュメモリやリムーバブルメディアの容量が増大する傾向にあり、それに伴い、撮影可能枚数も増大している。

一方でデジタルカメラは、従来の銀塩カメラとは違い、撮影した画像をその場で再生してユーザに確認させることができる点で、大きな長所がある。
特開2007-019685号公報

しかしながら、デジタルカメでは、数々の制限により液晶パネルのサイズも限られたサイズになってしまい、ユーザに一度に確認させることができる画像の数、即ち、液晶パネルに表示できる画像の数は限られてしまう。もっとも、1枚の画像の表示サイズを小さくすることで、液晶パネルに表示できる画像の数は増大するが、ユーザにとっては、そのような小さい画像を見てもそれが何の画像なのかを認識することが困難になってしまい、本末転倒の結果となる。

また、従来のデジタルカメラでは、ユーザに画像を確認させるための手法としては、マトリックス状に画像を並べるといった画像提示手法が採用されている。しかしながら、このような従来の画像提示手法では、ユーザが好きなように画像を配置した上で閲覧させたいといった要望に応えることはできない。

本発明は、このような状況に鑑みてなされたものであり、画像の表示サイズを確保したまま、ユーザが好きなように画像を配置した上で閲覧することができるようにするものである。

本発明の一側面の情報処理装置は、画像を表示する表示手段とユーザの操作入力を受け付ける操作入力受付け手段と、仮想上の無限大の空間サイズのデスクトップに１以上の画像を配置させ、前記デスクトップの一部を表示エリアとして、前記表示エリアを前記表示手段に表示させる表示制御を行う表示制御手段とを備え、前記表示制御手段は、前記デスクトップ上に配置された１以上の前記画像のうち所定画像が選択される選択操作がなされた場合、前記表示制御として、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置を移動させる。

前記表示エリア内に表示されている画像であって、前記所定画像とは別の画像を基点画像として、ユーザが、指を前記基点画像に対して接触させた後、前記表示手段に前記指を接触させたまま前記所定画像まで動かすなぞり操作が、前記選択操作として採用されている。

前記基点画像を含む前記表示エリア内に前記所定画像も含まれている場合、前記表示制御手段は、前記表示制御としてさらに、前記表示エリアの移動を禁止する。

前記表示制御手段により前記表示エリアの移動が禁止された後、前記表示エリアを拡大または縮小する操作がなされた場合、前記表示制御手段は、前記表示制御としてさらに、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置を移動させ、移動後の前記表示エリアを拡大または縮小させて前記表示手段に表示させる。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の情報処理装置に対応する方法およびプログラムである。

本発明の一側面の情報処理方法およびプログラムにおいては、画像を表示し、ユーザの操作入力を受け付ける情報処理装置によって、仮想上の無限大の空間サイズのデスクトップに１以上の画像が配置され、前記デスクトップの一部を表示エリアとして、前記表示エリアが表示される表示制御が行われ、前記デスクトップ上に配置された１以上の前記画像のうち所定画像が選択される選択操作がなされた場合、前記表示制御として、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置が移動される。

以上のごとく、本発明によれば、画像の表示サイズを確保したまま、ユーザが好きなように画像を配置した上で閲覧することができるようになる。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明が適用された情報処理装置の一実施形態としての撮像装置の構成例を示すブロック図である。

図１の例では、撮像装置は、レンズ部１１乃至タッチパネル２８を含むように構成されている。

レンズ部１１は、撮影レンズ、絞り、フォーカスレンズ等から構成される。レンズ部１１を介して入射する被写体光の光路上には、CCD(Charge Coupled Device)等の撮像素子１２が配置されている。

撮像素子１２、アナログ信号処理部１３、A/D(Analog/Digital)変換部１４、およびデジタル信号処理部１５がその順番で接続されている。

デジタル信号処理部１５にはまた、液晶パネル１７、記録デバイス１９およびタッチパネル２８が接続されている。

レンズ部１１には、レンズ部１１を構成する絞りの調整や、フォーカスレンズの移動を行うためのアクチュエータ２０が接続されている。アクチュエータ２０には、モータドライブ２１も接続されている。モータドライブ２１は、アクチュエータ２０の駆動制御を行う。

CPU(Central Processing Unit)２３は、撮像装置全体を制御する。このため、CPU２３には、アナログ信号処理部１３、A/D変換部１４、デジタル信号処理部１５、モータドライブ２１、TG(Timing Generator)２２、操作部２４、EEPROM(Electrically Erasable Programmable ROM)２５、プログラムROM(Read Only Memory)２６、RAM(Random Access Memory)２７、タッチパネル１６、およびタッチパネル２８が接続されている。

タッチスクリーン１８は、タッチパネル１６と液晶パネル１７により構成されている。タッチパネル２８は、タッチスクリーン１８と対向する撮像装置の面、即ち、撮像レンズ側の面に配置されている（後述する図２参照）。

記録デバイス１９は、例えばDVD(Digital Versatile Disc)等の光ディスクやメモリカード等の半導体メモリその他のリムーバブルな記録媒体で構成されている。記録デバイス１９は、撮像装置本体に対して着脱自在となっている。

EEPROM２５は、設定された各種情報を記憶する。その他の情報、例えば、電源状態がオフにされたときにも保持すべき情報等がEEPROM２５に記憶される。

プログラムROM２６は、CPU２３が実行するプログラムおよびプログラムを実行する上で必要なデータを記憶する。

RAM２７は、CPU２３が各種処理を実行する際のワークエリアとして必要なプログラムやデータを一時記憶する。

以下、図１の構成の撮像装置全体の動作の概略について説明する。

CPU２３は、プログラムROM２６に記録されているプログラムを実行することにより、撮像装置を構成する各部を制御する。また、CPU２３は、タッチパネル１６またはタッチパネル２８からの信号や、操作部２４からの信号に応じて、所定の処理を実行する。この処理の具体例については、各フローチャートを参照して後述する。

操作部２４は、ユーザによって操作され、その操作に対応する信号をCPU２３に提供する。

すなわち、タッチスクリーン１８またはタッチパネル２８は、任意の位置に指が触れる等して接触されると、つまりユーザにより所定の操作入力がなされると、接触された位置の座標を検出する。検出された座標を示す電気信号（以下、座標信号と称する）がCPU２３に送出される。CPU２３は、座標信号から接触位置の座標を認識し、座標に対応付けられた所定の情報を取得し、その情報に基づいて所定の処理を実行する。

なお、本明細書では、接触とは、静的な接触（所定の一領域のみの接触）だけではなく、動的な接触（指等の接触物体が所定の軌跡を描いて動く接触）も含む。例えば、画像上の紙をめくるような指のなぞりも、接触の一形態である。

アクチュエータ２０の駆動により、レンズ部１１は、撮像装置の筐体から露出または収納される。また、アクチュエータ２０の駆動により、レンズ部１１を構成する絞りの調整や、レンズ部１１を構成するフォーカスレンズの移動が行われる。

TG２２は、CPU２３の制御に基づいて、タイミング信号を撮像素子１２に提供する。タイミング信号により、撮像素子１２における露出時間等が制御される。

撮像素子１２は、TG２２から提供されるタイミング信号に基づいて動作することにより、レンズ部１１を介して入射する被写体光を受光して光電変換を行う。そして、受光量に応じたアナログの画像信号をアナログ信号処理部１３に提供する。このとき、モータドライブ２１は、CPU２３の制御に基づいてアクチュエータ２０を駆動する。

アナログ信号処理部１３は、CPU２３の制御に基づいて、撮像素子１２から提供されたアナログの画像信号に対して増幅等のアナログ信号処理を施す。その結果得られるアナログの画像信号は、アナログ信号処理部１３からA/D変換部１４に提供される。

A/D変換部１４は、CPU２３の制御に基づいて、アナログ信号処理部１３からのアナログの画像信号をA/D変換する。その結果得られるデジタルの画像信号は、A/D変換部１４からデジタル信号処理部１５に提供される。

デジタル信号処理部１５は、CPU２３の制御に基づいてA/D変換部１４から提供されたデジタルの画像信号に対して、ノイズ除去処理等のデジタル信号処理を施す。デジタル信号処理部１５は、そのデジタルの画像信号に対応する画像を、撮影画像として液晶パネル１７に表示させる。

また、デジタル信号処理部１５は、A/D変換部１４から提供されたデジタルの画像信号を、例えばJPEG(Joint Photographic Experts Group)等の所定の圧縮符号化方式に従って圧縮符号化する。デジタル信号処理部１５は、圧縮符号化されたデジタルの画像信号を、記録デバイス１９に記録させる。

デジタル信号処理部１５はまた、記録デバイス１９から圧縮符号化されたデジタルの画像信号を読み出し、所定の圧縮符号化方式に対応する伸張復号方式に従って伸張復号する。デジタル信号処理部１５は、そのデジタルの画像信号に対応する画像を、記録画像として液晶パネル１７表示させる。

その他、デジタル信号処理部１５は、CPU２３の制御に基づいて、AF（auto focus）の機能を発揮させるために用いる枠（以下、AF枠と称する）の画像を生成し、液晶パネル１７に表示させる。

即ち、撮像素子１２によって撮像された画像（撮影画像）は液晶パネル１７に表示される。この場合、液晶パネル１７に表示された画像上にAF枠が設定される。このAF枠の内部の画像に基づいてフォーカスが制御される。

このように、撮像装置はAF機能を有している。AF機能は、フォーカスの制御機能の他、液晶パネル１７に表示された画像上の任意の位置にAF枠を設定する機能を含む。さらに、AF機能は、液晶パネル１７とタッチパネル１６から構成されたタッチスクリーン１８に対する操作だけで、その位置やサイズ等の制御を行う機能を含む。

AF機能を実現させる処理は、CPU２３が、プログラムROM２６のプログラムを読み出して実行することで実現される。また、撮像装置は、その他にも、AE（Automatic Exposure）機能、AWB（Auto White Balance）機能を有している。これらの機能についても、CPU２３が、プログラムROM２６のプログラムを読み出して実行することで実現される。

さらにいえば、AF機能、AE機能、およびAWB機能は、撮像装置が有する機能の例示にしか過ぎない。即ち、撮像装置は、撮影に関する各種機能を有している。以下、各種機能のうち、撮影に関する基本的な機能を、基本機能と称し、撮影に関する応用的な機能を、応用機能と称する。基本機能としては、AF機能、AE機能、およびAWB機能の他、例えば、「撮影モード選択機能」や「撮影タイマの設定機能」等を採用することができる。応用機能としては、例えば、「画素数変更機能」や「色彩調整機能」等を採用することができる。

図２は、図１の例の撮像装置の外観の構成例を示す斜視図である。

なお、以下、撮像装置の面のうち、ユーザが被写体を撮影する場合に被写体と対向する面、即ち、レンズ部１１が配置される面を前面と称する。一方、撮像装置の面のうち、ユーザが被写体を撮影する場合にユーザと対向する面、即ち、前面の反対側の面を後面と称する。また、撮像装置の面のうち、ユーザが被写体を撮影する場合に、上側に配置される面を上面と、下側に配置される面を下面と、それぞれ称する。

図２のＡは、撮像装置の前面の外観の構成例を示す斜視図である。図２のＢは、撮像装置の後面の外観の構成例を示す斜視図である。

撮像装置の前面は、レンズカバー４７で覆うことができる。前面のレンズカバー４７が図中下方に開かれると、図２のＡの状態になる。図２のＡに示されるように、レンズカバー４７の覆いが除かれた前面の上部には、その右方から、レンズ部１１に含まれる撮影レンズ４５とAFイルミネータ４６がその順番で配置されている。また、レンズカバー４７が覆われている前面の下部のうち、撮像装置中央付近の、ユーザが被写体を撮影する場合に保持しない部分には、タッチパネル２８が配置されている。

AFイルミネータ４６は、セルフタイマランプを兼ねている。撮像装置の上面には、図２のＡの左方から、ズームレバー（TELE/WIDE）４１、シャッタボタン４２、再生ボタン４３およびパワーボタン４４がその順番で配置されている。ズームレバー４１、シャッタボタン４２、再生ボタン４３、およびパワーボタン４４は、図１の操作部２４に含まれる。

図２のＢに示されるように、撮像装置の後面の全体には、タッチスクリーン１８が配置されている。

このように、撮像装置の後面にタッチスクリーン１８が設けられているので、ユーザは、被写体を撮影する場合に、撮像装置の前面を被写体に向けたままの状態で、タッチスクリーン１８によるGUI（Graphical User Interface）の操作を行うことができる。

タッチスクリーン１８によるGUIの操作として、例えば本実施の形態では、基点となる任意の画像（以下、基点画像と称する）に対して、その基点画像に関連の強い画像（以下、関連画像と称する）を手繰って検索していく操作を採用する。かかる操作は、特別な検索画面などを設けることが不要な操作であって、タッチスクリーン１８を用いた直感的な操作であることから、ユーザにとって関連画像を簡単に探し出すことを可能とする操作である。そこで、以下、かかる操作を、関連画像検索操作と称する。

関連画像検索操作の前提として、基点画像または関連画像となり得る対象（以下、検索対象画像と称する）は、記録デバイス１９に記録されている全ての画像であるとする。そして、全ての検索対象画像は、例えば次のような付加情報に基づいて関連の強さの度合が、データベース上等で予め検索済みであるとする。

なお、関連の強さの度合についての検索は、上述の例に限定されず、その都度検索してもよい。ただし、説明の簡略上、本明細書に記載の実施の形態においては全て予め検索済みであるとする。

付加情報としては、例えば本実施の形態では、顔情報、位置／場所情報、時間情報、および色情報が採用されているとする。顔情報とは、人間の顔に関する情報であって、人物を特定できるだけの情報をいう。位置/場所情報とは、GPS（Global Positioning System）などによる緯度や経度の情報、または画像認識によりある特定の場所と認識できた情報（地名など）をいう。時間情報は、撮影時間に関する情報をいう。色情報とは、その画像の中で最も多くの部分で使われている色の情報をいう。

なお、検索対象画像は、静止画像には限定されず、動画像も含まれる。ただし、動画像が検索対象画像となる場合、その付加情報は、動画像を構成する各単位画像（フィールドやフレーム等）から得られた情報群となる。

また、基点画像は、それが基点画像であることが明確となるように、他の画像とは区別して表示される。例えば、基点画像は他の画像よりも大きく表示されたり、明るく表示されたり、また、枠で囲まれたりしてもよい。

以下、図３を参照して、関連画像検索操作の第１の実施例について説明する。

はじめに、ユーザは、任意の画像を基点画像P1として選択する。なお、選択操作自体は特に限定されない。基点画像P1が選択されると、タッチスクリーン１８の表示状態は図３のＡに示される状態になる。即ち、図３のＡは、タッチスクリーン１８に基点画像P1が表示されている状態を示している。

タッチスクリーン１８の表示状態が図３のＡの状態のまま、ユーザは、図３のＢに示されるように、基点画像P1（それが表示されているタッチスクリーン１８の領域）に指f1を接触させる。そして、ユーザは、図３のＣに示されるように、指f1を、タッチスクリーン１８への接触を維持したまま、基点画像P1を起点として所定方向に所定距離だけ（図３の例では、点線矢印として図示される分だけ）移動させる操作を行う。以下、かかる操作を、なぞり操作と称する。

その後、ユーザは、指f1をリリースすると、タッチスクリーン１８の表示状態は、図３のＤの状態に遷移する。即ち、タッチスクリーン１８には、基点画像P1が元の領域に表示されたまま、基点画像P1の関連画像P2が、指f1がリリースされた領域に表示されることになる。なお、関連画像P2は、基点画像P1についての複数の関連画像のうちの何れでも構わない。ただし、本実施の形態では、基点画像P1との関連の強さの度合が最も高い画像が、関連画像P2として表示される。

さらに、ユーザは、指f1を、関連画像P2に接触させてなぞり操作を行った後にリリースすると、図３のＥに示されるように、リリースされた領域には、関連画像P3が表示される。

なお、関連画像P3は、基点画像P1についての関連画像である場合と、関連画像P2の関連画像である場合がある。

ここで、ユーザが指f1をタッチスクリーン１８からリリースすることは、なぞり操作の終了を意味している。従って、なぞり操作が行われる度に、なぞり操作終了時点の領域に、基点画像P1の関連画像が、その関連の強さの度合の順番でタッチスクリーン１８に順次表示されていくことになる。即ち、ユーザは、なぞり操作を繰り返すことで、あたかも関連画像を手探っていくことができるようになる。

さらに、なぞり操作の方向に意味を持たすことも可能である。即ち、なぞり操作の各方向に対して、基点画像P1との関連性の各分類項目を対応づけておく。これにより、所定方向になぞり操作が繰り返し実行されると、その所定方向に対応付けられた分類項目の関連の強さの度合の順番で関連画像がタッチスクリーン１８に順次表示されていく。なお、このような分類項目は、関連画像の検索条件と把握できる。そこで、以下、分類項目を、絞り込み条件とも適宜称する。

具体的には例えば本実施の形態では、絞り込み条件（分類項目）として、「人」、「場所」、「時間」、および「色」が採用されているとする。この場合、「人」、「場所」、「時間」、および「色」の関連の強さの度合はそれぞれ、付加情報のうち、顔情報、位置／場所情報、時間情報、および色情報のそれぞれを用いて予め検索済みであるとする。

また例えば、なぞり操作の右斜め上方向には「時間」が対応付けられ、なぞり操作の右斜め下方向には「人」が対応付けられているとする。

この場合、例えば図３のＥに示される関連画像P2、右斜め下方向のなぞり操作が行われた後に表示される関連画像P2は、基点画像P1と「人」について関連の強い関連画像、例えば、基点画像P1と同一人物が含まれる関連画像となる。

これに対して、例えば図３のＥに示される関連画像P4、右斜め上方向のなぞり操作が行われた後に表示される関連画像P4は、基点画像P1と「時間」について関連の強い関連画像、例えば、基点画像P1と撮影時刻が近い関連画像となる。

次に、図３を用いた操作例、即ち関連画像検索操作のうちの第１の実施例の操作に対して、図１の撮像装置が実行する処理について説明する。なお、関連画像検索操作に対して撮像装置が実行する処理を、以下、関連画像検索処理と称する。特に、本実施の形態の関連画像検索操作のうちの第Ｋの実施例（Ｋは１以上の整数値）の操作に対する関連画像検索処理を、第Ｋ関連画像検索処理と称する。

また、関連画像検索操作によって検索される関連画像が、基点画像（図３の例では基点画像P1）についての関連画像（図３の例では関連画像P2,P4）である場合の第１関連画像検索処理の詳細例を、第1A関連画像検索処理とする。また、関連画像検索操作によって検索される関連画像が、関連画像（図３の例では関連画像P2）についての関連画像（図３の例では関連画像P3）である場合の第１関連画像検索処理の詳細例を、第1B関連画像検索処理とする。これらの処理については、図５、６を参照して後述する。

図４は、第１関連画像検索処理の一例を説明するフローチャートである。

ステップＳ１において、CPU２３は、基点画像が選択されたか否かを判定する。

基点画像が選択されていない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ１の判定処理が繰り返し実行される。

その後、基点画像が選択されると、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後のなぞり操作のやりやすさを考慮した領域に表示させるとよい。例えば、図３の例では、図３のＡに示されるように、右方向のなぞり操作を考慮して、タッチスクリーン１８のうち、左側の端の領域に基点画像P1が表示されている。

ステップＳ３において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。

基点画像内のいずれの領域にも接触がなされない場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ３の判定処理が繰り返し実行される。

その後、基点画像内の何れかの領域に接触がなされると、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。

例えば図３のＢに示されるように、基点画像P1内の領域に指f1が接触した場合、タッチスクリーン１８を構成するタッチパネル１６から座標信号がCPU２３に入力される。

従って、この座標信号がCPU２３に入力されると、CPU２３は、ステップＳ３の処理でＹＥＳであると判定し、この座標信号から、接触場所（基点画像P1の座標）を認識する。

認識された接触場所が、基点画像P1の表示領域外の場合、ステップＳ３においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。

これに対して、認識された接触場所が、基点画像P1の表示領域内である場合、ステップＳ３においてＹＥＳであると判定されて、処理はステップＳ４に進む。

ステップＳ４において、CPU２３は、基点画像を起点に、なぞり操作がなされたか否かを判定する。

なお、なぞり操作が行われているか否かは、タッチスクリーン１８を構成するタッチパネル１６から座標信号をCPU２３が監視することで実現できる。即ち、CPU２３は、座標信号の時系列から、指f1の軌跡を認識することができる。そこで、CPU２３は、その認識結果に基づいて、なぞり操作が実施されているか否かを検出する。

従って、CPU２３は、指f1の軌跡の認識結果によりなぞり操作が検出されなかった場合、ステップＳ４でＮＯであると判定して、処理をステップＳ４に戻して、それ以降の処理を繰り返し実行する。即ち、なぞり操作が検出されるまでの間、ステップＳ４の判定処理が繰り返し実行される。

その後、CPU２３は、指f1の軌跡の認識結果により、基点画像を起点にしたなぞり操作を検出した場合、ステップＳ４においてＹＥＳであると判定して、処理をステップＳ５に進める。例えば図３の例では、図３のＣの状態になると、ステップＳ４においてＹＥＳであると判定されて、処理をステップＳ５に進む。

ステップＳ５において、CPU２３は、記録デバイス１９に記録された全画像を対象として、関連画像を検索する。即ち、本実施の形態では、CPU２３は、基点画像との間で関連の強さの度合が最も高い画像を、関連画像として検索する。ただし、各種絞り込み条件が設定されている場合、なぞり操作の方向に対応付けられた絞り込み条件が用いられて、関連画像が検索される。

ステップＳ６において、CPU２３は、指f1がタッチスクリーン１８からリリースされたか否か、即ち、なぞり操作が終了したか否かを判定する。具体的には、CPU２３は、タッチスクリーン１８を構成するタッチパネル１６から座標信号が入力されなくなった場合、指f1がリリースされたと判定することができる。

そこで、CPU２３は、座標信号が入力され続けている限り、ステップＳ６においてＮＯであると判定して、処理をステップＳ６に戻す。即ち、なぞり操作が継続している限り、ステップＳ６の判定処理が繰り返し実行される。

その後、座標信号の入力が途切れると、即ち、なぞり操作が終了すると、ステップＳ６においてＹＥＳであると判定されて、処理はステップＳ７に進む。

ステップＳ７において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させる。

例えば、図３の例では、タッチスクリーン１８のうち、図３のＤの位置で指f1がリリースされると、その位置に関連画像P2が表示される。

ステップＳ８において、CPU２３は、処理の終了が指示されたか否かを判定する。

処理の終了が指示されない限り、ステップＳ８においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、基点画像（例えば図３の基点画像P1）を基点とするなぞり操作が行われる度に、ステップＳ３ＹＥＳ，Ｓ４ＹＥＳ，Ｓ５，Ｓ６ＹＥＳ，Ｓ７，Ｓ８ＮＯのループ処理が繰り返し実行されて、指f1がリリースされた位置（なぞり操作が終了した位置）に、新たな関連画像が表示されていく。これにより、基点画像（例えば図３の基点画像P1）に対して、複数の関連画像（例えば図３の関連画像P2，P4）を表示させていくことができる。即ち、ユーザは、なぞり操作を繰り返すことで、ステップＳ４ＹＥＳ，Ｓ５，Ｓ６ＹＥＳ，Ｓ７，Ｓ８ＮＯのループ処理が繰り返し実行されて、あたかも基点画像についての関連画像を手探っていくことができるようになる。

その後、処理の終了が指示された場合、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。

ステップＳ９において、CPU２３は、ステップＳ１乃至Ｓ８までの処理の結果として、タッチスクリーン１８に表示された基点画像や各種関連画像の履歴情報（以下、表示画像履歴情報と称する）を記録デバイス１９に保存する。

これにより、第１関連画像検索処理は終了となる。

なお、図示はしないが例えば、CPU２３は、デジタル信号処理部１５を制御して、ユーザの指f1等による基点画像または関連画像に対する接触操作を検出した場合、記録デバイス１９に保存された表示画像履歴情報をタッチスクリーン１８に表示させることもできる。

また、図示はしないが例えば、CPU２３は、表示履歴情報に含まれる画像に対するユーザの指f1等による接触操作を検出した場合、その画像を基点画像として関連画像を１以上検索してタッチスクリーン１８に表示させることができる。

以上、図３を参照して、関連画像検索操作の第１の実施例について説明した。そして、図４のフローチャートを参照して、第１の実施例に対する第１関連画像検索処理の一例について説明した。

次に、図５のフローチャートを参照して、第１の実施例に対する第1A関連画像検索処理の一例について説明する。即ち、関連画像検索操作によって検索される関連画像が、基点画像（図３の例では基点画像P1）についての関連画像である場合の第１関連画像検索処理の詳細例である。

図５のステップＳ２１乃至Ｓ２７の各処理は、図４のステップＳ１乃至Ｓ７の各処理と基本的に同様の処理である。よって、これらの各処理の説明は省略する。

そこで、以下、ステップＳ２７の処理で、CPU２３が、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させた後の処理について説明していく。かかるステップＳ２７の処理が終了すると、処理はステップＳ２８に進む。

ステップＳ２８において、CPU２３は、タッチスクリーン１８の関連画像内の領域が接触されたか否かを判定する。即ち、CPU２３は、ステップＳ２７において表示された関連画像（図３の例では関連画像P2）内の領域が接触されたか否かを判定する。

関連画像内のいずれの領域にも接触がなされない場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２８に戻される。即ち、関連画像内のいずれかの領域に接触がなされるまでの間、ステップＳ２８の判定処理が繰り返し実行される。

その後、関連画像内の何れかの領域に接触がなされると、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。

例えば図３のＥに示されるように、関連画像P2内の領域に指f1が接触した場合、タッチスクリーン１８を構成するタッチパネル１６から座標信号がCPU２３に入力される。

従って、この座標信号がCPU２３に入力されると、CPU２３は、ステップＳ２８の処理でＹＥＳであると判定し、この座標信号から、接触場所（関連画像P2の座標）を認識する。

認識された接触場所が、関連画像P2の表示領域外の場合、ステップＳ２８においてＮＯであると判定されて、処理はステップＳ２８に戻され、それ以降の処理が繰り返される。

これに対して、認識された接触場所が、関連画像P2の表示領域内である場合、ステップＳ２８においてＹＥＳであると判定されて、処理はステップＳ２９に進む。

ステップＳ２９において、CPU２３は、関連画像を起点に、なぞり操作がなされたか否かを判定する。

なお、なぞり操作が行われているか否かは、タッチスクリーン１８を構成するタッチパネル１６から座標信号をCPU２３が監視することで実現できる。即ち、CPU２３は、座標信号の時系列から、指f1の軌跡を認識することができる。そこで、CPU２３は、その認識結果に基づいて、なぞり操作が実施されているか否かを検出する。

従って、CPU２３は、指f1の軌跡の認識結果によりなぞり操作が検出されなかった場合、ステップＳ２９でＮＯであると判定して、処理をステップＳ２９に戻して、それ以降の処理を繰り返し実行する。即ち、なぞり操作が検出されるまでの間、ステップＳ２９の判定処理が繰り返し実行される。

その後、CPU２３は、指f1の軌跡の認識結果により、関連画像を起点にしたなぞり操作を検出した場合、ステップＳ２９においてＹＥＳであると判定して、処理をステップＳ３０に進める。

ステップＳ３０において、CPU２３は、記録デバイス１９に記録された全画像を対象として、関連画像を検索する。即ち、本実施の形態では、CPU２３は、基点画像との間で関連の強さの度合が最も高い画像を、関連画像として検索する。ただし、基点画像P1についての関連画像のうち、現在表示されている関連画像（図３の例では関連画像P2）を除く、基点画像P1との関連の強さの度合が最も高い画像が、関連画像P3として表示される。即ち、関連画像P3とは、関連画像P2の次に、基点画像P1との関連の強さの度合が高い画像である。なお、各種絞り込み条件が設定されている場合、なぞり操作の方向に対応付けられた絞り込み条件が用いられて、関連画像が検索される。

ステップＳ３１において、CPU２３は、指f1がタッチスクリーン１８からリリースされたか否か、即ち、なぞり操作が終了したか否かを判定する。具体的には、CPU２３は、タッチスクリーン１８を構成するタッチパネル１６から座標信号が入力されなくなった場合、指f1がリリースされたと判定することができる。

そこで、CPU２３は、座標信号が入力され続けている限り、ステップＳ３１においてＮＯであると判定して、処理をステップＳ３１に戻す。即ち、なぞり操作が継続している限り、ステップＳ３１の判定処理が繰り返し実行される。

その後、座標信号の入力が途切れると、即ち、なぞり操作が終了すると、ステップＳ３１においてＹＥＳであると判定されて、処理はステップＳ３２に進む。

ステップＳ３２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させる。

例えば、図３の例では、タッチスクリーン１８のうち、図３のＥのＰ３の位置で指f1がリリースされると、その位置に関連画像P3が表示される。

ステップＳ３３において、CPU２３は、処理の終了が指示されたか否かを判定する。

処理の終了が指示されない限り、ステップＳ３３においてＮＯであると判定されて、処理はステップＳ２３に戻され、それ以降の処理が繰り返される。即ち、基点画像（例えば図３の基点画像P1）を基点とするなぞり操作が行われる度に、ステップＳ２３乃至Ｓ３３のループ処理が繰り返し実行されて、指f1がリリースされた位置（なぞり操作が終了した位置）に、新たな関連画像が表示されていく。これにより、基点画像（例えば図３の基点画像P1）に対して、複数の関連画像（例えば図３の関連画像P2，P4）を表示させていくことができる。即ち、ユーザは、なぞり操作を繰り返すことで、ステップＳ２３乃至Ｓ３３のループ処理が繰り返し実行されて、あたかも基点画像についての関連画像を手探っていくことができるようになる。

その後、処理の終了が指示された場合、ステップＳ３３においてＹＥＳであると判定されて、処理はステップＳ３４に進む。

ステップＳ３４において、CPU２３は、ステップＳ２１乃至Ｓ３３までの処理の結果として、タッチスクリーン１８に表示された基点画像や各種関連画像の履歴情報（以下、表示画像履歴情報と称する）を記録デバイス１９に保存する。

これにより、第1A関連画像検索処理は終了となる。

次に、図６のフローチャートを参照して、第１の実施例に対する第1B関連画像検索処理の一例について説明する。即ち、関連画像検索操作によって検索される関連画像が、関連画像（図３の例では関連画像P2）についての関連画像である場合の第１関連画像検索処理の詳細例である。

図６のステップＳ４１乃至Ｓ４７の各処理は、図４のステップＳ１乃至Ｓ７の各処理と基本的に同様の処理である。よって、これらの各処理の説明は省略する。

そこで、以下、ステップＳ４７の処理で、CPU２３が、デジタル信号処理部１５を制御して、タッチスクリーン１８のうちリリースされた位置に関連画像を表示させた後の処理について説明していく。かかるステップＳ４７の処理が終了すると、処理はステップＳ４８に進む。

ステップＳ４８において、CPU２３は、関連画像を基点画像に設定する。即ち、CPU２３は、ステップＳ４７で表示された関連画像（図３の例では関連画像P2）を基点画像に設定する。

ステップＳ４９において、CPU２３は、処理の終了が指示されたか否かを判定する。

処理の終了が指示されない限り、ステップＳ４９においてＮＯであると判定されて、処理はステップＳ４３に戻され、それ以降の処理が繰り返される。即ち、基点画像（例えば図３の基点画像P1、P2）を基点とするなぞり操作が行われる度に、ステップＳ４３乃至Ｓ４９のループ処理が繰り返し実行されて、指f1がリリースされた位置（なぞり操作が終了した位置）に、新たな関連画像が表示されていく。これにより、基点画像（例えば図３の基点画像P1,P2）に対して、複数の関連画像（例えば図３の関連画像P3）を表示させていくことができる。即ち、ユーザは、なぞり操作を繰り返すことで、ステップＳ４３乃至Ｓ４９のループ処理が繰り返し実行されて、あたかも関連画像を手探っていくことができるようになる。

その後、処理の終了が指示された場合、ステップＳ４９においてＹＥＳであると判定されて、処理はステップＳ５０に進む。

ステップＳ５０において、CPU２３は、ステップＳ４１乃至Ｓ４９までの処理の結果として、タッチスクリーン１８に表示された基点画像や各種関連画像の履歴情報（以下、表示画像履歴情報と称する）を記録デバイス１９に保存する。

これにより、第1B関連画像検索処理は終了となる。

次に、図７を参照して、関連画像検索操作の第２の実施例について説明する。そして、図８のフローチャートを参照して、第２の実施例に対する第２関連画像検索処理の一例について説明する。

はじめに、ユーザは、任意の画像を基点画像P1として選択する。なお、選択操作自体は特に限定されない。基点画像P1が選択されると、タッチスクリーン１８の表示状態は図７のＡに示される状態になる。即ち、図７のＡは、タッチスクリーン１８の中央に基点画像P1が表示されている状態を示している。

図７のＡの状態で、ユーザの指f1によって、タッチスクリーン１８に表示された基点画像P1が接触されると、タッチスクリーン１８の表示は、図７のＣの状態に遷移する。即ち、図７のＢに示されるように、分類項目（絞り込み条件）が表示された画像PA乃至PDが、例えば基点画像P1の四隅に表示される。なお、以下、分類項目が表示された画像PA乃至PDを、分類タグPA乃至PDと称する。

ユーザは、分類タグPA乃至PDのうち、関連画像の検索に使用したい分類項目が表示された分類タグを指f1で接触することで、その分類項目を選択することができる。すると、基点画像P1についての関連画像のうち、選択された分類項目における関連の強さの度合が最も高い画像が、関連画像としてタッチスクリーン１８に表示される。なお、分類項目の選択は、分類タグを指f1で接触することに限らず、分類タグPA乃至PDのある方向への指ｆ1によるなぞり操作によってもすることができるとしてもよい。本実施の形態では、分類タグを指f1で接触することで、その分類項目を選択することとする。

具体的には例えば、図７の例では、図７のＤに示されるように、「人」が表示された分類タグPAが指f1によって接触されているので、分類項目として「人」が選択される。すると、図７のＥに示されるように、基点画像P1と「人」について関連の強い画像P2、例えば、基点画像P1と同一人物が含まれる画像P2が関連画像として表示される。

ここで、関連画像検索操作のうち第１の実施例（図３）と第２の実施例（図７）とを比較するに、第１の実施例でも、ユーザは特に目的もなく関連画像を手繰ることはできる。ただし、第１実施例は、基点画像P1との関連性が明示されていないので、ユーザがある関連性をもった画像のみを手繰るという場合には適さない。

これに対して、第２の実施例では、基点画像がタッチされた時に、例えば基点画像の周囲に各分類項目が表示される。図７の例では、分類タグPA乃至PDが表示される。そこで、ユーザは、これらのうち所望の分類項目を選択すると、選択された分類項目において基点画像と最も関連の強い画像を、関連画像として表示させることができる。このように、第２の実施例を採用することで、ユーザは、例えばある特定の人物が撮影された画像だけを簡単に手繰ることができるようになる。

図８は、図７を用いて説明した関連画像検索操作の第２の実施例に対する関連画像検索処理、即ち第２関連画像検索処理の一例を説明するフローチャートである。

ステップＳ６１において、CPU２３は、基点画像が選択されたか否かを判定する。

基点画像が選択されていない場合、ステップＳ６１においてＮＯであると判定されて、処理はステップＳ６１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ６１の判定処理が繰り返し実行される。

その後、基点画像が選択されると、ステップＳ６１においてＹＥＳであると判定されて、処理はステップＳ６２に進む。

ステップＳ６２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後の分類項目の表示を考慮した領域に表示させるとよい。例えば、図７の例では、図７のＡに示されるように、タッチスクリーン１８の中央の領域に基点画像P1が表示されている。

ステップＳ６３において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。

基点画像内のいずれの領域にも接触がなされない場合、ステップＳ６３においてＮＯであると判定されて、処理はステップＳ６３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ６３の判定処理が繰り返し実行される。

その後、基点画像内の何れかの領域に接触がなされると、ステップＳ６３においてＹＥＳであると判定されて、処理はステップＳ６４に進む。

ステップＳ６４において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうち、基点画像の四隅に分類タグを表示させる。例えば図７の例では、図７のＣに示されるように、分類タグPA乃至PDが表示されることになる。なお、分類タグの表示場所は、図８の例では、図７の例とあわせて四隅としているが、特に図８の例に限定されない。また、分類項目をユーザに提示できる形態であれば、分類タグに特に限定されない。

ステップＳ６５において、CPU２３は、タッチスクリーン１８に表示された各分類タグのうち、特定の分類タグが接触されたか否かを判定する。

タッチスクリーン１８に表示された各分類タグのいずれの領域にも接触がなされない場合、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６５に戻される。即ち、タッチスクリーン１８に表示された各分類タグのいずれかに接触がなされるまでの間、ステップＳ６５の判定処理が繰り返し実行される。

その後、タッチスクリーン１８に表示された各分類タグのうち特定の分類タグに接触がなされた場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６６に進む。

ステップＳ６６において、CPU２３は、記録デバイス１９に記録された全画像を対象として、接触された分類タグに対応する絞り込み条件（分類項目）を用いて関連画像を検索する。即ち、本実施の形態では、接触された分類タグに対応する絞り込み条件（分類項目）において、基点画像との間で関連の強さの度合が最も高い画像が、関連画像として検索される。

ステップＳ６７において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。

例えば、図７の例では、図７のＤに示されるように、分類タグPAに指f1が接触すると、ステップＳ６５の処理でＹＥＳであると判定される。ステップＳ６６の処理で、基点画像P1との間で「人」についての関連の強さの度合が最も高い画像が、関連画像P2として検索される。そして、ステップＳ２７の処理で、「人」の分類タグPAが表示されていた領域の近辺に、関連画像P2が表示される。なお、関連画像P2の表示場所は、特に図７の例に限定されず任意である。ただし、図７の例の場所を採用することで、ユーザは、関連画像P2は、分類タグPAが示す「人」という分類項目についての関連性の高い画像であることを容易に認識できるようになる。

ステップＳ６８において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。

これにより、第２関連画像検索処理は終了となる。

なお、図４の例のように、ステップＳ６７とＳ６８の処理の間に、CPU２３は、処理の終了が指示されたか否かを判定し、処理の終了が指示されない限り、適当なステップに処理を戻し、処理の終了が指示されてはじめて、処理をステップＳ６８に進めてもよい。

以上、図７を参照して、関連画像検索操作の第２の実施例について説明した。そして、図８のフローチャートを参照して、第２の実施例に対する第２関連画像検索処理の一例について説明した。

次に、図９を参照して、関連画像検索操作の第３の実施例について説明する。そして、図１０のフローチャートを参照して、第３の実施例に対する第３関連画像検索処理の一例について説明する。

はじめに、ユーザは、関連画像検索操作をすべく、CPU２３の動作状態を、関連画像検索処理を実行可能な動作状態（以下、検索モードと称する）に設定する。すると、タッチスクリーン１８の表示状態は、図９のＡに示される状態になる。即ち、図９のＡに示されるように、分類項目（絞り込み条件）を選択する画像Pa乃至Pdがタッチスクリーン１８に表示される。なお、以下、分類項目が表示された画像Pa乃至Pdを、分類項目選択画像Pa乃至Pdと称する。

ユーザは、分類項目画像Pa乃至Pdのうち、関連画像の検索に使用したい分類項目が表示された分類項目画像を指f1で接触することで、その分類項目を選択することができる。

その後、第２の実施形態と同様に、ユーザは、任意の画像を基点画像P1として選択する。なお、選択操作自体は特に限定されない。基点画像P1が選択されると、タッチスクリーン１８の表示状態は図９のＢに示される状態になる。即ち、図９のＢは、タッチスクリーン１８の中央に基点画像P1が表示されている状態を示している。

図９のＢの状態で、ユーザの指f1によって、タッチスクリーン１８に表示された基点画像P1が接触されると、タッチスクリーン１８の表示は、図９のＤ１やＤ２の状態に遷移する。即ち、選択された分類項目画像に対応する分類項目をメイン分類項目(MainKey)として、その大分類項目をさらに細かく分類した各分類項目（絞り込み条件）をサブ分類項目(SubKey)とした場合、各サブ分類項目についての分類タグPA１乃至PD１またはPA2乃至PD2が、例えば基点画像P1の四隅に表示される。

なお、図９の例では、図９のＡの状態で指f1が分類項目画像Paに接触されているので、「人」というメイン分類項目が選択される。

「人」について、画像に占める顔の大きさの点から分類されるサブ分類項目として、例えば「特大」、「大」、「中」、および「小」が存在する。このため、「特大」を示す分類タグPC1、「大」を示す分類タグPA1、「中」を示す分類タグPB1、および「小」を示す分類タグPD1が、基点画像P1の四隅に表示された状態が、図９のＤ１に例示されているのである。

また、「人」について、画像に含まれる人数の点から分類されるサブ分類項目として、例えば「１人」、「２人」、「３人」、および「４人以上」が存在する。このため、「１人」を示す分類タグPC2、「２人」を示す分類タグPA2、「３人」を示す分類タグPB2、および「４人以上」を示す分類タグPD2が、基点画像P1の四隅に表示された状態が、図９のＤ２に例示されているのである。

ユーザは、分類タグPA1乃至PD1またはPA2乃至PD2のうち、関連画像の検索に使用したいサブ分類項目が表示された分類タグを指f1で接触することで、そのサブ分類項目を選択することができる。すると、基点画像P1についての関連画像のうち、選択されたサブメイン分類項目における関連の強さの度合が最も高い画像が、関連画像としてタッチスクリーン１８に表示される。

具体的には例えば、図９の例では、図９のＥに示されるように、「人」のうちの「大」が表示された分類タグPA1が指f1によって接触されているので、サブ分類項目として「大」が選択される。すると、図９のＦに示されるように、基点画像P1と「人」の「大」について関連の強い画像P2、例えば、基点画像P1と同一人物であって、その同一人物の顔が「大」のサイズで含まれる画像P2が関連画像として表示される。

このように、例えば「人」の顔というメイン分類項目で検索する場合、写っている「人」の顔の大きさや、写っている「人」の数などの観点で設けられたサブ分類項目が存在する。そして、ユーザは、これらのサブ分類項目を指定できるので、所望の１枚の画像を、ある程度の構図を限定しつつ手操ることができる。

図１０は、図９を用いて説明した関連画像検索操作の第３の実施例に対する関連画像検索処理、即ち第３関連画像検索処理の一例を説明するフローチャートである。

ステップＳ８１において、CPU２３は、検索モードに設定されたか否かを判定する。

検索モードが選択されていない場合、ステップＳ８１においてＮＯであると判定されて、処理はステップＳ８１に戻される。即ち、検索モードが選択されるまでの間、ステップＳ８１の判定処理が繰り返し実行される。

その後、基点画像が選択されると、ステップＳ８１においてＹＥＳであると判定されて、処理はステップＳ８２に進む。

ステップＳ８２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に分類項目選択画像を表示させる。例えば図９の例では、図９のＡに示されるように、分類項目選択画像Pa乃至Pdが表示されることになる。

ステップＳ８３において、CPU２３は、タッチスクリーン１８に表示された各分類項目選択画像のうち、特定の分類項目選択画像が接触されたか否かを判定する。

タッチスクリーン１８に表示された各分類項目選択画像のいずれの領域にも接触がなされない場合、ステップＳ８３においてＮＯであると判定されて、処理はステップＳ８３に戻される。即ち、タッチスクリーン１８に表示された各分類項目選択画像のいずれかに接触がなされるまでの間、ステップＳ８３の判定処理が繰り返し実行される。

その後、タッチスクリーン１８に表示された各項目選択画像のうち特定の分類項目選択画像に接触がなされた場合、ステップＳ８３においてＹＥＳであると判定されて、処理はステップＳ８４に進む。

ステップＳ８４において、CPU２３は、接触された分類項目選択画像に対応するメイン分類項目を設定する。

例えば図９の例では、図９のＡの状態で指f1が分類項目画像Paに接触されているので、ステップＳ８３の処理でＹＥＳと判定され、ステップＳ８４の処理で「人」というメイン分類項目が選択される。

ステップＳ８５において、CPU２３は、基点画像が選択されたか否かを判定する。

基点画像が選択されていない場合、ステップＳ８５においてＮＯであると判定されて、処理はステップＳ８５に戻される。即ち、基点画像が選択されるまでの間、ステップＳ８５の判定処理が繰り返し実行される。

その後、基点画像が選択されると、ステップＳ８５においてＹＥＳであると判定されて、処理はステップＳ８６に進む。

ステップＳ８６において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後のサブ分類項目の表示を考慮した領域に表示させるとよい。例えば、図９の例では、図９のＢに示されるように、タッチスクリーン１８の中央の領域に基点画像P1が表示されている。

ステップＳ８７において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。

基点画像内のいずれの領域にも接触がなされない場合、ステップＳ８７においてＮＯであると判定されて、処理はステップＳ８７に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ８７の判定処理が繰り返し実行される。

その後、基点画像内の何れかの領域に接触がなされると、ステップＳ８７においてＹＥＳであると判定されて、処理はステップＳ８８に進む。

ステップＳ４８において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８のうち基点画像の四隅に、サブ分類項目の分類タグを表示させる。例えば図９の例では、図９のＤ１またはＤ２に示されるように、「人」についてのサブ分類項目の分類タグとして、分類タグPA1乃至PD1または分類タグPA2乃至PD2が表示されることになる。なお、分類タグの表示場所は、図１０の例では、図９の例とあわせて四隅としているが、特に図９の例に限定されない。また、分類項目をユーザに提示できる形態であれば、分類タグに特に限定されない。

ステップＳ８９において、CPU２３は、タッチスクリーン１８に表示された各分類タグのうち、特定の分類タグが接触されたか否かを判定する。

タッチスクリーン１８に表示された各分類タグのいずれの領域にも接触がなされない場合、ステップＳ８９においてＮＯであると判定されて、処理はステップＳ８９に戻される。即ち、タッチスクリーン１８に表示された各分類タグのいずれかに接触がなされるまでの間、ステップＳ８９の判定処理が繰り返し実行される。

その後、タッチスクリーン１８に表示された各分類タグのうち特定の分類タグに接触がなされた場合、ステップＳ８９においてＹＥＳであると判定されて、処理はステップＳ９０に進む。

ステップＳ９０において、CPU２３は、記録デバイス１９に記録された全画像を対象として、接触された分類タグに対応する絞り込み条件（サブ分類項目）を用いて関連画像を検索する。即ち、本実施の形態では、接触された分類タグに対応する絞り込み条件（サブ分類項目）において、基点画像との間で関連の強さの度合が最も高い画像が、関連画像として検索される。

ステップＳ９１において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。

例えば、図７の例では、図９のＥに示されるように、分類タグPA1に指f1が接触すると、ステップＳ８９の処理でＹＥＳであると判定される。ステップＳ９０の処理で、「人」の顔のサイズが「大」という観点について基点画像P1との間で関連の強さの度合が最も高い画像が、関連画像P2として検索される。そして、ステップＳ９１の処理で、「大」の分類タグPA1が表示されていた領域の近辺に、関連画像P2が表示される。なお、関連画像P2の表示場所は、特に図９の例に限定されず任意である。ただし、図９の例の場所を採用することで、ユーザは、関連画像P2は、分類タグPA1が示す「人」の顔の「大」というサブ分類項目についての関連性の高い画像であることを容易に認識できるようになる。

ステップＳ９２において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。

これにより、第２関連画像検索処理は終了となる。

以上、図９を参照して、関連画像検索操作の第３の実施例について説明した。そして、図１０のフローチャートを参照して、第３の実施例に対する第３関連画像検索処理の一例について説明した。

なお、関連画像検索操作の第２，第３の実施例では、分類項目は基点画像の４隅に表示される。しかしながら、上述の如く、分類項目は４つに限定することも、その表示形態として画像の四隅に表示する形態に限定する必要も特にない。例えば、図１１に示されるように、表示形態としては、分類項目を文字で表示せずに、その分類項目を選択することによって表示される関連画像のサムネイル画像PS1乃至PS4を用意し、そのサムネイル画像PS1乃至PS4を表示 させる形態を採用することもできる。

次に、図１２を参照して、関連画像検索操作の第４の実施例について説明する。そして、図１３乃至図１５のフローチャートを参照して、第４の実施例に対する第４関連画像検索処理の一例について説明する。

上述した第２，第３の実施例とは、CPU２３がタッチパネル２３に分類項目を提示することで、ユーザは所望の画像群を手操る例であった。

これに対して、第４の実施例では、タッチパネル２３のうち、ユーザがタッチした場所（その指f1が接触した場所）に意味を持たせる例である。

即ち、図１２のＡに示されるように、基点画像P1にタッチスクリーン１８に表示されている状態で、基点画像P1の所定領域が指f1に接触された場合、CPU２３は、所定領域を画像解析し、その画像解析から分類項目を認識する。

画像解析自体の手法は特に限定されない。ただし、本実施の形態では、次のような画像解析の手法が採用されているとする。即ち、複数の分類項目が解析候補として予め設定され、さらに、複数の解析候補のそれぞれに対して優先順位が予め付されているとする。これにより、所定領域の画像解析として、複数の解析候補（分類候補）が優先順位の順番で解析されていく。即ち、画像解析の解析結果が、解析候補の特定の識別物が所定領域に含まれていないと認識できないという結果である場合、次の優先順位の別の解析候補によって画像解析が再度行われる。全ての画像解析により特定の識別物として認識できなかった所定領域に対しては、関連の強い画像はないものとして取り扱われる。即ち、解析不可能という解析結果となる。

例えば基点画像P1のうち顔を含む所定領域がタッチされた場合、CPU２３は、所定領域を画像解析することで、分類項目として「人」を認識する。次に、CPU２３は、基点画像P1との間で「人」についての関連の強さの度合が高い画像を、関連画像P2B，P3Bとして検索する。そして、図１２のＢに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2B，P3Bを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。

例えば基点画像P1のうち場所に関連する所定領域がタッチされた場合、CPU２３は、所定領域を画像解析することで、分類項目として「場所」を認識する。次に、CPU２３は、基点画像P1との間で「場所」についての関連の強さの度合が高い画像を、関連画像P2C，P3Cとして検索する。そして、図１２のＣに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2C，P3Cを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。

例えば基点画像P1のうち特定色が支配的な所定領域がタッチされた場合、CPU２３は、所定領域を画像解析することで、分類項目として「色」を認識する。次に、CPU２３は、基点画像P1との間で「色」についての関連の強さの度合が高い画像を、関連画像P2D，P3Dとして検索する。そして、図１２のＤに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2D，P3Dを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。

なお、基点画像P1の全体がタッチされた場合、CPU２３は、基点画像P1全体を画像解析し、その解析結果に基づいて、関連画像P2E，P3Eを検索する。そして、図１２のＥに示されるように、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に関連画像P2E，P3Eを表示させる。なお、関連画像の表示数や表示場所等の表示形態が限定されないことは言うまでもない。また、全体をタッチする操作（基点画像全体を接触する操作とも称する）の手法としては、基点画像P1を囲うようになぞり操作をする手法や、複数の指を基点画像P1に接触させる手法を採用することができる。

図１３は、図１２を用いて説明した関連画像検索操作の第４の実施例に対する関連画像検索処理、即ち第４関連画像検索処理の一例を説明するフローチャートである。

ステップＳ１０１において、CPU２３は、基点画像が選択されたか否かを判定する。

基点画像が選択されていない場合、ステップＳ１０１においてＮＯであると判定されて、処理はステップＳ１０１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ６１の判定処理が繰り返し実行される。

その後、基点画像が選択されると、ステップＳ１０１においてＹＥＳであると判定されて、処理はステップＳ１０２に進む。

ステップＳ１０２において、CPU２３は、デジタル信号処理部１５を制御して、タッチスクリーン１８に基点画像を表示させる。なお、基点画像は、タッチスクリーン１８の任意の領域に表示させることができるが、その後の画像解析を考慮した領域に表示させるとよい。例えば、図１２の例では、図１２のＡに示されるように、ユーザが指f1で基点画像P1内の様々な領域を接触できるように、タッチスクリーン１８の中央の領域に基点画像P1が大きく表示されている。

ステップＳ１０３において、CPU２３は、タッチスクリーン１８の基点画像内の領域が接触されたか否かを判定する。

基点画像内のいずれの領域にも接触がなされない場合、ステップＳ１０３においてＮＯであると判定されて、処理はステップＳ１０３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ１０３の判定処理が繰り返し実行される。

その後、基点画像内の何れかの領域に接触がなされると、ステップＳ１０３においてＹＥＳであると判定されて、処理はステップＳ１０４に進む。

ステップＳ１０４において、CPU２３は、基点画像全体を接触する操作がなされたか否かを判定する。

基点画像全体を接触する操作がなされた場合、ステップＳ１０４においてＹＥＳであると判定されて、処理はステップＳ１０６に進む。ステップＳ１０６において、CPU２３は、基点画像全体を画像解析し、その解析結果に基づいて関連画像を検索し、タッチスクリーン１８に表示させる。ただし、関連画像が検索されない場合、関連画像がない旨がタッチスクリーン１８に表示される。なお、以下、このようなステップＳ１０６の処理を、画像解析検索処理と称する。画像解析検索処理の詳細例については、図１５のフローチャートを参照して後述する。この画像解析検索処理が終了すると、処理はステップＳ１１１に進む。ステップＳ１１１において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。これにより、第４関連画像検索処理は終了となる。

これに対して、基点画像のうちの所定領域を接触する操作がなされた場合、ステップＳ１０４においてＮＯであると判定されて、処理はステップＳ１０５に進む。ステップＳ１０５において、CPU２３は、所定領域を画像解析し、その解析結果として、複数の解析候補のうち所定の解析候補を分類項目として出力する。ただし、複数の解析候補の何れも出力できない場合、“関連画像なし”という解析結果が出力される。なお、以下、このようなステップＳ１０５の処理を、接触領域別画像解析処理と称する。接触領域別画像解析処理の詳細例については、図１４のフローチャートを参照して後述する。

ステップＳ１０５の接触領域別画像解析処理が終了し、その解析結果が出力されると、処理はステップＳ１０７に進む。

ステップＳ１０７において、CPU２３は、解析結果が“関連画像なし”であるか否かを判定する。

解析結果が“関連画像なし”の場合、ステップＳ１０７においてＹＥＳであると判定されて処理はステップＳ１０８に進む。ステップＳ１０８において、CPU２３は、デジタル信号処理部１５を制御して、関連画像がない旨をタッチスクリーン１８に表示させる。これにより、第４関連画像探索処理は終了となる。

これに対して、解析結果が所定の分類項目である場合、ステップＳ１０７においてＮＯであると判定されて処理はステップＳ１０９に進む。

ステップＳ１０９において、CPU２３は、解析結果（所定の分類項目）を絞り込み条件として用いて関連画像を検索する。即ち、本実施の形態では、解析結果（絞り込み条件）において、基点画像との間で関連の強さの度合が高い画像が、関連画像として検索される。

ステップＳ１１０において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。

例えば、図１２の例では、解析結果が「人」の場合、ステップＳ１０９の処理で、基点画像P1との間で「人」についての関連の強さの度合が高い画像が、関連画像P2B，P3Bとして検索される。そして、ステップＳ１１０の処理で、関連画像P2B，P3Bが表示される。

また例えば、解析結果が「場所」の場合、ステップＳ１０９の処理で、基点画像P1との間で「場所」についての関連の強さの度合が高い画像が、関連画像P2C，P3Cとして検索される。そして、ステップＳ１１０の処理で、関連画像P2C，P3Cが表示される。

また例えば、解析結果が「色」の場合、ステップＳ１０９の処理で、基点画像P1との間で「色」についての関連の強さの度合が高い画像が、関連画像P2D，P3Dとして検索される。そして、ステップＳ１１０の処理で、関連画像P2D，P3Dが表示される。

ステップＳ１１１において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。

これにより、第４関連画像検索処理は終了となる。

次に、図１４のフローチャートを参照して、第４関連画像検索処理のステップＳ１０５の接触領域画像解析処理の詳細例について説明する。

上述の如く、複数の分類項目Ａ乃至Ｚが解析候補として予め設定され、さらに、複数の解析候補Ａ乃至Ｚのそれぞれに対して優先順位がその順番で予め付されているとする。なお、分類項目Ａ乃至Ｚとは、分類項目がアルファベット数である２６種類存在することを意味するのではない。即ち、分類項目Ｚとは、２以上の任意の数の種類のうち、優先順位が最低の種類の分類項目を示している。

また、分類項目Ａ乃至Ｚは特に限定されない。ただし、図１２の例に対応させるならば、少なくとも「人」、「場所」、および「色」は、分類項目Ａ乃至Ｚに含まれるとする。その他、特定のものや特定の構図等も分類項目Ａ乃至Ｚに含ませることができる。

上述の如く、基点画像のうちの所定領域を接触する操作がなされた場合、ステップＳ１０４においてＮＯであると判定されて、ステップＳ１０５の接触領域別画像解析処理として次のような処理が実行される。

即ち、ステップＳ１２１において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ａ”として認識できるか否かを判定する。

CPU２３は、ステップＳ１２１において“Ａ”として認識できると判定した場合、ステップＳ１２２において、解析結果を“Ａ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。

これに対して、ステップＳ１２１において“Ａ”として認識できないと判定された場合、処理はステップＳ１２３に進む。

ステップＳ１２３において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｂ”として認識できるか否かを判定する。

CPU２３は、ステップＳ１２３において“Ｂ”として認識できると判定した場合、ステップＳ１２４において、解析結果を“Ｂ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。

これに対して、ステップＳ１２３において“Ｂ”として認識できないと判定された場合、処理はステップＳ１２５に進む。

ステップＳ１２５において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｃ”として認識できるか否かを判定する。

CPU２３は、ステップＳ１２５において“Ｃ”として認識できると判定した場合、ステップＳ１２４において、解析結果を“Ｃ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。

これに対して、ステップＳ１２５において“Ｃ”として認識できないと判定された場合、処理はステップＳ１２７に進む。

ステップＳ１２７において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｄ”として認識できるか否かを判定する。

CPU２３は、ステップＳ１２７において“Ｄ”として認識できると判定した場合、ステップＳ８８において、解析結果を“Ｄ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。

これに対して、ステップＳ１２７において“Ｄ”として認識できないと判定された場合、“Ｅ”乃至“Ｙ”についても同様の処理が繰り返される。即ち、“Ｅ”乃至“Ｙ”のうちの所定の１つの解析候補として認識できると判定された場合、その解析候補が解析結果となる。

これに対して、“Ｅ”乃至“Ｙ”のうちの何れも認識できないと判定された場合、処理はステップＳ１２９に進む。ステップＳ１２９において、CPU２３は、所定領域を画像解析することで、所定領域の分類項目が“Ｚ”として認識できるか否かを判定する。

CPU２３は、ステップＳ１２９において“Ｚ”として認識できると判定した場合、ステップＳ１３０において、解析結果を“Ｚ”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。

これに対して、CPU２３は、ステップＳ１２９において“Ｚ”として認識できないと判定した場合、ステップＳ１３１において、解析結果を“関連画像なし”とする。これにより、図１３のステップＳ１０５の接触領域別画像解析処理が終了して、処理はステップＳ１０７に進む。

以上、図１４のフローチャートを参照して、第４関連画像検索処理のステップＳ１０５の接触領域画像解析処理の詳細例について説明した。

次に、図１５のフローチャートを参照して、第４関連画像検索処理のステップＳ１０６の画像解析検索処理の詳細例について説明する。

図１５の例の前提として、画像構成要素パターンが用いられる。画像構成要素パターンとは、画像を構成する要素の所定パターンであって、２つの画像が関連画像の関係にあるのか否かの比較に用いられる指標をいう。例えば、人が写っているというパターン、写っている人の人数が同じというパターン、風景だけが写っているパターン、撮影月日が同じ（年は除く）というパターン等様々なパターンを、画像構成要素パターンとして採用することができる。

この場合、CPU２３は、基点画像と関連画像候補とを画像解析し、画像構成要素パターンが一致するか否かを判定する。この判定処理は、関連画像候補となり得る全画像についてそれぞれ実行される。CPU２３は、基点画像と画像構成要素パターンが一致する関連画像候補を、関連画像として検索する。なお、以下、このような一連の処理を、「画像構成要素パターンとして関連画像を検索する」と表現する。

図１５の例では、複数の画像構成要素パターンａ乃至ｚが予め設定され、さらに、複数の画像構成要素パターンａ乃至zのそれぞれに対して優先順位がその順番で予め付されているとする。なお、画像構成要素パターンａ乃至ｚとは、画像構成要素パターンがアルファベット数である２６種類存在することを意味するのではない。即ち、画像構成要素パターンｚとは、２以上の任意の数の種類のうち、優先順位が最低の種類の画像構成要素パターンを示している。

上述の如く、基点画像全体を接触する操作がなされた場合、ステップＳ１０４においてＹＥＳであると判定されて、ステップＳ１０６の画像解析検索処理として次のような処理が実行される。

即ち、ステップＳ１４１において、CPU２３は、画像構成要素パターンａとして関連画像を検索する。

ステップＳ１４２において、CPU２３は、関連画像が検索されたか否かを判定する。

画像構成要素パターンａが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、ステップＳ１０２においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。

ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。

これに対して、画像構成要素パターンａが基点画像と一致する画像が記録デバイス１９に存在しない場合、ステップＳ１４２においてＮＯであると判定されて、処理はステップＳ１４４に進む。

ステップＳ１４４において、CPU２３は、画像構成要素パターンｂとして関連画像を検索する。

ステップＳ１４５において、CPU２３は、関連画像が検索されたか否かを判定する。

画像構成要素パターンｂが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、ステップＳ１４５においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。

ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。

これに対して、画像構成要素パターンｂが基点画像と一致する画像が記録デバイス１９に存在しない場合、ステップＳ１４５においてＮＯであると判定されて、画像構成要素パターンc乃至ｙについても同様の処理が繰り返される。

即ち、画像構成要素パターンc乃至yのうち所定パターンが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、処理はステップＳ１４３に進む。

ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。

これに対して、画像構成要素パターンc乃至ｙのいずれのパターンとも基点画像と一致する画像が記録デバイス１９に存在しない場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、CPU２３は、画像構成要素パターンｚとして関連画像を検索する。

ステップＳ１４７において、CPU２３は、関連画像が検索されたか否かを判定する。

画像構成要素パターンｚが基点画像と一致する画像が記録デバイス１９に存在し、その画像が関連画像として検索された場合、ステップＳ１４７においてＹＥＳであると判定されて、処理はステップＳ１４３に進む。

ステップＳ１４３において、CPU２３は、デジタル信号処理部１５を制御して、検索された関連画像をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。

これに対して、画像構成要素パターンｚが基点画像と一致する画像が記録デバイス１９に存在しない場合、ステップＳ１４７においてＮＯであると判定されて、処理はステップＳ１４８に進む。

ステップＳ１４８において、CPU２３は、デジタル信号処理部１５を制御して、関連画像がない旨をタッチスクリーン１８に表示させる。これにより、図１３のステップＳ１０６の画像解析検索処理が終了して、処理はステップＳ１１１に進む。

以上、図１２を参照して、本実施の形態の関連画像検索の第４の実施例について説明した。そして、図１３乃至図１５のフローチャートを参照して、第４の実施例に対する第４関連画像検索処理の一例について説明した。

なお、以上の例では、基点となるもの（Root）として基点画像（静止画像や同画像）が採用された。そして、基点画像に関連する画像を関連画像として、関連画像を手操っていくルールに基づく操作が、関連画像検索操作として採用された。

このように、あるものを基点として、そのあるものに関連するものを手繰っていくというルールに則った操作（以下、関連検索操作と称する）は、関連画像検索操作の他、例えばMusicPlayerや、DiscServer機器に搭載されるGUIコンテキストメニューなどの表示操作に採用することもできる。

例えば、図１６は、MusicPlayerに搭載されるGUIコンテキストメニューなどの表示操作に対して関連検索操作を適用した場合の操作例を説明する図である。即ち、図１６は、「Music Album」と表示されたGUIコンテキストメニューを基点として（以下、基点メニューと称する）、その基点メニューに関連するGUIコンテキストメニュー（以下、関連メニューと称する）手操っていく操作（以下、関連メニュー検索操作）の例を説明する図である。なお、「曲調」と表示されたGUIコンテキストメニューは、１２音階曲調解析結果などに使用される。また、「Genre」と表示されたGUIコンテキストメニューは、ID3タグなどの情報に使用される。

例えば、図１７は、DiscServer機器に搭載されるGUIコンテキストメニューなどの表示操作に対して関連検索操作を適用した場合の操作例を説明する図である。即ち、図１７は、「Disc Server」と表示された基点メニューに対して、その基点メニューの関連メニューを手操っていく、という関連メニュー検索操作の例を説明する図である。

以上、各種関連画像検索操作と、それらに対応する各種関連画像検索処理について説明した。

このように、関連画像検索操作とは、特別な検索手段を設けることなく直感的な操作で次々と関連画像を手繰ることができる操作である。関連画像検索操作は、第１の実施例のように、特に目的なく手繰るという操作にも適用可能であるし、第２乃至第４の実施例のように、所望の一枚の画像を検索するという目的に対しても適用可能である。特に第３の実施例では、抽象的で検索ワードとしてユーザが想像しがたい分類項目についても、容易に関連画像を手繰って検索することが可能になる。また、手繰った関連画像の最終地点（最後に手繰った関連画像）に対して任意の操作を施すことで、手繰りの履歴や検索履歴を確認する手法も実現可能である。かかる手法により、関連画像の再手繰りや再検索も容易に可能になる。

以下、さらに、図１８を参照して、関連画像検索操作の第５の実施例について説明する。そして、図１９のフローチャートを参照して、第５の実施例に対する第５関連画像検索処理の一例について説明する。

図１８のＡに示されるように、全ての画像群は、無限大の空間サイズのデスクトップの上に散在しているイメージとし、タッチスクリーン１８にはデスクトップの一部が常に表示されている、ということを前提とする。

また、関連画像検索操作自体は、第１の実施例と基本的に同様の操作が採用されているとする。即ち、複数のなぞり操作により複数の関連画像が手操られていくことになる。即ち、図１８のＢに示されるように、基点画像P1を起点に１回目のなぞり操作が行われると、1回目のなぞり操作が終了した位置、即ち、指f1がリリースした位置には、関連画像P2やP4がタッチスクリーン１８に新規に表示される。ユーザは、さらに、新規に表示された関連画像、例えば関連画像P2を起点として２回目のなぞり操作を行うことで、２回目のなぞり操作が終了した位置、即ち、指f1がリリースした位置には、関連画像P3がタッチスクリーン１８に新規に表示される。

この場合、新規に表示された関連画像P3はタッチスクリーン１８の右端に表示されている。即ち、仮に、ユーザが関連画像P2を起点とする２回目のなぞり操作をさらに右方向にさせようしていたならば、なぞり操作の終了位置は、表示エリア外となってしまう。よって、２回目のなぞり操作が終了した位置、即ち、指f1がリリースした位置に、関連画像P3を表示させることは困難になる。

もっとも、第５の実施例では、図１８のＡに示されるように、無限大の空間サイズのデスクトップの上に全ての画像群が散在していることが前提事項であるので、どの場所でもなぞり操作をすることは本来可能である。それにも関わらず、なぞり操作が困難となるのは、タッチスクリーン１８の表示サイズが有限であるからに他ならない。

そこで、第５の実施例では、無限大の空間サイズのデスクトップのうちタッチスクリーン１８に表示させる領域が、表示エリアとして定義される。この定義の下、CPU２３は、関連画像を手繰る操作（複数回のなぞり操作）により検索された新規の関連画像をタッチスクリーン１８に表示する場合、次のような処理を実行する。即ち、CPU２３は、現在表示中の表示エリア内に収まらないと判断したときは、その新規の関連画像がタッチスクリーン１８の中心に表示されるように表示エリアを自動でシフトする、といったシフト処理を実行する。ただし、表示中の表示エリア内に収まると判断されたときには、シフト処理は禁止されるとする。

かかるシフト処理が実行されることで、ユーザが関連画像P2を起点として２回目のなぞり操作を表示エリア外にも行おうとした場合、新規な関連画像P3は、図１８のＣに示されるように、指f1がリリースした位置（点線で図示された位置）ではなく、タッチスクリーン１８の中心の位置（実線で図示された位置）に表示される。

図１９は、図１８を用いて説明した関連画像検索操作の第５の実施例に対する関連画像検索処理、即ち第５関連画像検索処理の一例を説明するフローチャートである。

ステップＳ１６１において、CPU２３は、基点画像が選択されたか否かを判定する。

基点画像が選択されていない場合、ステップＳ１６１においてＮＯであると判定されて、処理はステップＳ１６１に戻される。即ち、基点画像が選択されるまでの間、ステップＳ１６１の判定処理が繰り返し実行される。

その後、基点画像が選択されると、ステップＳ１６１においてＹＥＳであると判定されて、処理はステップＳ１６２に進む。

ステップＳ１６２において、CPU２３は、デジタル信号処理部１５を制御して、基点画像がタッチスクリーンの中央に表示されるように表示エリアを移動させる。即ち、タッチスクリーン１８の中央に基点画像が表示される。

ステップＳ１６３において、CPU２３は、タッチスクリーン１８の画像内の領域が接触されたか否かを判定する。

基点画像内のいずれの領域にも接触がなされない場合、ステップＳ１６３においてＮＯであると判定されて、処理はステップＳ１６３に戻される。即ち、基点画像内のいずれかの領域に接触がなされるまでの間、ステップＳ１６３の判定処理が繰り返し実行される。

その後、基点画像内の何れかの領域に接触がなされると、ステップＳ１６３においてＹＥＳであると判定されて、処理はステップＳ１６４に進む。

ステップＳ１６４において、CPU２３は、基点画像を起点に、なぞり操作がなされたか否かを判定する。

なぞり操作がなされなかった場合、ステップＳ１６４でＮＯであると判定して、処理はステップＳ１６４に戻されて、それ以降の処理が繰り返し実行される。即ち、なぞり操作がなされるまでの間、ステップＳ１６４の判定処理が繰り返し実行される。

その後、なぞり操作がなされると、ステップＳ１６４においてＹＥＳであると判定されて、処理はステップＳ１６５に進む。

ステップＳ１６５において、CPU２３は、記録デバイス１９に記録された全画像を対象として、関連画像を検索する。

ステップＳ１６６において、CPU２３は、指f1がタッチスクリーン１８からリリースされたか否か、即ち、なぞり操作が終了したか否かを判定する。

なぞり操作が終了していない場合、ステップＳ１６６でＮＯであると判定されて、処理はステップＳ１６６に戻されて、それ以降の処理が繰り返し実行される。即ち、なぞり操作が継続している限り、ステップＳ１６６の判定処理が繰り返し実行される。

その後、なぞり操作が終了すると、ステップＳ１６６においてＹＥＳであると判定されて、処理はステップＳ１６７に進む。

ステップＳ１６７において、CPU２３は、仮想のデスクトップ上におけるリリースされた位置に関連画像を表示させる。

ここで注意すべき点は、タッチスクリーン１８上ではなく、仮想のデスクトップ上を基準に関連画像が表示される点である。換言すると、仮想のデスクトップ上におけるリリースされた位置が、表示エリア外の位置であった場合、ステップＳ１６７の処理時点では、関連画像はタッチスクリーン１８に表示されない点である。

ステップＳ１６８において、CPU２３は、表示画像履歴情報を記録デバイス１９に保存する。

ステップＳ１６９において、CPU２３は、タッチスクリーン１８内に関連画像の表示が可能であるか否かを判定する。

上述の如く、仮想のデスクトップ上におけるリリースされた位置が、表示エリア外の位置であった場合、このままの状態では、関連画像はタッチスクリーン１８に表示することができない。よって、このような場合、ステップＳ１６９においてＮＯであると判定されて、処理はステップＳ１７０に進む。

ステップＳ１７０において、CPU２３は、デジタル信号処理部１５を制御して、関連画像がタッチスクリーンの中央に表示されるように表示エリアを移動させる。即ち、タッチスクリーン１８の中央に関連画像が表示される。例えば、図１８の例では、図１８のＣに示されるように、関連画像P3がタッチスクリーン１８の中央に表示される。その後、処理はステップＳ１７１に進む。ただし、ステップＳ１７１以降の処理は後述する。

これに対して、仮想のデスクトップ上におけるリリースされた位置が、表示エリア内の位置であった場合、このままの状態で、関連画像はタッチスクリーン１８に表示することが可能である。よって、このような場合、ステップＳ１６９においてＹＥＳであると判定されて、ステップＳ１７０の処理は実行されることなく、処理はステップＳ１３１に進む。

ステップＳ１７１において、CPU２３は、処理の終了が指示されたか否かが判定される。

処理の終了が指示されない限り、ステップＳ１７１においてＮＯであると判定されて、処理はステップＳ１６３に戻され、それ以降の処理が繰り返される。即ち、なぞり操作が行われる度に、ステップＳ１６３ＹＥＳ，Ｓ１６４ＹＥＳ，Ｓ１６５，Ｓ１６６ＹＥＳ，Ｓ１６７，Ｓ１６８，Ｓ１６９ＹＥＳ／Ｓ１６９ＮＯおよびＳ１７０，Ｓ１７１ＮＯのループ処理が繰り返し実行されて、新たな関連画像がタッチスクリーン１８の中央に表示されていく。即ち、ユーザは、なぞり操作を繰り返すことで、上述のループ処理が繰り返し実行されて、あたかも関連画像を手探っていくことができるようになる。そして、かかる関連画像は常にタッチスクリーン１８の中央にシフトしていくことになる。

その後、処理の終了が指示された場合、ステップＳ１７１においてＹＥＳであると判定されて、第５関連画像検索処理は終了となる。

このように、第５関連画像検索処理では、CPU２３は、物理的には限られたサイズのタッチスクリーン１８内で、ユーザの最も再生優先度の高い画像（新規の関連画像）をタッチスクリーン１８の中央に常に表示させるように、表示エリアを自動でシフトさせる。これにより、タッチスクリーン１８の表示サイズによらず、多数の画像を大きさを損なうことなく再生させることができるようになる。また、ユーザに対して、無限大の大きさのデスクトップの上で、関連画像を手繰るような体験をさせることも可能となる。その結果、マトリックス状に画像を並べるといった従来の画像提示手法のみならず、ユーザが好きなように画像を配置した上で閲覧することが可能になる、といった画像提示手法を採用することができるようになる。

以上、図１８を参照して、関連画像検索操作の第５の実施例について説明した。そして、図１９のフローチャートを参照して、第５の実施例に対する第５関連画像検索処理の一例について説明した。

ところで、第５の実施例では、関連画像を手繰る操作（複数回のなぞり操作）により検索された新規の関連画像がタッチスクリーン１８に表示される場合、表示中の表示エリア内に収まると判断されたときには、表示エリアのシフト処理は禁止された。例えば、図２０の例において、関連画像P4が新規の関連画像であるとする。この場合、図２０のＡに示されるように、新規の関連画像P4はタッチスクリーン１８の中心に表示されず、リリースされた位置に表示される。

このような図２０のＡに示される状態で、例えばGUIスライドバーやPinchIn/Outなどのような操作により現在の表示エリアが拡大／縮小される場合、CPU２３は、図２０のＢに示されるように、新規の関連画像P4がタッチスクリーン１８の中心に表示されるように表示エリアを自動でシフトする、といったシフト処理を実行する。そして、CPU２３は、図２０のＡに示されるように表示エリアを拡大したり、或いは縮小する。なお、以下、このような一連の処理を、拡大／縮小画像表示処理と称する。

図２１は、図２０を用いて説明した拡大／縮小画像表示処理の一例を説明するフローチャートである。

ステップＳ１８１において、CPU２３は、拡大／縮小操作がなされたか否かを判定する。

拡大操作も縮小操作もなされていない場合、ステップＳ１８１においてＮＯであると判定されて、処理はステップＳ１８１に戻される。即ち、拡大操作または縮小操作がなされるまでの間、ステップＳ１８１の判定処理が繰り返し実行される。

その後、拡大操作または縮小操作がなされると、ステップＳ１８１においてＹＥＳであると判定されて、処理はステップＳ１８２に進む。

ステップＳ１８２において、CPU２３は、デジタル信号処理部１５を制御して、新規の関連画像がタッチスクリーンの中央に表示されるように表示エリアを移動させる。即ち、タッチスクリーン１８の中央に、新規の関連画像が表示される。例えば、図２０の例では、図２０のＢに示されるように、関連画像P4がタッチスクリーン１８の中央に表示される。

ステップＳ１８３において、CPU２３は、デジタル信号処理部１５を制御して、表示エリアを拡大／縮小表示する。例えば、図２０の例では、図２０のＣに示されるように、表示エリアが拡大表示される。

これにより、拡大／縮小画像表示処理が終了となる。

このような拡大／縮小画像表示処理を採用することで、ユーザが拡大操作をしたときに、そのユーザが最も意識をもって閲覧している画像（関連画像）の一部が欠けたり、その画像が表示エリア外に隠れてしまう、といった不具合を防止することができるようになる。

なお、例えば、CPU２３は、デジタル信号処理部１５を制御して、スライドバーをタッチスクリーン１８に表示させ、ユーザによりスライドバーが操作された場合、その操作に応じて、表示エリアの調整を行ってもよい。

また、例えば、CPU２３は、２本の指によるなぞり操作を検出し、それらのなぞり操作の方向や移動距離に応じて、表示エリアの調整を行ってもよい。

また、例えば、CPU２３は、タッチスクリーン１８における任意の点の接触操作を検出した場合、現在の表示エリアの周辺エリアにおける画像の散在状況を、前記タッチスクリーン１８にマップとして表示させてもよい。さらに、例えば、CPU２３は、そのマップに対する接触操作を検出した場合、そのマップの範囲を表示エリアとするように、表示エリアを移動させてもよい。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、上述した一連の処理は、図１の撮像装置が実行してもよいことは勿論のこと、その他例えば、図２２に示されるパーソナルコンピュータが実行してもよい。

図２２において、CPU１０１は、ROM（Read Only Memory）１０２に記録されているプログラム、または記憶部１０８からRAM（Random Access Memory）１０３にロードされたプログラムに従って各種の処理を実行する。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU１０１、ROM１０２、およびRAM１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インタフェース１０５も接続されている。

入出力インタフェース１０５には、キーボード、マウスなどよりなる入力部１０６、出力部１０７、ハードディスクなどより構成される記憶部１０８、モデムおよびターミナルアダプタなどより構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア１１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１または図２２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）１１１（図１６）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されている図１のプログラムROM２６、図２２のROM１０２、記憶部１０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、以上、本発明が適用された情報処理装置により表示が制御される表示装置として、液晶表示パネル１７といった液晶表示装置について説明してきた。ただし、本発明は、液晶表示パネルのみならず、次のような表示装置にも適用可能である。即ち、動画像を構成するフレームやフィールドといった単位（以下、かかる単位をコマと称する）毎に表示が指示される表示装置であって、所定時間の間、１コマを構成する複数の画素が表示素子により構成されており、それら表示素子のうちの少なくとも一部の表示を保持させることができる表示装置に適用できる。なお、以下、かかる表示素子をホールド型表示素子と称し、かかるホールド型表示素子により画面が構成される表示装置を、ホールド型表示装置と称する。即ち、液晶表示装置はホールド型表示装置の例示にしか過ぎず、本発明は、ホールド型表示装置全体に適用可能である。

さらに、本発明は、ホールド型表示装置のみならず、例えば、発光素子として有機ＥＬ(Electro Luminescent)デバイスを用いた平面自発光型の表示装置等にも適用可能である。即ち、本発明は、画像が複数の画素から構成され、その画素を表示する表示素子を含む表示装置全体に適用可能である。なお、かかる表示装置を、画素型表示装置と称する。ここで、画素型表示装置において、１つの画素に１つの表示素子が必ずしも対応付けられている必要は特に無い。

換言すると、本発明適用された情報処理装置により表示が制御される表示装置は、上述した一連の処理を実行可能とする表示装置であれば足りる。

本発明が適用される情報処理装置の一実施形態としての撮像装置の構成例を示すブロック図である。 図１の撮像装置の外観の構成例を示す斜視図である。 撮像装置の関連画像検索操作手法の第１の実施例について説明する図である。 第１関連画像検索処理の一例を説明するフローチャートである。 第１A関連画像検索処理の一例を説明するフローチャートである。 第１B関連画像検索処理の一例を説明するフローチャートである。 撮像装置の関連画像検索操作手法の第２の実施例について説明する図である。 第２関連画像検索処理の一例を説明するフローチャートである。 撮像装置の関連画像検索操作手法の第３の実施例について説明する図である。 第３関連画像検索処理の一例を説明するフローチャートである。 分類項目の提示手法として、サムネイル画像を用いる手法の一例を説明する図である。 撮像装置の関連画像検索操作手法の第４の実施例について説明する図である。 第４関連画像検索処理の一例を説明するフローチャートである。 第４関連画像検索処理のステップＳ６５の接触領域別画像解析処理の詳細例を説明するフローチャートである。 第４関連画像検索処理のステップＳ６６の画像解析検索処理の詳細例を説明するフローチャートである。 撮像装置の関連メニュー検索操作の例を説明する図である。 撮像装置の関連メニュー検索操作の別の例を説明する図である。 撮像装置の関連画像検索操作手法の第５の実施例について説明する図である。 第５関連画像検索処理の一例を説明するフローチャートである。 拡大／縮小画像表示処理に伴う操作手法の一例を説明する図である。 拡大／画像表示処理の一例を説明するフローチャートである。 本発明が適用される情報処理装置の構成例であって、図１とは異なる構成例を示すブロック図である。

符号の説明

１１ レンズ部， １２ 撮像素子, １３ アナログ信号処理部， １４ A/D変換部， １５ デジタル信号処理部， １６ タッチパネル， １７ 液晶パネル， １８ タッチスクリーン， １９ 記録デバイス， ２０ アクチュエータ， ２１ モータドライブ， ２２ TG， ２３ CPU， ２４ 操作部， ２５ EEPROM， ２６ プログラムROM， ２７ RAM， ２８ タッチパネル， ４１ ズームレバー， ４２ シャッタボタン， ４３ 再生ボタン， ４４ パワーボタン， ４５ 撮影レンズ， ４６ AFイルミネータ， ４７ レンズカバー， １０１ CPU， １０２ ROM， １０３ RAM， １０８ 記憶部， １１１ リムーバブルメディア

Claims (6)

1. 画像を表示する表示手段と
   ユーザの操作入力を受け付ける操作入力受付け手段と、
   仮想上の無限大の空間サイズのデスクトップに１以上の画像を配置させ、前記デスクトップの一部を表示エリアとして、前記表示エリアを前記表示手段に表示させる表示制御を行う表示制御手段と
   を備え、
   前記表示制御手段は、前記デスクトップ上に配置された１以上の前記画像のうち所定画像が選択される選択操作がなされた場合、前記表示制御として、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置を移動させる
   情報処理装置。
2. 前記表示エリア内に表示されている画像であって、前記所定画像とは別の画像を基点画像として、ユーザが、指を前記基点画像に対して接触させた後、前記表示手段に前記指を接触させたまま前記所定画像まで動かすなぞり操作が、前記選択操作として採用されている
   請求項１に記載の情報処理装置。
3. 前記基点画像を含む前記表示エリア内に前記所定画像も含まれている場合、前記表示制御手段は、前記表示制御としてさらに、前記表示エリアの移動を禁止する
   請求項１に記載の情報処理装置。
4. 前記表示制御手段により前記表示エリアの移動が禁止された後、前記表示エリアを拡大または縮小する操作がなされた場合、
   前記表示制御手段は、前記表示制御としてさらに、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置を移動させ、移動後の前記表示エリアを拡大または縮小させて前記表示手段に表示させる
   請求項３に記載の情報処理装置。
5. 画像を表示し、ユーザの操作入力を受付ける情報処理装置が、
   仮想上の無限大の空間サイズのデスクトップに１以上の画像を配置させ、前記デスクトップの一部を表示エリアとして、前記表示エリアを表示させる表示制御を行う表示制御ステップを含み、
   前記表示制御ステップは、前記デスクトップ上に配置された１以上の前記画像のうち所定画像が選択される選択操作がなされた場合、前記表示制御として、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置を移動させるステップ
   を含む情報処理方法。
6. 画像を表示し、ユーザの操作入力を受付ける情報処理装置を制御するコンピュータが、
   仮想上の無限大の空間サイズのデスクトップに１以上の画像を配置させ、前記デスクトップの一部を表示エリアとして、前記表示エリアを表示させる表示制御を行う表示制御ステップを含む制御処理を実行するプログラムであって、
   前記表示制御ステップは、前記デスクトップ上に配置された１以上の前記画像のうち所定画像が選択される選択操作がなされた場合、前記コンピュータが、前記表示制御として、前記所定画像を前記表示エリアの中心に含むように、前記デスクトップにおける前記表示エリアの相対位置を移動させるステップ
   を含むプログラム。

Images