JP2005196298A - 情報処理装置および画像データ表示制御方法およびプログラムおよび記録媒体 - Google Patents

Abstract

【課題】 多量の画像データを表示する場合でも、目的とする画像データに容易に辿り付くことができる優れた画像データ表示環境を構築すること。
【解決手段】 ＣＰＵ１０１が、ＨＤ１１２に記憶される所定の画像データとの合致度でカテゴライズされた複数の画像データを合致度で複数の順序構造を有するグループに分類し、前記複数のデータを、前記分類された各グループ毎に前記順序構造に基づく表示順序で表示部１１１に重ねて表示するように制御する構成を特徴とする。
【選択図】図１

Description

本発明は、カテゴライズされた複数の画像データを表示制御する情報処理装置および画像データ表示制御方法およびプログラムおよび記録媒体に関するものである。

図２２は、この種の情報処理装置の利用形態を示す図である。

図２２に示すように、情報処理装置を用い、画像データを対象としてユーザが必要とするデータを検索し、その検索結果を表示する場合がある。

従来では、検索されたデータが上から下方向に連続して並び表示される。もしくは画像データでは、サムネイル画像が縦横の格子状に並んで表示される。

また、従来、この種の画像検索システムとして、下記特許文献１が既に公開されている。

特許文献１には、検索された画像のそれぞれの画像特徴に基づき、それら画像のクラスタ分けを行い、この結果を用いてクラスタ毎に分類して表示することにより、検索された画像の内、同一クラスタに属する画像同士、つまり互いに類似度の高い類似画像同士をまとめて表示することが可能となり、検索された画像間の類似性を考慮した表示を行うことができ、多くの類似画像候補をデータベースから検索して表示する場合の閲覧性の向上を図ることが記載されている。
特開２００１−２７３３０２号公報

しかしながら、上記従来のように、検索されたデータを平面的に表示するため、検索結果データを確認するには、スクロールバーや、たとえば、「次頁」などのボタンやハイパーリンクを操作し続けないと全データを見ることができない。

必要とするデータを検索する場合、合致率のもっとも高いデータがユーザに一目で判断できるような表示形式が望ましい。

また、従来の技術では、単に合致率の高い順にデータが整然と並べられて表示されるため、現在の合致率を確認するためには、テキストなどで付加されたデータを読み取る必要がある。

さらに、従来の技術では、検索結果は単に並び位置によって合致率の高低が示されるため、視覚的に違いを判断しにくく、操作を続けていくうちに、現在着目しているデータが全体の中でどれほどの合致率を持ったデータなのか判別しにくくなる恐れがある。

また、上記特許文献１では、類似性の高い画像をクラスタリングし、クラスタ毎にまとめて表示されるが、類似度の高低はクラスタの隣接度によって表現されるが、クラスタリングされた複数の画像が全て並べて表示されるため、データ数が多い場合には、一覧性が低くなり、結局上述した他の技術と同様に、所望のデータに行き着くのに時間が掛かってしまうという問題点があった。

本発明は、上記の問題点を解決するためになされたもので、本発明の目的は、記憶手段に記憶されるカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類し、前記複数のデータを、前記分類された各グループ毎に前記順序構造に基づく表示順序で重ねて表示手段に表示するように制御するので、多量の画像データを表示する場合でも、目的とする画像データに容易に辿り付くことができる優れた画像データ表示環境を構築することができる情報処理装置および画像データ表示制御方法およびプログラムおよび記録媒体を提供することである。

本発明の第１の発明は、記憶手段（図１に示すＨＤ１１２）に記憶されるカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類する分類手段（図１に示すＣＰＵ１０１）と、前記複数の画像データを、前記分類手段により分類された各グループ毎に前記順序構造に基づく表示順序で重ねて表示手段（図１に示す表示部１１１）へ表示するように制御する表示制御手段（図１に示すＣＰＵ１０１）とを有することを特徴とする。

本発明の第２の発明は、前記表示制御手段は、前記複数の画像データを、前記分類手段により分類された各グループ毎に、前記表示順序に基づくサイズで表示するように制御することを特徴とする。

本発明の第３の発明は、前記表示制御手段は、前記複数の画像データを、前記分類手段により分類された各グループ毎に、前記表示順序に基づく濃度で表示するように制御することを特徴とする。

本発明の第４の発明は、前記表示制御手段により重ねて表示された前記複数の画像データの表示順序を循環変更制御する循環変更手段を設けたことを特徴とする。

本発明の第５の発明は、前記循環変更手段による表示順序の循環変更量を指示する第１の指示手段を設けたことを特徴とする。

本発明の第６の発明は、前記表示制御手段により重ねて表示された前記複数の画像データのいずれかを指示する第２の指示手段を設け、前記循環変更手段は、前記第２の指示手段により指示された画像データを最前面に表示させるように、前記表示制御手段により重ねて表示された前記複数の画像データの表示順序を循環変更制御することを特徴とする。

本発明の第７の発明は、前記分類手段は、所定の画像データに対する類似度によりカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類することを特徴とする。

本発明の第８の発明は、記憶手段に記憶されるカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類する分類工程（図１１のステップＳ１０２）と、前記複数のデータを、前記分類工程により分類された各グループ毎に前記順序構造に基づく表示順序で重ねて表示手段へ表示するように制御する表示制御工程（図１１のステップＳ１０３〜Ｓ１０５）とを有することを特徴とする。

本発明の第９の発明は、第８の発明に記載された画像データ表示制御方法を実行するためのプログラムであることを特徴とする。

本発明の第１０の発明は、第８の発明に記載された画像データ表示制御方法を実行するためのプログラムを記録媒体にコンピュータが読み取り可能に記憶させたことを特徴とする。

本発明によれば、記憶手段に記憶されるカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類し、前記複数の画像データを、前記分類工程により分類された各グループ毎に前記順序構造に基づく表示順序で重ねて表示手段に表示ように制御するので、多量の画像データを表示する場合でも、目的とする画像データに容易に辿り付くことができる優れた画像データ表示環境を構築することができる等の効果を奏する。

図１は、本発明の一実施形態を示す情報処理装置の構成を示すブロック図である。

図１において、１０１はＣＰＵで、ＲＯＭ１０３のプログラム用ＲＯＭに記憶されたプログラムをＲＡＭ１０２にロードすることにより実行して、システムバス１０４に接続された各デバイスを制御し、装置全体を統括制御するものである。

また、このＲＯＭ１０３のフォント用ＲＯＭにはフォントデータ等を記憶し、ＲＯＭ１０３のデータ用ＲＯＭには各種データを記憶する。１０２はＲＡＭで、ＣＰＵ１０１の主メモリ，ワークエリア等として機能する。

１０５はキーボードコントローラ（ＫＢＣ）で、キーボード（ＫＢ）１０９やマウス等のポインティングデバイス（ＰＤ）１１０からの入力を制御する。１０６はビデオカード（ＶＣ）で、表示部１１１の表示を制御する。

１０７はメモリコントローラ（ＭＣ）で、ハードディスク（ＨＤ）１１２とのアクセスを制御する。１０８はネットワークインタフェースカード（ＮＩＣ）で、ネットワーク１５０との通信を制御する。

また、ＣＰＵ１０１は、ユーザからの指示（ＫＢ１０９又はポＰＤ１１０からの指示やネットワーク１５０を介して受信した指示等）に基づいて種々の機能に対応する処理を実行する。

以下、図２〜図８を用いて、本発明の概要について説明する。

図２〜図８は、本発明の概要を説明するための模式図である。

まず、図２に示すように、本発明の情報処理装置は、画像データの類似度によりカテゴライズされた類似画像検索結果を仮想的な３次元空間に並べて表示するためのものである。

また、図３〜図５に示すように、この３次元空間には、類似度によりカテゴライズされた画像集合（類似画像グループ）を一まとまりにして奥行き方向に表示する。

そして、最前面に表示されていないグループを最前面に表示するには、ポインティングデバイス，キーボードなどの入力デバイスによる直感的な操作で行う。例えば、類似画像グループの枠近辺をポインティングデバイスでクリックすることにより、直接目的とするグループを最前面に表示することも可能となる。

類似度は、仮想Ｚ方向（奥行き方向）の違いのみにマッピングされる。このため、Ｘ，Ｙ方向への広がりがなくなり、類似画像検索結果を閲覧する場合、視線の移動が少なくなる。

また、図６に示すように、仮想Ｚ方向（奥行き方向）の違いのみより、類似画像の表示濃度を変更する。例えば、手前に表示される類似画像グループは、色濃く表示し、奥に表示される類似グループは、淡く表示する。

このように、類似度の近い複数の画像を一つのグループとして、まとめて仮想３次元空間に表示することにより、操作者が、目的とする画像にたどり着くまでに時間を短縮することができる。

また、図７に示すように、グループ内をさらにグループ表示する機能も有する。

さらに、上述した図２〜図７に示した仮想３次元表示を、図８に示すような２次元表示に切り替える機能も有する。

以下、図９，図１０を参照して、本発明の情報処理装置の機能構成を説明する。

図９は、本発明の情報処理装置の機能構成を示すブロック図であり、図１と同一のものには同一の符号を付してある。

図９において、２０１はデータグループ生成部で、ＨＤ１１２に格納された画像データの検索結果を検索の合致率の高い順に分類し、該分類された画像データを所定の閾値（予め設定されＨＤに記憶されるものであり、ユーザにより変更可能）で分類し複数のグループを生成する。２０２は配置データ生成部で、データグループ生成部２０１で生成された各グループの表示位置，各グループ内での各画像データの表示位置をそれぞれ設定する。このとき、もっとも合致率が高かった画像データを含むグループをウィンドウ（図２に示したウィンドウ１）の手前に表示し、他のグループは、Ｚ方向（奥行き方向）に配置するとともに、全体のサイズを奥に行くほど小さくし、また色合いも淡く表示する（遠近法）。

２０３は表示方法変更部で、検索結果の表示形態を３次元表示形式（図２〜図７）又は２次元表示形式（図８）に変更する。２０４は視点変更制御部で、例えばＰＤ１１０のＹ方向の操作距離によってグループ表示位置を変更する視点変更処理を行う。なお、図９の２０１〜２０４に示した各構成要素は、図１に示したＣＰＵ１０１により実現される。

図１０は、図９に示した視点変更制御部２０４の構成を示すブロック図である。

図１０において、３０１は入力情報検知部で、ＫＢ１０９やＰＤ１１０からの入力情報を検知する。３０２はグループ表示位置算出部で、ウィンドウ１内のグループ毎の表示位置を算出し、表示位置テーブル３０６に格納する。３０３はグループ内画像表示位置算出部で、グループ内の各画像データの表示位置を算出し、表示位置テーブル３０６に格納する。

３０４はグループ画像生成部で、グループ内画像表示位置算出部３０３により算出されたグループ内の各画像データの表示位置に基づいて、グループ内の画像を生成する。

３０５は表示グループ生成部で、グループ表示位置算出部３０２により算出されたグループの表示位置に基づいて、表示グループ（枠画像）を生成する。なお、図１０の３０１〜３０６に示した各構成要素は、図１に示したＣＰＵ１０１により実現される。

以下、図１１〜図１９を参照して本発明の情報処理装置における検索結果表示処理について説明する。

図１１は、本発明の情報処理装置における第１の制御処理手順の一例を示すフローチャートであり、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ１０１〜Ｓ１０６は各ステップを示す。

まず、ステップＳ１０１において、データグループ生成部２０１が、ＨＤ１１２より検索結果データを取得し（検索データ取得処理：図１２）、ステップＳ１０２において、取得した検索データからグループを生成する（グループ生成処理：図１４）。

そして、ステップＳ１０３において、配置データ生成部２０２が、ステップＳ１０２で生成した各グループ内の各画像の表示位置をそれぞれ設定し（グループ内表示位置設定処理：図１６）、ステップＳ１０４において、ウィンドウ内のグループの表示位置をそれぞれ設定する（ウィンドウ内グループ表示位置設定処理：図１７）。

次に、ステップＳ１０５において、配置データ生成部２０２は、表示部１１１に所定のウィンドウ（図２に示したウィンドウ１）を表示させ、前記ステップＳ１０２で算出した各グループ内の各画像の表示位置（後述する合致度テーブル１５０１に格納される）及びステップＳ１０３で算出したウィドウ内のグループの表示位置（後述する位置情報テーブル１５０２に格納される）に基づいて各グループおよび各グループ内の画像を前記ウィンドウ内に表示するウィンドウ表示処理を行う。この時、各グループ及び各グループ内の画像を、各表示位置のＸ，Ｙ座標に基づく位置に、Ｚ座標に基づくサイズ及び濃度で表示するように制御する。

最後に、視点変更制御部２０４が、ステップＳ１０６において、表示更新処理（図１８）を行う。

図１２は、本発明の情報処理装置における第２の制御処理手順の一例を示すフローチャートであり、図１１のステップＳ１０１に示した検索データ取得処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ２０１〜Ｓ２０３は各ステップを示す。

まず、ステップＳ２０１において、図１に示すＨＤ１１２から画像データと、該画像データの類似度（形状類似度，色合い類似度）を取得し（Ｓ２０１，Ｓ２０２）、ステップＳ２０３において、図１３に示す画像データ・類似度マッピングテーブルをＲＡＭ１０２内のワークエリアに生成し、処理をリターンする。

図１３は、本発明の情報処理装置における画像データ・類似度マッピングテーブルの一例を示す図である。

図１３に示すように、画像データ・類似度マッピングテーブルは、画像データ名，形状類似度，色合い類似度等で構成される。

図１４は、本発明の情報処理装置における第３の制御処理手順の一例を示すフローチャートであり、図１１のステップＳ１０２に示したグループ生成処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ３０１〜Ｓ３０５は各ステップを示す。

まず、ステップＳ３０１において、画像データ数を取得し、ステップＳ３０２において、図１３に示したような形状類似度，色合い類似度等から合致度を算出し、図１５に示す合致テーブル１５０１をＲＡＭ１０２内に生成する。

次に、ステップＳ３０３において、予め設定される所定の合致度（閾値）に基づいて、ステップＳ３０１で取得した画像データを分類した際のグループ数を計算し、該計算したグループ数と同数のレコードを合致度テーブル１５０１内に生成する。

次に、ステップＳ３０４において、グループを１つ取得し、該グループに対応する位置情報テーブル１５０２及びグループ内の位置情報テーブル１５０２−１をＲＡＭ１０２内に生成し、位置情報テーブル１５０２にグループ内の位置情報テーブル１５０２−１を紐付ける。また、合致度テーブル１５０１内の前記グループに対応するレコードに、該グループに対応する位置情報テーブル１５０２を紐付ける。

次に、ステップＳ３０５において、まだステップＳ３０４を実行していないグループがあるか否かを判定し、まだあると判定した場合には、ステップＳ３０４に戻り、一方、無いと判定した場合には、処理をリターンする。

図１６は、本発明の情報処理装置における第４の制御処理手順の一例を示すフローチャートであり、図１１のステップＳ１０３に示したグループ内表示位置設定処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ４０１〜Ｓ４０７は各ステップを示す。

まず、ステップＳ４０１において、合致度テーブル１５０１を取得し、ステップＳ４０２において、該合致度テーブル１５０１からグループ（レコード）を合致度の高い順に１つ選択し、該グループの位置情報テーブル１５０２及び該グループ内の位置情報テーブル１５０２−１を取得する。

次に、ステップＳ４０３において、当該グループ内の画像を合致度の高い順に１つ取得し、最も合致度が高い画像を先頭表示するように、該画像のグループ内での画像左上座標（Ｘ，Ｙ）を算出し、ステップＳ４０４において、該画像のグループ内でのＺ座標を算出し、ステップＳ４０５において、ステップＳ４０３，Ｓ４０４での算出結果で、グループ内の位置情報テーブル１５０２−１を更新し、ステップＳ４０６に進む。

ステップＳ４０７において、まだステップＳ４０４〜Ｓ４０５を実行していない画像があるか否かを判定し、あると判定した場合には、ステップＳ４０３に戻り、無いと判定した場合には、ステップＳ４０７に進む。

ステップＳ４０７において、まだステップＳ４０２〜Ｓ４０６を実行していないグループがあるか否かを判定し、あると判定した場合には、ステップＳ４０２に戻り、無いと判定した場合には、処理をリターンする。

なお、ステップＳ４０３における画像左上座標算出は、グループ内の各画像が例えば同心円上に配置されるように算出する。

図１７は、本発明の情報処理装置における第５の制御処理手順の一例を示すフローチャートであり、図１１のステップＳ１０４に示したウィンドウ内グループ表示位置設定処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ５０１〜Ｓ５０５は各ステップを示す。

まず、ステップＳ５０１において、合致度テーブル１５０１からグループ（レコード）を合致度の高い順に１つ選択し、該グループの位置情報テーブル１５０２を取得し、ステップＳ５２において、最も合致度が高いグループを先頭表示するように、該グループの表示左上座標（Ｘ，Ｙ）を算出し、ステップＳ５０３において、該グループのＺ座標を算出し、ステップＳ５０４において、ステップＳ５０２，Ｓ５０３での算出結果で、位置情報テーブル１５０２を更新し、ステップＳ５０５に進む。

ステップＳ５０５において、まだステップＳ５０１〜Ｓ５０４を実行していないグループがあるか否かを判定し、あると判定した場合には、ステップＳ５０１に戻り、無いと判定した場合には、処理をリターンする。

なお、ステップＳ５０２におけるグループ左上座標算出は、各グループが例えば同心円上に配置されるように算出する。

図１８は、本発明の情報処理装置における第６の制御処理手順の一例を示すフローチャートであり、図１１のステップＳ１０６に示した表示変更処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ６０１〜Ｓ６０６は各ステップを示す。

まず、ステップＳ６０１において、入力情報検知部３０１が、ＰＤ１１０の所定の操作（例えば、ＰＤ１１０のＹ方向の移動操作等）を検知するまで待機し、ＰＤ１１０，ＫＢ１０９からの所定の操作が検知されたと判定した場合には、ステップＳ６０２において、ＰＤ１１０のＹ方向移動距離を取得し、ステップＳ６０３において、Ｙ方向に変位があるか否かを判定する。

ステップＳ６０３で、Ｙ方向に変位が無いと判定した場合には、ステップＳ６０１に戻る。

一方、ステップＳ６０３で、Ｙ方向に変位があると判定した場合には、ステップＳ６０４に進み、グループ表示位置算出部３０２が、後述する図１９に示す表示グループ位置更新処理を行う。

次に、ステップＳ６０５において、表示グループ生成部３０５が、ウィンドウ表示更新処理を行い、ステップＳ６０６において、インジケータ更新処理を行い、ステップＳ６０１に戻る。

図１９は、本発明の情報処理装置における第７の制御処理手順の一例を示すフローチャートであり、図１８のステップＳ６０４に示した表示グループ位置更新処理に対応する。なお、このフローチャートの処理は、図１に示したＣＰＵ１０１がＨＤ１１２又はその他の記録媒体に格納されたプログラムをＲＡＭ１０２にロードして実行することにより実行される。なお、Ｓ７０１〜Ｓ７０３は各ステップを示す。

ステップＳ７０１において、Ｙ方向の変位量を取得し、該取得したＹ方向の変位量に基づいて、次に先頭に表示されるグループを特定し、該特定されたグループを示す情報（先頭表示グループ情報）をＲＡＭ１０２内に格納する。

次に、ステップＳ７０２において、前記ＲＡＭ１０２内に格納された先頭表示グループ情報に対応するグループを先頭表示するように、グループの表示左上位置座標（Ｘ，Ｙ）とＺ座標を再計算して、位置情報テーブル１５０２を更新する。

そして、ステップＳ７０３において、まだステップＳ７０２を実行していないグループがあるか否かを判定し、あると判定した場合には、ステップＳ７０２に戻り、無いと判定した場合には、処理をリターンする。

なお、ステップＳ７０２では、新たに先頭に表示されるグループより合致度が高いグループの画像は、循環して、最後尾に表示されるように座標を再計算するものとする。

また、図１８，図１９では、ＰＤがＹ方向移動され、表示グループ位置を変更する場合について説明したが、グループの枠外でＰＤがＹ方向移動した場合には、上記図１８，図１９の処理を行って、表示グループ位置を変更し、グループの枠の中で、ＰＤがＹ方向移動された場合には、グループ内の各画像の表示位置を変更するように構成してもよい。

グループの枠の中でＰＤがＹ方向移動された場合、図１９に示した処理と同様に、Ｙ方向の変位量を取得し、該取得したＹ方向の変位量に基づいて、次に先頭に表示される画像を特定し、該特定された画像を示す情報（先頭表示画像情報）をＲＡＭ１０２内に格納する。

次に、ＲＡＭ１０２内に格納された先頭表示画像情報に対応する画像を先頭表示するように、ＰＤが移動したグループ内の各画像の表示左上位置座標（Ｘ，Ｙ）とＺ座標を再計算して、グループ内の位置情報テーブル１５０２−１を更新するものとする。

また、図１８のステップＳ６０５では、新たに先頭に表示されるグループより合致度が高いグループの画像は、一旦拡大表示した後、最後尾に表示するようにして、循環する様子をユーザに確認させるように構成してもよい。

また、特定のグループの枠線近辺をＰＤでクリックすることによって、直接指定されたグループを最前面に移動させて表示させることも可能である。この操作によって、図１８，図１９に示した処理を実行させ、瞬時に目的とする画像に到達することが可能となる。

さらに、特定のデータ集合体のみをズームアップして表示し、そのなかから目的とする１つのデータを指示することにより、より詳細なデータ表示を実現する。このときズームアップされた画像データ群は、更にグループ内でいくつかのグループとして同様の表示形式を提供すること、もしくは、サムネイルによる行列方向の表示方式を提供することも可能である。

また、ウィンドウには、現在着目しているデータ集合がどれほどの合致率を持つ集合体かを示すインジケータ２（図２）が存在する。このため、現在最前面に表示されているデータ集合がどれほど求めるデータに一致しているかを一目で把握することができる。

さらに、一度グループにまとめられた画像データ群を対象として同様の表示形式を提供することにより、候補データ中から更に詳細な類似画像検索結果を表示することも可能である。これにより、ユーザは複数回の絞込み検索を統一されたユーザインタフェースで操作することが可能となり、操作時の戸惑いやミスを軽減することが可能となる。

以下、図７に示したグループ内のグループ表示について説明する。

図２０は、グループ内にサブグループが定義されている場合の位置情報テーブルを示す模式図である。

図２０に示すように、グループに、サブグループが定義されている場合、位置情報テーブルにサブグループの位置情報テーブルが紐付けられ、さらに、このサブグループにさらに下のグループの位置情報テーブルが紐付けられる。そして、最後に、画像の位置を示す位置情報テーブルが紐付けられるものとする。

そして、入れ子式に、グループからサブグループさらにそのサブグループへと入っていき、それぞれ属するグループ内の表示位置を計算するものとする。

以上説明したように、画像キーワードではなく、画像形状や色合いから類似画像を検索する検索方法では、まったく同一画像を除いて、類似画像を的確に検索することは困難であり、大量データから類似画像群を絞り込むといった使われ方に利用されるが、このような使用目的の場合、本発明のように、グループ化された画像群を一まとめにして表示することにより、有効に絞り込み操作を行うことができる。

また、類似画像検索の結果、類似度によって画像がグループ化されているため、類似画像の集まりを直感的に扱いやすくなる。

さらに、一般的な類似画像検索では、形状や色合いなどを元に画像の類似度を計測し、検索結果を表示している。したがって、検索が終了した時点で、類似度によるグルーピングが可能であるが、従来では、この情報を用いることなく、類似度が高い順に画像を並べて表示している。これに対して、本発明では、類似画像を検索する上で用いた類似度を再利用し、検索結果をグループ化して表示することにより、特に大量データからの絞込み検索では効果を発揮する。

なお、グループ化のためのパラメータは、検索時に算出しているため、本発明を実現するために再計算する必要はない。

さらに、複数の画像がグループ化されているため、全画像を一列に並べるよりも、本発明の３次元表示方法では、少ないスペースで画像表示することができる。したがって、目的の画像に達するための操作時間短縮はもちろんであるが、全画像を閲覧するために要する時間も従来の表示方式よりも早くなる。

また、本発明では、グループ化された類似画像の中から、目的とする画像に到達するまでの時間をなるべく短くするため、あえて不必要な情報はユーザの目に触れないように工夫してあり、類似画像間の３次元方向の移動も、直線的に移動させる方式を用いている。

このため、短時間でグループ化された画像群間を移動できるため、大容量画像が検索の対象となっている場合、目的の画像に達するまでの時間の大幅な縮小が実現可能となっている。

なお、本発明では、画像の類似度に着目してグループ化し表示を行っているが、例えば、デジタルカメラ等で撮影した画像の撮影年月日や時刻によってグループ化を行い、年単位、月単位、週単位などの画像群を表示することも可能である。

以上説明したように、ＣＰＵ１０１は、ＨＤ１１２に記憶される（検索処理時に指定された画像データとの合致度（類似度）により）カテゴライズされた複数の画像データを所定の閾値（合致度）で複数の順序構造（合致度により決まる順序構造）を有するグループに分類し、前記分類された複数のデータを、前記各グループ毎に前記順序構造に基づく表示順序，サイズ，濃度で重ねて表示制御し、また、ＣＰＵ１０１は、ＰＤ１１０のＹ方向への移動量に応じて、前記重ねて表示された前記複数の画像データの表示順序を循環変更するように制御し、さらに、ＣＰＵ１０１は、ＰＤ１１０により指示（クリック）された画像データを最前面に表示させるように、前記重ねて表示された前記複数の画像データの表示順序を循環変更するように制御することにより、多量の画像データを表示する場合でも、目的とする画像データに容易に辿り付くことができる優れた画像データ表示環境を構築することができる。

また、検索結果を表示する際、もっとも合致率の高いデータが奥行き方向の一番手前に他のデータよりも大きなサイズで表示されるため、直感的に検索データを確認することができる。

さらに、画面内に存在するインジケータによって、現在着目しているデータが全データ中のどれくらいの合致率を持っているか、直感的に把握することが可能となる。

なお、大量のデータから目的とするデータを検索する場合を想定すると、そのほとんどは、合致率の高い数パーセントを探し出せばよいはずであり、例えば、１０００００枚の画像データから類似している画像を探し出す場合、１回目の検索で上位１００枚を検索し、２回目の検索で１００枚中の上位１０枚を探し出せば、目的とする画像が含まれるグループに到達することができる。もしくは、最初の検索で求められた類似性の高い画像データ中から目視で類似データを検索することが可能となる。

このように、本発明によれば、対象データ１０００００枚から目視によるデータ検索を行うより、ある程度絞り込まれた１００枚から目視によるデータ検索を行うほうが、目的とするデータにたどり着くまでの時間は大幅に短縮できる。

上記実施形態の各変形例を組み合わせた構成も全て本発明に含まれるものである。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

以下、図２１に示すメモリマップを参照して本発明に係る情報処理装置で読み取り可能なデータ処理プログラムの構成について説明する。

図２１は、本発明に係る情報処理装置で読み取り（読み出し）可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバージョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、インストールするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図１１，図１２，図１４，図１６，図１７，図１８，図１９に示す機能が外部からインストールされるプログラムによって、ホストコンピュータにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

上記実施形態では、画像の類似度に着目してグループ化し表示を行っているが、例えば、デジタルカメラ等で撮影した画像の撮影年月日や時刻によってグループ化を行い、年単位、月単位、週単位などの画像群を表示する用途にも利用可能である。

本発明の一実施形態を示す情報処理装置の構成を示すブロック図である。 本発明の概要を説明するための模式図である。 本発明の概要を説明するための模式図である。 本発明の概要を説明するための模式図である。 本発明の概要を説明するための模式図である。 本発明の概要を説明するための模式図である。 本発明の概要を説明するための模式図である。 本発明の概要を説明するための模式図である。 本発明の情報処理装置の機能構成を示すブロック図である。 図９に示した視点変更制御部の構成を示すブロック図である。 本発明の情報処理装置における第１の制御処理手順の一例を示すフローチャートである。 本発明の情報処理装置における第２の制御処理手順の一例を示すフローチャートである。 本発明の情報処理装置における画像データ・類似度マッピングテーブルの一例を示す図である。 本発明の情報処理装置における第３の制御処理手順の一例を示すフローチャートである。 合致テーブル，位置情報テーブルの一例を示す模式図である。 本発明の情報処理装置における第４の制御処理手順の一例を示すフローチャートである。 本発明の情報処理装置における第５の制御処理手順の一例を示すフローチャートである。 本発明の情報処理装置における第６の制御処理手順の一例を示すフローチャートである。 本発明の情報処理装置における第７の制御処理手順の一例を示すフローチャートである。 グループ内にサブグループが定義されている場合の位置情報テーブルを示す模式図である。 本発明に係る情報処理装置で読み取り（読み出し）可能な各種データ処理プログラムを格納する記録媒体（記憶媒体）のメモリマップを説明する図である。 この種の情報処理装置の利用形態を示す図である。である。

符号の説明

１０１ ＣＰＵ
１０２ ＲＡＭ
１０９ ＫＢ
１１０ ＰＤ
１１１ 表示部
１１２ ＨＤ

Claims (10)

1. 記憶手段に記憶されるカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類する分類手段と、
   前記複数の画像データを、前記分類手段により分類された各グループ毎に前記順序構造に基づく表示順序で重ねて表示手段へ表示するように制御する表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記複数の画像データを、前記分類手段により分類された各グループ毎に、前記表示順序に基づくサイズで表示するように制御することを特徴とする請求項１記載の情報処理装置。
3. 前記表示制御手段は、前記複数の画像データを、前記分類手段により分類された各グループ毎に、前記表示順序に基づく濃度で表示するように制御することを特徴とする請求項１又は２記載の情報処理装置。
4. 前記表示制御手段により重ねて表示された前記複数の画像データの表示順序を循環変更制御する循環変更手段を設けたことを特徴とする請求項１〜３のいずれかに記載の情報処理装置。
5. 前記循環変更手段による表示順序の循環変更量を指示する第１の指示手段を設けたことを特徴とする請求項４記載の情報処理装置。
6. 前記表示制御手段により重ねて表示された前記複数の画像データのいずれかを指示する第２の指示手段を設け、
   前記循環変更手段は、前記第２の指示手段により指示された画像データを最前面に表示させるように、前記表示制御手段により重ねて表示された前記複数の画像データの表示順序を循環変更制御することを特徴とする請求項４又は５記載の情報処理装置。
7. 前記分類手段は、所定の画像データに対する類似度によりカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類することを特徴とする請求項１〜６のいずれかに記載の情報処理装置。
8. 記憶手段に記憶されるカテゴライズされた複数の画像データを所定の閾値で複数の順序構造を有するグループに分類する分類工程と、
   前記複数のデータを、前記分類工程により分類された各グループ毎に前記順序構造に基づく表示順序で重ねて表示手段へ表示するように制御する表示制御工程と、
   を有することを特徴とする画像データ表示制御方法。
9. 請求項８に記載された画像データ表示制御方法を実行するためのプログラム。
10. 請求項８に記載された画像データ表示制御方法を実行するためのプログラムをコンピュータが読み取り可能に記憶した記録媒体。

Images