JP2007080109A - データ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラム - Google Patents

Abstract

【課題】データ集合のデータから自動的に各データ間の構造を抽出してその構造に沿ってデータを表示することができる画像表示装置を提供する。
【解決手段】データを表示部に表示させる画像表示装置は、類似度算出部１１、構造抽出部１２、配列部１３，グルーピング部１４、および表示制御部１５を備える。類似度算出部１１は、複数のデータからなる集合のデータ同士の類似を解析して類似度を算出する。構造抽出部１２は、類似度算出部１１によって算出された類似度に基づいてデータ間の相互に関連する構造を抽出し、かつ、抽出された構造における各データの位置を画定する。キーボード１８は、構造抽出部１２によって画定された構造上の位置の指定を受け付ける。表示制御部１５は、キーボード１８が受け付けた構造上の位置の指定に従って、データをモニタ１６に視覚的に表示させるよう制御する。
【選択図】 図１

Description

本発明は、データ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラムに関するものである。

一般的なデータ集合は、時代の要請によって常に増加傾向にある。データ集合において、効率良く所望のデータを検索するためにはデータが何らかの順序配列によって構造化されていなければならない。特に、検索レベルを変化させるズーミング手法を適用するためには階層に沿った配列がなされている必要がある。しかしながら、大量のデータを人手による作業で階層的な構造にまとめることは困難である。

これを解決するために、現在、構造化されていないデータ集合をブラウジングするズーミングの手法は、ブラウジングに必要な構造を抽出するために、データ項目に事前に割り当てられた属性情報であるメタデータを利用する技術が考案されている。

一方、データ項目の内容から構造化を抽出しようとする手法は、通常、ブラウジングすることを考慮していなく、また、ズーミング方式による表示を適用していない。そのため、便利な技術であるとは言えなかった。

例えば、ＴｒｅｅｍａｐｓとＢｕｂｂｌｅｍａｐｓを用いるズーミング可能なイメージブラウザＰｈｏｔｏＭｅｓａ（Ｒ）のイメージブラウザは、ズーミング手法を用いているが、画像ファイルが保存されているディレクトリの階層構造に依拠しているという不便さがあった。

これらの点を改良しようとして、ズーミング機能を有する技術（特許文献１）、データ集合において任意にブラウジングを可能にする技術（特許文献２）、および表示される画像のレイアウトを決定するために画像の内容を考慮する技術（特許文献３）が考案されている。

特開２００３−２１６２９８号公報 国際公開２００３／０４４６９３号パンフレット 特開２００４−１１０７８７号公報

しかしながら、特許文献１の技術は、データ項目間に事前に与えられた関係に依存しているという問題があった。特許文献２の技術は、データ集合におけるデータ間の“リンク”が事前に与えられている必要があったという問題があった。特許文献３の技術は、ズーミング手法および一般的なブラウジングは考慮されていないという問題があった。

つまり、特許文献１〜３の技術では、まずユーザが最初にデータを組織化してディレクトリに格納するか、あるいは、ユーザがデータ項目間の関係を定義する必要があった。そして、データ集合に含まれるデータにおいて自動的に関係性を定義できないという問題点があった。特に、画像データの場合、画像の内容に従ってではなく、ディレクトリ構造や、画像に付随するメタデータによって構造が定義されるという制約があった。

本発明は、上記の問題点に鑑みてなされ、その目的は、関係性の規定されていない複数のデータからなるデータ集合において、自動的にデータ集合内の各データ間の構造を抽出し、表示手段における表示の詳細さのレベルを変化させるズーミング方式を適用してデータ項目を表示することができるデータ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラムを提供することである。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、複数のデータからなる集合の前記データを表示手段に表示させるデータ表示装置であって、前記データ同士の類似を解析して類似度を算出する類似度算出手段と、前記類似度算出手段によって算出された類似度に基づいて前記データ間の相互に関連する構造を抽出し、かつ、抽出された構造における各データの位置である構造上の位置を画定する構造抽出手段と、前記構造抽出手段によって画定された前記構造上の位置の指定を受け付ける受付手段と、前記受付手段が受け付けた前記構造上の位置の指定に従って、前記データを前記表示手段に視覚的に表示させるよう制御する表示制御手段と、を備えたことを特徴とする。

請求項２にかかる発明は、請求項１に記載のデータ表示装置において、前記受付手段は、前記表示手段において視覚的に表示される前記データの表示から、前記構造における位置の指定を受け付けるものであることを特徴とする。

請求項３にかかる発明は、請求項１または２に記載のデータ表示装置において、前記類似度算出手段は、前記データとして、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出するものであることを特徴とする。

請求項４にかかる発明は、請求項１〜３のいずれか１つに記載のデータ表示装置において、前記構造抽出手段は、前記データに対して、それぞれ前記類似度の近いデータの集合であるグルーピングデータ集合を生成するグルーピング手段、および、前記類似度によって順序づける配列データ集合を生成する配列手段を有し、前記グルーピング手段によって生成されるグルーピングデータ集合、および前記配列手段によって生成される配列データ集合を用いて前記構造を抽出し、かつ、前記構造上の位置を画定し、前記表示制御手段は、前記表示手段に、前記グルーピングデータ集合、および、前記配列データ集合の少なくともいずれかを表示するものであることを特徴とする。

請求項５にかかる発明は、請求項４に記載のデータ表示装置において、前記受付手段は、前記表示手段に表示する前記グルーピングデータ集合の個数の指定を受け付け、かつ、表示される前記グルーピングデータ集合において表示する前記データの個数の指定を受け付けるものであり、前記受付手段が受け付けた前記個数の指定に従って、前記表示手段に表示させるデータを選択する選択手段を、さらに備え、前記表示制御手段は、前記選択手段によって選択されるデータを、前記構造上の位置に従って、前記表示手段に表示させるよう制御するものであることを特徴とする。

請求項６にかかる発明は、請求項１〜５のいずれか１つに記載のデータ表示装置において、前記類似度算出手段は、前記データに付加されたメタデータを含む属性情報によって類似度を算出するものであることを特徴とする。

請求項７にかかる発明は、請求項４〜６のいずれか１つに記載のデータ表示装置において、前記表示制御手段は、前記グルーピングデータ集合を、前記構造および前記構造における位置に従って、前記表示手段に表示させるものであることを特徴とする。

請求項８にかかる発明は、請求項４〜７のいずれか１つに記載のデータ表示装置において、前記表示制御手段は、前記配列データ集合のデータを、前記構造および前記構造における位置に従って、前記表示手段に表示させるものであることを特徴とする。

請求項９にかかる発明は、請求項４〜８のいずれか１つに記載のデータ表示装置において、前記受付手段は、前記グルーピングデータ集合のみの表示、前記配列データ集合のみの表示、およびそれら両方の表示の間で、表示の切り替え指定を受け付けるものであり、前記表示制御手段は、前記受付手段が受け付けた切り替え指定に従って、前記表示手段での表示を切り替えさせるものであることを特徴とする。

請求項１０にかかる発明は、請求項５〜９のいずれか１つに記載のデータ表示装置において、前記受付手段は、前記表示手段で表示させる前記グルーピングデータ集合の個数および前記配列データの個数の少なくともいずれかを増加させるズームイン指定と、前記少なくともいずれかを減少させるズームアウト指定とを受け付けるものであり、前記選択手段は、前記受付手段が受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示させる前記個数のグルーピングデータ集合および配列データの選択を行い、前記表示制御手段は、前記選択手段が選択したグルーピングデータ集合および配列データを、前記表示手段にズームインの態様およびズームアウトの態様で表示させるものであることを特徴とする。

請求項１１にかかる発明は、複数のデータからなる集合の前記データの類似度を類似度算出手段により算出し、構造抽出手段によって前記データの構造を抽出し、受付手段によって前記構造上の位置の指定を受け付け、表示制御手段が前記データを表示手段に視覚的に表示させるデータ表示装置におけるデータ表示方法であって、前記データ同士の類似を解析して類似度を算出する類似度算出工程と、前記類似度算出工程で算出された類似度に基づいて、前記データ間の相互に関連する構造を抽出し、かつ、抽出された構造における各データの位置を画定する構造抽出工程と、前記構造抽出工程で抽出された構造において画定された位置である構造上の位置の指定を受け付ける受付工程と、前記受付工程で受け付けられた前記構造上の位置の指定に従って、前記データを前記表示手段に表示させるよう制御する表示制御工程と、を含むことを特徴とする。

請求項１２にかかる発明は、請求項１１に記載のデータ表示方法において、前記受付工程は、前記表示制御工程において前記表示手段に視覚的に表示される前記データの表示から、前記構造上の位置の指定を受け付けるものであることを特徴とする。

請求項１３にかかる発明は、請求項１１または１２に記載のデータ表示方法において、前記類似度算出工程は、前記データとして、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出するものであることを特徴とする。

請求項１４にかかる発明は、請求項１１〜１３のいずれか１つに記載のデータ表示方法において、前記構造抽出工程は、前記データに対して、グルーピング手段によってそれぞれ前記類似度の近いデータの集合であるグルーピングデータ集合を生成するグルーピング工程、および、配列手段によって前記類似度で順序づけて配列データ集合を生成する配列工程を含み、前記グルーピング工程で生成されるグルーピングデータ集合、および前記配列工程で生成される配列データ集合を用いて前記構造を抽出し、かつ、前記構造上の位置を画定し、前記表示制御工程は、前記表示手段に、前記グルーピングデータ集合、および、前記配列データ集合の少なくともいずれかを表示させるものであることを特徴とする。

請求項１５にかかる発明は、請求項１４に記載のデータ表示方法において、前記受付工程は、前記表示手段に表示する前記グルーピングデータ集合の個数の指定を受け付け、かつ、前記表示手段に表示する前記グルーピングデータ集合におけるデータの個数の指定を受け付けるものであり、前記受付工程が受け付けた前記個数の指定に従って、選択手段によって、前記表示手段に表示させるデータを選択する選択工程を、さらに備え、前記表示制御工程は、前記選択工程で選択されたデータを、前記構造上の位置に従って、前記表示手段に表示させるよう制御するものであることを特徴とする。

請求項１６にかかる発明は、請求項１１〜１５のいずれか１つに記載のデータ表示方法において、前記類似度算出工程は、前記データに付加されたメタデータを含む属性情報によって類似度を算出するものであることを特徴とする。

請求項１７にかかる発明は、請求項１４〜１６のいずれか１つに記載のデータ表示方法において、前記表示制御工程は、前記グルーピングデータ集合を、前記構造上の位置に従って、前記表示手段に表示させるものであることを特徴とする。

請求項１８にかかる発明は、請求項１４〜１７のいずれか１つに記載のデータ表示方法において、前記表示制御工程は、前記配列データ集合のデータを、前記構造上の位置に従って、前記表示手段に表示させるものであることを特徴とする。

請求項１９にかかる発明は、請求項１４〜１８のいずれか１つに記載のデータ表示方法において、前記受付工程は、前記グルーピングデータ集合のみの表示、前記配列データ集合のみの表示、およびそれら両方の表示の間で、表示の切り替え指定を受け付けるものであり、前記表示制御工程は、前記受付工程が受け付けた切り替え指定に従って、前記表示手段での表示を切り替えさせるよう制御するものであることを特徴とする。

請求項２０にかかる発明は、請求項１５〜１９のいずれか１つに記載のデータ表示方法において、前記受付工程は、前記表示手段で表示させる前記グルーピングデータ集合の個数および前記配列データの個数の少なくともいずれかを増加させるズームイン指定と、前記少なくともいずれかを減少させるズームアウト指定とを受け付けるものであり、前記選択工程は、前記受付工程が受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示させる前記個数のグルーピングデータ集合および配列データの選択を行い、前記表示制御工程は、前記選択工程で選択したグルーピングデータ集合および配列データを、前記表示手段にズームインの態様およびズームアウトの態様で表示させるものであることを特徴とする。

請求項２１にかかる発明は、プログラムであって、請求項１１〜２０のいずれか１つに記載のデータ表示方法をコンピュータに実行させることを特徴とする。

請求項１にかかる発明によれば、類似度算出手段が複数のデータからなる集合のデータの類似度を算出し、構造抽出手段が類似度に基づいてデータ間の構造を抽出し、かつ、該構造における各データの位置を画定し、構造上の位置の指定を受け付けて、該位置の指定に従ってデータを表示手段に表示させる。この構成によって、複数のデータ間の構造上の位置の指定を受け付けた場合、受け付けた位置に対応するデータを表示手段に表示することによって、ユーザは構造上の位置に対応するデータを表示させることができると共に、表示させたデータが抽出された構造上の位置に対応しているため、該構造にそって他の類似するあるいは対照的なデータなどを容易に指定して表示させることができるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項２にかかる発明によれば、表示手段に視覚的に表示されるデータの表示から、構造上の位置の指定を受け付けることができるので、操作性に優れ、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項３にかかる発明によれば、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出するので、各種の異なる種類のデータであっても類似度で統一的に構造を抽出して同時に表示することができるので、異なる種類のデータに対しても、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項４にかかる発明によれば、データに対して、類似度の近いグルーピングデータ集合を生成し、また、類似度で順序づけて配列データ集合を生成し、グルーピングデータ集合、および配列データ集合を用いて表現する構造を抽出し、かつ、構造上の位置を画定して、グルーピングデータ集合、および、配列データ集合の少なくともいずれかを表示させる。この構成によって、データをグルーピング集合に分け、グルーピング集合の中で配列して表示させるので、視覚的に明瞭なデータの表示であって、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項５にかかる発明によれば、表示手段に表示するグルーピングデータ集合の個数の指定と、表示されるグルーピングデータ集合におけるデータの個数の指定を受け付けて、表示させるデータを選択し、選択されたデータを、構造上の位置に従って表示手段に表示させる。この構成によって、表示させるグルーピング集合の多寡と、グルーピング集合の中で表示データの多寡を制御して表示するので、系統的にデータの増減を指定して表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項６にかかる発明によれば、データに付加されたメタデータを含む属性情報によって類似度を算出して、正確な類似度に基づく構造上の位置に従ってデータを表示することができるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項７にかかる発明によれば、グルーピングデータ集合を、構造上の位置に従って、表示手段に表示させるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項８にかかる発明によれば、配列データ集合のデータを、構造上の位置に従って、表示手段に表示させるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項９にかかる発明によれば、グルーピングデータ集合のみの表示、および、配列データ集合のみの表示の切り替え指定を受け付けて、表示手段に切り替えて表示するので、視認性が良く、系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項１０にかかる発明によれば、表示手段で表示させるグルーピングデータ集合の個数および配列データの個数の少なくともいずれかを増加させるズームイン指定と、少なくともいずれかを減少させるズームアウト指定とを受け付け、受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示させる個数のグルーピングデータ集合および配列データの選択を行い、選択したグルーピングデータ集合および配列データを、表示手段にズームインの態様およびズームアウトの態様で表示させる。この構成によって、ズームインおよびズームアウトの入力を行ってズームインおよびズームアウトの態様でデータを表示させることができるので、検索に際してズームインおよびズームアウトの態様で系統的にデータを表示させて検索することができる利便性の高い画像表示装置を提供できる。

請求項１１にかかる発明によれば、類似度算出手段が複数のデータからなる集合のデータの類似度を算出し、構造抽出手段が類似度に基づいてデータ間の構造を抽出し、かつ、該構造における各データの位置を画定し、構造上の位置の指定を受け付けて、該位置の指定に従ってデータを表示手段に表示させる。この構成によって、複数のデータ間の構造上の位置の指定を受け付けた場合、受け付けた位置に対応するデータを表示手段に表示することによって、ユーザは構造上の位置に対応するデータを表示させることができると共に、表示させたデータが抽出された構造上の位置に対応しているため、該構造にそって他の類似するあるいは対照的なデータなどを容易に指定して表示させることができるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１２にかかる発明によれば、表示手段に視覚的に表示されるデータの表示から、構造上の位置の指定を受け付けることができるので、操作性に優れ、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１３にかかる発明によれば、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出するので、各種の異なる種類のデータであっても類似度で統一的に構造を抽出して同時に表示することができるので、異なる種類のデータに対しても、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１４にかかる発明によれば、データに対して、類似度の近いグルーピングデータ集合を生成し、また、類似度で順序づけて配列データ集合を生成し、グルーピングデータ集合、および配列データ集合を用いて表現する構造を抽出し、かつ、構造上の位置を画定して、グルーピングデータ集合、および、配列データ集合の少なくともいずれかを表示させる。この構成によって、データをグルーピング集合に分け、グルーピング集合の中で配列して表示させるので、視覚的に明瞭なデータの表示であって、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１５にかかる発明によれば、表示手段に表示するグルーピングデータ集合の個数の指定と、表示されるグルーピングデータ集合におけるデータの個数の指定を受け付けて、表示させるデータを選択し、選択されたデータを、構造上の位置に従って表示手段に表示させる。この構成によって、表示させるグルーピング集合の多寡と、グルーピング集合の中で表示データの多寡を制御して表示するので、系統的にデータの増減を指定して表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１６にかかる発明によれば、データに付加されたメタデータを含む属性情報によって類似度を算出して、正確な類似度に基づく構造上の位置に従ってデータを表示することができるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１７にかかる発明によれば、グルーピングデータ集合を、構造上の位置に従って、表示手段に表示させるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１８にかかる発明によれば、配列データ集合のデータを、構造上の位置に従って、表示手段に表示させるので、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項１９にかかる発明によれば、グルーピングデータ集合のみの表示、および、配列データ集合のみの表示の切り替え指定を受け付けて、表示手段に切り替えて表示するので、視認性が良く、系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項２０にかかる発明によれば、表示手段で表示させるグルーピングデータ集合の個数および配列データの個数の少なくともいずれかを増加させるズームイン指定と、少なくともいずれかを減少させるズームアウト指定とを受け付け、受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示させる個数のグルーピングデータ集合および配列データの選択を行い、選択したグルーピングデータ集合および配列データを、表示手段にズームインの態様およびズームアウトの態様で表示させる。この構成によって、ズームインおよびズームアウトの入力を行ってズームインおよびズームアウトの態様でデータを表示させることができるので、検索に際してズームインおよびズームアウトの態様で系統的にデータを表示させて検索することができる利便性の高い画像表示装置における画像表示方法を提供できる。

請求項２１にかかる発明によれば、請求項１１〜２０のいずれか１つに記載のデータ表示方法をコンピュータに実行させるプログラムを提供できる。

以下に添付図面を参照して、この発明にかかるデータ表示装置、データ表示方法、およびその方法をコンピュータに実行させるプログラムの最良な実施の形態を、実施の形態１〜４、および変形例１〜４に沿って、図面を参照しながら、詳細に説明する。

なお、以下の図面の中には、写真画像も含まれ、公報上では判読が困難なものもあるため、カラーによる印刷図面を物件提出する。但し、本発明の説明において、特に写真画像が写真としての内容を明瞭に読み取られなければならないものではない。

（１．実施の形態１）
実施の形態１による画像表示装置１０は、複数の画像データからなる集合の画像データそれぞれに対して、互いの類似度を算出し、算出された類似度から互いの画像データ同士の類似によって導き出される画像データ集合における画像データの間における構造を抽出する。そして、抽出された構造における各データの位置である構造上の位置に基づいて、それぞれの画像データをモニタに表示させる。画像表示装置１０が、このようにしてそれぞれの画像データを、画像データ集合における構造に沿って画像データを表示することができる。これによって、画像表示装置１０は、画像データを抽出された構造に沿って表示するので、表示されている画像以外にどのような画像が順序立てて連続するのかを、ユーザはある程度予想が可能である。

図１は、実施の形態１による画像表示装置１０を備えた画像表示システムの構成図である。画像表示システムは、画像表示装置１０に対して、ネットワーク１を介して接続されたクライアントＰＣ２、ＭＦＰ（デジタル複合機）３、デジタルカメラ４、外部記憶装置であるハードディスクドライブ（ＨＤＤ）５が接続されている。クライアントＰＣ２、ＭＦＰ（デジタル複合機）３、デジタルカメラ４、外部記憶装置であるハードディスクドライブ（ＨＤＤ）５は、画像表示装置１０に対して、ネットワーク１を介して画像データを送信することができる。

画像表示装置１０は、類似度算出部１１、構造抽出部１２、操作入力部、表示制御部１５、モニタ、ハードディスクドライブ（ＨＤＤ）１７、キーボード１８、およびマウス１９を備える。また、構造抽出部１２は、配列部１３、およびグルーピング部１４を有する。

類似度算出部１１は、ネットワーク１を介して送信されてくる画像データを受信し、画像データ同士の類似を解析して類似度を算出する。類似度の算出としては、画像のパターンを認識した類似、色彩の類似、コントラストの類似、および文字画像の認識の類似など公知技術を適用して類似度を算出する。

構造抽出部１２は、配列部１３と、グルーピング部１４とを有する。グルーピング部１４は、画像データに対して、それぞれの類似度の近いグルーピング画像データ集合を生成する。配列部１３は、類似度によって順序づける配列画像データ集合を生成する。

表示制御部１５は、モニタ１６に、グルーピング部１４によるグルーピング画像データ集合、および、配列部１３による配列画像データ集合を表示する。表示制御部１５は、画像データをモニタに表示する場合、画像データからよりデータ量の少ないサムネイル画像データを生成して表示することが望ましい。表示のためのコストと時間の短縮のためである。また、この場合の方式は、もとの画像から補間、あるいは間引きするなど、公知技術を適用できるので、説明は省略する。

この画像表示装置１０は、ローカルに保存されるか、あるいは遠隔に設置された機器に保存されてネットワークを通じてアクセス可能なコンピュータプログラムをインストールすることによって、実施可能である。

この画像表示装置１０は、マルチメディアデータを扱うことができるが、ここでは、説明を簡略化するため、画像データを扱う場合について説明する。今、２５枚の画像があって、これら２５枚の画像がデータとしてＨＤＤ１７に格納されているとする。扱う各画像データは、ディレクトリ内のファイル、リレーショナルデータベースのレコード、およびマルチメディアデータファイルである。

図２は、実施の形態１による画像表示装置１０が表示する画像データを説明する図である。ここで扱う２５の画像データ２０１〜２２５（符号２００）は、便宜上、模式的に＃０１〜＃２５で示された画像を有するものとする。図２においては、既に、番号の順番に沿って記されているが、もともとこれらの画像データは、ランダムに画像表示装置１０に入力されて、ＨＤＤ１７に格納されたものである。

類似度算出部１１は、ＨＤＤ１７に格納された画像データ２０１〜２２５を読み出し、類似度を算出する。即ち、類似度算出部１１は＃０１〜＃２５で示された画像を有する画像データの類似度を算出する。

今、＃０１〜＃０５で示された画像を有する画像データの類似度はそれぞれ０．１〜０．５であったとする。
また、＃０６〜＃１０で示された画像を有する画像データの類似度はそれぞれ１．１〜１．５であったとする。
また、＃１１〜＃１５で示された画像を有する画像データの類似度はそれぞれ３．１〜３．５であったとする。
また、＃１６〜＃２０で示された画像を有する画像データの類似度はそれぞれ４．１〜４．５であったとする。
また、＃２１〜＃２５で示された画像を有する画像データの類似度はそれぞれ５．１〜５．５であったとする。
このように類似度が算出されたのは、類似度算出部１１が画像の類似から算出したものである。

図２中の符号２００Ｒは、上記の＃０１〜＃２５の類似度を数直線上に描いたものである。数直線上の各点を参照しても、この画像データは５つにグルーピングされる、即ち、５つの類似する集合に分けられることが推測できる。

構造抽出部１２の配列部１３は、＃０１〜＃２５で示された画像を有するデータに対して、既に、算出された類似度に基づいて、＃０１〜＃２５で示された画像データ２０１〜２２５を、図示したように、符号２０１〜２２５の順番で配列する（符号２００）。このようにして、構造抽出部１２の配列部１３は、算出された類似度を基にしてそれぞれのデータに配列処理を施す。

ここで、画像データ集合は、配列処理による配列に基づいた構造を有している。そして、配列された順番による各画像データの構造上の位置が対応する。例えば、１２番目の画像データは＃１２という画像を有するデータであって、それは、算出された類似度３．２によって画定するものである。こうして各画像データの、構造上の位置が定まる。即ち、構造抽出部１２は、類似度算出部１１によって算出された類似度に基づいて、画像データ間の相互に関連する構造を抽出した。

一方、画像データごとに、より類似度の高いもの同士を集めることによって、グルーピング処理が可能である。グルーピング部１４は、画像データごとにグルーピング処理を施す。

例えば、２つの画像データの類似度ｒ１と類似度ｒ２において、式
Δｒ１２＝｜ｒ１−ｒ２｜
で定まる関数Δｒを使用すると、各画像データごとの類似が算出できる。グルーピング部１４は、このようにして各データに対してグルーピング処理を施し、グルーピングデータ集合を生成する。

グルーピング部１４は、２５の画像データに対して、Δｒによるグルーピング処理を施した結果、類似度の近さによって＃０１〜０５（２０１ａ），……、および＃２１〜２５（２０１ｅ）の５つのグループが生成される。また、各グループの中では、配列部１３によって配列された順番に配列されている。

このようにして、配列部１３およびグルーピング部１４によって、配列処理およびグルーピング処理が施されることによって、２５あった画像データは５つのグループに分けられ、かつ、分けられた各グループ内においては内包する５つの画像データは類似度の順番に配列される。

図３は、２５の写真画像データを配列処理とグルーピング処理を施してモニタ画面上に示した例の模式図である。これら２５の画像データは、ここでは２５枚のカラー写真からなる画像データである。画像は、画像の相互の類似性に従って“Ａ”から“Ｅ”の５つのグループに分けられ、直線的に横並びに配列されている。画像の表示レイアウトは、画像のグルーピングが視覚的に表現されていれば、異なるレイアウト表示にしても良い。

画像データは内容的に５つのカテゴリーに分類されるが、この分類はグルーピング部１４がグルーピング処理を施した結果と一致する。即ち、画像データは、算出した類似度に基づいて、花、馬、バス、ビル、そして山の写真のグループに分類される。５つある各グループは、５つの画像を有する。

図３に示された各画像データの配列は、そのまま画像データの構造上の配列と１対１に対応付けることができる。従ってこの場合、５行５列の行列の各要素と対応する。

図４は、２５の写真画像データを配列処理とグルーピング処理を施してモニタ画面上に示した他の例の模式図である。図４では、０１で示された画像データを５行５列のモニタ画像の中心部に配置し、０２で示された画像データ以下を時計回りの渦巻き型に配置して表示させた。

図５は、実施の形態１による画像表示手順を説明するフローチャートである。類似度算出部１１は、ＨＤＤ１７に格納された画像データを読み出し、画像データの類似を解析して類似度を算出する。ここで、画像データ＃０１〜２５の算出された類似度はそれぞれ、図２の数直線２００Ｒに示す通りである（ステップＳ１０１）。

グルーピング部１４は、算出された画像データの類似度から、それぞれ互いの類似度を既述の関数Δｒを使用して算出し、互いに類似度の大きいものを集めてグルーピング画像データ集合を生成する。グルーピング処理の結果、図２の符号２０１ａ〜２０１ｅにグルーピングされた（ステップＳ１０２）。

配列部１３は、グルーピング部１４によってグルーピング処理を施された集合に対して、類似度により順序づけて配列する配列画像データ集合を生成する。ここでは、１つのグルーピング集合においては例えば、符号２０１ａに示されたグルーピングデータは、＃０１〜＃０５のように配列される。符号２０１ｂ〜２０１ｅのグルーピング集合についても同様に配列される（ステップＳ１０３）。

構造抽出部１２は、このようにしてグルーピング部１４によってグルーピング処理を施されたグルーピングデータ集合、および配列部１３によって配列された配列画像データ集合によって、それぞれの画像データ間の構造と、構造上の位置とを画定する。例えば、３つ目のグルーピングデータ集合において４つ目の画像データとは、５行５列で行列表示した場合における３行４列目の要素である（ステップＳ１０４）。

表示制御部１５は、グルーピングおよび配列された画像データをモニタに表示させる。例えば、図３に示したように、花の画像を横一列に、馬の画像を横一列に、という配置でモニタ上に表示させる。あるいは、図４に示したように、＃０１で示された花の画像を中心に配置して、該中心部から時計回りの渦巻き状の順序で、それぞれ画像データを配置する（ステップＳ１０５）。

このようにして、実施の形態１による画像表示装置１０は、複数の画像データについて類似度を算出し、算出された類似度から互いの画像データ同士の類似によって導き出される画像データ集合における画像データ相互の構造を抽出し、抽出された構造に沿って、それぞれの画像データをグルーピングおよび配列処理を施して表示する。画像表示装置１０が、それぞれの画像データを、画像データ集合における類似による構造に沿って画像データを表示することによって、例え画面上に表れていない他の画像データであっても、操作者は、どのような画像データの類似の方向で表示されるかが推測可能になるので、利便性の高い検索を提供できる。

（変形例１）
ここで、キーボード１８などから操作者が画像データの表示について、グルーピング表示を行うか、配列表示を行うかを入力することができ、表示制御部１５は、受け付けた表示の選択に従ってモニタに画像データを表示させることができるように構成することが望ましい。

操作者は、キーボード１８から、グルーピング集合の表示であるか、あるいは、配列集合の表示であるかの表示切り替えを要求する入力を行うと、表示制御部１５は、キーボード１８が受け付けた切り替え指定に従って、モニタ上での表示を、グルーピングデータのみの表示および配列データのみの表示の間で切り替える。

このように構成することによって、本発明をＭＦＰなどに適用する場合などにおいて、モニタの表示画面が狭い場合に、表示形態を切り替えることによって、より多くの情報量を時間の差をおいて表示することができる。

（２．実施の形態２）
図６は、実施の形態２による画像表示装置２０の機能的ブロック図である。実施の形態２による画像表示装置２０が実施の形態１と異なる点は、表示制御部２５は、キーボード１８およびマウス１９からの入力によって、構造抽出部１２によって抽出された画像データの構造上の位置を指定し、指定された画像データを表示させる点である。

既に述べた図３の場合、例えば、操作者がキーボード１８から行列の要素を示す入力を行うことによって、５行５列の各要素に対応する画像データを指定することができ、指定した画像を中心にして表示させることも可能である。また、指定した画像のグループに対して、表示制御部２５が表示制御処理を施して、最上段の位置に表示させるなど、各画像データの表示態様を変化させることができる。

また、既に述べた図４では、図３における例えば＃１１で示された画像データを中心部に配置するように入力した場合、表示制御部２５は、構造抽出部１２が抽出した構造上の位置が画定されているので、入力された＃１１を中心に配置する表示になるように制御することが可能である。こうして、表示制御部２５は、キーボード１８が受け付けた画像データの、画像データにおける構造上の位置の指定に従って、画像データを画像データの構造に沿って、モニタに視覚的に表示させることができる。

図７は、実施の形態２による画像表示手順を説明するフローチャートである。図７中のステップＳ２０１〜２０４は図５中のステップＳ１０１〜１０４と同じであるので説明を省略する。表示制御部２５は、例えば、図３での＃１１からマウス１９で操作者が入力した場合、画像データ＃１１の構造上の位置情報の入力を検知状態にあって（ステップＳ２０５）、検知した場合（ステップＳ２０５のＹｅｓ）、表示制御部２５は、受け付けた構造上の位置の指定に従って、例えば、図４で示したようなグルーピングおよび配列された画像データをモニタに表示させる（ステップＳ２０６）。

このようにして、実施の形態２による画像表示装置２０では、操作者が、キーボード１８およびマウス１９からの入力によって、例えば表示された幾つかのグルーピングの画像から特定の画像を選択し、選択したグルーピング集合から特定の画像データを選択して表示させることができるので、画像データを視覚的に表示して漸近的に所望の画像を検索して行くことができ、利便性の高い画像表示装置２０を提供できる。

また、キーボード１８およびマウス１９からの入力によって選択した特定の画像を、モニタ画面上の中心に大きく配置し、構造的に連続する画像を小さくその周囲に配置するように表示するなどの構成を取ることもできる。注目画像を大きく表示することによって、視認性の高い画像表示装置２０となる。

（変形例２）
ここで、図１に示したようなキーボード１８およびマウス１９を用いた入力装置ではなく、タッチパネル（不図示）を用いて、例えば液晶モニタ（不図示）において視覚的に表示される画像データの表示から、画像データ集合における構造上の位置の指定を、タッチ入力で受け付けることが望ましい。表示される各画像データにタッチすることによって対応する構造上の位置が入力されるので、入力される該構造上の位置によって各種の表示が可能になる。

これにより、本発明をＭＦＰなどにおいて適用する場合に、表示画面が狭く、また、入力の自由度の高いキーボード１８やマウス１９を備えることができない場合に有効である。

（３．実施の形態３）
図８は、実施の形態３による画像表示装置３０の機能的ブロック図である。実施の形態３による画像表示装置３０が実施の形態１と異なるのは、選択部３１を備える点である。選択部３１は、キーボード１８から入力される画像データの表示数に応じて、表示数に応じたグルーピング集合の個数、および、グルーピング集合において表示する画像データを選択し、表示制御部３５が、選択された画像データをモニタ上に表示する。

例えば、花の画像が集められたグルーピング集合について、代表して１つの花の画像のみが表示されている場合に、キーボード１８から３，あるいは４が入力されることによって、選択部３１は、代表されている画像に構造上連続的に配列される画像をさらに３，あるいは４つ選択し、表示制御部３５が選択された画像をモニタに表示する。

選択部３１が、同一グルーピング集合内で表示のために選択する画像データの配列の順序は、構造抽出部１２によって抽出された構造に沿った順序で所定の個数の画像データを選択する。類似度の順序に配列されているために、ユーザにとって予測しやすく、利便性が高いからである。

あるいは、特定のキー、例えばジャンプキーを設定しておいて、幾つかの個数の配列の画像を飛び越しながら、所定の個数だけ選択する構成とすることもできる。

また、選択部３１は、キーボード１８から入力されるグルーピング集合の数に応じて表示するグルーピング集合の数についての情報を受け付けて、モニタ上に表示する。これによって、操作者は、グルーピング集合のうち、いくつのグルーピング集合の数を表示させるかを設定して、自由に増減して画像検索することができる。例えば、花のグルーピング集合と馬のグルーピング集合とを表示させるように設定して表示させることができる。

図９は、実施の形態３による画像表示手順を示すフローチャートである。選択部３１は、キーボード１８からモニタにグルーピング集合を表示する数の指定を受け付けたか否かを検出し（ステップＳ３０１）、検出した場合（ステップＳ３０１のＹｅｓ）、選択部３１は、受け付けたグルーピング表示数だけのグルーピング集合を選択する（ステップＳ３０２）。そして、表示制御部３５は、選択された数だけのグルーピング集合をモニタに表示させる（ステップＳ３０３）。

一方、ステップＳ３０１においてグルーピング集合の表示数の入力を検出しなかった場合（ステップＳ３０１のＮｏ）、選択部３１は、キーボード１８から、モニタで表示されているグルーピング集合における画像データの配列個数の入力を検出する（ステップＳ３０４）。そして、検出した場合（ステップＳ３０４のＹｅｓ）、選択部３１は、受け付けた配列表示数のデータを選択し（ステップＳ３０５）、表示制御部３５は、選択された画像データをモニタに配列して表示する（ステップＳ３０６）。

このようにして、同一のグルーピング集合における画像データの表示個数、および、異なるグルーピング集合をいくつ表示させるかの入力を受け付け、選択部３１が受け付けた表示数の指定入力に従って、対応するグルーピング集合の数だけ、また、グルーピング集合において表示する画像の数を、画像データの構造上の位置に従って選択し、指定された数のグルーピング集合、および該グルーピング集合で表示する数の画像を表示することができる。

これによって、操作者は、どれくらいのグルーピング集合の数を表示し、かつ、表示されたグルーピング集合内における画像データのうち、どれくらいの個数を代表して表示させるかを設定して、表示グルーピング集合およびその中での表示画像データの個数を自由に増減させながら画像検索することができる。

例えば、花と馬についての画像を表示し、かつ、花の画像のうち、１つ、あるいは３つ、あるいは５つの画像を表示することを設定し、集合データの構造上の位置に沿って表示させることができるので、異なる画像を並置して比較するなど平行して、系統的に画像検索を行うことができる。

（変形例３）
ここで、類似度算出部１１は、画像データに対してメタデータが付加されている場合、付加されたメタデータを読み取ることによって類似度を算出する構成とすることが望ましい。メタデータとは、データに関して付加された情報のことであり、一般的には画像データについての各種の情報が含まれているため、類似度を効率良く正確に算出することができる。

また、類似度算出部１１は、画像データに付加された他の種類の属性情報によって類似度を算出することが望ましい。この場合も、メタデータから類似度を算出するのと同様に、属性情報を読み取ることによって類似度を効率良く正確に算出することができ、利便性が高いからである。

（変形例４）
ここで、類似度算出部１１は、データとして、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出することが望ましい。

例えば、テキストデータの場合、データに含まれるテキストの一致度を計数することによって類似度を算出することができる。音声データの場合、例えば、音楽であるか、人間の音声であるか、その他の音声であるかなどの判定を行って、データとしての類似度を算出することができる。また、人が話した内容であれば、音声をテキスト化して、既述のテキストデータに対する類似度算出を適用することによって音声の類似度を算出することができる。あるいは、音楽データである場合も、波形、音の高低、リズムなどを解析することによって曲同士の類似度を算出することができる。

動画データの場合、動画を構成する各画像データから幾つかの画像データを静止画として選択し、選択された静止画像データに対して、既述のような写真データに対して行ったように類似度を算出することによって、動画データの類似度を算出することができる。

このように類似度算出部１１は、扱うデータ集合がテキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータであったとしても、データの種類の差異を超えて類似度を算出してグルーピング処理および配列処理を施し、データ集合における構造を抽出し、該構造に沿って表示することができる。

これによって、異なる種類のマルチメディアデータを含んでいたとしてもグルーピング処理および配列処理を施すことによって、ユーザは、異なる種類のデータを表示して同列に扱うことができるので、データの種類にかかわらず横断的で機動的な検索が可能となる。

（４．実施の形態４）
図１０は、実施の形態４による画像表示装置４０の機能的ブロック図である。実施の形態４による画像表示装置４０が、実施の形態１と異なるのは、選択部４１が、キーボード１８およびマウス１９からの入力により、画像データのモニタでの表示個数を増加させるズームイン指定と、画像データのモニタでの表示個数を減少させるズームアウト指定とを受け付け、選択部４１は、受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示個数を増加させる画像データの選択および減少させる画像データの選択を行い、表示制御部４５は、選択部４１が選択した画像データを、モニタにズームインおよびズームアウトの態様で表示させる点である。

ここで、ズームインおよびズームアウトに関しては、モニタに表示するグルーピング集合の数を増減させる場合と、グルーピング集合内で表示する画像データ数を増減させる場合とがある。いずれの場合においても、指定された増減に対応して、モニタ上でズームインおよびズームアウトの態様で表示する。

例えば、まず、グルーピング集合のズーミング指定を受け付けたか否かを判定し受け付けた場合、グルーピング集合の個数の増減をズーミング指定に従って行って表示する。次に、同一のグルーピング集合内での画像データの表示数のズーミング指定を受け付けたか否かを判定し、受け付けた場合、ズーミング指定による同一グルーピング集合内での表示数の増減を行って表示する。

操作者は、実施の形態３においてキーボード１８からモニタでの表示個数を入力する代わりに、実施の形態４においては例えば、キーボード１８におけるＰａｇｅＵｐキーおよびＰａｇｅＤｏｗｎキーを押すことによって、モニタでの表示個数の増減を入力するように構成できる。あるいは、テンキーにおける「＋（プラス）キー」および「−（マイナス）キー」から表示個数の増減を入力可能に設定しておくこともできる。

このように、実施の形態４においては、ズーミング機能を実行するズーミング部という名称は使用していないが、ズーミング指定の受付が可能な入力装置であるキーボード１８、受け付けたズーミング指定に応じて表示数を変化させる選択部４１、および変化する表示数だけの画像データを表示させる表示制御部４５でズーミング機能を実行できる。

ここで、例えば、キーボード１８のＰａｇｅＵｐキーおよびＰａｇｅＤｏｗｎキーを、操作者が連続的に押し続けることによって、表示個数の増減を連続的に入力するよう構成できる。実施の形態４による画像表示装置４０では、このように表示個数の増減を連続的にズーミングの態様で変化させることによって、表示するグルーピング集合の個数も連続的に変化して表れる。また、同一のグルーピング集合における表示画像で多数も連続的に変化して表すことができる。このようにして、画像検索の際の表示における詳細さのレベルを飛びのある状態ではなく、連続的に変化する態様で表示することによって、検索レベルに飛びのない効率的でスムーズな検索を可能にする。

図１１は、実施の形態４による画像表示手順を説明するフローチャートである。選択部４１は、表示するグルーピング集合数の増減指定を受け付けたか否かを検出し（ステップＳ４０１）、受け付けたことを検出した場合（ステップＳ４０１のＹｅｓ）、選択部４１は、受け付けたズーミング指定に従って表示するグルーピング集合をズーミング指定に対応する個数だけ選択する。この選択は、例えば、代表画像データに近いと配列部１３が配列したグルーピング集合の順序で選択する構成とすることができる（ステップＳ４０２）。そして、表示制御部４５は、選択部４１によって選択されたグルーピング集合をモニタに表示させる（ステップＳ４０３）。

一方、選択部４１が、表示するグルーピング集合数の増減指定を受け付けなかった場合（ステップＳ４０１のＮｏ）、選択部４１は、グルーピング集合で表示する画像データのズーミング指定を受け付けたか否かを検知する（ステップＳ４０４）。検知しない場合は（ステップＳ４０４のＮｏ）、ステップＳ４０１に戻り、検知した場合（ステップＳ４０４のＹｅｓ）、選択部４１は、受け付けたズーミング指定に従う個数だけの表示する画像データを選択する（ステップＳ４０５）。ここでの選択は、例えば、配列部１３が代表画像データに類似して配列した順序に選択する構成とすることができる。

このようにして、選択部４１によって選択された画像データを表示制御部４５が、モニタに表示する（ステップＳ４０６）。グルーピング集合の個数の増減をズーミング指定によって行って表示させ、表示されたグルーピング集合の中で表示する画像データの個数の増減をズーミング指定によって行い表示させることができる。

図１２は、実施の形態４による画像表示手順を説明する他のフローチャートである。ここでは、グルーピング集合の数の増減、あるいは、選択されたグルーピング集合内における表示画像の増減のいずれの場合についても適用できる表示数の増減について説明する。

まず、選択部４１は、モニタでの表示個数を増加させるズームイン指定を受け付けたか否かを検出し（ステップＳ５０１）、検出した場合（ステップＳ５０１のＹｅｓ）、選択部４１は、ズームイン指定に従って、表示グループ数または画像データ数を増加するよう画像データを選択する（ステップＳ５０２）。そして、表示制御部４５は、ズームインされて増加したグルーピング集合または画像データをモニタに表示する（ステップＳ５０３）。

一方、選択部４１が、モニタでの表示個数を増加させるズームイン指定を受け付けなかった場合（ステップＳ５０１のＮｏ）、選択部４１は、モニタでの表示個数を減少させるズームアウト指定を受け付けたか否かを検出する（ステップＳ５０４）。ここで、選択部４１が検出した場合（ステップＳ５０４のＹｅｓ）、選択部４１は、ズームアウト指定に従って、表示グループ数または画像データ数を減少するよう選択する（ステップＳ５０５）。そして、表示制御部４５は、ズームアウトされて減少したグルーピング集合または画像データをモニタに表示する（ステップＳ５０６）。

このようにして、実施の形態４による画像表示装置４０は、操作者が検索したい画像データの集合から、表示させるグルーピング集合の数および同一グルーピング集合内において表示させる画像データの数を、ズームインおよびズームアウトの指定によって増減させて表示させる。この構成によって、操作者は、見出すべき所望の画像データを検索するに際して、表示範囲を広げて概括的に広く浅く検索したり、あるいは目的の画像データに近いものが表れた場合は類似度の高い範囲に絞って表示し詳細に検索することができるので、一見して概括的に表示させて全体を把握するとともに、画像の範囲を狭めて詳細に表示させて検索することができるので、検索に際して粗密の度合を適宜配合して効率良く所望の画像データを検索することができる。

図１３は、画像データ集合における各データ間の構造を説明する図である。図１３に示すように、２５の画像データは、５つのグルーピング集合１３０１〜１３０５に分かれており、最も少ない数である１つの画像データで代表して表示するレベルがレベル４である。ズームアウトするにつれて、１つのグルーピング集合において代表する画像データは増加する。そして、最大ズームアウトであるレベル１において、５つの画像が全て表示される。

これらの各レベルにおいて、構造抽出部１２が有するグルーピング部１４は、ズーミングに応じて選択部４１が選択するグルーピングデータ集合に応じて、グルーピング処理を施したものを出力したものである。画像データ集合の要素である各画像データは階層的な配列が可能である。ここでは、４つのレベルに分けることによって階層化した。「レベル１」から「レベル４」へと進むと、各グループの内で表示する画像の数は減少し、レベル１では最も代表的な画像のみが残ることになる。各レベルは、グルーピングされた画像データの部分集合を、複数の画像データで代表させたものと見ることができる。

図１４は、画像データ集合における配列を説明する図である。図１４では、ズーミングに応じて選択部４１が選択する配列データ数に応じて、構造抽出部１２が有する配列部１３が配列処理を施したものを表示する。画像はランク付けされ、５つの異なるレベル１４０１〜１４０５にまとめられている。「レベル１」１４０１から「レベル５」１４０５へと進むと画像の数は減少し、最も共通的に類似した画像のみが代表として残る。各レベルは、配列という見地から、各レベルにおける所定の個数の画像データによってグルーピングデータ集合を代表させたものと見ることができる。

図１５は、ズーミング操作によって表示が変化することを説明する図である。ここでは、ズーミング操作によって選択部４１が行った選択処理によって、グルーピング部１４によるグルーピングされた画像データが、表示形態を変化させている。ズームインを要求する入力によって、「最大ズームアウト」状態（左上の符号１５０１）から「最大ズームイン」状態（下中央の１５１０）へと段階的に変移する。図中、スクリーン間の変移が唐突に示されているが、精細な段階を省略することなくモニタ上では表示可能である。

図１６は、ズーミング操作の他の例を説明する図である。ズーミング操作によって、選択部４１が選択した画像データを、配列部１３が配列して表示を変化させていく様子が示されている。ズームイン動作のシーケンスにより、「最大ズームアウト」状態（左上の符号１６０１）から「最大ズームイン」状態（右下の符号１６０９）への変移が行われる。スクリーン間の変移は唐突に示されているが、それらは連続的に行うことが可能である。

図１７は、画像検索の一例を説明する図である。ここで、例えば、ユーザは、「黄色い花の写真を探す」というタスクを実行する際に、操作者の入力とモニタの動作の変化を示している。この場合、操作者が選択動作を行うと、選択入力を受け付けた選択部４１は、ズームアウト処理を施す。ここで示されたものは、「黄色い花の写真を探す」というユーザのタスクに対する可能性のあるシナリオの１例であり、選択部４１による選択動作の後に、表示制御部４５によるズームアウト動作が続くことによって、グループ表示１７０１から配列表示１７０２、および配列表示１７０３と変化する様子が画面に表示される。

ユーザは先ず、類似の花をみつけるために、先ず、赤い花を選択して入力してモニタに表示された後に、黄色い花がまだ表示されないので、次に、さらに多くの類似の画像を見るためにズームアウトする。

図１８は、画像検索の他の一例を説明する図である。ここで、例えば、ユーザは、「黄色い花の写真を探す」というタスクを実行する際の、操作者の入力とモニタの動作の他の変化を示しており、インタフェースにおける操作のシーケンス例である。ここでは、２つのズームアウト動作（グループ表示１８０１から１８０２を経て１８０３）の後に、選択動作（グループ表示１８０３から配列表示１８０４）が続く。ユーザは先ず“花”のグループから、さらに多くの花を見るために２回ズームアウトを行い、その後、黄色い花がまだ表示されないので、ユーザはもっと多くの類似する花をみつけようとして、白い花の画像を選択するというものである。即ち、「黄色い花の写真を探す」というユーザのタスクに対する可能性のあるシナリオの他の例であり、２つのズームアウト動作の後に選択動作が続くシーケンスを示している。

このように、実施の形態による画像表示装置４０は、構造化されていないデータ集合から自動的に構造を抽出するものであるが、当該システムは構造化されたデータ集合も同様に処理することができることは言うまでもないことである。

実施の形態では画像データ集合の例について説明したが、本発明は、各種のマルチメディアデータのみならず異なるマルチメディアデータの組み合わせであっても、類似度という共通の尺度によって適用することができる。

（５．ハードウェア構成など）
図１９は、実施の形態にかかる画像表示装置のハードウェア構成を説明する図である。実施の形態の画像表示装置は、ＣＰＵ２３０１などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３０２やＲＡＭ２３０３などの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置２３０４と、ディスプレイ装置などの表示装置２３０５と、キーボード１８やマウス１９などの入力装置２３０６を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の画像表示装置で実行される画像表示プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施形態の画像表示装置で実行される画像表示プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の画像表示装置で実行される画像表示プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、実施形態の画像表示プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態の画像表示装置で実行される画像表示プログラムは、上述した各部（類似度算出部１１、構造抽出部１２、配列部１３、グルーピング部１４，および表示制御部１５）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から画像表示プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、類似度算出部１１、構造抽出部１２、配列部１３、グルーピング部１４，および表示制御部１５が主記憶装置上に生成されるようになっている。

以上のように、本発明にかかる画像表示装置、画像表示方法、およびその方法をコンピュータに実行させるプログラムは、画像表示技術に有用であり、特に、非構造データの集合に対して該集合でのデータ間の構造を解析して系統的にデータを表示させる技術に適している。

実施の形態１による画像表示装置を備えた画像表示システムの構成図である。 実施の形態１による画像表示装置が表示する画像データを説明する図である。 ２５個の写真画像データを配列処理とグルーピング処理を施してモニタ画面上に示した例の模式図である。 ２５個の写真画像データを配列処理とグルーピング処理を施してモニタ画面上に示した他の例の模式図である。 実施の形態１による画像表示手順を説明するフローチャートである。 実施の形態２による画像表示装置の機能的ブロック図である。 実施の形態２による画像表示手順を説明するフローチャートである。 実施の形態３による画像表示装置の機能的ブロック図である。 実施の形態３による画像表示手順を示すフローチャートである。 実施の形態４による画像表示装置の機能的ブロック図である。 実施の形態４による画像表示手順を説明するフローチャートである。 実施の形態４による画像表示手順を説明する他のフローチャートである。 画像データ集合における各データ間の構造を説明する図である。 画像データ集合における配列を説明する図である。 ズーミング操作によって表示が変化することを説明する図である。 ズーミング操作の他の例を説明する図である。 画像検索の一例を説明する図である。 画像検索の他の一例を説明する図である。 実施の形態にかかる画像表示装置のハードウェア構成を説明する図である。

符号の説明

１０ 画像表示装置
１１ 類似度算出部
１２ 構造抽出部
１３ 配列部
１４ グルーピング部
１５ 表示制御部

Claims (21)

1. 複数のデータからなる集合の前記データを表示手段に表示させるデータ表示装置であって、
   前記データ同士の類似を解析して類似度を算出する類似度算出手段と、
   前記類似度算出手段によって算出された類似度に基づいて前記データ間の相互に関連する構造を抽出し、かつ、抽出された構造における各データの位置である構造上の位置を画定する構造抽出手段と、
   前記構造抽出手段によって画定された前記構造上の位置の指定を受け付ける受付手段と、
   前記受付手段が受け付けた前記構造上の位置の指定に従って、前記データを前記表示手段に視覚的に表示させるよう制御する表示制御手段と、
   を備えたことを特徴とするデータ表示装置。
2. 前記受付手段は、前記表示手段において視覚的に表示される前記データの表示から、前記構造における位置の指定を受け付けるものであることを特徴とする請求項１に記載のデータ表示装置。
3. 前記類似度算出手段は、前記データとして、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出するものであることを特徴とする請求項１または２に記載のデータ表示装置。
4. 前記構造抽出手段は、前記データに対して、それぞれ前記類似度の近いデータの集合であるグルーピングデータ集合を生成するグルーピング手段、および、前記類似度によって順序づける配列データ集合を生成する配列手段を有し、前記グルーピング手段によって生成されるグルーピングデータ集合、および前記配列手段によって生成される配列データ集合を用いて前記構造を抽出し、かつ、前記構造上の位置を画定し、
   前記表示制御手段は、前記表示手段に、前記グルーピングデータ集合、および、前記配列データ集合の少なくともいずれかを表示するものであることを特徴とする請求項１〜３のいずれか１つに記載のデータ表示装置。
5. 前記受付手段は、前記表示手段に表示する前記グルーピングデータ集合の個数の指定を受け付け、かつ、表示される前記グルーピングデータ集合において表示する前記データの個数の指定を受け付けるものであり、
   前記受付手段が受け付けた前記個数の指定に従って、前記表示手段に表示させるデータを選択する選択手段を、さらに備え、
   前記表示制御手段は、前記選択手段によって選択されるデータを、前記構造上の位置に従って、前記表示手段に表示させるよう制御するものであることを特徴とする請求項４に記載のデータ表示装置。
6. 前記類似度算出手段は、前記データに付加されたメタデータを含む属性情報によって類似度を算出するものであることを特徴とする請求項１〜５のいずれか１つに記載のデータ表示装置。
7. 前記表示制御手段は、前記グルーピングデータ集合を、前記構造および前記構造における位置に従って、前記表示手段に表示させるものであることを特徴とする請求項４〜６のいずれか１つに記載のデータ表示装置。
8. 前記表示制御手段は、前記配列データ集合のデータを、前記構造および前記構造における位置に従って、前記表示手段に表示させるものであることを特徴とする請求項４〜７のいずれか１つに記載のデータ表示装置。
9. 前記受付手段は、前記グルーピングデータ集合のみの表示、前記配列データ集合のみの表示、およびそれら両方の表示の間で、表示の切り替え指定を受け付けるものであり、
   前記表示制御手段は、前記受付手段が受け付けた切り替え指定に従って、前記表示手段での表示を切り替えさせるものであることを特徴とする請求項４〜８のいずれか１つに記載のデータ表示装置。
10. 前記受付手段は、前記表示手段で表示させる前記グルーピングデータ集合の個数および前記配列データの個数の少なくともいずれかを増加させるズームイン指定と、前記少なくともいずれかを減少させるズームアウト指定とを受け付けるものであり、
    前記選択手段は、前記受付手段が受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示させる前記個数のグルーピングデータ集合および配列データの選択を行い、
    前記表示制御手段は、前記選択手段が選択したグルーピングデータ集合および配列データを、前記表示手段にズームインの態様およびズームアウトの態様で表示させるものであることを特徴とする請求項５〜９のいずれか１つに記載のデータ表示装置。
11. 複数のデータからなる集合の前記データの類似度を類似度算出手段により算出し、構造抽出手段によって前記データの構造を抽出し、受付手段によって前記構造上の位置の指定を受け付け、表示制御手段が前記データを表示手段に視覚的に表示させるデータ表示装置におけるデータ表示方法であって、
    前記データ同士の類似を解析して類似度を算出する類似度算出工程と、
    前記類似度算出工程で算出された類似度に基づいて、前記データ間の相互に関連する構造を抽出し、かつ、抽出された構造における各データの位置を画定する構造抽出工程と、
    前記構造抽出工程で抽出された構造において画定された位置である構造上の位置の指定を受け付ける受付工程と、
    前記受付工程で受け付けられた前記構造上の位置の指定に従って、前記データを前記表示手段に表示させるよう制御する表示制御工程と、
    を含むことを特徴とするデータ表示方法。
12. 前記受付工程は、前記表示制御工程において前記表示手段に視覚的に表示される前記データの表示から、前記構造上の位置の指定を受け付けるものであることを特徴とする請求項１１に記載のデータ表示方法。
13. 前記類似度算出工程は、前記データとして、テキストデータ、画像データ、動画データ、音声データ、およびこれらの組み合わせデータを含むマルチメディアデータの類似を解析して類似度を算出するものであることを特徴とする請求項１１または１２に記載のデータ表示方法。
14. 前記構造抽出工程は、前記データに対して、グルーピング手段によってそれぞれ前記類似度の近いデータの集合であるグルーピングデータ集合を生成するグルーピング工程、および、配列手段によって前記類似度で順序づけて配列データ集合を生成する配列工程を含み、前記グルーピング工程で生成されるグルーピングデータ集合、および前記配列工程で生成される配列データ集合を用いて前記構造を抽出し、かつ、前記構造上の位置を画定し、
    前記表示制御工程は、前記表示手段に、前記グルーピングデータ集合、および、前記配列データ集合の少なくともいずれかを表示させるものであることを特徴とする請求項１１〜１３のいずれか１つに記載のデータ表示方法。
15. 前記受付工程は、前記表示手段に表示する前記グルーピングデータ集合の個数の指定を受け付け、かつ、前記表示手段に表示する前記グルーピングデータ集合におけるデータの個数の指定を受け付けるものであり、
    前記受付工程が受け付けた前記個数の指定に従って、選択手段によって、前記表示手段に表示させるデータを選択する選択工程を、さらに備え、
    前記表示制御工程は、前記選択工程で選択されたデータを、前記構造上の位置に従って、前記表示手段に表示させるよう制御するものであることを特徴とする請求項１４に記載のデータ表示方法。
16. 前記類似度算出工程は、前記データに付加されたメタデータを含む属性情報によって類似度を算出するものであることを特徴とする請求項１１〜１５のいずれか１つに記載のデータ表示方法。
17. 前記表示制御工程は、前記グルーピングデータ集合を、前記構造上の位置に従って、前記表示手段に表示させるものであることを特徴とする請求項１４〜１６のいずれか１つに記載のデータ表示方法。
18. 前記表示制御工程は、前記配列データ集合のデータを、前記構造上の位置に従って、前記表示手段に表示させるものであることを特徴とする請求項１４〜１７のいずれか１つに記載のデータ表示方法。
19. 前記受付工程は、前記グルーピングデータ集合のみの表示、前記配列データ集合のみの表示、およびそれら両方の表示の間で、表示の切り替え指定を受け付けるものであり、
    前記表示制御工程は、前記受付工程が受け付けた切り替え指定に従って、前記表示手段での表示を切り替えるよう制御するものであることを特徴とする請求項１４〜１８のいずれか１つに記載のデータ表示方法。
20. 前記受付工程は、前記表示手段で表示させる前記グルーピングデータ集合の個数および前記配列データの個数の少なくともいずれかを増加させるズームイン指定と、前記少なくともいずれかを減少させるズームアウト指定とを受け付けるものであり、
    前記選択工程は、前記受付工程が受け付けたズームイン指定およびズームアウト指定に従って、それぞれ表示させる前記個数のグルーピングデータ集合および配列データの選択を行い、
    前記表示制御工程は、前記選択工程で選択したグルーピングデータ集合および配列データを、前記表示手段にズームインの態様およびズームアウトの態様で表示させるものであることを特徴とする請求項１５〜１９のいずれか１つに記載のデータ表示方法。
21. 請求項１１〜２０のいずれか１つに記載のデータ表示方法をコンピュータに実行させることを特徴とするプログラム。

Images