JP2007109136A

JP2007109136A - 画像表示制御装置

Info

Publication number: JP2007109136A
Application number: JP2005301429A
Authority: JP
Inventors: Hidekazu Matsuzaki; 英一松崎; Meiki Kita; 明希北; Isao Funaki; 勇夫舟木
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-10-17
Filing date: 2005-10-17
Publication date: 2007-04-26
Anticipated expiration: 2025-10-17
Also published as: US20070088748A1; CN1952934A; KR20070042064A; CN100456294C; JP4413844B2

Abstract

【課題】キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させることにより、所望画像の選択を容易にする。
【解決手段】キーワードの入力を受けると共に、参照画像を選択し、複数の対象画像に付加されたキーワードと前記入力されたキーワードとに基づいて満足度を算出し、各参照画像に対する前記対象画像の類似度を算出し、前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を多次元座標上に表示させる。
【選択図】図２

Description

本発明は、複数の画像を類似度に応じた配置で表示する技術に関する。

近年、ユーザが多数の画像データの中から所望の画像を得るための検索手法が、種々提案されており、例えば以下のものが知られている。

（１）コンピュータは、一般的にファイルを一次元的な配置で表示する機能（エクスプローラ等）を備えている。これにより、画像のファイルをファイル名や、ファイルサイズ、日付などの順に一覧表示する。ユーザは、一覧表示されたファイル名やサムネイル画像を順に見て、所望の画像を探し出す。この際、ファイル名に含まれる文字や日付によって絞り込んでから一覧表示させることも可能である。

（２）画像検索用のソフトウェアである「見よう絵」（登録商標）は、画像の色分布と、撮影時刻または参照画像との類似度を使用して、画像を２次元または３次元空間内に配置している（非特許文献１）。

（３）また、キーワードによって画像を検索して参照画像とし、類似の画像を検索する画像検索装置が提案されている。（特許文献１）
更に、下記の文献が知られている。（特許文献２，３）
見よう絵、2000-2005、(株)富士通大分ソフトウェアラボラトリ、[平成１７年７月６日]、インターネット <http://www.osl.fujitsu.com/miyoue/first.html> 特開２０００−１４８７９４号公報特開２００１−１１７９３６号公報特開２０００−１４８７９３号公報

前述のように、ファイル名や日付によって画像を一次元的に表示したのでは、画像の類似性と無関係に羅列されるので、所望の画像を見つけ出すのが困難であった。

また、前記見よう絵では、参照画像との類似度に応じて各画像の配置を決定するため、類似度の低い画像の検索には不向きであった。

更に、キーワードによる検索では、キーワードを含まないファイルは一切表示されない。このため、キーワード同士の関係度を考慮することが不可能である。

また、キーワードを含む画像を参照画像として利用し、類似画像検索するという方法では、画像自体の類似度は低いが、画像に関連付けられているキーワードの関係度が高い画像を同時に検索することが不可能である。

そこで本発明では、キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させることにより、所望画像の選択を容易にする。

上記課題を解決するため、本発明は、以下の構成を採用した。

即ち、本発明の画像表示制御装置は、
複数の対象画像を類似度に応じた配置で表示させる画像表示制御装置であって、
キーワードの入力を受けるキーワード入力手段と、
参照画像を選択する参照画像選択手段と、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいてキーワードの満足度を算出するキーワード評価手段と、
各対象画像について前記参照画像と比較して画像の類似度を算出する画像評価手段と、
前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させる表示制御手段と、を備える。

前記表示制御手段は、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の画像をそれぞれの満足度と類似度とに応じた座標に表示させても良い。

前記キーワード評価手段は、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて満足度を算出しても良い。

前記参照画像選択手段は、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択しても良い。

また、本発明の画像表示制御方法は、
コンピュータが、複数の対象画像を類似度に応じた配置で表示させる方法であって、
キーワードの入力を受けるステップと、
参照画像を選択するステップと、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいて類似度を算出するステップと、
各参照画像について前記対象画像と比較して画像の類似度を算出するステップと、
前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させるステップと、を含む。

前記画像表示制御方法は、前記対象画像を表示させるステップにて、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の対象画像をそれぞれの満足度と類似度とに応じた座標に表示させても良い。

前記画像表示制御方法は、前記キーワードの満足度を算出するステップにて、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて類似度を算出しても良い。

前記画像表示制御方法は、前記参照画像を選択するステップにて、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択しても良い。

また、本発明は、上記画像表示制御方法をコンピュータに実行させる画像表示制御プログラムであっても良い。更に、本発明は、この画像表示制御プログラムをコンピュータが読み取り可能な記録媒体に記録したものであっても良い。コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

ここで、コンピュータが読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから
読み取ることができる記録媒体をいう。このような記録媒体の内コンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、DAT、８mmテープ、メモリカード等がある。

また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

本発明によれば、キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させることにより、所望画像の選択を容易にする技術を提供できる。

〈実施形態１〉
図１は、本発明に係る画像表示制御装置（画像検索表示装置）の概略図である。本例の画像検索表示装置１は、複数の対象画像を類似度に応じた配置で３次元表示させることにより、ユーザが容易に所望画像を探し出せるようにしている。

図１に示すように、画像検索表示装置１は、情報の演算処理を行う演算処理部１２、演算処理の為のデータやソフトウェアを記憶した記憶部１３、入出力ポート１４等を備えた汎用のコンピュータである。

該入出力ポート１４は、キーボード（キーワード入力手段）１５やマウス、タブレット等の入力デバイス、表示手段（ディスプレイ）１６やプリンター等の出力デバイスが適宜接続される。

記憶部１３は、ハードディスク等の記憶手段であり、オペレーティングシステム（ＯＳ）やアプリケーションプログラム（画像表示制御プログラム）がインストールされている。また、該記憶部１３には、キーワードを評価する基準としてキーワードをツリー状（階層状）に記憶した評価用キーワードテーブルと、対象画像をキーワードと共に記憶したデータベースを有している。

演算処理部１２は、ＣＰＵ（central processing unit）やメインメモリ等からなり、
前記ＯＳやアプリケーションプログラムを記憶部１３から適宜読み出して実行し、入出力ポート１４から入力された情報、及び記憶部１３からから読み出した情報を演算処理することにより、参照画像選択手段２２、キーワード評価手段２３、画像評価手段２４、表示制御手段２５として機能する。

参照画像選択手段２２としては、ユーザによる操作に基づいて参照画像を選択する。この参照画像は、対象画像の中から選択するのでも良いし、他の画像で合っても良い。

キーワード評価手段２３としては、各対象画像に付加されたキーワード（対象キーワード）と、前記キーワード入力手段から入力されたキーワード（入力キーワード）とに基づいてキーワードの満足度を算出する。本実施形態においてキーワード評価手段２３は、前記評価用キーワードテーブルを参照し、前記対象キーワードと前記入力キーワードとの階層の差に基づいて類似度を算出する。

画像評価手段２４としては、各対象画像について前記参照画像と比較して画像の類似度を算出する。

表示制御手段２５としては、前記キーワードの満足度と前記画像の類似度に応じた配置
で多次元座標上に各対象画像を表示させる。例えば表示制御手段２５は、前記キーワードの満足度と、画像の類似度と、日時の３つの座標軸を表示領域にとり、前記対象画像をそれぞれ前記キーワードの満足度と前記画像の類似度と日時とに応じた座標に配置して三次元表示させる。

図２は、上記画像検索表示装置１によって所望の画像の検索結果を表示させる画像表示制御方法の説明図である。

ユーザが検索開始の操作を行うと、画像検索表示装置１は、記憶部１３から画像表示制御プログラムを読み出して実行し、図３に示すように、ユーザインタフェースとしてのウインドウ３１をディスプレイ１６に表示する。このウインドウ３１に対して該ユーザが検索したい画像と似た画像を入力すると、画像検索表示装置１の参照画像選択部２２は、この入力された画像を参照画像として選択し、参照画像表示欄３２に表示する（ステップ１、以下Ｓ１のように略記する）。ここで画像の入力は、画像を該表示欄３２へドラッグ＆ドロップすることや、画像のパスをキーボード１５から入力すること、マウスやタブレットによって手書き入力すること等、画像を特定できることであれば良い。

次にユーザが検索したい画像のキーワード（入力キーワード）をキーボード１５からキーワード入力欄３３へ入力すると、該入力キーワードの入力を受けた画像検索表示装置１は、該入力キーワードを演算処理部１２のメインメモリ内に一時記憶する（Ｓ２）。

これらの参照画像及び入力キーワードに対する各対象画像の類似度及び満足度を算出する処理を行うため、画像データベースに未処理の対象画像があるか否かを判定し（Ｓ３）、未処理の対象画像があれば取得する（Ｓ４）。

この取得した対象画像について、画像評価手段２４は、参照画像に対する類似度を算出する（Ｓ５）。なお、この類似度を求めるアルゴリズムは、画像の類似の程度を数値化できるものであれば、どのような手法を用いても良い。例えば、対象画像及び参照画像を構成する各画素のＲＧＢ値を二次元空間座標に配置して３次元的なヒストグラムを作成し、各画像の色分布を数値化し、参照画像に対する対象画像の類似度を求める。また、本例では、各対象画像の色分布も記憶しておく。なお、この色分布は、色の分布に応じた数値であれば良く、例えば主要な色の位置や、特定の色（肌色や空の色）の位置などを数値化したものでも良い。

次いで、キーワード評価手段２３は、当該対象画像に付加された対象キーワードの前記入力キーワードに対する満足度を算出する（Ｓ６）。

表示制御手段２５は、前記対象キーワードの満足度、前記画像の類似度、撮影日付、画像の色分布をパラメータとして配置（座標）を決め（Ｓ７）、この配置で図４に示すようにウインドウ３１の結果表示欄３７に縮小画像（サムネイル画像）を表示させる（Ｓ８）。図４では、Ｘ軸を撮影日付、Ｙ軸を画像の色分布、Ｚ軸を前記キーワードの満足度と画像の類似度とを合わせた値としている。なお、Ｘ軸は、最新の撮影日時を原点とし、原点から離れるほど撮影日時が古いことを示す。Ｙ軸は、参照画像の色分布の値を原点とし、原点から離れるほど、参照画像の値との差が大きいことを示す。更に、Ｚ軸は、前記満足度が１及び類似度が１の場合を原点とし、原点から離れるほど満足度及び類似度が低いことを示す。

そして、ステップ３に戻り、この満足度及び類似度に応じた表示の処理を繰返し、未処理の画像が無くなれば処理を終了する。なお、図４は、上記処理が完了した時点の初期画面（ホームポジション）を示している。このとき表示制御手段２５は、各パラメータに従
って対象画像を配置した全ての画像が一画面中に表示される縮尺とし、且つ各軸の原点が左下端となるように表示している。本実施形態では、参照画像を原点に表示している。また、移動ボタン３４の操作に応じて視点をＸ−Ｙ面内で移動させて表示し、移動ボタン３５の操作に応じて視点をＺ方向に移動させて表示する。ここで各画像を選択すると、拡大して表示する。また、ホームボタン３６を押すことでホームポジションに戻る。

このように複数の対象画像をユーザが入力したキーワード及び参照画像と近い順に表示させ、視点を移動させつつ画像を選別できるので、所望の画像を容易に検索できる。

なお、各軸にとるパラメータは上記に限らず、キーワードの満足度と対象画像の類似度を用いたものであれば良い。例えば、Ｙ軸にキーワードの満足度、Ｘ軸に対象画像の類似度、Ｚ軸に撮影日時をとっても良い。或はＸ軸にキーワードの満足度、Ｙ軸に対象画像の類似度をとった２次元座標上に表示しても良い。

次に、前記ステップ６におけるキーワードの満足度を求める処理について、図５を用いて詳述する。

先ず、キーワード評価手段２３は、入力キーワードで、満足度を計算していないものがまだ残っているか否かを判定し（Ｓ２１）、残っていれば入力キーワードの親リスト（Ｌ１）を取得する（Ｓ２２）。

また、対象キーワードのうち、入力キーワードに対する満足度を計算していないものがあるか否かを判定する（Ｓ２３）。計算していない対象キーワードがあれば親リスト（Ｌ２）を取得する（Ｓ２４）。

前記親リストＬ１と親リストＬ２の両方に含まれているキーワードの個数が０以外か否かを判定し（Ｓ２５）、０であれば満足度を０としてステップ２３に戻る（Ｓ２６）。また、０でなければ、次式により入力キーワードと対象キーワードとの距離を算出する（Ｓ２７）。

Ｄ＝ＣＬ１＋ＣＬ２−２×Ｃ・・・（式１）
但し、
Ｄ：入力キーワードと対象キーワードの距離
ＣＬ１：親リストＬ１に含まれるキーワードの数
ＣＬ２：親リストＬ２に含まれるキーワードの数
Ｃ：親リストＬ１と親リストＬ２の両方に含まれるキーワードの数

この距離Ｄを用い、キーワード評価手段２３は、次式により満足度Ｍを求める（Ｓ２８）。

Ｍ＝（１／２）^D ・・・（式２）
この満足度Ｍを求めた後、キーワード評価手段２３は、ステップ２３に戻り、満足度Ｍを求めていない対象キーワードが無くなるまで、これらのステップ（Ｓ２３〜Ｓ２８）を繰り返す。そして満足度Ｍを求める対象キーワードが無くなった場合には、この入力キーワードに対する対象キーワードの満足度のうち、最大値を当該入力キーワードに対する満足度とし（Ｓ２９）、ステップ２１に戻る。

このステップ２１において、キーワード評価手段２３は、満足度を求めていない入力キーワードが残っていないと判定するまで、前記ステップ２２〜２９を繰り返えす。そして、全ての入力キーワードに対する満足度を求めた場合、これら全ての入力キーワードに対
する満足度の平均を最終的な満足度として決定する（Ｓ３０）。

なお、このキーワードの満足度を求めるため、各キーワードの関連を示すキーワードツリーを予め設定している。図６は、本実施形態で設定したキーワードツリーの表示例を示す図である。

図６中、最上層のキーワード（一郎、お父さん）を左端に示し、下層のキーワードほど右側に示している。即ち、"一郎"の下層に"学校行事"と"幼稚園"があり、"学校行事"の下層に"入学式"と"運動会"がある。

具体的には、図７に示すように、各キーワードが上層のキーワードを示す親ポインタと下層のキーワードを示す子ポインタの集合を有する。なお、最上層のキーワードは親ポインタが無効になっており、最下層のキーワードは子ポインタが無効になっている。

このキーワードツリーは、ユーザが自由に編集でき、例えば、図６のウインドウ４１を表示させ、"学校行事"を選択して下層キーワードの追加を指示し、キーボード１５からキーワードを入力すると、"入学式"及び"運動会"と同位のキーワードが追加される。

また、画像データベースに格納された対象画像には図８に示すように夫々対象キーワードが付加されている。この対象キーワードは、各対象画像の識別情報（本例ではファイル名）と対象キーワードとを対応つけて格納したキーワードテーブルを記憶部１３に有している。なお、上記のように対象キーワードを独立したテーブルに格納する構成に限らず、各対象画像のファイルにキーワードを付加しても良い。また、対象画像のファイルのプロパティやファイル名を対象キーワードとして用いても良い。

次に、この対象キーワードや前記入力キーワードの親リストを前記キーワードツリーから取得する処理を説明する。図９は、この親リストを取得する処理のフローチャートである。

キーワード評価手段２３は、先ず、空の親リストを用意し（Ｓ３１）、指定されたキーワードを親リストに追加する（Ｓ３２）。

そしてキーワード評価手段２３は、キーワードツリー上の指定されたキーワードを指すポインタを用意し（Ｓ３３）、ポインタが指しているキーワードの親ポインタが有効か否かを判定する（Ｓ３４）。

この親ポインタが有効であれば、この親ポインタが示すキーワードを指すようにポインタを変更する（Ｓ３５）。

変更後、ポインタが指しているキーワードを親リストに追加し（Ｓ３６）、ステップ３４に戻り、親ポインタが無効となるまで、即ち最上層のキーワードを親リストに追加するまで前記ステップ３５，３６を繰り返す。

これにより、例えば対象キーワードが"入学式"である場合、親リストは、"一郎"、"学
校行事"、"入学式"の３つのキーワードからなる。また、入力キーワードが"運動会"であ
る場合、親リストは"一郎"、"学校行事"、"運動会"の３つのキーワードからなる。従って双方に含まれるキーワードの数は、"一郎"、"学校行事"の２つである。

なお、前記"入学式"と"運動会"の距離Ｄは、図１０に示すように"運動会"から直上の"
学校行事"への距離が１、この"学校行事"から"入学式"までの距離が１なので、合わせて
２となる。これを算出する式が前記式１である。

具体的には、
Ｄ＝ＣＬ１＋ＣＬ２−２×Ｃ・・・（式１）
＝３＋３ −２×２
＝２
となる。

そして、前記式２から、以下のように"運動会"に対する"入学式"の満足度が求まる。
Ｍ＝（１／２）^D ・・・（式２）
＝（１／２）²
＝１／４

図１１は、上記のようにキーワードツリーの階層深さから満足度を求めた例を示している。
なお、本実施形態では、キーワードツリーの階層深さから満足度を求めたが、これに限らず、対象キーワードと入力キーワードの関連の程度を数値で求められれば他の手法であっても良い。例えば、図１２は、キーワードツリーの構造から満足度を計算する処理のフローチャートである。

この場合、キーワード評価手段２３は、先ず、入力キーワードのうち、満足度を計算していないものが残っているか否かを判定する（Ｓ４１）。ここで未計算の入力キーワードが残っている場合、この入力キーワードの親リストＬ１を取得する（Ｓ４２）。

また、キーワード評価手段２３は、対象キーワードのうち前記入力キーワードに対する満足度を計算していないものが残っているか否かを判定する（Ｓ４３）。ここで未計算の入力キーワードがあれば、この対象キーワードの親リストＬ２を取得する（Ｓ４４）。

そして、キーワード評価手段２３は、次式によりキーワードの満足度Ｍを求める（Ｓ４５）。

Ｍ＝Ｃ／ＣＬ１・・・（式３）
この満足度Ｍを求めた後、キーワード評価手段２３は、ステップ４３に戻り、満足度Ｍを求めていない対象キーワードが無くなるまで、これらのステップ（Ｓ４４〜Ｓ４５）を繰り返す。そして満足度Ｍを求める対象キーワードが無くなった場合には、この入力キーワードに対する対象キーワードの満足度のうち、最大値を当該入力キーワードに対する満足度とし（Ｓ４６）、ステップ４１に戻る。

このステップ４１において、キーワード評価手段２３は、満足度を求めていない入力キーワードが残っていないと判定するまで、前記ステップ４２〜４６を繰り返えす。そして、全ての入力キーワードに対する満足度を求めた場合、これら全ての入力キーワードに対する満足度の平均を最終的な満足度として決定する（Ｓ４７）。

例えば、対象キーワードが"入学式"であり、入力キーワードが"運動会"の場合、
Ｍ＝Ｃ／ＣＬ１・・・（式３）
＝２／３
となる。

図１３は、上記のようにキーワードツリーの構造から満足度を求めた例を示している。

以上のように本実施形態によれば、キーワードの満足度と参照画像に対する類似度とに応じて対象画像が多次元座標上に表示されるので、所望の画像を容易に検索できる。

〈実施形態２〉
図１４は、本発明に係る実施形態２の画像表示制御方法の説明図である。本実施形態は、前述の実施形態１と比べ、参照画像をユーザが指定せず、画像表示制御装置が決定する点が異なり、他の構成は同じである。このため、本実施形態において、実施形態１と同一の要素には同符号を付すなどして、再度の説明を省略している。なお、本実施形態における画像表示制御装置１のハードウェア構成は、実施形態１の図１と同じである。

ユーザが検索開始の操作を行うと、画像検索表示装置１は、記憶部１３から画像表示制御プログラムを読み出して実行し、図３に示すように、ユーザインタフェースとしてのウインドウ３１をディスプレイ１６に表示する。このウインドウ３１に対して該ユーザが検索したい画像のキーワード（入力キーワード）をキーボード１５からキーワード入力欄３３へ入力すると、該入力キーワードの入力を受けた画像検索表示装置１は、該入力キーワードを演算処理部１２のメインメモリ内に一時記憶する（Ｓ２）。

次に画像検索表示装置１は、前記入力キーワードに対する満足度を算出していない対象画像が画像データベースにあるか否かを判定し（Ｓ３ａ）、算出していない対象画像があれば取得する（Ｓ４）。

この取得した対象画像について、キーワード評価手段２３は、当該対象画像に付加された対象キーワードの前記入力キーワードに対する満足度を算出する（Ｓ６）。その後、ステップ３ａに戻り、満足度を算出していない対象画像がなくなるまで前記ステップ４，６を繰り返す。

そして、ステップ３ａで満足度を算出していない対象画像が無いと判定した場合、算出した満足度が最大の対象画像を参照画像とする（Ｓ５１）。

次に画像検索表示装置１は、前記参照画像に対する類似度を算出していない対象画像が画像データベースにあるか否かを判定し（Ｓ３ｂ）、算出していない対象画像があれば取得する（Ｓ４）。

この取得した対象画像について、画像評価手段２４は、参照画像に対する類似度を算出する（Ｓ５）。

表示制御手段２５は、前記対象キーワードの満足度、前記画像の類似度、撮影日付、画像の色分布をパラメータとして配置（座標）を決め（Ｓ７）、この配置で図４に示すようにウインドウ３１の結果表示欄３４に縮小画像（サムネイル画像）を表示させる（Ｓ８）。

このように本実施形態によれば、ユーザが参照画像を指定しなくてもユーザが入力したキーワードに基づいて参照画像を決定するので、簡易な操作で所望の画像を検索することができる。

〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、以下に付記した構成であっても上述の実施形態と同様の効果が得られる。また
、これらの構成要素は可能な限り組み合わせることができる。

（付記１）
複数の対象画像を類似度に応じた配置で表示させる画像表示制御装置であって、
キーワードの入力を受けるキーワード入力手段と、
参照画像を選択する参照画像選択手段と、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいてキーワードの満足度を算出するキーワード評価手段と、
各対象画像について前記参照画像と比較して画像の類似度を算出する画像評価手段と、
前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させる表示制御手段と、
を備える画像表示制御装置。（１）

（付記２）
前記表示制御手段が、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の画像をそれぞれの満足度と類似度とに応じた座標に表示させる付記１に記載の画像表示制御装置。（２）

（付記３）
前記キーワード評価手段が、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて満足度を算出する付記１又は２に記載の画像表示制御装置。（３）

（付記４）
前記参照画像選択手段は、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択する付記１から３の何れかに記載の画像表示制御装置。（４）

（付記５）
コンピュータが、複数の対象画像を類似度に応じた配置で表示させる画像表示制御方法であって、
キーワードの入力を受けるステップと、
参照画像を選択するステップと、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいての類似度を算出するステップと、
各参照画像について前記対象画像と比較して画像の類似度を算出するステップと、
前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させるステップと、
を含む画像表示制御方法。（５）

（付記６）
前記対象画像を表示させるステップにて、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の対象画像をそれぞれの満足度と類似度とに応じた座標に表示させる付記５に記載の画像表示制御方法。（６）

（付記７）
前記キーワードの満足度を算出するステップにて、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて類似度を算出する付記５又は６に記載の画像表示制御方法。（７）

（付記８）
前記参照画像を選択するステップにて、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択する付記５から７の何れかに記載の画像表示制御方法。（８）

（付記９）
コンピュータに、
キーワードの入力を受けるステップと、
参照画像を選択するステップと、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいての類似度を算出するステップと、
各参照画像について前記対象画像と比較して画像の類似度を算出するステップと、
前記キーワードの満足度と前記画像の類似度に応じた配置で複数の各対象画像を表示させるステップと、
を実行させるための画像表示制御プログラム。（９）

（付記１０）
前記対象画像を表示させるステップにて、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の対象画像をそれぞれの満足度と類似度とに応じた座標に表示させる付記９に記載の画像表示制御プログラム。（１０）

（付記１１）
前記キーワードの満足度を算出するステップにて、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて類似度を算出する付記９又は１０に記載の画像表示制御プログラム。

（付記１２）
前記参照画像を選択するステップにて、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択する付記９から１１の何れかに記載の画像表示制御プログラム。

本発明に係る画像表示制御装置の概要図本発明に係る実施形態１の画像表示制御方法のフローチャートユーザインタフェースの説明図表示結果の例を示す図キーワードツリーの階層の深さから満足度を求める処理のフローチャートキーワードツリーの表示例を示す図キーワードツリーの格納形式を示す図対象キーワードテーブルの説明図親リストを取得する処理のフローチャートキーワードの距離を求める処理の説明図キーワードツリーの階層の深さから求められた満足度の例を示す図キーワードツリーの構造から満足度を求める処理のフローチャートキーワードツリーの構造から求めた満足度の例を示す図本発明に係る実施形態２の画像表示制御方法のフローチャート

符号の説明

１画像検索表示装置
１２演算処理部
１３記憶部
１４入出力ポート
２２参照画像選択手段
２３キーワード評価手段
２４画像評価手段
２５表示制御手段

Claims

複数の対象画像を類似度に応じた配置で表示させる画像表示制御装置であって、
キーワードの入力を受けるキーワード入力手段と、
参照画像を選択する参照画像選択手段と、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいてキーワードの満足度を算出するキーワード評価手段と、
各対象画像について前記参照画像と比較して画像の類似度を算出する画像評価手段と、
前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させる表示制御手段と、
を備える画像表示制御装置。
前記表示制御手段が、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の画像をそれぞれの満足度と類似度とに応じた座標に表示させる請求項１に記載の画像表示制御装置。
前記キーワード評価手段が、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて満足度を算出する請求項１又は２に記載の画像表示制御装置。
前記参照画像選択手段は、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択する請求項１から３の何れかに記載の画像表示制御装置。
コンピュータが、複数の対象画像を類似度に応じた配置で表示させる画像表示制御方法であって、
キーワードの入力を受けるステップと、
参照画像を選択するステップと、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいて類似度を算出するステップと、
各参照画像について前記対象画像と比較して画像の類似度を算出するステップと、
前記キーワードの満足度と前記画像の類似度に応じた配置で各対象画像を表示させるステップと、
を含む画像表示制御方法。
前記対象画像を表示させるステップにて、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の対象画像をそれぞれの満足度と類似度とに応じた座標に表示させる請求項５に記載の画像表示制御方法。
前記キーワードの満足度を算出するステップにて、キーワードを階層状に記憶したキーワードテーブルを参照し、前記対象画像に付加されたキーワードと前記入力されたキーワードとの階層の差に基づいて類似度を算出する請求項５又は６に記載の画像表示制御方法。
前記参照画像を選択するステップにて、前記複数の対象画像のうちキーワードの満足度が所定条件を満たした画像を参照画像として選択する請求項５から７の何れかに記載の画像表示制御方法。
コンピュータに、
キーワードの入力を受けるステップと、
参照画像を選択するステップと、
各対象画像に付加されたキーワードと前記入力されたキーワードとに基づいての類似度を算出するステップと、
各参照画像について前記対象画像と比較して画像の類似度を算出するステップと、
前記キーワードの満足度と前記画像の類似度に応じた配置で複数の各対象画像を表示させるステップと、
を実行させるための画像表示制御プログラム。
前記対象画像を表示させるステップにて、少なくとも前記キーワードの満足度と画像の類似度を座標軸にとり、前記複数の対象画像をそれぞれの満足度と類似度とに応じた座標に表示させる請求項９に記載の画像表示制御プログラム。