JP2009122841A - 画像一覧イメージ構築装置、記録媒体及び画像形成装置 - Google Patents

Abstract

【課題】互いに似通った画像同士を近くに配置しつつ、その画像同士の重なりを回避することができる画像一覧イメージ構築装置を提供する。
【解決手段】複数の画像データファイルによってそれぞれ示される画像の特徴量ベクトルを算出する特徴量ベクトル算出手段２と、算出結果に基づいて、似ている画像同士の配置位置を互いに近づけるようにそれら画像の配置位置を決定する配置位置決定手段３とを具備する構成において、同特徴量ベクトルに基づいて、複数の画像のベクトル空間における配置位置をそれぞれ決定する決定処理と、決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離と同等以上にするように、その配置位置を補正する補正処理とを実施するように、配置位置決定手段３を構成した。
【選択図】図３

Description

本発明は、複数の画像を並べた画像一覧イメージを構築する画像一覧イメージ構築装置に関するものである。また、コンピュータを画像一覧イメージ構築装置として機能させるためのプログラムを記録した記録媒体や、画像一覧イメージ構築装置を備える画像形成装置に関するものである。

近年、スキャナの低価格化や、いわゆるｅ−文書法の施行などに伴って、グラフィックや紙文書をスキャナによって画像として読み込んで電子化することが広く行われるようになっている。グラフィックや紙文書を画像データファイルとして電子化することで、それらを少ないスペースで保管することができる。

しかしながら、画像データファイルの数が多くなると、ハードディスク等のデータ記憶手段の中から、目的の画像データファイルを見つけ出すことが困難になる。

そこで、記録媒体の中に記録されている複数の画像データファイルにそれぞれ基づく画像を、サムネイルと呼ばれる縮小画像として一覧表示するファイル管理用のソフトウエアが広く出回るようになってきた。かかるソフトウエアによれば、ディスプレイに一覧表示されたサムネイルによって個々の画像を大雑把に判別することで、僅かにイメージとして残っている曖昧な記憶を頼りにして目的の画像データファイルを見つけ出すことができる。画面に表示されているサムネイルが目的の画像であることを確信したユーザーは、そのサムネイルをマウスでクリックすることで、画像表示ソフトを起動させて画像の詳細をディスプレイに表示させることも可能である。

このようなサムネイル一覧表示を利用した装置としては、たとえば特許文献１に記載の情報探索装置が知られている。この情報探索装置においては、複数の画像についてそれぞれ画像の色、形、大きさなどに基づく類似度を反映させたユークリッド距離を算出する。そして、算出結果に基づいてそれら複数の画像を似通ったもの同士の距離が近くなるように２次元座標に配置した画像一覧イメージを表示する。かかる構成においては、画像一覧イメージ内で互いに似通った画像同士を近くに配置することで、目的の画像をユーザーに効率良く探索してもらうことができる。

特許第３６１４２３５号公報

ところが、かかる構成では、画像一覧イメージ内において、互いに似通った画像同士のユークリッド距離が近すぎると、その画像同士を互いに重ねて表示してしまうことがある。部分的な重なりであればそれぞれの画像を識別することが可能であるが、重なりの度合いが大きいと、互いに重なっている画像のうち、下側に位置する方の画像を識別することができなくなってしまう。

本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、互いに似通った画像同士を近くに配置しつつ、その画像同士の重なりを回避することができる画像一覧イメージ構築装置、記憶媒体及び画像形成装置を提供することである。

上記目的を達成するために、請求項１の発明は、複数の画像データを記憶するデータ記憶手段と、それら画像データによってそれぞれ示される画像の特徴量ベクトルを算出する特徴量ベクトル算出手段と、該特徴量ベクトル算出手段によって算出された特徴量ベクトルに基づいて、それら画像のうち、似ている画像同士の配置位置を互いに近づけるように、それら画像の配置位置を決定する配置位置決定手段と、該配置位置決定手段によって決定された配置位置に基づいて、それら画像を並べて配置した画像一覧イメージを構築するイメージ構築手段とを備える画像一覧イメージ構築装置において、複数の画像データについての上記特徴量ベクトルに基づいて、複数の画像のベクトル空間における配置位置をそれぞれ決定する決定処理と、該決定処理で決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離と同等以上にするように、該配置位置を補正する補正処理とを実施するように、上記配置位置決定手段を構成し、且つ、補正後の配置位置に基づいて上記画像一覧イメージを構築するように、上記イメージ構築手段を構成したことを特徴とするものである。
また、請求項２の発明は、請求項１の画像一覧イメージ構築装置において、上記補正処理にて、上記組合せの全てについてそれぞれ画像間の距離を上記第１距離よりも大きな所定の第２距離と同等以下にする処理を実施するように、上記配置位置決定手段を構成したことを特徴とするものである。
また、請求項３の発明は、請求項１又は２の画像一覧イメージ構築装置において、上記画像一覧イメージとして、複数の画像をそれぞれ上記特徴量ベクトルに応じた距離関係で非マトリクス状に配置したものを表示するのか、それぞれ上記特徴量ベクトルに応じた配列順序でマトリクス状に配置したものを表示するのかを示すユーザーからの表示形式情報を受け付ける受付手段を設け、上記決定処理で決定された配置位置に基づく画像の配列順序で複数の画像をマトリクス状に並べるためのマトリクス配置を決定する第２の決定処理を実施するように、上記配置位置決定手段を構成し、且つ、上記表示形式情報が前者の画像一覧イメージを表示する旨の情報であった場合には、上記補正処理で補正された配置位置に基づく画像一覧イメージを構築する一方で、後者の画像一覧イメージを表示する旨の情報であった場合には、該第２の決定処理で決定された配置位置に基づく画像一覧イメージを構築するように、上記イメージ構築手段を構成したことを特徴とするものである。
また、請求項４の発明は、請求項１乃至３の何れかの画像一覧イメージ構築装置において、上記決定処理で用いる上記ベクトル空間として、上記画像一覧イメージの画像配置次元よりも低次元のものを用いるように、上記配置位置決定手段を構成したことを特徴とするものである。
また、請求項５の発明は、請求項４の画像一覧イメージ構築装置において、上記決定処理で用いる上記ベクトル空間として１次元のものを用いるように、上記配置位置決定手段を構成したことを特徴とするものである。
また、請求項６の発明は、複数の画像データを記憶するデータ記憶手段と、それら画像データによってそれぞれ示される画像の特徴量ベクトルを算出する特徴量ベクトル算出手段と、該特徴量ベクトル算出手段によって算出された特徴量ベクトルに基づいて、それら画像のうち、似ている画像同士の配置位置を互いに近づけるように、それら画像の配置位置を決定する配置位置決定手段と、該配置位置決定手段によって決定された配置位置に基づいて、それら画像を並べて配置した画像一覧イメージを構築するイメージ構築手段とを有する画像一覧イメージ構築装置としてコンピュータを機能させるためのプログラムを記録した機械読み取り可能な記録媒体であって、複数の画像データについての上記特徴量ベクトルに基づいて、複数の画像のベクトル空間における配置位置をそれぞれ決定する決定処理と、該決定処理で決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離と同等以上にするように、該配置位置を補正する補正処理とを上記配置位置決定手段に実施させ、且つ、補正後の配置位置に基づいて上記画像一覧イメージを構築する処理を上記イメージ構築手段に実施させるプログラムを記録したことを特徴とするものである。
また、請求項７の発明は、画像情報に基づいて画像を形成する画像形成手段と、複数の画像データに基づく画像一覧イメージを構築する画像一覧イメージ構築装置とを備える画像形成装置において、上記画像一覧イメージ構築装置として、請求項１乃至６の何れかのものを用いたことを特徴とするものである。

これらの発明においては、複数の画像のそれぞれにおける特徴量をベクトル空間におけるそれら画像の配置位置に反映させることで、互いに似通った画像同士を近くに配置した画像一覧イメージを構築することができる。
また、決定処理で決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いに画像を重ねることのない所定の第１距離と同等以上にするように、配置位置を補正することで、互いに似通った画像同士の重なりを回避することもできる。

以下、専用のファイル管理ソフトウエアのインストールにより、本発明を適用した画像一覧イメージ構築装置として、パーソナルコンピュータ（以下、パソコンという）を機能させた場合を例にして、本発明の実施形態を説明する。
実施形態に係る画像一覧イメージ構築装置は、近年、一般家庭への普及が急速に進んでいるスキャナ搭載型のＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｒｉｎｔｅｒ）のハードディスク内に記録された画像データファイルに基づいて、画像一覧イメージを生成することが可能になっている。

図１は、実施形態に係る画像一覧イメージ構築装置として機能するパソコン１と、その周辺機器とを示すブロック図である。同図において、パソコン１には、入力手段たるキーボード１０１やマウス１０２が接続されており、これらがユーザーによって操作されることで、ユーザーからの指示を受け付ける。また、パソコン１には、画像表示手段たるディスプレイ１０３や、スキャナ搭載型のＭＦＰ１００なども接続されている。なお、ＭＦＰ１００は、図示しないデータ記憶手段としてのハードディスクを内蔵しており、スキャナによって読み込んだ画像データをビットマップ形式、ＪＰＥＧ形式、ＧＩＦ形式などの画像データファイルとしてハードディスク内に記録する。

ユーザーがキーボード１０１やマウス１０２を操作して上述のソフトウエアを起動すると、パソコン１は、ネットワークケーブルを介してＭＦＰ１００のハードディスク内にアクセスして、そのファイル格納状況の情報を取得する。そして、ディスプレイ１０３に、そのファイル格納状況を表示させる。ユーザーは、ディスプレイ１０３の表示を参照しながら、ＭＦＰ１００のハードディスク内において、所望のファイルが格納されているディレクトリ（フォルダ）を指定する。ディレクトリが指定されると、パソコン１はネットワークケーブルを介してＭＦＰ１００に対して指定ディレクトリ内に格納されている画像データファイルの送信要求信号を送る。ＭＦＰ１００は、その送信要求信号に基づいて、指定ディレクトリ内に格納されている全ての画像データファイルを画像表示データ生成装置１に送る。

パソコン１は、ＭＦＰ１００から送られてきた全ての画像データファイルを、自らのハードディスク内のテンポラリファイル格納領域に記録する。そして、それらの画像データファイルにそれぞれ基づく画像一覧イメージを構築する。そして、その画像一覧イメージの一部の領域をディスプレイ１０３に表示させる。

図２は、パソコン１によって構築される画像一覧イメージの一例を示す模式図である。同図において、ランダムに並ぶ小さな矩形は、それぞれ個別の画像データファイルに基づいて生成された画像Ｉｃを示している。また、図中の太線ｆで囲まれた領域は、画像一覧イメージの全領域のうち、ディスプレイ１０３に表示される表示領域の一例を示している。同図では、画像一覧イメージの全領域のうち、一部領域だけがディスプレイ１０３に表示される例を示したが、ユーザーの操作により、個々の画像Ｉｃの表示サイズを図示の状態よりも小さくして、より多くの画像をディスプレイ１０３に表示させたり、画像一覧イメージの全領域をディスプレイ１０３に表示させたりすることも可能である。但し、ディスプレイの大きさは変わらないので、表示領域内の画像の個数が増えるほど、個々の画像はより低い解像度且つより小さなサイズ（より低い倍率）で表示される。

ユーザーは、キーボード１０１やマウス１０２を用いて、表示領域を縦方向や横方向にずらしたり、表示領域内の画像表示数を増減したり（画像の表示倍率を増減したり）する。具体的には、ユーザーは、マウス１０２を動かすことでディスプレイ１０３の画面中に表示されるマウスポインタを画面中で移動させることができる。また、マウス１０２を用いた周知のドラッグ操作により、表示領域を縦方向や横方向にずらす操作、即ち、縦方向や横方向のスクロール操作を行うことができる。また、マウス１０２のホイールを回転させることで、画像の表示倍率を増減（これに伴って画像の表示個数が増減）することができる。

図３は、パソコン１が発揮する各機能を、各種の機器として捉えた場合における機器の接続状態を示すブロック図である。なお、同図に示される特徴量ベクトル算出手段２等の各種の機器は、実際には、それぞれ専用の機器として製造されているのではなく、パソコンが専用のソフトウエアを起動することでそれらの機器として機能している。このため、実際には、パソコンのＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ハードディスクなどが、同図に示される各種の機器の役割を担っている。

同図において、外部のＭＦＰ１００から送られてきた複数の画像データファイルは、順次、特徴量ベクトル算出手段２やイメージ構築手段４に入力される。特徴量ベクトル算出手段２は、それら画像データファイルに基づいて、個々の画像の特徴量ベクトルをそれぞれ算出して、配置位置決定手段３に出力する。配置位置決定手段３は、イメージ構築手段４から送られてくる複数の特徴量ベクトルに基づいて、２次元座標における個々の画像の配置位置をそれぞれ決定してイメージ構築手段４に出力する。イメージ構築手段４は、配置位置決定手段３から送られてくる画像の配置位置と、ＭＦＰ１００から送られてきた複数の画像データファイルとに基づいて、それら画像データファイルにそれぞれ基づく複数の画像を２次点座標に並べた画像一覧イメージを構築して、結果を表示データ生成手段５に出力する。表示データ生成手段５は、その画像一覧イメージの全体を表示するための表示データを外部のディスプレイ１０３に出力する。これにより、ディスプレイ１０３には、まず、複数の画像データファイルに基づいて構築された画像一覧イメージの全体が表示される。表示された画像一覧イメージに基づいてユーザーがマウス１０２を操作すると、その操作情報が表示データ生成手段５に送られて、スクロール中の画像一覧イメージや所定の画像一覧イメージの所定領域だけを表示させるためのデータが生成される。そして、ディスプレイ１０３には、そのデータに基づくイメージが順次表示される。

特徴量ベクトル算出手段２は、ＭＦＰ１００から送られてきた個々の画像データに基づく複数の画像について、それぞれ画像の特徴を示すＮ次元の特徴量ベクトルを算出するものである。例えば、画像データに基づいて描画される画像の色情報、エッジ情報、及びテクスチャ情報に関する３つの特徴量を３次元のベクトルとして表した３次元特徴量ベクトルを算出する。画像データは、画像の各画素の色情報は、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の３原色の階調をそれぞれ０〜２５５の２５６階調で示している。３原色の階調が何れも０である場合には、その画素の色は黒となる。また、３原色の階調が何れも２５５である場合には、その画素の色は白となる。このように、各画素には、ｓＲＧＢ表色系の３次元の色情報が割り当てられている。

特徴量ベクトル算出手段２によるエッジ特徴量の算出は、次のようにして行われる。即ち、まず、画像内の画素マトリクスの各画素に対して、図４に示されるような３画素×３画素のフィルタリングマトリクスを用いて、たたみ込み積分を施す。画像内の注目画素に対して、図示のフィルタリングマトリクスにおける中心画素の値（４）を割り当てるとともに、その注目画素の周囲に存在する画素に対して、フィルタリングマトリクスの中心画素の周囲に存在する画素の値を割り当てるのである。このようなたたみ込み積分を画像全体に施して、エッジ画像を得る。その後、所定の閾値（例えば１２８）を用いて２値化する。次に画像全体を１０×１０の同サイズのブロックに等分して、それぞれの中で２値化の閾値を超えていた画素をカウントする、最後にブロックに含まれる全ての画素で除算する。これにより１００次元のベクトルが得られる。

特徴量ベクトル算出手段２による色特徴量の算出は、次のようにして行われる。即ち、まず、次の数１〜数７で示される式に基づいてｓＲＧＢ表色系からＬａｂ表色系の色表現に変換する。

Ｄ６５光源を想定した場合、この式では、Ｘｎ＝９５、Ｙｎ＝１００、Ｚｎ＝１０９となる。このようにしてＬａｂ表色系に変換したら、次に、エッジ特徴量の算出と同様にして、画像を１０×１０のブロックに等分し、それぞれのブロックで平均Ｌａｂを得る。この結果、１００×３＝３００次元のベクトルが得られる。

特徴量ベクトル算出手段２によるテクスチャ特徴量の算出には、周知の濃度共起行列が用いられる。濃度共起行列は、ある小領域において、図５に示すように、濃淡画像の明るさがｋの画素からδ（ｒ，θ）で示される相対位置に１の画素が出現する頻度をｐδ（ｒ，θ）とする。ｓＲＧＢ表色系の画像をグレー画像に変換し、その後、各画素を１６で割って余りを捨てることで１６の階調に量子化する。その後、１６の階調数をｍとして、次の数８によって示される式に基づいて１６×１６次元の濃度共起行列を得る。

本実施形態では、δ（１，０）、δ（１，４５）、及びδ（１，９０）の３種類の濃度共起行列を得ているため、最終的に２５６×３＝７６８次元の特徴量ベクトルが得られる。濃度共起行列は画像の周波数情報の概略を示す特徴量であるため、テクスチャ特徴量の算出に用いることが可能である。なお、周波数情報の取得にはフーリエ変換を用いることが可能である。また、ＭＦＰ１００に記憶されている画像データファイルがＪＰＥＧ方式で圧縮されているものであればＤｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍを用いることで、容易に周波数情報を得ることができる。

以上のようにして、最終的には１００＋３００＋７６８＝１１６８次元の特徴量ベクトルが得られる。なお、エッジ情報、色情報、テクスチャ情報は全く尺度の違う値になるため、それぞれのベクトルには個別の重み付けがなされることが望ましい。

配置位置決定手段３は、第１ベクトル空間たる第１の１次元マップデータと、第２ベクトル空間たる第２の１次元マップデータと、第３ベクトル空間たる２次元マップデータとを記憶している。マップデータは、Ｎ次元の空間を特定の大きさで区切り、各区切り（以下ノードと呼ぶ）に対して、Ｎ次元のベクトルが対応づけるための空間（マップ）を示すデータである。また、第１の１次元マップデータや、第２の１次元マップデータは、ノードに対応づけられる特徴量ベクトルのうち、互いに類似した特徴を示す特徴量ベクトル同士を、１次元空間上の近い位置に対応づけるように仮想配置するためのデータである。

なお、複数の画像データファイルにそれぞれ基づく複数の画像の特徴量ベクトルは、それら画像にそれぞれ個別に対応するものである。よって、後述するように第１の１次元マップにおける特徴量ベクトルの配置位置を決定することは、それら複数の画像についての第１の１次元マップにおける配置位置を決定することと同意となる。

第１の１次元マップにおける特徴量ベクトルの配置位置を決定する方法としては、複数の特徴量ベクトルの間におけるユークリッド距離を算出する方法の他、「Y. Rubner, C. Tomasi, and L. J. Guibas. : A Metric for Distributions with Applications to Image Databases. Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India, January 1998, pp. 59-66」に記載されている距離算出方法などが挙げられる。これらに基づいて複数の特徴量ベクトル間の距離を算出することで、第１の１次元マップにおいて互いに類似した画像同士が近い位置に並ぶことになる。この第１の１次元マップは、互いに類似した画像同士を近くに配置するように仮想の１次元空間内における各画像の配置位置を決定するために用いるものであり、最終的にユーザーに視認させるためのものではない。よって、第１の１次元マップにおける各画像の配置位置をユーザーの命令に基づいてディスプレイ１０３に表示させる必要はないが、表示させるようにしてもよい。

本実施形態において、第１の１次元マップにおける複数の特徴量ベクトルの配置位置を決定する方法としては、自己組織化マップを利用するものとする。自己組織化マップは、複数の多値ベクトルを視覚的に理解しやすいようにマッピングする手法である。その詳細は、「Kohonen, T: Self-organized formation of topologically correct feature maps, Biological Cybernetics, 43:59-69, 1982」に記載されている。

配置位置決定手段３は、まず、特徴量ベクトルの出力空間となる第１の１次元マップを特定の大きさで区切るためのグリッド情報を構築する。本実施形態においては、グリッドの数を６５５３６とした（以下、それぞれのグリッドをノードという）。配置位置決定手段３は、次に、各ノードに対して特徴量ベクトルと同じ次元のベクトルＷｘｉ（以下、これをノード重みベクトルともいう）を割り当てる。なお、ノード重みベクトルＷｘｉにおけるｘという添字は、ノード番号を示している。また、ｉという添字はベクトル番号を示している。

ノード重みベクトルＷｘｉを割り当てたら、次に、それぞれのノード重みベクトルにランダムな値を代入した後、各画像にそれぞれ対応する複数の特徴量ベクトルについて、それに最も近いノード重みベクトルを具備するノードを探す。このとき、距離の算出方法としては既に述べたように様々な方法を採用することが可能であるが、本実施形態では周知のユークリッド距離を採用した。０番目の特徴量ベクトルに対してＸ番目のノードが最も近かった場合、そのノードに対応するノード重みベクトルに対して次の数９〜１０で示される式を実行して、そのノード重みベクトルの値を更新する。

数９の式において、αは学習率を示す変数であり、本実施形態ではα＝１００とした。数９〜１０で示される式を、全ての特徴量ベクトルについて実施する。これにより、複数の画像にそれぞれ対応する複数の特徴量のうち、互いに類似したものは第１の１次元マップにおいて互いに近くに配置され、類似度が比較的離れた特徴量同士は第１の１次元マップにおいて互いに比較的離れて配置されることになる。つまり、１次元の空間において、互いに類似した画像を近くに配置した状態を作ることができる。

このようにして、各特徴量ベクトルについての１次元マップにおける配置位置を決定する処理が、配置位置決定手段３によって実施される決定処理である。配置位置決定手段３は、かかる決定処理を実施したら、次に補正処理を実施する。

先に図２に示したように、画像一覧イメージにおいては、矩形状の個々の画像Ｉｃが何れも長手方向を画面の上下方向に沿わせる姿勢で配置されている。以下、画面における画像Ｉｃの上下方向を長さ方向という。また、画面における画像Ｉｃの短手方向を幅方向という。個々の画像データファイルにそれぞれ基づく画像は、互いに異なる大きさであることがあるが、画像一覧イメージにおいては、それら画像Ｉｃを互いにほぼ同じ大きさで示すように、個々の画像Ｉｃの縮尺を調整している。具体的には、Ａ４サイズを基準サイズとし、これよりも大きい画像Ｉｃや小さい画像Ｉｃの場合には、基準サイズの画像Ｉｃと同じ大きさに表示するように縮尺を調整する。このとき、長さ方向寸法と幅方向寸法との比がＡ４サイズのものと異なる場合には、元の比を維持したままで、長さ方向、幅方向の何れも基準サイズの画像Ｉｃの表示領域と同じ大きさの領域内に収めるように、縮尺を調整する。先に、複数の画像Ｉｃを互いに「ほぼ同じ大きさ」で表示すると表現したのは、長さ方向寸法と幅方向寸法との比がＡ４サイズのものと異なる画像Ｉｃについては、基準サイズの画像Ｉｃよりも長さ方向寸法あるいは幅方向寸法が少し小さくなるからである。

上述した第１の１次元マップにおいては、個々の画像（特徴量ベクトル）における相対距離を示すようになっている。また、本実施形態では、画像一覧イメージにおいて、互いに最も近く配置される２つの画像間の距離の下限を「１」としている。２つの画像間における距離を、所定の第１距離である「１」以上に設定していれば、第１の１次元マップにおいて、画像を互いに重ねることなく配置することができる。ところが、上述した決定処理では、個々の画像間の距離を考慮せずに、単にユークリッド距離に基づいて個々の画像の配置位置を決定しているので、そのままでは、図６に示すように、第１の１次元マップにて互いに特徴量の類似した画像同士が重なってしまうことがある。なお、同図において、画像Ｉｃ内に示した数字は画像Ｉｃの番号を表している。また、第１の１次元マップにおける１目盛は、上述した「１」という値の距離に相当している。

補正処理においては、まず、上述した１次元マップにおける画像を左からスキャンしながら、左隣の画像との距離を順次算出していく。そして、算出結果が上述した「１」という距離に対して「５」未満に相当する場合、算出結果を「１」という距離に補正する。また、左隣の画像との距離が上述した距離「１」に対して距離「５」以上、距離「５０」未満に相当する画像については、算出結果を小数点第１位で四捨五入した整数値に補正する。また、左隣の画像との距離が上述した距離「１」に対して距離「５０」以上に相当する画像については、算出結果を距離「５０」に補正する。

配置位置決定手段３は、上述したような距離の補正を行いながら、補正後の距離に応じてそれぞれの画像を第２の１次元マップに順次配置していく。すると、図７に示すように、第１の１次元マップにおける個々の画像間の距離の大小関係を反映させつつ、それら画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離である距離「１」と同等以上にして、それら画像の重なりを回避した第２の１次元マップが得られる。

第２の１次元マップにおいて、第１の１次元マップにおける個々の画像間の距離の大小関係を反映させているのには理由がある。具体的には、図６において、互いに近い位置に配置された画像からなる画像群が比較的離れた位置に複数形成される場合には、画像群はそれぞれ、ある特徴を表していることが多い。このため、ユーザーは、各画像群についてそれぞれ、１つ、あるいはいくつかの画像だけを確認することで、その画像群に目的の画像が含まれているか否かを高い確率で予測して、画像の探索効率を高めることができる。このため、互いに異なる画像群の間には、少なくとも画像１つ分の空白を設けることが望ましい。但し、その空白は、各画像群の区切りを見分けるのに必要な大きさであれば足り、必要以上に大きな空白は却って画像の探索効率を低下させてしまう。そこで、本実施形態の配置位置決定手段３は、補正処理にて、上記組合せの全てについてそれぞれ画像間の距離を第１距離よりも大きな所定の第２距離である距離「５０」と同等以下にする処理を実施するようになっているのである。これにより、互いに類似した複数の画像からなる画像群の離れすぎを回避することができる。

配置位置決定手段３は、補正処理によって第２の１次元マップにおける個々の画像の配置位置を決定したら、次に、空間変換処理を行う。この空間変換処理では、まず、上述した２次元マップを特定の大きさで区切るためのグリッド情報を構築する。本実施形態では、第１の１次元マップや第２の１次元マップにおけるグリッド数に合わせて、２次元マップにおけるグリッド（ノード）の数を、ｘ軸２５６、ｙ軸２５６の合計６５５３６としている。配置位置決定手段３は、次に、各ノードに対して、ノード重みベクトルＷｘｙを割り当てる。なお、ノード重みベクトルＷｘｙにおけるｘｙという添字は、ノードの行番号及び列番号を示している。

ノード重みベクトルＷｘｙを割り当てたら、次に、それぞれのノード重みベクトルにランダムな値を代入した後、第２の１次元マップにおける個々の画像について、それぞれ、その画像と最も近いノード重みベクトルを具備するノードを探す。このとき、第２の１次元マップにおける０番目の画像に対して、２次元マップにおけるＸ番目のノードが最も近かった場合、そのＸ番目のノードに対応するノード重みベクトルに対して次の数１１〜１２で示される式を実行して、そのノード重みベクトルの値を更新する。

数１１の式において、αは学習率を示す変数であり、本実施形態では上述した決定処理と同様にα＝１００とした。数１１〜１２で示される式を、第２の１次元マップにおける全ての画像について実施する。これにより、第２の１次元マップで互いに近くに配置された画像については、２次元マップにおいても互いに近くに配置されることになる。

上述した第２の１次元マップにおいて、互いに最も近くに配置される画像間の距離が「１」以上となって画像の重なりが回避されていることから、２次元マップにおいても、個々の画像の重なりを回避することができる。また、第１の１次元マップにおいて、互いに離れすぎた状態で隣り合っている２つの画像、即ち、距離が「５０」以上となる２つの画像については、画像間の距離を小さくする（距離を「５０」にする）ことで、互いに隣り合う画像の離れすぎを回避することもできている。

以上の結果、本実施形態においては、従来の情報探査装置に表示される画像一覧イメージで生じていた例えば図８に示すような画像Ｉｃの重なりを回避することができる。また、従来の情報探査装置に表示される画像一覧イメージで生じていた例えば図９に示すような画像群の離れすぎを回避することもできる。

なお、特開２００４−２５８８３８号公報には、次のような情報検索装置が開示されている。即ち、個々の画像を視認不能なレベルまで縮小した画像一覧イメージを表示しつつ、その画像一覧イメージにおける個々の画像のうち、マウスポインタに位置の近くにあるいくつかの画像を視認可能なレベルまで拡大して表示する。この際、拡大表示する画像の周辺にある小さな画像の配置位置をずらすことで、拡大表示する画像の表示スペースを得ている。同公報には、いくつかの画像を拡大表示する前の状態の画像一覧イメージにおける個々の画像の配置位置について、どのようにして決定したものであるのかの記載はないが、特許文献１のようにして個々の画像の配置位置を単純に特徴量ベクトルだけに基づいて決定した画像一覧イメージにも、同公報に記載のような拡大表示を適用することが可能である。

しかしながら、かかる構成では、拡大表示する画像の周辺にある小さな画像の配置位置を算出するための処理が非常に複雑になるため、演算手段として処理スピードの速い高価なものを用いる必要がある。具体的には、例えば、個々の画像の配置位置を単純に特徴量ベクトルだけに基づいて決定した画像一覧イメージが図１０に示すようなものになったとする。同図において、画像１は画像一覧イメージ内における個々の画像の中で最も左上に位置しており、この画像１と、画像２とは互いに隣り合った状態で重なり合っている。この画像１と画像２との重なりを解消するためには画像２を右方向、下方向、あるいは右下方向に移動させる必要がある。しかしながら、右方向には画像３及び画像４が位置している。また、下方向には画像４及び画像６が位置している。更には、右下方向には画像４及び画像５が位置している。このため、互いに類似している画像を近くに配置するというルールを守りながら画像１を移動させるためには、画像３及び画像４、画像４及び画像６、あるいは画像４及び画像５を先に移動させておく必要がある。そして、それら画像の移動先に他の画像が存在する場合には、同様にして、他の画像を移動させておく必要がある。このように、画像の移動先を順次求めていくという非常に複雑な処理が必要になるのである。これに対し、本実施形態においては、第１の１次元マップにて互いに隣り合っている画像の画像間の距離を上述した「１」以上に補正しながら、第２の２次元マップにおける各画像の配置位置を決定していくことで、前述のような複雑な処理を行うことなく、各画像を互いに重ねることなくユーザーに視認させることができる。

また、本実施形態では、画像一覧イメージとして、各画像を２次元座標上に配置したものを構築するようになっているが、各画像を３次元座標上に配置した画像一覧イメージを構築することもできる。この場合、第２の１次元マップと対応づけるマップを３次元マップとし、先に数１１、数１２に示した式の代わりに、次の数１３、数１４で示す式を用いればよい。

次に、実施形態に係る画像一覧イメージ構築装置に、より特徴的な構成を付加した実施例について説明する。なお、以下に特筆しない限り、実施例に係る画像一覧イメージ構築装置の構成は実施形態と同様である。

本実施例に係る画像一覧イメージ構築装置を使用するユーザーは一人であるとは限らない。特に、オフィス環境においては、複数のユーザーがそれぞれ個別に本実施例に係る画像一覧イメージ構築装置を使用する形態をとることが多い。複数のユーザーの中には、先に図２に示したような、複数の画像Ｉｃをそれぞれ特徴量ベクトルに応じた距離関係で非マトリクス状に配置した画像一覧イメージ（以下、距離優先一覧イメージという）を好むユーザーの他、次のようなユーザーがいることもある。即ち、複数の画像Ｉｃをそれぞれ特徴量ベクトルに応じた配列順序でマトリクス状に配置した画像一覧イメージ（以下、マトリクス優先イメージという）である。

そこで、本実施例においては、受付手段としてのマウス１０２、あるいは受付手段としてのキーボード１０１の操作により、距離優先一覧イメージを表示するのか、あるいはマトリクス優先イメージを表示するのかの表示形式情報をユーザーから受け付けるようになっている。この際、まず、所定のマウス操作又はキーボード操作により、何れかの一覧イメージをユーザーに選択してもらうためのサブ画面をディスプレイ１０３に表示させ、そのサブ画面上でのマウス操作又はキーボード操作によって表示形式情報を把握するようになっている。

上記サブ画面を表示させた後に受け付けた表示形式情報が距離優先一覧イメージを表示する旨の情報であった場合には、配置位置決定手段３は、実施形態と同様にして補正処理を実施し、補正後の配置位置に基づいて２次元マップにおける個々の画像の配置位置を決定する。これに対し、表示形式情報がマトリクス優先一覧イメージを表示する旨の情報であった場合には、配置決定手段３は、補正処理で補正した配置位置の代わりに、後述する第２の決定処理で決定した配置位置を採用する。

第２の決定処理においては、まず、実施形態と同様にして第１の１次元マップにおける個々の画像の配置位置を決定する。次に、第１の１次元マップにおける個々の画像を左からスキャンしながら、左隣の画像との距離を無条件に「１」に設定する。そして、それぞれの画像を図１１に示すように互いに距離「１」の間隔で第２の２次元マップに配置していく。次に、第２の１次元マップにおける個々の画像を左からスキャンしながら、それぞれの画像を２次元マップに順次展開していく。この際、図１２に示すように、互いに連続するＮ個の画像については互いに画面の同じ垂直位置（画像長さ方向における画像配置位置）にて、互いに水平方向（画像の幅方向）に並べて配置する。そして、その次に連続するＮ個の画像については、垂直方向の配置位置を画像の長さ方向寸法よりも少し大きい距離だけ下方にシフトさせた状態で、互いに水平方向に並べて配置する。このような処理を全ての画像について繰り返す。これにより、図１３に示すように、複数の画像をマトリクス状に並べたマトリクス配置が決定され、そのマトリクス配置に基づくマトリクス優先一覧イメージを構築することができる。

複数の画像一覧イメージを用意する場合において、特開２００４−２５８８３８号公報に記載された従来技術のように、それぞれの画像一覧イメージで複数の画像についての特徴ベクトルを２次元マップに直接配置していく方法を採用すると、２次元マップに対応付ける特徴量ベクトルをそれぞれの配置方法に応じて保持させる必要がある。例えば、特徴量ベクトルの次元を１１６８次元とし、２次元マップのグリッド（ノード）を２５６×２５６とすると、１つの特徴量ベクトルを表現するのに３２［ｂｉｔ］＝４［ｂｙｔｅ］が必要になることから、全ての特徴量ベクトルを記憶するのに約３０６［Ｍｂｙｔｅ］の容量が必要となる。従来技術では、それらの特徴量ベクトルを２次元マップに直接配置していくので、複数の画像一覧イメージを用意する場合には、それらの画像一覧イメージについて約３０６［Ｍｂｙｔｅ］の容量がそれぞれ必要になってくる。このため、従来技術では、図１４のグラフに点線で示すように、用意する画像一覧イメージの数（配置方法の数）の増加に比例して、データの記憶に必要な記憶容量が増えていく。これに対し、実施例に係る画像一覧イメージ構築装置のように、特徴量ベクトルを第１の１次元マップに配置してから、その配置を他のマップに配置し直す構成では、第１の１次元マップ上の配置を、それぞれの画像一覧イメージで共有することができる。第１の１次元マップについては、従来技術と同様に約３０６［Ｍｂｙｔｅ］の容量が必要になるが、その第１の１次元マップにおける配置を他のマップに配置し直すにあたっては座標変換を行うだけであるので、他のマップのために必要な容量は僅かに０．１［Ｍｂｙｔｅ］程度で足りる。このため、実施例に係る画像一覧イメージ構築方法では、図１４のグラフに実線で示すように、用意する画像一覧イメージの数（配置方法の数）が増加しても、データの記憶に必要な記憶容量は殆ど増加しない。用意する画像一覧イメージの数の増加による記憶容量の増加を効果的に抑えることができているのである。

なお、文書画像にＯｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ（以下ＯＣＲ）と呼ばれる文字認識処理を施し、タイトルを抽出してファイル名へ設定したり、テキストの全文検索を可能にしたりと言った事が古くからなされていた。しかし、文書の取得環境が理想的な状態で有ってもＯＣＲの識別率は完全ではなく、一般に文字が大量に含まれる文書に於いてはかなりの数が間違いということになってしまう。例えば仮にＯＣＲの識別率が９８％であるとすると一般的な４００字詰め原稿用紙では８文字間違えてしまうことになる。更に、実際の識別率は文書の種類や撮影条件によって大幅に低下する。このため、検索ワードを含む文書に対して検索を行ってもヒットしないことも多い。更に、文書と雖も文字が殆ど含まれていない文書も数多く存在する。よって、画像一覧イメージによる画像の検索の方が、有利である。

また、パソコン１を実施形態や実施例に係る画像一覧イメージ構築装置として機能させるためのプログラムは、かかるプログラムを機械読み取り可能に記録したＣＤ−ＲＯＭ等の記録媒体によってパソコン１のハードディスク内にインストールされる。かかる記録媒体は、本発明を提供した記録媒体である。

また、実施形態や実施例に係る画像一覧イメージ構築装置を搭載した複写機、ファクシミリ、プリンタ等の画像形成装置にも、本発明の適用が可能である。

以上、実施形態に係る画像一覧イメージ構築装置においては、複数の画像データを記憶する図示しないデータ記憶手段たるハードディスクと、それら画像データによってそれぞれ示される画像の特徴量ベクトルを算出する特徴量ベクトル算出手段２と、これによって算出された特徴量ベクトルに基づいて、それら画像のうち、似ている画像同士の配置位置を互いに近づけるように、それら画像の配置位置を決定する配置位置決定手段３と、これによって決定された配置位置に基づいて、それら画像を並べて配置した画像一覧イメージを構築するイメージ構築手段４とを備える構成において、次のような構成を採用している。即ち、複数の画像データについての特徴量ベクトルに基づいて、複数の画像のベクトル空間である第１の１次元マップにおける配置位置をそれぞれ決定する決定処理と、決定処理で決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離と同等以上にするように、同配置位置を補正する補正処理とを実施するように、配置位置決定手段３を構成し、且つ、補正後の配置位置に基づいて画像一覧イメージを構築するように、イメージ構築手段４を構成している。かかる構成では、既に説明したように、互いに似通った画像同士を近くに配置しつつ、画像同士の重なりを回避した画像一覧イメージを構築することができる。

また、実施形態に係る画像一覧イメージ構築装置においては、補正処理にて、互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を第１距離としての距離「１」よりも大きな第２距離である距離「５０」と同等以下にする処理を実施するように、配置位置決定手段３を構成している。かかる構成では、既に説明したように、互いに似通った複数の画像からなる画像群が複数存在する場合に、それら画像群の離れすぎを回避することができる。

また、実施例に係る画像一覧イメージ構築装置においは、画像一覧イメージとして、複数の画像をそれぞれ特徴量ベクトルに応じた距離関係で非マトリクス状に配置した距離優先一覧イメージを表示するのか、それぞれ特徴量ベクトルに応じた配列順序でマトリクス状に配置したマトリクス優先一覧イメージを表示するのかを示すユーザーからの表示形式情報を受け付ける受付手段として、マウス接続端子やキーボード接続端子を設けている。そして、決定処理で決定された配置位置に基づく画像の配列順序で複数の画像をマトリクス状に並べるためのマトリクス配置を決定する第２の決定処理を実施するように、配置位置決定手段３を構成している。更に、上記表示形式情報が距離優先一覧イメージを表示する旨の情報であった場合には、補正処理で補正された配置位置に基づく距離優先一覧イメージを構築する一方で、マトリクス優先一覧イメージを表示する旨の情報であった場合には、第２の決定処理で決定された配置位置に基づくマトリクス優先一覧イメージを構築するように、イメージ構築手段４を構成している。かかる構成では、既に説明したように、ユーザーの希望に応じて、表示する画像一覧イメージを距離優先一覧イメージとマトリクス優先一覧イメージとで切り替えることで、ユーザーの利便性を向上させることができる。更に、画像の特徴量ベクトルを２次元マップに直接展開する従来技術に比べて、データ記憶容量を大幅に低減することが可能であるので、大幅な低コスト化を図ることもできる。

また、実施形態に係る画像一覧イメージ構築装置においては、決定処理で用いるベクトル空間として、画像一覧イメージの画像配置次元よりも低次元である第１の１次元マップを用いるように、配置位置決定手段３を構成している。かかる構成では、次に説明する理由により、ユーザーの画像の視認性や類似判断性を向上させつつ、配置位置決定手段３の演算処理の負担を軽減することができる。即ち、画像の視認性や類似判断性の観点から、ディスプレイ１０３に表示する画像一覧イメージは、２次元以上の高次元のものであることが望ましい。この一方で、互いに似通った画像を近くに配置するための処理は、ベクトル空間が高次元になるほど複雑になる。そこで、実施形態においては、第１ベクトル空間として、画像一覧イメージよりも低次元の第１の１次元マップを用いている。これにより、画像一覧イメージとして、第１ベクトル空間と同次元のものを用いる場合に比べて、画像の視認性や類似判断性を向上させることができる。また、第１ベクトル空間として画像一覧イメージと同等以上の次元のものを用いる場合に比べて、配置位置決定手段３の演算処理の負担を軽減することができる。

また、実施形態に係る画像一覧イメージ構築装置においては、決定処理で用いるベクトル空間として、１次元である第１の１次元マップを用いるように、配置位置決定手段３を構成している。かかる構成では、互いに似通った画像同士を近くに配置するための処理を、演算処理の負担が最も少なくなる１次元の空間で行うことで、配置位置決定手段３の演算処理の負担を軽減することができる。

実施形態に係る画像一覧イメージ構築装置として機能するパソコンと、その周辺機器とを示すブロック図。 同パソコンによって構築される画像一覧イメージの一例を示す模式図。 同パソコンによって発揮される各機能を、各種の機器として捉えた場合における機器の接続状態を示すブロック図。 フィルタリングマトリクスを示す模式図。 濃淡画像の明るさの相対位置を説明するための模式図。 第１の１次元マップにおける画像の配置位置を説明するための模式図。 実施形態に係る画像一覧イメージ構築装置の２次元マップにおける画像の配置位置を説明するための模式図。 従来の情報探査装置に表示される、画像の重なりが発生した状態の画像一覧イメージを示す模式図。 従来の情報探査装置に表示される、画像群の離れすぎが発生した状態の画像一覧イメージを示す模式図。 従来の情報探査装置に表示される、画像の重なりが発生した状態の画像一覧イメージの他の例を示す模式図。 実施例に係る画像一覧イメージ構築装置の２次元マップにおける画像の配置位置を説明するための模式図。 同画像一覧イメージ構築装置にて行われる第２の１次元マップに基づく２次元マップへの画像の展開方法を説明するための模式図。 同画像一覧イメージ構築装置で構築された画像一覧イメージの一例を示す模式図。 必要な記憶容量と配置方法の数との関係を示すグラフ。

符号の説明

１：パソコン（データ記憶手段を搭載する画像一覧イメージ構築装置）
２：特徴量ベクトル算出手段
３：配置位置決定手段

Claims (7)

1. 複数の画像データを記憶するデータ記憶手段と、それら画像データによってそれぞれ示される画像の特徴量ベクトルを算出する特徴量ベクトル算出手段と、該特徴量ベクトル算出手段によって算出された特徴量ベクトルに基づいて、それら画像のうち、似ている画像同士の配置位置を互いに近づけるように、それら画像の配置位置を決定する配置位置決定手段と、該配置位置決定手段によって決定された配置位置に基づいて、それら画像を並べて配置した画像一覧イメージを構築するイメージ構築手段とを備える画像一覧イメージ構築装置において、
   複数の画像データについての上記特徴量ベクトルに基づいて、複数の画像のベクトル空間における配置位置をそれぞれ決定する決定処理と、該決定処理で決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離と同等以上にするように、該配置位置を補正する補正処理とを実施するように、上記配置位置決定手段を構成し、
   且つ、補正後の配置位置に基づいて上記画像一覧イメージを構築するように、上記イメージ構築手段を構成したことを特徴とする画像一覧イメージ構築装置。
2. 請求項１の画像一覧イメージ構築装置において、
   上記補正処理にて、上記組合せの全てについてそれぞれ画像間の距離を上記第１距離よりも大きな所定の第２距離と同等以下にする処理を実施するように、上記配置位置決定手段を構成したことを特徴とする画像一覧イメージ構築装置。
3. 請求項１又は２の画像一覧イメージ構築装置において、
   上記画像一覧イメージとして、複数の画像をそれぞれ上記特徴量ベクトルに応じた距離関係で非マトリクス状に配置したものを表示するのか、それぞれ上記特徴量ベクトルに応じた配列順序でマトリクス状に配置したものを表示するのかを示すユーザーからの表示形式情報を受け付ける受付手段を設け、
   上記決定処理で決定された配置位置に基づく画像の配列順序で複数の画像をマトリクス状に並べるためのマトリクス配置を決定する第２の決定処理を実施するように、上記配置位置決定手段を構成し、
   且つ、上記表示形式情報が前者の画像一覧イメージを表示する旨の情報であった場合には、上記補正処理で補正された配置位置に基づく画像一覧イメージを構築する一方で、後者の画像一覧イメージを表示する旨の情報であった場合には、該第２の決定処理で決定された配置位置に基づく画像一覧イメージを構築するように、上記イメージ構築手段を構成したことを特徴とする画像一覧イメージ構築装置。
4. 請求項１乃至３の何れかの画像一覧イメージ構築装置において、
   上記決定処理で用いる上記ベクトル空間として、上記画像一覧イメージの画像配置次元よりも低次元のものを用いるように、上記配置位置決定手段を構成したことを特徴とする画像一覧イメージ構築装置。
5. 請求項４の画像一覧イメージ構築装置において、
   上記決定処理で用いる上記ベクトル空間として１次元のものを用いるように、上記配置位置決定手段を構成したことを特徴とする画像一覧イメージ構築装置。
6. 複数の画像データを記憶するデータ記憶手段と、それら画像データによってそれぞれ示される画像の特徴量ベクトルを算出する特徴量ベクトル算出手段と、該特徴量ベクトル算出手段によって算出された特徴量ベクトルに基づいて、それら画像のうち、似ている画像同士の配置位置を互いに近づけるように、それら画像の配置位置を決定する配置位置決定手段と、該配置位置決定手段によって決定された配置位置に基づいて、それら画像を並べて配置した画像一覧イメージを構築するイメージ構築手段とを有する画像一覧イメージ構築装置としてコンピュータを機能させるためのプログラムを記録した機械読み取り可能な記録媒体であって、
   複数の画像データについての上記特徴量ベクトルに基づいて、複数の画像のベクトル空間における配置位置をそれぞれ決定する決定処理と、該決定処理で決定した配置位置に基づく個々の画像間の距離の大小関係を反映させつつ、それら複数の画像における互いに隣り合う画像の組合せの全てについてそれぞれ画像間の距離を、互いの画像を重ねることのない所定の第１距離と同等以上にするように、該配置位置を補正する補正処理とを上記配置位置決定手段に実施させ、
   且つ、補正後の配置位置に基づいて上記画像一覧イメージを構築する処理を上記イメージ構築手段に実施させるプログラムを記録したことを特徴とする機械読み取り可能な記録媒体。
7. 画像情報に基づいて画像を形成する画像形成手段と、複数の画像データに基づく画像一覧イメージを構築する画像一覧イメージ構築装置とを備える画像形成装置において、
   上記画像一覧イメージ構築装置として、請求項１乃至６の何れかのものを用いたことを特徴とする画像形成装置。

Images