JP2010073114A6 - 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム - Google Patents

Abstract

【課題】既存の画像検索システムは利用者が個々のプレゼンテーション資料中に存在する個々の画像を効率的に検索する機能を提供すること。
【解決手段】本発明の画像情報検索方法は、少なくとも１つのドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出し、少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成し、少なくとも１つの画像あるいは少なくとも１つのドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成し、識別情報およびメタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持させ、テキスト検索エンジンに識別子を用いて記憶領域に対する情報の検索実行を指示する入力を行うことを特徴とする。
【選択図】図２

Description

本発明は主に情報検索システムに関わり、特にプレゼンテーション資料や他のドキュメント中のイメージを検索するシステムに関する。

マイクロソフト（登録商標）社製のパワーポイント（登録商標）といった、マルチメディアを用いたプレゼンテーションは、２１世紀の組織において主要なコミュニケーションメディアになってきている。このコミュニケーションメディアは、視覚的にユニークなものであり、写真や図表といった、多様な視覚的な対象物を含んでいる場合が多い。この視覚的な対象物はコミュニケーションにおいて高い価値をもっており、ある組織内では複数のプレゼンテーションで再利用されることも多い。しかし、コミュニケーションにおいて価値が高まる一方で、写真や図表は文字情報と比較して、準備に要する時間やスキルといった点ではコストを増加させてしまう。このため、写真の再利用は特に重要である。加えて、プレゼンテーションのスライドには大量のテキストは大抵の場合含まれておらず、再利用のために既存のスライドの検索をテキスト検索に依存して行うことは効果的ではない。また、スライドはそもそも高い視覚的特徴を持っているので、ユーザは以前見た写真に基づいて過去に見た情報を容易に認識できる場合もある。

現在さまざまな画像検索エンジンが存在するが、それはファイル名、埋め込まれたテキスト、画像の周囲に存在するテキストを用いて、画像の検索を行うものである。しかし、既存の画像検索エンジンは、ユーザが効率的に必要な情報を探し出す上で必要となる、画像や画像を含むドキュメントを順位付けするための機能を通常提供しない。たとえば、この分野でよく知られている、ＬＡＤＩの画像検索システムは、グーグル（登録商標）デスクトップ検索エンジンにより検索されたドキュメントのページサムネイルを表示する。しかし、このＬＡＤＩシステムの画像はページ全体のプレビューであって、それぞれのページに含まれる個々の画像の検索を可能とするものではないため、利用者が個々の画像を検索することができない。
「グーグル、デスクトップ検索に一番乗り--Google Desktop Searchを公開」、[online]、 平成16年10月15日、シーネットネットワークスジャパン株式会社（CNET JAPAN）、[平成20年9月5日検索]、インターネット＜ＵＲＬ：http://japan.cnet.com/news/media/story/0,2000056023,20075166,00.htm＞ デノウエ（Denoue）等、「プロジェクタボックス：教室をキャプチャするシームレスなプレゼンテーション」（" ProjectorBox: Seamless presentation capture for classrooms"）、イー・ラーン2005（E-Learn 2005）、企業、政府、医療、及び高等教育におけるイー・ラーニングの国際会議（ World Conference on E-Learning in Corporate, Government, Healthcare, & Higher Education）、2005年10月24日

このため、既存の画像検索システムは利用者が個々のプレゼンテーション資料中に存在する個々の画像を効率的に検索する機能を提供できていない。

本発明は、プレゼンテーションや他のドキュメント中の画像検索用の既存手法が抱える、上述の課題の一部あるいは複数の課題を解決するための方法あるいはシステムに関するものである。

本発明の画像情報検索方法は、ドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出し、前記少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成し、前記少なくとも１つの画像あるいは前記ドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成し、前記識別情報および前記メタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持させ、前記テキスト検索エンジンに前記識別子を用いて前記記憶領域に対する情報の検索実行を指示する入力を行うことを特徴とする。

また、本発明の画像情報検索装置は、ドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出する検出手段と、前記少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成する識別情報生成手段と、前記少なくとも１つの画像あるいは前記ドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成するメタ情報生成手段と、前記識別情報および前記メタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持する保持手段と、前記テキスト検索エンジンに前記識別子に基づく前記記憶領域に対する情報の検索実行を指示する検索指示手段とを備えることを特徴とする。

本発明の画像情報検索用のコンピュータプログラムは、コンピュータに、ドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出し、前記少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成し、前記少なくとも１つの画像あるいは前記ドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成し、前記識別情報および前記メタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持させ、前記テキスト検索エンジンに前記識別子を用いて前記記憶領域に対する情報の検索実行を指示する入力を行うことを実行させるためコンピュータプログラムである。

以下の詳細な説明において、対応する図面中の符号は、同じ機能要素については同様の番号を付してある。これらの図面は例示であって、その手法を限定するものではなく、個々の実施形態と適用例は今回の発明の原理を示すためのものである。これらの適用例は当業者が実施可能な程度に十分な詳細が記載されており、他の適用例への適用、構成の変更や各構成要素の変更および／または置き換えが、本発明の範囲および思想から逸脱することなく適用できることは理解されるだろう。従って、以下の詳細な説明は限定的に解釈されるものではない。加えて、記述される多様な実施形態は、一般用のコンピュータ上で動作するソフトウェアの形態、専用のハードウェアから成る形態、あるいはソフトウェアとハードウェアの組み合わせにより実現されるものである。

本発明に関わる画像検索装置は、先に述べたプレゼンテーション中の画像の検索のために提供されるものである。図１は本発明に関わる画像検索システムの処理手順の一例１００を示す。まず、ステップ１０１で、本発明の画像検索システムに関わる実施形態では、プレゼンテーションスライド中に配置された個々の画像を識別する。本発明にかかわる多様な画像検索システムにより、多様なプレゼンテーションスライドの形式に対してこの画像識別を実行させることができ、例えば、Ｐｂｏｘ（非特許文献２）のような、プレゼンテーション中に自動的に会議をキャプチャーするシステムを用いて取得した構造化されていないスライドの画像や、プレゼンテーションスライドを含んだ、パワーポイントプレゼンテーションファイルのような、構造化されたデジタルプレゼンテーションドキュメントから抽出された画像に対して適用することができる。このＰｂｏｘとパワーポイントシステムは、よく知られたものである。プレゼンテーション用のドキュメントは有効な例であるが、文と写真とを含んだ他の種類の文書に対してもこの発明を適用することができる。その場合には、この後に記述されるプレゼンテーションおよびスライドという言葉を、それぞれドキュメントおよびページと置き換えて考えればよい。

続いて、ステップ１０２で、本発明に関する画像検索装置の実施形態は、同じ画像の組（もしくはほぼ同じ）に対して一意のトークン（文字情報から構成される識別コード）を割り当てる。例えば、特定の絵が異なる二つのプレゼンテーションで再利用されている場合には、本実施形態では同じトークンをもちいてそれを表す。本発明に関するシステムの実施形態においては、１またはそれ以上の同じ画像を表す前述のトークンは、スライドを文字情報のみで表現したテキスト表現とした情報に対して、あたかもスライド中にある単語のように、挿入される。こうすることで、後の画像検索において、基本的なテキストインデックス検索技術を、画像検索に用いることができる利点がある。

次に、本発明に関する画像検索システムの実施形態では、図１のステップ１０３において、プレゼンテーションスライド、画像およびその中のテキストに関連する多様なメタ属性情報を生成し記憶する。例えば、スライド中の画像とテキスト部分の位置関係、画像とテキスト部分の幅と高さ、スライド全体のサイズに対する画像のサイズ、あるいはこのスライドがキャプチャーされた日時といったものである。なお列挙したメタ属性に限らず、他の適当な画像もしくはスライド属性も同様に決定し記憶させることができることは明らかであろう。

画像および／またはテキスト、そしてスライドから、前述のトークンとメタ属性情報を生成したのち、ステップ１０４では、その生成されたデータを、テキストベースのサーチエンジン、例えばグーグルデスクトップや広く利用されているＬｕｃｅｎｅオープンソースリトリーブライブラリ、に渡す、もしくは、サーチエンジンが検索に利用可能な状態に置く（例えば、アクセス可能な記憶領域に保持もしくはサーチエンジンによるアクセスを許可し、サーチエンジンが生成されたデータの保持されたデータ領域を検索対象とするように設定する）。このグーグル（Ｇｏｏｇｌｅ）デスクトップとＬｕｃｅｎｅオープンソースリトリーブライブラリは当業者によく知られたものである。ステップ１０５で、ユーザにより前述のテキストベース検索エンジンに対して検索クエリを用いた検索指示がなされ、ステップ１０６では、画像の検索が行われる。この検索は、生成されたトークンまたはメタ属性情報に基づいてなされる。

検索の間に、ユーザが検索したい対象画像を表す一以上の検索語を入力する。ステップ１０６では、検索条件を満たすよう、本発明に関するシステムの実施形態では、例えば、その特定のキーワードを含むすべてのプレゼンテーションスライドを検索する。本実施形態では、スライド中に含まれる画像だけを検索し、複製された画像は例示としてひとつだけを表示する。 前述のように、複製された画像は、同じ一意のトークン識別子に対応付けられる。ステップ１０７で、本発明の実施形態では、画像検索システムが、例えば従来のテキスト情報検索法で用いられる、ｔｆ−ｉｄｆ値（Ｔｅｒｍ−Ｆｒｅｑｕｅｎｃｙ Ｉｎｖｅｒｓｅ−ｄｏｃｕｍｅｎｔ−ｆｒｅｑｕｅｎｃｙ値）に基づいて、画像を順位付けする。 ｔｆ−ｉｄｆ値は、ひとつのドキュメントあるいは関連するドキュメントのサブセット中である単語が出現した回数に比例するとともに、コーパス全体の単語の出現頻度には反比例する。このｔｆ−ｉｄｆスコアを用いた画像ランキングは当業者に良く知られており、詳細は後述する。本発明に関するシステムでは、それぞれの画像をテキスト検索における単純なキーワードとなる、トークンを用いて表現しているため、ｔｆ−ｉｄｆ法を用いた画像ランキングが可能となる。

図２は、本発明の手法に関する一実施形態における他の処理手順の例を示すものである。ステップ２０１では、プレゼンテーションのような、画像とそれに伴うテキストの両方を含んだドキュメントが供給される。ステップ２０２では、本発明の実施形態は複数のドキュメントから複数の画像を検出する。ステップ２０３では、重複する画像を検出するとともに取り除き、後述するように画像を表すトークンが生成される。ステップ２０５で、画像のトークンデータは画像のメタデータとともにインデックス（索引情報）に追加される。 ステップ２０４では、本実施形態のシステムは、画像に付随するテキストもドキュメントから抽出する。ステップ２０５では、抽出されたテキストと関連するメタデータをともにインデックスに格納する。テキストおよび画像インデックス２０５は、ドキュメントコーパス中のテキストと画像のトークンの生成記録を保持しており、それぞれの生成についてのコンテキスト情報は、関連するメタデータとして記述される。ステップ２１２における検索時にユーザはキーワードを入力し、ステップ２０６では、適合するドキュメントの一群を見つけるために、ステップ２０５で生成されたテキストインデックスに対してこのキーワードを利用する。適合するドキュメントがステップ２１０で返され、ステップ２０９で適合するドキュメントに対応する画像のトークンが取得される。ステップ２０７では、前述の画像トークンにより対応付けられた検索結果の画像が、ステップ２０５で作られたテキストおよび画像インデックスに基づく情報を用いて、所定の基準で順位付けされる。最後に、ステップ２０８に順位付けの結果が示される。

本発明の技術に関する例示的な実施形態における、画像検索システムは画像の１以上の特徴となる値、および／または、スライドの１以上の特徴となる値を組み合わせて画像検索結果のソートを行う。例えば、画像および／またはスライドの特徴は、特に限定されるものではないが、画像のｔｆ−ｉｄｆスコア、スライドのサイズに対する画像のサイズの比率、スライド中の画像の数の逆数、画像とユーザが検索したキーワードとのスライド中での距離をスライドの対角線の長さで割った値、などがある。

前述のｔｆ−ｉｄｆスコアを計算する上で、最初のｔｆ部分は検索結果中の画像の検出数に正に相関し、次のｉｄｆ部分は全画像コーパス中での画像の検出数に負に相関する。なおこのｔｆ−ｉｄｆが本発明に関する画像検索システムでの画像検索結果の順位付けに用いることができる唯一の評価手法ではない。本発明の趣旨に基づいて、多様な他の良く知られた再順位付け手法を同様に適用することができる。例えば、そうした例としては次の文献が挙げられる（非特許文献３）。すなわち、本発明は特定の評価手法や順位付け方法に限定されるものではない。
シュー・ジェイ（Xu, J.）、クロフト・ダブリュー・ビー（Croft, W. B. ）、「エー・シー・エム 情報システムトランザクション（第18巻、第1号）ローカルコンテキスト分析で検索される情報の有効性の改善」（ACM Trans. Inf. Syst "Improving the effectiveness of information retrieval with local context analysis." ）、2000年1月、p.79-112

本発明に関する例示的な実施形態としては、ユーザが画像検索結果リスト中の検索画像上にポインティングデバイスのポインタを当てたときに、この画像が使用されたスライドを表示するようにしてもよい。例えば、画像の背景情報（コンテクスト）としては、検索画像の元となる、１または複数のスライド、１または複数のプレゼンテーションがある。さらには、本発明に関する実施形態のシステムとしては、好ましくはスライド画像の近傍に、図３に示すような、検索された画像が利用された時を示す、ヒストグラムを表示させてもよい。この図では本発明に関する画像検索システムのユーザインターフェースの一例を示しており、ユーザには画像３０１のコンテクスト３０２が示され、それとともにプレゼンテーション中のその画像３０１が何回、いつ利用されたのかを示すヒストグラム３０３が表示される。他の実施例としては、プレゼンテーション中の検索された画像の全ての利用頻度を短時間で参照できるように一覧表示させても良い。

いったん画像が検索されると、ユーザはこのユーザインターフェースを介して１以上の検索された画像を選択でき、新たな検索クエリを作成したり既存の検索クエリを補強するために、選択した画像を利用することができる。このようにすることでユーザは、クエリとして、キーワードの代わりにもしくはキーワードとともに画像を用いて、スライド検索を継続することができる。コーパス中の画像にトークンを付加したため、検索エンジンにおいて画像トークンがテキストと同様に機能することとなる。こうした検索手法は画像を有するスライドが、不可欠なキーワードが含まれていない、あるいは、OCRシステムが単語を適切に認識できなかったために、一番最初の段階で検索されないときに有効である。例えば、ユーザが“ＦｌｙＣａｍ”という語を検索しているなら、本発明に関するシステムは、“ＦｌｙＣａｍ”という語を含む一つのスライドを、２つの画像とともに検索することができる。そして、ユーザは検索されたスライド中に含まれる１以上の画像を含む他のスライドを、さらに関連するスライドとして検索することもできるようになる。

以下、本発明に関する画像検索システム詳細な実施形態と、各構成要素について説明する。

スライド画像からの写真の抽出
良く知られているように、多様な周知の方法でプレゼンテーションのスライドはキャプチャーすることができ、例えばＰｂｏｘシステムを用いることができる。キャプチャー後、スライドは文字認識エンジン（OCR）にかけられ、スライドに含まれるテキスト情報を抽出し、抽出されたテキスト情報をテキストベースの検索エンジンで利用できるように蓄積する。続いて、スライドから画像部分が抽出される。

図１のステップ１０１で、キャプチャされたスライド画像から写真を抽出するために、本システムの実施形態では、例えば図４に示すように、一連のスライドが、たとえ枚数が３枚しかなくても、同じ背景の画像テンプレートを通常有しているという事実を利用する。図において、スライド４０１，４０２，４０３はそれぞれが類似した背景画像を有している。周知の画像とビデオの背景領域の推測手法を用いて、本実施形態のシステムは、画像の抽出過程において、変化のない背景部分を除外する。可能であれば、本システムは前述のOCRエンジンにより検出されたテキスト領域の境界を利用して、画像の抽出される候補領域からテキスト情報を含む領域をできるだけ除外する。背景とテキスト領域を除外した残りの領域が画像抽出候補の領域として扱われる。さらにそれぞれの画像を囲む四角形を割り当てるため、本実施形態の手法では、個々の四角領域を識別するための周知の手法である、Ｈｏｕｇｈ変換と角検出法（ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ）を用いた。候補領域の妥当性を保障するため、抽出前に小さすぎるあるいはあり得ない縦横比の領域は除外される。

電子ファイルからの写真の抽出
パワーポイントのようなプレゼンテーション用の電子ファイルから写真を抽出するために、このプレゼンテーションファイルを作成するときに使われた編集アプリケーションのドキュメントオブジェクトモデル（ＤＯＭ：Ｄｏｃｕｍｅｎｔ Ｏｂｊｅｃｔ Ｍｏｄｅｌ）を利用する例を示す。例えば、パワーポイントではプレゼンテーション中の多様なメディア要素の位置を取得するために、ドキュメントオブジェクトモデルを調べることを認めている。加えて、他の形態としては、プレゼンテーションドキュメントを、例えばPDF形式のような、所定のファイル形式に変換し、画像変換ユーティリティを用いて、この所定のファイル形式（PDF）の抽出画像からプレゼンテーションスライドの画像を生成して用いる方法がある。この種のユーティリティの例としては、XPDFソフトウェアパッケージの一部として流通しているPDF2IMAGE.EXE tool がある。

図５は、本発明の手法に関する実施形態の処理手順５００を示すもので、プレゼンテーションスライドから得られた画像に対してトークンを生成する処理を示すものである。

写真のTF-IDFスコアの計算
画像抽出ステップで抽出されるそれぞれの画像について、本実施形態では抽出された全ての画像のセット中に、同じ画像の複製されたバージョンがあるかを識別し、画像の全ての複製されたバージョンにはテキストインデキシングに適するよう、一意に識別可能なトークンを割り当てる。画像の比較を行うために、本発明に関する画像検索システムでは、図5のステップ５０１で示すように、それぞれの画像のサイズが同じとなるようにサイズを調整し、例えば128×128ピクセルとする。サイズ調整後、ステップ５０２で示すように、画像は離散コサイン変換（DCT）が施され、画像は空間領域から周波数領域へと変換される。DCTにより、周波数領域で画像を表現するDCT係数のセットが得られる。その後、ステップ５０３では、サイズ調整された画像のDCT係数の一部を切り捨てたものの比較が行われる。このようにすることでユーザが異なるスライドに、画像を異なるサイズや異なる縦横比で埋め込んだ場合でも、類似画像を見つけることができる。ステップ５０４では、もしDCT係数が既存の画像のDCT係数に十分に近似している場合には、これらの画像に近似する既存の画像のトークンを検索する。２つの画像のDCT係数の比較方法の一例としては、それぞれのDCT係数のベクトル間のコサイン距離を用いる周知の方法がある。さらにあるいはこの代わりに、実施形態としては、複製あるいはほぼ複製された画像の識別を公知の多様な手法を用いて行うこともでき、特定の手法に限られるものではない。

ステップ５０５で示すように、それぞれの一意の画像は、その画像があったスライドのテキストインデックス中に、画像に対応する一意のトークンを用いて表現される。このトークンは一意で、通常のテキストとは区別でき、テキストインデキシングシステムで取り扱えるトークンである。一例としては、トークン生成工程では、数文字からなるひとつのランダムで一意なプリフィックス（接頭文字）を生成し、その画像のインデックスを画像データベース中の画像に付加することで、画像に対して指標化可能なトークンを割り当てる。ステップ５０３では、新しい画像が検出されるとそれは基準サイズに調整される。そのDCT係数が計算され、その係数が過去に指標付けした画像の係数と十分に近い場合には、その画像は過去に指標付けされた画像のトークンが割り当てられる。そうで無い場合には、ステップ５０５に示されるように、画像が画像データベースに引き渡され、新しい一意の識別用トークンが割り当てられる。本発明に関する実施例の手法では、画像データベースに継続的に画像を追加する、Ｐｂｏｘのような、プレゼンテーションに用いたスライドの自動キャプチャー装置を用いることができる。ステップ５０６は、トークンは、テキストインデキシング装置およびテキスト検索エンジンに供される。

単語の出現頻度（ｔｆ）とドキュメント頻度の逆数（ｉｄｆ）の値を計算するうえで、コーパス全体での単語の頻度を計数するときに考慮されるべきドキュメントの本文を決定するために、本実施形態では、入手できるプレゼンテーションの内容、もしスライドに時間の情報が含まれているなら、時間、日にち、週あるいは月といった情報を用いて、ドキュメントを数段階の粒度にグループ分けをする。言い換えると、本実施形態では、プレゼンテーションでの画像の利用について、時間、日数、週、月といった期間を考慮に入れる。Ｐｂｏｘのようなプレゼンテーションの自動記録装置では、いく種類ものスライドを用いて統計的に単語の頻度を計算する場合、粒度を月単位とするのが妥当である。しかし、情報検索を行う時点で適当な粒度を決定しても良く、システムで固定しておく必要はない。

これまでのウェブベースの画像検索エンジンでは、画像をテキスト検索するために画像にキーワードを付与するため、画像のファイル名、あるいはHTMLのIMGタグに関連付けられたHTMLのALT部分を用いている。この場合、そのドキュメントがきちんと構築されていなければ、その情報を入手することはできない。このようにドキュメントが構築されておらず、そうした情報の入手が困難である場合を想定したとき、本実施形態では、画像のサイズ、スライドのサイズに対する画像のサイズの比、スライド中に存在する画像の数、そしてキャプチャーされたスライド中もしくはドキュメント中の画像とキーワードの距離を代わりに用いることができる。このキーワードはテキストを用いた検索条件で類似した画像を検索するためにユーザが用いるものである。クエリに用いた単語に対する画像の類似度は、ドキュメント中でよりその画像に近い単語は大きく、画像が大きいほど大きく、そしてより少ない数の他の画像と共に表示される場合には大きくする。他の実施形態としては、前述の出現頻度に基づいたｔｆ−ｉｄｆ法とともに、全体の画像スコアを単純な掛け算もしくは足し算で求め、これをその全体スコア画像の検索結果の個々の画像をソートするのに用いる。他の例としては、全体スコアを前述の類似度を用いて計算するもので、異なる手法により得られる値には異なる重み付けをし、加算して用いる。例えば、画像に適合した単語の近接度は、ある場合には最も重要と考えられ、その場合は他の手法による値より支配的な重み付けを与える。当業者であればわかることであるが、後者の方が画像検索結果のランキングを調整するうえではより柔軟性がある手法である。この重みのパラメータは実験結果に基づいて選択もしくは調整される。なお、もっとも好適な重み付けの組み合わせは対象となるプレゼンテーションやドキュメントによって異なる。つまり、異なるグループの編集者が異なる基準により異なる背景情報に基づいて作成した異なるコーパスでは、最適な重み付けは異なる結果となる。ある設定では、 画像に対する単語の近接度が検索結果のランキングに最も重要である。他の設定では、画像のサイズの設定が最も重要である。このように異なるランキング要因について、設定を異ならせて結果を調整することができることは当業者であれば自明であろう。

では、以下に本発明の画像検索システムに関する実施形態の適用例を示す。

電子ペーパーの写真検索で使用例
日本からの研究者が電子ペーパーに関する講演をし、あるユーザがその機構を説明した画像をみたことを覚えているとする。ユーザはその画像を探したいと考え、本発明に関する画像検索システムにクエリを出して検索を行う。そのクエリには「電子ペーパ」という単語が含まれている。電子ペーパの画像が含まれているか含まれていないかわからない全てのスライドの画像をユーザに見せる代わりに、本発明に関するシステムでは説明したように「電子ペーパ」という単語がスライドに埋め込まれた全画像を簡略表示でユーザに提示する。検索結果のいずれかにマウスのポインタを重ねると、システムはその図が実際に埋め込まれたスライドをユーザに提示する。

ユーザが依然として探している画像を見つけられないときには、ユーザはシステムに関連するスライドを提示するように要求する。このスライドとしては、例えば過去に検索した画像の中で、当初の検索で用いた「電子ペーパ」という単語を含まないものである。

応用：関連画像を見つける
ユーザが探していた写真が見つかった後、ユーザは同じトピックを扱う新しいプレゼンテーションを作成する。しかし、ユーザは以前彼が見つけた関連する写真を見つけたいとする。ユーザはシステムに画像をクエリとして送り、検索に用いた写真が見つかったプレゼンテーションに埋め込まれている全ての画像を検索する。 この作業に関わる全ての画像の全体像がすぐに生成されて示される。

応用：ユーザのメディア資産管理
あるユーザはグループの人達にプレゼンテーションをしようとしている。ユーザが新しいプレゼンテーションに画像を埋め込むときに、その画像が多く使われたのか使われたことがないのか、この画像をクエリとして使って過去に作成されたプレゼンテーションを検索することで知ることができる。結果を評価する場合には、特に図２に示すように、画像の使用頻度のヒストグラムを表示させることで、ユーザは即座にその資料の見栄えが古いと思われるかどうかを判断することが可能となる。

コンピュータによる実現例
図６は、本発明の実施形態に関わるコンピュータ／サーバーシステム６００の実現例を例示したものである。このシステム６００には、コンピュータ／サーバプラットフォーム６０１、周辺装置６０２とネットワークリソース６０３を含んで構成される。

コンピュータプラットフォーム６０１は、情報をコンピュータプラットフォーム６０１内の多様なモジュールとの間で通信するためのデータバス６０４あるいは他の通信機構を有している。そして、プロセッサ６０５は、情報処理や他の計算および制御処理を行うために、バス６０４と接続されている。コンピュータプラットフォーム６０１はさらに、多様な情報やプロセッサ６０５で処理される命令を記憶する、ランダムアクセスメモリ（RAM）や他の動的記憶装置のような揮発性記憶領域６０６がバス６０４に接続されている。揮発性記憶領域６０６はプロセッサ６０５の処理において仮の変数や中間情報を記憶するのに用いてもよい。コンピュータプラットフォーム６０１には、プロセッサ６０５の処理において統計情報や、基本入出力システム（BIOS）のような命令を記憶するために、バス６０４に接続されたリードオンリーメモリ（ROM）や他の静的記憶装置を備えても良い。 磁気ディスクあるいはフラッシュメモリのような不揮発性記憶装置６０８は情報や命令を記憶するためにバス６０４に接続される。

コンピュータプラットフォーム６０１には、システム管理者あるいはユーザに情報を提示するために、CRT、プラズマ、あるいは液晶ディスプレイが、バス６０４に接続されている。入力装置６１０はアルファベットと他のキーを備えており、プロセッサ６０５との通信や指示のためにバス６０４に接続されている。他のユーザ用入力装置としては、方向に関する情報を通信し、ディスプレイ６０９上でのカーソルの動きを制御するために、マウス、トラックボールあるいはカーソル方向キーのようなカーソル制御装置６１１がある。この入力装置は通常２軸での自由度をもっており、第１の軸（例えばｘ）および第２の軸（例えばｙ）を持つことで平面状での位置をそのデバイスで特定できることとなる。

外部記憶装置６１２は拡張あるいは取り外し可能なデータ蓄積装置はバス６０４を介してコンピュータプラットフォーム６０１に接続してもよい。コンピュータシステム６００の例で、外付けのリムーバルメモリを他のコンピュータシステムとのデータ交換を用意にするために用いてもよい。

本発明は、ここに記述された技術を実現するためのコンピュータシステム６００の使い方に関連するものである。実施形態として、コンピュータプラットフォーム６０１のような機械上に、本発明に関するシステムを搭載する。本発明の一形態としては、ここで記載された技術を、揮発性メモリ６０６中の１以上の命令による１以上の処理をプロセッサ６０５に処理させることで実現させる。こうした命令を不揮発性記憶領域６０８のような他のコンピュータ読取可能な媒体から、揮発性メモリ６０６に読み出してもよい。揮発性メモリ６０６中に保持された一連の命令をプロセッサ６０５に実行させることで、ここに述べた処理ステップを実現させる。他の形態としては、ハードウェアの電子回路を、発明を実現するソフトウェアと、一部置き換え、あるいは、組み合わせてもよい。なお、本発明は特定のスペックを有するハードウェアやソフトウェアの組み合わせに限定されるものではない。

ここで、コンピュータ可読媒体とは、プロセッサ６０５が実行するための命令を提供するのに用いられるあらゆる媒体を指す。コンピュータ可読媒体は機械読取可能媒体の一例であり、ここで述べた、いかなる方法もしくは技術を実現するための命令を保持することができるものである。このような媒体は多様な形態をとり、不揮発性媒体、揮発性媒体、そして通信媒体といったものに限られない。不揮発性メディアとしては、例えば、記憶装置６０８のような、光、磁気ディスクが含まれる。揮発性媒体としては、例えば揮発性記憶装置６０６のような動的メモリを含む。通信媒体は、同軸ケーブル、銅線あるいは光ファイバーを含み、データバス６０４を構成する配線を含む。通信媒体は、電磁波や赤外光データ通信のような、音波や光を利用したものも含む。

例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープあるいは他の磁気媒体、CD-ROMあるいは他の光記憶媒体、パンチカード、紙テープなどの穴の配置を用いる媒体、RAM、ROM、EPROM、フラッシュEPROM、フラッシュドライブ、メモリーカードなどのメモリチップやカートリッジ、ここで述べた通信波、あるいはコンピュータが読むことができる他の媒体、といった通常のコンピュータ可読媒体を含む。

さまざまな形態のコンピュータ可読媒体が、プロセッサ６０５で処理される１以上の処理を実行させるために用いることができる。例えば、その命令が最初はリモートコンピュータから磁気ディスクに保持されてもよい。あるいは、リモートコンピュータがその命令を動的記憶装置にロードして、これをモデムを用いた電話回線を通じて送信してもよい。コンピュータシステム６００に接続されたモデムは、電話回線を通じてデータを受け取るともに、データを赤外線信号に変換して赤外線として伝送するようにしてもよい。赤外線検出装置は、赤外線信号に重畳されたデータを受信し、適当な回路がそのデータをデータバス６０４に伝送する。バス６０４は揮発性記憶領域６０６にデータを伝送し、プロセッサ６０５がその命令を参照して実行できる状態におく。揮発メモリ６０６から受け取った命令はプロセッサ６０５により処理される前あるいは後に不揮発性記憶装置６０８に保存されるようにしてもよい。命令は、周知のネットワークデータ通信プロトコルのいずれかで、インターネットを介してコンピュータプラットフォーム６０１にダウンロードするようにしてもよい。

コンピュータプラットフォーム６０１は、データバス６０４に結合したネットワークインターフェースカード６１３のような通信インターフェースも有する。通信インターフェース６１３はローカルネットワーク６１５に接続されたネットワークリンク６１４に接続し、双方向のデータ通信が可能とされる。例えば、通信インターフェース６１３はＩＳＤＮカードやモデムと一体化され、対応する電話回線でのデータ通信を行わせるようにしてもよい。他の例としては、LANや802.11a, 802.11b, 802.11g として周知の無線LANリンクに適合したデータ通信接続を行うローカルエリアネットワークインターフェースカード（LAN NIC）としたり、Bluetooth(登録商標)を用いて実現してもよい。いずれの場合でも、通信インターフェース６１３は、様々なタイプの情報を表すデジタルデータ列を伝送する、電気、電磁、あるいは光信号を送受信する。

ネットワークリンク６１３は、１以上の他のネットワークとデータ通信を通常可能とする。例えば、ネットワークリンク６１４は、ローカルネットワーク６１５を介して、ホストコンピュータ６１６やネットワークストレージやサーバー６１７への接続を提供する。加えて、あるいは代替として、ネットワークリンク６１３は、インターネットのような、広域あるいはグローバルネットワーク６１８にゲートウェイ／ファイアウォール６１７を通じて接続する。そしてコンピュータプラットフォーム６０１はインターネット６１８上のどこかにある、例えばリモートネットワークストレージ／サーバーといった、ネットワークリソースにもアクセスすることが可能となる。一方、コンピュータプラットフォーム６０１は、ローカルエリアネットワーク６１５および／またはインターネット６１８上のいかなる位置にいるクライアントからもアクセスできるようにしてもよい。ネットワーククライアント６２０と６２１は、プラットフォーム６０１と同様のコンピュータプラットフォームに基づいて構築しても良い。

ローカルネットワーク６１５とインターネット６１８は、共に電気、電磁、あるいは光信号をデータ信号列を伝播するのに用いる。なお、デジタルデータをコンピュータプラットフォーム６０１に入出させる、多様なネットワークを通じた信号、ネットワークリンク６１４上や、コミュニケーションインターフェース６１３を介した信号は情報伝送の伝送波の例示的な形態である。

コンピュータプラットフォーム６０１は、メッセージの送信、プログラムコードを含むデータの受信を、インターネット６１８およびLAN６１５を含む多様なネットワーク、ネットワークリンク６１４および通信インターフェース６１３を介して行うことができる。インターネットの例では、システム６０１はネットワークサーバとして機能し、クライアント６２０および／または６２１で実行されるアプリケーションプログラム用の、リクエストコードやデータを、インターネット６１８、ゲートウェイ／ファイアウォール６１７、ローカルエリアネットワーク６１５および通信インターフェース６１３を介して伝送する。同様に、他のネットワークリソースからコードを受信してもよい。

受信したコードはプロセッサ６０５によって受信時に実行されるか、不揮発記憶装置６０８あるいは揮発記憶装置６０６に保存する、あるいは他の不揮発性記憶領域に記憶して、後で実行してもよい。このようにしてコンピュータ６０１は伝送波からアプリケーションコードを取得できる。

最後に、ここに記載した方法や技法は、特定の装置固有に成り立つものでなく、いかなる適当な構成要素の組み合わせによっても実現できることを理解されたい。また、この開示の示唆に従って、多様な一般用途の装置を用いてもよい。 またここで開示した手法を実現する専用の装置を作成することも有効である。この発明は特定の例示に基づいて記述されているが、それらは全て限定的にするためではなく、例示するためのものである。当業者であれば、ハードウェア、ソフトウェアおよびファームウェアの多くの異なる組み合わせが本発明を実施するのに適当であることは理解されうることであろう。例えば、ソフトウェアの記述は、アセンブラ, C/C++, perl, shell, PHP, Java（登録商標）といった多様なプログラムあるいはスクリプト言語を用いて実現できる。

さらに、ここに開示された本発明の明細書および実施例に基づいて、本発明の他の改良もまた当業者には明らかであろう。実施形態に記述された多様な観点や構成は、このコンピュータにより実現される画像検索システムを単独もしくは組み合わることによりを利用することができる。

本発明に関わる検索システムの処理手順の一例を示すものである。 本発明に関わる検索システムの処理手順の他の一例を示すものである。 本発明に関わる画像検索システムのユーザインターフェースの一例を示すものである。 同じ背景テンプレートの一連のプレゼンテーション用のスライドを示すものである。 本発明の手法の実施形態の一例を示すものである。 本発明のシステムを備えるコンピュータプラットフォームの一例を示すものである。

符号の説明

２００ 画像情報検索装置
３０１ 抽出画像
３０２ プレゼンテーションスライド
３０３ ヒストグラム
４０１，４０２，４０３ プレゼンテーションスライド
６００ コンピュータシステム
６０１ コンピュータプラットフォーム
６０２ 周辺装置
６０３ ネットワークリソース

Claims (19)

1. ドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出し、
   前記少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成し、
   前記少なくとも１つの画像あるいは前記ドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成し、
   前記識別情報および前記メタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持させ、
   前記テキスト検索エンジンに前記識別情報を用いて前記記憶領域に対する情報の検索実行を指示する入力を行う
   ことを特徴とする画像情報検索方法。
2. 前記識別情報の生成は、画像の重複を判別する工程をさらに含み、前記重複を判定する工程は、
   判定対象となる画像を所定のサイズに調整し、
   前記調整後の画像を周波数成分により表現するための周波数変換を施し、
   前記画像を表現する第１の周波数成分と、比較対照される画像を表現する周波数成分とに基づいて、所定の基準により前記画像が前記比較対照される画像と同じあるいは類似する画像と評価される場合には、前記識別情報として、前記比較対照される画像に付与された識別情報を割り当てて前記記憶領域に保持させる
   ことを含むことを特徴とする請求項１記載の画像情報検索方法。
3. 更に、前記ドキュメントファイルからテキスト情報を抽出し、前記抽出されたテキスト情報を前記テキスト検索エンジンが検索可能な前記記憶領域に保持させることを特徴とする請求項１記載の画像情報検索方法。
4. さらに、前記検索実行の指示により得られる検索結果が複数の画像情報であり、所定の基準に基づいて前記複数の画像情報のランキングを行うことを特徴とする請求項３記載の画像情報検索方法。
5. 更に、前記ドキュメントファイルからテキスト情報を抽出し、前記抽出されたテキスト情報を前記テキスト検索エンジンが検索可能な前記記憶領域に保持させ、前記所定の基準が、前記記憶領域に記憶された前記識別情報および前記テキスト情報に基づいて算出されたｔｆ−ｉｄｆ値に基づいて計算されることを特徴とする請求項４記載の画像情報検索方法。
6. 前記画像が類似もしくは一致する場合には前記識別情報を同一とすることを特徴とする請求項１記載の画像情報検索方法。
7. 前記メタ属性が、前記ドキュメントファイル中の前記画像の埋め込まれたページ上における前記画像の位置、前記画像の高さ及び幅、前記ドキュメントファイル中の前記画像の埋め込まれたページに対する前記画像の大きさの比、あるいは前記ドキュメントファイル中の前記画像の埋め込まれたページに埋め込まれた画像の数、の少なくともひとつであることを特徴とする請求項１記載の画像情報検索方法。
8. 更に、ドキュメント中のページから少なくとも１つの前記画像を抽出することを特徴とする請求項１記載の画像情報検索方法。
9. 更に、前記検索の指示入力の結果出力された検索結果に対応する画像を表示装置上に表示させ、前記表示手段に表示された画像を選択手段で選択させ、前記選択手段により選択された画像に対応する前記識別情報を用いて前記テキスト検索エンジンにより前記記憶領域の検索を行わせる、ことを特徴とする請求項８記載の画像情報検索方法。
10. ドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出する検出手段と、
    前記少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成する識別情報生成手段と、
    前記少なくとも１つの画像あるいは前記ドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成するメタ情報生成手段と、
    前記識別情報および前記メタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持する保持手段と、
    前記テキスト検索エンジンに前記識別情報に基づく前記記憶領域に対する情報の検索実行を指示する検索指示手段と
    を備えることを特徴とする画像情報検索装置。
11. 前記識別情報生成手段は、画像の重複を判別する重複判定手段をさらに含み、前記重複判定手段は、
    判定対象となる画像を所定のサイズに調整する調整手段と、
    前記調整後の画像を周波数成分により表現するための周波数変換を施す周波数変換手段と、
    前記画像を表現する第１の周波数成分と、比較対照される画像を表現する周波数成分とに基づいて、所定の基準により前記画像が前記比較対照される画像と同じあるいは類似する画像と評価される場合には、前記識別情報として、前記比較対照される画像に付与された識別情報を割り当てて前記記憶領域に保持させる重複画像識別符号付与手段と
    を含むことを特徴とする請求項１０記載の画像情報検索装置。
12. 前記保持手段は、前記ドキュメントファイルからテキスト情報を抽出し、前記抽出されたテキスト情報を前記テキスト検索エンジンが検索可能な前記記憶領域に保持させることを特徴とする請求項１０記載の画像情報検索装置。
13. 前記検索エンジンは、前記検索実行の指示により得られる検索結果として、所定の基準に基づくランキングで複数の画像情報を表示することを特徴とする請求項１０記載の画像情報検索装置。
14. 前記保持手段は、前記ドキュメントファイルからテキスト情報を抽出し、前記抽出されたテキスト情報を前記テキスト検索エンジンが検索可能な前記記憶領域に保持させ、前記所定の基準が、前記記憶領域に記憶された前記識別情報および前記テキスト情報に基づいて算出されたｔｆ−ｉｄｆ値に基づいて計算されることを特徴とする請求項１３記載の画像情報検索装置。
15. 前記識別情報生成手段が、前記画像が類似もしくは一致する場合には前記識別情報を同一とすることを特徴とする請求項１０記載の画像情報検索装置。
16. 前記メタ属性が、前記ドキュメントファイル中の前記画像の埋め込まれたページ上における前記画像の位置、前記画像の高さ及び幅、前記ドキュメントファイル中の前記画像の埋め込まれたページに対する前記画像の大きさの比、あるいは前記ドキュメントファイル中の前記画像の埋め込まれたページに埋め込まれた画像の数、の少なくともひとつであることを特徴とする請求項１０記載の画像情報検索装置。
17. 更に、ドキュメント中のページから少なくとも１つの前記画像を抽出する画像抽出手段を有することを特徴とする請求項１０記載の画像情報検索装置。
18. 更に、前記検索の指示入力の結果出力された検索結果に対応する画像を表示装置上に表示させ、前記表示手段に表示された画像を選択手段で選択させ、前記選択手段により選択された画像に対応する前記識別情報を用いて前記テキスト検索エンジンにより前記記憶領域の検索を行わせる入出力手段を備えることを特徴とする請求項１７記載の画像情報検索装置。
19. コンピュータに、
    ドキュメントファイルに含まれるページ中に埋め込まれた少なくとも１つの画像を検出し、
    前記少なくとも１つの画像を一意に識別するための文字情報を含む識別情報を生成し、前記少なくとも１つの画像あるいは前記ドキュメントファイルに関する情報に基づいて前記少なくとも１つの画像に関する属性としてのメタ属性を生成し、
    前記識別情報および前記メタ属性をテキスト検索エンジンによる検索が可能な記憶領域に保持させ、
    前記テキスト検索エンジンに前記識別情報を用いて前記記憶領域に対する情報の検索実行を指示する入力を行う
    ことを実行させるための画像情報検索用のコンピュータプログラム。