JP2005202939A - Ｘｍｌファイルの作成方法 - Google Patents

Abstract

【課題】簡単な検索法であるが、従来技術の問題点を回避した方法を提供することである。
【解決手段】イメージ文書と関連するＸＭＬファイルの作成方法において、ａ）ＸＭＬファイルに対する階層を定義する文書タイプ定義（ＤＴＤ）を作成し、ｂ）イメージ文書に対するイメージカテゴリーを同定し、ｃ）イメージ分析を使用して、イメージ文書の優勢パラメータを抽出し、ｄ）該イメージ文書に対するイメージカテゴリーを同定し、ｅ）該イメージ文書に対する少なくとも１つのサブカテゴリーを同定し、ｆ）オブジェクトを該イメージから抽出し、ｇ）前記ステップｂ）〜ｆ）から得られた情報を格納するためにＸＭＬファイルを作成する。
【選択図】図３

Description

本発明は、イメージ画像を備えるＸＭＬファイルの作成方法、ＸＭＬファイルの検索方法、より詳細にはヒエラルキーおよびコンテント技術を使用したイメージ文書の復元方法に関する。

情報技術の急速な発展と共に、マルチメディア情報の量が爆発的に上昇している。従ってマルチメディアデータ、とりわけ画像の膨大なコレクションを検索し、ブラウザするための効率的なツールが大きな注意を引いている。イメージ画像の検索技術はビデオサーチと共通の基礎技術である。なぜならビデオはしばしば複数のキーフレームにより提示されるからである。イメージおよびビデオサーチでの最も大きな困難性は、視覚情報でのローレベル提示と、基礎となるハイレベルコンセプトとの間にギャップから生じる。コンピュータは色、テクスチャ、形状などのローレベルフューチャ（視覚フューチャ）を理解することができるが、人間は画像を意味的に知覚する。すなわちセマンティックスまたは内容の真の意味に基づいて知覚する。しかし意味論的なレベルフューチャを、コンピュータビジョンおよびイメージ理解の枠内でイメージ画像から現在の技術により直接抽出することは非常に困難である。

コンテンツベースの画像検索は、画像データベース分野でのリサーチと開発の有望な分野の１つであると考えられる。しかしこれまで取り扱われた主たる手法は画像に関連するキーワードを使用することによるものであり、これは伝統的なデータベース管理システム（ＤＢＭＳ）技術に対して使用されているものである。または色、テクスチャ等の画像フューチャマッチングを直接的に使用することによるものである。しかし両方の方法とも視覚的対象物に関して人間が情報を検索することを模倣することはできない。視覚的対象物では、バックグランド、時間および単なる画像特性以外の情報などのコンテンツが重要である。

さらに反復的関連性フィードバックを含む種々の方法が試みられている。ここではユーザが検索されるアイテムにコメントする。ユーザの質問は所望の画像の記述または画像のクラスを提供する。この記述は多数の形態を有する。これは注釈された画像データベースの場合はキーワードの集合、または画像のスケッチ、画像例、または全体的明度、特別な色のピクセルのパーセントなどの量的画像フューチャを表す値の集合である。しかし残念なことに、ユーザにはこのような記述を特定するのがしばしば困難であり、ましてコンピュータプログラムがこれらの記述を理解することも困難である。さらにユーザが良い初期質問を提供しても、データベースをどのようにナビゲートするかという問題は残る。

オリジナルのローレベル視覚フューチャ空間を、ユーザによるハイレベルコンセプトを反映する空間に写像できるようにすることも困難である。従って検索システムの性能は学習構造のモデルおよびユーザフィードバックからの適合に依存する。いくつかの検索システムはハイレベル類似性メトリックに対するユニモードモデルを使用する。すなわち次の質問ポイントはターゲット画像に最も類似する画像の評価位置であり、他の画像の類似性はこのポイントへの距離が増大すると低下する。しかしこのモデルはユーザの所望のハイレベル・セマンティックスを発見するのには不適当である。基本的にセマンティックスベースのサーチはカテゴリーサーチの一種である。ユーザは、花、動物などの基本カテゴリーに所属する画像をサーチする。

上記方法のすべては所定の目的のために使用され、人間的な質問を作成するレベルに至るが、あるべきものとして編成された質問を作成したり、人間がしばしば無意識に実行しているようにコラージュから所定の画像を探したりするものとは遠くかけ離れている。重要なことは、ユーザがコンテンツベースのサーチを行うことができ、画像を階層的に編成できるようにすることである。さらにわれわれは、画像をそのサブコンポーネントとサブコンポーネント間の関連により記述することを構想する。

例えばライオンの子供、またはより条件を付けてブロンクス動物園のライオンの子供を捜すための質問が存在するとする。そしてデータベースは応答が迅速で正確であるように編成されていなければならない。画像が適切に注釈されていれば、質問を適合することができるが、いずれかの構造がなければ検索時間が長くなることがある。またそれ以上の条件がなければ、注釈付きの質問であっても失敗することがある。なぜなら一度ブロンクス動物園を訪問したライオンの子供、またはブロンクス動物園で育てられたライオンの子供、またはブロンクス動物園にいるライオンの子供の画像が挙げられることになるからである。我々のターゲットは明らかに一番最後のものである。画像記述を直接的にマッチングするにしても、これもまた困難なタスクである。なぜならライオンの子供をスケッチすることができ、また体色についての詳細が正しくても、ポーズやライティング、背景については確かでないことがあり、このことはハイレベル・セマンティックス編成なしでは不可能ではないにしてもサーチを非常に困難にするであろう。

本発明の課題は、簡単な検索法であるが、伝統的サーチ方法により直面する前記問題を回避する方法を提供することである。

この課題は、
ａ）ＸＭＬファイルに対する階層を定義する文書形式定義（ＤＴＤ）を作成し、
ｂ）イメージ文書に対するイメージカテゴリーを同定し、
ｃ）イメージ分析を使用して、イメージ文書の優勢パラメータを抽出し、
ｄ）該イメージ文書に対するイメージカテゴリーを同定し、
ｅ）該イメージ文書に対する少なくとも１つのサブカテゴリーを同定し、
ｆ）オブジェクトを該イメージから抽出し、
ｇ）前記ステップｂ）〜ｆ）から得られた情報を格納するためにＸＭＬファイルを作成することにより解決される。

発明の要約
本発明は、階層的画像編成方法とデータベースマッピング方法を使用する。データベースマッピング方法は質問を関連するテキストベースのサーチストラテジーに変換する。一度、意図する結果が検索されると、さらなるリファインが直接的画像記述と関連のフィードバックを使用することにより達成される。

イメージ文書と関連するＸＭＬファイルの作成方法が開示される。文書形式定義（ＤＴＤ）が形成され、これがＸＭＬファイルに対して階層を定義する。イメージ文書に対するイメージ画像分類が得られる。イメージ分析処理がイメージ文書の特徴パラメータの抽出に使用される。イメージ文書に対するイメージカテゴリーが同定される。イメージ文書に対する少なくとも１つのイメージサブカテゴリーが同定される。イメージからのオブジェクトが抽出され、ＸＭＬファイルが作成され、すべての情報が記憶される。

本発明はまた、１つまたは複数の文書をサーチするためのＸＭＬファイルの検索方法に関する。イメージ文書に対するコンテンツベースの検索は広く受け入れられている。コンテンツベースの検索はＸｐａｔｈ質問に変換される。ＸＰａｔｈ質問はSQLストリングにマッピングされる。１つまたは複数の文書がSQLストリングを使用してサーチされる。SQLストリングの基準にマッチする１つまたは複数のイメージ文書が検索され、ユーザに表示される。

本発明は、階層およびコンテンツ技術を使用するイメージ文書の検索方法を指向する。図１は、本発明を実現するためのネットワークアーキテクチャを例として示す。パーソナルコンピュータ（ＰＣ）１０２，１０４，１０６はローカルエリアネットワーク（ＬＡＮ）の一部であるか、または独立して通信ネットワーク１１０に接続されている。当業者であればパーソナルコンピュータ１０２，１０４，１０６を種々異なるやり方で通信ネットワーク１１０に接続することができよう。例えばＰＣ１０２はモデム１０８を使用してインターネットサービスプロバイダ（ＩＳＰ）１０９に接続することができ、サービスプロバイダ１０９はＰＣ１０２を通信ネットワーク１１０に接続する。モデム１０８はダイヤルアップモデム、ケーブルモデムまたはデジタル加入者ライン（ＤＳＬ）用に使用されるモデムとすることができ、ＰＣ１０２を通信ネットワーク１１０に接続する。通信ネットワーク１１０はシングルネットワークであるか、または公衆回線電話網（ＰＳＴＮ）、ケーブルネットワーク、デジタル加入者ライン（ＤＳＬ）、インターネットまたはイントラネットの組合せとすることができる。

通信ネットワーク１１０には１つまたは複数のウェッブサーバ１１２，１１８が接続されている。ウェッブサーバ１１２，１１８は、例えばSun Microsystems, Inc. により製造されたSPARCステーションである。各ウェッブサーバは１つまたは複数のウェッブサイトのホストである。各ウェッブサーな１１２，１１８に関連して１つまたは複数のデータベース１１４，１１６，１２０，１２２がマルチメディアデータを含んでいる。このデータはテキスト文書、イメージ文書、ＸＭＬ文書、および他のメディアを含む。当業者であれば、図１に示されたＰＣ、ウェッブサーバおよびデータベースの数は単に説明のための例であり、実際はそれ以上の数であることは理解されよう。

本発明と関連してＰＣのユーザはイメージ文書要求を、通信ネットワークを介してウェッブサーバの１つまたは複数に対して要求することができる。択一的にユーザは自分のＰＣに常駐する文書、またはＰＣのＬＡＮないに含まれる文書を要求することができる。イメージ画像要求はテキスト要求、コンテンツ要求、または両方の形式の要求の組合せとして作成することができる。

図２は、イメージ文書２０２を編成し、イメージ文書をＸＭＬ文書２０８と関連付けるための処理を示す。後で詳細に説明するように、ＸＭＬ文書２０８は、文書タイプ定義（ＤＴＤ）２０６を使用して階層およびイメージ文書の記述シンタックスを定義する文法に従う。ＤＴＤの複雑性は、基礎となるアプリケーションの複雑性および問題のイメージデータベースにより定義される。

いったんＤＴＤが選択されると、次のステップは認定ＸＭＬ文書２０４をイメージの各々またはイメージの群と関連付ける。これは実質的にイメージ、階層におけるイメージの位置、所定のフォーマットでのイメージの内容、およびＤＴＤにより定義される他のフューチャを記述する。これらのＸＭＬ文書は後での検索のために関連データベース２１２にマッピング２１０される。

検索側での第１のステップでは、自然またはユーザ質問２２０を取り上げ、これを関連ステートメントにマッピングする。この関連ステートメントは理解し、解釈することができる。続いて実際の質問が、イメージファイルを配置するデータベースのＸＭＬ部分で実行される。そしていったん、多重マッチング２１４が発見されると、この質問はイメージ記述に直接的に作用する別の修飾子、例えば色、テクスチャ等によりリファインされる。多重マッチングがまだ存在すると、関連フィードバック２１６がリファインのためにさらに使用され、実際のターゲットイメージへと洗練される。

上に示したように本発明の重要な側面はＤＴＤである。文書タイプ定義（ＤＴＤ）は階層に対するシンタクスと特徴付けに対する言語を定義するように形成される。特徴付けはイメージ文書と関連するＸＭＬファイルを定義するために使用される。明らかに検索能力は、ＤＴＤが構造化され、良好に定義されると向上する。しかしＤＴＤの選択と関連する複雑性は明らかに基礎となるイメージデータベースの複雑性と自然分類により定義される。またＤＴＤはスケーラブルであるべきであり、これによりＤＴＤは形成されるより多くのデータに適合することができる。そしてさらなる分類化を、ＤＴＤを変化させる必要なしに実行すべきである。

例としてのＤＴＤの実施例を以下に説明する。ＸＭＬファイルのルーツエレメントはＡＩＵＤｏｃとして同定される。このＡＩＵＤｏｃは３つのエレメント、すなわちＤｏｃＨｅａｄｅｒ、ＩｍａｇｅＤｏｃＸおよびＤｏｃＦｏｏｔｅｒから以下のようにしてなる。

イメージファイルの名称を含むＤｏｃＨｅａｄｅｒの定義は以下のとおりである。

ＤｏｃＦｏｏｔｅｒの定義は次のとおりである。

本発明によれば、キー定義はＩｍａｇｅＤｏｃＸの定義である。カテゴリーおよび分類の他に、キー定義はオブジェクトと、その相対的または絶対的位置に関する情報を含む。また特定のオブジェクトがフォアーグランドにあるかバックグランドにあるかの情報も含む。カテゴリーおよびサブカテゴリーの数はアプリケーションに依存するから、ＤＴＤ定義を反復的に適応する必要がある。ＩｍａｇｅＤｏｃＸの定義は以下のとおりである。

ＩｍａｇｅＤｏｃＸは、ＩｍａｇｅＣｌａｓｓの主定義、著者に関する情報（画家、写真家等）およびイメージデータを含む。ＩｍａｇｅＣｌａｓｓ情報は、ＩｍａｇｅＣａｔｅｇｏｒｙエレメントを含み、このＩｍａｇｅＣａｔｅｇｏｒｙエレメントは自己再帰的である。集合の個数は分類化の深さに依存する。ＩｍａｇｅＣｌａｓｓはまたテクスチャに関する情報および他のローイメージを有する。ローイメージはイメージ処理アルゴリズムを使用して発生することのできる格納情報に関連する。ＩｍａｇｅＣｌａｓｓはまたＩｍａｇｅＯｂｊｅｃｔフィールドを有し、このＩｍａｇｅＯｂｊｅｃｔフィールドは反復的であり、名称、位置などの属性を有する。これらは特定のオブジェクトがイメージの左または右または他の角にあることを定義する。ＩｍａｇｅＯｂｊｅｃｔフィールドはまた使用可能であれば正確な画像座標を定義する他の属性を有する。Ｒｅｆｅｒｅｎｃｅは、オブジェクトがフォアーグランドにあるかバックグランドにある、または閉塞されているかを定義する。イメージに関するさらなる情報は格納することができ、必要ならさらなるエレメントおよび属性を形成することができる。

図３は、関連ＸＭＬファイルの形成ステップのシーケンスを示す。このＸＭＬファイルは上記のシンタクスに基づくイメージに関する情報を含む。イメージファイルが検索され（３０２）、イメージに関する情報が手動または自動的に収集され、関連ＸＭＬファイルに格納される（３２８）。収集された情報タイプの例はイメージ分類（例えば自然、人工等）、著者、データ情報（３０４）である。次にＩＤおよび名称がイメージに割り当てられる（３０６）。wavelet分析（３１０）およびカラーヒストグラム発生（３１４）のようなイメージ分析法が実行され、イメージの主要パラメータが抽出され格納される（３１Ｔ２，３１６）。

次にイメージカテゴリー（例えば動物、植物等）がイメージに対して同定される（３１８）。サブカテゴリー（例えば陸生生物、水生生物等）が各同定されたイメージカテゴリーに対して形成される（３２０）。イメージカテゴリー内の付加的サブカテゴリーが適切である限り形成される（３２２）。オブジェクトがイメージから抽出される（３２４）。オブジェクトがイメージ処理アルゴリズム、例えば境界ファインディングを使用して手動または自動で抽出される。付加的にオブジェクト情報が抽出される（３２６）。オブジェクト情報の例は個所、位置、オブジェクトの座標等の属性を含む。いったんすべてのイメージデータとオブジェクトデータが収集されると、ＸＭＬファイルが形成され、特定イメージに関するこの情報のすべてが格納される。

上記方法と関連し、ブロンクス動物園のライオンの子供の画像の例で、このようなイメージ画像に関連するＸＭＬファイルの例は以下のとおりである。

本発明は、ＸＭＬ情報とイメージデータの両方を検索することのできるデータベースの作成方法に関するものである。本発明の実施例では、２つのデータベースが作成される。第１のデータベースはイメージファイルを有し、第２のデータベースは上記のＸＭＬファイルを有する。データベースは一般的に次のようにして作成される。適用のためには、ＤＴＤは必要なエレメントと属性の同定により簡素化されることを考慮すべきである。次に別個のテーブルが各エレメントと関連付けられる。このエレメントはチャイルドノードまたは属性を有する。プライマリーキーおよび異種キーが作成され、異なるテーブル間の関係を確立する。エレメントと属性値はＸＭＬファイルから抽出され、データベースの作成に使用される。

本発明はまた通常の質問を行い、これをシステムに適合したものにマッチングする方法に関する。ＸＭＬは階層的言語であり、質問を行うための非常に構造化された文法に適する。データ構造および上記のデータベースをこのような質問により効率的に動作させるため、質問はＳＱＬステートメントにマッピングされる。ここでは適切なエントリーが文書から抽出され、使用される。ＸＭＬ文書を質問するのには複数のやり方がある。ＸＭＬ文書のアドレス部分に対する１つの共通の基準はＸｐａｔｈである。しかし当業者であれば、本発明の技術思想を逸脱することなく他の言語をＸＭＬ文書のアドレス部分に使用することができよう。いったん質問結果が受信されれば、多重イメージが選択された場合、ピクセルベースのイメージ処理方法を、サーチを狭めるために使用することができる。さらにサーチ結果のフィルタリングが関連フィードバックを使用して実行される。

イメージ文書を得るためにＸＭＬファイルの質問を実行するための方法が一般的に図４と５に示されている。まず質問が受信され、質問の形式が検出される（４０２）。質問がキーワードに対する単純なテキスト質問であれば（４０４）、この質問は単純なデータベースにマッピングされる。このマッピングはＳＥＬＥＣＴおよびＷＨＥＲＥ節とＯＲを使用して行われ、この質問はすべてのテーブルのすべてのコラムからのサーチに結合される。このことはシステムのデータベース部分に対して動作する。テキストサーチはまたＸＭＬ文書が格納されているシステムの残りの部分に対しても実行される。マッチが存在すると、ＸＭＬツリーのすべてのサブノードがマッチポイントに引き出される。

質問が高等サーチ質問であれば、種々のコラムからのマルチフィールドが特定される（４０）。この質問は、ＳＥＬＥＣＴおよびＷＨＥＲＥ節とＡＮＤを使用してデータベースサーチにマッピングされ、すべてのサーチの公差が発見される。もう一度、これはシステムのデータベースマッピング部分にだけを処理する。

本発明によれば、最も重要なサーチはＸｐａｔｈステートメントを使用するサーチである。文脈質問が受信される（４１２）。データの階層についての多くのコンテクストベースサーチはＸｐａｔｈステートメントに変換することができる（４１６）。これらのステートメントはルーツから出発し、エレメントまたは属性の値を特定するすべてのやり方に追従することができる。またはこれらのステートメントは、ツリーのいずれかのポイントでスタートし、サブツリーでエレメントまたは属性の値を特定する。従って第１のステップは質問でのスタートタグの位置を同定することである。

例えばライオンの子供を捜すための質問、またはより的確にはブロンクス動物園のライオンの子供を捜す質問の場合、質問はＸｐａｔｈステートメントとして次のように組み立てることができる。

いったんＸｐａｔｈ質問が得られると、Ｘｐａｔｈ質問はＳＱＬストリングにマッピングされる（４１８）。ＤＴＤへの参照が形成され、特定の階層がどのようにテーブルにマッピングされ、そして適切なテーブルを同定するかが決定される。この場合、これは値が既知である最も高いレベルのエレメントまたは属性へ接続されたテーブルの同定を意味する。このことはこの場合、ＩｍａｇｅＣａｔｅｇｏｒｙエレメントである（４２０）。このテーブルに対する異種キーが同定され、これはＩｍａｇｅＯｂｊｅｃｔテーブルへ導く。このＩｍａｇｅＯｂｊｅｃｔテーブルは相応するプライマリーキーを有しており、プライマリーキーは適切なオブジェクトを決定する（４２２）。

いったんテーブルが同定されると、このテーブルは特定される相応のエレメントおよび属性値についてサーチされる（４２８）。実際のサーチは、Ｘｐａｔｈ質問サブストリングを高等サーチとして変換することにより実行される。この変換は上記のようにＳＱＬを使用して行われる。そしてイメージ集合にリターンする（４２４）。

複数のイメージマッチが存在する場合（４３０）、さらなる情報が提供されるかについての決定が行われる。さらなる情報が存在すれば、付加的質問が形成される。そのために例イメージが既知であれば、色とテクスチャパラメータが抽出され、ユークリッド距離が例イメージの色およびテクスチャパラメータと検索されるイメージのそれとの間で計算される（５０８）。最初のＮの最適マッチがユーザに示される（５１２，５１４）。このポイントでユーザは自分の選択を最良に描写するイメージの１つを選択することができる。このイメージは例イメージと置換され、サーチが繰り返され、再び選択されたイメージの中での最適のＮのマッチがＸＭＬデータベースサーチを介して反復される。このステップの第１の目標は、ユーザに簡単には記述できないプロパティに対する自分のサーチを適切にする能力を提供することである。

本発明による例としてのネットワークアーキテクチャの概略図である。

本発明によりデータベースがどのように形成され、どのように編成されるかを示すフローチャートである。

イメージ文書に対するＸＭＬファイルがどのように作成されるかを示すフローチャートである。

本発明によりイメージ文書がどのように検索されるかを示すフローチャートである。

本発明によりイメージ文書がさらにどのように検索されるかを示すフローチャートである。

Claims (19)

1. イメージ文書と関連するＸＭＬファイルの作成方法において、
   ａ）ＸＭＬファイルに対する階層を定義する文書タイプ定義（ＤＴＤ）を作成し、
   ｂ）イメージ文書に対するイメージカテゴリーを同定し、
   ｃ）イメージ分析を使用して、イメージ文書の優勢パラメータを抽出し、
   ｄ）該イメージ文書に対するイメージカテゴリーを同定し、
   ｅ）該イメージ文書に対する少なくとも１つのサブカテゴリーを同定し、
   ｆ）オブジェクトを該イメージから抽出し、
   ｇ）前記ステップｂ）〜ｆ）から得られた情報を格納するためにＸＭＬファイルを作成する、
   ことを特徴とするＸＭＬファイルの作成方法。
2. 請求項１記載の方法において、ＤＴＤはさらにＸＭＬファイルにルーツエレメントをＡＩＵＤｏｃとして定義する方法。
3. 請求項２記載の方法において、ＡＩＵＤｏｃはイメージ文書の名称を有する方法。
4. 請求項２記載の方法において、ＡＩＵＤｏｃはＩｍａｇｅＤｏｃＸを有する方法。
5. 請求項４記載の方法において、ＩｍａｇｅＤｏｃＸはイメージ文書に対するテクスチャパラメータを含む方法。
6. 請求項４記載の方法において、ＩｍａｇｅＤｏｃＸはイメージ文書に対するカラーパラメータを含む方法。
7. 請求項４記載の方法において、ＩｍａｇｅＤｏｃＸはオブジェクト情報を含む方法。
8. 請求項７記載の方法において、オブジェクト情報はオブジェクトに対する位置を有する方法。
9. 請求項７記載の方法において、オブジェクト情報はオブジェクトに対する座標情報を有する方法。
10. 請求項７記載の方法において、オブジェクト情報はオブジェクトに対するリファレンス情報を有する方法。
11. 請求項１記載の方法において、イメージ文書に対する著者情報を得るステップをさらに有する方法。
12. 請求項１記載の方法において、イメージ文書に対するデータ情報をさらに得るステップを有する方法。
13. 請求項１記載の方法において、ステップｃ）はイメージ文書上でｗａｖｅｌｅｔ分析を実行するステップをさらに有する方法。
14. 請求項１記載の方法において、ステップｃ）はイメージ文書上でカラーヒストグラム発生を実行するステップをさらに有する方法。
15. １つまたは複数のイメージ文書を検索するためにＸＭＬファイルを質問する方法において、
    イメージ文書に対するコンテンツベースの質問を受信し、
    コンテンツベースの質問をＸｐａｔｈ質問に変換し、
    Ｘｐａｔｈ質問をＳＱＬストリングにマッピングし、
    １つまたは複数のイメージ文書を、ＳＱＬストリングを使用してサーチし、
    ＳＱＬストリングのサーチ基準にマッチする１つまたは複数のイメージ文書を検索し、
    ユーザに１つまたは複数の検索されたイメージ文書を表示する、
    ことを特徴とする方法。
16. 請求項１５記載の方法において、コンテンツベースの質問をＸｐａｔｈ質問に変換するステップはさらに、コンテンツベースの質問におけるスタートタグの位置を同定するステップを有する方法。
17. 請求項１５記載の方法において、Ｘｐａｔｈ質問をＳＱＬストリングにマッピングするステップはさらに、
    ＸPａｔｈ質問の最高位レベル属性を含むテーブルを同定し、
    該同定されたテーブルに対する異種キーを同定し、
    該同定された異種キーに基づくプライマリーキーを同定することによって、適切なオブジェクトを含む第２のテーブルを同定するステップを有する方法。
18. 請求項１７記載の方法において、１つまたは複数のイメージ文書を検索するステップはさらに、
    １つまたは複数の検索されたイメージ文書に対して、色およびテクスチャパラメータを抽出し、
    例イメージに対する色およびテクスチャパラメータと、検索されたイメージ画像の色およびテクスチャパラメータとの間のユークリッド距離を計算するステップを有する方法。
19. 請求項１５記載の方法において、検索されたイメージ文書の選択をユーザから受信し、
    例イメージを選択されたイメージ文書と置換し、
    イメージ文書を選択されたイメージ文書とＳＱＬストリングを使用して検索するステップをさらに有する方法。

Images