JP2006107495A - イメージキャプチャー装置を使った文書検索技術 - Google Patents

Abstract

【課題】 イメージキャプチャー装置を使って取り込んだ画像に基づいて電子文書を検索する。
【解決手段】 イメージキャプチャー装置を使ってユーザーが取り込んだ一つまたは複数の画像が検索クエリーに合致する一つまたは複数の文書を取得すべく文書の集合を検索するために使用される。検索によって取得されたその一つまたは複数の文書が次いでユーザーまたは他の何らかの受領者に与えられうる。
【選択図】 図１

Description

本発明は文書検索技術に関するものであり、より詳細にはイメージキャプチャー装置を使って取り込まれた画像に基づいて電子文書を検索する技術に関するものである。

カメラ、カメラ付き携帯電話などのイメージキャプチャー装置の使用は近年広範な使用を見るに至っている。たとえば、携帯電話付属のカメラは世界の多くの地域でありふれたものになりつつある。カメラ付き携帯電話のようなイメージキャプチャー装置はまた、相当な記憶容量、強力な生産性ソフトウェアを走らせる機能、無線ネットワーク機能などをもつ独自の強力なコンピューティング・エンジンになりつつある。そのようなイメージキャプチャー装置の存在および勃興は、情報入力および文書検索の新たな応用を示唆している。

本発明の実施により、イメージキャプチャー装置を使って取り込んだ画像に基づいて電子文書を検索するための技術が与えられる。イメージキャプチャー装置の例としては、カメラ（フィルム・カメラおよびデジタル・カメラの両方）、携帯電話、個人情報端末（ＰＤＡ：personal data assistant）、ラップトップパソコン、その他の携帯機器でカメラ等のイメージキャプチャー機能を備えたものや、スキャナなどがある。イメージキャプチャー装置を使ってユーザーが取り込んだ一つまたは複数の画像は、電子文書の集合を検索して、取り込んだ画像に対応する一つまたは複数の電子文書を取得するのに使われる。そしてその一つまたは複数の取得された電子文書はユーザーまたは他の何らかの受領者に与えられうる。

本発明のある実施形態によると、電子文書を検索するための技術が提供される。イメージキャプチャー装置を使って取り込まれた画像が受信される。その受信された画像の内容が抽出される。その抽出された内容に基づいて検索クエリーが形成され、その検索クエリーを満たす第一の電子文書を同定するために複数の電子文書が検索される。

本発明の別の実施形態によると、電子文書を検索するための技術が提供される。イメージキャプチャー装置を使って取り込まれた第一の画像が受信される。その第一の画像の内容が抽出される。その第一の画像の抽出された内容に基づいて検索クエリーが形成され、その検索クエリーを満たす一つまたは複数の電子文書を含む電子文書の第一の集合を同定するために検索が実行される。前記電子文書の第一の集合が所定数の電子文書を含んでいるかどうかが決定される。前記電子文書の第一の集合が前記所定数の電子文書を含んでいない場合には第二の画像が要求される。その第二の画像の内容が抽出される。その第二の画像の抽出内容に基づいて検索クエリーが形成される。その第二の画像の抽出内容に基づく検索クエリーを満たす一つまたは複数の電子文書を含む電子文書の第二の集合を同定するために検索が実行される。

本発明のさらに別の実施形態によると、電子文書を検索するための以下のような技術が提供される。イメージキャプチャー装置を使って取り込まれた第一の画像が受信される。その第一の画像の内容が抽出される。その第一の画像の抽出された内容に基づいて検索クエリーが形成される。その第一の画像の抽出内容に基づいて形成された検索クエリーを使って検索が実行される。（ａ）検索によって少なくとも一つの電子文書も同定されなかった場合には別の画像が要求される。（ｂ）別の画像が受信される。（ｃ）前記別の画像の内容が抽出される。（ｄ）前記別の画像の抽出内容に基づいて検索クエリーが形成される。（ｅ）前記別の画像の抽出内容に基づいて形成された前記検索クエリーを使って検索が実行される。検索によって前記検索クエリーを満たす電子文書が少なくとも一つ同定されるまで（ａ）（ｂ）（ｃ）（ｄ）（ｅ）が繰り返される。

本発明のさらに別の実施形態によると、電子文書を検索するための以下のような技術が提供される。イメージキャプチャー装置を使って取り込まれた画像が受信される。画像処理技術を使ってその画像から複数のテキスト・パターンが抽出される。前記複数のテキスト・パターンからテキスト・パターンの部分集合が選択される。その際、前記複数のテキスト・パターンのうち少なくとも一つのテキスト・パターンは該部分集合に含まれないものとする。前記テキスト・パターンの部分集合に基づいて検索クエリーが形成される。その検索クエリーを満たす第一の電子文書を同定するために複数の電子文書が検索される。

本発明のさらに別の実施形態によると、電子文書を検索するための以下のような技術が提供される。イメージキャプチャー装置を使って取り込まれた画像が受信される。画像処理技術を使ってその画像から複数のテキスト・パターンが抽出される。前記複数のテキスト・パターンからテキスト・パターンの第一の部分集合が選択される。その際、前記複数のテキスト・パターンのうち少なくとも一つのテキスト・パターンは該第一の部分集合に含まれないものとする。前記テキスト・パターンの第一の部分集合に基づいて検索クエリーが形成される。その検索クエリーを満たす第一の電子文書を同定するために複数の電子文書が検索される。前記テキスト・パターンの第一の部分集合に基づいて形成された前記検索クエリーを使って検索が実行される。前記テキスト・パターンの第一の部分集合を使って実行した検索によって少なくとも一つの電子文書も同定されなかった場合には前記複数のテキスト・パターンからテキスト・パターンの第二の部分集合が選択される。前記テキスト・パターンの第二の部分集合に基づいて検索クエリーが形成される。前記テキスト・パターンの第二の部分集合に基づいて形成された検索クエリーを使って検索が実行される。

上記のことならびに本発明の他の特徴、実施形態および利点は以下の明細、特許請求の範囲および付属の図面を参照することによってより明らかとなるであろう。

以下の記述において、説明の目的のため、本発明の深い理解を与えるための特定の詳細が述べられるが、本発明がそうした特定の詳細なしでも実践できることは明らかであろう。

本発明の実施により、イメージキャプチャー装置を使って取り込んだ画像に基づいて電子文書を検索するための技術が与えられる。イメージキャプチャー装置の例としては、カメラ（フィルム・カメラおよびデジタル・カメラの両方）、携帯電話、個人情報端末（ＰＤＡ：personal data assistant）、ラップトップパソコン等の機器にイメージキャプチャー装置を備えたもの、スキャナなどがある。一般に、イメージキャプチャー装置は画像を取り込む機能のあるいかなる装置であってもよい。イメージキャプチャー装置を使ってユーザーが取り込んだ一つまたは複数の画像は、電子的に保存されている文書（「電子文書」）の集合を検索して取り込んだ画像に対応する一つまたは複数の電子文書を取得するのに使われる。そして取り込み画像に対するその一つまたは複数の取得された文書はユーザーまたは他の何らかの受領者に与えられうる。

図１は、本発明の実施形態を組み込みうるシステム１００の概略的なブロック図である。図１は本発明を組み込んだ実施形態を単に解説するものであって、特許請求の範囲において述べられている本発明の範囲を限定するものではない。通常の技量をもった当業者であれば他の変形、修正、代替を認識することであろう。

ユーザーはイメージキャプチャー装置１０２を画像１０４を取り込むのに使うことができる。図１に示したように、そのユーザーは紙の文書１０６のページ（またはページの部分）の画像１０４を取り込むことができる。紙の文書は紙媒体上に印刷されたいかなる文書であってもよい。イメージキャプチャー装置１０２の例としては、カメラ、イメージキャプチャー機能のある携帯電話などがある。取り込まれた画像は紙の文書の全内容でもよいし、その一部分でもよい。景色や物体などの像といった他の種類の画像もイメージキャプチャー装置１０２を使って取り込み、本発明の思想に従って使うことができることは明らかであろう。

ある実施形態では、イメージキャプチャー装置１０２は画像１０４を処理して、画像１０４に基づく検索クエリーを形成し、この検索クエリーを検索エンジン１０８に送信する。そして、検索エンジン１０８を使って該検索クエリーを満たす一つまたは複数の電子文書をみつけるべく検索を実行するよう構成することができる。前記検索クエリーは通信ネットワーク１１０を通じて検索エンジンに送信されてもよい。別の実施形態では、処理の一部は別のサーバー１０５またはシステムによって実行されてもよい。たとえば、図１に示したように、イメージキャプチャー装置１０２は画像１０４をサーバー１０５またはシステムに通信ネットワーク１１０を通じて送信してもよい。この場合、サーバー１０５またはシステムは、送信された画像１０４を処理して、該画像１０４に基づく検索クエリーを形成し、検索エンジン１０８を使って該検索クエリーを満たす一つまたは複数の電子文書をみつけるべく検索を実行するよう構成することもできる。

通信ネットワーク１１０は、ローカルエリアネットワーク（LAN：local area network）、広域ネットワーク（WAN：wide area network）、無線ネットワーク、イントラネット、インターネット、私設ネットワーク、公共ネットワーク、交換ネットワーク（switched network）その他いかなる好適な通信ネットワークでもよい。通信ネットワーク１１０は多くの相互接続されたシステムおよび通信リンクを含むことができ、有線リンク、光学リンク、衛星その他の無線通信リンク、波動リンク（wave propagation link）その他いかなる情報通信機構でもよい。通信ネットワーク１１０を通じた情報通信を助けるためにさまざまな通信プロトコルを使うことができ、その中にはＴＣＰ／ＩＰプロトコル、ＨＴＴＰプロトコル、拡張マークアップ言語（XML：extensible markup language）、無線アプリケーションプロトコル（WAP：wireless application protocol）、業界標準団体によって開発途上の諸プロトコル、販売元固有の諸プロトコル、カスタマイズされた諸プロトコル、などが含まれる。画像の伝送は、ＪＰＥＧ、ＧＩＦ、ＰＮＧ、ＴＩＦＦ、ＪＰＥＧ２０００など多数ある標準ファイルフォーマットのうちのいずれで行ってもよい。

たとえば、ある実施形態では、通信ネットワーク１１０は無線ネットワークでよい。ユーザーはイメージキャプチャー装置の一例である携帯電話に備えられたイメージキャプチャー機能の１つであるカメラを使って画像１０４を取り込み、その画像を処理して検索クエリーを形成し、その検索クエリーを検索エンジン１０８に（あるいは検索エンジンのサービスを提供するサーバー１０５に）前記無線ネットワークを通じて送信する。いくつかの実施形態では、イメージキャプチャー装置１０２（例えば、カメラ付き携帯電話）によって取り込まれた複数の画像がサーバー１０５に送信されうる。

検索実行のためには、一つまたは複数の検索エンジン１０８を利用しうる。検索エンジン１０８はイメージキャプチャー装置１０２から、あるいはサーバー１０５から検索クエリーを受信し、該検索クエリーを満たす一つまたは複数の電子文書を同定すべく電子文書１１２の集合を検索することができる。検索は一つまたは複数の検索エンジン１０８が共同して行ってもよい。検索エンジン１０８は、該検索エンジンが直接、あるいは通信ネットワーク１１０を介してアクセスできる電子文書を検索するように構成されていてもよい。たとえば、検索エンジンは、コンテンツ提供者によって提供され、インターネットを通じて利用可能な文書（たとえばウェブページ）を検索するよう構成することができる。検索された文書はまた、企業、事務所、学校、政府機関などの組織のために作成され、保存されている文書を含んでいてもよい。検索エンジンの例としては、グーグル（商標）検索エンジン、事業所や企業などの組織によって提供される検索エンジン、ヤフー（商標）検索エンジンその他がある。

電子文書１１２の集合から一つまたは複数の電子文書が検索エンジン１０８によって検索クエリーを満たす、あるいは合致すると同定されると、次いで当該ユーザーまたは他の何らかの受領者に提供される。ある実施形態では、検索によって得られた電子文書１１４は、その検索の入力として使われた画像を取り込むのに使われたイメージキャプチャー装置に送信されうる。たとえば、図１に示すように、検索エンジンによって同定された電子文書１１４は無線ネットワークでイメージキャプチャー装置１０２に送信されうる。得られた電子文書１１４は次いで当該ユーザーに、イメージキャプチャー装置１０２の上で実行されるアプリケーション（たとえば、ブラウザ、ワープロソフト）を介して表示部等から出力されることができる。

検索によって取得される電子文書１１４はまた、当該イメージキャプチャー装置以外の何らかの目的地１１６に向けて送信することによってユーザーへ提供することもできる。たとえば、取得された文書は電子メールによってそのユーザーの受信箱または電子メールアドレスに送信されることができる。同様にして、取得された電子文書１１４をユーザーに提供するためには、文書送達先１１６を利用して、さまざまな目的地や配信ルートを使用することができる。検索された文書をユーザーに送信するのは、ウェブページ、ＨＴＭＬフォーマット、アドビＰＤＦファイル、マイクロソフトワード文書など異なるさまざまなフォーマットで行ってよい。取得された電子文書１１４はまた、他の人物、システム、アプリケーションなどといった他の受領者に提供されることもできる。

図２は、本発明のある実施形態に基づく、イメージキャプチャー装置１０２で取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャートである。図２に描かれている方法は、プロセッサ、ハードウェアモジュールまたはその組み合わせによって実行されるソフトウェアコードモジュールまたは命令によって実行することができる。図２に描かれているフローチャート２００は本発明のある実施形態を単に解説するものであって、本発明の範囲を限定することを意図したものではない。図２に描かれている方法は、異なる実装上の制約下で機能するよう改変することができる。

図２に描かれているように、このフローチャートの処理は、イメージキャプチャー装置１０２で取り込まれた画像を受信する、あるいは取得することで開始される（ステップ２０２）。画像の解像度や品質はその画像の取り込みに使われたイメージキャプチャー装置および画像取り込みされた対象物の解像度や品質によって変わりうる。画像の取り込みにはさまざまなイメージキャプチャー装置を使うことができる。

次いで、一つまたは複数の画像処理技術を適用することによって取り込まれた画像の内容（またはその一部）が抽出される（ステップ２０４）。抽出された内容はテキスト・パターン（たとえば単語、フレーズ）、画像オブジェクト、その他のオブジェクトを含みうる。ある実施形態では、光学的文字認識（OCR：optical character recognition）技術を使って取り込まれた画像から文字が抽出される。

次いで、ステップ２０４で抽出された内容からテキスト・パターンの集合が決定される（ステップ２０６）。テキスト・パターンは単語やフレーズなどである。ある実施形態では、当該画像の内容から抽出された各テキスト行がテキスト・パターンとして扱われる。テキスト・パターンを決定するためにはさまざまな技術が用いられうる。ある実施形態では、ステップ２０４で受け取ったＯＣＲ結果に対して単語フィルタが適用されて、語彙集（たとえば英語の辞書）にない文字や単語や記号が排除される。この方法により、句読点や読み取れない記号、無効な単語などがステップ２０４で抽出されていても排除、すなわちフィルタ除去される。ステップ２０６では、ステップ２０４で抽出されたテキスト・パターンからテキスト／パターンの集合を作成する。いくつかの実施形態では、ステップ２０４および２０６はテキスト・パターンが取り込まれた画像から抽出される単一のステップに組み合わされてもよい。

次いで、ステップ２０６で決定されたテキスト・パターンの集合に基づいて検索クエリーが形成される（ステップ２０８）。ある実施形態では、検索クエリーは２０６で決定されたテキスト・パターンの結合により形成される。たとえば、テキスト・パターンはブール演算子and（すなわち、集合の交わりの演算）を使って結合されて形成される。このようにステップ２０８では、検索エンジン１０８に適したように検索クエリーが形成される。他の実施形態では、のちにさらに詳細に記載するように、検索クエリーに２０６で得られたテキスト・パターンの部分集合を取り込むこともできる。

次いで、ステップ２０８で形成された検索クエリーを使って、その検索クエリーを満たす電子文書を同定すべく検索が行われる（ステップ２１０）。複数のテキスト・パターンを結合することによって形成される検索クエリーについて、ある文書がその検索クエリーを満たすとは、全部のテキスト・パターンを含んでいるということである。ある電子文書が検索クエリーを満たすとは、その検索クエリーの条件を全部満たすということである。検索クエリーを使ってステップ２１０で検索を実行するのには、一つまたは複数の検索エンジン１０８を使うことができる。検索の実行には、グーグル（商標）などのようなさまざまな異なる種類の検索エンジンを使うことができる。検索対象とされる文書の集合は使用する検索エンジンによっても変わりうる。ステップ２１０において決定される文書の集合は一つまたは複数の電子文書を含んでいることもある。あるいはまた、検索された電子文書の集合内の文書で検索クエリーを満たすものがなければなんらの文書も返されないこともある。

次いで、ステップ２１０における検索から得られた文書の集合が受領者に提供される（ステップ２１２）。受領者は人間、システム、アプリケーションその他の実体でありうる。文書の集合を受領者に提供するためにはさまざまな技術を用いることができる。たとえば、文書の集合はステップ２０２で受信した画像の取り込みに使われたイメージキャプチャー装置のユーザーにイメージキャプチャー装置やその他の情報処理装置を介して伝達（提示）されることができる。取得された文書の集合をユーザーに提供するためにはさまざまな異なる技術を使うことができる。ある実施形態では、取得された文書は検索の入力として使われた画像の取り込みにユーザーによって使われたイメージキャプチャー装置に送信されてもよい。それで取得された電子文書が当該イメージキャプチャー装置の上で実行されるアプリケーション（たとえば、ブラウザ、ワープロソフトなど）を使っているユーザーに提供されうる。取得された文書の集合はまた、当該イメージキャプチャー装置以外の何らかの目的地に文書送達先１１６に基づいて文書を届ける（送信する）ことによってユーザーに提供されてもよい。たとえば、取得された文書の集合を含む電子メールがユーザーの受信箱または電子メールアドレスに送信されるのでもよい。検索によって取得された文書を提供するためには、さまざまな他の目的地や配送ルートを文書送達先１１６に基づいて使用することができる。目的地や配送技術をユーザーが文書送達先１１６にて設定できるようになっていてもよい。

図２に描かれている処理は、画像受信に際して自動的に実行されるようになっていてもよい。ある実施形態では、イメージキャプチャー装置１０２は、画像を取り込んでその画像を後続の処理を実行するサーバー１０５に送信するのに使うことができる。サーバー１０５はその画像を処理し、検索クエリーを形成し、その検索クエリーを満たす文書を同定すべく検索エンジン１０８を利用するよう構成されていることもできる。他の実施形態では、イメージキャプチャー装置は図２に描かれている処理ステップの一部または全部を実行するのに十分な演算機能を有していることもある。たとえば、画像を取り込むことに加えて、イメージキャプチャー装置１０２は予め備えているＯＣＲ技術を適用して画像から画像内容を抽出し、テキスト・パターンの集合を決定し、検索クエリーを該テキスト・パターンに基づいて形成し、そして該検索クエリーを満たす電子文書をみつけるべく検索エンジンを利用する。検索エンジンによって同定された電子文書は次いで、当該イメージキャプチャー装置または文書送達先１１６に基づいて他の何らかの目的地に送信されることができる。したがって、イメージキャプチャー装置の処理能力いかんによって、図２に描かれている処理はイメージキャプチャー装置もしくはサーバーまたはその両方によって実行されうるのである。

図２に描かれている処理は次の例によって例解できる。図３に示す画像３００が検索の入力として受信されたとする。画像３００は、携帯電話のカメラのようなイメージキャプチャー装置を使って取り込まれるなどしたデジタル化された画像である。図３から見て取れるように、画像３００は低品質であり、若干の単語を拾うことができるのみである。画像３００にＯＣＲを適用したときの出力はたとえば次のようになるだろう。

~,~.r~.....Camera phones can
~"~....be channels for viral
,~,:.....marketing,where~,~,.~
consumers convert
~,,,,~.....their friends to new
ＯＣＲ出力に単語フィルタを適用すると、各行は次のようなフレーズ（テキスト・パターン）を獲得することができる。

“Camera phones can”
“be channels for viral”
“marketing where”
“consumers convert”
“their friends to new”
すると検索クエリーが全テキスト・パターン（テキスト・パターンの集合）を結合して形成される。検索クエリーはたとえば次のようになる。
“Camera phones can”AND“be channels for viral”AND“marketing where”AND“consumers convert”AND“their friends to new”
次いでこの検索クエリーが、該検索クエリーを満たす電子文書の集合を取得すべくグーグル（商標）などの検索エンジンに提供される。次いで取得された電子文書の組がユーザーに提供される。

ある場合には検索クエリーを適用することによって文書が一つも取得できないということもありうる。これは検索条件を含む文書が検索対象とされた文書の集成（つまり、検索対象の検索データベース等）に含まれていなかった場合に起こりうる。その他には、検索のために与えられた画像があまりに低品質でその画像からテキスト・パターンが正確に抽出できないような場合、抽出されたテキスト・パターンが不正確で、そのため不正確な検索クエリーを生じることになりうる。画像品質の悪さや画像から内容を抽出するのに使われる画像処理技術の不十分さによって起こりうる誤りを補償するため、フィードバックループを設け、適合する文書をみつける可能性を高めるためにユーザーが検索のための追加情報を提供できるようにしてもよい。

図４は、本発明のある実施形態に基づく、フィードバックループを含む、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャート４００である。図４で描かれている方法は、プロセッサ、ハードウェアモジュールまたはその組み合わせによって実行されるソフトウェアコードモジュールまたは命令によって実行することができる。図４に描かれているフローチャート４００は本発明のある実施形態を単に解説するものであって、本発明の範囲を限定することを意図したものではない。本発明の範囲内には他の変形、修正、代替もある。図４に描かれている方法は、異なる実装上の制約下で機能するよう改変することができる。図４で描かれている処理は、イメージキャプチャー装置１０２もしくはサーバー１０５またはその両方が検索エンジン１０８を使って実行することができる。

図４に描かれているように、処理は取り込まれた画像を受信する、あるいは取得することで開始される（ステップ４０２）。次いで、ＯＣＲ技術のような一つまたは複数の画像処理技術を取り込まれた画像に適用することによって取り込まれた画像の内容（またはその一部）が抽出される（ステップ４０４）。次いで、ステップ４０４で抽出された内容からテキスト・パターンの集合が決定される（ステップ４０６）。次いで、４０６で決定されたテキスト・パターンに基づいて検索クエリーが形成される（ステップ４０８）。次いで、４０８で形成された検索クエリーを使って検索が行われる（ステップ４１０）。図４のステップ４０２、４０４、４０６、４０８、４１０において描かれている処理は、前述した図２のステップ２０２、２０４、２０６、２０８、２１０において描かれている処理と同様である。

検索クエリーを使った検索を走らせることによって電子文書の集合が取得されたのち、その検索の結果として少なくとも一つの文書（すなわち、その検索クエリーについての少なくとも一つのヒット）が取得されたかどうかの検査がなされる（ステップ４１２）。４１２において少なくとも一つの文書が取得された文書の集合内に含まれていると判定されたら、取得された文書が次いで受領者に提供されることができる（ステップ４１４）。受領者は人間、システム、アプリケーションその他の実体でありうる。文書の集合を受領者に提供するためにはさまざまな技術を用いることができる。たとえば、文書の集合は４０２で受信した画像の取り込みに使われたイメージキャプチャー装置のユーザーにイメージキャプチャー装置やその他の情報処理装置を介して伝達（提示）されることができる。その文書の集合をそのユーザーに提供するためにはさまざまな技術を使うことができる。

他方、ステップ４１２において、その検索でただ一つの電子文書も取得されなかったと判定された場合、ユーザーは検索の入力として使われる別の画像を提供するよう求められる（ステップ４１６）。別の画像の取得後（ステップ４１８）、処理は次いで、４１８で取得した新しい画像を用いてステップ４０４から続けられる。そして新たに取得された画像から形成された検索クエリーに基づく新たな検索が実行される。このようにして、ユーザーが検索のための追加の画像を提供することができるフィードバックループが設けられる。フィードバックループは検索によって少なくとも一つの電子文書が同定されるまで反復される。

追加の画像はもとの画像と同じ内容のものであってもよいし、異なる内容のものであってもよい。このような構成により、同定しうる電子文書を獲得することが容易となる。たとえば、第一の画像が紙の文書として印刷された文章のページの一部であった場合、提供される第二の画像は、その文章の別の部分の画像でもよいし、第一の画像と同じ部分だが第一の画像よりも画質がよくなるように取り込まれたものであってもよい。

上述したように、ある場合には検索クエリーの適用から取得される文書の集合が複数の文書（すなわち、複数ヒット）を含んでいることも可能である。これは、取得された集合がいくつかの文書を含んでいる場合には特に、ユーザーにとって不都合でありうる。取得される電子文書の数を減らすために使うことのできる追加情報をユーザーが与えることができるようにするフィードバックループを設けることができる。

図５は、本発明のある実施形態に基づく、取得される文書数を減らすためのフィードバックループを含む、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャート５００である。図５で描かれている方法は、プロセッサ、ハードウェアモジュールまたはその組み合わせによって実行されるソフトウェアコードモジュールまたは命令によって実行することができる。図５に描かれているフローチャート５００は本発明のある実施形態を単に解説するものであって、本発明の範囲を限定することを意図したものではない。本発明の範囲内には他の変形、修正、代替もある。図５に描かれている方法は、異なる実装上の制約下で機能するよう改変することができる。図５で描かれている処理は、イメージキャプチャー装置１０２もしくはサーバー１０５またはその両方が検索エンジン１０８を使って実行することができる。

図５に描かれているように、処理は取り込まれた画像を受信する、あるいは取得することで開始される（ステップ５０２）。次いで、ＯＣＲ技術のような一つまたは複数の画像処理技術を取り込まれた画像に適用することによって取り込まれた画像の内容（またはその一部）が抽出される（ステップ５０４）。次いで、ステップ５０４で抽出された内容からテキスト・パターンの集合が決定される（ステップ５０６）。次いで、５０６で決定されたテキスト・パターンに基づいて検索クエリーが形成される（ステップ５０８）。次いで、５０８で形成された検索クエリーを使って検索が行われる（ステップ５１０）。図５のステップ５０２、５０４、５０６、５０８、５１０において描かれている処理は、前述した図２のステップ２０２、２０４、２０６、２０８、２１０において描かれている処理と同様である。

検索クエリーを使った検索から電子文書の集合が取得されたのち、その取得された電子文書の集合に含まれている文書がちょうど一つ（すなわち、その検索クエリーについてぴったり一つのヒット）であるかどうかの検査がなされる（ステップ５１２）。ステップ５１２においてただ一つの文書が検索によって返されたと判定されたら、その一つの文書が次いで受領者に提供される（ステップ５１４）。受領者は人間、システム、アプリケーションその他の実体でありうる。その電子文書を受領者に提供するためにはさまざまな技術を用いることができる。たとえば、その文書は５０２で受信した画像の取り込みに使われたイメージキャプチャー装置のユーザーにイメージキャプチャー装置やその他の情報処理装置を介して伝達（提示）されることができる。その電子文書をそのユーザーに提供するためにはさまざまな技術を使うことができる。

他方、ステップ５１２において、その検索に反応して複数の電子文書が取得されたと判定された場合、ユーザーは、取得される文書の数を減らすための検索のための入力として使われる別の画像を提供するよう求められる（ステップ５１６）。別の画像の取得後（ステップ５１８）、処理は次いで、５１８で取得した新しい画像を用いてステップ５０４から続けられる。５０６では新しい画像からのテキスト・パターンが得られる。５０８では新たに得た画像に基づいて新たな検索クエリーが形成される。ある実施形態では、５０８で、先に適用された検索クエリーが５１６で取得された画像から抽出されたテキスト・パターンを用いて増長される（あるいは、先の画像と新しい画像から抽出されたテキスト・パターンの何らかの組み合わせを使って検索クエリーが形成される）。このようにして、新しい、潜在的により精密な検索クエリーが５０８において形成される。増長された検索クエリーは次いで５１０で実行される。この処理は、新たに増長された検索クエリーの条件に適合して検索される電子文書がただ一つになるまで反復される。５０８において、別の実施形態では、新しい検索クエリーは５１８で新たに受信した画像から抽出されるテキスト・パターンのみに基づいて（すなわち、先の検索パターンは使わずに）形成される。そして５０８で形成された新しい検索クエリーが５１０で実行される。

このようにして、取得される文書の集合に含まれる電子文書の数を絞り込むため、追加の画像という形でユーザーが追加情報を提供することができるフィードバックループが設けられる。追加の画像は先の画像と異なる内容の画像であってもよいし、同じ内容のものであってさえもよい。たとえば、最初の画像が紙に印刷された文章のページの一部であった場合、提供される第二の画像は、その記事の別の部分の画像でもよい。上述した図５に描かれているフローチャート５００では、ステップ５１２で実行される検査には１文書（１ヒット）という閾値が用いられている。別の実施形態では、検査は何らかの所定の閾値を使って実行すればよく、閾値はユーザーが設定できるようになっていてもよい。このように、適宜に増長や除くキーワードなどを設定された検索クエリーを用いて、取得される文書の集合に含まれる電子文書の数を所定の閾値を使って絞込みを行うことができる。

検索を実行するためにさまざまな検索エンジンを使うことができる。しかし、多くの検索エンジンは、一つの検索クエリーにおいて一度に使うことのできる語やパターンの数を制限している。たとえば、グーグル（商標）はクエリーにおける検索語の数を１０で打ち切っている。これは、この検索エンジン１０８が用いるデータベースから一意的にある文書を同定するにはその数で十分であると判断しているためである。上述したように、十分な解像度の画像からはいくつかのテキスト・パターン（たとえば１１以上）が抽出されうる。しかし、検索エンジンがクエリー中の語数を制限しているとすると、検索クエリーにおいて抽出されたテキスト・パターンのすべてを使うことはできないこともありうる。この状況を救うため、いくつかのパターン／語選択技術を使って検索に使われるテキスト・パターンの部分集合を選択することができる。さらに、たとえ検索クエリーにおける語数に制限がないとしても、検索の精度と信頼性を向上させるような語を選択するために前記選択技術を使うことができる。選択技術はまた、取得される文書の集合に含まれる文書の数を減らすのにも使われうる。

図６は、本発明のある実施形態に基づく、抽出されたテキスト・パターンの部分集合を使う、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャート６００である。図６で描かれている方法は、プロセッサ、ハードウェアモジュールまたはその組み合わせによって実行されるソフトウェアコードモジュールまたは命令によって実行することができる。図６に描かれているフローチャート６００は本発明のある実施形態を単に解説するものであって、本発明の範囲を限定することを意図したものではない。本発明の範囲内には他の変形、修正、代替もある。図６に描かれている方法は、異なる実装上の制約下で機能するよう改変することができる。図６で描かれている処理は、イメージキャプチャー装置もしくはサーバーまたはその両方が検索エンジンを使って実行することができる。

図６に描かれているように、処理は取り込まれた画像を受信する、あるいは取得することで開始される（ステップ６０２）。次いで、ＯＣＲ技術のような一つまたは複数の画像処理技術を取り込まれた画像に適用することによって取り込まれた画像の内容（またはその一部）が抽出される（ステップ６０４）。次いで、ステップ６０４で抽出された内容からテキスト・パターンの集合が決定される（ステップ６０６）。

次いで、ステップ６０６で決定されたテキスト・パターンの集合からテキスト・パターンの部分集合が選択される（ステップ６０８）。その部分集合に含まれるテキスト・パターンの数は、ステップ６０６において決定されるテキスト・パターンの数より少ないものとする（すなわち、ステップ６０６で決定されたテキスト・パターンの集合に、この部分集合に含まれないテキスト・パターンが少なくとも一つ含まれている）。ステップ６０８で部分集合に含めるテキスト・パターンを選出するのにはさまざまな異なる技術が使われうる。部分集合に含めるテキスト・パターンはテキスト・パターンの、あるいはそれに関連付けられたさまざまな属性に基づいて選択することができる。第一の技法では、部分集合に含めるテキスト・パターンはステップ６０６で決定されたテキスト・パターンの集合から無作為に選ばれる。別の技法では、テキスト・パターンはその長さに基づいて選ばれる。たとえば、より長いテキスト・パターンがより短いテキスト・パターンよりも優先して選ばれるなどである。部分集合に含めるテキスト・パターンを選ぶのに幾何学パターンが使われることもある。

別の技法では、テキスト・パターンはそのテキスト・パターンに関連付けられた信頼度データに基づいて選ばれる。この実施形態では、ステップ６０４で適用される画像処理技術（たとえばＯＣＲエンジン）は抽出されたテキスト・パターンのそれぞれに信頼度データを関連付けるよう構成されうる。このテキスト・パターンの信頼度データとは、テキスト・パターンを抽出するのに用いられた画像処理技術がそのテキスト・パターンの内容に関して正しい結論に達している可能性の尺度である。テキスト・パターンに割り当てられる信頼度データにはさまざまな要因が影響する。たとえば、画像処理プログラムは、画像データにきわめてノイズが多かったと気づいてその画像データから抽出されたそのテキスト・パターンの信頼度を下げるということもありうる。別の例としては、画像処理技術が、あるテキスト・パターンに含まれる文字のうちに数字の１と視覚的に区別しにくいことで悪名高い小文字のｌ（英小文字のエル）が含まれていることに気づいてそのテキスト・パターンに関連付けられた信頼度データが下げられることもありうる。信頼度データに基づくと、６０８で決定される部分集合には、認識時の信頼度データが高いテキスト・パターンが最初に取り入れられる。このように、テキスト・パターン毎に信頼度データがＯＣＲ処理時に付与され、各々のテキスト・パターンには信頼度データが対応付けられる。この信頼度データの高低により、テキスト・パターンの認識の程度を把握することができる。

次いで、ステップ６０８で決定されたテキスト・パターンの部分集合に基づいて検索クエリーが形成される（ステップ６１０）。ある実施形態では、検索クエリーは６０８で決定されたテキスト・パターンを結合することによって形成される。次いで、６１０で形成された検索クエリーを満たす電子文書を同定すべく検索エンジン１０８を用いて検索が行われる（ステップ６１２）。

その検索から取得された電子文書の集合に含まれている文書がちょうど一つ（すなわち、その検索クエリーについてぴったり一つのヒット）（この数はユーザーが設定できる）であるかどうか、あるいは検索で取得された文書がなかった（すなわち、検索で該当するものがなかった）かどうかの検査がなされる（ステップ６１４）。ステップ６１４においてただ一つの文書が取得された文書の集合に含まれていると判定されたら、その一つの文書が次いで受領者に提供されて（ステップ６１６）処理は終了する。受領者は人間、システム、アプリケーションその他の実体でありうる。その電子文書を受領者に提供するためにはさまざまな技術を用いることができる。たとえば、その文書は５０２で受信した画像の取り込みに使われたイメージキャプチャー装置のユーザーにイメージキャプチャー装置やその他の情報処理装置を介して伝達（提示）されることができる。その電子文書をそのユーザーに提供するためにはさまざまな技術を使うことができる。

他方、ステップ６１４において、その検索によって複数の電子文書が取得されたか、あるいは取得された文書がなかったと判定された場合、処理はステップ６０８から続けられ、ここで６０６で決定されたテキスト・パターンの集合からテキスト・パターンの別の部分集合が決定される。新たに選択された部分集合のテキスト・パターンは先に選択された部分集合のテキスト・パターンと異なっていてもよい（しかし、両部分集合の間に重なりがあってもよい）。たとえば、処理の初回パスで信頼度データの最も高いテキスト・パターンが選択され、次に二回目のパスで信頼度データの高低に基づく次のテキスト・パターンの集合が選択されるのでもよい。他のさまざまな選択技術もまた使うことができる。このように信頼度データの高低に基づいて、さまざまな信頼度データの高低を織り交ぜながら、または信頼度データを高い順に選択して、テキスト・パターンを集合を選択するようにしてもよい。

処理は次いで６０８において決定された部分集合を使ってステップ６１０に進む。このようにして、６０６において決定されたテキスト・パターンの集合から選ばれるテキスト・パターンを使って検索が反復的に実行されうる。各反復はテキスト・パターンの異なる部分集合を検索に使ってもよい。そのような反復的な手法にはいくつかの利点があり、そのうちには該当が得られなかったり得られた該当が多すぎたりする場合に画像を撮影しなおさなければならない回数を減らすことが含まれる。この処理は、検索クエリーに反応して返される電子文書がちょうど一つになるまで反復される。

本発明の個別の実施形態においては、図６で描かれている処理は、画像内容から抽出されたテキスト・パターンの数が、検索を実行するのに使われる検索エンジンによって検索クエリー中に許される語数を超えている場合にのみ、実行するようにできる。たとえば、ステップ６０８より前に抽出されたテキスト・パターンの数が検索エンジンによって許される検索語数を超えているかどうかを判定する検査を行うようにすることができる。この実施形態では、テキスト・パターンの部分集合の選択が行われるのは、抽出されたテキスト・パターンの数が許容される検索語数を越えていると判定した際のみとできる。そうでない場合には抽出されたテキスト・パターンをすべて検索クエリーに使えばよい。このような構成により、検索エンジンに適合した検索クエリーを形成することができる。

図１に示し、上で述べたように、検索を実行するにはいくつかの検索エンジンが利用できる。そのいくつかの利用可能な検索エンジンのうちから検索を実行するために使われる一つまたは複数の検索エンジンを決定するには、さまざまな技術を用いることができる。図７は、本発明のある実施形態に基づく、選択された一つまたは複数の検索エンジンを使う、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャート７００である。図７で描かれている方法は、プロセッサ、ハードウェアモジュールまたはその組み合わせによって実行されるソフトウェアコードモジュールまたは命令によって実行することができる。図７に描かれているフローチャート７００は本発明のある実施形態を単に解説するものであって、本発明の範囲を限定することを意図したものではない。本発明の範囲内には他の変形、修正、代替もある。図７に描かれている方法は、異なる実装上の制約下で機能するよう改変することができる。図７で描かれている処理は、イメージキャプチャー装置１０２もしくはサーバー１０５またはその両方が検索エンジン１０８を使って実行することができる。

図７に描かれているように、処理は取り込まれた画像を受信する、あるいは取得することで開始される（ステップ７０２）。次いで、ＯＣＲ技術のような一つまたは複数の画像処理技術を取り込まれた画像に適用することによって取り込まれた画像の内容（またはその一部）が抽出される（ステップ７０４）。次いで、ステップ７０４で抽出された内容からテキスト・パターンの集合が決定される（ステップ７０６）。次いで、７０６で決定されたテキスト・パターンまたは該テキスト・パターンの部分集合を使って検索クエリーが形成される（ステップ７０８）。

次いで検索を実行するために、検索エンジン（または複数の検索エンジン）が選択される（ステップ７１０）。その検索エンジンは、検索を実行するために利用可能な複数の検索エンジンから選択することができる。どの検索エンジンを使うかを決定するのにはさまざまな基準を用いることができる。ある実施形態では、ユーザーの位置（たとえば地理的な位置）、すなわち、イメージキャプチャー装置１０２に備えられたＧＰＳ機能や基地局による測量を利用して使うべき検索エンジンが自動的に選択されてもよい。たとえば、当該ユーザーの位置に最も近い検索エンジンはより遠方に隔たった検索エンジンよりも好ましいであろう。このようにして、その場所の検索エンジンによって提供されるその場所の文書が他の文書よりも優先的に当該ユーザーに提供されうる。

別の実施形態では、利用可能な検索エンジンの一覧がユーザーに対して提示され、そこでユーザーが使うべき一つまたは複数の検索エンジンを選択してもよい。検索エンジンサーバーを検出するのには、マルチキャストドメイン名サービス（DNS：Domain Name Service）、ユニバーサル・プラグアンドプレイ（UPnP：Universal Plug and Play）などさまざまな技術を使うことができる。こうした技術は無線ネットワーク法を用いて実装することもできるし、セキュリティで保護された仕方で実装することもできる。

別の実施形態では、検索に使われるべき一つまたは複数の検索エンジンをユーザーが指定することができる。さらに別の実施形態では、検索に伴うコストに基づいて選択されることもできる。たとえば、最も安価な検索を行う検索エンジンが選ばれるようにできる。検索を行う検索エンジンを選択するのには他のさまざまな基準を使うこともできる。

検索エンジンの選択は、実行する検索や検索される文書の背景に基づいて行うこともできる。たとえば、文書が企業や事務所、政府機関などの組織に関係するものである場合、ステップ７１０ではその組織によって提供される検索エンジンが選択されるようにしてもよい。

ステップ７０８で形成される検索クエリーが次にステップ７１０で決定される検索エンジンに送信される（ステップ７１２）。ステップ７０８で形成された検索クエリーを使ってステップ７１０で決定された検索エンジンにより検索が実行される（ステップ７１４）。次いでその検索の結果が検索エンジンから受領者に送信される（ステップ７１６）。受領者は人間、システム、アプリケーションその他の実体でありうる。たとえば、検索結果は７０２で受信した画像の取り込みに使われたイメージキャプチャー装置のユーザーにイメージキャプチャー装置やその他の情報処理装置を介して伝達（提示）されることができる。その検索結果をそのユーザーに提供するためにはさまざまな技術を使うことができる。検索によって取得された文書は、その検索のための入力をなした画像を取り込むのにユーザーが使ったイメージキャプチャー装置に伝達されるのでもよい。検索によって取得された一つまたは複数の文書はまた別の目的地に届けられてもよい。

ある実施形態では、検索エンジンは多重的な方法で選択され、使用されてもよい。たとえば、処理の初回パスでは第一の検索エンジンが選択され、続く二回目のパスでは第二の検索エンジンが選択される、などというようにしてもよい。この方法では、いくつかの検索エンジンを検索を実行するのに使うことができる。そうすればさまざまな検索エンジンからの検索結果をまとめてユーザーに提供することができる。この方法では、ある検索エンジンがアクセスできなかった電子文書が別の検索エンジンによって検索されることもありうる。この技法は、ある検索エンジンから満足の行く検索結果が得られず、別の検索エンジンを使うことが必要となった場合にも使うことができる。検索の結果として単一の文書を選ぶ必要があるのに複数の検索エンジンが候補となる文書を挙げた場合には、ある検索エンジンの文書を別の検索エンジンからの文書より優先して選択するために検索エンジンの優先順位を利用するようにしてもよい。このような構成により、検索エンジンを適切に選択することが可能となり、所望の検索結果を取得することができる。

図７に描かれている上述した処理は、次の例によって例解できる。ショッピングモールにいるユーザーを考える。ある店にはいったときにユーザーはその店で売っている品物のパンフレットを目にする。ユーザーはそのパンフレットのあるページの写真をイメージキャプチャー装置１０２で撮ることができる。イメージキャプチャー装置１０２やサーバー１０５はユーザーの位置および写真が撮られた場所に基づいて、その店によって提供される検索エンジンが使用する検索エンジン１０８として選択されうる（すなわち、地理的にユーザーに最も近い検索エンジンが選択される）。取り込まれた画像はイメージキャプチャー装置１０２から無線でその店の検索エンジン１０８を使う、その店によって提供されるサーバーに送信されることができる。すると、その店の検索エンジン１０８はそのパンフレットの電子的なコピーを（あるいは価格表などのような、その品物に関係したなんらかの文書を）検索して取得し、その電子的コピーをユーザーが利用しているイメージキャプチャー装置１０２に無線ネットワークを介して送信する。

別の例として、病院で、待合室にいる人に健康に関連した情報を提供するよう構成することも可能である。病院としては、ユーザーによって提供される画像に反応してユーザーに健康関連の文書を提供するよう構成されている検索エンジンを提供することができる。画像とはたとえば病院に用意されている何らかの文献のものでもよい。企業では、その企業によって使われている文書管理システムによって蓄えられている電子文書への認証のある検索アクセスを従業員に提供して、文書またはその一部の画像の受信に反応して文書を取得できるようにしてもよい。

図８は、本発明の実施形態を実践するのに使いうるコンピュータシステム８００の概略的なブロック図である。図８に示したように、コンピュータシステム８００はプロセッサ８０２を含んでおり、該８０２がいくつかの周辺機器とバス・サブシステム８０４を通じて通信している。これらの周辺機器には、メモリ・サブシステム８０８およびファイル記憶サブシステム８１０からなる記憶サブシステム８０６、ユーザーインターフェース入力機器８１２、ユーザーインターフェース出力機器８１４、そしてネットワークインターフェース・サブシステム８１６が含まれうる。

バス・サブシステム８０４は、コンピュータシステム８００のさまざまなコンポーネントおよびサブシステムが互いに意図したように通信できるようにする機構を提供する。バス・サブシステム８０４は概略的に単一のバスとして示されているが、バス・サブシステムの他の実施形態では複数のバスを使うこともできる。

ネットワークインターフェース・サブシステム８１６は、さまざまなサーバー、検索エンジン、ネットワーク、イメージキャプチャー装置を含む他のコンピュータシステムとのインターフェースを提供する。ネットワークインターフェース・サブシステム８１６は他のシステムからデータを受信したり、コンピュータシステム８００から他のシステムにデータを送信したりするためのインターフェースとしてはたらく。

ユーザーインターフェース入力機器には、キーボード、マウス・トラックボール・タッチパッド・グラフィックタブレットのようなポインティングデバイス、スキャナ、バーコードリーダー、ディスプレイに組み込まれたタッチパネル、音声認識システム・マイクのようなオーディオ入力機器、その他の入力機器が含まれうる。一般に、「入力機器」という語を用いるのは、コンピュータシステム８００に情報を入力するためのあらゆる可能な種類の機器および機構を含むことが意図されている。

ユーザーインターフェース出力機器８１４には、ディスプレイ・サブシステム、プリンタ、ファクス機、またオーディオ出力機器のような非視覚的出力装置などが含まれうる。ディスプレイ・サブシステムとしては陰極線管（CRT：cathode ray tube）、液晶表示装置（LCD：liquid crystal display）や投射型ディスプレイのようなフラットパネルデバイスなどがある。一般に、「出力機器」という語を用いるのは、コンピュータシステム８００からの情報を出力するためのあらゆる可能な種類の機器および機構を含むことが意図されている。本発明の思想に基づくユーザーインターフェースはユーザーインターフェース出力機器８１４によって表示されうる。

記憶サブシステム８０６は、本発明の機能を提供する基本プログラムおよびデータ構造体を保存するよう構成されうる。本発明の機能を提供するソフトウェアコードモジュールまたは命令は記憶サブシステム８０６に保存されうる。これらのソフトウェアコードモジュールまたは命令はプロセッサ（単数または複数）８０２によって実行されうる。記憶サブシステム８０６はまた、本発明に従って使われるデータを保存する貯蔵所となることができる。記憶サブシステム８０６はメモリ・サブシステム８０８およびファイル／ディスク記憶サブシステム８１０を有しうる。

メモリ・サブシステム８０８は、プログラム実行中に命令およびデータを記憶するためのメインのランダムアクセスメモリ（RAM：random access memory）８１８ならびに固定命令が保存される読み出し専用メモリ（ROM：read only memory）８２０を含むいくつかのメモリを含みうる。ファイル記憶サブシステムはプログラムおよびデータファイルのための固定的な（不揮発性の）記憶を提供するもので、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブおよび付随の取り外し可能メディア、コンパクトディスクを使った読み出し専用メモリ（CD-ROM：Compact Disk Read Only Memory）ドライブ、光ドライブ、取り外し可能メディアカートリッジ、その他の記憶媒体を含みうる。

コンピュータシステム８００は、パソコン、携帯型コンピュータ、ワークステーション、ネットワークコンピュータ、携帯電話、ＰＤＡ、メインフレーム、キオスク端末、カメラ、イメージキャプチャー装置、その他いかなるデータ処理システムをも含むさまざまな種類のものでありうる。コンピュータおよびネットワークの絶えず変化する性質上、図８に描かれているコンピュータシステム８００の記述は本コンピュータシステムの好ましい実施形態を解説する目的のための特定の例としてのみ意図されている。図８に描いたシステムより多くの、あるいは少ないコンポーネントからなる他の多くの構成も可能である。

本発明のある実施形態によれば、サービスプロバイダが、ユーザーが利用するイメージキャプチャー装置１０２によって送信される画像に反応して電子文書の検索に使える検索サービスを提供することができる。サービスプロバイダは、ユーザー側から画像を受信し、その画像を処理し、その画像に基づく検索を実行し、検索によってみつかった電子文書をユーザーに送信するよう構成されているサーバーを提供することができる。サービスプロバイダによって提供される検索サービスを使う上で、ユーザーに課金するようにしてもよい。さまざまな課金構造を採用することができる。たとえば、ある実施形態では、検索によってみつかり、ユーザーによってダウンロードされる各電子文書に対して課金されてもよい。文書ダウンロードの一環として広告その他のマーケティング材料も提供されるようにしてもよい。検索サービスの一環として、検索サービスプロバイダは通常はユーザーがアクセスできない電子文書へのアクセスを提供するようにしてもよい。

本発明の特定の実施形態について説明してきたが、さまざまな修正、変更、代替構造、等価物もまた本発明の範囲に包摂されている。たとえば、上に記載された本発明の実施形態はテキスト・パターンを使って検索を実行している。代替的な実施形態では、取り込んだ画像内に含まれる画像、取り込んだ画像内のオブジェクト（たとえばマルチメディアオブジェクト）など取り込んだ画像の他の内容も検索を実行するのに使われうる。記載されている発明はある特定のデータ処理環境内での動作に制限されるものではなく、複数のデータ処理環境内において自由に動作するものである。

加えて、本発明は特定の一連の処理およびステップを用いて説明してきたが、当業者には、本発明の範囲が記載されている一連の処理およびステップに限定されるものでないことは明らかであろう。たとえば、図２、４、５、６、７で描かれている処理のさまざまな組み合わせが本発明の異なる実施形態において使用されうる。

さらに、本発明は特定のハードウェアおよびソフトウェアの組み合わせを使って説明してきたが、ハードウェアおよびソフトウェアの他の組み合わせもまた本発明の範囲内であることは認識しておくべきである。本発明はハードウェアのみでも、ソフトウェアのみでも、それらの組み合わせを用いてでも実装することができる。

このように、明細および図面は限定としてではなく、解説的なものと見なされるべきものである。これに対する追加、削減、削除、その他の修正および変更が特許請求の範囲において述べられている本発明のより広い精神および範囲から逸脱することなくなされうることは明らかであろう。

本発明のある実施形態を組み込みうるシステムの概略的なブロック図である。 本発明のある実施形態に基づく、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャートである。 本発明のある実施形態に基づく文書検索の入力として使われうる、イメージキャプチャー装置によって取り込まれた画像の例である。 本発明のある実施形態に基づく、フィードバックループを含む、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャートである。 本発明のある実施形態に基づく、取得される文書数を減らすためのフィードバックループを含む、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャートである。 本発明のある実施形態に基づく、抽出されたテキスト・パターンの部分集合を使う、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャートである。 本発明のある実施形態に基づく、選択された検索エンジンを使う、取り込まれた画像に基づいて電子文書を検索する方法を描いた概略的なフローチャートである。 本発明の実施形態を実践するのに使いうるコンピュータシステムの概略的なブロック図である。

符号の説明

１０２ イメージキャプチャー装置
１０４ 画像
１０５ サーバー
１０６ 紙の文書
１０８ 検索エンジン
１１０ 通信ネットワーク
１１２ 電子文書
１１４ 検索された電子文書
１１６ 文書送達先
８００ コンピュータシステム
８０２ プロセッサ
８０４ バス・サブシステム
８０６ 記憶サブシステム
８０８ メモリ・サブシステム
８１０ ファイル記憶サブシステム
８１２ ユーザーインターフェース入力機器
８１４ ユーザーインターフェース出力機器
８１６ ネットワークインターフェース

Claims (24)

1. イメージキャプチャー装置を使って取り込まれた画像を受信し、
   前記画像の内容を抽出し、
   前記抽出内容に基づいて検索クエリーを形成し、
   前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索する、
   ことを含むことを特徴とする、電子文書を取得する方法。
2. 請求項１記載の方法であって、
   前記画像の内容の抽出が、
   当該画像の内容を抽出するために画像処理技術を使用することと、
   前記内容からテキスト・パターンの集合を決定することとを含み、
   検索クエリーの形成が、該検索クエリーを形成するために前記テキスト・パターンの集合中の一つまたは複数のテキスト・パターンを使うことを含む、
   ことを特徴とする方法。
3. 請求項２記載の方法であって、
   当該画像の内容を抽出するために画像処理技術を使用することが、当該画像の内容を抽出するために光学式文字認識を使用することを含み、
   前記内容からテキスト・パターンの集合を決定することが、テキスト・パターンの集合を同定するために抽出された内容にフィルタを適用することを含む、
   ことを特徴とする方法。
4. 請求項２記載の方法であって、検索クエリーを形成するために前記テキスト・パターンの集合中の一つまたは複数のテキスト・パターンを使うことが、該検索クエリーを形成するためにテキスト・パターンの集合中の一つまたは複数のテキスト・パターンを結合することを含む、ことを特徴とする方法。
5. 請求項１記載の方法であって、前記第一の電子文書を前記イメージキャプチャー装置に送信することをさらに含むことを特徴とする方法。
6. 請求項５記載の方法であって、前記イメージキャプチャー装置がカメラ付き携帯電話であり、前記第一の電子文書が無線ネットワークを通じて前記携帯電話に送信されることを特徴とする方法。
7. 検索を実行するための第一の検索エンジンを決定することをさらに含む請求項１記載の方法であって、前記複数の電子文書を検索することが、該第一の検索エンジンを使って前記複数の文書を検索することであることを特徴とする方法。
8. 請求項７記載の方法であって、第一の検索エンジンを決定することが、
   当該画像を取り込んだイメージキャプチャー装置のユーザーの位置を決定し、
   前記ユーザーの前記位置に最も近く位置する検索エンジンを前記第一の検索エンジンとして選択することを含む、
   ことを特徴とする方法。
9. イメージキャプチャー装置を使って取り込まれた第一の画像を受信し、
   前記第一の画像の内容を抽出し、
   前記第一の画像の抽出内容に基づいて検索クエリーを形成し、
   前記検索クエリーを満たす一つまたは複数の電子文書を含む電子文書の第一の集合を同定するために検索を実行し、
   前記電子文書の第一の集合が所定数の電子文書を含んでいるかどうかを決定し、
   前記電子文書の第一の集合が前記所定数の電子文書を含んでいない場合には第二の画像を要求し、
   前記第二の画像の内容を抽出し、
   前記第二の画像の抽出内容に基づいて検索クエリーを形成し、
   前記第二の画像の抽出内容に基づく検索クエリーを満たす一つまたは複数の電子文書を含む電子文書の第二の集合を同定するために検索を実行する、
   ことを含むことを特徴とする、電子文書を取得する方法。
10. イメージキャプチャー装置を使って取り込まれた第一の画像を受信し、
    前記第一の画像の内容を抽出し、
    前記第一の画像の抽出内容に基づいて検索クエリーを形成し、
    前記第一の画像の抽出内容に基づいて形成された検索クエリーを使って検索を実行し、
    （ａ）検索によって少なくとも一つの電子文書が同定されなかった場合には別の画像を要求し、
    （ｂ）別の画像を受信し、
    （ｃ）前記別の画像の内容を抽出し、
    （ｄ）前記別の画像の抽出内容に基づいて検索クエリーを形成し、
    （ｅ）前記別の画像の抽出内容に基づいて形成された前記検索クエリーを使って検索を実行し、
    検索によって前記検索クエリーを満たす電子文書が少なくとも一つ同定されるまで（ａ）（ｂ）（ｃ）（ｄ）（ｅ）を繰り返す、
    ことを含むことを特徴とする、電子文書を取得する方法。
11. イメージキャプチャー装置を使って取り込まれた画像を受信し、
    画像処理技術を使って前記画像から複数のテキスト・パターンを抽出し、
    前記複数のテキスト・パターンからテキスト・パターンの部分集合を選択し、その際、前記複数のテキスト・パターンは前記部分集合に含まれないテキスト・パターンを少なくとも一つ含むものとし、
    前記テキスト・パターンの部分集合に基づいて検索クエリーを形成し、
    前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索する、
    ことを含むことを特徴とする、電子文書を取得する方法。
12. 請求項１１記載の方法であって、テキスト・パターンの部分集合の選択が、前記複数のテキスト・パターン中の各テキスト・パターンに関連付けられている属性に基づいて該部分集合を選択することであることを特徴とする方法。
13. 請求項１２記載の方法であって、該部分集合の選択が、前記複数のテキスト・パターンから前記画像処理技術によってテキスト・パターンに関連付けられている信頼度データに基づいて前記部分集合に含めるべきテキスト・パターンを選択することを含むことを特徴とする方法。
14. イメージキャプチャー装置を使って取り込まれた画像を受信し、
    画像処理技術を使って前記画像から複数のテキスト・パターンを抽出し、
    前記複数のテキスト・パターンからテキスト・パターンの第一の部分集合を選択し、その際、前記複数のテキスト・パターンは前記第一の部分集合に含まれないテキスト・パターンを少なくとも一つ含むものとし、
    前記テキスト・パターンの第一の部分集合に基づいて検索クエリーを形成し、
    前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索し、
    前記テキスト・パターンの第一の部分集合に基づいて形成された前記検索クエリーを使って検索を実行し、
    前記テキスト・パターンの第一の部分集合を使って実行した検索によって少なくとも一つの電子文書が同定されなかった場合には前記複数のテキスト・パターンからテキスト・パターンの第二の部分集合を選択し、
    前記テキスト・パターンの第二の部分集合に基づいて検索クエリーを形成し、
    前記テキスト・パターンの第二の部分集合に基づいて形成された検索クエリーを使って検索を実行する、
    ことを含むことを特徴とする、電子文書を取得する方法。
15. イメージキャプチャー装置を使って取り込まれた画像を保存するよう構成されたメモリと、
    前記画像の内容を抽出し、
    前記抽出内容に基づいて検索クエリーを形成し、
    前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索する、
    よう構成された、前記メモリに結合されたプロセッサとを有する、
    ことを特徴とする、電子文書を取得するシステム。
16. 請求項１５記載のシステムであって、
    前記プロセッサが、前記画像の内容の抽出を、
    当該画像の内容を抽出するために画像処理技術を使用することと、
    前記内容からテキスト・パターンの集合を決定することとによって行うよう構成されており、
    前記プロセッサが、検索クエリーの形成を、該検索クエリーを形成するためにテキスト・パターンの集合中の一つまたは複数のテキスト・パターンを使うことによって行うよう構成されている、
    ことを特徴とするシステム。
17. 請求項１６記載のシステムであって、
    当該画像の内容を抽出するために画像処理技術を使用することが、当該画像の内容を抽出するために光学式文字認識を使用することを含み、
    前記内容からテキスト・パターンの集合を決定することが、テキスト・パターンの集合を同定するために抽出された内容にフィルタを適用することを含む、
    ことを特徴とするシステム。
18. 請求項１６記載のシステムであって、検索クエリーを形成するためにテキスト・パターンの集合中の一つまたは複数のテキスト・パターンを使うことが、該検索クエリーを形成するためにテキスト・パターンの集合中の一つまたは複数のテキスト・パターンを結合することを含む、ことを特徴とするシステム。
19. 請求項１５記載の方法であって、前記プロセッサが、前記第一の電子文書を前記イメージキャプチャー装置に送信するよう構成されていることを特徴とするシステム。
20. 電子文書を取得するためにデータプロセッサを制御する複数の命令を保存しているコンピュータ可読媒体であって、該複数の命令が、
    前記データプロセッサをして、イメージキャプチャー装置を使って取り込まれた画像を受信させる命令と、
    前記データプロセッサをして、前記画像の内容を抽出させる命令と、
    前記データプロセッサをして、前記抽出内容に基づいて検索クエリーを形成させる命令と、
    前記データプロセッサをして、前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索させる命令とを、
    含むことを特徴とする媒体。
21. イメージキャプチャー装置を使って取り込まれた画像を保存するよう構成されたメモリと、
    前記第一の画像の内容を抽出し、
    前記第一の画像の抽出内容に基づいて検索クエリーを形成し、
    前記検索クエリーを満たす一つまたは複数の電子文書を含む電子文書の第一の集合を同定するために検索を実行し、
    前記電子文書の第一の集合が所定数の電子文書を含んでいるかどうかを決定し、
    前記電子文書の第一の集合が前記所定数の電子文書を含んでいない場合には第二の画像を要求し、
    前記第二の画像の内容を抽出し、
    前記第二の画像の抽出内容に基づいて検索クエリーを形成し、
    前記第二の画像の抽出内容に基づく検索クエリーを満たす一つまたは複数の電子文書を含む電子文書の第二の集合を同定するために検索を実行する、
    よう構成された、前記メモリに結合されたプロセッサとを有する、
    ことを特徴とする、電子文書を取得するシステム。
22. イメージキャプチャー装置を使って取り込まれた第一の画像を保存するよう構成されたメモリと、
    前記第一の画像の内容を抽出し、
    前記第一の画像の抽出内容に基づいて検索クエリーを形成し、
    前記第一の画像の抽出内容に基づいて形成された検索クエリーを使って検索を実行し、
    （ａ）検索によって少なくとも一つの電子文書が同定されなかった場合には別の画像を要求し、
    （ｂ）別の画像を受信し、
    （ｃ）前記別の画像の内容を抽出し、
    （ｄ）前記別の画像の抽出内容に基づいて検索クエリーを形成し、
    （ｅ）前記別の画像の抽出内容に基づいて形成された前記検索クエリーを使って検索を実行し、
    検索によって前記検索クエリーを満たす電子文書が少なくとも一つ同定されるまで（ａ）（ｂ）（ｃ）（ｄ）（ｅ）を繰り返す、
    よう構成された、前記メモリに結合されたプロセッサとを有する、
    ことを特徴とする、電子文書を取得するシステム。
23. イメージキャプチャー装置を使って取り込まれた画像を保存するよう構成されたメモリと、
    画像処理技術を使って前記画像から複数のテキスト・パターンを抽出し、
    前記複数のテキスト・パターンからテキスト・パターンの部分集合を選択し、その際、前記複数のテキスト・パターンは前記部分集合に含まれないテキスト・パターンを少なくとも一つ含むものとし、
    前記テキスト・パターンの部分集合に基づいて検索クエリーを形成し、
    前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索する、
    よう構成された、前記メモリに結合されたプロセッサとを有する、
    ことを特徴とする、電子文書を取得するシステム。
24. イメージキャプチャー装置を使って取り込まれた画像を保存するよう構成されたメモリと、
    画像処理技術を使って前記画像から複数のテキスト・パターンを抽出し、
    前記複数のテキスト・パターンからテキスト・パターンの第一の部分集合を選択し、その際、前記複数のテキスト・パターンは前記第一の部分集合に含まれないテキスト・パターンを少なくとも一つ含むものとし、
    前記テキスト・パターンの第一の部分集合に基づいて検索クエリーを形成し、
    前記検索クエリーを満たす第一の電子文書を同定するために複数の電子文書を検索し、
    前記テキスト・パターンの第一の部分集合に基づいて形成された前記検索クエリーを使って検索を実行し、
    前記テキスト・パターンの第一の部分集合を使って実行した検索によって少なくとも一つの電子文書が同定されなかった場合には前記複数のテキスト・パターンからテキスト・パターンの第二の部分集合を選択し、
    前記テキスト・パターンの第二の部分集合に基づいて検索クエリーを形成し、
    前記テキスト・パターンの第二の部分集合に基づいて形成された検索クエリーを使って検索を実行する、
    よう構成された、前記メモリに結合されたプロセッサとを有する、
    ことを特徴とする、電子文書を取得するシステム。

Images