JP2012507187A - スキャンした画像に係る地理的位置の決定 - Google Patents

Abstract

画像面及び非画像面を有するハードコピー媒体に係る地理的位置を決定する方法は、ハードコピー媒体をスキャンして、スキャンしたデジタル画像を発生させる段階と、ハードコピー媒体の非画像面をスキャンする段階と、ハードコピー媒体の非画像面のスキャンにより位置決め特徴を検出する段階と、その位置決め特徴を用いて、スキャンしたデジタル画像に係る地理的位置を決定する段階と、スキャンしたデジタル画像の決定された地理的位置を記憶する段階とを有する。

Description

本発明は、スキャンしたデジタル画像に係る地理的位置を決定することに関する。

今日、消費者は、フィルムに基づく化学的な写真撮影からデジタル写真撮影へとますます切り替わっている。画像のキャプチャ及びレビューの瞬時性、使用の容易さ、多数の出力及び共有オプション、マルチメディア機能、並びにオンライン且つデジタルの媒体記憶能力は全て、消費者によるこの技術進歩の受け入れに寄与している。ハードドライブ、オンラインアカウント、又はＤＶＤは数千の画像を記憶することができ、記憶された画像は、印刷、送信、他のフォーマットへの変換、他の媒体への変換、又は画像生成物を生成するために使用されるために、容易に入手可能である。デジタル写真の人気は比較的新しいので、標準的な消費者が持っている画像の大部分は、通常はハードコピー媒体の形をとる。このようなレガシー画像は、数十年に及ぶことがあり、収集物の所有者にとって多大な個人的且つ情緒的な重要性を持つ。実際に、このような画像は、しばしば、その所有者にとって時間とともに価値が増す。従って、表示のためにそれほど良好に扱われてこなかった画像でさえ現在は大事にされる。このような画像は、しばしば、箱、アルバム、フレーム、又は元の現像写真返還封筒に収納されている。

大量のレガシー画像をデジタル形式にすることは、しばしば、標準的な消費者にとって手に負えない仕事である。ユーザは、数百の物理的なプリントをより分け、それらを何らかの関連する順序に並べることを求められる（例えば、年代順又はイベントによる並べ替え）。通常、イベントは、同じフィルムに、又は同じ相対時間フレームで処理される複数のフィルムにわたって、含まれる。プリントの並べ替え後、ユーザは、媒体をスキャンして、デジタルの画像を生成するよう求められる。写真プリントのようなハードコピー画像媒体をスキャンして、デジタル記録を得ることは、よく知られている。現在、多くの解決法がこの機能を行うために存在しており、現像キオスク（imaging kiosks）及びデジタル写真現像店（digital minilabs）から小売で、更に、オールインワン型のスキャナ／プリンタ、又は媒体スキャナを備えたパーソナルコンピュータを用いて家庭で、利用可能である。幾つかの媒体スキャン装置は、ハードコピー媒体をスキャンするタスクを簡単にする媒体移動構造を有する。このようなシステムのいずれかを使用することは、生成されたデジタルファイルの集合に何らかの組織上の構成を与えるという問題を残しながら、ユーザが画像をデジタル形式に変換するのに時間又は費用を費やすことを要する。

先行技術は、スキャンしたハードコピー画像を物理的な特性によって並べ替えること、更に、画像の表及び裏からの情報／注釈を利用することを教示する。この教示は、特定の時間的順序で画像を分類することを可能にする。これは、非常に大きな画像集合に適している。

ハードコピー画像は、世界の多数の地域に存在している。所与の画像に係る地理的位置を特定することが好ましく、この情報は画像集合の検索及び体系化を支援する（例えば、画像集合を見る者は、１９５０年から１９６０年におけるカナダで捕捉された全ての画像又はカリフォルニアからの全ての画像を見ることができる。）。

Ｊ．Ｈａｙｓ，Ａ．Ｅｆｒｏｓ，"ＩＭ２ＧＰＳ：ｅｓｔｉｍａｔｉｎｇ ｇｅｏｇｒａｐｈｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２００８年

画像から地理的位置を特定する現在の方法（例えば、Ｊ．Ｈａｙｓ，Ａ．Ｅｆｒｏｓ，“ＩＭ２ＧＰＳ：ｅｓｔｉｍａｔｉｎｇ ｇｅｏｇｒａｐｈｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），２００８年）は、デジタル画像における情報にしか依存せず、ウォータマーク、郵便切手、言語、注釈、及び日付フォーマット等の有益な特徴を無視する。従って、現在の方法は、ハードコピー画像に係る地理的位置を正確に決定するには適切でない。

本発明は、画像面及び非画像面を有するハードコピー媒体に係る地理的位置を決定する方法であって、
（ａ）スキャンしたデジタル画像を発生させるようハードコピー媒体をスキャンする段階と、
（ｂ）前記ハードコピー媒体の非画像面をスキャンする段階と、
（ｃ）前記ハードコピー媒体の前記非画像面のスキャンにより位置決め特徴を検出する段階と、
（ｄ）前記スキャンしたデジタル画像に係る地理的位置を決定するよう前記位置決め特徴を用いる段階と、
（ｅ）前記スキャンしたデジタル画像の前記決定された地理的位置を記憶する段階と
を有する方法を提供する。

画像を含むハードコピー媒体から得られる物理的な特徴を用いてハードコピー媒体画像を並べ替えるシステムを表す。 フォトブック、アーカイブＣＤ及びオンラインのフォトアルバム等の他のタイプのハードコピー媒体集合を表す。 非画像面にウォータマーク及び画像面に画像処理の日付を含むハードコピー媒体画像の画像及び非画像面の例示である。 非画像面にウォータマーク及び手書きのテキスト並びに画像面に画像処理の日付を含むハードコピー媒体画像の画像及び非画像面の例示である。 非画像面に印刷テキスト、切手及び消印ラベル並びに画像面に画像処理の日付を含むハードコピー媒体画像の画像及び非画像面の例示である。 非画像面にウォータマーク、印刷テキスト、切手及び消印ラベル並びに画像面に画像処理の日付を含むハードコピー媒体画像の画像及び非画像面の例示である。 非画像面にウォータマーク、印刷テキスト、手書きのテキスト、切手及び消印ラベル並びに画像面に画像処理の日付を含むハードコピー媒体画像の画像及び非画像面の例示である。 非画像面にウォータマーク、印刷テキスト、手書きのテキスト、切手及び消印ラベル並びに画像面に画像処理の日付及び手書きのテキストを含むハードコピー媒体画像の画像及び非画像面の例示である。 非画像面にウォータマーク、印刷テキスト、手書きのテキスト、切手及び消印ラベル並びに画像面に画像処理の日付及び手書きのテキストを含むハードコピー媒体画像の画像及び非画像面からの情報抽出のプロセスの例示である。 ハードコピー媒体画像の表面から動的に抽出される記録されたメタデータの例示である。 ハードコピー媒体の画像面及び非画像面並びに記録されたメタデータの組合せから動的に派生したメタデータの例示である。 動的に派生したメタデータのサンプル値の例示である。 完全なメタデータ表現をもたらす記録されたメタデータ及び派生メタデータの組合せの例示である。 記録されたメタデータ、派生メタデータ及び完全なメタデータの夫々の表現を生成する動作のシーケンスを表すフローチャートである。 記録されたメタデータ、派生メタデータ及び完全なメタデータの夫々の表現を生成する動作のシーケンスを表すフローチャートである。 スキャンした画像集合からの画像に係る地理的位置に関連するメタデータの自動生成を表すフローチャートを示す。 ハードコピー媒体画像の画像面上のビーチの例示である。 図１０Ａに表されている対応する画像面を有するハードコピー媒体の非画像面上の手書きのテキストの例示である。 ハードコピー媒体画像の画像面上の野球の試合の例示である。 図１０Ｃに表されている対応する画像面を有するハードコピー媒体の非画像面上の手書きのテキストの例示である。 ハードコピー媒体画像の画像面上のエッフェル塔の例示である。 図１０Ｅに表されている対応する画像面を有するハードコピー媒体の非画像面上の手書きのテキストの例示である。 スキャンした画像集合からの画像のグループの自動生成と、画像のグループに係る地理的位置に関連するメタデータの生成とを表すフローチャートを示す。

本発明は、添付の図面に関連して後述される本発明の様々な実施形態に関する詳細な記載を考慮することによって、より完全に理解され得る。図中、同じ参照符号は、対応する部分を示している。

図１は、画像を含むハードコピー媒体から得られる物理的な特徴を用いてハードコピー媒体画像を並べ替える技術の１つを例示する。ハードコピー媒体の集合は、例えば、光学的に且つデジタルで露光された写真プリント、サーマルプリント、電子写真プリント、インクジェットプリント、スライド、動画キャプチャ、及びネガを含む。これらのハードコピー媒体は、しばしば、カメラ、センサ、又はスキャナ等の画像キャプチャ装置により捕捉された画像に対応する。時間とともに、ハードコピー媒体の集合は大きくなり、様々な形態及びフォーマットの媒体が、箱、アルバム、ファイルキャビネット等の、消費者により選択された様々な保管技術に加えられる。他のユーザは写真プリントを取り出して、それらをインデックスプリント及びネガフィルムと別個にし、他のフィルムからのプリントと一緒にする。

時間とともに、それらの集合は大きくなり扱いにくくなる。ユーザは通常それらの集合、すなわち収集物、を箱に保管し、そして、特定のイベント又は時代から画像を見つけ出して集めることは困難である。ユーザがその時点で有することができる並べ替え要件を考えると、ユーザがそれらの画像を配置するには、多大な時間投資を必要としうる。例えば、自身の子供の全画像を探している場合、自身の収集物を手動で探して、各画像について自身の子供が含まれているかどうかを確認することは、極めて困難である。１９７０年代からの画像を探している場合、画像が撮られた年を見つけるために画像（その表又は裏）を見ることは、同じく極めて困難である。

このようなハードコピー媒体の体系化されていない集合１０は、また、様々なサイズ及びフォーマットの印刷媒体を含む。この体系化されていないハードコピー媒体１０は、両面スキャン可能な媒体スキャナ（図示せず。）を用いてデジタル形式に変換され得る。ハードコピー媒体１０が、定まっていない形（loose form）で（例えば、靴箱内のプリントにより）与えられる場合、自動印刷給紙及び駆動システムを備えたスキャナを使用することが好ましい。ハードコピー媒体１０がアルバムで又はフレームで与えられる場合、ハードコピー媒体１０を乱し又は潜在的にダメージを与えないように、ページスキャナ又はデジタルコピースタンドが使用されるべきである。

デジタル化されると、結果として生じるデジタル画像は、スキャナによって記録された画像データから決定される物理的なサイズ及びフォーマットに基づいて、指定サブグループ２０、３０、４０、５０に分けられる。既存の媒体スキャナ（例えば、コダックｉ６００シリーズ・ドキュメントスキャナ）は、ハードコピー媒体を自動で移動させて両面スキャンし、また、自動デスキュー（de-skewing）、トリミング（cropping）、補正、テキスト検出、及び光学式文字認識（ＯＣＲ）を提供する画像処理ソフトウェアを有する。第１のサブグループ２０は、縁のある３．５インチ×３．５インチ（８．８９ｃｍ×８．８９ｃｍ）プリントの画像を表す。第２のサブグループ３０は、角が丸く縁がない３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）プリントの画像を表す。第３のサブグループ４０は、縁のある３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）プリントの画像を表す。第４のサブグループ５０は、縁がない４インチ×６インチ（１０．１６ｃｍ×１５．２４ｃｍ）プリントの画像を表す。この新たな体系構造によっても、消費者によって与えられるあらゆる画像の順序又はグループ化が並べ替え基準として保たれる。封筒か、束か、それとも箱かにかかわらず、夫々のグループは、受け取られた通りのグループのメンバーとしてスキャンされタグを付されるべきであり、グループ内の順序が記録されるべきである。

図２は、フォトブック、アーカイブＣＤ及びオンラインのフォトアルバム等の、他のタイプのハードコピー媒体集合を例示する。ピクチャブック６０は、ユーザによって選択された様々なレイアウトにより、印刷されたハードコピー媒体を含む。レイアウトは日付又はイベントによるものであってよい。他のタイプのハードコピー媒体集合は、様々なフォーマットでＣＤに記憶されている画像を有するピクチャＣＤ７０である。かかる画像は日付、イベント、又はユーザが適用することができるその他の基準によって並べ替えられてよい。他のタイプのハードコピー媒体集合は画像のオンラインギャラリー８０である。これは通常オンライン（インターネットに基づくもの）又はオフライン（ローカル記憶装置）で記憶される。図２に示される全ての集合は類似しているが、記憶メカニズムは異なる。例えば、ピクチャブック６０は印刷ページを含み、ピクチャＣＤ７０はＣＤに情報を記憶しており、画像のオンラインギャラリー８０は磁気記憶装置に記憶される。

図３Ａ〜３Ｇは、画像面及び非画像面の両方を有するハードコピー画像媒体の例を示す。図３Ａで、写真印刷媒体９０は、瞬時に記録され得る情報（例えば、サイズ又はアスペクト比）と、導出され得る情報（例えば、モノクロかカラーか、又は縁の有無）とを有する。これらの情報は印刷媒体９０のメタデータとしてまとめられ、印刷媒体９０とともに記憶され得る。このメタデータは、特定のイベント、時代、又は或る基準を満足するプリントのグループに配置するためにユーザによって使用されるよう動的デジタルメタデータ記録等の一種の体系構造を形成することができる印刷媒体９０に関する固有の情報を含む。例えば、ユーザは、１９６０年代及び１９７０年代からのユーザの全プリントを集めて、退色回復処理を適用してプリントをリストアしたいと望むことがある。ユーザは、結婚式又はその他の特別の出来事の全ての写真を欲することがある。プリントがデジタル形式でこのメタデータを有する場合は、情報はこれらの目的のために使用されてよい。

このような動的デジタルメタデータ記録は、画像集合がサイズ及び時間フレームにおいて増えるにつれてより一層重要になる体系構造である。数千の画像を含むほど大きいハードコピー画像集合がデジタル形式に変換される場合、ファイル構造、検索可能なデータベース、又はナビゲーションインターフェース等の体系構造が実用性を確立するために必要とされる。

写真印刷媒体９０及び同種のものは画像面９１及び非画像面１００を有し、しばしば、印刷媒体９０の非画像面１００に製造者のウォータマーク１０２を有する。印刷媒体９０の製造者は媒体のマスターロール（master rolls）にウォータマーク１０２を印刷する。マスターロールは、キオスク、写真現像店、及びデジタルプリンタ等の写真処理設備での使用に適したより小さなロールにカットされる。製造者は、新たな特徴、外観及びブランド標示を有する新たな媒体タイプが市場に導入される時々に、ウォータマーク１０２を変更する。ウォータマーク１０２は、特別の現像処理及びサービスを示すとともに、外国市場での販売のための外国語訳等の市場特有の特徴を組み込むよう、製造者後援を宣伝すること等の宣伝活動のために使用される。ウォータマーク１０２は通常、控えめな濃さで印刷媒体９０の非画像面に不鮮明に印刷され、様々なフォント、グラフィック、ロゴ、色変化、複数の色のテキストを含んでよく、通常は、媒体ロール及びカットプリント形状に対して斜めに印刷される。

製造者は、また、例えば、英数字のウォータマークの場合に指定文字の上又は下に線を加えること等、マスターロール・ウォータマークへの僅かな変更を有する。このコーディング技術はユーザには自明でも明白でもないが、製造プロセス制御をモニタし、又は欠陥が検出される場合に製造プロセスの問題の場所を特定するために、製造者によって使用される。様々なバリエーションがマスター媒体ロールの所定の場所に印刷される。出来上がったロールがマスターロールからカットされるとき、それらは、マスターロールに沿った夫々の位置で適用される特有のコード化されたウォータマークを保持する。加えて、製造者は、様々なウォータマークスタイル、コーディング方法、及び特有のウォータマークスタイルが市場に導入されたときの記録を保持する。

実際の消費者ハードコピー媒体でのテストにおいて、特別のプロセス制御コーディングによる製造者ウォータマークを含むウォータマークが、元のフィルムロール印刷分類を決定するための非常に有効な方法を提供すると判断されている。ハードコピー媒体画像が元のロール印刷グループに分けられると、画像解析技術が、ロール分類を個別のイベントに更に分けるために使用されてよい。ウォータマーク分析はまた、印刷順序、印刷画像の位置付け、及びプリントが生成された時間フレームを決定するためにも使用されてよい。

例えばフィルムのロールの処理及び印刷等の典型的な現像オーダーは、ほとんどの環境下で、同じ出来上がった媒体ロールからの媒体に印刷される。媒体ロールが製造者の版コードを伴うウォータマークを含み、フィルムネガのロールを印刷するために使用される場合、結果として得られるプリントは、ユーザのハードコピー媒体集合内でたいがい一意的であるウォータマークを有する。この例外は、ユーザが、長期の休暇又は重大なイベントの終わりに処理されるフィルムのように、同じ現像装置によって同時に印刷される複数のフィルムロールを有する場合である。しかし、たとえ現像装置が特定の消費者のオーダーを印刷している最中にプリント用紙の新しいロールを開始しなければならないとしても、その新しいロールは最初と同じバッチからであると思われる。たとえそうでなくとも、異なるバックプリントに基づいて例えば休暇等のイベントを２つのグループにグループ分けすることは悲惨ではない。

媒体製造者は、継続的に、一意のウォータマーク１０２を有した新しい媒体タイプを市場に放つ。デジタル画像スキャンシステム（図示せず。）は、これらのウォータマーク１０２を、光学式文字認識（ＯＣＲ）又はデジタルパターンマッチング技術を用いて解析可能なデジタル記録に変換することができる。そのような解析は、デジタル記録が媒体の製造者によって提供されるルックアップテーブル（ＬＵＴ）の内容と比較され得るように、ウォータマーク１０２を特定することをターゲットとする。特定されると、スキャンされたウォータマーク１０２は、プリント媒体の製造又は版番の日付を与えるために使用されてよい。この日付は、動的なデジタルメタデータ記録に記憶されてよい。ハードコピー媒体９０の画像面９１から得られる画像は、時々、カメラのデートバック（date back）からのマーキング等の日付表示９２を与えられる。日付表示９２は、スキャンされたハードコピー媒体画像９６に係る時間フレームをユーザからの介入なしに確立するために使用されてよい。

ハードコピー媒体９０が見分けられないウォータマークスタイルを有する場合、そのウォータマークパターンは、動的なデジタルメタデータ記録にメタデータとして記録及び記憶され、後で並べ替えのために使用される。撮影者又はユーザが適用した日付、あるいは、イベント、時間フレーム、場所、対象識別等を示す他の情報が検出される場合、その情報はＬＵＴに組み入れられ、以前に確認されなかったウォータマークを含む後の画像について年代順配列（chronology）又は他の体系構造を確立するために使用される。ユーザ又は撮影者が適用した日付がそのハードコピー媒体９０で観察される場合、その日付がＬＵＴに加えられ得る。このとき、この未知のウォータマークスタイルに出くわそうとなかろうと、自動更新されるＬＵＴはこの新しい関連の日付を使用してよい。当該技術は、数十年に及ぶハードコピー媒体集合について相対的な年代順配列を確立するために展開されてよい。

他の技術は、ハードコピー媒体９０の物理的なフォーマット特徴を使用し、これらを、ハードコピー媒体９０を生成するために使用されたフィルムシステムと、それらのフィルムシステムが一般に使用された時間フレームとに関連付ける。これらのフォーマット及び関連する特徴の例には、１９６３年に投入された１２６フィルムカートリッジ及びインスタマチック（ＩＮＳＴＡＭＡＴＩＣ）カメラ（イーストマン・コダック社）がある。これは、３．５インチ×３．５インチ（８．８９ｃｍ×８．８９ｃｍ）プリントを生成するものであり、１２、２０及び２４フレームのロールサイズで利用可能であった。

コダックのインスタマチックカメラ１１０フィルムカートリッジは１９７２年に投入され、３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）プリントを生成するものであり、１２、２０及び２４フレームのロールサイズで利用可能であった。コダックのディスクカメラ及びコダックのディスクフィルムカートリッジは１９８２年に投入され、ディスクごとに１５画像を有して３．５インチ×４．５インチ（８．８９ｃｍ×１１．４３ｃｍ）プリントを生成するものであった。コダック、富士、キャノン、ミノルタ及びニコンは１９９６年に新写真システム（ＡＰＳ（Advanced Photo System））を導入した。カメラ及びフィルムシステムは、４インチ×６インチ（１０．１６ｃｍ×１５．２４ｃｍ）、４インチ×７インチ（１０．１６ｃｍ×１７．７８ｃｍ）及び４インチ×１１インチ（１０．１６ｃｍ×２７．９４ｃｍ）のプリントサイズを生成するパン（Pan）、ＨＤＴＶ、及びクラシック（Classic）を含むユーザが選択可能な多数のフォーマットのための能力を有する。フィルムロールサイズは１５、２５及び４０フレームで利用可能であり、フィルムに記録された全てのイメージェット（ｉｍａｇｅｔｔｅ）を含むインデックスプリントは、システムの標準機能である。

ＡＰＳシステムは、製造者、カメラ及び現像システムが、フィルムでコーティングされた透明な磁気層に情報を記録することを可能にするデータ交換システムを有する。このデータ交換の例は、カメラが、所望のフォーマットでプリントを生成し且つプリントの裏面及びデジタル印刷インデックスプリントの表面に露出の時間、フレーム番号及びフィルムロールＩＤ＃を記録するために現像システムによって読み出されて使用されるユーザ選択フォーマット及び露出の時間をフィルムの磁気層に記録することである。３５ｍｍ写真撮影が、１９２０年代から現在まで様々な形で利用可能であり、使い切りカメラ（One Time Use Cameras）の形で現在まで一般的である。３５ｍｍシステムは、通常、３．５インチ（８．８９ｃｍ）×５インチ（１２．７ｃｍ）又は４インチ（１０．１６ｃｍ）×６インチ（１５．２４ｃｍ）を生成する。プリント及びロールサイズは１２、２４、及び３６フレームサイズで利用可能である。使い切りカメラは、フィルムが逆巻にされる、すなわち、写真が通常の順序とは反対の印刷順序を生ずるよう撮られる場合にフィルムがフィルムカセットに巻き戻される、という固有の特徴を有する。物理的なフォーマット、期待されるフレームカウント、及びイメージングシステム時間フレーム等の特徴は全て、スキャンするハードコピー媒体を有意味なイベント、時間フレーム及び順序に体系付けるために使用されてよい。

従来の写真撮影と同様に、インスタント写真撮影システムも時間とともに変化しており、例えば、インスタントフィルムＳＸ−７０フォーマットは１９７０年代に投入されたものであり、スペクトラ（Spectra）システム、キャプティヴァ（Captiva）、アイゾーン（I-zone）システムは１９９０年代に投入されたものであり、それらの夫々は固有のプリントサイズ、形状及び縁設定を有する。

正方形状のカメラに関し、撮影者はカメラを回転させるのにほとんどインセンティブを有さない。しかし、長方形のハードコピープリントを生成する画像キャプチャ装置に関し、撮影者は時々、横長の画像（すなわち、捕捉される画像は、その高さよりも大きい幅を有する。）よりもむしろ、縦向き画像（すなわち、捕捉される画像は、横幅よりも高さのある建物等の対象を捕捉するために、幅よりも大きい高さを有する。）を捕捉するために、光軸に関して９０度だけ画像キャプチャ装置を回転させる。

図３Ａには、上記の特徴の幾つかが示されている。ハードコピー画像媒体９０の画像面９１が例示されている。画像面９１は、縁９４に印刷されている日付表示９２を示す。ハードコピー媒体９０の実際の画像データ９６は、画像面９１の中心にある。一実施例で、非画像面１００は、ウォータマーク１０２を表す共通の構成を有する。この実施例で、等間隔で配置されたテキスト又はグラフィックのラインは、ハードコピー画像媒体９０の裏面にわたって対角に配置され、ウォータマーク１０２を表している。実施例で、ウォータマーク１０２は、繰り返しのテキスト「Ａｃｍｅ Ｐｈｏｔｏｐａｐｅｒ」を含む。

図３Ｂは、図３Ａの全ての特徴を含むとともに、更に、非画像面１００に手書きのテキスト１０００を含む。この実施例で、手書きのテキスト１０００は「Ｐｈｉｌａｄｅｌｐｈｉａ ＵＳＡ」である。以前は、写真はしばしばポストカードとして人々に郵送されていた。スキャンされる写真の非画像面において郵便切手、消印ラベル及び住所を見つけることは珍しくない。図３Ｃで、非画像面１００は、郵便切手１００４、消印ラベル１００２及び住所１００６を含む。この実施例で、消印ラベル１００２はテキスト「ＵＳＡ，５ Ｏｃｔ １９５４」を有し、住所１００６はテキスト「Ｊａｍｅｓ Ｂｏｎｄ ２１ Ｃｈｅｓｔｎｕｔ Ｓｔｒｅｅｔ ＃３ Ｐｈｉｌａｄｅｌｐｈｉａ ＰＡ ＵＳＡ」を有する。図３Ｃに含まれる特徴に加えて、図３Ｄは、非画像面１００にウォータマーク１０２を有する。図示される実施例で、ウォータマーク１０２は、繰り返しのテキスト「Ａｃｍｅ Ｐｈｏｔｏｐａｐｅｒ」を含む。図３Ｄに含まれる特徴に加えて、図３Ｅは、非画像面１００に手書きのテキスト１０００を有する。図３Ｅに含まれる特徴に加えて、図３Ｆは、画像面９１にも手書きのテキスト１０１０を有する。この実施例で、手書きのテキスト１０００及び１０１０は両方とも「Ｐｈｉｌａｄｅｌｐｈｉａ ＵＳＡ」である。

図３Ｇは、画像面９１及び非画像面１００から抽出される情報の一例を示す。この実施例で、テキスト認識器２０９は画像面及び非画像面から情報１０３２を抽出し、視覚的場面認識器２０６は情報１０３０を抽出し、ウォータマーク認識器２１２は情報１０３６を抽出し、切手認識器２０７は情報１０３４を抽出する。これらの個々の構成要素については、後で図９を参照して詳述する。

図４は、ハードコピー媒体９０から動的に取り出される記録されたメタデータ１１０を表す。ハードコピー媒体９０の高さ、幅、アスペクト比、及び位置付け（縦長／横長）が、如何なる派生演算にもよらずに、ハードコピー媒体９０の画像面及び非画像面から直ちに且つ動的に取り出されて記録され得る。記録されたメタデータ１１０に関連するフィールド１１１の数は、ハードコピー媒体９０の特徴（例えば、ハードコピー媒体９０のフォーマット、時間期間、現像、製造者、ウォータマーク、形状、サイズ及び他の独特のマーキング等）に依存して、しかしそれらに限られずに、変化しうる。従って、記録されたメタデータ１１０は、動的に取得されて、その後、動的デジタルメタデータ記録に記憶される。記録されたメタデータのフィールド１１１に係るサンプル値１２０が、記録されたメタデータ１１０の隣に示されている。

図５は、ハードコピー媒体１３０の画像面及び非画像面並びに記録されたメタデータ１４０の組合せから動的に得られるメタデータ１５０の例示である。ハードコピー媒体１３０の画像面及び非画像面は様々な方法で解析され、結果としてられるデータは、動的に派生したメタデータ１５０を生成するよう、動的に記録されたメタデータ１４０と結合される。派生メタデータ１５０は、動的派生メタデータ１５０を形成するメタデータフィールド１５１に係る値を決定するために幾つかの解析アルゴリズムを必要とする。解析アルゴリズムには、縁検出器、モノクロ検出器、及び位置付け検出器が含まれるが、それらに限定されない。派生メタデータ１５０に関連するメタデータフィールド１５１の数は、以下の段落で論じられるヒト又は機械による技術によって供給される何らかの付加的な情報に加えて、ハードコピー媒体の特徴及びアルゴリズムの結果に依存して、しかしそれらに限られずに、変化しうる。従って、派生メタデータ１５０は、動的に取得されて、その後、動的デジタルメタデータ記録に記憶される。

図６は、動的派生メタデータ１６０のサンプル値１７０の例示である。派生メタデータ１６０は、色、縁、縁密度、日付、グループ分け、回転、注釈、注釈ビットマップ、著作権のステータス、縁スタイル、インデックスプリント派生順序、又はインデックスプリント派生イベントに係るサンプル値１６１を含む。しかし、派生メタデータ１６０はこれらのフィールドに限定されず、あらゆる適切なフィールドが、少なくともアルゴリズムの結果、ハードコピー媒体の特徴、及びヒト又は機械による技術によって供給される何らかの付加的な情報（例えば、特定の年代、イベントに関するその後の関連情報、関連のイベント、パーソナルデータ、カメラスピード、温度、天候状態、又は地理的な場所）に依存して動的に生成され得る。

図７は、動的に記録されたメタデータ１８０及び動的に派生したメタデータ１９０の組合せの例示である。この組合せは、ハードコピー媒体の完全なメタデータ記録（動的デジタルメタデータ記録２００とも呼ばれる。）を生成する。動的デジタルメタデータ記録とも呼ばれる完全なメタデータ記録２００は、デジタル化されたハードコピー媒体に関する全ての情報を含む。１又はそれ以上の完全なメタデータ記録２００が、異なった検索基準を与えられる関連画像を少なくともグループ化し関連付けるよう求められてよい。

例えば、全てのハードコピー媒体アイテムがスキャンされ、関連する完全なメタデータ記録２００が生成されると、ハードコピー媒体が様々な創造的な方法で体系付けられることを可能にするよう、強力な検索クエリが構成されてよい。従って、大量のハードコピー媒体画像が速やかにデジタル形式に変換され得、デジタルメタデータ記録２００は、画像のメタデータを完全に表現するよう動的に生成される。次いで、この動的デジタルメタデータ記録２００は、デジタル化されたハードコピー画像を扱うために（例えば、体系付け、位置決めし、リストアし、アーカイブ保管し、提示し、デジタル化されたハードコピー媒体を改善するために（しかし、それらに限られない。））使用されてよい。

図８Ａ及び８Ｂは、記録されたメタデータ、派生メタデータ、完全なメタデータの夫々の表現を生成するための動作のシーケンスを表すフローチャートである。ハードコピー媒体は、次のような入力様式のうちの１又はそれ以上を含んでよい：現像封筒内のプリント、靴箱内のプリント、アルバム内のプリント、及びフレーム内のプリント。しかし、実施例はこれらの様式に限られず、他の適切な様式が使用されてよい。

図８Ａ及び８Ｂを参照して、ここでは、本発明に従うシステムの動作についての記載が記される。図８Ａ及び８Ｂは、ハードコピー画像のスキャン及び完全なメタデータの生成のための動作のシーケンスを表すフローチャートの描写である。ハードコピー媒体は次のような入力様式の一部又は全てを含んでよい：例えば、現像封筒内のプリント、靴箱内のプリント、アルバム内のプリント、及びフレーム内のプリント。

ハードコピー媒体は、媒体が受け取られた任意の順序でスキャナによってスキャンされてよい。ステップ２１０で媒体が準備され、ステップ２１５で媒体の表及び裏がスキャンされる。ステップ２２０で、スキャナは、記録されたメタデータ情報を取り出すために使用され得る画像ファイル内の情報を生成する。ステップ２２５でカラー／白黒アルゴリズムを用いることによって、ステップ２３０で決定点が生成され、ステップ２３５及び２４０で適切なカラーマップ（ステップ２３５では、非肌色（non-flesh）、すなわち、白及び黒。ステップ２４０では、肌色。）が、画像内で例えば顔（しかし、これに限られない。）を見つけ出すために使用される。ステップ２４５で、マップが顔検出器により０度、９０度、１８０度、２７０度の向きで回転されると、画像の位置付けが決定され得、回転角度（位置付け）が記録される。位置付けは、画像が書き込まれる前に、画像を自動的に回転させるために使用される（これは、ＣＤ／ＤＶＤに書き込む前、又はディスプレイに１又はそれ以上の画像を表示する前に、有用である。）。

ステップ２５０で縁検出器を用いて、縁が検出されるかどうかの決定点が生ずる（ステップ２５５）。縁が検出される場合、ステップ２６０で、縁に近い画像の端を見ることによって最低密度（Ｄｍｉｎ）が計算され得る。縁の最低密度が計算された後、ステップ２６５で、それは派生メタデータに記録される。ステップ２７０で、縁に書き込まれているテキスト情報／注釈が取り出され得る。取り出されたテキスト情報をアスキーコードに変換して検索を容易にするようＯＣＲが使用されてよい。ステップ２９０で、縁注釈が派生メタデータに記録される。ステップ２９２で、縁注釈ビットマップも派生メタデータに記録されてよい。例えば波形、直線、円形といった縁スタイルがステップ２９４で検出され、ステップ２９６で派生メタデータに記録される。ステップ２７５で画像がインデックスプリントである場合、インデックスプリント番号等の情報がステップ２８０で検出されて、ステップ２８２で記録され得る。インデックスプリントイベントもステップ２８４で検出されて、ステップ２８６で記録されてよい。ステップ２７５で画像がインデックプリントでない場合、共通イベント分類等の情報がステップ２７７で検出されて、ステップ２７９で記録される。共通イベント分類は、類似した内容を有する同じ画像グループ又はイベントに由来する１又はそれ以上の画像である。例えば、共通イベント分類は、１年若しくは複数年の休暇、釣り旅行又は誕生日パーティーに由来する１又はそれ以上の画像であってよい。本実施例において、画像変換決定ステップ５０６は、画像変換５１０を決定するために、印刷媒体９０の非画像面１００をスキャンすることによってそもそも得られる派生メタデータ情報２９８を使用する。例えば、画像変換５１０は、画像が、決定される画像に従って補正されるような画像回転であってよい。画像変換５１０は、改善されたデジタル画像を生成するよう、画像変換適用ステップ５１４によって特定の画像に適用される。

画像変換決定ステップ５０６は、また、画像変換５１０を決定するために、同じイベント分類からの他の画像に関連付けられている派生メタデータを使用してよい。これは、イベント分類が、上述されたように、ウォータマーク１０２を用いてステップ２７７で検出され、ステップ２７９で記録されるからである。加えて、画像変換決定ステップ５０６は、また、画像変換５１０を決定するために、同じイベント分類からの画像及び他の画像からの画像情報（すなわち、画素値）を使用してよい。画像変換５１０の適用後、改善された回転されたスキャンデジタル画像が何らかのプリンタで印刷され、又は出力装置で表示され、又は離れた場所へ若しくはコンピュータネットワーク上で送信されてよい。送信には、インターネットを介してアクセス可能なサーバに変換された画像を置くこと、又は変換された画像を電子メールで送ることが含まれうる。また、人間オペレータは、画像変換５１０の適用が利益をもたらすことを確かめるために、オペレータ入力５０７を供給してよい。例えば、人間オペレータは、画像に適用された画像変換５１０のプレビューを見て、画像変換５１０の適用をキャンセルするのか又は続けるのかを決定することができる。更に、人間オペレータは、新しい画像変換を提案することによって、画像変換５１０を無効にすることができる（例えば、画像位置付けの場合に、人間オペレータはオペレータ入力５０７を介して反時計回り、時計回り又は１８０度の回転を示す。）。

例えば、画像変換５１０は、画像に関連する派生メタデータと、同じイベント分類からの他の画像に関連する派生メタデータとに基づいて、画像の位置付けを補正するために使用されてよい。画像の位置付けは、撮影者の視点から画像の４辺のうちのどの辺が上であるのかを示す。適切な位置付けを有する画像は、正確な辺、すなわち、「上」を有して表示される画像である。

図９には、スキャンされた写真プリントに係る地理的位置を決定するための発明方法が表されている。ハードコピー画像に係る地理的位置は、画像が表す場所の推測である。地理的位置は、通常、緯度座標及び経度座標に関して便宜上表現される。地理的位置は、地球上の特定の地点（例えば、緯度４３．２０５９８９度、経度−７７．６２８２３６度）であってよい。画像に係る地理的位置は、また、緯度座標及び経度座標の組又は範囲にわたって（連続的又は離散的な）確率分布として表現されてよい。例えば、自由の女神であるように思われる対象の画像は、９０％の確率を有してニューヨークのリバティー島（緯度４０．６８９３２１度、経度−７４．０４４６４５度）上にあるものであり、あるいは、１０％の確率を有してフランス（例えば、４８°５１′０″Ｎ２°１６′４７″Ｅ／４８．８５，２．２７９７２）にある複製品である。地理的位置は、また、政治的境界（例えば、画像がフランスで捕捉された１０％の確率、画像がカナダのケベック州で捕捉された８０％の確率、及び画像がニューオリンズで捕捉された１０％の確率）又は物理的な住所若しくは郵便番号に関して表されてもよい。画像に係る地理的位置は、緯度及び経度に関して特定の共分散を有して夫々特定の場所に中心がある地球規模のガウス分布の混合として表現されてよい。更に、画像に係る地理的位置は、地球規模のフォンミーゼス・フィッシャー分布の混合として表現されてよい。地理的位置は、ハードコピー画像ごとに、又は画像のグループごとに、個々に割り当てられてよい。グループが考えられる場合、同じグループ内の画像は、共通の位置決め特徴を共有し、結果として、同じ地理的位置を割り当てられる。グループの構成は図１１及び図１２において記載される。

ハードコピー画像に係る地理的位置は、位置決め特徴を用いて検出される。位置決め特徴２９９は、ハードコピー画像の画像面及び非画像面に対して作用する認識器（テキスト認識器２０９、テキスト言語認識器２１４、日付認識器２１３、消印認識器２１１、切手認識器２０７、及びウォータマーク認識器２１２）の組の１又はそれ以上によって抽出される、画像の地理的位置を検出するのに有用である何らかの情報である。位置決め特徴の幾つかの例は、印刷された又は手書きの日付のフォーマット、手書きの又は印刷されたテキストの言語、又は前述の認識器のうちの位置若しくはそれ以上から抽出される場所に特有の語である。場所に特有の語は、利用可能な地理的知識ベースを用いて地理的位置に直接に変換可能な、何らかの言語による語である。場所に特有の語は、「フランスのパリ」のように正確であっても、あるいは、「ビーチ」のような総称であってもよい。場所に特有の語は、世界中規模の分布として地理的位置を特定する。前述の認識器及びそれらが生成する位置決め特徴については、以下で詳細に記載する。

ハードコピー媒体の集合１０はスキャナ２０１によってスキャンされる。望ましくは、スキャナ２０１は、夫々の写真プリントの（スキャンされたデジタル画像を生じさせる）画像面及び非画像面の両方をスキャンする。これらのスキャンの集合は、デジタル画像集合２０３を構成する。

テキスト検出器２０５は、夫々の画像の、スキャンされたデジタル画像、又は非画像面のスキャンのいずれかでテキストを検出するために使用される。例えば、テキストは、米国特許第７，１７７，４７２号明細書によって記載される方法を用いて見つけられる。本発明では、基本的興味がある２つのタイプのテキスト、すなわち、手書き注釈及び機械注釈がある。

手書き注釈は、しばしば写真の場所、写真内の人々及び写真の日付を記す豊富な情報を含む。手書きテキストを認識することは、当然、手書きテキストの筆跡、言語及び文法が多種多様であるために課題をもたらす。手書き文字認識の問題に対処しようとする機械学習コミュニティ（machine learning community）における幾つかの試みある。ＳＮ Ｓｒｉｈａｒｉ，Ｅ Ｐｏｌｙｔｅｃｈ，Ｑ Ｍｏｎｔｒｅａｌ，Ｏｎｌｉｎｅ ａｎｄ ｏｆｆ−ｌｉｎｅ ｈａｎｄｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ：ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｓｕｒｖｅｙ，ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０００年の公開論文は、この分野を詳細に論じている。当該問題は、より一般的には、光学式文字認識（ＯＣＲ）の分野において対象とされている。ＯＣＲとは、走査されたプリントからの手書きの、タイプ内の、又は印刷されたテキストの画像の機械編集可能なテキストへの機械的又は電子的な変換の処理をいう。手書きの印刷テキストの例が、図３Ｅにおいて、夫々１０００及び１００６として示されている。かかる例において、手書きテキストは「Ｐｈｉｌａｄｅｌｐｈｉａ，ＵＳＡ」であり、印刷テキストは、写真が郵送された住所「Ｊａｍｅｓ Ｂｏｎｄ ２１ Ｃｈｅｓｔｎｕｔ Ｓｔｒｅｅｔ，＃３ Ｐｈｉｌａｄｅｌｐｈｉａ，ＰＡ，ＵＳＡ」である。印刷された又は手書きのテキストは、位置決め特徴２９９の一部又は全部を形成してよく、地理的位置検出器３００に送られる。

日付認識器２１３は、テキスト認識器２０９により認識されたテキストを分析する。テキスト認識器２０９はＯＣＲシステムである。認識されたテキストは日付認識器２１３によって分析され、日付認識器２１３は、あり得る日付又は日付に関連する特徴をテキストから検索する。画像捕捉日は厳密であっても（例えば、２００２年６月２６日１９時１５分）又は曖昧であっても（例えば、２００５年若しくは１９７５年の１２月、又は１９６０年代）よく、あるいは、時間インターバルにわたる連続的又は離散的な確率分布関数として表されてよい。画像自体からの特徴は、画像の日付に関連する糸口を与える。更に、実際の写真プリントを記述する特徴（例えば、モノクロ及び帆立貝のようにカーブした端）が日付を決定するために使用される。最後に、写真プリントの日付を決定するために注釈が使用されてもよい。複数の特徴が見つけられる場合、ベイジアン・ネットワーク又は他の確率モデルが、写真プリントの最もありそうな日付を判断し決定するために使用される。

地理的位置を決定するために、正確な日付は、日付が書かれているフォーマットほど有用ではない。一般的且つ公式の使用においてカレンダー日付を表す３つの標準的な方法が存在する：
（１）ｄｄ／ｍｍ／ｙｙ又はｄｄ／ｍｍ／ｙｙｙｙ：これは、欧州、南アメリカ及びインドで使用される；
（２）ｍｍ／ｄｄ／ｙｙ又はｍｍ／ｄｄ／ｙｙｙｙ：これは、アメリカ合衆国及びカナダの一部で使用される；
（３）ｙｙ／ｍｍ／ｄｄ又はｙｙｙｙ／ｍｍｍ／ｄｄ：これは、主に中国、韓国及び特定の他のアジア諸国で使用される。

カレンダー日付フォーマット及びそれらの利用の完全なリストは、何らかの百科事典（例えば、ウィキペディアhttp://en.wikipedia.org/wiki/Calendar_date）から取得されてよい。日付（手書きの又は印刷された日付）を書くフォーマットは、どこで写真が撮られたかを決定するための有用な手掛かりでありうる。日付のフォーマットのみでは地理的な地域を正確に決定するには不十分である場合がある。曖昧さは、上記のフォーマットのいずれかで表される日付において日、月及び年を識別する際に誤りを生じさせうる。しかし、他の形態の推定（例えば、表面スキャンのみによって日付を決定すること）とともに用いられる日付フォーマット特徴は、曖昧さを減らすのに役立ちうる。他の可能性は、手書きの又は印刷された日付が、写真自体の地理的所属よりもむしろ、書き手や撮影者の地理的位置、すなわち、彼らの居住場所を表しうることである。カレンダー日付又はカレンダー日付フォーマットは、位置決め特徴２００の一部又は全部を形成してよく、塵適地検出器３００に送られる。

消印検出器２１１は、テキスト認識器２０９により認識されたテキストを分析する。消印は、物品が郵便サービスのあて先に配送された日、時間及び場所を示すよう、手紙、小包、はがき、又は写真の裏面に付された郵便消印である。消印は、手又は機械によって、ローラ又はインクジェット等の方法を用いて適用されてよく、一方、デジタル消印は、最近の技術である。消印は、写真が郵送された場合は、それらの写真の裏面で見つけられる。消印の一例は、図３Ｃの１００２として示されている。消印は、郵便サービスの地理的位置に関する直接的な証拠を与えることができる点で有用である。例えば、図３Ｃにおける消印１００２は、写真が発送された場所としてアメリカ合衆国を示す。消印から得られるテキストは、位置決め特徴２９９の一部又は全部を形成してよく、地理的位置検出器３００に送られる。

テキスト言語認識器２１４は、テキスト認識器２０９により認識されたテキストを分析する。印刷された又は手書きのテキストは、１又はそれ以上の言語に対応することができる。例えば、テキストは英語と独語で書かれてよい。テキストの言語は、１又はそれ以上の場所特有の語に変換されてよい。テキストの言語を検出する方法は、米国特許出願公開第２００２／００９５２８８号明細書におけるテキスト言語検出において見つけられ得る。印刷された若しくは手書きのテキストの言語、又はテキストの言語から得られる場所特有の語は、位置決め特徴２９９の一部又は全部を形成してよく、地理的位置検出器３００に送られる。

切手認識器２０７は、集合２０３を分析する。郵便切手は、郵便サービスの料金を前払いする粘着紙タイプの証拠である。通常、郵便切手は、郵送される対象に貼付される正方形又は長方形の小さな用紙であり、手紙又は荷物を送る人が配送料の全額又は一部を前払いしたことを示す。郵便切手の一例は、図３Ｃにおいて１００４として示される。郵便切手は、写真の地理的位置の強力なインジケータであってよい。あらゆる国が、異なる時間期間に及ぶその国自体の代表的な郵便切手を有する。この情報は、百科事典から容易に取得されて、知識ベースに記憶され得る。切手認識器２０７の理想的な実施形態は、１００４のような切手から視覚的なシグニチャを抽出し、それを知識ベース内の既知の切手の視覚的なシグニチャと比較して、切手の地理的所属を決定するのに役立つ１又はそれ以上の場所特有の語を得る。視覚的なシグニチャを用いて画像を比較する方法は、Ｊ．Ｚ．Ｗａｎｇ，Ｊ．Ｌｉ，及びＧ．Ｗｉｒｄｅｒｈｏｌｄ著、ＳＩＭＰＬＩｃｉｔｙ：Ｓｅｍａｎｔｉｃｓ−Ｓｅｎｓｉｔｉｖｅ Ｉｎｔｅｇｒａｔｅｄ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｐｉｃｔｕｒｅ Ｌｉｂｒａｒｉｅｓ、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００１年の公開文献の中で検討されている。切手、又は切手に関連する場所特有の語は、位置決め特徴２９９の一部又は全部を形成してよく、地理的位置検出器３００に送られる。

ウォータマーク認識器２１２は、集合２０３を分析する。製造者ウォータマークの一例は、図３Ａにおいて１０２として示される。上述されるように、ウォータマークは、特別の現像処理及びサービスを指定するとともに、外国市場における販売のための外国語訳等の市場特有の特徴を組み込むよう、製造者後援を宣伝すること等の宣伝活動のために使用される。ウォータマークの認識は、製造者の地理的な所属を特定するのに役立つ。異なる時間期間に及ぶウォータマーク及びそれらの夫々の製造者に関する情報は、ウォータマーク辞書から取得されて、知識ベースに記憶され得る。ウォータマーク認識器２１２の理想的な実施形態は、１０２のようなウォータマークから視覚的なシグニチャを抽出し、それを知識ベース内の既知の切手の視覚的なシグニチャと比較して、ウォータマークの地理的所属を決定するのに役立つ１又はそれ以上の場所特有の語を得る。視覚的なシグニチャを用いて画像を比較する方法は、Ｊ．Ｚ．Ｗａｎｇ，Ｊ．Ｌｉ，及びＧ．Ｗｉｒｄｅｒｈｏｌｄ著、ＳＩＭＰＬＩｃｉｔｙ：Ｓｅｍａｎｔｉｃｓ−Ｓｅｎｓｉｔｉｖｅ Ｉｎｔｅｇｒａｔｅｄ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｐｉｃｔｕｒｅ Ｌｉｂｒａｒｉｅｓ、ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００１年の公開文献の中で検討されている。ウォータマーク、又はウォータマークに関連する場所特有の語は、位置決め特徴２９９の一部又は全部を形成してよく、地理的位置検出器３００に送られる。

視覚場面認識器２０６は、集合２０３を分析する。視覚場面認識は、長年、コンピュータビジョン研究分野において検討されている。場面認識は、画像内の活動／イベントを認識することから、画像が撮られた正確な場所を特定することまで多岐にわたる。場面認識は、他の形態の推定と関連して地理的位置を絞り込むのに有用でありうる。例えば、テキスト認識器２０９がテキスト「Ｎｉｃｅ，Ｆｒａｎｃｅ」（図１０Ｂの６２６）を検出し、場面認識器２０６が「ビーチ」（図１０Ａの６２０）を検出する場合に、地理的位置は、フランスのニースにあるビーチに更に絞り込まれる。更なる他の例において、テキスト認識器２０９はテキスト「Ｎｅｗ Ｙｏｒｋ Ｃｉｔｙ」（図１０Ｄの６２８）を検出し、場面認識器２０６は「野球の試合」（図１０Ｃの６３０）を検出し、そして、２つの推定が地理的位置をニューヨーク市内の全ての野球場に絞り込むために使用されてよい。Ｍ．Ｒ．Ｂｐｉｔｅｌｌ，Ｊ．Ｌｕｏ，Ｘ．Ｓｈｅｎ，及びＣ．Ｍ．Ｂｒｏｗｎ著、Ｌｅａｒｎｉｎｇ ｍｕｌｔｉ−ｌａｂｅｌ ｓｃｅｎｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００４年の公開文献は、場面認識を行う方法を論じている。Ｊ．Ｈａｙｓ，及びＡ．Ｅｆｒｏｓ、ＩＭ２ＧＰＳ：ｅｓｔｉｍａｔｉｎｇ ｇｅｏｇｒａｐｈｉｃ ｉｎｆｏｒｍａｔｉｏｎ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ、Ｉｎ Ｐｒｏｃ． ＩＥＥＥ Ｉｎｔ． Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、２００７年の公開文献は、視覚的な特徴を用いて画像の場所を突き止める方法を記載している。本発明の実施形態では、上記文献において記載されている技術が、画像の表面スキャンのみにより「エッフェル塔」（図１０Ｅの６３４）を認識するために使用されてよい。テキスト「Ｆｒａｎｃｅ」（図１０Ｆの６３２）のような何らかの付加的な情報が、その推定を補足するために使用される。本発明において、視覚場面認識器２０６は、１又はそれ以上の場所特有の語を出力することができる。視覚場面に関連する場所特有の語は、位置決め特徴２９９の一部又は全部を形成してよく、地理的位置検出器３００に送られる。地理的位置検出器３００から得られる地理的位置は、派生メタデータ２９８の一部又は全部を形成する。

図１１は、同じ地理的位置において捕捉されたと信じられるスキャンされた画像をグループ化する方法を表すフローチャートである。類似性推定器３０２は、認識器（テキスト認識器２０９、テキスト言語認識器２１４、日付認識器２１３、消印認識器２１１、切手認識器２０７、及びウォータマーク認識器２１２）の組からの出力と、図９において記載された位置決め特徴２９９とを用いて、画像間の対類似性（pairwise similarities）を推定する。ユークリッド距離、マンハッタン距離、又はマハラノビス距離を含む従来の距離メトリクスが推定器３０２において使用されてよい。高度な学習に基づく距離測度は、この場合に、計算上の複雑さを犠牲にして、より正確な類似性推定を提供することができる（例えば、「Ｄｉｓｔａｎｃｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｓｉｍｉｌａｒｉｔｙ Ｅｓｔｉｍａｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓ． Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００７年におけるＹｕ等の方法、又は「Ａｎ ｅｆｆｉｃｉｅｎｔ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｌｏｃａｌ ｄｉｓｔａｎｃｅ ｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ」、Ｐｒｏｃ． ｏｆ Ｃｏｎｆ． ｏｆ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ ｔｈｅ Ａｄｖａｎｃｅｍｅｎｔ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、２００６年におけるＹａｎｇ等の方法）。推定される相似値は、画像を複数のグループに割り当てるグループクラスタ３０３へ入力として与えられる。本発明の実施形態では、Ｈａｒｔｉｇａｎ及びＷｏｎｇ著、「Ａ Ｋ−ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ」、Ａｐｐｌｉｅｄ Ｓｔａｔｉｓｔｉｃｓ、１９７９年のＫ平均法アルゴリズムが、クラスタリングを行うために使用されてよい。グループ位置決め特徴３０１は、同じグループ内の全ての画像の位置決め特徴２９９を結合又はプールすることによって構成される。結果として、同じグループ内の画像は、更に派生メタデータ２９８の一部又は全部を形成する、地理的位置検出器３００により得られる同じ地理的位置を割り当てられる。当業者には明らかなように、画像のグループは、図１１に示されるもの以外の特徴によって定義されてもよい。例えば、画像のグループは、特定の物理的な包装材料又は容器内の全てのハードコピー媒体の組である。図１１の重要な一面は、画像が同じ地理的位置で捕捉されたと信じられるグループにグループ化されること（３０３）である。次いで、グループ全体の位置決め特徴３０１が見つけられる。例えば、グループ位置決め特徴３０１は、グループ内の全ての画像の郵便切手から抽出された特徴を含む。次いで、グループ位置決め特徴３０１は、画像のグループに係る地理的位置を決定するために使用され、決定された地理的位置は、メタデータ２９８として画像と関連して記憶される。

Claims (22)

1. 画像面及び非画像面を有するハードコピー媒体に係る地理的位置を決定する方法であって、
   （ａ）スキャンしたデジタル画像を発生させるようハードコピー媒体をスキャンする段階と、
   （ｂ）前記ハードコピー媒体の非画像面をスキャンする段階と、
   （ｃ）前記ハードコピー媒体の前記非画像面のスキャンにより位置決め特徴を検出する段階と、
   （ｄ）前記スキャンしたデジタル画像に係る地理的位置を決定するよう前記位置決め特徴を用いる段階と、
   （ｅ）前記スキャンしたデジタル画像の前記決定された地理的位置を記憶する段階と
   を有する方法。
2. 前記位置決め特徴は、消印、郵便切手、ウォータマーク又はそれらの組合せを含む、請求項１に記載の方法。
3. 前記位置決め特徴は、前記ハードコピー媒体の前記非画像面のスキャンにより、予め印刷されている又は手書きのテキストから抽出される、請求項１に記載の方法。
4. 前記位置決め特徴は、前記ハードコピー媒体の前記非画像面のスキャンにより抽出される予め印刷されている又は手書きのテキストの言語である、請求項３に記載の方法。
5. 前記予め印刷されている又は手書きのテキストは日付であり、前記位置決め特徴は前記日付のフォーマットである、請求項３に記載の方法。
6. 前記位置決め特徴は、更に、予め印刷されている又は手書きのテキストから前記ハードコピー媒体の前記非画像面のスキャンにより抽出される特徴を含む、請求項２に記載の方法。
7. 前記位置決め特徴は、更に、前記ハードコピー媒体の前記画像面のスキャンにより抽出される特徴を含む、請求項１に記載の方法。
8. 前記位置決め特徴は、更に、前記ハードコピー媒体の前記非画像面のスキャンからの予め印刷されている又は手書きのテキスト、消印、郵便切手、ウォータマーク又はそれらの組合せを含む、請求項７に記載の方法。
9. 前記ハードコピー媒体の前記画像面からの画像コンテンツは、視覚的場面タイプである、請求項７に記載の方法。
10. 前記ハードコピー媒体の前記非画像面のスキャンからの前記予め印刷されている又は手書きのテキストは、位置に特有の語を検出するよう分析される、請求項６に記載の方法。
11. 画像面及び非画像面を夫々有するハードコピー媒体に係る地理的位置を決定する方法であって、
    （ａ）スキャンしたデジタル画像を生成するようハードコピー媒体をスキャンする段階と、
    （ｂ）前記スキャンしたデジタル画像から予め印刷されている又は手書きのテキストを検出することによって位置決め特徴を生成する段階と、
    （ｃ）前記スキャンしたデジタル画像に係る地理的位置を決定するよう前記位置決め特徴を使用する段階と、
    （ｄ）前記スキャンしたデジタル画像の前記決定された地理的位置を記憶する段階と
    を有する方法。
12. 前記位置決め特徴は、消印、郵便切手、ウォータマーク又はそれらの組合せを含む、請求項１１に記載の方法。
13. 前記位置決め特徴は、前記スキャンしたデジタル画像からの予め印刷されている又は手書きのテキストから抽出される、請求項１１に記載の方法。
14. 前記位置決め特徴は、前記スキャンしたデジタル画像から抽出される予め印刷されている又は手書きのテキストの言語である、請求項１３に記載の方法。
15. 前記予め印刷されている又は手書きのテキストは日付であり、前記位置決め特徴は前記日付のフォーマットである、請求項１３に記載の方法。
16. 前記位置決め特徴は、更に、予め印刷されている又は手書きのテキストから抽出される特徴を含む、請求項１２に記載の方法。
17. 前記位置決め特徴は、更に、前記スキャンしたデジタル画像から抽出される特徴を含む、請求項１１に記載の方法。
18. 前記位置決め特徴は、更に、前記スキャンしたデジタル画像からの予め印刷されている又は手書きのテキスト、消印、郵便切手、ウォータマーク又はそれらの組合せを含む、請求項１７に記載の方法。
19. 前記スキャンしたデジタル画像からの前記予め印刷されている又は手書きのテキストは、位置に特有の語を検出するよう分析される、請求項１６に記載の方法。
20. 画像面及び非画像面を夫々有するハードコピー媒体の集合に係る地理的位置を決定する方法であって、
    （ａ）スキャンしたデジタル画像の集合を生成するよう前記ハードコピー媒体をスキャンする段階と、
    （ｂ）同じ地理的位置において捕捉されたと信じられるスキャンしたデジタル画像のグループを生成するよう、同じスキャンしたデジタル画像の組をグループ化する段階と、
    （ｃ）前記スキャンしたデジタル画像のグループについて位置決め特徴を生成する段階と、
    （ｄ）前記スキャンしたデジタル画像のグループに係る地理的位置を決定するよう前記位置決め特徴を使用する段階と、
    （ｅ）前記スキャンしたデジタル画像のグループの前記決定された地理的位置を記憶する段階と
    を有する方法。
21. 前記スキャンしたデジタル画像のグループは、
    （ｂ１）前記集合に含まれる各スキャンしたデジタル画像から、前記スキャンしたデジタル画像からの予め印刷されている又は手書きのテキスト、画像の見かけ上の特徴、消印、郵便切手、ウォータマークグループ又はそれらの組合せを含むグループ分け特徴を取り出すことと、
    （ｂ２）スキャンしたデジタル画像の対の間の類似性を、それらの関連するグループ分け特徴に基づいて計算することと、
    （ｂ３）スキャンしたデジタル画像の対の間の前記類似性に基づいて、スキャンしたデジタル画像のグループを生成することと
    によって生成される、請求項２０に記載の方法。
22. 前記スキャンしたデジタル画像のグループについての位置決め特徴は、前記スキャンしたデジタル画像のグループからの予め印刷されている又は手書きのテキスト、視覚的場面タイプ、消印、郵便切手、ウォータマーク又はそれら組合せを含む、請求項２０に記載の方法。

Images