JP2011525736A - ハードコピー媒体の向きと日付を見つける方法 - Google Patents

Abstract

走査ハードコピー媒体の画像取得日を決定する方法は、少なくとも１つのインデックス・プリントを含むハードコピー媒体を走査して、走査デジタル画像を作成する段階と、走査デジタル画像の中から１つまたは複数のインデックス・プリントを検出する段階と、１つまたは複数のインデックス・プリント内に含まれるサムネイル画像を識別する段階と、各インデックス・プリントの画像取得日を決定し、画像取得日を、そのインデックス・プリント内に含まれるサムネイル画像と関連付ける段階と、走査デジタル画像を、１つまたは複数のインデックス・プリントからのサムネイル画像と照合する段階と、サムネイル画像からの日付を、サムネイル画像に一致する走査デジタル画像と関連付ける段階と、サムネイル画像に一致する走査デジタル画像と関連付けて日付を記憶する段階とを含む。

Description

本発明は、走査媒体に見つかったインデックス・プリントを使用して他の走査媒体の日付または向きを決定することに関する。

今日、フィルム式化学写真からデジタル写真に切り換える消費者の数が増えている。瞬間的な画像取得とレビュー、使い易さ、多数の出力および共有オプション、マルチメディア機能、およびオンラインおよびデジタル媒体記憶機能はすべて、消費者がこの技術的進歩を受け入れることに寄与してきた。ハードドライブ、オンライン・アカウントまたはＤＶＤは、数千の画像を記憶することができ、これらの画像は、印刷、送信、別の形式への変換、別の媒体への変換、または画像製品の作成のために使用し易い。デジタル写真の流行は比較的新しいので、一般的な消費者によって保持される多数の画像は、通常、ハードコピー媒体の形をとる。そのような旧来の画像は、数十年間に及ぶことがあり、またコレクションの所有者にとって多くの個人的および感情的重要性を有することがある。実際に、そのような画像は、時間の経過と共に所有者にとって価値が高まることが多い。したがって、かつては表示するのに十分良いものでないと考えられた画像でも今は大事にされる。そのような画像は、箱、アルバム、額、さらには元々の写真現像返却用封筒などに保管されることが多い。

大量の旧来画像をデジタル形式にすることは、多くの場合、一般消費者にとって大変な作業である。ユーザは、何百枚もの物理的プリントを選り分け、それを年代順やイベント順などの何らかの適切な順序で配置しなければならない。一般的に、イベントは、同一フィルム・ロール上または同一相対時間枠内で処理された何本かのフィルム・ロールに含まれる。プリントをソートした後で、ユーザは、媒体を走査して画像のデジタル版を作成することが必要になる。写真プリントなどのハードコピー画像媒体を走査してデジタル・レコードを得ることは周知である。現在、この機能を行う多くの解決策があり、個人向け業者では画像キオスクとデジタル現像所で利用可能であり、家庭では「オール・イン・ワン」スキャナ／プリンタまたは媒体スキャナを装備したパーソナル・コンピュータで可能である。いくつかの媒体走査装置は、ハードコピー媒体を走査する作業を単純化する媒体搬送構造を有する。上述のようなシステムのうちのどれを使用するにも、ユーザは、時間や経費を費やして画像をデジタル形式に変換する必要がある上、生成されたデジタル・ファイルのコレクションに何らかの種類の整理構造を提供する問題が残る。

先行技術は、走査したハードコピー画像を物理的特性によってソートし、また画像の前後からの情報／注釈を利用することを教示している。この教示は、特定の時間順で画像を分類することを可能にし、このことは、きわめて大きな画像コレクションについても適切であり得る。しかしながら、画像が走査され整理されたが、適正に回転されない場合は、それらの画像は、ＣＤ／ＤＶＤや他の適切な記憶媒体に間違った向きで記録されることになる。これは、エンドユーザにとって理想的でない体験になる。

したがって、画像から別のメタデータを取得できる場合は、画像にいくつかの改善をすることができる。たとえば、整理に加えて、画像が白黒かカラーかを示すメタデータを使用して、画像の向きを修正することができる。画像の向きを知ることにより、出力表示装置上の画像の向きを正しくすることができる。画像の向きを決定するいくつかのアルゴリズムが存在する。

グッドウィン（Ｇｏｏｄｗｉｎ）らの特許文献１は、消費者のフィルム注文内のセット全体の画像を検討して注文全体の向きを決定する方法を述べている。セット内の各画像ごとに向きの統計的推定が生成される。セット内の個々の画像の推定に基づいて、注文全体の統計的推定が導出される。グッドウィンらは、画像内の色の空間分布から妥当な確率を導出することを教示している。グッドウィンらは、単一画像ではなく注文全体の画像を見なければならない。１つの画像しか含まない用途があり、グッドウィンらはそれを正しく方向付けできないだろう。

また、タケオ（Ｔａｋｅｏ）の特許文献２は、人体の表現を含む画像の向きを決定する方法について述べている。画像の向きの手掛かりとして人間の姿勢が使用される。タケオ特許は、主に、病院または診療所で使用されるようなＸ線写真用途に応用できる。画像内に人影を必要とするようなある一定の制約に依存するため、広範囲の消費者に使用される可能性は低い。

さらに、アンダーソン（Ａｎｄｅｒｓｏｎ）の特許文献３は、カメラ内にあるセンサに基づいて画像取得時に画像の形式と向きを決定する方法を記載している。しかしながら、特定のカメラまたは画像取得装置内にセンサがない場合は、アンダーソンの方法は利用できない。アンダーソンによって記載された手法には、カメラ内に追加装置を必要とするというさらに他の欠点がある。さらに、特定のカメラが付加装置を含まない限り、画像処理装置または動作は、正しい方向付けを行なうことができない。同様に、この方法は、カメラのセンサの状態が写真プリントに記録されないため、走査された写真プリントの向きを検出できない。

画像の向きを決定するために、低レベルの特徴（特許文献４に記載されたような）を抽出するか、あるいは、物体を検出し使用して画像の向きを決定するいくつかの他の方法が記述されている。たとえば、レイ（Ｒａｙ）らの特許文献５に開示されたような顔の検出に基づいて画像の向きを決定することは既知であるが、顔は画像の約７５％にしか含まれず、自動顔検出装置は、顔があるときでも顔を検出できなかったり、画像内に実際にない偽の顔を検出したりすることがある。画像の向きを決定する他の方法は、空（特許文献６を参照）または草若しくは道路標識（特許文献４に記載されたような）の検出に基づくが、この場合も多くの画像はそのような素材を含んでいない。さらに、画像内の線と消失点の構造が画像の形式と向きを決定するのに役立つことが示されている（特許文献７）。

米国特許第５，６４２，４４３号 米国特許第４，８７０，６９４号 米国特許第６，０１１，５８５号 米国特許第７，２１５，８２８号 米国特許第６，９４０，５４５号 米国特許第６，５１２，８４６号 米国特許第６，５９１，００５号

上述の特徴のすべてを検討しても、求める物体を画像が含まないか、あるいは物体ディテクタ（ｄｅｔｅｃｔｏｒ，検出器）が不正確なために、適切に方向付けされない画像がまだ多数ある。走査した写真プリントの向きを決定する問題をさらに複雑にするのは、多くのプリントが色情報を含まないことであり、これが、空や他の素材の検出を複雑にし、精度を低下させる。

この問題すなわち画像を適切に方向付けすることの他に、走査画像を含む画像コレクションを整理し検索するには、画像の画像取得日を知ることが役立つ。

本発明の目的は、走査したハードコピー媒体の画像の向きまたは画像取得日を正確に評価するための改善された方法を提供することである。この目的は、走査ハードコピー媒体の画像取得日を決定するための方法によって達成され、その方法は、
（ａ）少なくとも１つのインデックス・プリントを含むハードコピー媒体を走査して、走査デジタル画像を作成する段階と、
（ｂ）走査デジタル画像の中から１つまたは複数のインデックス・プリントを検出する段階と、
（ｃ）１つまたは複数のインデックス・プリント内に含まれるサムネイル画像を識別する段階と、
（ｄ）各インデックス・プリントの画像取得日を決定し、その画像取得日をそのインデックス・プリント内に含まれるサムネイル画像と関連付ける段階と、
（ｅ）走査デジタル画像を、１つまたは複数のインデックス・プリントからのサムネイル画像と照合する段階と、
（ｆ）サムネイル画像からの日付を、サムネイル画像に一致する走査デジタル画像と関連付ける段階と、
（ｇ）日付を、サムネイル画像に一致する走査デジタル画像と関連付けて記憶する段階とを含む。

画像担持ハードコピー媒体から得られた物理的特性を使用してハードコピー媒体画像をソートするシステムを示す図である。 写真集、アーカイブＣＤ、オンライン写真アルバムなどの他のタイプのハードコピー媒体コレクションを示す図である。 画像処理日を含むインク印刷写真現像プロセス適用スタンプを含むハードコピー媒体画像の画像面と非画像面を示す図である。 ハードコピー媒体画像の表面から動的に抽出された記録メタデータを示す図である。 ハードコピー媒体の画像面と非画像面および記録メタデータの組み合わせから動的に導出されたメタデータの図である。 動的に導出されたメタデータのサンプル値を示す図である。 完全なメタデータ表現となる記録メタデータと導出メタデータの組み合わせを示す図である。 記録メタデータ、導出メタデータおよび完全メタデータ表現を作成するための一連の操作を示すフローチャートである。 記録メタデータ、導出メタデータおよび完全メタデータ表現を作成するための一連の操作を示すフローチャートである。 走査画像コレクションからのデジタル画像の画像取得日および向きと関連したメタデータの自動作成を示すフローチャートである。 ハードコピー媒体の説明的な画像面の図である。 画像内の人の身元と人の関連年齢を示す手書きテキスト注釈を含むハードコピー媒体の説明的な非画像面の図である。 画像とテキスト注釈が類似の向きを有する場合の、画像内の人の身元と画像取得日とを示す手書き注釈を含むハードコピー媒体の説明的な画像面の図である。 画像とテキスト注釈が異なる向きを有する場合の、画像内の人の身元と画像取得日を示す手書き注釈を含むハードコピー媒体の説明的な画像面の図である。 ガートルードとペイトンのファーストネームについて誕生年の可能性を示す図である。 １８８０年〜２００６年の各年ごとのガートルードとペイトンのファーストネームを持つ人の相対数を示す図である。 無作為な向きで走査されたテキスト注釈を有する説明的な１組の画像の図である。 テキスト注釈の向きに基づいて位置合わされた画像の図である。 画像を適切な向きに位置決めするために画像変換の適用により生じる画像を示す図である。 余白に印刷された日付を含む説明的な画像を示す図である。 余白に印刷された日付を含む説明的な画像を示す図である。 説明的なインデックス・プリントを示す図である。 インスタント・カメラからの説明的なプリントを示す図である。

本発明は、添付図面に関連した以下の本発明の種々の実施形態の詳細な説明を検討することにより完全に理解することができる。次に、全体を通して類似の参照番号が対応する部分を表す以下の図面を参照する。

図１は、画像担持ハードコピー媒体から得た物理的特性を使用してハードコピー媒体画像をソートする１つの技法を示す。ハードコピー媒体コレクションには、たとえば、光学的にデジタル形式で露光された写真プリント、感熱プリント、電気写真プリント、インクジェット・プリント、スライド、フィルム・モーション・キャプチャ、およびネガがある。これらのハードコピー媒体は、多くの場合、カメラ、センサ、スキャナなどの画像取得装置によって取得された画像と一致する。時間の経過とともに、ハードコピー媒体コレクションは増加し、様々な形態と形式の媒体が、箱、アルバム、ファイル・キャビネットなどの消費者が選択した種々の記憶技術に追加される。一部のユーザは、写真プリント、インデックス・プリントおよび個別のフィルム・ロールからのネガフィルムを、自分専用の写真現像返却用封筒内に保持する。他のユーザは、プリントを取り出し、そのプリントをインデックス・プリントとネガフィルムから分け、また他のロールからのプリントと組み合わせる。

これらのコレクションは、時間の経過とともに大きくなり扱いにくくなる。ユーザは、一般に、そのようなコレクションを箱に保管するので、特定のイベントまたは期間からの画像を探し集めることは難しい。これは、画像のソート基準がある場合に、ユーザがその画像を探すのに膨大な時間投資を必要とすることがある。たとえば、子どもたちのすべての画像を探す場合は、コレクションを手作業で調べ、各画像を見て画像が子どもを含むかどうかを判定することはきわめて困難である。１９７０年代からの画像を探す場合も、画像（前面または後面）を見て撮影された年を求めることは極めて難しいプロセスである。

ハードコピー媒体１０のこれらの未整理コレクションは、また、種々のサイズと形式の印刷媒体も含む。この未整理ハードコピー媒体１０は、二重走査（図示せず）が可能な媒体スキャナによりデジタル形式に変換することができる。ハードコピー媒体１０が、プリントが靴箱内に入った状態のような「バラバラの形態」で提供された場合は、自動プリント供給駆動システム付きのスキャナを使用することが好ましい。ハードコピー媒体１０が、アルバムまたはフレームで提供された場合は、ハードコピー媒体１０を乱したり場合によって破損したりしないように、ページ・スキャナまたはデジタル・コピー・スタンドを使用すべきである。

デジタル処理した後で得られたデジタル処理画像は、スキャナによって記録された画像データから決定された物理的サイズと形式に基づいて、指定されたサブグループ２０、３０、４０、５０に分けられる。ＫＯＤＡＫ ｉ６００シリーズ・ドキュメント・スキャナなどの既存の媒体スキャナは、ハードコピー媒体を自動的に搬送し二重走査し、自動デスキューイング（ｄｅ−ｓｋｅｗｉｎｇ）、クロッピング、補正、テキスト検出および光学式文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）を提供する画像処理ソフトウェアを含む。第１のサブグループ２０は、縁有り３．５インチ×３．５インチ（８．８９ｃｍ×８．８９ｃｍ）プリントの画像となる。第２のサブグループ３０は、丸角縁無し３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）プリントの画像となる。第３のサブグループ４０は、縁有り３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）プリントの画像となる。第４のサブグループ５０は、縁無し４インチ×６インチ（１０．１６ｃｍ×１５．２４ｃｍ）プリントの画像となる。この新しい整理構造（ｏｒｇａｎｉｚａｔｉｏｎａｌ ｓｔｒｕｃｔｕｒｅ）の場合でも、顧客から提供された画像のグループ分けまたは順序が、ソート基準として維持される。各グループ（封筒でも束でも箱でも）は、走査され「受け取ったとおりである」グループの要素としてタグ付けされなければならず、またグループ内の順序が記録されなければならない。

図２は、写真集、アーカイブＣＤ、オンライン・アルバムなどの他のタイプのハードコピー媒体コレクションを示す。写真集６０は、ユーザによって選択された様々なレイアウトを使用して印刷されたハードコピー媒体を含む。レイアウトは、日付によるものでもよく、イベントによるものでもよい。別のタイプのハードコピー媒体コレクションは、様々な形式でＣＤ上に記憶された画像を有する写真ＣＤ７０である。これらの画像は、日付、イベント、またはユーザが適用できる他の任意の基準によってソートされてもよい。別のタイプのハードコピー媒体コレクションは、画像８０のオンライン・ギャラリであり、オンライン・ギャラリは、一般に、オンライン（インターネット利用）またはオフライン（ローカル・ストレージ）で記憶される。図２のすべてのコレクションは類似しているが、格納の仕組みが異なる。たとえば、写真集６０は印刷ページを含み、写真ＣＤ７０はＣＤに情報を記憶し、画像８０のオンライン・ギャラリは磁気記憶装置に記憶される。

図３は、画像面と非画像面の両方を有するハードコピー画像媒体の例を示す図である。写真印刷媒体９０は、即時に記録することができる情報（たとえば、サイズ、縦横比）と、導出することができる情報（たとえば、白黒かカラーか、縁）を含む。この情報は、印刷媒体９０のメタデータとして収集し、印刷媒体９０と共に記憶することができる。このメタデータは、ユーザが特定のイベント、期間、またはいくつかの基準を満たすプリント・グループを探すために使用される動的デジタル・メタデータ・レコードなど、あるタイプの整理構造に構成することができる印刷媒体９０に関する固有情報を含む。たとえば、ユーザは、退色反転（ｄｙｅ ｆａｄｅ ｒｅｖｅｒｓａｌ）処理を適用してプリントを回復させるために、１９６０年代と１９７０年代のユーザのプリントのすべてを集めたい場合がある。ユーザは、自分の結婚式や他の特別のイベントのすべての写真を欲しい場合がある。プリントが、このメタデータをデジタル形式で含む場合は、情報をそのような目的に使用することができる。

この動的デジタル・メタデータ・レコードは、画像コレクションのサイズと時間枠が大きくなるほど重要になる整理構造である。ハードコピー画像コレクションが、数千の画像を含む大きなもので、デジタル形式に変換された場合、実用性を確立するために、ファイル構造、検索可能なデータベース、ナビゲーション・インタフェースなどの整理構造が必要とされる。

写真印刷媒体９０などは、画像面９１と非画像面１００を有し、しばしば印刷媒体９０の非画像面１００に製造業者の透かし１０２を有する。印刷媒体９０の製造業者は、媒体の「マスタ・ロール」上に透かし１０２を印刷し、このマスタ・ロールは、キオスク、写真現像所、デジタル・プリンタなどの写真処理装置で使用するのに適したより小さなロールに分割または切断される。製造業者は、新しい特性、特徴およびブランド標示を有する新しい媒体タイプを市場に導入するときに時々透かし１０２を変更する。透かし１０２は、特別の写真現像処理およびサービスを指定しまた海外市場で販売するために外国語翻訳など市場固有の特徴を採り入れるために、製造業者広告支援などの宣伝活動に使用される。透かし１０２は、一般的に、印刷媒体９０の非画像面１００上に低い濃さで非写真的に印刷され、また様々なフォントの文字、図形、ロゴ、色の変化、多色を含むことができ、また一般的には媒体ロールおよびカット・プリント形状に対して斜めに延在することができる。

製造業者は、また、マスタ・ロール透かしに対し、英数字透かしの場合に指定文字の上または下に線を加えるような、僅かな変形を含める。この符号化技術は、ユーザには明白でも明らかでもないが、製造業者によって製造工程制御を監視するか欠陥が検出された場合に製造工程の問題の位置を識別するために使用される。様々な変形が、マスタ媒体ロールを横切る設定位置に印刷される。仕上がったロールは、マスタ・ロールから切断されたとき、適用される特定の符号化透かし変形物をマスタ・ロールに沿った相対位置に保持する。さらに、製造業者は、様々な透かし方式、符号化方法、および特定の透かし方式が市場に投入されたときの記録を保持する。

実際の消費者ハードコピー媒体を検査すると、特殊なプロセス制御符号化による製造業者透かしを含む透かし変形物が、元のフィルム・ロール印刷グループ化を決定するのにきわめて有効な方法を提供したことが分かった。ハードコピー媒体画像を元のロール印刷グループに分けた後で、画像分析技術を使用してロール・グループを個々のイベントにさらに分けることができる。透かし分析を使用して、印刷順序、印刷画像の向きおよびプリントが生成された時間枠を決定することができる。

フィルム・ロールの処理や印刷などの一般的な写真仕上げ順序は、ほとんどの環境では、同一仕上げ媒体ロールから媒体上に印刷される。媒体ロールが、製造業者の変形コードを有する透かしを含み、ネガフィルム・ロールの印刷に使用される場合、できたプリントは、ユーザのハードコピー媒体コレクション内で唯一の透かしを有する可能性が高い。この例外は、長期休暇または大きなイベントの終わりに処理されたフィルムのような、ユーザが何本かのフィルム・ロールを同じ写真現像業者に同時に印刷させた場合のことがある。しかしながら、写真現像業者が、特定の顧客の注文の印刷中に新しい印刷用紙ロールを始めなければならない場合でも、新しいロールが最初と同じバッチからのものになる可能性が高い。そうでない場合でも、休暇などのイベントを、異なるバック・プリントに基づいて２つのグループに分けることは失敗ではない。

媒体製造業者は、独特の透かし１０２の有する新しい媒体タイプを継続的に市場に投入する。デジタル画像走査システム（図示せず）は、そのような透かし１０２をデジタル・レコードに変換することができ、このデジタル・レコードは、光学式文字認識（ＯＣＲ）またはデジタル・パターン・マッチング技術を使用して分析することができる。この分析は、デジタル・レコードが媒体製造業者から提供されるルックアップテーブル（ＬＵＴ）と比較できるように、透かし１０２を識別することが目的である。識別した後で、走査した透かし１０２を使用して、印刷媒体の製作日または販売日を提供することができる。この日付は、動的デジタル・メタデータ・レコードに記憶されてもよい。ハードコピー媒体９０の画像面９１から得た画像には、カメラ日付バックからの印などの日付記号９２が提供されているときがあり、この日付記号９２を使用して、ユーザによる介在なしに走査ハードコピー媒体画像９６の時間枠を定めることができる。

ハードコピー媒体９０が、認識されていない透かし様式を有する場合、その透かしパターンは、動的デジタル・メタデータ・レコードにメタデータとして記録されて記憶され、後でソートのために使用される。写真現像業者またはユーザが適用したイベント、時間枠、場所、被写体識別などを示す日付や他の情報が検出された場合、その情報は、ＬＵＴに反映され、それ以前に識別されていない透かしを含む後の画像の年代順配列や他の整理構造を確立するために使用されることになる。ユーザまたは写真現像業者が適用した日付がそのハードコピー媒体９０上に見つかった場合、その日付をＬＵＴに追加することができる。この未知の透かし様式に遭遇したときは、自動更新されたＬＵＴは、次に、この新しい関連付けられた日付を使用することができる。この技術を採用して、数十年間に亘る可能性のあるハードコピー画像コレクションの相対的な年代順配列を確立することができる。

別の技術は、ハードコピー媒体９０の物理的形式特性を使用し、それを、物理的形式特性を作成するために使用されたフィルム・システムと、そのようなフィルム・システムが一般的に使用された時間枠に関連付ける。そのような形式および関連特性の例には、３．５インチ×３．５インチ（８．８９ｃｍ×８．８９ｃｍ）プリントを作成し１２、２０および２４フレームのロール・サイズで提供された１９６３年に発表されたＩＮＳＴＡＭＡＴＩＣ（Ｅａｓｔｍａｎ Ｋｏｄａｋ Ｃｏｍｐａｎｙの商標）カメラと１２６フィルム・カートリッジがある。

Ｋｏｄａｋ Ｉｎｓｔａｍａｔｉｃカメラ１１０フィルム・カートリッジは、１９７２年に発表され、３．５インチ×５インチ（８．８９ｃｍ×１２．７ｃｍ）プリントを作成し、１２、２０および２４フレームのロール・サイズで提供された。Ｋｏｄａｋ ＤｉｓｃカメラとＫｏｄａｋ Ｄｉｓｃフィルム・カートリッジは、１９８２年に発表され、ディスク１枚当たり１５枚の画像を含む３．５インチ×４．５インチ（８．８９ｃｍ×１１．４３ｃｍ）プリントを作成した。Ｋｏｄａｋ、Ｆｕｊｉ、Ｃａｎｏｎ、ＭｉｎｏｌｔａおよびＮｉｋｏｎは、１９９６年に新写真システム（Ａｄｖａｎｃｅｄ Ｐｈｏｔｏ Ｓｙｓｔｅｍ，ＡＰＳ）を発表した。このカメラおよびフィルム・システムは、４インチ×６インチ、４インチ×７インチおよび４インチ×１１インチ（１０．１６ｃｍ×１５．２４ｃｍ、１０．１６×１７．７８ｃｍ、１０．１６×２７．９４ｃｍ）のサイズのプリントを作成するＣｌａｓｓｉｃ、ＨＤＴＶおよびＰａｎを含むユーザ選択可能な複数形式の機能を備えていた。フィルム・ロール・サイズは、１５、２５および４０フレームで提供され、フィルムに記録されたすべての画像のイマジェット（ｉｍａｇｅｔｔｅ（仏語）；サムネイル画像）を含むインデックス・プリントが、システムの標準機能であった。

ＡＰＳシステムは、製造業者、カメラおよび写真現像システムが、フィルム上に被覆された透明磁気層上に情報を記録することを可能にする日付交換システムを有する。このデータ交換の一例は、カメラが、フィルムの磁気層に露出時間とユーザが選択した形式を記録し、それを写真現像システムが読み取り使用して、プリントを所望の形式で作成し、露出時間、フレーム番号およびフィルム・ロール識別番号をプリントの後面とデジタル印刷されたインデックス・プリントの前面に記録できることであった。３５ｍｍ写真は、１９２０年代以後様々な形態で提供され、「レンズ付きフィルム」の形で現在まで人気を維持してきた。３５ｍｍシステムは、一般的には、３．５インチ（８．８９ｃｍ）×５インチ（１２．７ｃｍ）または４インチ（１０．１６ｃｍ）×６インチ（１５．２４ｃｍ）を作成する。プリントとロール・サイズは、１２、２４および３６のフレーム・サイズで提供される。「レンズ付きカメラ」は、フィルムが「逆巻き」であるという独特の特徴を有し、これは、写真が撮影されるときにフィルムがフィルム・カセットに巻き戻され、印刷順序が通常の順序と逆になることを意味する。物理的形式、予想フレーム数、画像システム時間枠などの特性をすべて使用して、走査ハードコピー媒体を有意義なイベント、時間枠および順序に整理することができる。

従来の写真と同じように、インスタント写真システムもまた時間の経過と共に変化し、たとえば、１９７０年代にはインスタント・フィルムＳＸ−７０形式が発表され、１９９０年代にはスペクトル・システム、Ｃａｐｔｉｖａ、Ｉゾーン・システムが発表され、各システムは、固有のプリント・サイズ、形状および縁構造を有していた。

正方形フォーマットを有するカメラの場合、撮影者にはカメラを回転させる動機がほとんどなかった。しかしながら、長方形ハードコピー・プリントを作成する画像取得装置の場合、撮影者は、時により、画像取得装置を光学軸のまわりに９０度回転させて、ランドスケープ形式画像（すなわち、取得される画像の幅が高さより大きい）ではなくポートレート形式画像（すなわち、幅より高さが大きいビルディングのような物体を取得するために、取得される画像の高さが幅より大きい）を取得する。

図３には、前述の特性のうちのいくつかが示される。ハードコピー画像媒体９０の画像面９１が示される。画像面９１は、縁９４に印刷された日付記号９２を示す。画像面９１の中央には、ハードコピー媒体９０の実画像データ９６がある。一実施形態では、非画像面１００は、透かし１０２を表示する一般構成を有する。この実施形態では、均一に離間されたテキストまたは図形の列が、ハードコピー画像媒体の裏面を対角線方向に延在し、透かし１０２を表現している。この実施形態では、透かし１０２は、繰り返し文字「Ａｃｍｅ Ｐｈｏｔｏｐａｐｅｒ」を有する。

図４は、ハードコピー媒体９０から動的に抽出された記録メタデータ１１０を示す。ハードコピー媒体９０の高さ、幅、縦横比および向き（ポートレート／ランドスケープ）は、ハードコピー媒体９０の画像面と非画像面から、導出計算なしに、素早く動的に抽出し記録することができる。記録メタデータ１１０に関連するフィールド１１１の数は、ハードコピー媒体９０の形式、時間期間、写真現像、製造業者、透かし、形状、サイズ、その他の特徴的印などのハードコピー媒体９０の特徴（これらに限定されない）により変化する可能性がある。したがって、記録メタデータ１１０は、動的に取得され、その後で動的デジタル・メタデータ・レコードに記憶される。記録メタデータ・フィールド１１１のサンプル値１２０は、記録メタデータ１１０の隣に示されている。

図５は、ハードコピー媒体１３０の画像面と非画像面および記録メタデータ１４０の組み合わせから動的に導出されたメタデータ１５０の図である。ハードコピー媒体１３０の画像面と非画像面は、様々な方法を使用して分析され、得られたデータが、動的に記録されたメタデータ１４０と結合されて、動的に導出されたメタデータ１５０が生成される。導出メタデータ１５０は、動的に導出されたメタデータ１５０を構成するメタデータ・フィールド１５１の値を決定するいくつかの分析アルゴリズムを必要とする。分析アルゴリズムは、縁ディテクタ、白黒カラー・ディテクタおよび向きディテクタを含むがこれらに限定されない。導出メタデータ１５０に関連するメタデータ・フィールド１５１の数は、アルゴリズムの結果、ハードコピー媒体の特性、ならびに後の段落で述べるように人間的または機械的技術によって提供される追加の情報の結果（これらに限定されない）に大きく依存することがある。したがって、導出メタデータ１５０は、動的に取得され、その後で動的デジタル・メタデータ・レコードに記憶される。

図６は、動的に導出されたメタデータ１６０のサンプル値１７０を示す。導出メタデータ１６０は、色、縁、縁濃さ、日付、分類、回転、注釈、注釈ビットマップ、著作権状態、縁様式、インデックス・プリント導出シーケンス、またはインデックス・プリント導出イベントのサンプル値１６１を含む。しかしながら、導出メタデータ１６０は、これらのフィールドに限定されず、少なくとも、アルゴリズムの結果、ハードコピー媒体の特性、ならびに特定の期間、イベントと関連した後の関連情報、関連イベント、個人データ、カメラ速度、温度、天候または地理的位置などの人間的または機械的技術によって提供される任意の追加情報により、任意の適切なフィールドを動的に作成することができる。

図７は、動的に記録されたメタデータ１８０と動的に導出されたメタデータ１９０の組み合わせを示す。この組み合わせにより、ハードコピー媒体用の動的デジタル・メタデータ・レコード２００と呼ばれる完全なメタデータ記録ができる。完全なメタデータ・レコード２００は、動的デジタル・メタデータ・レコードと呼ばれ、デジタル化されたハードコピー媒体に関するすべての情報を含む。１つまたは複数の完全なメタデータ・レコード２００が照会されて、様々な検索基準に応じて、少なくとも、関連付けられた画像をグループ化し、互いに関連付けることができる。

たとえば、すべてのハードコピー媒体品が走査され、関連する完全なメタデータ・レコード２００が作成された後で、高度な検索照会を構築してハードコピー媒体を様々な創造的な方法で整理することができる。これにより、大量のハードコピー媒体画像をデジタル形式に素早く変換することができ、画像のメタデータを完全に表現するために動的にデジタル・メタデータ・レコード２００が作成される。次に、この動的デジタル・メタデータ・レコード２００を、デジタル化ハードコピー画像の整理、方向付け、回復、アーカイブ、表現および強化などのデジタル化ハードコピー画像の操作（これらに限定されない）に使用することができる。

図８Ａと図８Ｂは、記録され導出された完全なメタデータ表現を作成するための操作シーケンスを示すフローチャートである。ハードコピー媒体は、写真現像封筒内のプリント、靴箱内のプリント、アルバム内のプリント、フレーム内のプリントの形の入力様式のうちの１つまたは複数を含むことができる。しかしながら、この実施形態は上記の様式に限定されず、他の適切な様式を使用することもできる。

次に図８Ａと図８Ｂを参照して、本発明によるシステムの操作の詳細を説明する。図８Ａと図８Ｂは、ハードコピー画像の走査と完全なメタデータの作成のための一連の操作を示すフローチャートの図形描写である。ハードコピー媒体は、写真現像封筒内のプリント、靴箱内のプリント、アルバム内のプリント、フレーム内のプリントなどの形式の入力様式のいずれかまたはすべてを含むことができる。

ハードコピー媒体は、受け取った任意の順序でスキャナによって走査することができる。媒体を準備し（２１０）、媒体の前面と後面を走査する（２１５）。スキャナは、記録されたメタデータ情報を抽出する（２２０）ために使用できる情報を画像ファイル内に作成する。カラー／白黒アルゴリズム（２２５）を使用することにより、決定点が作成され（２３０）、適切なカラー・マップ（非肌色、すなわち白黒）２３５または（肌色）２４０が、画像内の顔（これに限定されない）を見つけるために使用される。マップが顔ディテクタによって０、９０、１８０、２７０度の向きで回転された場合に、画像の向きを決定することができ、回転角（向き）が記録される（２４５）。向きは、書き込まれる前に画像を自動的に回転させるために使用される（ＣＤ／ＤＶＤへの書き込み前または１つまたは複数の画像を表示装置に表示する前に有効）。

縁ディテクタ２５０を使用することにより、縁２５５が検出された場合に決定点が作成される。縁が検出された場合、縁近くの画像のエッジを調べることによって最小濃さ（Ｄｍｉｎ）２６０を計算することができる。縁の最小濃さを計算した後、結果が導出メタデータに記録される（２６５）。縁内に書き込まれたテキスト情報／注釈を抽出することができる（２７０）。ＯＣＲを使用して、抽出したテキスト情報をＡＳＣＩＩコードに変換して検索を容易にすることができる。縁注釈は、導出メタデータに記録される（２９０）。縁注釈ビットマップは、導出メタデータに記録されてもよい（２９２）。スカラップ形（scalloped）、直線、丸み付きなどの縁様式が検出され（２９４）、導出メタデータに記録される（２９６）。画像がインデックス・プリント２７５である場合、インデックス・プリント番号などの情報を検出し（２８０）、記録することができる（２８２）。また、インデックス・プリント・イベントを検出し（２８４）、記録することもできる（２８６）。画像がインデックス・プリント２７５でない場合、共通イベント分類などの情報を検出し（２７７）、記録することができる（２７９）。共通イベント分類は、同じイベントまたは類似の内容を有する画像グループからの１つまたは複数の画像である。たとえば、共通イベント分類は、釣行、誕生パーティー、または１年もしくは何年にもわたる休暇から生じる１つまたは複数の画像でよい。完全なメタデータ２９８（すなわち、デジタル動的メタデータ・レコード）は、記録され導出されたメタデータを組み合わせることによって作成される。

画像変換決定段階５０６で、導出メタデータ２９８を使用して画像変換５１０を生成し、画像変換適用ブロック５１４で、画像変換５１０が適用される。画像変換５１０は、画像の画素値を再調整または修正する操作（ソフトウェアまたはハードウェアによって実行される）である。この実施形態では、画像変換決定段階５０６は、印刷媒体９０の非画像面１００を走査することによって最初に導出された導出メタデータ情報２９８を使用して、画像変換５１０を決定する。たとえば、画像変換５１０は、画像回転でよく、それにより、図９で決定された画像の向き２１６にしたがって画像の向きが修正され、回転された走査デジタル画像が生成される。

画像変換決定段階５０６は、また、同じイベント分類からの他の画像と関連付けられた導出メタデータ２９８を使用して、画像変換５１０を決定してもよい。これは、前述のように、イベント分類が、透かし１０２を使用して検出され（２７７）、記録される（２７９）からである。さらにまた、画像変換決定段階５０６は、画像と同一イベント分類からの他の画像からの画像情報（すなわち、画素値）を使用して画像変換５１０を決定することができる。画像変換を適用した後で、改善された回転走査デジタル画像を、任意のプリンタで印刷するか、出力装置に表示するか、遠隔地に伝送するか、またはコンピュータ・ネットワークを介して伝送することができる。伝送は、インターネットを介してアクセス可能なサーバに変換画像を置くか、変換画像を電子メールで送信することを含むことができる。さらに、人間のオペレータが、オペレータ入力５０７を提供して、画像変換５１０の適用により利益が提供されることを確認することができる。たとえば、人間のオペレータは、画像に適用された画像変換５１０のプレビューを見て、画像変換の適用を「取り消す」か「継続する」か、を決定することができる。さらに、人間のオペレータは、新しい画像変換を提案する（たとえば、画像の向きの場合は、人間のオペレータがオペレータ入力５０７によって反時計回り、時計回り、または１８０度回転を指示する）ことによって画像変換５１０を無効にすることができる。

たとえば、画像変換５１０を使用して、画像の向きを、その画像と関連した導出メタデータと、同じイベント分類からの他の画像と関連付けられた導出メタデータとに基づいて修正することができる。画像の向きは、撮影者の視点から、画像の長方形の４辺のうちのどの辺が「上」であるかを示す。適切な向きを有する画像は、長方形の正しい辺が「上」の状態で表示されるものである。

図９には、走査した写真プリントの向きを決定するための本発明の方法が示される。ハードコピー媒体１０のコレクションが、スキャナ２０１によって走査される。スキャナ２０１は、各写真プリントの画像面（走査デジタル画像を作成する）と非画像面の両方を走査することが好ましい。これらの走査の集まりは、デジタル画像コレクション２０３を構成する。

走査デジタル画像または各画像の非画像面の走査に基づいてテキストを検出するためにテキスト・ディテクタ２０５が使用される。たとえば、テキストは、米国特許第７，１７７，４７２号に記載されている方法により見つけることができる。本発明では、主に手書き注釈と機械注釈の２つのタイプを対象とする。

手書き注釈は、写真の場所、写真内の人（および、時にはその人の年齢）および写真の日付をしばしば示す豊富な情報を含む。さらに、多くの人はプリントの特定の場所に注釈を記入し、それは画像の向きの優れた指標になる。

テキスト特徴エクストラクタ２１１は、テキストの位置、テキストが写真プリントの画像面にあるか非画像面にあるか、およびテキストの向きと関連した特徴を抽出する。テキストの向きは、米国特許第６，９９３，２０５号のような方法によって容易に求められる。

ほとんどの手書き注釈は、注釈がプリントと同じ向きを有するように写真プリントに配置されることが分かっている。（試験サンプルでは、これは、注釈付き写真プリントの約８０〜９０％に当てはまった。）たとえば、図１０Ａでは、写真プリント６２０は適正な向きで表示されている。図１０Ｂは、プリント６２０の非画像面６２２（プリント６２０をその縦軸を回転軸としてひっくり返すことにより示される）が、プリントの被写体の名前と年齢を示すと認められる注釈６２６「ハンナ（Ｈａｎｎａｈ）５ ジョーナ（Ｊｏｎａｈ）３」を有することを示す。図９のテキスト特徴エクストラクタ２１１によって注釈が分析されたときに、特徴が抽出される。特徴は、注釈の場所、注釈のサイズ（たとえば、特定の小文字の高さ）と長さ、注釈内の認識された文字、注釈の向き、および注釈の筆者を認識するのに役立つ特徴と関係する。詳細には、図１０Ａと図１０Ｂに示された例では、向きディテクタ２１６は、注釈がハードコピー媒体の非画像面にある場合でも、手書きテキストの向き（テキスト特徴エクストラクタ２１１によって導出された特徴）が通常は画像の向きと相関するので、写真プリント６２０に対応する走査デジタル画像が正しい向きであることを決定する。

別の例として、図１０Ｃには、写真プリント６２４の画像面の手書き注釈６２８を示す。この場合も、テキスト特徴エクストラクタ２１１と、図９の向きディテクタ２１６が、写真プリント６２４に対応する走査デジタル画像が正しい向きであることを決定する。

すべての注釈が画像と共通の向きを共有するとは限らない。たとえば、注釈６３２が写真プリント６３０と異なる向きを有する図１０Ｄを参照されたい。表面的には、この画像の向きの分類間違いは、注釈の向きだけを考慮する場合に起こると思われる（何故ならば、前述のように、ほとんどの写真プリントは手書き注釈と共通の向きを共有するので）。しかしながら、本発明は、注釈の筆者ごとに注釈の向きと写真プリントの向きの関係を学習することできる。ほとんどの筆者（写真ラベル貼機）は、たとえば、写真プリントの左側正面側に常に注釈を書き込むように、一貫した方法で注釈を加える。図９を再び参照すると、筆者アイデンティフィア（ｉｄｅｎｔｉｆｉｅｒ，識別器）２０７は、テキスト・ディテクタ２０５によって発見された注釈の筆者の身元（ｉｄｅｎｔｉｔｙ）を決定する。手書きサンプルの著者を自動的に識別するかまたは２つの手書きサンプルが同じ著者を有することを判定する技術は、Ｃ．トマイ（Ｃ．Ｔｏｍａｉ）、Ｂ．チャン（Ｂ．Ｚｈａｎｇ）およびＳ．Ｎ．シハリ（Ｓ．Ｎ．Ｓｒｉｈａｒｉ）による“Ｄｉｓｃｒｉｍｉｎａｔｏｒｙ ｐｏｗｅｒ ｏｆ ｈａｎｄｗｒｉｔｔｅｎ ｗｏｒｄｓ ｆｏｒ ｗｒｉｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ，” Ｐｒｏｃ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＩＣＰＲ ２００４）， Ｃａｍｂｒｉｄｇｅ， Ｅｎｇｌａｎｄ， Ａｕｇｕｓｔ ２００４， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｐｒｅｓｓ， ｖｏｌ．２， ｐｐ．６３８−６４１に記載されている。たとえば図１１Ａに示されたように、多数のハードコピー媒体１０を走査したときに、同じ著者が注釈を記入した注釈付き画像グループがあることが多い。３つの画像６４２、６４４、６４６が示される。筆者アイデンティフィア２０７は、これらの３つの画像が同じ筆者からの注釈６４８、６５０、６５２を有すると決定する。

本発明の一実施形態では、同じ筆者による注釈を有する画像はすべて、１つのグループとして方向付けされる。最初に、図１１Ｂに示されたように、画像は、画像の向きを合わせるように回転される。この時点で、画像６４２、６４４、６４６はすべて、筆者が写真プリントに一貫したやり方で注釈を付けているので（すなわち、印刷縁の左縁に）、共通の相対向きを有する。この図が単に例示のためであり、たとえば効率を高めたい場合は、ソフトウェアが、画像を実際に回転させることなく注釈の向きを常時把握できることに注意されたい。

図９の向きディテクタ２１６で画像画素データと導出メタデータを分析することにより、同じ筆者によって注釈付けされるように決定される画像の向きと、各画像を適切に方向付けする画像変換が決定される。操作において、アルゴリズムは、最初に、同じ筆者によって注釈付けされた画像グループ内のすべての画像のデフォルトの向きを決定する。この段階には、参照により本明細書に組み込まれたグッドウィンらの特許文献１に開示されたようなアルゴリズムが有効である。デフォルトの向きを決定するために、顔（特許文献５を参照）などの他の特徴形状または特許文献７に開示されたような消失点も使用される。方向付けされた対象に関連付けられた多くのタイプの特徴は、たとえば特許文献４に記載されたようなベイジアン・ネットワークなどの十分に確立された方法により確率的に容易に組み合わせることができる。図１１Ｃは、顔ディテクタを使用して向きを確立した後で１人の筆者によって注釈付けされたすべての画像６４２、６４４、６４６を示す。顔ディテクタは、画像６４２および６４４内に顔を見つける。したがって、高い可能性で、注釈が、画像の左前の縁にあることが分かる。画像６４６の場合、画像自体から導出された特徴は、画像の向きを確実には決定しない。したがって、注釈６５２に対する画像６４６の向きが、同じ筆者によって注釈付けされた他のプリントの向きと類似している可能性が高いことを考慮しつつ、注釈６５２の位置と向きを用いて、写真プリントの最も可能性の高い向きを決定する。

筆者の注釈と写真プリントの向きの関係は、図９の筆者向きプロファイル２１８として学習され記憶される。このプロファイルが分かった後で、追加の写真プリントを走査し、筆者アイデンティフィア２０７が、プリントが特定の筆者による注釈を含むと決定したときは、対応する筆者向きプロファイル２１８が、向きディテクタ２１６によって使用されて写真プリントの可能性の高い向きを決定する。たとえば、筆者ポール（Paul）の場合、筆者向きプロファイル２１８は、次のものを含む。
関係 出現
左前縁に注釈 ２７
上前縁に注釈 ６

次に、ポールによる注釈を含む別のプリントが見つけられたとき、プリントの向きは、プリントの左前側に注釈があるようなものであることを予想することになる（画像自体からの証拠を考慮せずに）。そのような表は、注釈の筆者ごとに維持される。

要約すると、筆者アイデンティフィア２０７は、写真プリント内の注釈の筆者を識別するために使用される。この情報は、テキスト特徴エクストラクタ２１１によって注釈について記述する抽出された特徴と共に使用されて、写真プリントの可能性の高い向きが決定される。

図９を再び参照すると、テキスト・ディテクタ２０５は、機械印刷されたテキストも検出する。写真プリントが、たとえば次の機械印刷テキストを含むことは一般的である。
（ａ）画像日付刻印。これは、プリントの画像面に印刷されても非画像面に印刷されてもよい。刻印は、縁の上でもよく画像自体の中でもよい。
（ｂ）透かし。
（ｃ）現像所が残した写真現像マーク
日付ディテクタ２１３は、テキスト・レコグナイザ２０９からの認識済みテキストを分析する。テキスト・レコグナイザ２０９は、ＯＣＲ（光学式文字認識）の名前で周知である。

認識済みテキストは、テキストを調べて日付または日付に関係する特徴を探す日付ディテクタ２１３によって分析される。日付ディテクタ２１３は、多数の特徴を用いて写真プリントの画像取得日を決定する。画像取得日が、細かくてもよく（たとえば、２００２年６月２６日１９時１５分）、大雑把でもよく（たとえば、２００５年１２月、１９７５年または１９６０年代）、あるいは時間期間にわたる連続的または離散的確率分布関数として表わされてもよいことに注意されたい。画像自体からの特徴は、画像の日付に関連した手掛かりを提供する。さらに、日付を決定するために、実際の写真プリントを示す特徴（たとえば、白黒とスカラップ形エッジ）が使用される。最後に、注釈を使用して写真プリントの日付を決定することもできる。多数の特徴が見つかったときは、ベイジアン・ネットワークまたは別の確率モデルを使用して、写真プリントの最も可能性の高い日付を調停し決定する。

写真プリントの印刷された日付と向きはしばしば関連付けられる。多くのフィルム・カメラは、フィルム上の画像の右下角隅に日付を印刷する。したがって、印刷された日付が画像の縁内に見つかったとき、その位置は、プリントの向きに関する情報を提供する。

手書き注釈を使用して写真プリントを単一筆者によって注釈付けされたグループに分類する方法と同じように、印刷された日付を使用してプリントをイベントに分類することができる。さらに、日付の位置と向きは、カメラのメーカーと型式によりプリントの向きとも関連付けられる。たとえば、１２６フォーマット・フィルムから作成された写真プリントの場合、印刷の日付は、写真プリントの前面の縁に刻印されることが多い。同じ日付注釈を有する印刷はすべて１グループである。そのようなグループ内の写真プリントはすべて、日付注釈の向きに対して同じ向きを有する（特に、１２６フォーマット・カメラからのプリントの縦横比が正方形なので、写真を撮るときに撮影者がカメラを回転させる動機はほとんどない）。

画像を分類しない場合でも、画像縁内の印刷された日付の位置と向きが、印刷の向きに関する情報を提供する。日付の向きは、「イン」か「アウト」であり、ここで、「イン」は、日付注釈を構成する文字の下部が、プリントの縁ではなくプリントの中心に近いことを意味する。図１２Ａは、日付注釈６０２が「イン」であるプリント６００の例を示し、図１２Ｂは、日付注釈６０４が「アウト」であるプリントを示す。前面縁上に印刷された日付を有する１２６フォーマット・カメラから２０枚の写真プリントのサンプリングにおいて、以下のものが観察された。

数（向き＝ｏ｜日付注釈の向き）
北 南 東 西
日付注釈「イン」 ４ ０ ０ ０
日付注釈「アウト」 ０ ０ １１ ７

方向「北」または「南」は、たとえば、画像が正しい向きで表示されたときの日付注釈の位置（上または下）を示す。これは、日付の向きがプリントの向きに関する情報を提供することを示す。このような表は、多くのフィルム形式とカメラ・タイプに関して維持され、表内の項目は、新しい印刷が走査されるときに増やされる（また、新しい画像の向きは、人間のオペレータによって提供されるか高度な確信をもって推測される）。カメラ・タイプまたはフィルム形式に関する情報が、日付の検出を支援することができまたその逆も可能であることに注意されたい。これは、日付の位置とカメラ・タイプが関連するという事実による。１つの推奨される手法は、カメラ・タイプまたはフィルム形式と日付とを一緒に同時に決定することを含む。

要するに、日付の位置と向きは、プリントの向きと関連付けられる。日付（存在する場合）の位置と向きおよびカメラのメーカーと型名を知ることによって、プリント（およびそれに対応するデジタル画像）の向きを検出する精度が改善される。

大量の写真プリントの束が走査されるとき、この束の中にインデックス・プリントが含まれることがある。インデックス・プリントは、フィルム・ロールに記録されたすべての画像のイマジェット（サムネイル画像）を含む。図１３に、イマジェット５５０、５５２、５５４、５５６、５５８および５６０を含む例示的なインデックス・プリントを示す。多くの場合、イマジェットには、並べ換えを容易にするためにインデックスまたはフレーム番号５６２がラベル付けされている。インデックス・プリントは、注文識別番号５６４と日付５６６を含む。インデックス・プリント・ディテクタ２１２は、走査された写真プリントがインデックス・プリントかどうかを検出する（図８Ｂと図９の記述を参照されたい）。インデックス・プリントが検出された場合、イマジェットは、細分され、記憶され、注文日５６６と関連付けられる。インデックス・プリントは、多くの場合、光学式文字認識（ＯＣＲ）技術によって確実かつ自動的に解釈することができるテキストで印刷された注文日５６６を有する。

いくつかのインデックス・プリントでは、イマジェットはどれも適切な向きで表示される。インデックス・プリントがフィルム・ストリップから作成されたとき、ランドスケープ形式画像の向きは概ね適正である。撮影者がカメラをポートレート形式に回転させたとき、結果として５５６や５５８などのポートレート画像が得られる。いかなる場合も、写真プリントをインデックス・プリント上のその対応するイマジェットと照合することによって、写真プリントの向きに関する多くの情報が学習される。ルオ（Ｌｕｏ）の特許文献４によれば、そのような画像（３５ｍｍフィルムの場合）の向きの事前確率は、約７０％（適正な向き）、１４％（９０度の反時計回りの回転を必要とする）、１４％（９０度の時計回りの回転を必要とする）および２％（１８０度の回転を必要とする）である。

写真プリント（たとえば、図１１Ｃからの画像６４２）を走査して走査デジタル画像を作成するとき、走査デジタル画像は、走査デジタル画像から特徴を抽出しインデックス・プリントのイマジェット（サムネイル）からサムネイル特徴を抽出する段階を含む画像を照合する標準的方法（たとえば、米国特許第６，９６１，４６３号を使用して）によって、記憶されたイマジェットと比較される。たとえば、特徴は、画像に含まれる明度のヒストグラムでよい。次に、走査デジタル画像と任意のサムネイル画像との類似性が、特徴とサムネイル特徴とを比較することによって（たとえば、距離Ｌ１、距離Ｌ２または距離χ²を有するヒストグラム間の距離を計算することによって）評価される。走査デジタル画像とサムネイル画像は、それらの類似性がしきい値を越える場合に、一致すると考えられる（たとえば、これは、特徴ヒストグラム間の距離がしきい値より小さいかどうかを決定することと似ている）。一致を見つけるために、イマジェットと比較するときに４つ（または、（長方形画像では）２つ）の可能な向きのそれぞれでデジタル画像を検討することができる。

写真プリントからのデジタル画像がイマジェットと一致することが分かったときは、デジタル画像の向きに関する情報を学習する（すなわち、対応する一致イマジェットの可能な向きに関して事前確率を突き合わせる）。これらの事前確率が、フィルムまたはカメラ形式により異なることに注意されたい。たとえば、インデックス・プリントは、向きセンサを有するデジタル・カメラからのデジタル画像の印刷注文のためにしばしば作成される。この場合、イマジェットの向きは確信をもって分かっている。

この同じ考えを使用して、写真プリントの画像取得日が確立される。写真プリントの画像取得日は、一致イマジェットを含むインデックス・プリントからの日付と同じになるように決定される。

場合によっては、フィルムまたはカメラ形式の識別が、画像の向きの決定とほぼ正確な相関関係を有することに注意されたい。たとえば、たとえば図１４に示されたようなインスタント写真の場合、写真プリント５７０内の画像領域５７２はほぼ正方形であり、したがって、カメラは、画像を取得するときに回転されることは希であった。したがって、写真プリント５７０がインスタント印刷カメラ形式によるものであることを識別することによって、縁５７４の幅広い部分は、ほとんど常にプリントの最下部にあり、これにより向きが分かる。

同じように、ディスク・フィルムの場合は、カメラに対するネガフィルムの向きが分かっている（ネガフィルムのカメラの中心に近い縁が、画像の下部である）。写真プリント５７０の非画像面の透かしの向きは、通常、写真プリント５７０の適正な向きに対応する。

さらに他の実施形態では、人が写真プリントの日付を推測するとき、画像内の対象物の存在を使用することが知られている。たとえば、画像コレクション所有者が、「３番街の裏庭にいるのが私です。私達は１９４９年にそこ引っ越したので、この写真は恐らく１９４９年以後です」と言う。多くの対象物が、画像の日付に関する具体的な手掛かりを提供することができる。たとえば、（自動車を取得した日付、またはより一般的には製造日によって）特定の自動車は、画像日付の確かなしるしである。画像が２００７年型ホンダ・オデッセイを含む場合、画像は、２００６年より前に取得された可能性はない（特定の年式の自動車は、しばしば前の暦年で入手可能である）。しかしながら、ホンダの所有者が２００８年に自動車を購入したことが分かっている場合は、自動車を含む画像は、早くても２００８年からのものでなければならない。同じことは、衣服スタイル、家具、道具、小道具など、写真の日付を知る適切な手掛かりを含む他の人工物にも該当する。

画像内にいる人は、画像の日付を定める重要な手掛かりである。たとえば、アブラハム・リンカーンの誕生と死亡がそれぞれ１８０９年と１８６５年であることが分かっているので、リンカーンの写真は１８０９年から１８６５年の間の日付でなければならないことが分かる。（当然ながら、リンカーンの最初に知られた写真が１８４０年代まで取得されていないことを考えると、この範囲を狭くすることができる。）同じように、画像内の１人または複数の人の身元がその寿命と共に分かっている場合は、およその画像取得日を定めることができる。

さらに、画像内の人の身元が、その人の年齢と誕生日と共に分かっているときは、画像取得日は、次のように求められる。
Ｄ＝Ｂ＋Ａ （１）
ここで、Ｄは画像取得日であり、Ｂは身元が分かっている人の生年月日であり、Ａは身元が分かっている人の年齢である。生年月日と年齢は、たとえば次の式により、不確実性を伴いつつ知ることができる。

ここで、
ｄは、画像取得日であり
ｙは、特定の年であり（すなわち、可能性のある画像取得日）
ｂは、身元が分かっている人の生年月日であり
ｎは、特定の年（すなわち、可能性のある誕生年）であり
ａは、身元の分かっている人の年齢であり
Ｙ１とＹ２は、可能性のある誕生年の範囲を表わす。生年月日Ｐ（ｂ＝ｎ）と年齢Ｐ（ａ＝ｙ−ｎ）に何らかの分布があると仮定すると、この式により、画像が特別の年に取得された尤度Ｐ（ｄ＝ｙ）の計算が可能になる。この式では、分布は、離散的確率分布として表わされているが、当業者は、この分布を、場合によってはパラメータ化された分布（たとえば、ある人の可能性のある誕生年の正規分布であり、この正規分布は、その人が未来に生まれる可能性をゼロにするように切り詰められるかもしれない）を使用して、連続変数として表わすことができることを理解するであろう。誕生年と年齢が、確実に分かっている場合、式（２）はデフォルトで（１）になり、ここで、Ｐ（ｄ＝ｙ）は、ｙ＝Ｂ＋Ａの場合を除くｙのすべての値に関してゼロであり、Ｐ（ｄ＝ｙ）＝１であることに注意されたい。

図９では、画像の日付を定める方法が記述される。任意の日付決定対象物を識別するために対象物ディテクタ２０８が使用される。日付決定対象物は、画像の日付を識別する（または、可能性のある日付範囲を狭める）ために使用することができる対象物である。たとえば、対象物ディテクタ２０８は、自動車のメーカーと年式、ならびに日付ディテクタ２１３による画像の妥当な日付範囲の決定に使用される消費者製品（たとえば、画像内のｉＰｏｄは、画像取得日が２００１年以降であるという情報を提供する）を識別する。人と自動車も日付決定対象物である。

画像内の人の使用に関して、寿命情報２１４が、日付ディテクタ２１３に渡される。寿命情報２１４は、画像コレクションに現われる可能性のある該当の人の生年月日または死亡日を含む。一般的に、寿命情報は、キーボード、タッチスクリーン、ポインティング・デバイスなどのユーザ・インタフェースを介してユーザによって提供される。

特定の人が画像にいるという事実は、いくつかの方法で確立することができる。最初に、顔ディテクタおよびレコグナイザ（ｒｅｃｏｇｎｉｚｅｒ，認識器）２０６を使用することにより、顔が見つけられ、その人の身元が確立される。消費者画像内の顔検出と認識は、たとえば、米国特許出願公報第２００７／００９８３０３号に記載されている。顔の推定年齢は、Ａ．ラニティス（Ａ．Ｌａｎｉｔｉｓ）、Ｃ．テイラー（Ｃ．Ｔａｙｌｏｒ）およびＴ．クーツ（Ｔ．Ｃｏｏｔｅｓ）による“Ｔｏｗａｒｄ ａｕｔｏｍａｔｉｃ ｓｉｍｕｌａｔｉｏｎ ｏｆ ａｇｉｎｇ ｅｆｆｅｃｔｓ ｏｎ ｆａｃｅ ｉｍａｇｅｓ”，ＰＡＭＩ， ２００２と、Ｘ．ゲン（Ｘ．Ｇｅｎｇ）、Ｚ．Ｈ．チョー（Ｚ．−Ｈ．Ｚｈｏｕ）、Ｙ．チャン（Ｙ．Ｚｈａｎｇ）、Ｇ．リー（Ｇ．Ｌｉ）およびＨ．ダイ（Ｈ．Ｄａｉ）による“Ｌｅａｒｎｉｎｇ ｆｒｏｍ ｆａｃｉａｌ ａｇｉｎｇ ｐａｔｔｅｒｎｓ ｆｏｒ ａｕｔｏｍａｔｉｃ ａｇｅ ｅｓｔｉｍａｔｉｏｎ”ＡＣＭ ＭＵＬＴＩＭＥＤＩＡ， ２００６と、Ａ．ガラハー（Ａ．Ｇａｌｌａｇｈｅｒ）による米国特許出願公報第２００６／００４５３５２号などの方法を使用して推定される。顔の年齢を推定するために、特徴が抽出され、特定の年齢を有する顔の可能性を推定するためにクラシファイア（ｃｌａｓｓｉｆｉｅｒ）が使用される。

次に、当該の人および当該の人の推定年齢と関連した寿命情報２１４が提供された場合、式（１）または式（２）によって画像取得日が計算される。

また、注目される人が、図１０Ａと図１０Ｂに示されたように、画像上に配置された注釈により画像内にあることが分かることもある。この場合、テキスト注釈は、テキスト・ディテクタ２０５によって検出され、テキスト注釈は、テキスト特徴エクストラクタ２１１によって周知のＯＣＲ技術を使用してテキストに変換される。テキストは、ハードコピー媒体の画像面に検出されてもよく非画像面に検出されてもよい。次に、日付ディテクタ２１３は、テキストを解析して、注目される人の名前と年齢を識別する（通常、画像のテキスト注釈上の名前の隣の特定範囲の数（０〜１００）は、画像内の人の年齢を表わす）。次に、日付ディテクタ２１３は、年齢情報（前述の周知の技術を使用して、テキスト注釈から、または省略されている場合は画像の顔から推定される）と共に、注目されている人と関連付けられた寿命情報２１４を使用することができる。画像に複数の名前の注釈が付けられ、画像内に複数の顔がある場合、年齢と顔からの年齢と性別を検討することにより、顔に対する名前の最も可能性の高い割り当てを見つけることができることに注意されたい。

さらに、本発明は、しばしば１つまたは１組の走査ハードコピー媒体から特定の注目される人の生年月日を決定することができ、次にこの生年月日は、後で走査されたハードコピー媒体の画像取得日を推定するために使用される。たとえば、図１０Ｄでは、テキスト注釈は「Ｈａｎｎａｈ ａｎｄ Ｊｏｎａｈ ２００８」である。年「２００８」は、日付ディテクタ２１３によって画像取得日と関連した年として認識される。次に、デジタル画像内の顔を検出し、顔ディテクタ／レコグナイザ２０６により前に述べたように顔に名前（たとえば、「Ｈａｎｎａｈ」と「Ｊｏｎａｈ」）を割り当てることによって生年月日（すなわち、寿命情報２１４）が評価される。次に、それぞれの人の年齢が、前に述べたように推定される。人と年齢と画像取得日が分かっているので、式（１）または式（２）から生年月日を求めることができる。後の画像走査で（たとえば、図１０Ａと図１０Ｂの写真プリント）、注目される人の確認された生年月日を使用して画像の画像取得日を決定することができる。走査順序は実際には関係ないことに注意されたい。画像コレクション内の人に関するより多くの情報（寿命情報２１４）を学習するほど、以前に走査された画像の画像取得日の精度を高める（更新する）ことができる。

前述の式（１）と（２）が画像内の注目される１人だけに関連することに注意されたい。式（２）は、追加の乗法項を含めることによって画像内の複数の人を検討するように拡張することができる。

ここで、変数は式（２）の変数と同じ意味を有し、
ｍは、画像内の人の数であり
ｂ_iは、ｉ番目の人の生年月日であり、
ａ_iは、ｉ番目の人の年齢である。画像取得日の信頼度は、画像内の人の数と共に高まると予想される（それぞれの人が不確かさを減少させるので）。したがって、本発明は、複数の人を含む画像の画像取得日を決定するために使用される。

さらに、人間のオペレータは、コンピュータ上のユーザ・インタフェースを使用して画像において顔または画像に人の名前をタグ付けすることができる。この場合、式（１）または式（２）にしたがって、日付ディテクタ２１３によって、名前を顔に割り当て、顔の年齢を評価し、画像取得日を推定することができる。

さらに、注釈が名前を含むが、年齢、生年月日または寿命情報２１４を明らかにしていないときでも、本発明を使用して画像の画像取得日を決定することができる。この場合、テキスト注釈は、テキスト・ディテクタ２０５によって検出され、テキスト注釈は、テキスト特徴エクストラクタ２１１によって周知のＯＣＲ技術を使用してテキストに変換される。テキストは、ハードコピー媒体の画像面で検出されてもよく非画像面で検出されてもよい。次に、日付ディテクタ２１３が、テキストを解析して画像内の注目される人の名前を識別する。ファーストネームの人気は時間の経過と共に変化するので、画像内にいる人の名前を検討するだけでハードコピー媒体の日付を大雑把に確立することができる。たとえば、ペイトン（Ｐｅｙｔｏｎ）、アビー（Ａｂｂｙ）およびエミリー（Ｅｍｉｌｙ）を含む画像の場合、その画像が２０００年代に取得されたと仮定することが安全である。ミルドレッド（Ｍｉｌｄｒｅｄ）とガートルード（Ｇｅｒｔｒｕｄｅ）を含む画像の場合、我々は、画像がもっと昔（たとえば、１９２０年代）であることを仮定することになる。これらの直観は、次のように式に縮小される。画像内の各名前に関して、名前Ｎが与えられた人が特定の時間（すなわち、年）に生まれた確率は、Ｐ（ｂ＝ｙ｜Ｎ）で求める。これは、ある期間にわたる名前の人気を表わす。たとえば、図１０Ｅは、Ｕｎｉｔｅｄ Ｓｔａｔｅｓ Ｓｏｃｉａｌ Ｓｅｃｕｒｉｔｙ Ｂａｂｙ Ｎａｍｅ Ｄａｔａｂａｓｅ（ｈｔｔｐ：／／ｗｗｗ．ｓｏｃｉａｌｓｅｃｕｒｉｔｙ．ｇｏｖ／ＯＡＣＴ／ｂａｂｙｎａｍｅｓ／）によるデータに基づいて名前“ガートルード”と“ペイトン”に関してＰ（ｂ＝ｙ｜Ｎ）を示す。最も確からしい誕生年は、ガートルードが１９１７年、ペイトンが２００５年である。画像の日付は、１組の名前を持つ人々が、所定の時間に存在して一緒に撮影される尤度を最大にする日付として推定することができる。過度に単純化したモデルでは、所定の組のｍ個の名前Ｎの画像が取得される確率は次の通りである。

このモデルは、人の平均寿命と画像内の顔の推定年齢を考慮することにより改善される。所定の名前を持つ人の予想人数を随時計算するには平均寿命表が役立つ。ハードコピー媒体の画像取得日が均一な実績を有すると仮定すると、特定の名前を有する人の最も確からしい画像取得日は、最も多い人々が特定の名前を有する時間に対応する。たとえば、図１０Ｆは、ミルドドレッドとペイトンのＰ（ｄ＝ｙ｜Ｎ，Ｌ）を示す。１９５１年には、最多のガートルードが生きており、２００６年（現在データが入手可能な最新の年）は、最多のペイトンが生きている。ガートルードとペイトンの両方を含む画像は、２００６年に取得された可能性が高い。したがって、平均寿命を考慮すると、

ここで、_aＰ₀は、人が年齢ａまで生き残る確率を表わす。演算子＊は畳み込みである。

以上の考察は、アメリカ合衆国内のファーストネームを持つ人々を含むハードコピー媒体画像に焦点を当てたが、類似の技術は、姓または愛称ならびに他の文化にも適用される。

本発明は、その特定の好ましい実施形態を特に参照して詳細に記述されたが、本発明の趣旨と意図の範囲内で変形と修正を行うことができることを理解されよう。

１０ ハードコピー媒体、２０，３０，４０，５０ サブグループ画像、６０ 写真集、７０ 写真ＣＤ、８０ 画像の磁気記憶（オンライン・ギャラリ）、９０ 写真印刷媒体、９１ 画像面、９２ 日付記号、９４ 縁、９６ 画像データ、１００ 非画像面、１０２ 透かし。

Claims (11)

1. 走査ハードコピー媒体の画像取得日を決定する方法であって、
   （ａ）少なくとも１つのインデックス・プリントを含むハードコピー媒体を走査して、走査デジタル画像を作成する段階と、
   （ｂ）前記走査デジタル画像の中から１つまたは複数のインデックス・プリントを検出する段階と、
   （ｃ）前記１つまたは複数のインデックス・プリント内に含まれるサムネイル画像を識別する段階と、
   （ｄ）各インデックス・プリントの画像取得日を決定し、前記画像取得日をそのインデックス・プリント内に含まれる前記サムネイル画像と関連付ける段階と、
   （ｅ）走査デジタル画像を、前記１つまたは複数のインデックス・プリントからのサムネイル画像と照合する段階と、
   （ｆ）前記サムネイル画像からの前記日付を、前記サムネイル画像に一致する前記走査デジタル画像と関連付ける段階と、
   （ｇ）前記日付を、前記サムネイル画像に一致する前記走査デジタル画像と関連付けて記憶する段階と、
   を含む方法。
2. 段階（ｆ）が、さらに、
   （ｉ）前記走査デジタル画像から特徴を抽出する段階と、
   （ｉｉ）前記サムネイル画像からサムネイル特徴を抽出する段階と、
   （ｉｉｉ）前記特徴と前記サムネイル特徴とを比較して、走査デジタル画像と一致するサムネイル画像を見つける段階と、
   を含む、請求項１に記載の方法。
3. 前記決定した日付にしたがって前記走査デジタル画像を整理する段階をさらに含む、請求項１に記載の方法。
4. 検証のために前記走査デジタル画像を人間のオペレータに提示する段階をさらに含む、請求項１に記載の方法。
5. 前記走査デジタル画像と前記関連付けられた日付とを印刷するか、電子メールで送信するか、あるいは他の方法で伝送する段階をさらに含む、請求項１に記載の方法。
6. 走査ハードコピー媒体の画像取得日および向きを決定する方法であって、
   （ａ）少なくとも１つのインデックス・プリントを含むハードコピー媒体を走査して、走査デジタル画像を作成する段階と、
   （ｂ）前記走査デジタル画像の中から１つまたは複数のインデックス・プリントを検出する段階と、
   （ｃ）前記１つまたは複数のインデックス・プリント内に含まれるサムネイル画像を識別する段階と、
   （ｄ）各インデックス・プリントの向きを決定し、そのインデックス・プリント内に含まれる前記サムネイル画像と前記画像取得日とを関連付ける段階と、
   （ｅ）走査デジタル画像を、前記１つまたは複数のインデックス・プリントからのサムネイル画像と照合する段階と、
   （ｆ）前記サムネイル画像からの前記向きを、前記サムネイル画像に一致する前記走査デジタル画像と関連付ける段階と、
   ｈ）前記向きを、前記サムネイル画像に一致する前記走査デジタル画像と関連付けて記憶する段階と、
   を含む方法。
7. 段階（ｆ）が、さらに
   （ｉ）前記走査デジタル画像から特徴を抽出する段階と、
   （ｉｉ）前記サムネイル画像からサムネイル特徴を抽出する段階と、
   （ｉｉｉ）前記特徴と前記サムネイル特徴とを比較して、走査デジタル画像と一致するサムネイル画像を見つける段階と、
   を含む、請求項６に記載の方法。
8. 前記決定した向きにしたがって前記走査デジタル画像を回転させる段階をさらに含む、請求項６に記載の方法
9. 前記回転させた走査デジタル画像を印刷するか、前記回転させたデジタル画像を表示装置に送る段階をさらに含む、請求項７に記載の方法。
10. 検証のために前記回転された走査デジタル画像を人間のオペレータに提示する段階をさらに含む、請求項８に記載の方法。
11. 前記回転させた走査デジタル画像を印刷するか、電子メールで送信するか、あるいは他の方法で伝送する段階をさらに含む、請求項８に記載の方法。

Images