JP2010537493A

JP2010537493A - スキャンされたプリントから得られる補助情報の記憶および呈示

Info

Publication number: JP2010537493A
Application number: JP2010521022A
Authority: JP
Inventors: ジェームズビート，ルイス; アンソニーマニコ，ジョセフ; エフマッキンタイアー，デール
Original assignee: イーストマンコダックカンパニー
Priority date: 2007-08-16
Filing date: 2008-08-13
Publication date: 2010-12-02
Anticipated expiration: 2028-08-13
Also published as: EP2177018B1; EP2198600A1; JP5349477B2; JP2010537492A; WO2009023213A1; WO2009023215A1; EP2177018A1

Abstract

本発明は、データの記憶および取り出しのための、より詳細にはJPEGファイルのヘッダ中に補助データが記憶されており、ユーザーにとってアクセス可能であることを示すシステムおよび方法に関する。システムは、EXIFヘッダおよび関連付けられた画像データを有するJPEGファイルと、デジタル・データの少なくとも一つの他のファイルと、コンピュータとを含む。コンピュータは、EXIFヘッダのアプリケーション・マーカー・セクション内の特殊なインジケータがあるかどうかJPEG画像ファイルをスキャンするようプログラムされている。マーカーが存在すれば、マーカーの値がどの型の補助データがヘッダ内に存在しているかを示す。たとえば、マーカーがEKC-JPEGというストリングを含む場合、補助データは別のJPEGファイルであるとわかる。他の型のデータは適宜示されることができる。その際、補助データの存在は、ユーザーへの適切な型の呈示のために使用される。その際、補助データが別のJPEGファイル、ビデオ、オーディオ、サウンド、文書などであるかどうかを示すために、データの呈示において、暴露アイコンが使用される。ユーザーは適宜データを呈示される。

Description

本発明は、データ記憶および取り出しのための、より詳細には補助データ（ancillary data）がJPEGファイルのヘッダに記憶されてユーザーにアクセス可能であることを示すためのシステムおよび方法に関する。

ハードコピー・プリントは典型的には、関心のある領域についての追加的な情報を供給するための補助データを提供し、プリント中のキーとなるデータの解析を向上させることができる。たとえば絵はがき（postcard）はユニークな形の補助データを提供する。絵はがき画像の裏に、スタンプ、ユーザー・メモ、日付、アドレスおよび他の型の注釈といった補助データ情報を見出すことができる。このデータは典型的には絵はがきの読者に追加的情報を提供する。他の型の補助データは、大きさ、形およびテクスチャー（すなわちヒストグラム）の情報、透かし、製造業者マーク、DPE（現像・焼き付け・引き延ばし）業者マークおよび消費者マークのようなプリントの裏からの情報を含む。さらに、補助データは、オーディオ、ビデオなどといった多様なフォーマットであることができる。

補助データはスキャンされ、標準的なJPEG圧縮を使って圧縮されることができる。この圧縮された補助データをJPEGファイル中に埋め込むことは、多くの実際的な用途をもたらす。たとえば、静止画像または写真は、付随するオーディオ・ファイルとともにインターネットを通じて送信されうる。オーディオ・ファイルはその写真を説明する人の声であることができる。これは、家族が、家族構成員の声を含む写真を共有することを許容する。

現在、JPEGファイルに補助データを関連付ける技術が存在している。たとえば、音声をもつデジタル画像を生成したいユーザーは、別個のオーディオ・ファイルを画像ファイルに添付できる。たとえば.mp3である。しかしながら、.mp3ファイルは、伝送および記憶の間に簡単に壊れるまたは添付解除されるという意味で、しばしば破綻する。.mp3ファイルに関するもう一つの問題は、マイクロソフト・メディア（登録商標）・ソフトウェアのような特殊なソフトウェアを保存して使用することを要求するということである。

スキャンされたプリントはユニークな型の画像および補助データである。スキャンされたプリントは画像側および非画像側の両方を含む。典型的には、プリントがスキャンされるとき、画像側だけがスキャンされ、デジタル・ファイルとして保存される。しかしながら、しばしば非画像側が閲覧経験にとって貴重となりうる情報を含んでいる。非画像側は、透かしの形で製造業者マークを含むことがあり、それをその写真がプリントされた年（単数または複数）を識別するために使うことができる。この日付情報はマルチメディア呈示、スクラップブック、フォトブックなどの制作において有意でありうる。より古いプリントは手書きのメモ、写真に写っている人々の名前、写真のロケーションまたは他の関連する事実の形の消費者マークを含みうる。しばしば、DPE業者は、その写真が処理されプリントされた日時を識別するためにプリントの非画像側にスタンプまたはマークを位置させる。

プリントの非画像側は典型的には、前述のマークを除いて非常に一様である。これは、非画像側が高度に圧縮され、非常に小さなJPEGファイルを結果として与えることを許容する。しかしながら、この動作は画像についての非画像側JPEGファイルを生成し、これが典型的には画像側ファイルと関連付けられる必要がある。ファイルは簡単に分離されうるので、これは望ましい状況ではない。

Otaらに発行された米国特許第5,032,918号およびHashimotoらに発行された米国特許第5,815,201号は、別個に記録されて互いに関連付けられるオーディオおよび画像ファイルを開示している。Otaらに開示される発明の欠点の一つは、二つの別個のファイルを維持する必要性である。これは非常に面倒となりえ、特に大量のファイルが関わってくるときあるいはファイルが長期間アーカイブされるときには、関連付けが失われやすいことがありうる。Osborneらに発行された米国特許第6,915,012号は、標準的なマーカー拡張を使ってどうやって非JPEGファイルをEXIFヘッダ中に埋め込むかを説明している。しかしながら、Osborneは、非画像側補助データが関連付けられた画像ファイルのJPEG EXIFヘッダに記憶されていることを簡単に指示する直観的かつユーザー認識可能な技法を提供しない。

一般的な表現では、本発明は、補助データがJPEGファイルのヘッダに記憶されておりユーザーにアクセス可能であることを示すシステムおよび方法である。

本発明の一つの側面は、スキャンされたハードコピー画像から得られた補助画像データを単一のJPEGファイル中に記憶し、取り出す方法を含む。より詳細には、本方法は、ハードコピー画像の画像側をスキャンする段階と、前記ハードコピー画像の非画像側をスキャンする段階と、前記ハードコピー画像のスキャンされた非画像側から生成されたデジタル・ファイルを、前記ハードコピー画像のスキャンされた画像側から生成されたJPEGファイルのEXIFヘッダ中に記憶する段階と、前記JPEGファイルのEXIFヘッダから前記スキャンされた非画像側デジタル・ファイルを抽出してそのスキャンされた非画像側を前記ハードコピー画像のスキャンされた画像側と関連付けて表示するためのインジケータを有する前記スキャンされたハードコピー画像の画像側を表示する段階とを含む。

本発明のもう一つの側面は、スキャンされたハードコピー画像から得られた補助画像データを単一のJPEGファイル中に記憶し、取り出すシステムを含む。より詳細には、本システムは、前記ハードコピー画像の画像側および非画像側をデジタル化するスキャナと、前記ハードコピー画像のデジタル化された非画像側を、前記ハードコピー画像のデジタル化された画像側から生成されたJPEGファイルのEXIFヘッダ中に記憶するための前記スキャナに結合されたメモリと、前記JPEGファイルのEXIFヘッダから前記デジタル化された非画像側を抽出してそのデジタル化された非画像側を前記デジタル化された画像側と関連付けて表示するためのインジケータを有する前記デジタル化された画像側を呈示するディスプレイとを含む。

スキャンされたプリントから組み合わされた画像を生成し、画像側のコンテンツに意味的にインデックス付けするためのシステムを示す図である。組み合わされた画像ファイルの生の（raw）JPEGファイルとしての記憶を示す図である。画像側JPEGファイルおよび補助非画像側JPEGファイルを一つの組み合わされたファイルに組み合わせるための諸ステップを記述するフローチャートである。組み合わされた画像JPEGファイルからの画像側JPEGファイルおよび補助非画像JPEGファイルの抽出を示す図である。単一の組み合わされた画像ファイルから二つの画像ファイルを抽出するための諸ステップを記述するフローチャートである。Ａは、JPEGファイル中の補助データの存在を示すために暴露インジケータを表示する画像ファイルの一つの実施形態を示す図である。Ｂはスキャンされた文書の非画像側にある補助データを示す図である。Ａ〜Ｃは、記憶された画像データおよび補助データの両方から生成されるプリントの見本を含む図である。ＡおよびＢは、JPEGファイルのEXIFヘッダ中に記憶されるべき信頼マップを生成するために使われる画像を示す図である。

本発明のさまざまな実施形態について、図面を参照して詳細に述べる。図面では、各図を通じて同様の参照符号は同様の部分および集合体を表す。さまざまな実施形態への言及は、本発明の範囲を限定するものではなく、本発明の範囲は本稿に付随する特許請求の範囲によってのみ限定される。さらに、本明細書において述べられるいかなる例も、限定することを意図したものではなく、特許請求される発明についての多くの可能な実施形態のうち単にいくつかを述べるものである。

図１は、スキャンされたプリントから組み合わされた画像ファイルを生成するためのシステム１００を示している。この実施形態は、非画像JPEGファイルを、関連付けられた画像JPEGファイルのヘッダ中に組み合わせて単一のJPEGファイルを生成する。非画像側JPEGファイルの高圧縮比のため、この追加データは画像側JPEGファイルのファイル・サイズを大幅に増やしはしない。この実施形態は、標準的な画像ビューア（viewer）およびエディタ（editor）が画像JPEGファイル中に埋め込まれた追加JPEGファイルについて何も知らなくてもその画像データを操作することを許容する。したがって、普通に利用可能なサードパーティーのソフトウェアが何の修正もなく必要に応じて使用できるようにするよう、JPEG規格との互換性を維持することが重要である。

より具体的には、JPEGはデジタル画像データを圧縮、記憶および伝送するために使われるファイル・フォーマット規格である。本稿での用法では、用語「JPEG」は「JPEG」および「JPEG2000」を含むこのフォーマットのすべてのバージョン、リビジョンおよびリリースを指す。このフォーマットは合同写真専門家グループ（Joint Photographic Experts Group）によって開発されたものであり、現在のところ、最も人気があり、広く使われる画像フォーマットである。JPEGの利点の一つは、普通に使われているいかなるビットマップ・フォーマットについても最大の圧縮を与えるということである。それにより、デバイスおよびユーザーは、画像ファイルを、最小限の記憶スペースを使って記憶することができる。この圧縮機能は、JPEGをインターネットを通じて写真を送るための最も普通に使われるフォーマットにした特徴の一つでもある。ユーザーはJPEGの画像を、他の多くのフォーマットの画像よりも、より迅速に、より高度な画質をもって送受信できる。

JPEGフォーマットはファイルをセグメントに分解するマーカーを使用する。マーカーは値0xFFをもつ第一バイトを含む。JPEGマーカーは二つの一般的な型にまとめられる：自立〔スタンドアローン〕およびデータである。自立マーカーは、該マーカーの二つのバイト以外にデータをもたない。データ・マーカーの直後には、該マーカーに続くデータのバイト数を示す二つのバイトが続く。この制限は、65Kバイトより大きな補助データは65K以下のブロックに分解されることを要求する。

主題となる画像のためのデータに加えて、JPEGはJPEGファイル内に補助データが記憶されることを許容する。補助データは、画像データを使うアプリケーション以外のアプリケーションのためのデータを含むことができる。たとえば、その画像を撮影したカメラの設定またはその画像を作成したアーチストが誰であるか（identity）を示すデータがJPEGファイル中に挿入されてもよい。このようにして、JPEGフォーマットの利点の一つは、主題画像データ以外のデータがJPEGファイル自身の中において記憶され、伝送されることができるということである。補助データがJPEGファイルと一緒に含められ、使われるファイルが一つだけであることが重要である。これは、複数のファイルを維持する必要をなくす。

図１に示されるように、システム１００は画像データおよび補助データの送信のための備えをする。システム１００は、JPEGデータをもつJPEGファイル１４０、少なくとも一つの他の埋め込み補助データ１５０およびコンピュータ１６０を含む。コンピュータ１６０は、埋め込まれた補助データの存在を検出し、次いで適宜そのデータを抽出するようプログラムされる。コンピュータは補助データを抽出し、暴露（reveal）プロセスの一部としてそのデータをユーザーに呈示する。暴露プロセスは、閲覧されるべき追加データがあることをユーザーに示すためにメイン画像中に一つまたは複数の追加的なアイコンを与える。この追加的または補助データはJPEGファイル、オーディオ・ファイル、音楽ファイル、ビデオ・ファイル、文書、ASCIIキャラクタ、形情報または他の任意のユーザー定義タグの形であることができる。

図１において、スキャンされたプリントから組み合わされた画像ファイルを生成する一つの実施形態が示されている。スキャナ１３０が二台のカメラを備えていれば、プリントの画像側１１０およびプリントの補助非画像側１２０が１回のパスでスキャンできる。スキャナ１３０が単純なフラットベッド・スキャナであれば、画像側１１０および補助非画像側１２０のスキャンは２ステップで達成できる。プリントの画像側１１０はスキャンされてJPEGファイルに保存され、プリントの補助（または非画像）側１２０は別個のJPEGファイル１５０として保存される。コンピュータ１６０は画像JPEG１４０および補助非画像JPEGファイル１５０を、画像および補助（すなわち非画像）ファイルの両方を含む組み合わされたファイルに組み合わせる。しかしながら、本実施形態は、画像がプリント１１０であることに限定されず、画像側プリントはスライド・マウント１１２を有するスライドであることもできる。スライド・マウント１１２は、スライド・マウント１１２の表および／または裏に配置される可視および／または不可視のデータ１１４をももつことができる。データ１１４は人間および／または機械に可読である。

図１において、コンピュータ１６０はさらに、組み合わされた画像１７０ファイルを記憶し、意味的にインデックス付けする目的で通信ネットワーク１８０に接続される。より具体的には、コンピュータ１６０は、デジタル・スチール画像ファイルおよびデジタル・ビデオ・ファイルを含むデジタル・メディア・ファイルの他のソースを記憶することができる。デジタル・メディア・ファイルに意味的にインデックス付けする工程は、限定ではなく例として、素材分類子（すなわち、木、金属、ガラス、水、岩、草、砂など）およびシーン分類子（ビーチ、灰色の空、青空、日没など）といった複数の画像分類子（image classifier）を含むものと理解されるであろう。意味的インデックス付けのさらなる例は、人々およびオブジェクトといったさまざまなシーン構成要素の検出および認識を含む。さらに他のインデックス付け器はテキスト認識、音声認識および音声テキスト化（voice-to-text）認識を含む。

システム１００における意味的インデックス付け（semantic indexing）は、デジタル・メディア・ファイルを受け入れ、さまざまなインデックス付け技術を適用して、供給された各デジタル・メディア・ファイルについてのインデックス付けされたデータの組を生成するソフトウェアを実行するインデックス付けサーバー１９０によって達成される。そのようなインデックス付けされたデータは、画像側１１０、プリントの補助非画像側１２０、ロゴ、日付および書き込みを有する周囲のスライド・マウントから、あるいはコンピュータ１６０上に記憶されている任意のデジタル・メディア・ファイルから導出されることができる。広告サーバー１９５がネットワーク１８０に結合されており、インデックス付けサーバー１９０によって生成されたインデックス付けされたデータの組に対して作用する。広告サーバー１９５は、意味的にインデックス付けされたデジタル画像側ファイルと組み合わされて新しい組み合わされた画像ファイルを生成することのできる複数の広告を記憶する。新しい組み合わされた画像ファイルは広告データを含み、デジタル画像側ファイルのEXIFヘッダ中の補助データとして記憶される。広告データは、インデックス付けされたデジタル画像ファイルに相関付けられた広告情報を呈示するのに有用ないかなる型のファイルであってもよい。適正な広告データは、プリント１２０の画像側１１０またはコンピュータ１６０によって提供されるデジタル画像ファイルの画像内容から導出されるインデックス付けされた情報と密接に合致するよう、広告サーバー１９５によって選ばれる。

図２は、組み合わされた画像２４０ファイルの生のJPEGファイル２００としての記憶を示している。画像側JPEG２００および補助非画像側JPEG２１０は一つのファイル２４０に組み合わされる。補助非画像JPEG２１０は、EXIFアプリ・マーカー（app marker）規格に準拠するために64Kのブロック２２０に分解される。アプリ・マーカーは新しい組み合わされたファイル２４０に加えられ、補助ファイルは64Kのブロック２２０に分離される。画像側データ２３０は次いで残りの画像データとして、組み合わされたJPEGファイル２４０中に加えられる。最終的な組み合わされたファイル・サイズは、画像側JPEG２００と補助非画像JPEG２１０との和である。スキャンされたプリントについての補助データは高度に圧縮可能なので、補助非画像JPEG２１０のサイズは典型的には画像側JPEG２００と比べてきわめて小さい。したがって、組み合わされた画像ファイル・サイズは画像側JPEG２００に比べてそれほど大きくはない。

図３は、画像側JPEGファイルおよび補助非画像側JPEGファイルを一つの組み合わされたファイルに組み合わせる諸ステップを記述するフローチャートを示している。画像側JPEGファイルはディスクから読まれ（３００）、補助非画像JPEGファイルも（３１０）ディスクから読まれる。補助のサイズが64Kより大きいかどうかを見るために検査される（３２０）。ファイル・サイズが64Kより大きい場合、ファイルは全データが読まれるまで64Kブロックに分割される（３３０）。新しい組み合わされたJPEGファイル２４０（図２）が生成され、補助データ・ブロックがアプリ・マーカーとともに画像側JPEGファイルのEXIFヘッダ中に書き込まれる（３４０）。補助データ・ブロックが書き込まれたのち、もとのファイルが補助データの末尾にアペンドされ、組み合わされたファイルのメインJPEG画像となる（３５０）。

このアプローチの利点は、通常のJPEG閲覧および編集プログラムがアプリ・マーカー・セクション中に加えられた追加画像を見ることはなく、ユーザーは必要であればメイン画像を処理することができるということである。また、補助非画像JPEGデータの高度な圧縮可能性のため、この技法は組み合わされた画像JPEGデータ・ファイルに対して著しい量の追加データを加えはしない。

図４は、組み合わされた画像JPEGファイル４００からの画像側JPEGファイル４４０および補助非画像JPEGファイル４３０の抽出を示している。アプリ・マーカーの存在は、埋め込まれた補助データがあることを示す。64Kバイトのブロック４２０が組み合わされた画像JPEGファイル４００から読まれ、補助データJPEGファイル４３０を再構成するのに使われる。組み合わされたファイルの残りの部分または画像側データ４１０は抽出されてもとの画像側JPEGファイル４４０を形成する。補助非画像JPEGデータ・ファイル４３０データはまた、更新され、組み合わされた画像JPEGファイル４００中に再び記憶されることもできる。

図５は、単一の組み合わされた画像ファイルから二つの画像ファイルを抽出するための諸ステップを記述するフローチャートである。組み合わされた画像JPEGファイルはディスクから読まれ、メモリに記憶される（５００）。コンピュータはアプリ・マーカーの存在を調べる（５１０）。アプリ・マーカーが存在すれば、コンピュータは次いで、最後のブロックが読まれるまでファイルからデータの全ブロックを読み、それらのブロックが一つのファイルに組み合わされる（５３０）。データ・ブロックのこの組み合わせは補助非画像JPEGデータ・ファイルを形成し、該補助非画像JPEGデータ・ファイルは（５４０）、次いでディスクに書き込まれることができる。次いで画像側データが抽出されて画像側JPEGファイル（生のビット）を形成する（５５０）。アプリ・マーカーが存在しない場合は、補助データはない（５２０）。

図６のＡは、JPEGファイル中の補助データの存在を示すための暴露インジケータ（reveal indicator）６００を表示する画像ファイルの一つの実施形態を示している。この暴露は、インジケータとして、また補助データの露出を容易にするための画像上のホットスポットとして、両方として使用される。暴露インジケータ６００ははがし（peel）マーク、アイコンとして表示されることができ、および／またはどのような型のデータが補助データとして記憶されているかを示すことができる。したがって、暴露インジケータ６００は、どのような型のデータまたはフォーマットが補助データとして記憶されているかを示すために、いかなる形状、形態またはテクスチャー、マシンを取ることもできる。さらに、暴露インジケータ６００は機械可読な（たとえば可視、透明または半透明な）または人間に可読な形であることができる。

ある実施形態では、暴露インジケータ６００は、時刻（time）および／または日付（date）であることができる。この場合、ユーザーはその日時になるまで記憶されている補助データを見ることができない。たとえば、ユーザーは、時刻および／または日付の形である暴露インジケータ６００を選択することができる。その情報は指定された日時になるまでアクセスできないことを述べるメッセージが表示される。別の実施形態では、暴露インジケータ６００は、所定の時に達するまでまたは閾値が満たされるまで画像側デジタル・ファイルと一緒に表示されない。この実施形態では、日時は、その特定の日時に達するまで半透明であってもよく、そのときになって日時が完全に可視になる。さらに別の実施形態では、ユーザーは、インジケータ６００を選択したのち、アクセス・キーまたはコードを要求する。

暴露インジケータ６００は複数のファイルを含むことができる。より特定的には、暴露インジケータ６００は一つまたは複数のオーディオ、ビデオ、テキストなどのファイルを補助データとして含むことができる。また、前記一つまたは複数のファイルは、画像中の異なる被写体について、あるいは暴露インジケータ６００を選択する異なるユーザーについて、異なる再生を提供できる。たとえば、画像は複数の被写体を含み、各被写体が暴露インジケータ６００であることができる。各被写体について異なる補助データが記憶され、選択された被写体について取り出される。

また、暴露インジケータ６００は特定のユーザーと関連付けられることができる。ユーザーがウィンドウズ（商標）のようなオペレーティング・システムにログオンするとき、ユーザーIDが検出され、暴露６００および抽出されるメッセージ／補助データはシステムにログインしている特定のユーザーに依存する。

暴露インジケータ６００はまた、特定の位置へのリンクを提供することもできる。たとえば、暴露インジケータ６００がディズニー・アイコン（たとえばミッキーマウスの耳）として示されているとき、このアイコンの選択はディズニーのウェブページまたはディズニーの広告を表示することになる。同様に、全地球測位衛星（GPS）情報が補助データとして記憶されることができる。関連付けられたアドレスをもつGPSシンボルなどとして表示される暴露インジケータ６００は、そのシンボルが選択されたときにアドレス指定された位置を表示する。たとえば、関連付けられたアドレス「ペンシルヴェニア大通り1600番」をもつGPSシンボルの形の暴露インジケータ６００は、ホワイトハウスについての地図、画像または同様の位置情報を表示する。また、別の実施形態において、画像がディズニーまたはホワイトハウスなど特定の位置において撮影される場合、撮影された画像とともに.htmlページまたはGPS情報が自動的に補助データとして記憶され、それぞれミッキーマウスの耳またはホワイトハウスの暴露インジケータ６００がデジタル写真の画像側に表示されることができる。

別の実施形態では、認識ソフトウェアが画像の被写体を検出することができる。この認識は、画像取り込み時にカメラ内で、あるいはその後家庭またはサービス・プロバイダーにおけるコンピュータ上でできる。よって、被写体に関する.html情報が自動的に補助データとして記憶できる。たとえば、ディズニーにおいて撮影された画像は、撮影された画像と同じJPEGファイル中の補助データとして自動的に記憶された広告またはウェブ・アドレスを有する。

図６のＢは、スキャンされた文書の非画像側の補助データを示している。補助データは、プリント（たとえば写真プリント、絵はがきなど）の裏のスキャン、音楽、オーディオ、ビデオ、文書、マルチメディア・データまたは他の任意の型のデジタル・ファイルであることができる。図６のＢでは、画像６１０はプリントの裏をスキャンしたものである。この情報は補助データの一つの形である。この情報は、暴露インジケータ（またはホットスポット）６００が選択されたときに示されることができる。図６のＢにおけるプリントの裏のスキャンは、手書きのメッセージの形の消費者マーク６２０、年月日情報を含むスタンプの形のDPE業者のマーク６３０および製造業者からの透かしを含む製造業者マーク６４０をも含み、これらはこのプリントが作成された日を特定するために使うことができる。

追加的な補助データがスキャンの間に画像側デジタル・ファイルに加えられることができる。たとえば、文書の画像側のスキャンの際、スキャナはユーザーが、スキャン工程中またはスキャン工程後に名前をサインすることができるようにすることができる。ユーザーの署名は画像側JPEGファイル中に補助データとして保存されることができる。

別の実施形態では、補助データはスチール画像、すなわち該スチール画像の画像側に関するビデオ画像であることができる。したがって、画像取り込みセット（image capture set）は、取り込み装置によって取り込まれたスチール画像およびビデオ画像の一方または両方の一つまたは複数を含むことができる。ある実施形態では、画像取り込みセットは、スチール画像および画像取り込みに先行する所定秒数のビデオの組み合わせ、スチール画像および画像取り込み後の所定秒数のビデオの組み合わせおよび／またはそれらの組み合わせからなる。画像取り込み前後のこの所定秒数は、画像取り込みセットにおけるスチール画像取り込みに対するコンテキストを提供できる。このビデオは補助データとして記憶されることができ、対応する暴露インジケータ６００が選択されたときにビデオの全部または一部が閲覧されることができる。

図７のＡ〜Ｃは、記憶された画像データおよび補助データ両方から生成されるプリントの見本を含んでいる。図７のＡは、補助データ７００から生成された年月日コードを含むプリントの一例を示している。年月日コードは、非画像側スキャン上のDPE業者マークから抽出され、光学式文字認識で処理され、表画像上にレンダリングされた。図７のＢでは、別のアプリケーションが非画像側スキャンから消費者マークを抽出し、光学式文字認識で処理して表７１０上に注釈をもつ写真を生成する。図７のＣは、画像および生の非画像ビットマップ・スキャン情報の組み合わせを含むパノラマ・プリント７２０を示している。これらは、生の形およびまた処理された形の両方において表画像スキャンおよび補助非画像データの諸形を利用することによって生成できる出力の例の一部である。

しかしながら、本実施形態は上で論じたような補助データの表示に限定されず、いかなる好適なディスプレイが使用されることもできる。たとえば、補助データは画像側にかぶせてまたは画像側に近接して表示されるピクチャー・イン・ピクチャーおよび／またはシースルー画像として表示されることもできる。さらに、補助データは、選択後、所定の時間期間にわたって表示されることができる。

図８のＡおよびＢは、JPEGファイルのEXIFヘッダに記憶されるべき信頼マップ（belief map）を生成するために使われる画像を示している。写真は、話し手が聞き手と、あるいは書き手が読み手とコミュニケーションするのと同様に、写真家にとって、見る者とコミュニケーションする方法であり、書かれたまたは話された言葉と同様、写真も何らかの関心のあるトピックについてのメッセージを伝達する。一般に、写真は、写真家が人々、オブジェクトまたはイベントを取り込むに値すると見るときに、記憶を保存するために、あるいは体験を他者と共有するために撮影される。いずれにしても、写真家は見る者に、一つまたは複数の主たる被写体に対する自分の関心を伝達することを意図する。

写真家の関心を見る者に伝達する機構は、フレーム中での主たる被写体の位置を制御すること、主たる被写体とその周辺との間での色調〔トーン〕、色またはテクスチャーのコントラストについて構成すること、および主たる被写体を最も明るい光でハイライトすることを含む。写真家が主たる被写体を強調するのに成功する限りにおいて、独立した第三者である見る者のグループは主たる被写体について互いに合意するであろう。我々は、この合意が写真家の意図を反映していると主張する。

自動システムは写真家が人々、場面、イベントなどについてもちうる特定の知識を持たない。したがって、写真中のたとえば主たる被写体の識別を、そのようなタスクに固有の不確定性または曖昧さの度合いを反映する統計的な意味において行うために、コンピュータ・アルゴリズムが使われる。この識別のために、アルゴリズムはオブジェクト・セグメンテーション、オブジェクト認識および主被写体判別を意味論（semantics）によって実行する。意味的特徴（semantic feature）のため、写真画像において頻繁に見られる意味的オブジェクト・クラス（semantic object class）（空、草、肌など）が検出される。意味的特徴は画像中のさまざまな領域を、意味論的意味（semantic meaning）のある前景（たとえば肌、顔など）および背景領域（たとえば空、草など）などとして分類するために使用できる。さらに、意味的特徴はまた、人々のような複合オブジェクトの属性を推定する、あるいは一貫した推論（coherent reasoning）（たとえば複数の接続されていない草または空の領域の一様な取り扱い）を可能にするためにも使用できる。意味論的および構造的な型の特徴両方からの証拠が統合されて、主たる被写体の信頼マップを与える。信頼マップはたとえば、判別された主たる被写体の位置を示す。さらに、意味的オブジェクトの型の確実度を示すために、一組の確からしさ値（likelihood value）または信頼値（belief value）が得られ、さまざまな領域に取り付けられる。より具体的には、信頼値は主たる被写体検出の証拠を提供する。

信頼マップはJPEGファイルのEXIFヘッダ中に補助データとして記憶されることができる。この情報は、表示された画像上に示される暴露を選択することによって取り出され、表示されることができる。たとえば、デジタル画像８００Ａは白い城８１０、青い空８２０、白い雲８３０および緑の木８４０を表示している。画像の被写体が雲８３０であると判別される場合、図８のＢにおいて、信頼マップ８００Ｂは、雲８３０を検出する確率を決定するために使われる特定の色規約方式を示す。より具体的には、黒色８５０は検出確率低と考えられ、灰色８６０はそれよりやや高い確率であり、白色８７０は最高の検出確率である。しかしながら、本発明はこの色方式に限定されるものではなく、いかなる好適な方式が使用されることもできる。たとえば、テクスチャー、シンボルなどが確率を図示するために使用されることができる。

もう一つの実施形態では、デジタル画像は、空、草、ビーチ、砂、人々、オブジェクトなどといった画像の諸側面を判別するためにインデックス付けコンピュータによって処理されたファイルである。信頼マップが生成され、別のコンピュータが処理できる補助データとして記憶されることができる。したがって、インデックス付けコンピュータ１９０（図１）は、同じイベントにおける他の諸画像との関連でデジタル画像をインデックス付けし、複数の関係した画像を見ることによってよりよいインデックス・データを生成することができる。同じデジタル・画像が他の関係した画像とは独立してインデックス付けされる場合、多くのエラーが生じることがありえ、それは望ましくないインデックス情報を生成するであろう。

また、インデックス付けは計算集約的であり、時間がかかる。たとえば、キオスクがデジタル画像をインデックス付けすることができるが、効率的に行うための処理能力または時間を欠くことがありうる。よって、あらかじめインデックス付けされた画像を生成することが貴重である。インデックス付けされたデータがピクセル・マップとして記憶されれば、単に記憶されているメタデータを比較するより、より容易に、他の画像との類似性を計算するために使うことができる。また、メタデータは固定データである。それは青い空であるか青い空でないかのいずれかである。埋め込まれたピクセル・マップを記憶することは、インデックス付けされたピクセルの位置とともに確率を保存する。別の実施形態では、各層が特定の分類子についての別の確率である多層画像ファイルが使用されることができる。たとえば、デジタル画像は.tifファイルまたは個々の分類子からのデータが記憶されファイルの個々の層〔レイヤー〕から検索することができる他の多層ファイル・フォーマットとして記憶されることができる。たとえば、一つの層は白い城についてであり、一つの層は青い空についてであり、一つの層は白い雲についてであり、一つの層は緑の木についてである。あるいはまた、高確率の諸層が、単一層合成ファイルを形成する個々の分類子を表現するために使われる異なる色コードをもつことができる。

以上記載してきたさまざまな実施形態は単に例示として与えられているのであり、本発明を限定するものとして解釈すべきではない。当業者は、本稿において例示および記載された例としての実施形態および適用に従うことなく、かつ、付属の請求項において記載される本発明の精神および範囲から外れることなく本発明に対してなされうるさまざまな修正および変更を容易に認識するであろう。

１００システム
１１０スキャンされたプリントの画像側
１１２マウント
１１４データ
１２０スキャンされたプリントの非画像側
１３０スキャナ
１４０画像JPEGファイル
１５０補助非画像JPEGファイル
１６０コンピュータ
１７０組み合わされた画像および非画像JPEGファイル
１８０ネットワーク
１９０インデックス付けサーバー
１９５広告サーバー
２００生の画像JPEGファイル
２１０生の補助非画像JPEGファイル
２２０ 64Kのブロック
２３０画像側データ
２４０組み合わされた画像および非画像生JPEGファイル
３００画像JPEGファイルを読む
３１０非画像補助データJPEGファイル
３２０非画像JPEGファイルのサイズおよび64Kとの比較
３３０非画像JPEGファイルを64Kのブロックに分割
３４０ APP2マーカーをEXIFヘッダおよび64Kブロックに加える
３５０組み合わされた画像JPEGファイルを書き込み
４００組み合わされた画像JPEGファイル
４１０画像側データ
４２０ 64Kバイトのブロック
４３０抽出された補助非画像JPEGファイル
４４０抽出された補助画像側JPEGファイル
５００組み合わされた画像JPEGファイル
５１０アプリ・マーカー
５２０補助非画像データ
５３０組み合わされたブロックを一つのJPEGファイルに
５４０補助非画像JPEGファイル
５５０生の画像JPEGファイル
６００暴露インジケータ
６１０補助非画像JPEGファイル
６２０消費者マーク
６３０ DPE業者マーク
６４０製造業者マーク
７００ DPE業者マークから抽出された日付コード
７１０消費者マークから抽出されたテキスト
７２０画像および非画像データをもつパノラマ写真プリント
８００Ａデジタル画像
８００Ｂ信頼マップ
８１０城
８２０空
８３０雲
８４０木
８５０黒色
８６０灰色
８７０白色

Claims

スキャンされたハードコピー画像から得られた補助画像データを単一のJPEGファイル中に記憶し、取り出す方法であって：
ハードコピー画像の画像側をスキャンする段階と；
前記ハードコピー画像の非画像側をスキャンする段階と；
前記ハードコピー画像のスキャンされた非画像側から生成されたデジタル・ファイルを、前記ハードコピー画像のスキャンされた画像側から生成されたJPEGファイルのEXIFヘッダ中に記憶する段階と；
前記JPEGファイルのEXIFヘッダから前記スキャンされた非画像側デジタル・ファイルを抽出してそのスキャンされた非画像側を前記ハードコピー画像のスキャンされた画像側と関連付けて表示するためのインジケータを有する前記スキャンされたハードコピー画像の画像側を表示する段階とを含む、
方法。
インジケータを有する前記スキャンされたハードコピー画像の画像側を表示する段階がさらに、前記インジケータを機械可読コードの形で表示することを含む、請求項１記載の方法。
インジケータを有する前記スキャンされたハードコピー画像の画像側を表示する段階がさらに、前記インジケータを可視的アイコンの形で表示することを含む、請求項１記載の方法。
インジケータを有する前記スキャンされたハードコピー画像の画像側を表示する段階がさらに、前記インジケータを年月日／時刻として表示してその年月日／時刻が未来であればユーザーがスキャンされた非画像側を閲覧することを制限することを含む、請求項１記載の方法。
前記ハードコピー画像のスキャンされた画像側から生成されたJPEGファイルのEXIFヘッダに、JPEG、AVI、TIFF、MOV、MP3、WAV、M4P、M4A、TXTおよびDOCからなる群より選択される一つまたは複数のフォーマットをもつデータを記憶することをさらに含む、請求項１記載の方法。
デジタル化された画像側と非画像側を互いに近接して表示することをさらに含む、請求項１記載の方法。
デジタル化された画像側と非画像側を個々の適正な配向で表示することをさらに含む、請求項１記載の方法。
ハードコピー画像の画像側をスキャンする段階がさらに、前記画像側を、既存の標準的なJPEGビューアおよびエディタと互換であるようデジタル化することを含む、請求項１記載の方法。
デジタル化された画像側および非画像側を、デジタル・メディア・フレーム、ポータブル自己完結型メディア・ビューア、コンピュータ、テレビジョン、ゲーム・システム、セットトップボックス、デジタル・カメラ、携帯電話およびハードコピー・メディアからなる群より選択される少なくとも一つの装置上で呈示することをさらに含む、請求項１記載の方法。
スキャンされた非画像側デジタル・ファイルを抽出するためにアクセス・キーを提供することをさらに含む、請求項１記載の方法。
前記非画像側デジタル・ファイルを更新することをさらに含む、請求項１記載の方法。
スキャンされたハードコピー画像から得られた補助画像データを単一のJPEGファイル中に記憶し、取り出すシステムであって：
前記ハードコピー画像の画像側および非画像側をデジタル化するスキャナと；
前記ハードコピー画像のデジタル化された非画像側を、前記ハードコピー画像のデジタル化された画像側から生成されたJPEGファイルのEXIFヘッダ中に記憶するための前記スキャナに結合されたメモリと；
前記JPEGファイルのEXIFヘッダから前記デジタル化された非画像側を抽出してそのデジタル化された非画像側を前記デジタル化された画像側と関連付けて表示するためのインジケータを有する前記デジタル化された画像側を呈示するディスプレイとを有する、
システム。
前記インジケータが機械可読コードの形である、請求項１２記載のシステム。
前記インジケータが視覚的な可読インジケータの形である、請求項１２記載のシステム。
前記デジタル化された非画像側が、前記ハードコピー画像のスキャンされた画像側から生成されたJPEGファイルのEXIFヘッダに、JPEG、AVI、TIFF、MOV、MP3、TXTおよびDOCからなる群より選択される一つまたは複数のフォーマットをもつデータを記憶することをさらに含む、請求項１２記載のシステム。
デジタル化された画像側と非画像側が互いに近接している、請求項１２記載のシステム。
デジタル化された画像側と非画像側がそれぞれ個々の適正な配向で表示される、請求項１２記載のシステム。
前記画像側が、既存の標準的なJPEGビューアおよびエディタと互換であるようデジタル化される、請求項１２記載のシステム。
デジタル化された画像側および非画像側が、デジタル・メディア・フレーム、ポータブル自己完結型メディア・ビューア、コンピュータ、テレビジョン、ゲーム・システム、セットトップボックス、デジタル・カメラ、携帯電話およびハードコピー・メディアからなる群より選択される少なくとも一つの装置上で呈示される、請求項１２記載のシステム。
スキャンされた非画像側デジタル・ファイルを抽出するためのアクセス・キーをさらに有する、請求項１２記載のシステム。
前記非画像側デジタル・ファイルが更新されることができる、請求項２１記載のシステム。