JP2007534238A - 高ダイナミックレンジ画像の符号化、復号化、及び表現 - Google Patents

Abstract

高ダイナミックレンジ画像を定義するデータ構造は、低ダイナミックレンジ及びＨＤＲ情報を有するトーンマップを含む。高ダイナミックレンジ画像は、トーンマップ及びＨＤＲ情報から再構築できる。データ構造は、従来のハードウェア又はソフトウェアビューアと下位互換可能である。データ構造には、ＪＦＩＦファイル又はＭＰＥＧファイルを含み得る。ＪＦＩＦファイルは、ＪＦＩＦファイルのアプリケーション拡張子又はコメントフィールドにおいてＨＤＲ情報でＪＰＥＧ画像として符号化されたトーンマップを有する。ＭＰＥＧファイルは、ＭＰＥＧファイルの映像又は音声チャネルにおいてＨＤＲ情報でＭＰＥＧ画像として符号化されたトーンマップを有する。データ構造を符号化又は復号化するための装置及び方法は、事前又は事後補正を適用して高ダイナミックレンジ情報の不可逆符号化を補償し得る。

Description

本発明は、高ダイナミックレンジデジタル画像に関する。本発明は、特に、高ダイナミックレンジ画像を符号化及び復号化するための方法及び装置に関し、また、デジタル高ダイナミックレンジ画像を含むデータ構造に関する。

人間の視覚は、１：１０，０００までのコントラスト比を認識可能である。即ち、人は、あるシーンの幾つかの部分が、そのシーンの他の部分より１０，０００倍明るいシーンを取り入れ、そのシーンの最も明るい及び最も暗い部分双方の詳細を見ることができる。更に、人間の視覚は、更に６桁の大きさに渡って、その感度をより明るい又はより暗いシーンに順応させることができる。

ほとんどの従来のデジタル画像フォーマット（所謂、２４ビットフォーマット）は、画像の各画素の色及び輝度情報を記憶するために２４ビットまで用いる。例えば、画素の赤、緑及び青（ＲＧＢ）の各々の値は、１バイト（８ビット）で記憶し得る。そのようなフォーマットは、約２桁のオーダに渡る輝度変動しか表現できない（各バイトは、２５６の可能な値のうちの１つを記憶し得る）。デジタル画像（静止画像及び映像画像双方を含む）を表現するための多数の標準フォーマットが存在する。これらのフォーマットは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｅ）、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）、ＢＭＰ（ＢｉｔＭａｐ）、ＰＮＧ（Ｐｏｒｔａｂｌｅ Ｎｅｔｗｏｒｋ Ｇｒａｐｈｉｃｓ）、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）等を含む。そのようなフォーマットは、最も普通に利用可能なタイプの電子表示装置によって再生し得るもの以上の画像情報を保持しようとしないため、“出力指定標準”と呼ばれることがある。最近まで、コンピュータ表示装置、テレビ、デジタル映画映写機等の表示装置は、１：１０００程度より良いコントラスト比を有する画像を正確に再生することが不可能であった。

譲渡人及び他者によって開発される表示装置技術は、高ダイナミックレンジ（ＨＤＲ）を有する画像を再生することが可能である。そのような表示装置は、従来の表示装置より現実の世界のシーンを更に忠実に表現する画像を再生し得る。将来利用可能になるこれらの表示装置及び他のＨＤＲ表示装置上でＨＤＲ画像を記憶し再生するためのフォーマットが必要である。

デジタルデータとしてＨＤＲ画像を記憶するための多数のフォーマットが、提案されている。これらのフォーマットには様々な不利な点がある。多数のこれらのフォーマットは、専用のソフトウェアだけを利用して閲覧し得る膨大な大きさの画像ファイルを生じる。デジタルカメラの製造業者には、自社開発のＲＡＷフォーマットを提供するものもある。これらのフォーマットは、データ記憶要求の点において、カメラ独特であり、また、過剰な傾向がある。

高ダイナミックレンジ画像を記憶し、交換し、再生するための便利な枠組みが必要である。特に、既存の画像ビューア技術と下位互換性があるような枠組みが必要である。ハードウェアベースの画像デコーダを有するＤＶＤプレーヤ等の従来の装置によって画像を再生する必要がある場合、特に下位互換性に対するニーズがある。

本発明の一態様は、高ダイナミックレンジ画像データを符号化するための方法を提供する。本方法は、高ダイナミックレンジ画像データに対応するトーンマップデータを取得することを伴う。トーンマップデータは、高ダイナミックレンジ画像データのものより小さいダイナミックレンジを有する。本方法は、高ダイナミックレンジ画像データの値とトーンマップデータの対応する値との比率を含む比率データを演算し、その比率データに基づき、高ダイナミックレンジ情報を生成し、トーンマップデータに基づきトーンマップ情報を生成し、高ダイナミックレンジ情報及びトーンマップ情報をデータ構造に記憶する。

本データ構造は、従来の画像ビューアによって判読可能である。従来の画像ビューアは、トーンマップ情報を読み出し、高ダイナミックレンジ情報を無視し得る。幾つかの実施形態において、本データ構造は、ＪＦＩＦファイルを含み、トーンマップ情報は、ＪＰＥＧ画像を含む。幾つかの実施形態において、データ構造は、ＭＰＥＧファイルを含み、トーンマップ情報は、ＭＰＥＧ映像のフレームを含む。

本発明の他の態様は、初期ダイナミックレンジを有する高ダイナミックレンジ画像を表現するためのデータ構造を提供する。本データ構造は、トーンマップ部及び高ダイナミックレンジ情報部を含む。トーンマップ部は、画像を表現するトーンマップ情報を含み、初期ダイナミックレンジより小さいダイナミックレンジを有する。高ダイナミックレンジ情報部は、高ダイナミックレンジ画像の輝度値に対するトーンマップ部の輝度値の比率を記述する情報を含む。

本発明の他の態様は、高ダイナミックレンジ画像を符号化するための装置を提供する。

以下、本発明の実施形態について説明する。
本発明の一態様は、ＨＤＲ画像を表現するためのデータ構造（ＨＤＲデータ構造）を提供する。好適な実施形態において、ＨＤＲデータ構造によって、標準画像閲覧ソフトウェアを用いて、標準ダイナミックレンジモードで画像を閲覧でき、また、ＨＤＲビューアや適切なＨＤＲ表示装置を用いて、同じ画像の高ダイナミックレンジバージョンを高ダイナミックレンジモードで閲覧し得る。

図１は、ＨＤＲデータ構造１６を生成し、また、ＨＤＲデータ構造１６によって表される画像を閲覧するための本発明によるシステム１０を示す。図２は、ＨＤＲデータ構造を生成するためのシステム１０によって行われる方法３０並びにＨＤＲデータ構造１６におけるデータからの画像を表示するための他の選択肢としての方法３１Ａ及び３１Ｂを示す。

システム１０は、ＨＤＲ原画像データ１２に基づき、ＨＤＲ画像データ構造１６を生成するためのエンコーダ１４を含む。データ構造１６は、標準デコーダ１８によって復号して標準ダイナミックレンジ画像１９を提供し得る。本発明の幾つかの実施形態において、標準デコーダ１８は、“従来の”ハードウェアデコーダ、又は適切な画像ビューアソフトウェア等のソフトウェアベースのデコーダを含む。データ構造１６は、ＨＤＲデコーダ２０によって復号して、再構築されたＨＤＲ画像２１を生成し得る。

方法３０は、ＨＤＲ画像データ１２を取り込むことによって、ブロック３２で始まる。ＨＤＲ画像データ１２は、画像の画素の輝度を直接又は間接的に指定する情報を含む。ＨＤＲ画像データ１２は、任意の適切なフォーマットであってよく、また、適切なＨＤＲカメラを利用して取り込んだり（複数の露出を組み合わせることによって可能）、又は、コンピュータで直接描画したりできる。ＨＤＲ画像データ１２の供給源は、本発明を実施する上で重要ではない。

また、方法３０によって、ＨＤＲ画像データ１２に対応するトーンマップデータ１５が得られる（ブロック３４）。トーンマップデータ１５は、ＨＤＲ画像１２の画像の類似点を表現するが、ＨＤＲ画像データ１２より小さいダイナミックレンジを有する。トーンマップデータ１５は、ライン１３によって示すように、ＨＤＲ画像データ１２から生成し得る。あるいは、いずれか他の方法では、ＨＤＲ画像データ１２と共通の供給源を有するデータから導出し得る。トーンマップデータ１５がＨＤＲ画像データ１２から導出されない場合、トーンマップデータ１５及びＨＤＲ画像データ１２が得られる順番（即ち、ブロック３２及び３４の順番）は、重要ではない。

エンコーダ１４は、データ構造１６を生成する。データ構造１６は、トーンマップデータ１５に基づくトーンマップ部１６Ａと、ＨＤＲ情報部１６Ｂとを含み、ＨＤＲ情報部１６Ｂは、ＨＤＲデコーダ２０によってトーンマップ部１６Ａからのデータと組み合わせて、ＨＤＲ画像データ１２又はそれに極めて近いものを再構築し得る情報を含む。方法３０は、トーンマップデータ１５（即ち、データ構造１６のトーンマップ部１６Ａから再構築されたトーンマップデータ）とＨＤＲ画像データ１２とを比較することによって、ＨＤＲ情報部を生成する（ブロック３６）。ブロック３８において、方法３０は、トーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂをデータ構造１６に記憶する。

本発明の好適な実施形態において、データ構造１６には、標準デコーダによって読み出し低いダイナミックレンジ（ＬＤＲ）画像を生成し得るフォーマットがある。標準デコーダ１８は、復号化方法３１Ａを実現し得る。標準デコーダ１８は、トーンマップ部１６Ａを検索し、トーンマップ部１６Ａによって表現された画像を表示することによって、標準ＬＤＲ画像１９を生成する（ブロック３９）。標準デコーダは、ＨＤＲ情報部１６Ｂを無視し得る。

また、データ構造１６は、ＨＤＲデコーダ２０によって読み出し得る。ＨＤＲデコーダ２０は、復号化方法３１Ｂを実現し、トーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂ双方からの情報に基づき、ＨＤＲ画像２１を生成する。方法３１Ｂは、ブロック４０において、データ構造１６のトーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂからデータを検索する。ブロック４２において、再構築されたＨＤＲ画像は、ＨＤＲ情報部１６ＢからのＨＤＲ情報によりトーンマップ部１６Ａから抽出されるトーンマップを修正することによって生成される。再構築されたＨＤＲ画像は、ブロック４４において表示される。

トーンマップ部１６Ａは、任意の適切なフォーマットであってよい。例えば、トーンマップ部１６Ａは、ＪＰＥＧ、ＭＰＥＧ、ＡＶＩ、ＴＩＦＦ、ＢＭＰ、ＧＩＦ又はいずれか他の適切なフォーマットであってよい。トーンマップ部１６Ａは、ＨＤＲ原画像１２のものより小さいダイナミックレンジの画像における画素の輝度を直接又は間接的に指定する情報を含む。ＨＤＲ画像データ１２が、色画像を指定する場合、トーンマップ部１６Ａは、好適には、画像中の画素の色を指定する情報を含む。

本発明の幾つかの実施形態において、データ構造１６は、ＪＰＥＧファイル交換フォーマット（ＪＦＩＦ）によりフォーマット化されたファイルを含む。そのような実施形態において、トーンマップ部１６Ａは、ＪＦＩＦファイルの画像部に含み得る。また、ＨＤＲ情報部１６Ｂは、ＪＦＩＦファイルの１つ又は複数のアプリケーション拡張子部及び／又はＪＦＩＦファイルの１つ又は複数のコメント部に記憶し得る。そのような実施形態において、任意の標準ＪＰＥＧビューアは、データ構造１６を開くことができ、また、ＨＤＲの原データ１２又は再構築されたＨＤＲ画像２１のものより小さいダイナミックレンジでトーンマップ部１６Ａに供給された画像を表示し得る。

標準ＪＰＥＧビューアは、サポートしないＪＦＩＦファイルのアプリケーション拡張子を無視する。従って、ＨＤＲ情報部１６Ｂの存在は、任意の標準ＪＰＥＧビューアを用いたデータ構造１６からの画像の閲覧に対して、ほとんど影響を及ぼさない。ＨＤＲ情報１６ＢがＪＦＩＦファイルのコメントフィールドにある場合、ＪＦＩＦファイルのコメントフィールドを読もうとするアプリケーションもあることから、ＨＤＲ情報１６Ｂは、ＡＳＣＩＩテキストとして符号化するのが好ましい。そのようなアプリケーションは、コメントフィールドがテキストだけを含むと予想し、予想外のタイプのデータを含むコメントフィールドを開こうとする際に、不適切に動作することがある。バージョン１．２は、ＪＦＩＦの１つのバージョンである。ＪＦＩＦバージョン１．２は、ＩＳＯ＿ＤＩＳ１０９１８−１の付録Ｂに記載されており、本明細書において引用・参照する。

本発明の幾つかの実施形態において、データ構造１６は、ＭＰＥＧフォーマットのファイルを含む。そのような実施形態において、トーンマップ部１６Ａは、ＭＰＥＧファイルの画像部に含み得る。また、ＨＤＲ情報部１６Ｂは、ＭＰＥＧファイルの１つ又は複数のアプリケーション拡張子及び／又はＭＰＥＧファイルの１つ又は複数のコメント部に記憶し得る。そのような実施形態において、任意の標準ＭＰＥＧビューアは、データ構造１６を開くことができ、また、ＨＤＲの原データ１２又は再構築されたＨＤＲ画像２１のものより小さいダイナミックレンジでトーンマップ部１６Ａに供給された画像を表示し得る。１つのＨＤＲ情報部１６Ｂは、ＭＰＥＧ映像ファイルの各フレームに関連付け得る。あるいは、キーフレームを用いるＭＰＥＧのバージョンの場合、ＨＤＲ情報部１６Ｂは、キーフレームだけに関連付け得る。従来のＭＰＥＧキーフレーム補間手法は、キーフレーム間フレーム（即ち、キーフレーム間にあるフレーム）を生成するために用い得る。

標準ＭＰＥＧビューアは、サポートしないＭＰＥＧファイルのチャネルを無視する。従って、ＨＤＲ情報部１６Ｂの存在は、任意の標準ＭＰＥＧビューアを用いたデータ構造１６からの画像の閲覧に対して、ほとんど影響を及ぼさない。ＨＤＲ情報１６Ｂが、ＭＰＥＧファイルのコメントフィールドにある場合、ＭＰＥＧファイルのコメントフィールドを読もうとするアプリケーションもあることから、ＨＤＲ情報１６Ｂは、ＡＳＣＩＩテキストとして符号化するのが好ましい。そのようなアプリケーションは、コメントフィールドがテキストだけを含むと予想し、予想外のタイプのデータを含むコメントフィールドを開こうとする際に、不適切に動作することがある。

トーンマップ部１６Ａは、何らかの適切な方法で、トーンマップデータ１５から生成し得る。例えば、トーンマップ部１６Ａは、適切なトーンマッピング演算子を用いて生成し得る。トーンマッピング演算子は、好適には、以下の特性を有する。即ち、
・ＨＤＲの原入力（即ち、ＨＤＲ原画像データ１２）が、標準の動的な解像度（通常、２４ビット）の出力領域に円滑にマッピングされる。

・トーンマッピング演算子の出力の成分が、０又は２５５の値でクランプされない。
・色相が、各画素に対して維持される。
・トーンマッピング演算子が飽和値を変える場合、可逆的関数によって記述し得る軽度の変更のみを行う。

本発明者らは、デュラン（Ｄｕｒａｎｄ）及びドロシー（Ｄｏｒｓｅｙ）による“高ダイナミックレンジ画像の表示のための高速バイラテラルフィルタ処理”、グラフィックスに関するＡＣＭ議事録、２１、３、２４９−２５６（２００２）に記載されたバイラテラルフィルタが適切なトーンマッピング演算子を提供することを確認している。トーンマップ部１６Ａは、ＪＰＥＧエンコーダ又はＭＰＥＧエンコーダ等の適切なエンコーダを用いて、符号化し得る。

トーンマップ部１６Ａは、何らかの適切な方法で、画素色値を表現し得る。例えば、画素色値は、ＲＧＢ（赤、緑、青）値、ＣＭＹＫ（シアン、マゼンタ、黄、黒）値、ＹＣｂＣｒ（輝度及びクロミナンス）値等として表現し得る。トーンマップ部１６Ａのデータは、任意の適切な圧縮方式を用いて圧縮し得る。例えば、トーンマップ部１６Ａのデータは、ＪＰＥＧ又はＭＰＥＧ標準と互換性がある方式で圧縮し得る。

本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂは、個々の画素に対してトーンマップ部１６Ａによって指定された値と、同じ画素に対してＨＤＲ原画像１２によって指定された値との間の比率を含む。そのような実施形態において、ＨＤＲ情報１６Ｂは、ＨＤＲ原画像１２によって指定された値をトーンマップ部１６Ａによって指定された対応する値で除算することによって生成し得る。この演算により生じるデータは、ＨＤＲ情報部１６Ｂとして記憶し得る。ＨＤＲ情報部１６Ｂのデータ値が表現される精度を選択して、許容可能な品質を再構築されたＨＤＲ画像に提供し得る。本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂのデータ値の各々は、圧縮に先立って、１バイト（８ビット）によって表現される。

本発明の幾つかの実施形態において、ＨＤＲ情報部１６Ｂは、再構築されたＨＤＲ画像２１の画素の輝度と、対応する画素に対してトーンマップ情報１６Ａによって指定された輝度との間の関係を指定する。そのような実施形態において、ＨＤＲ情報部１６Ｂは、色情報を含む必要がない。

ＨＤＲ情報部１６Ｂには、画像内の領域又は画素に対してＨＤＲ原画像１２によって指定された輝度と、対応する領域又は画素に対してトーンマップ部１６Ａによって指定された輝度との比率を含み得る。そのような実施形態において、色情報は、トーンマップ部１６Ａによって保持される。そのような実施形態において、ＨＤＲ部１６Ｂは、階調画像と同じ構造を有し得る。例えば、ＨＤＲデータ構造１６がＪＦＩＦファイルを含む場合、ＨＤＲ部１６Ｂは、ＪＰＥＧ階調画像として符号化し得る。ＨＤＲデータ構造１６がＭＰＥＧファイルを含む場合、ＨＤＲ部１６Ｂは、ＭＰＥＧ階調画像として符号化し得る。

図３は、本発明の一実施形態によるＨＤＲエンコーダ５０を示す。なお、ここでは、データ構造１６のＨＤＲ部１６Ｂを作るために用いられるＨＤＲ情報は、ＨＤＲ画像１２の画素値と、トーンマップ部１６Ａによって指定された対応する値との比率を含む。エンコーダ５０は、ＨＤＲ画像データ１２を受信する。エンコーダ５０は、破線１３及びトーンマップ生成器１７によって示すように、ＨＤＲ画像データ１２からトーンマップデータ１５を抽出することによって、又は、破線１３Ａによって示すように、他の何らかの供給源からトーンマップデータ１５を受信することによって、トーンマップデータ１５を取得する。トーンマップ生成器１７は、好適には、色又は輝度値をクリッピングせず、トーンマップデータ１５における各画素に対して色及び輝度比率を維持する。

例示した実施形態において、エンコーダ５０は、標準エンコーダ５２を含む。標準エンコーダは、トーンマップデータ１５を符号化して、符号化されたトーンマップデータ１５Ａを生成する。符号化されたトーンマップデータ１５Ａは、標準ビューアで読み出し得る。例えば、標準エンコーダ５２は、ＪＰＥＧ又はＭＰＥＧビューアによって読み出し得るＪＰＥＧ又はＭＰＥＧ符号化トーンマップデータとしてトーンマップデータ１５を符号化するエンコーダを含み得る。符号化されたトーンマップデータは、ＨＤＲデータ構造１６のトーンマップデータ部１６Ａに保存される。

本発明の幾つかの実施形態において、エンコーダ５０は、符号化されたトーンマップデータ１５Ａを外部の何らかの供給源から受信する。そのような実施形態において、エンコーダ５０は、標準エンコーダ５２を組み込む必要がない。

符号化されたトーンマップデータ１５Ａは、デコーダ５４によって復号され、再構築されたトーンマップデータ５５を生成する。ＨＤＲ画像データ１２は、除算器５６によって、再構築されたトーンマップデータ５５で除算され、比率データ５７を生成する。比率データ５７は、オプションとして、データ圧縮器５８によって圧縮され、ＨＤＲ情報１６Ｂを生成する。データ圧縮器５８は、ＪＰＥＧ又はＭＰＥＧエンコーダを便宜的に含み得る。本発明の幾つかの実施形態において、同じＪＰＥＧ又はＭＰＥＧエンコーダを用いて、ＨＤＲデータ構造１６のトーンマップ部１６Ａ及びＨＤＲ情報部１６Ｂ双方を符号化する。

本発明の幾つかの実施形態において、比率データ５７は、ＨＤＲ画像データ１２の値と、トーンマップデータ１５（又はトーンマップ部１６Ａ）によって指定された対応する値との比率の何らかの関数を含む。例えば、比率データ５７には、そのような比率の対数を指定する情報を含み得る。

本発明の幾つかの他の実施形態において、トーンマップデータ１５は、ライン５３によって示すように、除算器５６に直接供給される。そのような実施形態では、デコーダ５４は必要ない。トーンマップ部１６Ａが、ＪＰＥＧ又はＭＰＥＧ符号化等の不可逆（ｌｏｓｓｙ）アルゴリズムを用いて符号化される場合、ＨＤＲ情報部１６Ｂを、トーンマップデータ１５に基づかせる代わりに、再構築されたトーンマップデータ５５に基づかせることが好ましい。再構築されたトーンマップデータ５５にＨＤＲ情報部１６Ｂを基づかせると、トーンマップ情報部１６Ａが、不可逆符号化（ｌｏｓｓｙ ｅｎｃｏｄｉｎｇ）処理によって符号化される場合、ＨＤＲデータ構造１６からＨＤＲ画像データ１２を更に正確に再構築できる。トーンマップデータ１５よりもむしろトーンマップ情報部１６Ａを用いて、ＨＤＲ画像２１（図１）を再構築する。

圧縮器５８は、任意の数の形態をとり得る。本発明の幾つかの実施形態において、圧縮器５８は、１つ又は複数の以下の動作を行う。即ち、
・比率データ５７のダウンサンプリング。
・比率データ５７の圧縮。

圧縮には任意の適切な形態を用い得る。本発明の現在の好適な実施形態において、圧縮器５８は、比率データ５７をダウンサンプリングすると共にダウンサンプリングされた比率データを符号化する。比率データ５７がダウンサンプリングされる場合、ＨＤＲ情報部１６Ｂは、比率データ５７又はトーンマップデータ１５の画像サイズより小さい画像サイズを有する（即ち、ＨＤＲ情報部１６Ｂは、比率データ５７又はトーンマップデータ１５が値を指定する数の画素より少ない数の画素に対する値を指定する）。そのような場合、ＨＤＲ情報部１６Ｂは、トーンマップデータ１５より低い空間解像度を有する。

比率データ５７がダウンサンプリング又は他の不可逆圧縮手順を受ける本発明の実施形態において、ＨＤＲ情報１６Ｂには、ＨＤＲ画像データ１２を正確に再構築するために必要な全ての細目が欠如することがある。比率データ５７の不可逆圧縮に起因する歪は、トーンマップ部１６Ａ及び／又はＨＤＲ情報部１６Ｂに補正を適用することによって少なくとも部分的に補正し得る。

図４は、トーンマップ部１６Ａ又はＨＤＲ情報部１６Ｂのデータに補正を適用して、トーンマップ部１６Ａ及び／又はＨＤＲ情報部１６Ｂの不可逆符号化に起因するアーティファクトを低減する方法６０の作用を示すフローチャートである。方法６０は、ブロック６２及び６４において、ＨＤＲ画像データ９０及びトーンマップデータ９１を取り込む。ＨＤＲ画像データ９０及びトーンマップデータ９１は、上述した方法を含む何らかの適切な方法で得られる。幾つかの実施形態において、トーンマップデータ９１は、矢印６５によって示すように、ＨＤＲ画像データ９０から抽出される。

ブロック６６において、トーンマップデータ９１が、符号化され、符号化されたトーンマップデータ９２を生成する。本発明の幾つかの実施形態において、符号化ブロック６６は、ＪＰＥＧ又はＭＰＥＧ符号化を含む。その後、ブロック６８において、符号化されたトーンマップデータ９２が復号されて、再構築されたトーンマップデータ９４が生成される。再構築ブロック６８は、ブロック６６がＪＰＥＧ又はＭＰＥＧ符号化を含む場合、符号化されたトーンマップデータ９２をＪＰＥＧ又はＭＰＥＧデコーダ等の適切なデコーダに渡す。

ブロック７０は、入力として、ＨＤＲ画像データ９０からの値（第１値）及び再構築されたトーンマップデータ９４からの対応する値（第２値）をとる関数を適用することによって、比率データ９６を生成する。この関数は、第１値を第２値で除算する段階又はその逆の段階を含む。本発明の簡単な実施形態では、比率データ９６は、下式によって与えられる画像中の各画素に対する値ＲＩを含む。

上式において、（ｘ，ｙ）は、画素を特定する座標であり、Ｌは、画素のデータから画素の輝度を返す関数であり、ＨＤＲ（ｘ，ｙ）は、座標（ｘ，ｙ）のＨＤＲ画像データ９０の画素データであり、ＴＭ（ｘ，ｙ）は、座標（ｘ，ｙ）の画素に対する再構築されたトーンマップデータ９４（又は、トーンマップデータ９１）の画素データである。幾つかの実施形態において、比率データは、ＲＩの対数、ＲＩの平方根、又はＲＩの他の関数を記憶する。

ブロック７２及び７４は、比率データ９６を符号化する。本例の実施形態において、この符号化は、ブロック７２において比率データ９６をダウンサンプリングして、ダウンサンプリングされた比率データ９８を生成すること、次に、そのダウンサンプリングされた比率データ９８を圧縮して、符号化された比率データ１００を生成すること、を含む。ブロック７２で行われるダウンサンプリングの量は、ＨＤＲ画像部１６Ｂを小さくすること、及びＨＤＲデータ構造１６から再構築されたＨＤＲ画像に最も高い忠実度でＨＤＲ画像データ９０を再生させること、の競合する目標に基づき選択し得る。本発明の幾つかの実施形態において、比率データ９６は、ダウンサンプリングされた比率データ９８が比率データ９６よりも１／４乃至１／１５の範囲だけ少ない画素を有するように、充分にダウンサンプリングされる。

例えば、ダウンサンプリングは、ｅ^{−（ｘ＾２／Ｒ＾２）}の重み付け公式に従うガウスのフィルタカーネル（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ ｋｅｒｎｅｌ）を用いて行ない得る。なお、式中、ｘは、入力画像の出力画素の中心からの距離であり、Ｒは、ダウンサンプリング半径である。ダウンサンプリング半径は、寄与する入力画素の重みの合計が出力画素の合計値のかなりの部分になる領域と定義し得る。

任意の適切な形態のデータ圧縮がブロック７４で行われる。本発明の幾つかの実施形態において、ブロック７４では、ＪＰＥＧ符号化を行う。本発明の他の実施形態において、ブロック７４では、ＭＰＥＧ符号化を行う。

ブロック７６において、再構築された比率データ１０２は、符号化された比率データ１００を復号することによって生成される。再構築された比率データ１０２は、ブロック７４及び７６におけるデータ欠落のために、通常、比率データ９６と同じではない。

ブロック７８において、再構築されたＨＤＲ画像データ１０４は、ブロック７０で比率データに適用された関数の逆関数を再構築された比率データ１０２に適用することによって、そして、各画素に対して、再構築されたトーンマップデータ９４の画素の輝度にその結果を乗ずることによって生成される。例えば、比率データ９６が、式（１）において定義される値ＲＩを記憶する場合、再構築されたＨＤＲ画像データ１０４は、再構築されたトーンマップデータ９４の各画素の輝度に再構築された比率データ１０２からの対応するＲＩの値を乗ずることによって得ることができる。例えば、比率データが、自然対数値Ｉｎ（ＲＩ）を記憶する場合、再構築されたＨＤＲ画像データ１０４は、自然対数の底であるｅを再構築された比率データ１０２の値で累乗することによって、そして、その結果に再構築されたトーンマップデータ９４の各画素の輝度を乗ずることによって得ることができる。

再構築された比率データ１０２が元の比率データ９６と同じではないため、さらには、通常あまり重要ではないが、比率データ９６の丸め誤差（ｒｏｕｎｄｉｎｇ ｅｒｒｏｒ）のために、再構築されたＨＤＲ画像データ１０４はＨＤＲ原画像データ９０とは異なる。オプションとして、ブロック８０は、再構築されたＨＤＲ画像データ１０４とＨＤＲ原画像データ９０とを比較して、何らかの補正が必要かどうかを判断し、また、その補正をどのように行うかを決定する。補正は、トーンマップ部１６Ａのデータを補正することによって、及び／又はＨＤＲ情報部１６Ｂのデータを補正することによって行ない得る。幾つかの方法は、単に、これら補正の一方又は他方を行う。

ブロック８２では、補正されたトーンマップデータ１０６を取得する。補正されたトーンマップデータ１０６は、ＨＤＲ原画像データ９０を再構築された比率データ１０２で除算することによって得ることができる。そして、補正されたトーンマップデータ１０６は、必要に応じて、ブロック８３によって符号化され、ブロック８４においてＨＤＲデータ構造１６のトーンマップデータ部１６Ａとして記憶される。この事前補正は、再構築された比率データ１０２が利用可能になった後は、いつでも実行し得る。多くの目的の場合、この事前補正は、従来の画像ビューアでトーンマップデータ部１６Ａを閲覧することによって見ることができる画像を大幅に劣化させることはない。この補正は、この補正が無い状態の場合より、トーンマップ部１６Ａによって表現された画像を若干鮮明にする傾向にある。再構築されたＨＤＲ画像データ１０４は、ブロック８６においてＨＤＲデータ構造１６のＨＤＲ情報部１６Ｂとして記憶し得る。

トーンマップ部１６Ａに記憶されたトーンマップデータを変更することが望ましくない場合がある。例えば、符号化されたトーンマップデータ９２は、例えば、ＤＶＤプレーヤのＭＰＥＧデコーダ等の特定のビューアで閲覧される際、最良の画像品質を提供するために最適化されている。そのような場合には、符号化されたトーンマップデータ９２は、データ構造１６のトーンマップ部１６Ａに記憶し、比率データ９６は、ＨＤＲデータ構造１６のＨＤＲ情報部１６Ｂに記憶される。データ構造１６から生成されたＨＤＲ画像の見た目に対する補正は、ＨＤＲ画像の再構築時、ＨＤＲ情報部１６Ｂを補正することによって成し得る。例えば、ＨＤＲ情報部１６Ｂのデータは、ＨＤＲ画像を処理可能なビューアによって補正する。

図５は、ＨＤＲ情報部１６Ｂのデータに事後補正を適用して、ＨＤＲ情報部１６Ｂの不可逆符号化に起因するアーティファクトを低減する方法１１０の作用を示すフローチャートである。方法１１０は、ＨＤＲ画像を処理可能なプロセッサ上で実行される。トーンマップデータ部１６Ａはブロック１１２において標準デコーダによって復号され、標準画像１９が生成される。復号されたトーンマップ情報は、ブロック１１４においてＨＤＲ情報部１６Ｂを補正するために用いられる。補正されたＨＤＲ情報はブロック１１６においてＨＤＲデコーダによって復号され、再構築されたＨＤＲ画像２１が生成される。

簡単な事例では、トーンマップデータ部１６Ａによって表現されたフル解像度画像の空間周波数の内容が、比率データ９６のものとほとんど同じである場合、補正された比率データは、以下の計算を実施することによって得ることができる。

上式において、ＲＩ_{ＣＯＲＲＥＣＴＥＤ}は、補正されたＨＤＲ情報が基づくＲＩの補正された値である。ない。ＲＩは、比率データ９６からの画素の比率であり、Ｌ（ＴＭ）は、トーンマップデータ９１からの画素の輝度であり、Ｌ（ＴＭ_Ｒ）は、ブロック７２で行われるのと同じ方法でダウンサンプリングされ、ダウンサンプリングされた比率データ９８を生成するトーンマップデータの対応する画素の輝度である。ＴＭ及びＴＭ_Ｒが同じ解像度を有するように、トーンマップデータは、ダウンサンプリングされ、比率画像ＲＩと同じように再度アップサンプリングし得る。

比率データ９６にある空間周波数は、全ての画像に対して、トーンマップデータ９１にある空間周波数と同じではないことから、この単純な補正は、常に適切であるとは限らない。従って、比率データ９６のＲＩの値と、Ｌ（ＴＭ_Ｒ）の対応する値との間の比率の分散を考慮する因子を補正関数に含むことが好ましい。この分散を考慮する１つの方法は、下式に基づき、補正された値ＲＩ_{ＣＯＲＲＥＣＴＥＤ}を生成することである。

上式において、σは、比率データ９６のＲＩの値と、Ｌ（ＴＭ_Ｒ）の対応する値との間の比率の分散の大きさである。本発明の幾つかの実施形態において、σは、下式に基づき演算される。

分散関数ｖａｒ（ｘ）は、近傍領域にある画素ｘの最大値と最小値との間の差異を、それら近傍領域にあるｘの平均値で除したもの、又は、近傍領域の中央に位置する画素のｘの値で除したものと定義し得る。例えば、分散は、対象とする画素を中心にした画素のブロック全体で算出し得る。σを計算する対象である近傍領域のサイズは、好適には、ブロック７２のダウンサンプリングのダウンサンプリング半径に等しい。

ブロック１１４によって提供される事後補正は、アーティファクトをもたらし得るため、補正の大きさの選択は、控えめであることが望ましい。例えば、ｖａｒ（Ｌ（ＴＭ_Ｒ））が、補正のために求められる誤差より大きい場合、σは、ゼロに設定し得る。誤差の大きさは、ブロック８０の比較によって決定され、データ構造１６に記憶し得る。また、０＜＝σ＜＝１を保証することも望ましい。σが、σ＞１である値を有すると、ＲＩ_{ＣＯＲＲＥＣＴＥＤ}の値が高くて望ましくない値になることがある。

ブロック８２、８３及び８４の事前補正をオプションとして行い、また、ＨＤＲ画像を閲覧する際、ブロック８３の補正を行わせ得る本発明の実施形態において、事前補正が行われたかどうか示すフラグをデータ構造１６に含むことが望ましい。フラグは、好適には、ＨＤＲ画像をサポートしない標準表示装置によってそれを無視し得るコメントフィールド又はアプリケーション拡張子フィールドに供給される。

ＨＤＲ表示装置は、従来の表示装置の全色領域外にある色を描写することも可能である。ＨＤＲ原画像データによって指定された色の高忠実度再生が可能なメカニズムを提供することが望ましい。強化された色を提供する１つの方法は、色情報を調整して、トーンマップ部１６Ａを符号化するために用いられるエンコーダ（例えば、ＪＰＥＧ又はＭＰＥＧエンコーダであってよい）によって効果的に操作し得る範囲外の原色成分を有する任意の色が、そのエンコーダによって操作し得る範囲に調整して戻されるようにすることである。比率データは、調整された色を正確に回復するように調整し得る。

強化された色を提供する１つの方法は、画像に一括不飽和を適用し、その間、トーンマップ部１６Ａを生成することである。画像の全ての色が、トーンマップ部１６Ａを符号化するために用いられるＪＰＥＧエンコーダや他のエンコーダによって効果的に操作し得る範囲内にあることを保証するために、不飽和の量を選択し得る。この方法は、負の原色成分を有する色を操作できることから、上述した方法より好ましい。負の原色成分は、幾つかのＨＤＲフォーマットで許容され、標準の全ＲＧＢ領域外の色を表現するために必要なことがある。不飽和処理は、復号化時、ＨＤＲビューアによって戻すことができる。

入力色飽和レベルは、以下のように定義し得る。

上式において、Ｓは、飽和レベルであり、Ｒ、Ｇ及びＢは、それぞれ赤、緑及び青原色成分の値であり、Ｙは、全体輝度である。飽和レベルは、画像が原色成分に対する何らかの負の値を含む場合、１より大きい値を有する。

飽和レベルがゼロである場合、画像の追加処理は、不要である。飽和レベルがゼロでない場合、飽和レベルは、下式により修正し得る。

上式において、α及びβは、パラメータであり、Ｓ’は、補正された飽和である。αパラメータは、符号化された色にどれくらいの飽和を維持するか示す。

飽和レベルの変更は、画像の各画素の原色成分に対する新しい値を導出することによって達成し得る。このことは、幾つかの実施形態において、下式に基づき行われる。

及び

及び

上式において、Ｒ’、Ｇ’及びＢ’は、それぞれＲ、Ｇ及びＢの調整された値である。

尚、この変換によって、輝度Ｙは変わらない。変換前に最も小さかった原色成分は、変換後最も小さいままである。元の色値は、式（７）、（８）及び（９）を逆にすることによって回復し得る。例えば、ある画素に対して最も小さい値を有する原色成分が青であった場合、その画素の青チャネルに対する逆変換は、下式によって与えられる。

また、赤及び緑チャネルに対する逆変換は、それぞれ下式によって与えられる。

及び

＜例＞
多数のＨＤＲ画像を、上述したように、ＨＤＲデータ構造１６に記憶する。原画像を、ＨＤＲデータ構造１６から再構築されたＨＤＲ画像と比較する。１９９３年、マサチューセッツ州ケンブリッジ、ＭＩＴ出版部、ワトソン（Ａ．Ｂ．Ｗａｔｓｏｎ）監修のデジタル画像と人間の視覚において、ダリー（Ｓ．Ｄａｌｙ）“視覚差異予測子：画像忠実度の評価のためのアルゴリズム”に記載されているダリーの視覚差異予測子（ＶＤＰ）を用いて、再構築されたＨＤＲ画像の何パーセントの画素が、通常の閲覧条件の下で、ＨＤＲ原画像の対応する画素と異なるものであると人間によって知覚される可能性があるか（例えば、７５％より大きい確率を有するか）を評価した。ＶＤＰは、画像間の差異をいつ知覚し得るかについての良好な予測子であることが分かった。

最初の組の実験は、種々のトーンマッピング演算子を用いてトーンマップ部１６Ａを生成し、また、各トーンマップ演算子に対して、上述した補正方法のうちの１つに基づき、トーンマップ部１６Ａ又はＨＤＲ情報部１６Ｂのいずれかを補正する段階を含む。トーンマップ部１６Ａ及びＨＤＲ情報１６Ｂを、ＪＰＥＧ符号化を用いて、２つの品質レベル９０及び１００で各々符号化する。この組の実験結果を表１に示す。

表１のＶＤＰ値は、多数の画像全体で平均される。トーンマッピング演算子の選択は、ＨＤＲデータ構造１６から再構築し得るＨＤＲ画像の品質にかなりの影響を及ぼすことが分かる。これらの実験に用いられるトーンマッピング演算子のうち、バイラテラルフィルタは、平均的に最良の結果を提供し得る。

本発明の或る実施例は、本発明の方法をプロセッサに行わせるソフトウェア命令を実行するコンピュータプロセッサを含む。例えばコンピュータシステムの１つ又は複数のプロセッサが、プロセッサが利用可能なプログラムメモリ中のソフトウェア命令を実行することによって、図１〜５のいずれかの方法を実現し得る。本発明は、プログラムプロダクトの形態でも提供し得る。このプログラムプロダクトには、コンピュータプロセッサによって実行されると、本発明の方法をデータプロセッサに実行させる命令を含む一組のコンピュータ判読可能信号を保持する任意の媒体を含み得る。本発明によるプログラムプロダクトは、多種多様な形態のいずれかであってよい。プログラムプロダクトには、例えば、フロッピーディスク、ハードディスクを含む磁気データ記憶媒体、ＣＤ＿ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体等の物理的な媒体、又は、デジタル又はアナログ通信リンク等の伝送タイプの媒体を含み得る。命令は、オプションとして、圧縮及び／又は暗号化フォーマットのコンピュータ判読可能信号であってよい。

構成要素（例えば、ソフトウェアモジュール、プロセッサ、組立体、装置、回路等）が上記において言及される場合、他に規定されない限り、その構成要素についての言及（“手段”についての言及を含む）は、本発明の例示した代表的な実施形態における機能を実行する開示した構成と構造的には等価でない構成要素等、記載した構成要素の機能を実行する（即ち、機能的に等価な）任意の構成要素をその構成要素の等価物として含むものとして解釈される。

上記実施形態は、当業者には理解し得るように、本発明の思想又は範囲から逸脱することなく、種々の変更及び修正が可能である。本発明の範囲は、添付の特許請求の範囲によって定義される内容に基づき解釈される。

本発明の一般的な実施形態によるＨＤＲ画像ファイルを生成するための方法を示すデータフロー図。 本発明によるＨＤＲ画像の符号化及び復号化方法の全体像を与えるフローチャート。 本発明の１つの具体的な実施形態によるＨＤＲ画像ファイルを生成するための方法を示すデータフロー図。 圧縮及び／又はダウンサンプリングに起因するアーティファクトの補正を行う本発明の幾つかの実施形態による方法を示すフローチャート。 ＨＤＲ画像の再構築時の圧縮及び／又はダウンサンプリングに起因するアーティファクトの補正を行う本発明の一実施形態による方法を示すフローチャート。

Claims (55)

1. 初期ダイナミックレンジを有する高ダイナミックレンジ画像データを符号化するための方法であって、
   前記高ダイナミックレンジ画像データに対応するトーンマップデータを取得することであって、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有する前記トーンマップデータを取得すること、
   前記高ダイナミックレンジ画像データの値と前記トーンマップデータの対応する値との比率を含む比率データを演算すること、
   前記比率データに基づき、高ダイナミックレンジ情報を生成すること、
   前記トーンマップデータに基づき、トーンマップ情報を生成すること、
   前記高ダイナミックレンジ情報及び前記トーンマップ情報をデータ構造に記憶すること、
   を備える方法。
2. 請求項１に記載の方法において、
   前記データ構造は、画像フィールド及びアプリケーション拡張子フィールドを含み、
   前記高ダイナミックレンジ情報及び前記トーンマップ情報を記憶することは、
   前記高ダイナミックレンジ情報を前記アプリケーション拡張子フィールドに記憶すること、
   前記トーンマップ情報を前記画像フィールドに記憶すること、
   を含む、方法。
3. 請求項１に記載の方法において、
   前記トーンマップ情報を生成することは、前記トーンマップデータをＪＰＥＧ符号化することを含む、方法。
4. 請求項３に記載の方法において、
   前記データ構造は、ＪＦＩＦデータ構造を含む、方法。
5. 請求項４に記載の方法は更に、
   前記高ダイナミックレンジ情報を前記ＪＦＩＦデータ構造のアプリケーション拡張子に記憶することを備える、方法。
6. 請求項４に記載の方法は更に、
   前記高ダイナミックレンジ情報を前記ＪＦＩＦデータ構造のコメントフィールドに記憶することを備える、方法。
7. 請求項６に記載の方法は更に、
   前記高ダイナミックレンジ情報を前記コメントフィールドに記憶する前に、前記高ダイナミックレンジ情報をテキストとして符号化することを備える、方法。
8. 請求項４に記載の方法において、
   前記高ダイナミックレンジ情報を生成することは、前記比率データを圧縮することを含む、方法。
9. 請求項８に記載の方法において、
   前記比率データを圧縮することは、前記比率データをダウンサンプリングすることを含む、方法。
10. 請求項８に記載の方法において、
    前記比率データを圧縮することは、前記比率データをＪＰＥＧ符号化することを含む、方法。
11. 請求項１に記載の方法において、
    前記トーンマップ情報を生成することは、前記トーンマップデータをＭＰＥＧ符号化することを含む、方法。
12. 請求項１１に記載の方法において、
    前記データ構造は、ＭＰＥＧデータ構造を含む、方法。
13. 請求項１２に記載の方法は更に、
    前記高ダイナミックレンジ情報を前記ＭＰＥＧデータ構造のアプリケーション拡張子に記憶することを備える、方法。
14. 請求項１２に記載の方法は更に、
    前記高ダイナミックレンジ情報を前記ＭＰＥＧデータ構造のコメントフィールドに記憶することを備える、方法。
15. 請求項１３又は請求項１４に記載の方法は更に、
    ＭＰＥＧ映像の各フレーム用の前記高ダイナミックレンジ情報を記憶することを備える、方法。
16. 請求項１３又は請求項１４に記載の方法は更に、
    従来のＭＰＥＧキーフレーム補間手法を用いてキーフレーム間のフレームを生成するために、ＭＰＥＧ映像のキーフレーム専用の前記高ダイナミックレンジ情報を記憶することを備える、方法。
17. 請求項１１に記載の方法において、
    前記高ダイナミックレンジ情報を生成することは、前記比率データを圧縮することを含む、方法。
18. 請求項１７に記載の方法において、
    前記比率データを圧縮することは、前記比率データをダウンサンプリングすることを含む、方法。
19. 請求項１７に記載の方法において、
    前記比率データを圧縮することは、前記比率データをＭＰＥＧ符号化することを含む、方法。
20. 請求項１に記載の方法において、
    前記トーンマップデータは不可逆符号化によって符号化され、当該方法は更に、
    前記トーンマップデータを復号すること、
    前記復号の後、該復号されたトーンマップデータから前記比率データを演算すること、
    を備える、方法。
21. 請求項２０に記載の方法は更に、
    前記トーンマップデータを復号することに先立って、前記不可逆符号化方法によって前記トーンマップデータを符号化することを備える、方法。
22. 請求項２０又は請求項２１に記載の方法において、
    前記トーンマップ情報を記憶することは、前記符号化されたトーンマップデータを記憶することを含む、方法。
23. 請求項２２に記載の方法において、
    前記高ダイナミックレンジ情報を生成することは、前記比率データを圧縮して、圧縮された比率データを生成することを含む、方法。
24. 請求項２３に記載の方法において、
    前記比率データを圧縮することは、前記比率データの不可逆圧縮を行うことを含む、方法。
25. 請求項２４に記載の方法において、
    前記比率データを圧縮することは、前記比率データをダウンサンプリングすることを含む、方法。
26. 請求項２４又は請求項２５に記載の方法において、
    前記比率データを圧縮することは、前記比率データをＪＰＥＧ符号化することを含む、方法。
27. 請求項２４又は請求項２５に記載の方法において、
    前記比率データを圧縮することは、前記比率データをＭＰＥＧ符号化することを含む、方法。
28. 請求項２３乃至２７のいずれか１つに記載の方法において、
    前記トーンマップ情報を生成することは、
    前記圧縮された比率データから前記比率データを再構築すること、
    前記高ダイナミックレンジ画像データを前記再構築された比率データで分割すること、
    を含む、方法。
29. 請求項２３乃至２７のいずれか１つに記載の方法において、
    前記高ダイナミックレンジ情報を生成することは、前記トーンマップデータに基づく補正関数を前記比率データに適用することを含む、方法。
30. 請求項２９に記載の方法において、
    前記補正関数は、前記トーンマップデータの画素の輝度をＬ（ＴＭ）とし、ダウンサンプリングされたトーンマップデータの対応する画素の輝度をＬ（ＴＭ_Ｒ）としたとき、Ｌ（ＴＭ_Ｒ）に対するＬ（ＴＭ）の比率を含む、方法。
31. 請求項２９に記載の方法において、
    前記補正関数は、次式、
    

    

    である（σは、数値パラメータ）か、又はその数学的な等価式である、方法。
32. 請求項３１に記載の方法において、
    σは、Ｌ（ＴＭ_Ｒ）に対するＬ（ＴＭ）の比率の分散の大きさである、方法。
33. 請求項３２に記載の方法において、
    σは、次式、
    

    

    に従って演算される、方法。
34. 請求項１乃至３３のいずれか１つに記載の方法において、
    前記高ダイナミックレンジ情報を生成することは、前記比率データの数学関数を演算することを含む、方法。
35. 請求項３４に記載の方法において、
    前記数学関数は、対数計算を含む、方法。
36. 請求項１に記載の方法において、
    前記トーンマップデータを取得することは、色又は輝度値を分断することなくトーンマップ生成器で前記トーンマップデータを生成することを含む、方法。
37. 請求項１に記載の方法において、
    前記トーンマップデータを取得することは、前記トーンマップデータの各画素の色及び輝度の比率を維持するトーンマップ生成器で前記トーンマップデータを生成することを含む、方法。
38. 初期ダイナミックレンジを有する高ダイナミックレンジ画像を表現するためのデータ構造であって、
    トーンマップ部と、
    高ダイナミックレンジ情報部と、
    を備え、
    前記トーンマップ部は、前記画像を表現するトーンマップ情報を含むとともに、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有し、
    前記高ダイナミックレンジ情報部は、前記高ダイナミックレンジ画像の対応する値に対する前記トーンマップ部の値の比率を記述する情報を含む、データ構造。
39. 請求項３８に記載のデータ構造において、
    前記トーンマップ部の前記値は輝度値である、データ構造。
40. 請求項３８に記載のデータ構造において、
    前記トーンマップ情報はＪＰＥＧ符号化される、データ構造。
41. 請求項４０に記載のデータ構造はＪＦＩＦデータ構造を構成する、データ構造。
42. 請求項４１に記載のデータ構造において、
    前記高ダイナミックレンジ情報部は少なくとも１つのＪＦＩＦアプリケーション拡張子を含む、データ構造。
43. 請求項４１に記載のデータ構造において、
    前記高ダイナミックレンジ情報部はＪＦＩＦコメントフィールドを含む、データ構造。
44. 請求項３８に記載のデータ構造において、
    前記トーンマップ情報はＭＰＥＧ符号化される、データ構造。
45. 請求項４４に記載のデータ構造はＭＰＥＧデータ構造を構成する、データ構造。
46. 請求項４５に記載のデータ構造において、
    前記高ダイナミックレンジ情報部は少なくとも１つのＭＰＥＧアプリケーション拡張子を含む、データ構造。
47. 請求項４７に記載のデータ構造において、
    前記高ダイナミックレンジ情報部はＭＰＥＧコメントフィールドを含む、データ構造。
48. 請求項４６又は請求項４７に記載のデータ構造において、
    前記高ダイナミックレンジ部はＭＰＥＧ映像のフレームに関連付けされる、データ構造。
49. 請求項４６又は請求項４７に記載のデータ構造において、
    前記高ダイナミックレンジ部は、従来のＭＰＥＧキーフレーム補間手法を用いてキーフレーム間のフレームを生成するために、ＭＰＥＧ映像のキーフレームに関連付けされる、データ構造。
50. 請求項３８乃至４９のいずれか１つに記載のデータ構造において、
    前記トーンマップ情報は全ての画素に対してゼロ以外の値を指定する、データ構造。
51. 請求項３８に記載のデータ構造において、
    前記高ダイナミックレンジ情報は圧縮される、データ構造。
52. 請求項３８に記載のデータ構造において、
    前記高ダイナミックレンジ情報はＪＰＥＧ符号化される、データ構造。
53. 請求項３８に記載のデータ構造において、
    前記高ダイナミックレンジ情報はＭＰＥＧ符号化される、データ構造。
54. 請求項５２又は請求項５３に記載のデータ構造において、
    前記トーンマップ情報は、前記高ダイナミックレンジ情報の画像サイズより大きい画像サイズを有する、データ構造。
55. 初期ダイナミックレンジを有する高ダイナミックレンジ画像データを符号化するための装置であって、
    前記高ダイナミックレンジ画像データに対応するトーンマップデータの対応する値に対する前記高ダイナミックレンジ画像データの値の比率を含む比率データを演算するための手段であって、前記トーンマップデータは、前記初期ダイナミックレンジより小さい低ダイナミックレンジを有する、前記比率データを演算するための手段と、
    前記比率データに基づき、高ダイナミックレンジ情報を生成するための手段と、
    前記トーンマップデータに基づき、トーンマップ情報を生成するための手段と、
    前記高ダイナミックレンジ情報及び前記トーンマップ情報をデータ構造に記憶するための手段と、
    を備える装置。

Images