JP2015019286A - 画像符号化装置及び復号装置、並びに、それらの制御方法、及び、画像処理システム - Google Patents

Abstract

【課題】 ＬＤＲの画像からＨＤＲの画像を生成する上で必要な差分情報の符号化で、複数の中から選択できるようになる。さらに、異なる複数の符号化方法で差分情報を符号化し、複数の符号化データを圧縮ファイルに持たせ、復号時に選択して復号できるようになる。【解決手段】入力されたＨＤＲ画像のダイナミックレンジを圧縮して、ＬＤＲ画像を生成し、生成したＬＤＲ画像を符号化するＬＤＲ画像符号化部と、第１のタイプのＨＤＲ差分データを符号化する第１のＨＤＲ差分符号化部と、第２のタイプのＨＤＲ差分データを符号化する第２のＨＤＲ差分符号化部と、第１、第２のタイプのいずれかを選択する選択部と、選択したタイプを示すデータ、選択したＨＤＲ差分符号化手段で生成された差分符号化データ、及びＬＤＲ画像符号化部で生成されたＬＤＲ画像符号化データとを出力する出力部とを有する。【選択図】 図２

Description

本発明は、画像データの符号化技術に関するものである。

近年、ＨＤＲと呼ばれる画像が注目されている。ＨＤＲはＨｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅの略であり、高ダイナミックレンジ性を有する画像、もしくはそのような画像の表現方法を指している。通常のビットマップやＪＰＥＧなどに代表されるＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）の画像は、１画素の成分であるＲＧＢそれぞれは８ビット、つまり、２５６階調で表現されるが、ＨＤＲはそれらをはるかにしのぐ階調を持つ。

ＨＤＲの画像の符号化方法は種々提案されている。特許文献１、２には、ＨＤＲの画像からＬＤＲの画像を生成して、ＬＤＲの画像をＪＰＥＧ符号化する。そして、ＬＤＲのＪＰＥＧ符号列のアプリケーションマーカーセグメントに、ＬＤＲからＨＤＲに戻すための差分情報を保存する。この符号化方法の良い点は、従来のＪＰＥＧビューアでＬＤＲの画像を復号表示できることである。

特表２００７−５３４２３８号公報 特開２０１１−１９３５１１号公報

差分情報の生成・符号化方法としては、様々な方法が考えられる。そのため、適応的に符号化方法を選択することが望ましい。しかし、選択した符号化方式を復号側に伝える方式が確立されていない。また、異なる複数の符号化方法で差分情報を符号化し、複数の符号化データを圧縮ファイルに持たせ、復号時に選択して復号する方法も確立されていない。

本発明はこれらの問題を解決するためになされたものである。

この課題を解決するため、例えば本発明の符号化装置は以下の構成を備える。すなわち、
ＨＤＲ画像を符号化する画像符号化装置であって、
入力されたＨＤＲ画像のダイナミックレンジを圧縮して、ＬＤＲ画像を生成するトーンマップ手段と、
ＬＤＲ画像を圧縮するＬＤＲ画像符号化手段と、
第１の生成・符号化方式で、ＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第１の生成・符号化手段と、
第２の生成・符号化方式で、ＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第２の生成・符号化手段と、
ＨＤＲ差分データの生成・符号化方式を選択する選択手段と、
ＬＤＲ画像の符号列、ＨＤＲ差分データの符号列、ＨＤＲ差分データの生成・符号化方式を識別する識別情報とを、前記ＨＤＲ画像の圧縮データとして出力する出力手段とを有する。

本発明によれば、ＬＤＲの画像からＨＤＲの画像を生成する上で必要な差分情報の符号化で、複数方式の中から選択できるようになる。さらに、異なる複数の符号化方法で差分情報を符号化し、複数の符号化データを圧縮ファイルに持たせ、復号時に選択して復号できるようになる。

本発明における画像処理システムのブロック図。 第１実施形態における画像符号化装置のブロック図。 第１実施形態における画像符号化装置のフローチャート。 ＭＵ符号化部８０３のブロック図。 ＭＵ符号化部８０３のフローチャート。 ＨＤＲ画像符号化データのデータ構成図。 ８ビット整数化されたＹレシオの数値例。 ＨＤＲ差分データ符号化部２０４の構成とその処理手順を示す図。 ＰＡ符号化部８０２の構成とその処理手順を示す図。 第１実施形態における画像復号装置のブロック図。 第１実施形態における画像復号装置のフローチャート。 ＨＤＲ画像復号部１２０６の構成とその処理手順を示す図。 ＰＡ復号部１４０２の構成とその処理手順を示す図。 ＭＵ復号部１４０３の構成を示す図。 ＭＵ復号部１４０３の処理手順を示すフローチャート。 第１実施形態における符号列解析部１２０３のフローチャート。 第２実施形態における画像符号化装置のブロック図。 第２実施形態における画像符号化装置のフローチャート。 ＨＤＲ画像符号化データのデータ構成図。 第２実施形態における画像復号装置のブロック図。 第２実施形態における画像復号装置のフローチャート。 第２実施形態における符号列解析部１２０３のフローチャート。 ＳＮとＰａｙｌｏａｄ先頭アドレスの対応表を示す図。

以下、添付図面に従って、本発明に係る実施形態を詳細に説明する。

［第１の実施形態］
本第１の実施形態における符号化装置は、ＨＤＲ画像データに対してトーンマッピングというダイナミックレンジを圧縮する処理を行い、８ビットの低ダイナミックレンジ（ＬＤＲ）の画像データを生成し、ＪＰＥＧ符号化をする。そして、ＬＤＲ画像データをＨＤＲ画像データに戻す上で必要となるＨＤＲ差分データを生成した後、ＨＤＲ差分データを符号化する。最終的に出力する符号化データ（ＨＤＲ画像符号化データ）は、ＬＤＲ画像のＪＰＥＧデータとＨＤＲ差分データの符号化データ（ＨＤＲ差分符号化データ）となる。ＨＤＲ差分データの生成・符号化方式の種類は２つある。１つ目は、符号化時にＬＤＲ画像のＪＰＥＧデータをローカルデコードし、逆トーンマップ処理を行い、ＨＤＲ画像データを復号する。その上で、ＨＤＲ画像データのオリジナルと復号結果の差分を取り、差分データ（単純差分データ）を符号化する方法である。逆トーンマップ処理とは、ＬＤＲ画像のダイナミックレンジを拡張する処理である。２つ目は、ＬＤＲ画像のＪＰＥＧデータのローカルデコードはせずに、ＨＤＲ画像データとＬＤＲ画像データの輝度成分比（Ｙレシオ）を取る。Ｙレシオを使って、ＬＤＲ画像データをＨＤＲのレンジに戻して、オリジナルのＨＤＲ画像データとの色差成分の差分を生成する。そして、Ｙレシオと色差成分を８ビット化してＪＰＥＧ符号化する方法である。説明の都合上、１つ目の符号化方法をＰｕｒｅｌｙ Ａｄｄｉｔｉｖｅ（ＰＡ）符号化、２つ目の符号化方法をＭｕｌｔｉｐｌｉｃａｔｉｖｅ（ＭＵ）符号化と呼ぶものとする。

ＰＡ符号化とＭＵ符号化を比べると、次に述べるような違いがある。すなわち、画質面で言えば、ＰＡ符号化方式は、符号化時に、ＬＤＲ画像の圧縮データをＨＤＲレンジに戻して、オリジナルのＨＤＲ画像との差分を符号化、出力するため、高画質を狙える。その差分をロスレスで符号化すれば、ＨＤＲ画像の可逆圧縮も実現できる。一方、ＭＵ符号化方式は、ＨＤＲ差分データを圧縮する前に８ビット整数化してしまうので、復号画像の画質は、８ビット整数化で得られる画質と制限されてしまう。処理時間の面で言えば、ＰＡ符号化方式は、ＬＤＲ画像と単純差分データの符号化とは別に、ＬＤＲ画像のＪＰＥＧデータのローカルデコードを行う点で不利である。本実施形態では、単純差分データの圧縮率を高めるため、標準規格では高い圧縮性能を持つＪＰＥＧ２０００で圧縮する。ＪＰＥＧ２０００はＪＰＥＧに比べて数倍の処理時間がかかると言われており、ＰＡ符号化はこの点でも不利である。一方で、ＭＵ符号化における符号化処理は、ＬＤＲ画像とＨＤＲ差分データそれぞれのＪＰＥＧ符号化であり、ＰＡ符号化方式に比べて有利である。したがって、高画質を求める場合はＰＡ符号化方式、高画質を求めない場合はＭＵ符号化方式を選ぶことがよいと言える。本実施形態では、符号化に求めるユーザーからの指示に基づき、選択的にＨＤＲ差分データを符号化する方法を示す。さらには、生成されたＨＤＲ画像符号化データを復号する方法も示す。

図１は、本実施形態を実現する画像処理システムの概略を示した図である。１０１は符号化装置、１０２は復号装置である。符号化装置１０１は、入力されたＨＤＲ画像データを符号化し、ＨＤＲ符号化データを生成する。その後、符号化装置１０１は、復号装置１０２へネットワークなどを介して送信する。復号装置１０２はＨＤＲ符号化データを受信すると復号し、ＨＤＲ画像データを生成する。なお、ここでは符号化装置１０１で生成された符号化データは復号装置１０２に送信するものとして説明するが、本発明がこれに限定されない。たとえば、符号化データを格納したメモリカードなどの記憶媒体を、復号装置にセットし、復号装置１０２がその記憶媒体に格納された符号化データを読出し復号しても構わい。要するに、符号化装置１０１と復号装置１０２との関係は特に問わない。特に、符号化装置１０１が、デジタルカメラなどの撮像装置などに搭載される場合、撮像画像を表示するために、その撮像装置は当然に復号装置１０２も搭載することになる。その場合、符号化と復号の共通部分は供給しても構わない。

図２は、本実施形態における符号化装置１０１のブロック図である。同図で、２０１は入力部、２０２は装置全体の制御を司るＣＰＵ、２０３はＬＤＲ画像生成部、２０４はＨＤＲ差分データ符号化部、２０５はＬＤＲ画像符号化部、２０６はバッファＡ、３０７は符号列生成部、２０８は出力部、２０９はＨＤＲ差分データ符号化方法選択部である。

本実施形態における符号化対象のＨＤＲ画像データは、不図示の撮像部から入力部２０１を介して受信するものとする。入力するＨＤＲ画像データは、ＲＧＢカラーデータとし、各コンポーネント（色）は１６ビットで表される実数値とする。但し、ＲＧＢ以外のコンポーネントの構成（例えばグレー）でも構わず、色空間の種類，コンポーネントの個数は問わない。また、１成分のビット数も１６ビットに限らず、３２ビットなど、１６ビットを超えるビット数でもよい。また、実数値だけに限定されず、１６ビットの整数値などでもよい。つまり、ＨＤＲのコントラスト比を表現できれば、入力画像の形式はどのようなものでもよい。

図３は、図２の符号化装置１０１のＣＰＵ２０２の処理フローを示したフローチャートである。以下、図２、図３を用いて、本実施形態における符号化装置１０１の処理を説明する。

入力部２０１から符号化対象のＨＤＲ画像が入力されると（ステップＳ３０１）、入力されたＨＤＲ画像はＬＤＲ画像生成部２０３に出力されるとともに、ＨＤＲ画像のコピーがバッファＡ２０６へ出力される。ＬＤＲ画像生成部２０３は、ＨＤＲ画像の入力を受けると、トーンマッピング処理により、ＬＤＲ（Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する（ステップＳ３０２）。トーンマッピング処理とは、ＨＤＲ画像を所定のダイナミックレンジに圧縮する処理のことであり、ＨＤＲ画像を通常のディスプレイで表示する場合等では不可欠な処理である。トーンマッピングについては、様々な処理が提案されており、人間の視覚特性や表示デバイス特性を考慮した手法が主流となっている。本実施形態においては、トーンマッピングにより８ビットの整数値（０〜２５５）のＬＤＲ画像を生成するものとし、どのような手法を用いてもよい。生成されたＬＤＲ画像はＬＤＲ画像符号化部２０５へ出力され、そのコピーがバッファＡ２０６へ出力される。また、ＬＤＲ画像生成部２０３は、ＬＤＲ画像をＨＤＲレンジの画像に戻すための逆トーンマッピング情報も、バッファＡ２０６へ出力する。この情報は、ＲＧＢ各色のコンポーネント値０〜２５５が、ＨＤＲレンジではどの値にマッピングされるかを示すものである。ＬＤＲ画像符号化部２０５は、ＬＤＲ画像をＪＰＥＧ符号化方式（ＩＳＯ／ＩＥＣ １０９１８−１， ＩＴＵ−Ｔ Ｔ．８１）により圧縮する（ステップＳ３０３）。ＪＰＥＧ符号化方式の圧縮方式については、公知技術であり、説明を割愛する。ＬＤＲ画像のＪＰＥＧ圧縮データは、符号列生成部２０７へ出力される。

ステップＳ３０３の処理が終了すると、復号時にＬＤＲ画像をＨＤＲ画像へ戻すために必要となるＨＤＲ差分データの符号化を行う（ステップＳ３０４）。この処理はＨＤＲ差分データ符号化部２０４で行われる。ＨＤＲ差分データ符号化部２０４は、バッファＡ２０６に格納されているＨＤＲ画像データ、ＬＤＲ画像データ、ＬＤＲ画像のＪＰＥＧデータ、逆トーンマッピング情報が入力される。また、不図示のＵＩから指定されたＨＤＲ差分データの圧縮に関する指示を基に、ＨＤＲ差分データ符号化方法選択部２０９が選択した圧縮方法を示す情報も入力される。そして、ユーザに対し、ＵＩ上で「低画質・高速」と「高画質・低速」の２つのモード（２つの対応）のいずれかを選択させる。ユーザーが「低画質・高速」を指定した場合、ＨＤＲ差分データ符号化方法選択部２０９は圧縮方法としてＭＵ符号化を選択する。その上で、選択結果をＨＤＲ差分データ符号化部２０４へ入力する。一方、「高画質・低速」が選択されれば、ＰＡ符号化が選択される。なお、これらの情報の入力では、バッファＡ２０６内に格納されている各情報の場所（ポインタ）が入力される。ＨＤＲ差分データは、入力のＨＤＲ画像と同じ、水平、垂直方向の画素数で、コンポーネント数は３、各コンポーネントは８ビットの整数値（０〜２５５）を持つ。ＨＤＲ差分データの具体的な符号化方法について後程説明することとする。符号列生成部２０７は、ＬＤＲ画像のＪＰＥＧ圧縮データとＨＤＲ差分符号化データから、ＨＤＲ画像の符号列（ＨＤＲ画像符号化データ）を生成する（ステップＳ３０５）。ＨＤＲ画像符号化データの生成方法の概略は、ＬＤＲ画像のＪＰＥＧ圧縮データのヘッダ内に、通常のＪＰＥＧデコーダは読み飛ばす領域を設けて、その中にＨＤＲ差分符号化データと付随する情報（付随情報）を挿入する。このような構成にする理由は、従来のＪＰＥＧデコーダに、ＬＤＲ画像の復号表示を可能とさせるためである。

図６（ａ）は、ＨＤＲ画像符号化データの全体構成図であり、ＳＯＩはＪＰＥＧ圧縮データの先頭を示すマーカーである。ヘッダには、ＬＤＲ画像の圧縮条件（量子化パラメータ、ハフマン符号化テーブル等）や画像の水平及び垂直方向のイズ、ビット深さなどの情報が格納される。さらに、ヘッダ内の「ＨＤＲ差分データ符号化情報」の領域に、ＨＤＲ差分符号化データと付随情報が格納される。圧縮データ列には、ＬＤＲ画像の圧縮データが格納され、ＥＯＩはＪＰＥＧ圧縮データの後尾であることを示すマーカーである。「ＨＤＲ差分データ符号化情報」領域には、ＨＤＲ差分符号化データと付随情報が個別に、ＡＰＰ１１マーカーでくくられる領域（ＡＰＰ１１のアプリケーションマーカーセグメント）へ格納される。ＪＰＥＧの規格では、アプリケーションマーカーセグメントを読み飛ばすことが決められている。アプリケーションマーカーセグメントは、最大長が６５５３５ｂｙｔｅとされている。ＨＤＲ差分符号化データは、この最大長を超える場合もある。そのようなときには、ＨＤＲ差分符号化データを複数に分割して、それぞれを個別のアプリケーションマーカーセグメントへ格納する。つまり、どのような場合でも、アプリケーションマーカーセグメントは２つあり、ＨＤＲ差分符号化データのサイズに応じて、３つ、４つと増えていく。図６（ｂ）は、アプリケーションマーカーセグメントのシンタックスを示している。同図において、ｍａｒｋｅｒにはＡＰＰ１１を示すマーカーコード０ｘＦＦＥＢを記す。ｌｅｎにはアプリケーションマーカーセグメントのサイズが記される。ＣＩ（Ｃｏｍｍｏｎ Ｉｄｅｎｔｉｆｉｅｒ）には、固定的に”ＪＰ”のコードが記述される。ＴＣ（Ｔｙｐｅ ｏｆ Ｃｏｄｉｎｇ）は符号化タイプを識別する識別情報であり、ＨＤＲ差分データに適用された符号化方法を示すシグナルが記される。“０”であればＰＡ符号化方式、“１”であればＭＵ符号化方式である。ＴＣは、最初に出現するアプリケーションマーカーセグメントのみに存在する。ＴＢ（Ｔｙｐｅ ｏｆ Ｂｏｘ）にはアプリケーションマーカーセグメントに格納されている情報の種別、つまり、ＨＤＲ差分符号化データ／付随情報のいずれかを示すシグナルが格納される。“０”であれば付随情報、“１”であればＨＤＲ差分符号化データである。上述の通り、アプリケーションマーカーセグメントのサイズには上限があるので、ＨＤＲ差分符号化データは複数に分割される可能性がある。このため、復号時には、分割されたデータを正しい順番に並べる必要があり、ＳＮ（Ｓｅｑｕｅｎｃｅ Ｎｕｍｂｅｒ）には、通し番号が記される。なお、ＴＢ＝０の場合には、ＳＮ＝０のみが記される。ＰＤ（Ｐａｙｌｏａｄ Ｄａｔａ）には、ＨＤＲ差分符号化データもしくは付随情報のデータ列が記される。付随情報は、ＴＣ＝０の場合、逆トーンマップのためのＬＵＴであり、ＴＣ＝１の場合、ＨＤＲ差分符号化データにおける輝度，色差に関する、圧縮前の最大値と最小値である。この最大値と最小値については、ＭＵ符号化方式の説明で触れる。なお、全てのアプリケーションマーカーセグメントは、ヘッダ中に連続して配置されるものとする。

さて、ＨＤＲ差分符号化データの生成が終了すると、出力部２０８は、復号装置１０２に渡される符号化画像データファイルとして出力する（ステップＳ３０６）。出力先は、ネットワーク、メモリカードなどの記憶媒体で良く。その種類は問わない。

続いて、ＨＤＲ差分データ符号化部２０４の処理の説明に移る。図８（ａ）はＨＤＲ差分データ符号化部２０４を構成するブロック図である。同図において、８０１は入力部、８０２はＰＡ符号化部、８０３はＭＵ符号化部、８０４は出力部である。図８（ｂ）は、図８（ａ）のＨＤＲ差分データ符号化部２０４のブロック図の処理フローを示したフローチャートである。以下、図８（ａ），（ｂ）を用いて、本実施形態におけるＨＤＲ差分データ符号化部２０４の処理を説明する。

ＨＤＲ差分データ符号化部２０４の処理が開始すると、バッファＡ２０６に格納されている圧縮方法の選択情報を取得する（ステップＳ９０１）。選択された圧縮方法がＰＡ符号化であれば（ステップＳ９０２でＹｅｓ）、ＰＡ符号化部８０２に、ＨＤＲ画像、ＬＤＲ画像のＪＰＥＧ符号列、逆トーンマップ情報が格納されているポインタが入力される。その上で、ＰＡ符号化部８０２はＨＤＲ差分データをＰＡ符号化する（ステップＳ９０３）。一方で、選択された圧縮方法がＭＵ符号化であれば（ステップＳ９０２でＮｏ）、ＭＵ符号化部８０３に、ＨＤＲ画像データ、ＬＤＲ画像データが格納されているポインタが入力される。その上で、ＭＵ符号化部８０３はＨＤＲ差分データに対してＭＵ符号化を行う（ステップＳ９０３）。ＰＡ符号化部８０２、もしくはＭＵ符号化部８０３で符号化処理が終了すると、生成されたＨＤＲ差分符号化データは符号列生成部２０７へ出力される（ステップＳ９０４）。

次に、ＰＡ符号化部８０２における符号化処理の説明に移る。図９（ａ）は、ＰＡ符号化部８０２を構成するブロック図である。同図において、１００１は入力部、１００２はＬＤＲ画像復号部、１００３は逆トーンマップ部、１００４は予測部、１００５はＪＰＥＧ２０００符号化部、１００６は出力部である。図９（ｂ）は、図９（ａ）のＰＡ符号化部８０２の各ブロックの処理フローを示したフローチャートである。以下、図９（ａ），（ｂ）を用いて、ＰＡ符号化部８０２の処理を説明する。

ＰＡ符号化部８０２の処理が開始すると、バッファＡ２０６から、ＨＤＲ画像データ、ＬＤＲ画像のＪＰＥＧ符号列、逆トーンマップ情報を入力する（ステップＳ１１０１）。入力されたＪＰＥＧ符号列は、ＬＤＲ画像復号部１００２においてＪＰＥＧ復号され、ＬＤＲ画像の復号画像が生成される（ステップＳ１１０２）。生成された復号画像は、逆トーンマップ部１００３において、逆トーンマップ情報を基に、逆トーンマップ処理が行われる（ステップＳ１１０３）。ステップＳ１１０３の処理により、ＨＤＲスケール（ＨＤＲの精度）の疑似画像が再生されており、予測部１００４は、その疑似ＨＤＲ画像と入力ＨＤＲ画像との予測演算を行う（ステップＳ１１０４）。この予測演算は、２つの画像において同じ位置の画素、同じコンポーネントで行う減算処理である。予測演算結果（差分データ）はＪＰＥＧ２０００符号化部１００５によりＪＰＥＧ２０００符号化（ＩＴＵ−Ｔ Ｔ．８００ ｜ ＩＳＯ／ＩＥＣ １５４４４−１）される（ステップＳ１１０５）。ＪＰＥＧ２０００符号化対象のデータは実数値であり、そのままＪＰＥＧ２０００符号化部処理をすると、ＪＰＥＧ２０００のエントロピー符号化処理において整数化されてしまう。つまり、小数点以下の情報が大きく捨てられてしまうので、本実施形態においては、予測演算結果である実数のビット配列を持つ整数をＪＰＥＧ２０００符号化部１００５への入力とする。ＪＰＥＧ２０００符号化部１００５で生成された符号列はＨＤＲ差分符号化データであり、出力部１００６から、符号列生成部２０７へ出力される（ステップＳ１１０６）。以上がＰＡ符号化部８０２の符号化処理の説明である。

続いて、ＭＵ符号化部８０３の説明に移る。図４は、ＭＵ符号化部８０３のブロック図である。同図において、４０１は輝度成分比算出部、４０２は対数変換部、４０３はバッファＢ、４０４は最大値／最小値導出部Ａ、４０５は整数化部Ａ、４０６はバッファＤ、４０７は入力画像除算部である。さらに、４０８はＬＤＲ相当画像／ＬＤＲ画像差分算出部、４０９は色変換部、４１０はノーマライズ部、４１１はバッファＣ、４１２は最大値／最小値導出部Ｂ、４１３は整数化部Ｂ、４１４はバッファＥである。詳細な説明に入る前に、まず、ＨＤＲ差分データ符号化部２０４の処理概要について述べる。処理が開始すると、ＨＤＲ画像とＬＤＲ画像それぞれの輝度成分の比（Ｙレシオ）、つまりＨＤＲ輝度成分値／ＬＤＲ輝度成分値を、画素毎に求める。そして、その輝度成分比を用いて、ＨＤＲ画像のＲＧＢ各コンポーネントに対して除算を行い、ＬＤＲ相当のダイナミックレンジを持つ画像（ＬＤＲ相当画像）を生成する。さらに、ＬＤＲ画像とＬＤＲ相当画像の間で、各画素におけるＲＧＢ各コンポーネントの差分データを求める。その差分データに対してＹＣｂＣｒ変換を行い、Ｃｂ差分、Ｃｒ差分を生成する。そして、ＹレシオとＣｂ差分、Ｃｒ差分を、１枚の画像を構成するコンポーネントと見立てて、ＬＤＲ画像符号化部２０５へ出力する。

図５は、図４のブロック図の処理フローを示したフローチャートである。以下、図４、図５を用いて、ＨＤＲ差分データ符号化部２０４の処理を説明する。処理が開始されると、輝度成分比算出部４０１は、バッファＡ２０６からＨＤＲ画像とＬＤＲ画像を取得する。そして、以下の式に従い、ＨＤＲ画像の輝度成分Ｙ＿ｈｄｒ、ＬＤＲ画像の輝度成分Ｙ＿ｌｄｒ、Ｙレシオ（Ｒａｔｉｏ）を算出する（ステップＳ５０１）。
Ｙ＿ｈｄｒ＝０．２９９＊Ｒ＿ｈｄｒ＋０．５８７＊Ｇ＿ｈｄｒ＋０．１１４＊Ｂ＿ｈｄｒ
Ｙ＿ｌｄｒ＝０．２９９＊Ｒ＿ｌｄｒ＋０．５８７＊Ｇ＿ｌｄｒ＋０．１１４＊Ｂ＿ｌｄｒ
Ｒａｔｉｏ＝Ｙ＿ｈｄｒ／Ｙ＿ｌｄｒ

算出されたＹレシオは、バッファＥ４１４へ出力される。対数変換部４０２は、バッファＥ４１４からＹレシオを取得し、対数変換（底は「２」とする）する（ステップＳ５０２）。Ｙレシオは、最終的にＪＰＥＧ符号化されるため、８ビットの整数（０〜２５５）に表現される必要がある。Ｙレシオはダイナミックレンジが非常に広いので、対数変換をせずに８ビットの整数化を行うと、小さなＹレシオの変化がつぶされてしまい、微妙な輝度変化が失われる。一方で、Ｙレシオの対数表現に対して８ビットの整数化を行うと、小さな輝度の変化を保てる。そのため、Ｙレシオを対数変換する。その理由は次のとおりである。対数軸で見たＹレシオの変化（Δ）には、０近傍では緩やか、０から離れるに従い大きくなっていく特性がある。また、対数表現にすることでＹレシオのダイナミックレンジは小さくなる。すなわち、対数表現を８ビット整数化することで、Δが緩やかに変化しているＹレシオ軸上の範囲は、細かくサンプリングされる。結果として、小さな輝度変化を再現できる。一例を挙げる。画像全体で見て、Ｙレシオが１〜２５５００であったとした場合、そのまま８ビットの整数化を行ってしまうと、８ビット表現における１の変化は、Ｙレシオにおける１００の変化に相当する。つまり、Ｙレシオは１， １００， ２００， ．．．， ２５５００の値を取る。一方で、図７のとおり、Ｙレシオの対数値は０〜１４．６３８２１であり、８ビットの整数値に対応するＹレシオの対数値とＹレシオは、図７に示したとおりである。同図のとおり、Ｙレシオを対数で表現することで、８ビット整数値で見て０に近い値では、Ｙレシオを細かくサンプリングできており、対数変換を導入することで微妙な輝度変化を保てることがわかる。

各画素の対数変換されたＹレシオ（ＬｏｇＹレシオ）は、バッファＢ４０３へいったん格納されていく。画像全体のＬｏｇＹレシオが揃うと、最大値／最小値導出部５０４において、ＬｏｇＹレシオの最大値と最小値（Ｍａｘ＿ＬｏｇＹｒａｔｉｏ， Ｍｉｎ＿ＬｏｇＹｒａｔｉｏ）が算出される（ステップＳ５０３）。算出されたＭａｘ＿ＬｏｇＹｒａｔｉｏとＭｉｎ＿ＬｏｇＹｒａｔｉｏは、整数化部５０５へ出力される。整数化部５０５は、Ｍａｘ＿ＬｏｇＹｒａｔｉｏとＭｉｎ＿ＬｏｇＹｒａｔｉｏを基に、バッファＢ４０３に格納されているＬｏｇＹレシオを８ビット化し（ステップＳ５０３）、バッファＤ４０６へ出力する。また、Ｍａｘ＿ＬｏｇＹｒａｔｉｏとＭｉｎ＿ＬｏｇＹｒａｔｉｏは、復号時に８ビット整数を元のレンジの実数表現へ戻す際に使うので、符号列のヘッダに格納する必要がある。そのため、最大値／最小値導出部５０４は、バッファＡ２０６へ、これら２つの値を出力する。

ここまでの処理が終わると、次に、復号側がＬＤＲ画像とＹレシオからＨＤＲ画像を戻すのに必要なデータを生成する。具体的には、ＬＤＲ画像とＹレシオだけでは、輝度成分のみしか元に戻せないので、ＨＤＲ画像の色差成分を戻すために必要となるデータを算出する。入力画像除算部４０７はバッファＡ２０６に格納されているＨＤＲ画像に対して、バッファＥ４１４に格納されているＹレシオで除算を行い、ＬＤＲ相当画像を生成する（ステップＳ５０５）。この除算は、入力ＨＤＲ画像のＲＧＢ配列に対して行う。ＬＤＲ相当画像／ＬＤＲ画像差分算出部４０８は、ＬＤＲ相当画像とバッファＡ２０６のＬＤＲ画像で、各画素のＲＧＢ値の差分を求める（ステップＳ５０６）。色変換部４０９は、ステップＳ５０６で生成された差分に対して色変換を行い、色差差分を生成する（ステップＳ５０７）。この色変換は以下のとおりである。
Ｃｂ＿ｅ＝−０．１６８７＊Ｒ＿ｅ−０．３３１３＊Ｇ＿ｅ＋０．５＊Ｂ＿ｅ
Ｃｒ＿ｅ＝０．５＊Ｒ−０．４１８７＊Ｇ＿ｅ−０．０８１３＊Ｂ＿ｅ

上記式において、Ｒ＿ｅ，Ｇ＿ｅ，Ｂ＿ｅはステップＳ５０６にて算出された差分である。また、輝度成分のＹ＿ｅを算出していない。これは、除算で用いたＹレシオはＲａｔｉｏ＝Ｙ＿ｈｄｒ／Ｙ＿ｌｄｒであり、除算結果のＬＤＲ相当画像の輝度成分はＹ＿ｌｄｒとなっていて、差分値は０となるからである。数式で証明すると以下のとおりである。
Ｙ＿ｅ＝０．２９９＊Ｒ＿ｅ＋０．５８７＊Ｇ＿ｅ＋０．１１４＊Ｂ＿ｅ
＝０．２９９＊（Ｒ＿ｌｄｒ’−Ｒ＿ｌｄｒ）＋０．５８７＊（Ｇ＿ｌｄｒ’−Ｇ＿ｌｄｒ）＋０．１１４＊（Ｂ＿ｌｄｒ’−Ｂ＿ｌｄｒ）
＝０．２９９＊Ｒ＿ｌｄｒ’＋０．５８７＊Ｇ＿ｌｄｒ’＋０．１１４＊Ｂ＿ｌｄｒ’−（０．２９９＊Ｒ＿ｌｄｒ＋０．５８７＊Ｇ＿ｌｄｒ＋０．１１４＊Ｂ＿ｌｄｒ）
＝０．２９９＊（Ｒ＿ｈｄｒ／Ｒａｔｉｏ）＋０．５８７＊（Ｇ＿ｈｄｒ／Ｒａｔｉｏ）＋０．１１４＊（Ｂ＿ｈｄｒ／Ｒａｔｉｏ）
−（０．２９９＊Ｒ＿ｌｄｒ＋０．５８７＊Ｇ＿ｌｄｒ＋０．１１４＊Ｂ＿ｌｄｒ）
＝Ｙ＿ｈｄｒ／Ｒａｔｉｏ − Ｙ＿ｌｄｒ ＝ ０

ステップＳ５０７の色変換が終了すると、Ｃｂ＿ｅ，Ｃｒ＿ｅをＹ＿ｌｄｒでノーマライズし、バッファＣ４１１へ出力する。
Ｃｂ＿ｅ ＝ Ｃｂ＿ｅ ／ Ｙ＿ｌｄｒ
Ｃｒ＿ｅ ＝ Ｃｒ＿ｅ ／ Ｙ＿ｌｄｒ

最大値／最小値導出部Ｂ４１２は、バッファＣ４１１に保存されているＣｂ＿ｅ，Ｃｒ＿ｅそれぞれの最大値（Ｍａｘ＿Ｃｂ＿ｅ，Ｍａｘ＿Ｃｒ＿ｅ）と最小値（Ｍｉｎ＿Ｃｂ＿ｅ，Ｍｉｎ＿Ｃｒ＿ｅ）を導出する（ステップＳ５０９）。算出された最大値，最小値は整数化部Ｂ４１３へ出力する。整数化部Ｂ４１３は、Ｍａｘ＿Ｃｂ＿ｅ，Ｍａｘ＿Ｃｒ＿ｅ，Ｍｉｎ＿Ｃｂ＿ｅ，Ｍｉｎ＿Ｃｒ＿ｅを基に、バッファＣ４１１に格納されているＣｂ＿ｅ，Ｃｒ＿ｅを８ビット化し（ステップＳ５１０）、バッファＤ４０６へ出力する。また、Ｍａｘ＿Ｃｂ＿ｅ，Ｍａｘ＿Ｃｒ＿ｅ，Ｍｉｎ＿Ｃｂ＿ｅ，Ｍｉｎ＿Ｃｒ＿ｅは、復号時に８ビット整数を元のレンジの実数表現へ戻す際に使うので、符号列のヘッダに格納する必要がある。そのため、最大値／最小値導出部Ｂ４１２は、バッファＡ２０６へ、これら２つの値を出力する。

バッファＤ４０６にＬｏｇＹレシオとＣｂ＿ｅ，Ｃｒ＿ｅそれぞれの８ビット整数データが揃うと、これを１枚の画像（差分画像）と見立てて差分画像符号化を行う。本実施形態では、差分画像符号化はＪＰＥＧ符号化であり、ＬＤＲ画像符号化部２０５へ出力する。ＬＤＲ画像符号化部２０５が生成したＪＰＥＧ符号列を、ＨＤＲ差分符号化データとして、符号列生成部２０７へ出力する（ステップＳ５１１）。以上がＭＵ符号化部８０３の符号化処理の説明である。

以上実施形態における符号化装置１０１の処理を説明した。次に、復号装置１０２の処理説明をする。

図１０は、本実施形態における復号装置１０２のブロック図である。同図において、１２０１は入力部、１２０２はＣＰＵ、１２０３は符号列解析部、１２０４はバッファＦ、１２０５はＬＤＲ画像復号部、１２０６はＨＤＲ画像復号部、１２０７は出力部である。図１１は、図１０の復号装置１０２の構成における処理フローを示したフローチャートである。以下、図１０、図１１を用いて、復号装置１０２の処理を説明する。

入力部１２０１からＨＤＲ画像符号化データが入力されると、バッファＦ１２０４へ格納される。符号列解析部１２０３は、バッファＦに格納されているＨＤＲ差分符号化データの解析を行い、復号に必要な情報の抽出を行う（ステップＳ１３０１）。具体的には、図６（ｂ）に示したアプリケーションマーカーセグメントを解析する。この処理フローは図１６に示した通りである。すなわち、ステップＳ２００１で、変数の初期化を行う。具体的には、ＨＤＲ差分符号化データの分割数を示す変数ｎｕｍ＿ｐａｒｔ＿ｃｏｄｅをゼロにセットする処理である。次に１バイト取得し変数Ｘ１へ代入し（ステップＳ２００２）、さらに１バイト取得してＸ２へ代入する（ステップ２００３）。Ｘ１，Ｘ２は、復号装置内部において定義される変数である。Ｘ１とＸ２を連結して得られるコード（ｃｏｄｅ（Ｘ１＋Ｘ２））が”０ｘＦＦＥＢ”であるかを確認する（ステップＳ２００４）。もし、ｃｏｄｅ（Ｘ１＋Ｘ２）が”０ｘＦＦＥＢ”でなければ（ステップＳ２００４でＮｏ）、Ｘ１へＸ２を代入し（ステップＳ２００５）、処理をＳ２００３へ戻す。一方で、ｃｏｄｅ（Ｘ１＋Ｘ２）が”０ｘＦＦＥＢ”であれば、ｌｅｎを取得し（ステップＳ２００６）、ＣＩを取得する（ステップＳ２００７）。もし、ＣＩが”ＪＰ”でない場合（ステップＳ２００８でＮｏ）、ポインタを解析中のアプリケーションマーカーセグメントの最後尾へ移動させ（ステップＳ２００９）、処理をステップＳ２００２へ戻す。図６（ｂ）に示しているとおり、ｍａｒｋｅｒ，ｌｅｎ，ＣＩの格納領域サイズはそれぞれ２バイトであるので、最後尾はｌｅｎ−６バイト先である。一方で、もし、ＣＩが”ＪＰ”である場合（ステップＳ２００８でＹｅｓ）、解析中のアプリケーションマーカーセグメントは、本実施形態で処理すべきもの（ＡＰＰ１１ＪＰセグメント）であるとわかる。ＣＩの次にはＴＢがあるためＴＢの情報を取得し（ステップＳ２００９）、その次のＴＢを取得する（ステップＳ２０１０）。ＴＢ＝０である場合（ステップＳ２０１１でＹｅｓ）、Ｐａｙｌｏａｄには付属情報が格納されており、ＳＮを読み飛ばすためにポインタを２バイト移動させ（ステップＳ２０１２）、Ｐａｙｌｏａｄを解析する。（ステップＳ２０１３）。Ｐａｙｌｏａｄサイズは、解析中のＡＰＰ１１ＪＰセグメントの先頭からのオフセットとｌｅｎから確認できる。符号化方法の説明で示したとおり、ＰＡ符号化方式が適用されている場合、つまりＴＣ＝０の場合、Ｐａｙｌｏａｄには逆トーンマップ情報が含まれている。一方で、ＭＵ符号化方式が適用されている場合、つまりＴＣ＝１の場合、Ｐａｙｌｏａｄには輝度，色差に関する、ＪＰＥＧ符号化前の最大値と最小値が格納されている。ステップＳ２０１１でＴＢ＝１の場合、ＰａｙｌｏａｄにはＨＤＲ差分符号化データが格納されており、ＳＮを取得し（ステップＳ２０１４）、Ｐａｙｌｏａｄの先頭位置（ポインタ）を取得する（ステップＳ２０１５）。その上で、図２３に示したとおり、ＳＮと先頭ポインタがセットで記憶される。その後、ｎｕｍ＿ｐａｒｔ＿ｃｏｄｅはインクリメントされ、Ｓ２０１６に処理を進める。Ｓ２０１６では、次のＡＰＰ１１ＪＰセグメントを解析するため、Ｐａｙｌｏａｄ直後の６バイトを解析する。もし、先頭２バイトが”０ｘＦＦＥＢ”であり、かつ、最後の２バイトが”ＪＰ”であれば（ステップＳ２０１７でＹｅｓ）、ＡＰＰ１１ＪＰセグメントが続いていることがわかる。そのため、６バイト中、真ん中２バイトを解析してｌｅｎを取得する（ステップＳ２０１８）。その後、処理をステップＳ２０１０へ戻す。一方で、Ｓ２０１７でＮｏである場合、全てのＡＰＰ１１ＪＰセグメントの解析は終了しているので、図２１を参考にＨＤＲ差分符号化データの連結を行い（ステップＳ２０１９）、処理を終える。

上記ＨＤＲ差分符号化データの解析結果は、バッファＦ１２０４へ格納される。解析処理が終了すると、ＬＤＲ画像復号部１２０５はＬＤＲ画像のＪＰＥＧデータを復号して、ＬＤＲ画像データを再生する（ステップＳ１３０２）。生成されたＬＤＲ画像データはバッファＦ１２０４へ格納される。ＨＤＲ画像復号部１２０６は、後述するようにＨＤＲ差分符号化データを復号してＨＤＲ差分データを生成し、そのＨＤＲ差分データ、ＬＤＲ画像データ、付随情報を基に、ＨＤＲ画像データを復号し（ステップＳ１３０３）、出力部１２０７から外部へ出力する（ステップＳ１３０４）。

続いて、ＨＤＲ画像復号部１２０６の処理の説明に移る。図１２（ａ）はＨＤＲ画像復号部１２０６を構成するブロック図である。同図において、１４０１は入力部、１４０２はＰＡ復号部、１４０３はＭＵ復号部、１４０４は出力部である。図１２（ｂ）は、図１４のＨＤＲ画像復号部１２０６の処理フローを示したフローチャートである。以下、図１２（ａ），（ｂ）を用いて、本実施形態におけるＨＤＲ画像復号部１２０６の処理を説明する。

ＨＤＲ画像復号部１２０６の処理が開始すると、バッファＦ１２０４に格納されているステップＳ１３０１の解析結果を取得する（ステップＳ１５０１）。解析結果から、ＨＤＲ差分データに適用された符号化方式を確認する（ステップＳ１５０２）。符号化方式が、ＰＡ符号化であれば（ステップＳ１５０２でＹｅｓ）、ＰＡ復号部１４０２に、復号済みのＬＤＲ画像データ、ＨＤＲ差分符号化データ、逆トーンマップ情報が格納されているポインタが入力される。その後、ＰＡ復号部１４０２はＨＤＲ差分符号化データをＰＡ復号する（ステップＳ１５０３）。一方で、符号化方式がＭＵ符号化であれば（ステップＳ１５０２でＮｏ）、ＭＵ復号部１４０３に、復号済みのＬＤＲ画像データ、ＨＤＲ差分符号化データ、ＨＤＲ差分データの輝度，色差の最大値／最小値が格納されているポインタが入力される。その後、ＭＵ復号部１４０３はＨＤＲ差分符号化データをＭＵ復号する（ステップＳ１５０４）。ＨＤＲ画像符号化データの復号が終了すると、生成されたＨＤＲ画像データは出力部１２０７へ出力される（ステップＳ１５０５）。

次に、ＰＡ復号部１４０２における復号処理の説明に移る。図１３（ａ）は、ＰＡ復号部１４０２を構成するブロック図である。同図において、１６０１は入力部、１６０２は逆トーンマップ部、１６０３はＪＰＥＧ２０００復号部、１６０４は逆予測部、１６０５は出力部である。図１３（ｂ）は、図１３（ａ）のＰＡ復号部１４０２の処理フローを示したフローチャートである。以下、図１３（ａ）、（ｂ）を用いて、ＰＡ復号部１４０２の処理を説明する。

ＰＡ復号部１４０２の処理が開始すると、入力部１６０１はバッファＦ１２０４より、ＬＤＲ画像の復号データと逆トーンマップ情報、ＨＤＲ差分符号化データであるＪＰＥＧ２０００符号列を取得する（ステップＳ１７０１）。ＬＤＲ画像の復号データは逆トーンマップ部１６０２において、逆トーンマップ情報に基づき、逆トーンマップ処理が行われる（ステップＳ１７０２）。逆トーンマップ後の画像データは、逆予測部１６０４へ出力される。その後、ＪＰＥＧ２０００復号部１６０３において、ＪＰＥＧ２０００符号列の復号が行われ（ステップＳ１７０３）、生成されたＨＤＲ差分符号化データは逆予測部１６０４へ出力される。逆予測部１６０４は、ＬＤＲ画像データとＨＤＲ差分符号化データを加算し（ステップＳ１７０４）、ＨＤＲ画像の復号データを生成する。ＨＤＲ画像データは出力部１６０５より出力される（ステップＳ１７０５）。

次に、ＭＵ復号部１４０３の処理の説明に移る。図１４はＭＵ復号部１４０３を構成するブロック図である。同図において、１８０１は入力部、１８０２はＪＰＥＧ復号部、１８０３は色差成分実数化部、１８０４は逆色変換部、１８０５はバッファＧ、１８０６はＬｏｇＹレシオ実数化部である。さらに、１８０７は指数変換部、１８０８はＲＧＢ差分加算部、１８０９はＹレシオ乗算部、１８１０は出力部、１８１１は逆ノーマライズ部である。図１５は、図１４のＭＵ復号部の処理フローを示したフローチャートである。以下、図１４、図１５を用いて、ＭＵ復号部１４０３の処理を説明する。

ＭＵ復号部１４０３の処理が開始すると、入力部１８０１はバッファＦ１２０４より、輝度，色差に関する、圧縮前の最大値と最小値を取得する。つまり、Ｍａｘ＿Ｃｂ＿ｅ，Ｍａｘ＿Ｃｒ＿ｅ，Ｍｉｎ＿Ｃｂ＿ｅ，Ｍｉｎ＿Ｃｒ＿ｅ，Ｍａｘ＿ＬｏｇＹｒａｔｉｏ，Ｍｉｎ＿ＬｏｇＹｒａｔｉｏを取得する。さらに、ＨＤＲ差分符号化データであるＪＰＥＧ符号列も取得する（ステップＳ１９０１）。取得されたデータは、バッファＧ１８０５へ格納される。ＪＰＥＧ復号部１８０２は、バッファＧ１８０５内のＨＤＲ差分符号化データを復号し、バッファＧ１８０５へ保存する（ステップＳ１９０２）。復号データは、ＬｏｇＹレシオとＣｂ＿ｅ，Ｃｒ＿ｅから構成される画像データである。ＭＵ符号化の説明で示したとおり、ＬｏｇＹレシオの指数値（Ｙレシオ）をＬＤＲ画像データに乗算することで、ＨＤＲ画像データの輝度成分を復元できる。つまり、ＬｏｇＹレシオはＬＤＲ画像データから、ＨＤＲ画像データの輝度成分を戻すために必要な値である。しかし、ＬＤＲ画像データはそもそも、ＨＤＲ画像データのトーンマッピング処理で得られた画像であり、ＹレシオをＬＤＲ画像データに乗算しても、色差成分を復元できない。Ｃｂ＿ｅ，Ｃｒ＿ｅは、この乗算で色差成分を復元できるようにするための補正値である。色差成分実数化部１８０３は、Ｃｂ＿ｅ，Ｃｒ＿ｅの８ビット整数値をＭａｘ＿Ｃｂ＿ｅ，Ｍａｘ＿Ｃｒ＿ｅ，Ｍｉｎ＿Ｃｂ＿ｅ，Ｍｉｎ＿Ｃｒ＿ｅを用いて、実数化させる（ステップＳ１９０３）。具体的には、復号後のＣｂ＿ｅ／Ｃｒ＿ｅの０〜２５５の各値を、Ｍｉｎ＿Ｃｂ＿ｅ〜Ｍａｘ＿Ｃｂ＿ｅ／ Ｍｉｎ＿Ｃｒ＿ｅ〜Ｍａｘ＿Ｃｒ＿ｅへマッピングさせる処理である。次いで、逆ノーマライズ部１８１１において、以下の処理を行う（ステップＳ１９０４）。
Ｃｂ＿ｅ ＝ Ｃｂ＿ｅ ＊ Ｙ＿ｌｄｒ
Ｃｒ＿ｅ ＝ Ｃｒ＿ｅ ＊ Ｙ＿ｌｄｒ
ただし、Ｙ＿ｌｄｒは、バッファＧ１８０５に格納してあるＬＤＲ画像の輝度成分であり、ＬＤＲ画像のＲ，Ｇ，Ｂ値をＲ＿ｌｄｒ，Ｇ＿ｌｄｒ，Ｂ＿ｌｄｒとしたとき、以下のとおり算出される。
Ｙ＿ｌｄｒ＝０．２９９＊Ｒ＿ｌｄｒ＋０．５８７＊Ｇ＿ｌｄｒ＋０．１１４＊Ｂ＿ｌｄｒ

次に、逆色変換部１８０４においてＣｂ＿ｅ，Ｃｒ＿ｅを逆色変換される（ステップＳ１９０５）。具体的には、逆色変換により生成されるＲ，Ｇ，Ｂ値をＲ＿ｅ，Ｇ＿ｅ，Ｂ＿ｅとしたとき、以下の変換を行う。
Ｒ＿ｅ ＝ １．４０２＊Ｃｒ
Ｇ＿ｅ ＝ −０．３４４１４＊Ｃｂ − ０．７１４１４＊Ｃｒ
Ｂ＿ｅ ＝ １．７７２＊Ｃｂ
逆色変換の結果はＲＧＢ差分加算部１８０８に出力される。ＲＧＢ差分加算部１８０８は、Ｒ＿ｅ，Ｇ＿ｅ，Ｂ＿ｅをＬＤＲ画像の各画素のＲＧＢ値に加算し（ステップＳ１９０６）、Ｙレシオ乗算部１８０９へ出力する。続いて、復号処理は、色差成分から輝度成分へ移る。ＬｏｇＹレシオ実数化部１８０６において、ＬｏｇＹレシオの実数化が行われる（ステップＳ１９０７）。この処理は、色差成分実数化部１８０３と同様な処理であり、Ｍａｘ＿ＬｏｇＹｒａｔｉｏ， Ｍｉｎ＿ＬｏｇＹｒａｔｉｏを用いて、８ビット整数値のＬｏｇＹレシオを実数へ変換する。得られた実数値は、指数変換部１８０７において、指数変換され（ステップＳ１９０８）、Ｙレシオ乗算部１８０９へ出力される。なお、ここでの指数変換は、「２＾ＬｏｇＹレシオ」（ｘ＾ｙはｘのｙ乗を示す）である。Ｙレシオ乗算部１８０９は、ＲＧＢ値を補正したＬＤＲ画像データに対してＹレシオを乗算して（ステップＳ１９０９）、ＨＤＲ画像データを得る。出力部１８１０は、前述のとおり復号・構成したＨＤＲ画像データを出力する（ステップＳ１９１０）。

以上が第１実施形態の説明である。上記のように、本第１の実施形態によれば、ＨＤＲ画像を符号化する際に、ＨＤＲ画像とＬＤＲ画像との差分データの種別を、複数の中から選択できるようになる。しかも、生成されたＨＤＲ符号化データは、既存のＪＰＥＧ復号部でも、ＬＤＲ画像までは正常に復号することも可能としている。

［第２の実施形態］
第１の実施形態では、外部からの要求に応じてＨＤＲ差分データの生成方法を変える方法を示した。本実施形態においては、符号化時に、ＰＡ符号化、ＭＵ符号化それぞれのＨＤＲ差分符号化データ、つまり、２種類のＨＤＲ差分符号化データを生成して、ＨＤＲ画像符号化データに格納する。そして、復号時には、２種類のＨＤＲ差分データ符号化データの一方を選択的に復号できる。

図１７は、本第２の実施形態における符号化装置１０１のブロック図である。同図の基本構成は第１の実施形態の図２と同じであり、相違点は次のとおりである。図２のＨＤＲ差分データ符号化部２０４，符号列生成部２０７が本第２の実施形態のＨＤＲ差分データ符号化部２１０１，符号列生成部２１０２に置き換わり、ＨＤＲ差分データ符号化方法選択部２０９を削除している点である。図１８は、図１７のブロック図の処理フローを示したフローチャートである。同図の基本処理フローは第１実施形態の図３と同じであるが、ＨＤＲ差分データの符号化Ｓ３０４，ＨＤＲ画像符号化データ生成部Ｓ３０５が、本第２の実施形態の処理ステップＳ２２０１、Ｓ２２０２に置き換わっている。以下、第１の実施形態との相違点に注力して説明する。

図１８のステップＳ２２０１で、ＨＤＲ差分データ符号化部２１０１は、ＨＤＲ差分符号化部ＰＡ符号化、ＭＵ符号化それぞれの符号化データを生成する。生成された２種類のＨＤＲ差分符号化データは、符号列生成部２１０２へ出力される。符号列生成部２１０２は、ＬＤＲ画像のＪＰＥＧ符号化データと、ヘッダに２つのＨＤＲ差分符号化データに付与して、ＨＤＲ画像符号化データを生成する（ステップＳ２２０２）。ＨＤＲ画像符号化データの基本構成は第１実施形態と同様であり、図６（ａ）のとおりである。ただ、本第２の実施形態の場合、ＨＤＲ差分データ符号化情報の構成が異なり、その構成を図１９（ａ）に示した。ＰＡ符号化の符号化データ（ＰＡ符号化データ）と付随情報を１つのデータセット、ＭＵ符号化の符号化データ（ＭＵ符号化データ）と付随情報を別のデータセットとする。その上で、それらのデータセットを順不同で並べる。つまり、図１９（ａ）の１つ目のデータセットにＰＡ符号化のデータセット、２つ目のデータセットにＭＵ符号化のデータセットを置いてもよいし、その逆でもよい。各データセットの構成は、おおよそ第１の実施形態と同様である。すなわち、ＨＤＲ差分符号化データと付随情報は個別のＡＰＰ１１ＪＰセグメントに格納する。ＨＤＲ差分符号化データが６５５３５ｂｙｔｅに収まらない場合、複数のＡＰＰ１１ＪＰセグメントに分割する。データセットを形成するＡＰＰ１１ＪＰセグメントのうち先頭以外は図１９（ｂ）のように、第１の実施形態と同じ構成をとる。先頭のＡＰＰ１１ＪＰセグメントは図１９（ｃ）の構成であり、ＴＣの後にｌｅｎ＿ｄｓを置く。これはデータセット全体のサイズ情報であり、復号時に、２番目のデータセットの先頭へアクセスする際に使う。以上が、本実施形態における符号化装置の説明である。続いて、復号装置の説明に移る。

図２０は、本第２の実施形態における復号装置１０２のブロック図である。同図の基本構成は第１実施形態の図１０と同じであり、相違点は、符号列解析部１２０３の処理が多少変わった点と、ＨＤＲ差分符号化データ選択部２４０１を追加した点である。図２１は、図２０のブロック図の処理フローを示したフローチャートである。同図の基本処理フローは第１の実施形態の図１１と同じであるが、Ｓ２５０１，Ｓ２５０２が図１１と異なる。以下、第１の実施形態との相違点に注力して説明する。

図示のＵＩをとおして、ユーザーが復号、並びに復号方法を指示すると復号処理は開始する。選択可能な復号方法とは、「低画質・高速」と「高画質・低速」のいずれかである。不図示のＵＩから、復号方法として「低画質・高速」が指定されていると、復号対象を示す変数ｔｏ＿ｂｅ＿ｄｅｃｏｄｅｄに“１”がセットされる。逆に、「高画質・低速」が指定されていると、ｔｏ＿ｂｅ＿ｄｅｃｏｄｅｄには“０”がセットされる（ステップＳ２５０１）。次に、ＨＤＲ差分符号化データを解析し、復号対象のＨＤＲ差分符号化データと付随情報を取得する（ステップＳ２５０２）。図２２は、ステップＳ２５０２の解析処理のフローチャートであり、第１の実施形態の解析処理のフローチャートである図１６を概略同じである。相違点のみを説明すると、１つ目のデータセット内、先頭のＡＰＰ１１ＪＰセグメントのＴＣを取得すると（ステップＳ２００９）、直後にあるｌｅｎ＿ｄｓを取得する（ステップＳ２６０１）。ステップＳ２６０２において、復号対象符号列を示すｔｏ＿ｂｅ＿ｄｅｃｏｄｅｄとＴＣが同じかどうかを確認する。もし同じであれば（ステップＳ２６０１でＹｅｓ）、１の目のデータセットには復号対象のＨＤＲ差分データが格納されているので、処理をステップＳ２０１０へ進める。もし違うのであれば（ステップＳ２６０２でＮｏ）、２番目のデータセットの先頭へポインタを移動させる（ステップＳ２６０３）。移動させるポインタ数は、（ｌｅｎ＿ｄｓ − １１）ｂｙｔｅである。そして、処理をＳ２００２へ戻す。

以上、第２実施形態を説明した。本第２の実施形態によれば、復号する側にて、複数のＨＤＲ差分データのいずれを用いてＨＤＲ画像を生成（復号）するかを指定できるようになる。

［その他の実施形態］
第１の実施形態において、１つのＨＤＲ差分符号化データをＨＤＲ画像符号化データ内に含ませる方法を示したが、これに限られることはない。量子化ステップなどの圧縮パラメータを変えて生成した複数のＨＤＲ差分符号化データを格納してもよい。その場合、各ＨＤＲ差分符号化データの先頭位置を示すような情報（先頭位置情報）を、ＨＤＲ画像符号化データに持たせることが望ましい。また、各ＨＤＲ差分符号化データに、どのような圧縮パラメータが適用されているかを示す情報（圧縮条件情報）を入れてもよい。復号時には、先頭位置情報や圧縮条件情報を基に、選択的にＨＤＲ差分符号化データを選択的に復号してもよい。

第１の実施形態において、ＨＤＲ差分データの符号化方法を２つから選ぶ方法を示したが、３つ以上の中から選ぶようにしてもよい。その場合には、もちろん、復号側が適切な処理を行えるように、ＴＣの値の種類（orビット数）を増やすべきである。

第２の実施形態においては、異なる符号化方式から生成されたＨＤＲ差分符号化データを、１つずつ格納する方法を示した。１つの符号化方式につき、圧縮パラメータを変えた複数種類のＨＤＲ差分符号化データを生成・格納してもよい。

ＴＣの取り得るデータとして、０，１の数値として説明しているが、これに限られることはない。ＰＡ，ＭＵなど、符号化方式の名称を示す文字列を用いてもよい。

第１の実施形態において、ＰＡ符号化，ＭＵ符号化のいずれかを選択して符号化する方法を示したが、必ずしもこれに限られない。ＰＡ符号化、ＭＵ符号化それぞれのＨＤＲ差分符号化データを生成し、いったん蓄積媒体格納する。そして、復号装置からいずれか一方の送信要求を受けた場合、該当するＨＤＲ差分符号化データを選択する。その後で、ＬＤＲ画像符号化データとＨＤＲ差分符号化データ、識別情報を組み合わせて送信する方法でもよい。

第１、２の実施形態では、識別情報をＡＰＰ１１ＪＰセグメントに格納する方法を示したが、必ずしもこれに限られない。例えば、ＥｘｉｆなどＡＰＰ１１以外のマーカーセグメントに識別情報を格納してもよい。ＨＤＲ画像符号化データ全体のＪＰＥＧデータをＴＩＦＦに格納するものとし、ＴＩＦＦヘッダ内に識別情報を格納してもよい。つまり、復号装置がＨＤＲ差分符号化データを正しく復号できるように、復号装置へ識別情報を伝達できれば、いかなる方法も本発明の範疇に入る。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. ＨＤＲ画像を符号化する画像符号化装置であって、
   入力されたＨＤＲ画像のダイナミックレンジを圧縮して、ＬＤＲ画像を生成するトーンマップ手段と、
   ＬＤＲ画像を圧縮するＬＤＲ画像符号化手段と、
   第１の生成・符号化方式で、ＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第１の生成・符号化手段と、
   第２の生成・符号化方式で、ＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第２の生成・符号化手段と、
   ＨＤＲ差分データの生成・符号化方式を選択する選択手段と、
   ＬＤＲ画像の符号列、ＨＤＲ差分データの符号列、ＨＤＲ差分データの生成・符号化方式を識別する識別情報とを、前記ＨＤＲ画像の圧縮データとして出力する出力手段とを有することを特徴とする画像符号化装置。
2. 前記ＬＤＲ画像符号化手段は、ＪＰＥＧ符号化方式であることを特徴とする請求項１に記載の画像符号化装置。
3. 前記第１の生成・符号化手段は、
   ＬＤＲ画像のダイナミックレンジを拡張し、ＨＤＲ画像を生成するための逆トーンマップ手段と、
   前記逆トーンマップ手段により生成されたＨＤＲ画像と、入力ＨＤＲ画像の差分画像を算出する算出手段と、
   前記算出手段により生成された差分画像を符号化する差分画像符号化手段と
   を有することを特徴とする請求項１に記載の画像符号化装置。
4. 前記第２の生成・符号化手段は、
   ＬＤＲ画像と入力ＨＤＲ画像で輝度成分の比を表すＹレシオを算出する算出手段と、
   入力ＨＤＲ画像をＹレシオで除算した結果とＬＤＲ画像でＲＧＢの差分を算出する差分算出手段と、
   差分算出手段により生成された差分を色変換することで、ＲＧＢの差分から色差の差分を生成する生成手段と、
   Ｙレシオを対数変換し、Ｙレシオの対数でありＬｏｇＹレシオを生成する対数変換手段と、
   ＬｏｇＹレシオと色差差分から構成される差分画像を圧縮する差分画像符号化手段と
   を有することを特徴とする請求項１に記載の画像符号化装置。
5. ＬＤＲ画像の符号列、ＬＤＲ画像からＨＤＲ画像を生成するために必要となるＨＤＲ差分データの符号列、ＨＤＲ差分データの生成・符号化方式を識別する識別情報を含む圧縮データを復号する画像復号装置であって、
   ＬＤＲ画像の符号列を復号しＬＤＲ画像を生成するＬＤＲ画像復号手段と、
   該圧縮データに含まれる識別情報を解析することで、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する方法を選択する選択手段と、
   第１の復号・構成の方法で、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する第１復号・構成手段と、
   第２の復号・構成の方法で、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する第２復号・構成手段と
   を有することを特徴とする画像復号装置。
6. 前記ＬＤＲ画像復号手段は、ＪＰＥＧの復号を行うことを特徴とする請求項５に記載の画像復号装置。
7. 前記第１の復号・構成手段は、
   ＨＤＲ差分データの符号列を復号する復号手段と、
   ＬＤＲ画像復号手段により復号されたＬＤＲ画像のダイナミックレンジを拡張する逆トーンマップ手段と、
   復号されたＨＤＲ差分データを、逆トーンマップ手段により生成された画像に加算する加算手段と
   を有することを特徴とする請求項５に記載の画像符号化装置。
8. 前記第２の復号・構成手段は、
   ＨＤＲ差分データの符号列を復号する復号手段と、
   復号手段により生成されたＨＤＲ差分データから輝度成分と色差成分を取得する取得手段と、
   前記取得手段で取得された輝度成分を指数変換する指数変換手段と、
   前記取得手段で取得された色差成分を逆色変換し、ＲＧＢのデータを生成する逆色変換手段と、
   前記逆色変換手段により生成されたＲＧＢのデータと、ＬＤＲ画像復号手段により生成されたＬＤＲ画像の和を算出する算出手段と、
   前記算出手段により生成された画像に対して、指数変換手段により生成された指数変換した後の輝度成分を乗算する乗算手段と
   を有することを特徴とする請求項５に記載の画像復号装置。
9. ＨＤＲ画像の符号列を送信する送信装置、及び、前記ＨＤＲ画像の符号列を受信する受信装置で構成される画像処理システムであって、
   前記送信装置は、
   入力されたＨＤＲ画像のダイナミックレンジを圧縮して、ＬＤＲ画像を生成するためのトーンマップ手段と、
   ＬＤＲ画像を圧縮するＬＤＲ画像符号化手段と、
   第１の生成・符号化方式で、ＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第１の生成・符号化手段と、
   第２の生成・符号化方式で、ＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第２の生成・符号化手段と、
   ＨＤＲ差分データの生成・符号化方式を選択する選択手段と、
   ＬＤＲ画像の符号列、ＨＤＲ差分データの符号列、ＨＤＲ差分データの生成・符号化方式を識別する識別情報とを、前記ＨＤＲ画像の圧縮データとして出力する出力手段とを有し、
   前記受信装置は、
   該圧縮データを受信する受信手段と、
   ＬＤＲ画像の符号列を復号しＬＤＲ画像を生成するＬＤＲ画像復号手段と、
   該圧縮データに含まれる識別情報を解析することで、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する方法を選択する選択手段と、
   第１の復号・構成の方法で、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する第１復号・構成手段と、
   第２の復号・構成の方法で、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する第２復号・構成手段とを有する
   ことを特徴とする画像処理システム。
10. ＨＤＲ画像を符号化する画像符号化装置の制御方法であって、
    トーンマップ手段が、入力されたＨＤＲ画像のダイナミックレンジを圧縮して、ＬＤＲ画像を生成するトーンマップ工程と、
    ＬＤＲ画像符号化手段が、ＬＤＲ画像を圧縮するＬＤＲ画像符号化工程と、
    第１の生成・符号化手段が、第１の生成・符号化方式に従いＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第１の生成・符号化工程と、
    第２の生成・符号化手段が、第２の生成・符号化方式に従いＬＤＲ画像からＨＤＲ画像を再生するために必要となるＨＤＲ差分データを生成し、ＨＤＲ差分データを符号化する第２の生成・符号化工程と、
    選択手段が、ＨＤＲ差分データの生成・符号化方式を選択する選択工程と、
    出力手段が、ＬＤＲ画像の符号列、ＨＤＲ差分データの符号列、ＨＤＲ差分データの生成・符号化方式を識別する識別情報とを、前記ＨＤＲ画像の圧縮データとして出力する出力工程と
    を有することを特徴とする画像符号化装置の制御方法。
11. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１０に記載の画像符号化装置の制御方法の各工程を実行させるためのプログラム。
12. ＬＤＲ画像の符号列、ＬＤＲ画像からＨＤＲ画像を生成するために必要となるＨＤＲ差分データの符号列、ＨＤＲ差分データの生成・符号化方式を識別する識別情報を含む圧縮データを復号する画像復号装置の制御方法であって、
    ＬＤＲ画像復号手段が、ＬＤＲ画像の符号列を復号しＬＤＲ画像を生成するＬＤＲ画像復号工程と、
    選択手段が、該圧縮データに含まれる識別情報を解析することで、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する方法を選択する選択工程と、
    第１復号・構成手段が、第１の復号・構成の方法に従い、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する第１復号・構成手段と、
    第２復号・構成手段が、第２の復号・構成の方法に従い、ＨＤＲ差分データの符号列を復号し、ＨＤＲ差分データとＬＤＲ画像からＨＤＲ画像を構成する第２復号・構成手段と
    を有することを特徴とする画像復号装置の制御方法。
13. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１２に記載の画像復号装置の制御方法の各工程を実行させるためのプログラム。
14. 請求項１１又は１３のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images