JP2017069973A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】ＪＰＥＧ方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことを可能とすること。【解決手段】８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、を備える画像処理装置を提供する。【選択図】図１０

Description

本開示は、画像処理装置及びプログラムに関する。

画像のデータサイズを圧縮することのできる画像符号化方式として、ＪＰＥＧ（Joint Photographic Experts Group）方式が広く利用されている。ＪＰＥＧ方式によれば、各色８ビットのビット深度を有する画像のデータサイズが、直交変換、量子化及びエントロピー符号化などの要素技術を用いて圧縮される。ＪＰＥＧ方式は、現在普及しているブラウザ、イメージビューワ、フォトエディタ及びオーサリングツールなどの様々なアプリケーションによりサポートされている。

これに対し、デジタルカメラ又はイメージスキャナなどの撮像デバイスにより原始的に取得されるＲＡＷ画像は、一般的に、１２ビットなどより多くのビット深度を有する。従って、ＲＡＷ画像を最終的にＪＰＥＧ方式で符号化するために、ＲＡＷ画像を現像した後、現像した画像の各画素のビット深度を削減する処理が行われる。結果として、一度ＪＰＥＧ方式で符号化された画像の画質は、当初撮像された画像の画質よりも劣化する。

ビット深度の削減に起因する画質の劣化は、例えば、階調の低下として現れる。階調の低下の典型的な例は、高輝度領域で階調が失われる白とび、及び低輝度領域で階調が失われる黒つぶれである。下記特許文献１は、撮像装置の撮像感度及び明るさ補正量を動的に制御して画像の白つぶれを低減する技術を提案している。

特開２０１１−０５５１７１号公報

しかしながら、一度階調が低下し又は失われた後で、画像が当初有していた高い階調を取り戻すことは困難であった。また、既存の拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式及びＪＰＥＧ ＸＲ方式などの多ビット符号化方式を使用すれば、ビット深度を削減する必要性は回避されるものの、これら多ビット符号化方式はＪＰＥＧ方式との間で互換性を有しない。そのため、多ビット符号化方式で高階調画像を扱うという解決策は、実用上採用されにくかった。

従って、ＪＰＥＧ方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことを可能とする仕組みが実現されることが望ましい。

本開示によれば、８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、を備える画像処理装置が提供される。

また、本開示によれば、８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成する処理部と、ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、前記処理部により前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成する逆処理部と、前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、を備える画像処理装置が提供される。

また、本開示によれば、コンピュータを、８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、として機能させるためのプログラムが提供される。

本開示に係る技術よれば、ＪＰＥＧ方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことが可能となる。

一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第１の例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第２の例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第３の例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第４の例を示すブロック図である。 図１に例示した画像符号化装置の第２符号化ブランチの詳細な構成の第５の例を示すブロック図である。 第２符号化ブランチの詳細な構成の第５の例における差分画像の分離について説明するための説明図である。 図１に例示した画像符号化装置により出力される符号化ストリームの構成の一例について説明するための説明図である。 図１に例示した画像符号化装置により出力される符号化ストリームの構成の他の例について説明するための説明図である。 一実施形態に係る画像符号化処理の流れの一例を示すフローチャートである。 図５に示した差分符号化処理の詳細な流れの一例を示すフローチャートである。 図６に示した差分加工処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る画像符号化処理の流れの他の例を示すフローチャートである。 図８に示した差分画像分離処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第１の例を示すブロック図である。 図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第２の例を示すブロック図である。 図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第３の例を示すブロック図である。 図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第４の例を示すブロック図である。 図１０に例示した画像復号装置の第２復号ブランチの詳細な構成の第５の例を示すブロック図である。 一実施形態に係る画像復号処理の流れの一例を示すフローチャートである。 図１１に示した差分復号処理の詳細な流れの一例を示すフローチャートである。 一実施形態に係る画像復号処理の流れの他の例を示すフローチャートである。 図１４に示した差分合成処理の詳細な流れの一例を示すフローチャートである。 第１の応用例に係る画像処理装置の構成の一例を示すブロック図である。 第２の応用例に係る画像処理装置の構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成
１−２．第２ブランチの詳細
１−３．ストリーム構成
１−４．処理の流れ
２．一実施形態に係る画像復号装置の構成例
２−１．全体的な構成
２−２．第２ブランチの詳細
２−３．処理の流れ
３．応用例
４．まとめ

＜１．一実施形態に係る画像符号化装置の構成例＞
本開示に係る技術は、ＲＡＷ画像をデモザイク処理することにより生成されるフルカラー画像から符号化ストリームを生成する画像符号化装置と、当該符号化ストリームを復号してフルカラー画像を再構成する画像復号装置とを含む。本開示に係る画像復号装置によって再構成される画像は、フルカラー画像を必ずしも完全には再現しないが、ＪＰＥＧデコーダにより再構成される画像と比較してより高階調の画像を表現し得る。

本明細書において、「ＪＰＥＧ方式」との用語は、８ビットのビット深度をサポートするベースラインＪＰＥＧ方式を意味し、拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式又はＪＰＥＧ ＸＲ方式などの多ビット符号化方式を含まない。

本節では、一実施形態に係る画像符号化装置について説明する。その後、次節において、一実施形態に係る画像復号装置について説明する。

［１−１．全体的な構成］
図１は、一実施形態に係る画像符号化装置１００の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１００は、ＲＡＷ画像取得部１１０、現像部１２０、補正処理部１３０、逆処理部１４０、差分演算部１５０、第１符号化ブランチ１６０、第２符号化ブランチ１７０及びストリーム出力部１９０を備える。

（１）ＲＡＷ画像取得部
ＲＡＷ画像取得部１１０は、画像符号化装置１００による符号化処理の入力となるＲＡＷ画像データを取得する。ＲＡＷ画像取得部１１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＩＳ（Contact Image Sensor）などの撮像素子を含むイメージセンサからＲＡＷ画像データを取得してもよい。その代わりに、ＲＡＷ画像取得部１１０は、例えば、ＲＡＷ画像データを有する他の装置又は記憶媒体から当該ＲＡＷ画像データを取得してもよい。ＲＡＷ画像は、一般的には、画素ごとに単一の色成分のみを有する画像である。本実施形態において、ＲＡＷ画像取得部１１０により取得されるＲＡＷ画像データは、各色Ｎビット（Ｎは８より大きい）のビット深度を有するものとする。ＲＡＷ画像取得部１１０は、取得したＲＡＷ画像データを現像部１２０へ出力する。

（２）現像部
現像部１２０は、ＲＡＷ画像取得部１１０から入力されるＲＡＷ画像データをデモザイク処理することにより、画素ごと（又は画像符号化方式に依存する所定の単位ごと）に３つの色成分を有する第１のフルカラー画像データＩＭ０を生成する。デモザイク処理とは、典型的には、画素ごとに不足している色成分を補完する処理をいう。本明細書において、フルカラー画像とは、ＲＡＷ画像において不足していた色成分が補完され、画素ごとに全ての色成分が揃っている画像を意味する。現像部１２０は、さらに、例えば、欠陥補正、デジタルクランプ及びデジタルゲインなどの追加的な処理を行ってもよい。一般的に、デジタル画像の「現像」との用語は、デモザイク処理後のフルカラー画像データについて行われる様々な補正処理をも含み得る。しかしながら、本明細書では、それら補正処理は次に説明する補正処理部１３０が行うものとする。現像部１２０は、生成した第１のフルカラー画像データＩＭ０を補正処理部１３０及び差分演算部１５０へ出力する。

（３）補正処理部
補正処理部１３０は、現像部１２０から入力される第１のフルカラー画像データＩＭ０を補正して、高階調画像データＩＭ１を生成する。高階調画像データＩＭ１のビット深度は、第１のフルカラー画像データＩＭ０（及びＲＡＷ画像データ）に等しい。補正処理部１３０による補正処理は、例えば、ＥＶ（Exposure Value）補正、ＷＢ（White Balance）補正又はガンマ補正などを含み得る。そして、補正処理部１３０は、生成した高階調画像データＩＭ１を逆処理部１４０及び第１符号化ブランチ１６０へ出力する。

（４）逆処理部
逆処理部１４０は、補正処理部１３０から入力される高階調画像データＩＭ１に上述した補正処理の逆処理を適用して、第２のフルカラー画像データＩＭ０´を生成する。逆処理部１４０による補正処理の逆処理は、例えば、ＥＶ逆補正、ＷＢ逆補正又はガンマ逆補正などを含み得る。そして、逆処理部１４０は、生成した第２のフルカラー画像データＩＭ０´を差分演算部１５０へ出力する。なお、本明細書では、逆処理部１４０が高階調画像データＩＭ１に補正処理の逆処理を適用する例を主に説明する。しかしながら、かかる例に限定されず、逆処理部１４０は、例えば、後に説明する第１の画像データＩＭｄ１に、当該データが生成されるまでに実行された処理の逆処理を適用してもよい。また、逆処理部１４０は、後に説明する第１の符号化ストリームＳＴ１に、当該ストリームが生成されるまでに実行された処理の逆処理を適用してもよい。

（５）差分演算部
差分演算部１５０は、現像部１２０から入力される第１のフルカラー画像データＩＭ０と逆処理部１４０から入力される第２のフルカラー画像データＩＭ０´との差分画像を計算する。そして、差分演算部１５０は、計算される差分画像に基づく第２の画像データＩＭ２を第２符号化ブランチ１７０へ出力する。差分演算部１５０から直接的に出力される第２の画像データＩＭ２は、上記差分画像を表現する、フルカラー画像データＩＭ０と同等のビット深度を有する（但し正負の符号を有し得る）差分画像データである。第２の画像データＩＭ２には、第２符号化ブランチ１７０における符号化の前に、後に説明する様々な処理が加えられ得る。

（６）第１符号化ブランチ
第１符号化ブランチ１６０は、高階調画像データＩＭ１を符号化するための処理分岐である。図１の例において、第１符号化ブランチ１６０は、深度削減・ＹＣ変換部１６２及び第１符号化部１６８を含む。

深度削減・ＹＣ変換部１６２は、高階調画像データＩＭ１のビット深度を各色８ビットに削減すると共に、高階調画像データＩＭ１の色空間をＲＧＢ空間からＹＣ（輝度‐色差）空間に変換して、第１の画像データＩＭｄ１を生成する。そして、深度削減・ＹＣ変換部１６２は、生成した第１の画像データＩＭｄ１を第１符号化部１６８へ出力する。

第１符号化部１６８は、深度削減・ＹＣ変換部１６２から入力される第１の画像データＩＭｄ１をＪＰＥＧ方式で符号化して、第１の符号化ストリームＳＴ１を生成する。即ち、第１符号化部１６８は、一般的なＪＰＥＧエンコーダであってよい。第１符号化部１６８による符号化処理は、典型的には、画像内に配置されるブロックごとに実行される直交変換、量子化及びエントロピー符号化を含む。ここでの符号化処理により、第１の画像データＩＭｄ１のデータサイズが圧縮される。第１符号化部１６８は、このように符号化された第１の画像データＩＭｄ１を含む第１の符号化ストリームＳＴ１を、ストリーム出力部１９０へ出力する。

（７）第２符号化ブランチ
第２符号化ブランチ１７０は、第２の画像データＩＭ２を符号化するための処理分岐である。図１の例において、第２符号化ブランチ１７０は、第２符号化部１７９を含む。第２符号化部１７９は、上述した差分画像に基づく第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２符号化部１７９により使用される画像符号化方式は、例えば、ＪＰＥＧ方式であってもよく、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ ＸＲ方式などであってもよい。第２符号化部１７９は、このように符号化された第２の画像データＩＭ２を含む第２の符号化ストリームＳＴ２を、ストリーム出力部１９０へ出力する。

第２符号化ブランチ１７０は、第２符号化部１７９の前段に、第２の画像データＩＭ２に対して前処理を適用するさらなる処理部を含んでもよい。第２の画像データＩＭ２に適用される前処理は、例えば、色空間の変換、画素値の正規化、画像サイズの縮小、高周波成分の除去、並びに白とび及び黒つぶれが生じていない部分の平滑化、のうちの１つ以上を含み得る。このような第２符号化ブランチ１７０のいくつかの具体的な実施例について、後にさらに説明する。

（８）ストリーム出力部
ストリーム出力部１９０は、第２符号化ブランチ１７０から入力される第２の符号化ストリームＳＴ２を第１符号化ブランチ１６０から入力される第１の符号化ストリームＳＴ１に関連付けて、これら２つの符号化ストリームを出力する。ストリーム出力部１９０は、例えば、第２の符号化ストリームＳＴ２にアクセスするための参照用パラメータを生成し、生成した参照用パラメータを第１の符号化ストリームのヘッダ領域に挿入し得る。

例えば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２が１つのファイル内に多重化される場合には、参照用パラメータは、第２の符号化ストリームＳＴ２のストリーム識別子、開始アドレス、又は第１の符号化ストリームＳＴ１に続くストリームが第２の符号化ストリームＳＴ２であることを示すフラグなどであってよい。また、例えば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２が別のファイル内に格納される場合には、参照用パラメータは、第２の符号化ストリームＳＴ２が格納されるファイルのファイル名などであってよい。このような参照用パラメータが挿入されるヘッダ領域は、第１の符号化ストリームが格納されるファイル内に存在してもよく、又は第１の符号化ストリームが格納されるファイルとは別のファイル（例えば、ヘッダファイル）内に存在してもよい。

ストリーム出力部１９０により出力される第１及び第２の符号化ストリームＳＴ１、ＳＴ２は、画像符号化装置１００に接続される記憶媒体により記憶されてもよい。その代わりに、第１及び第２の符号化ストリームＳＴ１、ＳＴ２は、画像符号化装置１００から他の装置へ送信され、他の装置において記憶又は復号されてもよい。

［１−２．第２ブランチの詳細］
本項では、図１に例示した画像符号化装置１００の第２符号化ブランチ１７０の５つの詳細な実施例を説明する。

（１）第１の実施例
図２Ａは、第２符号化ブランチ１７０の詳細な構成の第１の例を示すブロック図である。図２Ａを参照すると、第２符号化ブランチ１７０は、正規化部１７５、ＹＣ変換部１７７及び第２符号化部１７９ａを含む。

正規化部１７５は、第２の画像データＩＭ２の画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する。第１の実施例においては、第２符号化部１７９ａは、ＪＰＥＧ方式を使用する。この場合、第２符号化部１７９ａによりサポートされる画素値レンジは、０〜２５５である。一方、差分演算部１５０から入力される第２の画像データＩＭ２の画素値（差分画素値）の最小値及び最大値をそれぞれＤ_ｍｉｎ及びＤ_ｍａｘとする。最小値Ｄ_ｍｉｎ及び最大値Ｄ_ｍａｘは、理論的にはフルカラー画像データＩＭ０と同等のビット深度を有し、さらに正負の符号を有し得る。そこで、正規化部１７５は、例えば、差分画素値の最小値Ｄ_ｍｉｎがゼロに、最大値Ｄ_ｍａｘが２５５にそれぞれ等しくなるように、第２の画像データＩＭ２の画素値を正規化する。そして、正規化部１７５は、正規化された画素値を有する第２の画像データＩＭ２をＹＣ変換部１７７へ出力する。

また、正規化部１７５は、正規化された画素値をデコーダが元の差分画素値に逆正規化できるようにするために、正規化パラメータをストリーム出力部１９０へ出力する。正規化パラメータは、上述した最小値Ｄ_ｍｉｎ及び最大値Ｄ_ｍａｘであってもよい。その代わりに、正規化パラメータは、レンジ比率Ｒ_{ｒａｎｇｅ}及びシフト量Ｓ_{ｒａｎｇｅ}であってもよい。レンジ比率Ｒ_{ｒａｎｇｅ}は、正規化前後のレンジ幅の比率を示す。シフト量Ｓ_{ｒａｎｇｅ}は、正規化前後のレンジの中央位置のズレの量を示す。レンジ比率Ｒ_{ｒａｎｇｅ}及びシフト量Ｓ_{ｒａｎｇｅ}は、上述した最小値Ｄ_ｍｉｎ及び最大値Ｄ_ｍａｘから計算され得る。

ＹＣ変換部１７７は、正規化部１７５から入力される第２の画像データＩＭ２の色空間をＲＧＢ空間からＹＣ空間に変換する。そして、ＹＣ変換部１７７は、ＹＣ空間で表現される画素値を有する第２の画像データＩＭ２を第２符号化部１７９ａへ出力する。

第２符号化部１７９ａは、ＹＣ変換部１７７から入力される第２の画像データＩＭ２をＪＰＥＧ方式で符号化して、第２の符号化ストリームＳＴ２を生成する。即ち、本実施例において、第２符号化部１７９ａは、第１符号化部１６８と同様、一般的なＪＰＥＧエンコーダであってよい。

第１の実施例によれば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２の双方がＪＰＥＧエンコーダを用いて符号化されるため、広く普及しているＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。

（２）第２の実施例
図２Ｂは、第２符号化ブランチ１７０の詳細な構成の第２の例を示すブロック図である。図２Ｂを参照すると、第２符号化ブランチ１７０は、縮小部１７３、正規化部１７５及び第２符号化部１７９ｂを含む。

縮小部１７３は、第２の画像データＩＭ２のサイズを縮小する。縮小部１７３により用いられるサイズの縮小比は、いかなる値であってもよい。例えば、縮小部１７３は、縦方向及び横方向の各々のサイズを１／２に縮小することにより、第２の画像データＩＭ２のサイズを全体で１／４に縮小してもよい。そして、縮小部１７３は、サイズの縮小された第２の画像データＩＭ２を正規化部１７５へ出力する。

正規化部１７５は、縮小部１７３から入力される第２の画像データＩＭ２の画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する。例えば、第２符号化部１７９ｂが１０ビットの画像符号化方式を使用する場合、第２符号化部１７９ａによりサポートされる画素値レンジは、０〜１０２３である。そこで、正規化部１７５は、差分画素値の最小値Ｄ_ｍｉｎがゼロに、最大値Ｄ_ｍａｘが１０２３にそれぞれ等しくなるように、第２の画像データＩＭ２の画素値を正規化する。そして、正規化部１７５は、正規化された画素値を有する第２の画像データＩＭ２を第２符号化部１７９ｂへ出力する。また、正規化部１７５は、正規化パラメータをストリーム出力部１９０へ出力する。

第２符号化部１７９ｂは、正規化部１７５から入力される第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２の画像データＩＭ２が符号化される前に、第２の画像データＩＭ２の色空間がＲＧＢ空間からＹＣ空間に変換されてもよい。第２符号化部１７９ｂによりＪＰＥＧ方式が使用される場合には、第１の実施例と同様、差分画像の符号化においてもＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。

第２の実施例によれば、符号化される第２の画像データＩＭ２のサイズが縮小されるため、第２の符号化ストリームＳＴ２のデータ量を低減することができる。後に説明するように、第２の画像データＩＭ２は、フルカラー画像データを符号化することにより低下する画質を補うために補完的に使用される画像データである。よって、完全に近いフルカラー画像の再現が求められない場合には、このように第２の画像データＩＭ２のサイズを縮小して符号化ストリームのデータ量を低減することが有益である。

（３）第３の実施例
図２Ｃは、第２符号化ブランチ１７０の詳細な構成の第３の例を示すブロック図である。図２Ｃを参照すると、第２符号化ブランチ１７０は、差分加工部１７１、正規化部１７５及び第２符号化部１７９ｂを含む。

差分加工部１７１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置の第２の画像データＩＭ２の画素値を一定の値に置換し得る。一例として、ノイズの発生している画素、又は隣接する画素との間で画素値が急激に変化している画素において、高周波成分は強い値を示し得る。一般的に、強い高周波成分を含む画像データは、周波数領域での変換係数の量子化を通じてデータサイズを圧縮する画像符号化方式の符号化効率の低下を招き易い。一方で、画像の高周波成分は、人間の視覚を通じて感知されにくい。従って、高周波成分が強い値を示す画素位置の画素値を一定の（即ち、フラットな）値に置換えることで、人間に画質の低下をあまり感知させることなく、高周波成分を除去して、第２符号化ブランチ１７０の符号化効率を高めることができる。なお、ここでの一定の値を第２の画像データＩＭ２の画素値レンジの中央の値とすることにより、直交変換（例えば、離散コサイン変換）後のエネルギーを低域に集中させ、符号化効率を一層高めることができる。第２の画像データＩＭ２について正規化が行われる前であれば、画素値レンジの中央の値はゼロである。

また、差分加工部１７１は、ＹＣ空間に色変換された第１の画像データＩＭｄ１においてその輝度が画素値レンジの中央部分に属する画素位置の第２の画像データＩＭ２の画素値を一定の値に置換し得る。ここでの画素値レンジの中央部分とは、符号化処理の結果として白とび又は黒つぶれが生じ易い画素値レンジの上端部分及び下端部分、を除いた部分をいう。一例として、ビット深度が８ビットである第１の画像データＩＭｄ１の画素値レンジは、０〜２５５である。この場合、中央部分のレンジをＲ１〜Ｒ２とすると、例えばＲ１＝３０、Ｒ２＝２３０などであってよい。このような画素値の置換によって、白とび又は黒つぶれが生じる可能性の高い画素位置の差分画像の階調を維持しつつ、そうした可能性の低い画素位置の差分画像の階調が平滑化される。従って、第２符号化ブランチ１７０の符号化効率を高めつつ、第１符号化ブランチ１６０において画像の一部分に白とび又は黒つぶれが生じたとしても、当該部分の階調を差分画像で補うことができる。なお、ここでの一定の値もまた、第２の画像データＩＭ２の画素値レンジの中央の値であってよい。

正規化部１７５は、差分加工部１７１により加工された第２の画像データＩＭ２の画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する。そして、正規化部１７５は、正規化された画素値を有する第２の画像データＩＭ２を第２符号化部１７９ｂへ出力する。正規化部１７５は、正規化パラメータをストリーム出力部１９０へ出力する。

第２符号化部１７９ｂは、正規化部１７５から入力される第２の画像データＩＭ２を任意の画像符号化方式で符号化して、第２の符号化ストリームＳＴ２を生成する。第２の画像データＩＭ２が符号化される前に、第２の画像データＩＭ２の色空間がＲＧＢ空間からＹＣ空間に変換されてもよい。第２符号化部１７９ｂによりＪＰＥＧ方式が使用される場合には、第１の実施例と同様、差分画像の符号化においてもＪＰＥＧエンコーダを活用して、より低いコストで本開示に係る技術を実現することができる。

（４）第４の実施例
図２Ｄは、第２符号化ブランチ１７０の詳細な構成の第４の例を示すブロック図である。第４の実施例は、上述した第１、第２及び第３の実施例の組合せである。図２Ｄを参照すると、第２符号化ブランチ１７０は、差分加工部１７１、縮小部１７３、正規化部１７５、ＹＣ変換部１７７及び第２符号化部１７９ａを含む。

差分加工部１７１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置又は輝度が画素値レンジの中央部分に属する画素位置の第２の画像データＩＭ２の画素値を、一定の値に置換する。縮小部１７３は、第２の画像データＩＭ２のサイズを縮小する。正規化部１７５は、第２の画像データＩＭ２の画素値を第２符号化部１７９ａによりサポートされる画素値レンジに合わせて正規化する。ＹＣ変換部１７７は、第２の画像データＩＭ２の色空間をＲＧＢ空間からＹＣ空間に変換する。そして、第２符号化部１７９ａは、第２の画像データＩＭ２をＪＰＥＧ方式で符号化して、第２の符号化ストリームＳＴ２を生成する。

（５）第５の実施例
図２Ｅは、第２符号化ブランチ１７０の詳細な構成の第５の例を示すブロック図である。図２Ｅを参照すると、第２符号化ブランチ１７０は、分類部１８０、差分加工部１７１、縮小部１７３、正規化部１７５、ＹＣ変換部１７７、第２符号化部１７９ａ、差分加工部１８１、縮小部１８３、正規化部１８５、ＹＣ変換部１８７及び第２符号化部１８９ａを含む。

分類部１８０は、所定の輝度閾値を用いて、第２の画像データＩＭ２の各画素を、白とびが生じる可能性のある画素のための第１グループ及び黒つぶれが生じる可能性のある画素のための第２グループを含む複数のグループのいずれかに分類する。

より具体的には、分類部１８０は、第１の画像データＩＭｄ１の輝度値を第１符号化ブランチ１６０から取得する。そして、分類部１８０は、取得した輝度値を所定の輝度閾値と比較する。典型的には、輝度閾値は、輝度値のレンジの中央の値であってよい。第１の画像データＩＭｄ１において上記輝度閾値を上回る輝度値を示す画素位置においては、ＪＰＥＧ方式での符号化の結果として白とびが生じる可能性がある。また、第１の画像データＩＭｄ１において上記輝度閾値を下回る輝度値を示す画素位置においては、同様に黒つぶれが生じる可能性がある。従って、分類部１８０は、輝度値が輝度閾値を上回る画素を第１グループに、輝度値が輝度閾値を下回る画素を第２グループに分類し得る。なお、分類部１８０は、２つの異なる輝度閾値を用いて、白とびが生じる可能性のある画素のための第１グループ、黒つぶれが生じる可能性のある画素のための第２グループ及びその他の画素のための第３グループのいずれかに、各画素を分類してもよい。

分類部１８０は、上述した分類の結果に応じて、第２の画像データＩＭ２を白とび用の差分画像データＩＭ２ａ及び黒つぶれ用の差分画像データＩＭ２ｂに分離する。白とび用の差分画像データＩＭ２ａは、第１グループの画素において第２の画像データＩＭ２の差分画素値を有し、他の画素において画素値ゼロを有するデータである。黒つぶれ用の差分画像データＩＭ２ｂは、第２グループの画素において第２の画像データＩＭ２の差分画素値を有し、他の画素において画素値ゼロを有するデータである。そして、分類部１８０は、白とび用の差分画像データＩＭ２ａを差分加工部１７１へ、黒つぶれ用の差分画像データＩＭ２ｂを差分加工部１８１へ出力する。

図３は、分類部１８０による差分画像の分離について説明するための説明図である。図３の左上には、第１の画像データＩＭｄ１により表現される一例としての画像が示されている。当該画像には、山と木々とが映っている。当該画像中で、山肌の一部及び木々の一部の輝度は高く、それ以外の部分の輝度は低い。図中の等輝度線ＥＬは、上述したグループの分類に用いられる輝度閾値と等しい輝度値を有する画素位置を示している。分類部１８０は、このような輝度の解析に基づいて、等輝度線ＥＬの内側の差分画素値を有する白とび用の差分画像データＩＭ２ａと、等輝度線ＥＬの外側の差分画素値を有する黒つぶれ用の差分画像データＩＭ２ｂとに、第２の画像データＩＭ２を分離し得る。

差分加工部１７１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置又は輝度が画素値レンジの中央部分に属する画素位置の白とび用の差分画像データＩＭ２ａの画素値を、一定の値に置換する。縮小部１７３は、白とび用の差分画像データＩＭ２ａのサイズを縮小する。正規化部１７５は、白とび用の差分画像データＩＭ２ａの画素値を第２符号化部１７９ａによりサポートされる画素値レンジに合わせて正規化する。ＹＣ変換部１７７は、白とび用の差分画像データＩＭ２ａの色空間をＲＧＢ空間からＹＣ空間に変換する。そして、第２符号化部１７９ａは、白とび用の差分画像データＩＭ２ａをＪＰＥＧ方式で符号化して、白とび用の符号化ストリームＳＴ２ａを生成する。

差分加工部１８１は、例えば、ＹＣ空間に色変換された第１の画像データＩＭｄ１において高周波成分が強い値を示す画素位置又は輝度が画素値レンジの中央部分に属する画素位置の黒つぶれ用の差分画像データＩＭ２ｂの画素値を、一定の値に置換する。縮小部１８３は、黒つぶれ用の差分画像データＩＭ２ｂのサイズを縮小する。正規化部１８５は、黒つぶれ用の差分画像データＩＭ２ｂの画素値を第２符号化部１８９ａによりサポートされる画素値レンジに合わせて正規化する。ＹＣ変換部１８７は、黒つぶれ用の差分画像データＩＭ２ｂの色空間をＲＧＢ空間からＹＣ空間に変換する。そして、第２符号化部１８９ａは、黒つぶれ用の差分画像データＩＭ２ｂをＪＰＥＧ方式で符号化して、黒つぶれ用の符号化ストリームＳＴ２ｂを生成する。

第５の実施例が採用される場合、図１に示したストリーム出力部１９０は、第２符号化ブランチ１７０から入力される２つの符号化ストリームＳＴ２ａ及びＳＴ２ｂを第１の符号化ストリームＳＴ１に関連付けて、これら３つの符号化ストリームを出力する。ストリーム出力部１９０は、例えば、符号化ストリームＳＴ２ａ及びＳＴ２ｂにアクセスするための参照用パラメータを生成し、生成した参照用パラメータを第１の符号化ストリームのヘッダ領域に挿入し得る。

第５の実施例によれば、白とびにより失われる階調を補完するための差分画像データと、黒つぶれにより失われる階調を補完するための差分画像データとが別々に符号化される。一般的に、白とびが生じる領域と黒つぶれが生じる領域との間の画像の相関は低い。従って、上述した２つの差分画像データを別々に符号化することで、これら領域において第２の画像データで補償される画質を高めることができる。

［１−３．ストリーム構成］
図４Ａは、画像符号化装置１００により出力される符号化ストリームの構成の一例について説明するための説明図である。図４Ａを参照すると、第１の符号化ストリームＳＴ１、及び第１の符号化ストリームＳＴ１に関連付けられた第２の符号化ストリームＳＴ２が示されている。

第１の符号化ストリームＳＴ１は、ＪＰＥＧフォーマットに従って生成されており、スタートマーカ（ＳＯＩ：Start Of Image）、ＪＰＥＧヘッダ領域、ＪＰＥＧデータ領域、及びエンドマーカ（ＥＯＩ：End Of Image）を含む。ＪＰＥＧヘッダ領域は、ユーザ定義領域ＵＳＥＲ＿ＳＥＣをさらに含む。ユーザ定義領域ＵＳＥＲ＿ＳＥＣは、例えば、ＡＰＰセグメント又はＣＯＭセグメントであってよい。ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、第２の符号化ストリームＳＴ２にアクセスするために使用される、上述した参照用パラメータが挿入される。さらに、ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、第２の符号化ストリームＳＴ２の符号化の際に使用された符号化方式を識別するための識別子（符号化方式ＩＤ）などの追加的なパラメータが挿入されてもよい。

よって、デコーダは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入される参照用パラメータを用いて、第２の符号化ストリームＳＴ２にアクセスすることができる。第２の符号化ストリームＳＴ２は、少なくともヘッダ領域及びデータ領域を含む。第２の符号化ストリームＳＴ２のヘッダ領域には、第２の符号化ストリームＳＴ２の復号のために必要とされるパラメータ（例えば、上述した正規化パラメータ、量子化テーブル及び符号化テーブルなど）が挿入され得る。なお、正規化パラメータは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入されてもよい。

図４Ｂは、画像符号化装置１００により出力される符号化ストリームの構成の他の例について説明するための説明図である。図４Ｂの例は、図２Ｅを用いて説明した第２符号化ブランチ１７０の第５の実施例に対応する。図４Ｂを参照すると、第１の符号化ストリームＳＴ１、並びに第１の符号化ストリームＳＴ１に関連付けられた２つの差分画像の符号化ストリームＳＴ２ａ及びＳＴ２ｂが示されている。

第１の符号化ストリームＳＴ１の構成は、図４Ａを用いて説明した構成と同様である。但し、ユーザ定義領域ＵＳＥＲ＿ＳＥＣには、２つの差分画像の符号化ストリームＳＴ２ａ及びＳＴ２ｂにアクセスするために使用される参照用パラメータが挿入される。

よって、デコーダは、第１の符号化ストリームＳＴ１のヘッダ領域に挿入される参照用パラメータを用いて、２つの差分画像の符号化ストリームＳＴ２ａ及びＳＴ２ｂにアクセスすることができる。符号化ストリームＳＴ２ａ及びＳＴ２ｂの各々は、少なくともヘッダ領域及びデータ領域を含む。符号化ストリームＳＴ２ａ及びＳＴ２ｂの各々のヘッダ領域には、各符号化ストリームの復号のために必要とされるパラメータが挿入され得る。

なお、例えば、差分画像の符号化ストリームＳＴ２ｂ（又はＳＴ２ａ）にアクセスするための参照用パラメータが、第１の符号化ストリームＳＴ１のヘッダ領域ではなく、差分画像の符号化ストリームＳＴ２ａ（又はＳＴ２ｂ）のヘッダ領域に挿入されてもよい。

［１−４．処理の流れ］
本項では、図５〜図９を用いて、画像符号化装置１００による画像符号化処理の流れについて説明する。

（１）全体的な流れ
図５は、本実施形態に係る画像符号化処理の流れの一例を示すフローチャートである。

図５を参照すると、まず、ＲＡＷ画像取得部１１０は、イメージセンサにより生成され又は他の装置若しくは記憶媒体から入力されるＲＡＷ画像データを取得する（ステップＳ１００）。そして、ＲＡＷ画像取得部１１０は、取得したＲＡＷ画像データを現像部１２０へ出力する。

次に、現像部１２０は、ＲＡＷ画像取得部１１０から入力されるＲＡＷ画像データをデモザイク処理することにより、第１のフルカラー画像データを生成する（ステップＳ１１０）。そして、現像部１２０は、生成した第１のフルカラー画像データを補正処理部１３０へ出力する。

次に、補正処理部１３０は、現像部１２０から入力される第１のフルカラー画像データを補正して、高階調画像データを生成する（ステップＳ１２０）。そして、補正処理部１３０は、生成した高階調画像データを逆処理部１４０及び第１符号化ブランチ１６０へ出力する。

次に、第１符号化ブランチ１６０において、深度削減・ＹＣ変換部１６２は、補正処理部１３０から入力される高階調画像データのビット深度を各色８ビットに削減すると共に、その色空間をＲＧＢ空間からＹＣ空間に変換して、第１の画像データを生成する（ステップＳ１３０）。そして、深度削減・ＹＣ変換部１６２は、生成した第１の画像データを第１符号化部１６８へ出力する。

次に、第１符号化部１６８は、深度削減・ＹＣ変換部１６２から入力される第１の画像データをＪＰＥＧ方式で符号化して、第１の符号化ストリームを生成する（ステップＳ１３５）。そして、第１符号化部１６８は、符号化された第１の画像データを含む第１の符号化ストリームをストリーム出力部１９０へ出力する。

また、逆処理部１４０は、補正処理部１３０から入力される高階調画像データに例えばＥＶ逆補正、ＷＢ逆補正又はガンマ逆補正などの（補正処理の）逆処理を適用して、第２のフルカラー画像データを生成する（ステップＳ１４０）。そして、逆処理部１４０は、生成した第２のフルカラー画像データを差分演算部１５０へ出力する。

次に、差分演算部１５０は、現像部１２０から入力される第１のフルカラー画像データと逆処理部１４０から入力される第２のフルカラー画像データとの差分を計算する（ステップＳ１４５）。そして、差分演算部１５０は、差分画像に基づく第２の画像データを第２符号化ブランチ１７０へ出力する。

次に、第２符号化ブランチ１７０において、差分符号化処理が実行され、第２の符号化ストリームがストリーム出力部１９０へ出力される（ステップＳ１６０）。ここでの差分符号化処理について、図６を用いてさらに説明する。

次に、ストリーム出力部１９０は、第２符号化ブランチ１７０から入力される第２の符号化ストリームを第１符号化ブランチから入力される第１の符号化ストリームに関連付ける（ステップＳ１８０）。ここでの関連付けは、上述した参照用パラメータを用いて行われ得る。そして、ストリーム出力部１９０は、第１及び第２の符号化ストリームを、画像符号化装置１００に接続される記憶媒体又は他の装置へ出力する（ステップＳ１９０）。

（２）差分符号化処理
図６は、図５に示した差分符号化処理の詳細な流れの一例を示すフローチャートである。

図６を参照すると、まず、第２の画像データの符号化の前に当該第２の画像データ（差分画像）を加工すべきか否かが判定される（ステップＳ１６１）。例えば、上述した第１及び第２の実施例においては、第２の画像データは加工されない。一方、上述した第３及び第４の実施例においては、第２の画像データは加工され得る。第２の画像データを加工すべきであると判定された場合には、第２の画像データについて、差分加工部１７１により差分加工処理が実行される（ステップＳ１６２）。ここでの差分加工処理について、図７を用いてさらに説明する。

次に、第２の画像データ（差分画像）のサイズを縮小すべきか否かが判定される（ステップＳ１６３）。例えば、上述した第１及び第３の実施例においては、第２の画像データのサイズは縮小されない。一方、上述した第２及び第４の実施例においては、第２の画像データのサイズは縮小され得る。第２の画像データのサイズを縮小すべきであると判定された場合には、第２の画像データのサイズが縮小部１７３により縮小される（ステップＳ１６４）。

次に、正規化部１７５は、第２の画像データの画素値を第２符号化ブランチ１７０によりサポートされる画素値レンジに合わせて正規化する（ステップＳ１６５）。それにより、正負の符号を有し得る第２の画像データの各画素値が、０〜２^Ｎ−１（Ｎはビット深度）の画素値レンジに合わせて正規化される。また、正規化部１７５は、正規化パラメータをストリーム出力部１９０へ出力する。

次に、第２の画像データの色空間を変換すべきか否かが判定される（ステップＳ１６６）。例えば、第２の画像データを符号化するためにＪＰＥＧ方式が用いられる場合には、第２の画像データの色空間をＹＣ空間に変換すべきであると判定され得る。第２の画像データの色空間を変換すべきであると判定された場合には、ＹＣ変換部１７７により、第２の画像データの色空間がＲＧＢ空間から他の色空間（例えばＹＣ空間）に変換される（ステップＳ１６７）。

次に、第２符号化部１７９は、第２の画像データをＪＰＥＧ方式又はその他の画像符号化方式で符号化して、第２の符号化ストリームを生成する（ステップＳ１６８）。そして、第２符号化部１７９は、生成した第２の符号化ストリームをストリーム出力部１９０へ出力する。

（３）差分加工処理
図７は、図６に示した差分加工処理の詳細な流れの一例を示すフローチャートである。

図７に示した差分加工処理に含まれるステップＳ１７２〜ステップＳ１７５の処理は、第２の画像データの各画素について繰り返される（ステップＳ１７１）。

各画素を注目画素とする繰り返しにおいて、差分加工部１７１は、まず、注目画素の画素位置において第１の画像データの高周波成分が強い値を示しているかを判定する（ステップＳ１７２）。ここで、当該高周波成分が強い値を示していない場合には、次のステップＳ１７３の処理はスキップされる。当該高周波成分が強い値を示している場合には、差分加工部１７１は、注目画素の画素値を一定の値に置換する（ステップＳ１７３）。

次に、差分加工部１７１は、注目画素の画素位置において第１の画像データの輝度値が画素値レンジの中央部分に属するかを判定する（ステップＳ１７４）。ここで、当該輝度値が画素値レンジの中央部分に属しない場合には、次のステップＳ１７５の処理はスキップされる。当該輝度値が画素値レンジの中央部分に属する場合には、差分加工部１７１は、注目画素の画素値を一定の値に置換する（ステップＳ１７５）。

第２の画像データの全ての画素についてこれら処理が実行されると、図７に示した差分加工処理は終了する。

（４）全体的な流れの他の例
図８は、本実施形態に係る画像符号化処理の流れの他の例を示すフローチャートである。図８に示したステップＳ１００からステップＳ１４５までの処理は、図５を用いて説明した処理と同様であってよい。

差分演算部１５０により第１のフルカラー画像データと第２のフルカラー画像データとの差分画像に基づく第２の画像データが生成されると、第２符号化ブランチ１７０において、分類部１８０により差分画像分離処理が実行される（ステップＳ１５０）。それにより、第２の画像データから、白とび用の差分画像データ及び黒つぶれ用の差分画像データが分離される。ここでの差分画像分離処理について、図９を用いてさらに説明する。

次に、白とび用の差分画像データについて、図６及び図７を用いて説明したような差分符号化処理が実行され、符号化された白とび用の差分画像データを含む符号化ストリームがストリーム出力部１９０へ出力される（ステップＳ１６０ａ）。

また、黒つぶれ用の差分画像データについて、図６及び図７を用いて説明したような差分符号化処理が実行され、符号化された黒つぶれ用の差分画像データを含む符号化ストリームがストリーム出力部１９０へ出力される（ステップＳ１６０ｂ）。

次に、ストリーム出力部１９０は、第２符号化ブランチ１７０から入力される差分画像の２つの符号化ストリームを第１符号化ブランチから入力される第１の符号化ストリームに関連付ける（ステップＳ１８０）。ここでの関連付けは、上述した参照用パラメータを用いて行われ得る。そして、ストリーム出力部１９０は、これら符号化ストリームを、画像符号化装置１００に接続される記憶媒体又は他の装置へ出力する（ステップＳ１９０）。

（５）差分画像分離処理
図９は、図８に示した差分画像分離処理の詳細な流れの一例を示すフローチャートである。

図９に示した差分画像分離処理に含まれるステップＳ１５２〜ステップＳ１５５の処理は、第２の画像データの各画素について繰り返される（ステップＳ１５１）。

各画素を注目画素とする繰り返しにおいて、分類部１８０は、まず、第１の画像データの注目画素の輝度値を取得する（ステップＳ１５２）。次に、分類部１８０は、取得した輝度値を輝度閾値（典型的には、画素値レンジの中央の値）と比較する（ステップＳ１５３）。ここで、例えば輝度値が輝度閾値よりも小さくない場合には、分類部１８０は、注目画素を白とび用の第１グループに分類する（ステップＳ１５４）。一方、輝度値が輝度閾値よりも小さい場合には、分類部１８０は、注目画素を黒つぶれ用の第２グループに分類する（ステップＳ１５５）。

そして、分類部１８０は、分類の結果に応じて、第２の画像データから白とび用の差分画像データを分離する（ステップＳ１５６）と共に、第２の画像データから黒つぶれ用の差分画像データを分離する（ステップＳ１５７）。

なお、本項で説明した処理ステップの順序は、各図に示した順序に限定されない。例えば、図５の画像符号化処理において、ステップＳ１３５での第１の画像データの符号化とステップＳ１６０での差分符号化処理とが並列的に行われてもよい。

＜２．一実施形態に係る画像復号装置の構成例＞
［２−１．全体的な構成］
図１０は、上述した画像符号化装置１００から出力される符号化ストリームを復号する、一実施形態に係る画像復号装置２００の構成の一例を示すブロック図である。図１０を参照すると、画像復号装置２００は、ストリーム取得部２１０、第１復号ブランチ２２０、第２復号ブランチ２３０、逆処理部２６０、合成部２７０及び画像出力部２８０を備える。

（１）ストリーム取得部
ストリーム取得部２１０は、画像復号装置２００による復号処理の入力となる符号化ストリームを取得する。ストリーム取得部２１０により取得される符号化ストリームは、８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリームＳＴ１、及び第１の符号化ストリームＳＴ１に関連付けられる第２の符号化ストリームＳＴ２を含み得る。ここでのフルカラー画像データは、画像の符号化の際に、ＲＡＷ画像データをデモザイク処理することにより生成された画像データである。第２の符号化ストリームＳＴ２は、第１のフルカラー画像データと、当該第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果である高階調画像データに適用することにより生成された第２のフルカラー画像データと、の差分画像に基づく第２の画像データＩＭ２を含む。

例えば、ストリーム取得部２１０は、第１の符号化ストリームＳＴ１を取得し、第１の符号化ストリームＳＴ１のヘッダ領域に第２の符号化ストリームＳＴ２にアクセスするための参照用パラメータが挿入されている場合に、当該参照用パラメータを用いて第２の符号化ストリームＳＴ２をさらに取得する。そして、ストリーム取得部２１０は、取得した第１の符号化ストリームＳＴ１を第１復号ブランチ２２０へ、取得した第２の符号化ストリームＳＴ２を第２復号ブランチ２３０へそれぞれ出力する。

（２）第１復号ブランチ
第１復号ブランチ２２０は、第１の符号化ストリームＳＴ１を復号するための処理分岐である。図１０の例において、第１復号ブランチ２２０は、第１復号部２２２及びＲＧＢ変換・深度拡張部２２８を含む。

第１復号部２２２は、ストリーム取得部２１０から入力される第１の符号化ストリームＳＴ１をＪＰＥＧ方式で復号して、８ビットのビット深度を有する第１の画像データＩＭｄ１を生成する。即ち、第１復号部２２２は、一般的なＪＰＥＧデコーダであってよい。第１復号部２２２による復号処理は、典型的には、画像内に配置されるブロックごとに実行される、エントロピー復号、逆量子化及び逆直交変換を含む。第１復号部２２２は、このような復号の結果として生成される第１の画像データＩＭｄ１を、ＲＧＢ変換・深度拡張部２２８へ出力する。

ＲＧＢ変換・深度拡張部２２８は、第１の画像データＩＭｄ１の色空間をＹＣ空間からＲＧＢ空間に変換すると共に、そのビット深度を各色Ｍ（Ｍ＞８，例えばＭ＝１２）ビットに拡張して、高階調画像データＩＭ１を復元する。そして、ＲＧＢ変換・深度拡張部２２８は、復元した高階調画像データＩＭ１を逆処理部２６０へ出力する。

（３）逆処理部
逆処理部２６０は、符号化の際に適用された処理（例えば、図１に示した補正処理部１３０により補正処理）の逆処理を高階調画像データＩＭ１に適用して、第１のフルカラー画像データＩＭ０´を生成する。逆処理部２６０による逆処理は、例えば、ＥＶ逆補正、ＷＢ逆補正又はガンマ逆補正などを含み得る。そして、逆処理部２６０は、生成した第１のフルカラー画像データＩＭ０´を合成部２７０へ出力する。

（４）第２復号ブランチ
第２復号ブランチ２３０は、第２の符号化ストリームＳＴ２を復号するための処理分岐である。図１０の例において、第２復号ブランチ２３０は、第２復号部２３１を含む。第２復号部２３１は、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式は、例えば、ＪＰＥＧ方式、又は拡張ＪＰＥＧ方式、ＪＰＥＧ２０００方式若しくはＪＰＥＧ ＸＲ方式などであり得る。そして、第２復号部２３１は、復号の結果として生成される第２の画像データＩＭ２を、合成部２７０へ出力する。

第２復号ブランチ２３０は、第２復号部２３１の後段に、第２の画像データＩＭ２に対して後処理を適用するさらなる処理部を含んでもよい。第２の画像データＩＭ２に適用される後処理は、例えば、色空間の変換、画素値の逆正規化及び画像サイズの拡大、のうちの１つ以上を含み得る。このような第２復号ブランチ２３０のいくつかの具体的な実施例について、後にさらに説明する。

（５）合成部
合成部２７０は、逆処理部２６０から入力される第１のフルカラー画像データＩＭ０´と、第２復号ブランチ２３０から入力される第２の画像データＩＭ２とを合成して、原画像であるフルカラー画像データＩＭｒｅｃを再構成する。そして、合成部２７０は、再構成されたフルカラー画像データＩＭｒｅｃを画像出力部２８０へ出力する。

（６）画像出力部
画像出力部２８０は、合成部２７０から入力されるフルカラー画像データＩＭｒｅｃを、当該フルカラー画像データＩＭｒｅｃを記憶し又はフルカラー画像を表示する装置へ出力する。

［２−２．第２ブランチの詳細］
本項では、図１０に例示した画像復号装置２００の第２復号ブランチ２３０の５つの詳細な実施例を説明する。

（１）第１の実施例
図１１Ａは、第２復号ブランチ２３０の詳細な構成の第１の例を示すブロック図である。図１１Ａを参照すると、第２復号ブランチ２３０は、第２復号部２３１ａ、ＲＧＢ変換部２３３及び逆正規化部２３５を含む。

第２復号部２３１ａは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２をＪＰＥＧ方式で復号して、第２の画像データＩＭ２を生成する。即ち、本実施例において、第２復号部２３１ａは、第１復号部２２２と同様、一般的なＪＰＥＧデコーダであってよい。そして、第２復号部２３１ａは、生成した第２の画像データＩＭ２を、ＲＧＢ変換部２３３へ出力する。

ＲＧＢ変換部２３３は、第２復号部２３１ａから入力される第２の画像データＩＭ２の色空間をＹＣ空間からＲＧＢ空間に変換する。そして、ＲＧＢ変換部２３３は、ＲＧＢ空間で表現される画素値を有する第２の画像データＩＭ２を逆正規化部２３５へ出力する。

逆正規化部２３５は、第２復号部２３１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データの画素値を、符号化ストリームのヘッダ領域に挿入されている正規化パラメータを用いて、差分画素値に逆正規化する。第１の実施例においては、第２復号部２３１ａは、ＪＰＥＧ方式を使用する。この場合、第２復号部２３１ａによりサポートされる画素値レンジは、０〜２５５である。一方、差分画素値の最小値Ｄ_ｍｉｎ及び最大値Ｄ_ｍａｘは、正規化パラメータにより示され得る。そこで、逆正規化部２３５は、第２の画像データの画素値ゼロが差分画素値Ｄ_ｍｉｎに、画素値２５５が差分画素値Ｄ_ｍａｘになるように、各画素値を差分画素値に逆正規化する。そして、逆正規化部２３５は、逆正規化された画素値を有する第２の画像データＩＭ２を合成部２７０へ出力する。

第１の実施例によれば、第１及び第２の符号化ストリームＳＴ１、ＳＴ２の双方がＪＰＥＧデコーダを用いて復号されるため、広く普及しているＪＰＥＧデコーダを活用して、より低いコストで本開示に係る技術を実現することができる。

（２）第２の実施例
図１１Ｂは、第２復号ブランチ２３０の詳細な構成の第２の例を示すブロック図である。図１１Ｂを参照すると、第２復号ブランチ２３０は、第２復号部２３１ｂ、逆正規化部２３５及び拡大部２３７を含む。

第２復号部２３１ｂは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。逆正規化部２３５は、第２復号部２３１ｂによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データの画素値を、差分画素値に逆正規化する。

拡大部２３７は、第２の画像データＩＭ２のサイズがフルカラー画像データのサイズから縮小されている場合に、第２の画像データＩＭ２のサイズを当該復元すべきフルカラー画像データのサイズに合わせて拡大する。なお、サイズの拡大に際して、不足する画素値は、周囲の画素値からの線型補間又は補間フィルタの適用によって補間されてよい。そして、拡大部２３７は、サイズの拡大された第２の画像データＩＭ２を合成部２７０へ出力する。

第２の実施例によれば、第２の画像データＩＭ２のサイズが符号化ストリームＳＴ２内で縮小されているため、第２の符号化ストリームＳＴ２のデータ量を低減することができる。上述したように、第２の画像データＩＭ２は、フルカラー画像データを符号化することにより低下する画質を補うために補完的に使用される画像データである。よって、完全に近いフルカラー画像の再現が求められない場合には、このように第２の画像データＩＭ２のサイズを縮小して符号化ストリームのデータ量を低減することが有益である。

（３）第３の実施例
図１１Ｃは、第２復号ブランチ２３０の詳細な構成の第３の例を示すブロック図である。図１１Ｃを参照すると、第２復号ブランチ２３０は、第２復号部２３１ｂ及び逆正規化部２３５を含む。

第２復号部２３１ｂは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２を、当該第２の符号化ストリームＳＴ２の符号化の際に使用された画像符号化方式で復号して、第２の画像データＩＭ２を生成する。逆正規化部２３５は、第２復号部２３１ｂによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データの画素値を、差分画素値に逆正規化する。そして、逆正規化部２３５は、逆正規化された画素値を有する第２の画像データＩＭ２を合成部２７０へ出力する。

例えばＲＧＢ空間の画素値を色空間の変換を経ることなく符号化及び復号し得る画像符号化方式が使用される場合には、こうした第３の実施例のような簡易な構成を採用することができる。

（４）第４の実施例
図１１Ｄは、第２復号ブランチ２３０の詳細な構成の第４の例を示すブロック図である。第４の実施例は、上述した第１及び第２の実施例の組合せである。図１１Ｄを参照すると、第２復号ブランチ２３０は、第２復号部２３１ａ、ＲＧＢ変換部２３３、逆正規化部２３５及び拡大部２３７を含む。

第２復号部２３１ａは、ストリーム取得部２１０から入力される第２の符号化ストリームＳＴ２をＪＰＥＧ方式で復号して、第２の画像データＩＭ２を生成する。ＲＧＢ変換部２３３は、第２復号部２３１ａから入力される第２の画像データＩＭ２の色空間をＹＣ空間からＲＧＢ空間に変換する。逆正規化部２３５は、第２復号部２３１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された第２の画像データＩＭ２の画素値を、差分画素値に逆正規化する。拡大部２３７は、第２の画像データＩＭ２のサイズがフルカラー画像データのサイズから縮小されている場合に、第２の画像データＩＭ２のサイズを当該フルカラー画像データのサイズに合わせて拡大する。そして、拡大部２３７は、サイズの拡大された第２の画像データＩＭ２を合成部２７０へ出力する。

（５）第５の実施例
図１１Ｅは、第２復号ブランチ２３０の詳細な構成の第５の例を示すブロック図である。図１１Ｅを参照すると、第２復号ブランチ２３０は、第２復号部２３１ａ、ＲＧＢ変換部２３３、逆正規化部２３５、拡大部２３７、第２復号部２４１ａ、ＲＧＢ変換部２４３、逆正規化部２４５、拡大部２４７及び差分合成部２４０を含む。

第５の実施例が採用される場合、図１０に示したストリーム取得部２１０は、白とびが生じる可能性のある画素のための第１グループの差分画素値を含むストリームＳＴ２ａと黒つぶれが生じる可能性のある画素のための第２グループの差分画素値を含むストリームＳＴ２ｂとを取得する。このうち、白とび用の差分画像の符号化ストリームＳＴ２ａは、第２復号部２３１ａへ入力される。また、黒つぶれ用の差分画像の符号化ストリームＳＴ２ｂは、第２復号部２４１ａへ入力される。

第２復号部２３１ａは、ストリーム取得部２１０から入力される白とび用の差分画像の符号化ストリームＳＴ２ａをＪＰＥＧ方式で復号して、白とび用の差分画像データＩＭ２ａを生成する。ＲＧＢ変換部２３３は、白とび用の差分画像データＩＭ２ａの色空間をＹＣ空間からＲＧＢ空間に変換する。逆正規化部２３５は、第２復号部２３１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された白とび用の差分画像データＩＭ２ａの画素値を、差分画素値に逆正規化する。拡大部２３７は、白とび用の差分画像データＩＭ２ａのサイズがフルカラー画像データのサイズから縮小されている場合に、白とび用の差分画像データＩＭ２ａのサイズを当該フルカラー画像データのサイズに合わせて拡大する。そして、拡大部２３７は、サイズの拡大された白とび用の差分画像データＩＭ２ａを差分合成部２４０へ出力する。

第２復号部２４１ａは、ストリーム取得部２１０から入力される黒つぶれ用の差分画像の符号化ストリームＳＴ２ｂをＪＰＥＧ方式で復号して、黒つぶれ用の差分画像データＩＭ２ｂを生成する。ＲＧＢ変換部２４３は、黒つぶれ用の差分画像データＩＭ２ｂの色空間をＹＣ空間からＲＧＢ空間に変換する。逆正規化部２４５は、第２復号部２４１ａによりサポートされる画素値レンジに合わせて符号化の際に正規化された黒つぶれ用の差分画像データＩＭ２ｂの画素値を、差分画素値に逆正規化する。拡大部２４７は、黒つぶれ用の差分画像データＩＭ２ｂのサイズがフルカラー画像データのサイズから縮小されている場合に、黒つぶれ用の差分画像データＩＭ２ｂのサイズを当該フルカラー画像データのサイズに合わせて拡大する。そして、拡大部２４７は、サイズの拡大された黒つぶれ用の差分画像データＩＭ２ｂを差分合成部２４０へ出力する。

差分合成部２４０は、拡大部２３７から入力される白とび用の差分画像データＩＭ２ａの画素値又は拡大部２４７から入力される黒つぶれ用の差分画像データＩＭ２ｂの画素値を、画素位置に応じて選択的に採用することにより、第２の画像データＩＭ２を生成する。より具体的には、例えば、差分合成部２４０は、第１の画像データＩＭｄ１の輝度値を第１符号化ブランチ１６０から取得する。そして、差分合成部２４０は、第１の画像データＩＭｄ１の輝度値が所定の輝度閾値を上回る画素位置においては、白とび用の差分画像データＩＭ２ａの画素値を採用し、当該輝度値が所定の輝度閾値を下回る画素位置においては、黒つぶれ用の差分画像データＩＭ２ｂの画素値を採用する。差分合成部２４０は、このように合成される第２の画像データＩＭ２を、合成部２７０へ出力する。

第５の実施例によれば、白とびにより失われる階調を補完するための差分画像データと、黒つぶれにより失われる階調を補完するための差分画像データとが別々に符号化されたストリームから復号される。一般的に、白とびが生じる領域と黒つぶれが生じる領域との間の画像の相関は低い。従って、上述した２つの差分画像データを別々に符号化することで、直交変換及び量子化を通じて引き起こされるこれら領域の画質の劣化を緩和することができる。

［２−３．処理の流れ］
本項では、図１２〜図１５を用いて、画像復号装置２００による画像復号処理の流れについて説明する。

（１）全体的な流れ
図１２は、本実施形態に係る画像復号処理の流れの一例を示すフローチャートである。

図１２を参照すると、まず、ストリーム取得部２１０は、８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリームを取得する（ステップＳ２００）。そして、ストリーム取得部２１０は、取得した第１の符号化ストリームを第１復号ブランチ２２０へ出力する。

次に、第１復号ブランチ２２０において、第１復号部２２２は、ストリーム取得部２１０から入力される第１の符号化ストリームをＪＰＥＧ方式で復号して、第１の画像データを生成する（ステップＳ２１０）。そして、第１復号部２２２は、生成した第１の画像データをＲＧＢ変換・深度拡張部２２８へ出力する。

また、ストリーム取得部２１０は、第１の符号化ストリームに第２の符号化ストリームが関連付けられているかを判定する（ステップＳ２１５）。例えば、第１の符号化ストリームのヘッダ領域に第２の符号化ストリームにアクセスするための参照用パラメータが挿入されている場合には、ストリーム取得部２１０は、第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定し得る。ここで、第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定された場合には、処理はステップＳ２２０へ進む。一方、第１の符号化ストリームに第２の符号化ストリームが関連付けられていないと判定された場合には、処理はステップＳ２９０へ進む。

ステップＳ２２０において、ＲＧＢ変換・深度拡張部２２８は、第１の画像データの色空間をＹＣ空間からＲＧＢ空間に変換し、そのビット深度を各色Ｍビットに拡張して、高階調画像データを復元する（ステップＳ２２０）。そして、ＲＧＢ変換・深度拡張部２２８は、復元した高階調画像データを逆処理部２６０へ出力する。

次に、逆処理部２６０は、ＲＧＢ変換・深度拡張部２２８から入力される高階調画像データに上述した逆処理を適用して、第１のフルカラー画像データを復元する（ステップＳ２２５）。そして、逆処理部２６０は、復元した第１のフルカラー画像データＩＭ０´を合成部２７０へ出力する。

また、ストリーム取得部２１０は、上述した参照用パラメータを用いて、第２の符号化ストリームを取得する（ステップＳ２３０）。そして、ストリーム取得部２１０は、取得した第２の符号化ストリームを第２復号ブランチ２３０へ出力する。

次に、第２復号ブランチ２３０において、差分復号処理が実行され、第２の画像データが合成部２７０へ出力される（ステップＳ２４０）。ここでの差分復号処理について、図１３を用いてさらに説明する。

次に、合成部２７０は、逆処理部２６０から入力される第１のフルカラー画像データと、第２復号ブランチ２３０から入力される第２の画像データとを合成する（ステップＳ２７０）。そして、合成部２７０は、再構成されたフルカラー画像データを画像出力部２８０へ出力する。

その後、例えば、画像出力部２８０から表示装置へ再構成されたフルカラー画像データが出力され、フルカラー画像が表示され得る（ステップＳ２８０）。

一方、ステップＳ２１５において、第１の符号化ストリームに第２の符号化ストリームが関連付けられていないと判定された場合には、第１復号部２２２により生成された第１の画像データが画像出力部２８０から表示装置へ出力され得る。そして、当該第１の画像データを用いて、画像が表示され得る（ステップＳ２９０）。

（２）差分復号処理
図１３は、図１２に示した差分復号処理の詳細な流れの一例を示すフローチャートである。

図１３を参照すると、まず、第２復号部２３１は、ストリーム取得部２１０から入力される第２の符号化ストリームを、当該第２の符号化ストリームの符号化の際に使用された画像符号化方式で復号して、第２の画像データを生成する（ステップＳ２４１）。

次に、第２の画像データの色空間を変換すべきか否かが判定される（ステップＳ２４２）。例えば、第２の画像データを復号するためにＪＰＥＧ方式が用いられた場合には、第２の画像データの色空間をＹＣ空間からＲＧＢ空間に変換すべきであると判定され得る。第２の画像データの色空間を変換すべきであると判定された場合には、ＲＧＢ変換部２３３により、第２の画像データの色空間がＲＧＢ空間に変換される（ステップＳ２４３）。

次に、逆正規化部２３５は、符号化の際に正規化された第２の画像データの画素値を、符号化ストリームのヘッダ領域に挿入されている正規化パラメータを用いて、差分画素値に逆正規化する（ステップＳ２４４）。

次に、第２の画像データのサイズを拡大すべきか否かが判定される（ステップＳ２４５）。例えば、上述した第１及び第３の実施例においては、第２の画像データのサイズは拡大されない。一方、上述した第２及び第４の実施例においては、第２の画像データのサイズは拡大され得る。第２の画像データのサイズを拡大すべきであると判定された場合には、第２の画像データのサイズが拡大部２３７により拡大される（ステップＳ２４６）。

（３）全体的な流れの他の例
図１４は、本実施形態に係る画像符号化処理の流れの他の例を示すフローチャートである。図１４に示したステップＳ２００からステップＳ２２５までの処理及びステップＳ２９０の処理は、図１２を用いて説明した処理と同様であってよい。

第１の符号化ストリームに第２の符号化ストリームが関連付けられていると判定される場合、ストリーム取得部２１０は、上述した参照用パラメータを用いて、２つの差分画像の符号化ストリームを取得する（ステップＳ２３０）。そして、ストリーム取得部２１０は、取得した符号化ストリームを第２復号ブランチ２３０へ出力する。

次に、第２復号ブランチ２３０において、白とび用の差分画像の符号化ストリームについて差分復号処理が実行され、白とび用の差分画像データが生成される（ステップＳ２４０ａ）。ここでの処理は、図１３を用いて説明した差分復号処理と同様であってよい。

また、第２復号ブランチ２３０において、黒つぶれ用の差分画像の符号化ストリームについて差分復号処理が実行され、黒つぶれ用の差分画像データが生成される（ステップＳ２４０ｂ）。ここでの処理もまた、図１３を用いて説明した差分復号処理と同様であってよい。

次に、差分合成部２４０により、２つの差分画像データを合成するための差分合成処理が実行される（ステップＳ２６０）。それにより、第２の画像データが生成される。そして、差分合成部２４０は、生成した第２の画像データを合成部２７０へ出力する。ここでの差分合成処理について、図１５を用いてさらに説明する。

次に、合成部２７０は、逆処理部２６０から入力される第１のフルカラー画像データと、差分合成部２４０から入力される第２の画像データとを合成する（ステップＳ２７０）。そして、合成部２７０は、再構成されたフルカラー画像データを画像出力部２８０へ出力する。

その後、例えば、画像出力部２８０から表示装置へ再構成されたフルカラー画像データが出力され、フルカラー画像が表示され得る（ステップＳ２８０）。

（４）差分合成処理
図１５は、図１４に示した差分合成処理の詳細な流れの一例を示すフローチャートである。

図１５に示した差分合成処理に含まれるステップＳ２６２〜ステップＳ２６５の処理は、第２の画像データの各画素について繰り返される（ステップＳ２６１）。

各画素を注目画素とする繰り返しにおいて、差分合成部２４０は、まず、第１の画像データの注目画素の輝度値を取得する（ステップＳ２６２）。次に、差分合成部２４０は、取得した輝度値を輝度閾値（典型的には、画素値レンジの中央の値）と比較する（ステップＳ２６３）。ここで、例えば輝度値が輝度閾値よりも小さくない場合には、差分合成部２４０は、第２の画像データの注目画素の画素値として、白とび用の差分画像データの画素値を採用する（ステップＳ２６４）。一方、輝度値が輝度閾値よりも小さい場合には、差分合成部２４０は、第２の画像データの注目画素の画素値として、黒つぶれ用の差分画像データの画素値を採用する（ステップＳ２６５）。

第２の画像データの全ての画素についてこれら処理が実行されると、図１５に示した差分合成処理は終了する。

なお、本項で説明した処理ステップの順序は、各図に示した順序に限定されない。例えば、図１４の画像復号処理において、ステップＳ２４０ａ及びステップＳ２４０ｂの２つの差分復号処理が並列的に行われてもよい。

＜３．応用例＞
本開示に係る技術は、ＲＡＷ画像から現像されるフルカラー画像を扱う様々な製品に応用可能である。本節では、図１６Ａ及び図１６Ｂを用いて、典型的な２つの応用例について説明する。第１の応用例では、デジタルカメラに相当し得る画像処理装置３００が実現される。第２の応用例では、フォトエディタが動作するＰＣ（Personal Computer）に相当し得る画像処理装置４００が実現される。

（１）第１の応用例
図１６Ａは、第１の応用例に係る画像処理装置３００の構成の一例を示すブロック図である。図１６Ａを参照すると、画像処理装置３００は、操作部３１０、制御部３２０、イメージセンサ３３０、符号化部１００、記憶媒体３４０、復号部２００及びディスプレイ３５０を備える。

操作部３１０は、画像処理装置３００の様々な機能をユーザが操作するための操作インタフェースをユーザに提供する。

制御部３２０は、画像処理装置３００の機能全般を制御する。例えば、制御部３２０は、操作部３１０により受け付けられるユーザの第１の操作に応じて、イメージセンサ３３０にＲＡＷ画像を撮像させる。そして、制御部３２０は、撮像されたＲＡＷ画像に基づいて符号化部１００により生成される符号化ストリームを、記憶媒体３４０に記憶させる。また、制御部３２０は、ユーザの第２の操作に応じて、記憶媒体３４０により記憶されている符号化ストリームを復号部２００へ入力し、復号部２００によりフルカラー画像データを再構成させる。そして、制御部３２０は、再構成されたフルカラー画像データを用いて、ディスプレイ３５０によりフルカラー画像を表示させる。

イメージセンサ３３０は、ＣＣＤ又はＣＭＯＳなどの撮像素子を含み、実世界の光を感知してＲＡＷ画像を撮像する。

符号化部１００は、上述した画像符号化装置１００と同等の構成を有する。符号化部１００は、イメージセンサ３３０により生成されるＲＡＷ画像データを取得して上述した画像符号化処理を実行し、第１及び第２の符号化ストリームを記憶媒体３４０へ出力する。第２の符号化ストリームは、第１の符号化ストリームに関連付けられる。

記憶媒体３４０は、符号化部１００から出力される第１及び第２の符号化ストリームを記憶する。

復号部２００は、上述した画像復号装置２００と同等の構成を有する。復号部２００は、記憶媒体３４０から第１及び第２の符号化ストリームを取得して上述した画像復号処理を実行し、各色についてＲＡＷ画像データと同等のビット深度を有するフルカラー画像データを再構成する。

ディスプレイ３５０は、液晶又はＯＬＥＤ（Organic Light Emitting Diode）などの表示素子を含み、復号部２００により再構成されるフルカラー画像データを用いてフルカラー画像を表示する。

（２）第２の応用例
図１６Ｂは、第２の応用例に係る画像処理装置４００の構成の一例を示すブロック図である。図１６Ｂを参照すると、画像処理装置４００は、操作部４１０、制御部４２０、記憶媒体４４０、通信インタフェース４５０、及びディスプレイ４６０を備える。

操作部４１０は、画像処理装置４００の様々な機能をユーザが操作するための操作インタフェースをユーザに提供する。

制御部４２０は、画像処理装置４００の機能全般を制御する。本応用例において、制御部４２０は、符号化部１００、復号部２００及びアプリケーション部４３０を含む。

アプリケーション部４３０は、フォトエディタ機能を実現するアプリケーションモジュールである。アプリケーション部４３０は、例えば、操作部４１０により受け付けられるユーザの第１の操作に応じて、記憶媒体４４０により記憶され又は通信インタフェース４５０を介して受信される第１及び第２の符号化ストリームから、復号部２００によりフルカラー画像データを再構成させる。そして、アプリケーション部４３０は、再構成されたフルカラー画像データを用いて、ディスプレイ４６０にフルカラー画像を表示させる。また、アプリケーション部４３０は、表示されたフルカラー画像がユーザにより編集された後、ユーザの第２の操作に応じて、編集後のフルカラー画像データを符号化部１００により符号化させる。そして、アプリケーション部４３０は、符号化部１００により生成される第１及び第２の符号化ストリームを記憶媒体４４０に記憶させる。

符号化部１００は、上述した画像符号化装置１００と同等の構成を有する符号化モジュールである。符号化部１００は、ユーザにより編集されるフルカラー画像データを取得して上述した画像符号化処理を実行し、第１及び第２の符号化ストリームを記憶媒体４４０へ出力する。第２の符号化ストリームは、第１の符号化ストリームに関連付けられる。

復号部２００は、上述した画像復号装置２００と同等の構成を有する復号モジュールである。復号部２００は、アプリケーション部４３０により指定される第１及び第２の符号化ストリームを取得して上述した画像復号処理を実行し、各色についてＲＡＷ画像データと同等のビット深度を有するフルカラー画像データを再構成する。

記憶媒体４４０は、符号化部１００から出力され又は復号部２００へ入力される第１及び第２の符号化ストリームを記憶する。

通信インタフェース４５０は、任意の有線通信方式又は無線通信方式に従って、画像処理装置４００を他の装置と接続する。

ディスプレイ４６０は、液晶又はＯＬＥＤなどの表示素子を含み、復号部２００により再構成されるフルカラー画像データを用いてフルカラー画像を表示する。ディスプレイ４６０は、アプリケーション部４３０による制御の下、フルカラー画像をユーザが編集するためのグラフィカルユーザインタフェース（ＧＵＩ）をも表示し得る。

＜４．まとめ＞
ここまで、図１〜図１６Ｂを用いて、本開示に係る技術の一実施形態及びその応用例について詳細に説明した。上述した実施形態によれば、フルカラー画像データを符号化する際には、様々な処理を通じてＪＰＥＧ方式で符号化された第１の画像データが第１の符号化ストリームに格納され、それら処理により生じる誤差を表現する差分画像に基づく第２の画像データが第２の符号化ストリームに格納され、第２の符号化ストリームが第１の符号化ストリームに関連付けられる。そして、復号の際には、第１の符号化ストリームをＪＰＥＧ方式で復号して第１の画像データが生成され、第２の符号化ストリームを復号して第２の画像データが生成され、復号された第１及び第２の画像データを用いてフルカラー画像データが再構成される。従って、８ビットのＪＰＥＧ方式で符号化及び復号される第１の画像データでは表現されない精細な階調を第２の画像データで補償して、より階調の高い画像を再構成することができる。また、第１の画像データ自体はＪＰＥＧ方式で符号化されるため、広く普及しているＪＰＥＧデコーダで少なくとも第１の画像データを復号することが可能であり、即ち、ＪＰＥＧデコーダとの互換性が確保される。

また、上記差分画像に基づく第２の画像データもＪＰＥＧ方式で符号化される場合には、第１及び第２の画像データの双方について既存のＪＰＥＧエンジン（エンコーダ／デコーダ）を活用できるため、より低いコストで本開示に係る技術を実現することができる。

また、上記差分画像の階調は、通常は小さく、デモザイク処理後の様々な処理を通じて失われ易い。しかし、差分画像の符号化の前に、画像符号化方式によりサポートされる画素値レンジに合わせて画素値が正規化されることで、小さな階調を失うことなく差分画像を符号化することができる。

また、第２の画像データの符号化の前に、当該第２の画像データのサイズが縮小されてもよい。また、高周波成分が強い値を示す画素位置の第２の画像データの画素値が、一定の値に置換されてもよい。また、画素値レンジの中央部分に属する輝度値を示す画素位置の第２の画像データの画素値が、一定の値に置換されてもよい。それにより、第２の画像データで補償される画質を大きく減殺することなく、第２の符号化ストリームの符号化効率を高めることができる。

また、第２の画像データの符号化は、白とびが生じる可能性のある領域と黒つぶれが生じる可能性のある領域とで別々に行われてもよい。一般的に、白とびが生じる領域と黒つぶれが生じる領域との間の画像の相関は低い。従って、これら領域について差分画像の符号化及び復号を別々に行うことで、これら領域において第２の画像データで補償される画質を高めることができる。

また、上述した実施形態によれば、第１の符号化ストリームのヘッダ領域に、第２の符号化ストリームにアクセスするためのパラメータが挿入される。かかる構成によれば、画像を復号しようとするデコーダは、第２の符号化ストリームが関連付けられているか否かによらず、一般的な画像復号処理と同様に、まず第１の符号化ストリームのヘッダを読み込む。そして、当該デコーダは、第２の符号化ストリームが関連付けられていない場合には、ＪＰＥＧ符号化された第１の画像データのみを復号することができる。一方で、第２の符号化ストリームが関連付けられている場合には、当該デコーダは、第２の画像データをさらに復号してフルカラー画像データを再構成することができる。この場合、ＪＰＥＧ符号化された画像データのみを復号する際の処理の流れは改変されないため、既存のＪＰＥＧエンジンを拡張して本開示に係る技術を実装することも容易である。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、
前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、
前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、
を備える画像処理装置。
（２）
前記第２の画像データは、第１のフルカラー画像データと、前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用することにより生成された第２のフルカラー画像データと、の差分画像に基づく、前記（１）に記載の画像処理装置。
（３）
前記第２復号部は、前記第２の符号化ストリームをＪＰＥＧ方式で復号する、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、前記第２復号部によりサポートされる画素値レンジに合わせて正規化された前記第２の画像データの画素値を逆正規化する逆正規化部、をさらに備える、前記（２）又は前記（３）に記載の画像処理装置。
（５）
前記画像処理装置は、前記第２復号部により生成された前記第２の画像データのサイズを復元すべきフルカラー画像データのサイズに合わせて拡大する拡大部、をさらに備え、
前記合成部は、前記第１の画像データを用いて復元されるフルカラー画像データと前記拡大部により拡大された前記第２の画像データとを合成する、
前記（２）又は前記（３）に記載の画像処理装置。
（６）
前記第２の符号化ストリームは、第１グループの差分画素値を含むストリーム及び第２グループの差分画素値を含むストリームを含み、
前記第１グループは、白とびが生じる可能性のある画素のためのグループであり、
前記第２グループは、黒つぶれが生じる可能性のある画素のためのグループであり、
前記第２復号部は、前記第１グループ及び前記第２グループの２つのストリームをそれぞれ復号し、
前記第２の画像データは、前記第１グループのストリームから復号された画素値又は前記第２グループのストリームから復号された画素値を画素位置に応じて選択的に採用することにより生成される、
前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記ストリーム取得部は、前記第１の符号化ストリームに付加されるヘッダに挿入されるパラメータを用いて、前記第２の符号化ストリームを取得する、前記（２）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記第１のフルカラー画像データは、ＲＡＷ画像データをデモザイク処理することにより生成された画像データである、前記（２）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記画像処理装置は、前記合成部により再構成されるフルカラー画像データを用いてフルカラー画像を表示装置に表示させる表示制御部、をさらに備える、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成する処理部と、
ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
前記処理部により前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成する逆処理部と、
前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
を備える画像処理装置。
（１１）
前記第２符号化部は、前記第２の画像データをＪＰＥＧ方式で符号化する、前記（１０）に記載の画像処理装置。
（１２）
前記画像処理装置は、前記第２の画像データの画素値を前記第２符号化部によりサポートされる画素値レンジに合わせて正規化する正規化部、をさらに備える、前記（１０）又は前記（１１）に記載の画像処理装置。
（１３）
前記画像処理装置は、前記第２の画像データのサイズを縮小する縮小部、をさらに備え、
前記第２符号化部は、前記縮小部により縮小された前記第２の画像データを符号化する、
前記（１０）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記画像処理装置は、前記第１のフルカラー画像データにおいて高周波成分が強い値を示す画素位置の前記第２の画像データの画素値を一定の値に置換する差分加工部、をさらに備える、前記（１０）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記画像処理装置は、前記第１のフルカラー画像データにおいて輝度が画素値レンジの中央部分に属する画素位置の前記第２の画像データの画素値を一定の値に置換する差分加工部、をさらに備える、前記（１０）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記画像処理装置は、所定の輝度閾値を用いて、白とびが生じる可能性のある画素のための第１グループ及び黒つぶれが生じる可能性のある画素のための第２グループを含む複数のグループのいずれかに各画素を分類する分類部、をさらに備え、
前記第２符号化部は、前記第１グループの画素についての前記第２の画像データと前記第２グループの画素についての前記第２の画像データとを別々に符号化する、
前記（１０）〜（１５）のいずれか１項に記載の画像処理装置。
（１７）
前記ストリーム出力部は、前記第２の符号化ストリームにアクセスするためのパラメータを前記第１の符号化ストリームに付加されるヘッダに挿入する、前記（１０）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記第１のフルカラー画像データは、ＲＡＷ画像データをデモザイク処理することにより生成される画像データである、前記（１０）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
前記画像処理装置は、ＲＡＷ画像を撮像するイメージセンサ、をさらに備える、前記（１８）に記載の画像処理装置。
（２０）
コンピュータを、
８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、
前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、
前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、
として機能させるためのプログラム。
（２１）
コンピュータを、
８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成する処理部と、
ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
前記処理部により前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成する逆処理部と、
前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
として機能させるためのプログラム。
（２２）
８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得することと、
前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成することと、
前記第２の符号化ストリームを復号して第２の画像データを生成することと、
前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成することと、
を含む画像処理方法。
（２３）
８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成することと、
ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成することと、
前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成することと、
前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成することと、
前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力することと、
を含む画像処理方法。

１００ 画像符号化装置
１１０ ＲＡＷ画像取得部
１２０ 現像部
１３０ 補正処理部
１４０ 逆処理部
１５０ 差分演算部
１６２ 深度削減・ＹＣ変換部
１６８ 第１符号化部
１８０ 分類部
１７１，１８１ 差分加工部
１７３，１８３ 縮小部
１７５，１８５ 正規化部
１７９，１７９ａ，１７９ｂ，１８９ａ 第２符号化部
１９０ ストリーム出力部
２００ 画像復号装置
２１０ ストリーム取得部
２２２ 第１復号部
２２８ ＲＧＢ変換・深度拡張部
２３１，２３１ａ，２３１ｂ，２４１ａ 第２復号部
２３５，２４５ 逆正規化部
２３７，２４７ 拡大部
２４０ 差分合成部
２６０ 逆処理部
２７０ 合成部
２８０ 画像出力部
３００，４００ 画像処理装置
３２０，４２０ 制御部
３３０ イメージセンサ
３４０，４４０ 記憶媒体

従って、ＪＰＥＧ方式のような静止画向けの標準符号化方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことを可能とする仕組みが実現されることが望ましい。

本開示によれば、静止画の入力フルカラー画像データに対しＥＶ（Exposure Value）補正、ＷＢ（White Balance）補正及びガンマ補正のうちの１つ以上を含む補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号する主画像復号部と、前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号する差分画像復号部と、前記主画像復号部の出力と、前記差分画像復号部の出力とを合成する合成部と、を備える画像処理装置が提供される。対応する符号化側の処理を実行する画像処理装置もまた提供される。

また、本開示によれば、静止画の入力フルカラー画像データに対しＥＶ（Exposure Value）補正、ＷＢ（White Balance）補正及びガンマ補正のうちの１つ以上を含む補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号して、前記補正後画像データを出力することと、前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号して、前記差分画像データを出力することと、前記補正後画像データと、前記差分画像データとを合成することと、を含む画像処理方法が提供される。対応する符号化側の画像処理方法もまた提供される。

また、本開示によれば、コンピュータを、静止画の入力フルカラー画像データに対しＥＶ（Exposure Value）補正、ＷＢ（White Balance）補正及びガンマ補正のうちの１つ以上を含む補正処理を行うことにより生成された補正後画像データを所定の標準符号化方式で符号化することにより生成された主画像符号化ストリームを復号する主画像復号部と、前記入力フルカラー画像データと少なくとも前記補正後画像データに対し前記補正処理の逆処理を行うことにより生成された逆処理後画像データとの間の差分画像データを符号化することにより生成された差分画像符号化ストリームを前記標準符号化方式で復号する差分画像復号部と、前記主画像復号部の出力と、前記差分画像復号部の出力とを合成する合成部と、として機能させるためのプログラムが提供される。対応する符号化側の処理を実行するためのプログラムもまた提供される。

本開示に係る技術よれば、静止画向けの標準符号化方式との互換性を確保しつつ、画像の符号化によって低下する画質を取り戻すことが可能となる。

Claims (20)

1. ８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、
   前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、
   前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
   前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、
   を備える画像処理装置。
2. 前記第２の画像データは、第１のフルカラー画像データと、前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用することにより生成された第２のフルカラー画像データと、の差分画像に基づく、請求項１に記載の画像処理装置。
3. 前記第２復号部は、前記第２の符号化ストリームをＪＰＥＧ方式で復号する、請求項２に記載の画像処理装置。
4. 前記画像処理装置は、前記第２復号部によりサポートされる画素値レンジに合わせて正規化された前記第２の画像データの画素値を逆正規化する逆正規化部、をさらに備える、請求項２に記載の画像処理装置。
5. 前記画像処理装置は、前記第２復号部により生成された前記第２の画像データのサイズを復元すべきフルカラー画像データのサイズに合わせて拡大する拡大部、をさらに備え、
   前記合成部は、前記第１の画像データを用いて復元されるフルカラー画像データと前記拡大部により拡大された前記第２の画像データとを合成する、
   請求項２に記載の画像処理装置。
6. 前記第２の符号化ストリームは、第１グループの差分画素値を含むストリーム及び第２グループの差分画素値を含むストリームを含み、
   前記第１グループは、白とびが生じる可能性のある画素のためのグループであり、
   前記第２グループは、黒つぶれが生じる可能性のある画素のためのグループであり、
   前記第２復号部は、前記第１グループ及び前記第２グループの２つのストリームをそれぞれ復号し、
   前記第２の画像データは、前記第１グループのストリームから復号された画素値又は前記第２グループのストリームから復号された画素値を画素位置に応じて選択的に採用することにより生成される、
   請求項２に記載の画像処理装置。
7. 前記ストリーム取得部は、前記第１の符号化ストリームに付加されるヘッダに挿入されるパラメータを用いて、前記第２の符号化ストリームを取得する、請求項２に記載の画像処理装置。
8. 前記第１のフルカラー画像データは、ＲＡＷ画像データをデモザイク処理することにより生成された画像データである、請求項２に記載の画像処理装置。
9. 前記画像処理装置は、前記合成部により再構成されるフルカラー画像データを用いてフルカラー画像を表示装置に表示させる表示制御部、をさらに備える、請求項１に記載の画像処理装置。
10. ８ビットより多くのビット深度を有する第１のフルカラー画像データから第１の画像データを生成する処理部と、
    ビット深度を８ビットに削減された前記第１の画像データをＪＰＥＧ（Joint Photographic Experts Group）方式で符号化して第１の符号化ストリームを生成する第１符号化部と、
    前記処理部により前記第１のフルカラー画像データに適用された処理の逆処理を当該処理の結果に適用して、第２のフルカラー画像データを生成する逆処理部と、
    前記第１のフルカラー画像データと前記第２のフルカラー画像データとの差分画像に基づく第２の画像データを符号化して第２の符号化ストリームを生成する第２符号化部と、
    前記第２の符号化ストリームを前記第１の符号化ストリームに関連付けて出力するストリーム出力部と、
    を備える画像処理装置。
11. 前記第２符号化部は、前記第２の画像データをＪＰＥＧ方式で符号化する、請求項１０に記載の画像処理装置。
12. 前記画像処理装置は、前記第２の画像データの画素値を前記第２符号化部によりサポートされる画素値レンジに合わせて正規化する正規化部、をさらに備える、請求項１０に記載の画像処理装置。
13. 前記画像処理装置は、前記第２の画像データのサイズを縮小する縮小部、をさらに備え、
    前記第２符号化部は、前記縮小部により縮小された前記第２の画像データを符号化する、
    請求項１０に記載の画像処理装置。
14. 前記画像処理装置は、前記第１のフルカラー画像データにおいて高周波成分が強い値を示す画素位置の前記第２の画像データの画素値を一定の値に置換する差分加工部、をさらに備える、請求項１０に記載の画像処理装置。
15. 前記画像処理装置は、前記第１のフルカラー画像データにおいて輝度が画素値レンジの中央部分に属する画素位置の前記第２の画像データの画素値を一定の値に置換する差分加工部、をさらに備える、請求項１０に記載の画像処理装置。
16. 前記画像処理装置は、所定の輝度閾値を用いて、白とびが生じる可能性のある画素のための第１グループ及び黒つぶれが生じる可能性のある画素のための第２グループを含む複数のグループのいずれかに各画素を分類する分類部、をさらに備え、
    前記第２符号化部は、前記第１グループの画素についての前記第２の画像データと前記第２グループの画素についての前記第２の画像データとを別々に符号化する、
    請求項１０に記載の画像処理装置。
17. 前記ストリーム出力部は、前記第２の符号化ストリームにアクセスするためのパラメータを前記第１の符号化ストリームに付加されるヘッダに挿入する、請求項１０に記載の画像処理装置。
18. 前記第１のフルカラー画像データは、ＲＡＷ画像データをデモザイク処理することにより生成される画像データである、請求項１０に記載の画像処理装置。
19. 前記画像処理装置は、ＲＡＷ画像を撮像するイメージセンサ、をさらに備える、請求項１８に記載の画像処理装置。
20. コンピュータを、
    ８ビットより多くのビット深度を有するフルカラー画像データのビット深度を８ビットに削減して符号化された第１の符号化ストリーム、及び前記第１の符号化ストリームに関連付けられる第２の符号化ストリームを取得するストリーム取得部と、
    前記第１の符号化ストリームをＪＰＥＧ（Joint Photographic Experts Group）方式で復号して第１の画像データを生成する第１復号部と、
    前記第２の符号化ストリームを復号して第２の画像データを生成する第２復号部と、
    前記第１の画像データを用いて復元されるフルカラー画像データと前記第２の画像データとを合成する合成部と、
    として機能させるためのプログラム。
    

Images