JP2016005244A - 画像符号化装置、画像復号装置、画像符号化方法および画像復号方法 - Google Patents

Abstract

【課題】露出値の異なる画像に対して、明るさの不一致を解消して符号化を行う。【解決手段】画像符号化装置は、露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して画像内符号化を行い第１の符号化済画像を生成する第１符号化手段と、複数の符号化対象画像のうちの第２の符号化対象画像に対して、第１の符号化対象画像の局部復号画像を第１の参照画像として用いて画像間符号化を行い第２の符号化済画像を生成する第２符号化手段と、第２の符号化対象画像の露出値と、第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、第２符号化手段は、補正手段による補正が行われた第２の符号化対象画像に対して、または補正手段による補正が行われた第１の参照画像を用いて画像間符号化を行う。【選択図】図１

Description

本発明は、画像符号化装置、画像復号装置、画像符号化方法および画像復号方法に関する。

従来から、異なる露光時間で連続的に順次撮影することにより取得された露光値の異なる複数の画像を合成することにより、広ダイナミックレンジ画像を生成する撮像装置が知られている（たとえば特許文献１）。

特開平５−７３３６号公報

しかしながら、異なる露光時間で撮影された複数の画像を画像間処理にてデータ圧縮した場合、それぞれの画像の露出値が異なるため画像間の相関性が低く、データ量を大幅に削減することができないという問題がある。

請求項１に記載の画像符号化装置は、露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して画像内符号化を行い第１の符号化済画像を生成する第１符号化手段と、複数の符号化対象画像のうちの第２の符号化対象画像に対して、第１の符号化対象画像の局部復号画像を第１の参照画像として用いて画像間符号化を行い第２の符号化済画像を生成する第２符号化手段と、第２の符号化対象画像の露出値と、第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、第２符号化手段は、補正手段による補正が行われた第２の符号化対象画像に対して、または補正手段による補正が行われた第１の参照画像を用いて画像間符号化を行うことを特徴とする。
請求項３に記載の画像符号化装置は、露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して、第１の参照画像を用いて画像間符号化を行い、第１の符号化済画像を生成する第１符号化手段と、複数の符号化対象画像のうちの第２の符号化対象画像に対して、第１の符号化済画像の局部復号画像を第２の参照画像として用いて画像間符号化を行い、第２の符号化済画像を生成する第２符号化手段と、第２の符号化対象画像の露出値と、第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、第２符号化手段は、補正手段による補正が行われた第２の符号化対象画像に対して、または補正手段による補正が行われた第２の参照画像を用いて画像間符号化を行うことを特徴とする。
請求項１２に記載の画像復号装置は、露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して画像内復号を行い、第１の復号画像を生成する第１復号手段と、複数の符号化データのうちの第２の符号化データに対して、第１の復号画像を第１の参照画像として用いて画像間復号して、第２の復号画像を生成する第２復号手段と、第２の符号化データの露出値と、第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、第２復号手段は、補正手段による補正が行われた第２の符号化データに対して、または補正手段による補正が行われた第１の参照画像を用いて画像間復号を行うことを特徴とする。
請求項１４に記載の画像復号装置は、露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して、第１の参照画像を用いて画像間復号を行い、第１の復号画像を生成する第１復号手段と、複数の符号化データのうちの第２の符号化データに対して、第１の符号化データを第２の参照画像として画像間復号を行い第２の復号画像を生成する第２復号手段と、第２の符号化データの露出値と、第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、第２復号手段は、補正手段による補正が行われた第２の符号化データに対して、または補正手段による補正が行われた第２の参照画像を用いて画像間復号を行うことを特徴とする。
請求項２３に記載の画像符号化方法は、露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して画像内符号化を行い第１符号化済画像を生成する第１符号化工程と、複数の符号化対象画像のうちの第２の符号化対象画像に対して、第１の符号化対象画像の局部復号画像を第１の参照画像として用いて画像間符号化を行い第２符号化済画像を生成する第２符号化工程と、第２の符号化対象画像の露出値と、第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、第２符号化工程は、補正が行われた第２の符号化対象画像に対して、または補正が行われた第１の参照画像を用いて画像間符号化を行うことを特徴とする。
請求項２５に記載の画像符号化方法は、露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して、第１の参照画像を用いて画像間符号化を行い、第１の符号化済画像を生成する第１符号化工程と、複数の符号化対象画像のうちの第２の符号化対象画像に対して、第１の符号化済画像の局部復号画像を第２の参照画像として用いて画像間符号化を行い、第２の符号化済画像を生成する第２符号化工程と、第２の符号化対象画像の露出値と、第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、第２符号化工程は、補正が行われた第２の符号化対象画像に対して、または補正が行われた第２の参照画像を用いて画像間符号化を行うことを特徴とする。
請求項２６に記載の画像復号方法は、露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して画像内復号を行い、第１の復号画像を生成する第１復号工程と、複数の符号化データのうちの第２の符号化データに対して、第１の復号画像を第１の参照画像として用いて画像間復号して、第２の復号画像を生成する第２復号工程と、第２の符号化データの露出値と、第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、第２復号工程は、補正が行われた第２の符号化データに対して、または補正が行われた第１の参照画像を用いて画像間復号を行うことを特徴とする。
請求項２８に記載の画像復号方法は、露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して、第１の参照画像を用いて画像間復号を行い、第１の復号画像を生成する第１復号工程と、複数の符号化データのうちの第２の符号化データに対して、第１の符号化データを第２の参照画像として画像間復号を行い第２の復号画像を生成する第２復号工程と、第２の符号化データの露出値と、第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、第２復号工程は、補正が行われた第２の符号化データに対して、または補正が行われた第２の参照画像を用いて画像間復号を行うことを特徴とする。

本発明によれば、露出値の異なる画像に対して、明るさの不一致を解消して効率よく符号化および復号を行うことができる。

本発明の第１の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第１の実施の形態による符号化装置が有する露出補正部の機能を示すブロック図 第１の実施の形態による符号化装置により生成される符号化データと、符号化される前の画像との関係を模式的に示す図 第１〜第５の実施の形態による符号化装置の動作を説明するフローチャート 第１の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図 第１〜第５の実施の形態による復号装置の動作を説明するフローチャート 変形例における露出補正部の機能を示すブロック図 変形例における露出補正部の機能を示すブロック図 第２の実施の形態による符号化装置により生成される符号化データと、符号化される前の画像との関係を模式的に示す図 第２の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第３の実施の形態による符号化装置により生成される符号化データと、符号化される前の画像との関係を模式的に示す図 第３の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第４の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第４の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図 第５の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第５の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図 第４および第６の実施の形態により生成される符号化データと、符号化される前の画像との関係を模式的に示す図 第４および第６の実施の形態の変形例により生成される符号化データと、符号化される前の画像との関係を模式的に示す図 第４の実施の形態の変形例、第５、第６および第７の実施の形態により生成される符号化データと、符号化される前の画像との関係を模式的に示す図 第６の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第６の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図 第７の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図 第７の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図

−第１の実施の形態−
図面を参照しながら、本発明の実施の形態による符号化装置および復号化装置について説明する。
−−符号化装置−−
図１は本実施の形態による符号化装置１の構成を示すブロック図である。符号化装置１は、制御部１００と、第１蓄積部１０１と、減算部１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、第２蓄積部１０９と、補正値算出部１１０と、露出補正部１１１と、予測制御情報生成部１１２と、画像間予測部１１３とを備える。制御部１００はＣＰＵやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、符号化装置１の各部を制御する。なお、図示の都合上、制御部１００から各部への信号入出力を省略して示す。また、図１においては、符号化装置１の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

第１蓄積部１０１は、異なる露出値で連続的に撮影された複数の画像を順次入力して、一時的に格納する。なお、各画像を撮影した際の露出値は、画像データのヘッダ等にＥＸＩＦデータとして記録される。本実施の形態においては、第１蓄積部１０１に格納された複数の画像のそれぞれが符号化対象画像であり、符号化対象画像のうち、画像内符号化により符号化を行う画像を特定画像、画像間符号化により符号化を行う画像を非特定画像とする。減算部１０２は、第１蓄積部１０１に格納された複数の画像のうちの特定画像に対しては処理を行わず、非特定画像に対して、後述する画像間予測部１１３から出力される予測画像を減算することによって予測誤差画像を生成して出力する。

直交変換部１０３は、減算部１０２から出力された特定画像または予測誤差画像を直交変換して直交変換係数を出力する。量子化部１０４は、直交変換部１０３から出力された直交変換係数を量子化して量子化係数、すなわち符号化済画像を出力する。可変長符号化１０５は、量子化部１０４から出力された量子化係数、後述する予測制御情報生成部１１２から出力される動きベクトル等の予測制御情報、補正値算出部１１０から出力される露出補正値等を可変長符号化することにより、符号化データを出力する。

逆量子化部１０６は、量子化部１０４で算出された量子化係数を逆量子化して逆量子化係数を出力する。逆直交変換部１０７は、逆量子化部１０６から出力された逆量子化係数を逆直交変換することにより、特定画像の復号画像（以後、復号特定画像と呼ぶ）または予測誤差画像の復号画像（以後、復号予測誤差画像と呼ぶ）を生成する。加算部１０８は、符号化対象画像に対して画像間符号化を行う場合には、逆直交変換部１０７からの復号予測誤差画像と、後述する画像間予測部１１３からの予測画像とを加算して、符号化対象画像の復号画像（以後、復号予測画像と呼ぶ）を生成して出力する。符号化対象画像に対して画像内符号化を行う場合には、加算部１０８は、逆直交変換部１０７からの復号特定画像をそのまま出力する。第２蓄積部１０９は、加算部１０８から出力された復号予測画像または復号特定画像、すなわち逆量子化部１０６および逆直交変換部１０７によって符号化対象画像の一部が復号された局部復号画像を、参照画像として一時的に格納する。

補正値算出部１１０は、符号化対象画像が非特定画像の場合には、第１蓄積部１０１に格納された符号化対象画像の露出値から、第２蓄積部１０９に格納された参照画像の露出値を減算して、参照画像の露出補正値を算出する。なお、補正値算出部１１０は、画像データのヘッダ等の記録されたＥＸＩＦデータを参照することにより補正値の減算を行う。露出補正部１１１は、補正値算出部１１０により算出された露出補正値を用いて参照画像の露出を補正して、露出補正参照画像を生成し、出力する。この場合、露出補正部１１１は、参照画像の各画素値に露出補正値に応じた値を乗じることにより露出補正参照画像を生成する。すなわち、露出補正部１１１は、符号化対象画像の露出値と一致した露出値を有する露出補正参照画像を生成する。なお、符号化対象画像の露出値と実質的に位置する露出値を有する露出補正参照画像を生成するものについても本発明の一態様に含まれる。この場合、後述する符号化に際して、露出値が異なる複数の画像間で生じる明るさの不一致による影響が解消可能な範囲で露出値が補正されればよい。なお、露出補正部１１１による処理については、詳細を後述して説明する。

予測制御情報生成部１１２は、露出補正参照画像を用いて、参照画像に対する符号化対象画像の差異を予測するための、たとえば動きベクトル等の予測情報を生成する。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報と、露出補正部１１１により生成された露出補正参照画像とに基づいて、減算部１０２が符号化対象画像から減算する際に用いる予測画像を出力する。すなわち、画像間予測部１１３は、符号化対象画像とは露出値が異なる参照画像に基づいて、符号化対象画像と露出値が一致するように補正された予測画像を出力する。

図２は、露出補正部１１１の機能を示すブロック図である。なお、以下の説明では、ガンマ補正適用ＲＧＢ形式の画像を符号化する場合を例としている。露出補正部１１１は、機能として、ＲＧＢガンマ補正逆変換部１１１１と、ＲＧＢレベル補正部１１１２と、ＲＧＢガンマ補正変換部１１１３とを備える。ＲＧＢガンマ補正逆変換部１１１１は、第２蓄積部１０９に格納された参照画像のＲＧＢ成分に対してガンマ補正逆変換を行い、リニアＲＧＢ参照画像を生成する。この場合、ＲＧＢガンマ補正逆変換部１１１１は、たとえばγ＝２．２に対応するガンマ補正カーブが適用されている参照画像に対しては、サンプル値（画素値）をγ＝１／２．２に対応するガンマ補正カーブを適用することでリニアＲＧＢ参照画像を生成する。

ＲＧＢレベル補正部１１１２は、ＲＧＢガンマ補正逆変換部１１１１により生成されたリニアＲＧＢ参照画像の露出値を、上述した補正値算出部１１０にて算出された露出補正値に基づいて補正し、露出補正リニアＲＧＢ参照画像を生成する。この場合、ＲＧＢレベル補正部１１１２は、たとえば露出補正値がｎＥＶであれば、リニアＲＧＢ参照画像のサンプル値（画素値）を２^−ｎ倍することにより露出補正リニアＲＧＢ参照画像を生成する。ＲＧＢガンマ補正変換部１１１３は、ＲＧＢレベル補正部１１１２により生成された露出補正リニアＲＧＢ参照画像に対してガンマ変換を施して、露出補正参照画像を生成する。この場合、ＲＧＢガンマ補正変換部１１１３は、たとえばγ＝２．２のガンマ補正カーブが適用されている参照画像に対しては、露出補正リニアＲＧＢ参照画像のサンプル値（画素値）をγ＝２．２に対応するガンマ補正カーブを適用することで露出補正参照画像を生成する。この結果、符号化対象画像がガンマ補正適用ＲＧＢ形式の場合であっても、符号化対象画像および参照画像の露出値に応じて、画像間符号化に適した露出補正参照画像を生成することが可能となる。

図１および図３を参照しながら符号化装置１により生成される符号化データについて説明する。図３（ａ）は、自動露出により露出値ＥＶｒｅｆを基準として、±２ＥＶの範囲で１ＥＶずつ露出値を変化させながら、撮影間隔ａ秒にて連続撮影された画像Ｆ１〜Ｆ５を模式的に示した例である。図に示すように、画像Ｆ３が露出値ＥＶｒｅｆにて撮影された画像であり、画像Ｆ１が最も明るく白とびを多く含み黒つぶれの少ない画像であり、画像Ｆ５が最も暗く黒つぶれを多く含み白とびの少ない画像である。なお、露出値を１ＥＶ増加させるためには、たとえば露光時間を１／２倍にしてもよいし、絞り値を２^１／２倍にしてもよい。また、画像Ｆ１〜Ｆ５を連続撮影する際の撮影間隔はａ秒で一定のものに限定されず、一定の撮影間隔ではないものについても本発明の一態様に含まれる。

本実施の形態では、図３（ｂ）に示すように、画像Ｆ１に対して画像内符号化を行い、画像Ｆ２〜Ｆ５に対して画像間符号化を行うことにより、符号化データＩ１、Ｐ２〜Ｐ５が生成される。すなわち、第１蓄積部１０１に格納された複数の画像Ｆ１〜Ｆ５のうち、画像Ｆ１が他の画像Ｆ２〜Ｆ５に先行して可変長符号化部１０５により画像内符号化される。この場合、上述したように、減算部１０２は特定画像である画像Ｆ１をそのまま出力し（図１のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ１として出力される（図１のｂ）。また、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施された特定画像は、加算部１０８による処理を施されることなく、第２蓄積部１０９に復号特定画像Ｆ１ａとして格納される（図１のｃ）。

図３（ｂ）に示すように、画像Ｆ２は画像Ｆ１との間で画像間符号化が行われる。この場合、画像Ｆ２は、画像Ｆ２の露出値と一致するように露出値が補正された画像Ｆ１との間で、画像間符号化が行われる。画像Ｆ２に対して画像間符号化を行う際には、第１蓄積部１０１に格納されている画像Ｆ２が符号化対象画像、第２蓄積部１０９に格納されている、画像Ｆ１から生成された復号特定画像Ｆ１ａが参照画像となる。

まず、補正値算出部１１０は、参照画像である復号特定画像Ｆ１ａ、すなわち画像Ｆ１の露出値ＥＶ１（＝ＥＶｒｅｆ−２）と、符号化対象画像である画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、参照画像の露出補正値ΔＥＶ_Ｆ１（＝ＥＶ２−ＥＶ１＝１）を算出する。露出補正部１１１は、第２蓄積部１０９に格納されている参照画像（すなわち復号特定画像Ｆ１ａ）を露出補正値ΔＥＶ_Ｆ１を用いて補正して、露出補正参照画像Ｆ１ｂを生成する（図１のｄ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ１ｂ上の動きが符号化対象画像である画像Ｆ２に適合された予測画像Ｆ１ｃを生成する（図１のｅ）。

減算部１０２は、符号化対象画像（すなわち画像Ｆ２）から画像間予測部１１３により生成された予測画像Ｆ１ｃを減算して、予測誤差画像Ｆ２ａを生成する（図１のｆ）。すなわち、減算部１０２は、画像Ｆ２の露出値ＥＶ２と露出値が適合するように補正された露出補正参照画像Ｆ１ｂから生成された予測画像Ｆ１ｃとの差分に相当する画像を予測誤差画像Ｆ２ａとして生成する。予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１のｇ）。また、予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施され、復号予測誤差画像Ｆ２ｂとして加算部１０８に出力される（図１のｈ）。加算部１０８は、復号予測誤差画像Ｆ２ｂと、画像間予測部１１３にて生成された予測画像Ｆ１ｃとを加算して、復号予測画像Ｆ２ｃを生成し、第２蓄積部１０９に格納する（図１のｉ）。

図３（ｂ）に示すように、画像Ｆ３は画像Ｆ２との間で画像間符号化が行われる。この場合、画像Ｆ３は、画像Ｆ３の露出値と一致するように露出値が補正された画像Ｆ２との間で、画像間符号化が行われる。画像Ｆ３に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ３が符号化対象画像、第２蓄積部１０９内の復号予測画像Ｆ２ｃが参照画像となる。補正値算出部１１０は、復号予測画像Ｆ２ｃ、すなわち画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）と、画像Ｆ３の露出値ＥＶ３（＝ＥＶｒｅｆ）とを用いて、露出補正値ΔＥＶ_Ｆ２（＝ＥＶ３−ＥＶ２＝１）を算出する。露出補正部１１１は、第２蓄積部１０９内の復号予測画像Ｆ２ｃを露出補正値ΔＥＶ_Ｆ２を用いて補正して、露出補正参照画像Ｆ２ｄを生成する（図１のｊ）。画像間予測部１１３は、予測情報を用いて、露出補正参照画像Ｆ２ｄから予測画像Ｆ２ｅを生成する（図１のｋ）。

減算部１０２は、符号化対象画像（すなわち画像Ｆ３）から予測画像Ｆ２ｅを減算して、予測誤差画像Ｆ３ａを生成する（図１のｌ）。予測誤差画像Ｆ３ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ３として出力される（図１のｍ）。また、予測誤差画像Ｆ３ａは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施され、復号予測誤差画像Ｆ３ｂとして加算部１０８に出力される（図１のｎ）。加算部１０８は、復号予測誤差画像Ｆ３ｂと予測画像Ｆ２ｅとを加算して復号予測画像Ｆ３ｃを生成し、第２蓄積部１０９に格納する（図１のｏ）。

以後、上記の処理を繰り返し行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、図３（ｂ）に示すように、画像Ｆ４は、画像Ｆ３を参照画像とし、画像Ｆ４の露出値と一致するように露出値が補正された画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ５は、画像Ｆ４を参照画像とし、画像Ｆ５の露出値と一致するように露出値が補正された画像Ｆ４との間で、画像間符号化が行われる。この結果、図３（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が＋１ＥＶだけ補正された直前の画像との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。

図４に示すフローチャートを参照しながら、符号化装置１の処理について説明する。図４に示す処理は制御部１００でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部１００により起動され、実行される。
ステップＳ１０１では、連続撮影された露出値が互いに異なる複数の画像のうち、特定画像について画像内符号化により符号化データを出力させてステップＳ１０２へ進む。ステップＳ１０２においては、符号化対象画像の露出値と参照画像の露出値とに基づいて、参照画像の露出補正値を算出させてステップＳ１０３へ進む。ステップＳ１０３では、ステップＳ１０２で算出された露出補正値を用いて参照画像の露出値を補正して露出補正参照画像を生成してステップＳ１０４へ進む。

ステップＳ１０４では、符号化対象画像と露出補正参照画像とを用いて予測画像を生成させ、予測画像を用いて符号化対象画像に対して画像間符号化を行わせ、符号化データを生成させてステップＳ１０５へ進む。ステップＳ１０５では、全ての画像に対して符号化データが生成されたか否かを判定する。全ての画像から符号化データが生成された場合には、ステップＳ１０５が肯定判定されて処理を終了する。未処理の画像が存在する場合には、ステップＳ１０５が否定判定されてステップＳ１０２へ戻る。

−−復号装置−−
次に、上述した符号化装置１により出力された符号化データを復号して、画像を出力する復号装置２について説明する。
図５は、本実施の形態による復号装置２の構成を示すブロック図である。復号装置２は、制御部２００と、可変長符号復号部２０１と、逆量子化部２０２と、逆直交変換部２０３と、加算部２０４と、第１蓄積部２０５と、第２蓄積部２０６と、露出補正部２０７と、予測部２０８とを備える。制御部２００はＣＰＵやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、復号装置２の各部を制御する。なお、図示の都合上、制御部２００から各部への信号出力を省略して示す。また、図２においては、復号装置２の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

可変長符号復号部２０１は、符号化装置１から出力された、連続撮影された露出値が異なる複数の画像のそれぞれに対応する符号化データを入力し、符号化データのそれぞれに含まれる量子化係数や、動きベクトル等の予測情報、露出補正値等を出力する。逆量子化部２０２は、可変長符号復号部２０１から出力された量子化係数を逆量子化して、逆量子化係数を算出する。逆直交変換部２０３は、逆量子化部２０２により算出された逆量子化係数を逆直交変換することにより、特定画像に対応する符号化データの復号画像（以後、復号特定画像と呼ぶ）または予測誤差画像に対応する符号化データの復号画像（以後、復号予測誤差画像と呼ぶ）を生成し、出力する。

加算部２０４は、復号対象画像を画像間復号する際には、逆直交変換部２０３から出力された復号予測誤差画像と、後述する予測部２０８から出力された予測画像とを加算して、復号対象画像を復号する。復号対象画像を画像内復号する際には、加算部２０４は逆直交変換部２０３から出力された復号特定画像をそのまま出力する。第１蓄積部２０５は、加算部２０４から出力された復号画像を一時的に格納し、たとえば撮影画像の撮影順序に従って復号画像を出力する。第２蓄積部２０６は、加算部２０４によって出力された復号画像を一時的に格納する。第２蓄積部２０６に格納された復号画像は、以後の復号対象画像を復号する際に参照画像として使用される。

露出補正部２０７は、可変長符号復号部２０１から出力された露出補正値に基づいて、図１の露出補正部１１１と同様の動作で、第２蓄積部２０６に格納された参照画像の露出値を補正した露出補正参照画像を生成する。予測部２０８は、可変長符号復号部２０１から出力された予測情報と、露出補正部２０７により生成された露出補正参照画像とを用いて、画像間復号を行うための予測画像を生成する。

図５を参照しながら復号装置２により復号され、生成される復号画像について説明する。なお、図５においては、上述した符号化装置１により出力された符号化データＩ１、Ｐ２〜Ｐ５が順次入力される場合を例として示す。本実施の形態では、符号化データＩ１に対して画像内復号を行い、符号化データＰ２〜Ｐ５に対して画像間復号を行うことにより、復号画像ＦＤ１〜ＦＤ５が生成される。上述したように符号化データＩ１は、特定画像が符号化装置１により符号化されているので、符号化データＩ１は逆量子化部２０２および逆直交変換部２０３により復号され、復号特定画像ＦＤ１として加算部２０４による処理が施されず、第１蓄積部２０５に格納される（図５のａ）。さらに、復号特定画像ＦＤ１は第２蓄積部２０６にも格納される（図５のｂ）。

符号化データＰ２に対して画像間復号を行う際には、復号対象画像である符号化データＰ２に対して、第２蓄積部２０６に格納されている復号特定画像ＦＤ１を参照画像として復号が行われる。まず、露出補正部２０７は、可変長復号部２０１により復号された露出補正値、すなわち符号化装置１により符号化データＰ２が生成される際に用いられた露出補正値ΔＥＶ_Ｆ１に基づいて、参照画像である復号特定画像ＦＤ１の露出値を補正して、露出補正参照画像ＦＤ１Ａを生成する（図５のｃ）。予測部２０８は、可変長符号復号部２０１から出力された予測情報、すなわち符号化装置１により符号化データＰ２が生成される際に用いられた予測情報を用いて、露出補正参照画像ＦＤ１Ａから予測画像ＦＤ１Ｂを生成する（図５のｄ）。

上述したように符号化データＰ２は、符号化装置１によって予測誤差画像Ｆ２ａ（図１参照）が符号化されることにより生成されている。したがって、符号化データＰ２は、可変長復号部２０１、逆量子化部２０２および逆直交変換部２０３の処理により、予測誤差画像Ｆ２ａが復号された復号予測誤差画像ＦＤ２ａが生成されて、加算部２０４に入力される（図５のｅ）。加算部２０４は、復号予測誤差画像ＦＤ２ａと、露出補正部２０７により生成された予測画像ＦＤ１Ｂとを加算して、復号画像ＦＤ２を生成する。生成された復号画像ＦＤ２は、第１蓄積部２０５に格納されるとともに（図５のｆ）、第２蓄積部２０６に格納される（図５のｇ）。

符号化データＰ３を復号対象画像として画像間復号を行う際には、第２蓄積部２０６に格納されている復号画像ＦＤ２が参照画像となる。露出補正部２０７は、可変長復号部２０１から出力された露出補正値ΔＥＶ_Ｆ２を用いて復号画像ＦＤ２の露出値を補正して、露出補正参照画像ＦＤ２Ａを生成する（図５のｈ）。予測部２０８は、可変長符号復号部２０１から出力された符号化データＰ３に関する予測情報を用いて、露出補正参照画像ＦＤ２Ａから予測画像ＦＤ２Ｂを生成する（図５のｉ）。

上述したように符号化データＰ３は、符号化装置１によって予測誤差画像Ｆ３ａ（図１参照）が符号化されて生成されている。このため、符号化データＰ３は可変長復号部２０１、逆量子化部２０２および逆直交変換部２０３の処理により、予測誤差画像Ｆ３ａが復号された復号予測誤差画像ＦＤ３ａが出力されて、加算部２０４に入力される（図５のｊ）。加算部２０４は、復号予測誤差画像ＦＤ３ａと、露出補正部２０７により生成された予測画像ＦＤ２Ｂとを加算して、復号画像ＦＤ３を生成する。生成された復号画像ＦＤ３は、第１蓄積部２０５に格納されるとともに（図５のｋ）、第２蓄積部２０６に格納される（図５のｌ）。以後、上記の処理を繰り返し行うことにより、復号画像ＦＤ３を用いて復号画像ＦＤ４が生成され、復号画像ＦＤ４を用いてＦＤ５が生成される。

図６に示すフローチャートを参照しながら、復号装置２の処理について説明する。図６に示す処理は制御部２００でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部２００により起動され、実行される。
ステップＳ２０１においては、複数の符号化データのうち特定画像に対応する符号化データを画像内復号により復号させてステップＳ２０２へ進む。ステップＳ２０２では、復号対象画像の補正値と、参照画像の補正値とを用いて、参照画像の露出補正値を算出させてステップＳ２０３へ進む。

ステップＳ２０３においては、算出された露出補正値を用いて参照画像の露出値を補正して露出補正参照画像を生成させてステップＳ２０４へ進む。ステップＳ２０４では、復号対象画像を、露出補正参照画像を用いて画像間復号を行わせることにより復号画像を生成させてステップＳ２０５へ進む。ステップＳ２０５においては、全ての符号化データに対して復号画像が生成されたか否かを判定する。全ての符号化データから復号画像が生成された場合には、ステップＳ２０５が肯定判定されて処理を終了する。未処理の符号化データが存在する場合には、ステップＳ２０５が否定判定されてステップＳ２０２へ戻る。

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）符号化装置１は、連続撮影により露出値が異なる複数の符号化対象画像のうちの特定画像に対して画像内符号化を行う直交変換部１０３および量子化部１０４と、符号化対象画像と参照画像との間で画像間符号化を行う減算部１０２、直交変換部１０３および量子化部１０４と、参照画像の露出値を補正して符号化対象画像の露出値と一致させる露出補正部１１１とを備える。露出補正部１１１は、画像間符号化に先だって、参照画像の露出値を補正する。そして、画像間符号化は、特定画像とは異なる符号化対象画像に対して、特定画像を参照画像として用いて、または画像間符号化された画像の局部復号画像を参照画像として用いて行われる。したがって、露出値が異なる複数の画像間で生じる明るさの不一致を解消して符号化を行うので、符号化により生じるデータ量を減少させ効率よく画像間符号化を行うことができる。

（２）可変長符号化部１０５は、参照画像の露出補正値に関する情報を符号化する。したがって、復号装置２が復号を行う際に、参照画像の露出補正値に関する情報を参照することによって、露出値が正しく復号された復号画像を生成することができる。

（３）復号装置２は、連続撮影により露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうち、特定画像が符号化された符号化データに対して画像内復号を行う逆量子化部２０２および逆直交変換部２０３と、符号化データと参照画像との間で画像間復号を行う逆量子化部２０２、逆直交変換部２０３および加算部２０４と、参照画像の露出値を補正して符号化データの露出値と一致させる露出補正部２０７とを備える。露出補正部２０７は、画像間復号に先だって、参照画像の露出値を補正する。そして、画像間復号は、特定画像が符号化された符号化データとは異なる符号化データに対して、特定画像が復号された特定復号画像を参照画像として用いて、または画像間復号により復号された画像を参照画像として用いて行われる。したがって、露出値が補正されて符号化された符号化データを参照画像とする場合であっても、復号画像の露出値を正しく再現することができる。

上述した実施の形態においては、露出補正部１１１は、ガンマ補正適用ＲＧＢ形式の参照画像を符号化する場合を一例として説明したが、他の形式の参照画像を符号化する場合についても本発明の一態様に含まれる。
図７は、ガンマ補正適用ＹＵＶ形式の参照画像を補正する場合における露出補正部１１１の機能を示すブロック図である。露出補正部１１１は、ＹＵＶ／ＲＧＢ変換部１１１４と、ＲＧＢ露出補正部１１１５と、ＲＧＢ／ＹＵＶ変換部１１１６とを機能として備える。ＹＵＶ／ＲＧＢ変換部１１１４は、第２蓄積部１０９から入力した参照画像のＹＵＶ成分をＲＧＢ成分に変換して、ＲＧＢ形式の参照画像を生成する。

ＲＧＢ露出補正部１１１５は、図２に示す露出補正部１１１が有する機能である、ＲＧＢガンマ補正逆変換部１１１１とＲＧＢレベル補正部１１１２とＲＧＢガンマ補正変換部１１１３とを有する。ＲＧＢ露出補正部１１１５は、ＹＵＶ／ＲＧＢ変換部１１１４から入力したＲＧＢ形式の参照画像に対して、図２を用いて説明した処理と同様の処理を行うことにより、ＲＧＢ形式の露出補正参照画像を生成する。ＲＧＢ／ＹＵＶ変換部１１１６は、ＲＧＢ露出補正部１１１５により生成されたＲＧＢ形式の露出補正参照画像のＲＧＢ成分をＹＵＶ成分に変換して、ＹＵＶ形式の参照画像を生成する。この結果、符号化対象画像がガンマ補正適用ＹＵＶ形式の場合であっても、符号化対象画像および参照画像の露出値に応じて、画像間符号化に適した露出補正参照画像を生成することが可能となる。

さらに、露出補正部１１１がガンマ補正適用ＹＵＶ形式の参照画像の輝度成分のみに補正を行う場合についても本発明の一態様に含まれる。
図８は、ガンマ補正適用ＹＵＶ形式の参照画像の輝度成分のみを補正する場合における露出補正部１１１の機能を示すブロック図である。露出補正部１１１は、輝度ガンマ補正逆変換部１１１７と、輝度レベル補正部１１１８と、輝度ガンマ補正変換部１１１９とを機能として備える。輝度ガンマ補正逆変換部１１１７は、第２蓄積部１０９に格納された参照画像の輝度成分についてガンマ補正逆変換して、輝度成分のみがリニアに変換された参照画像を生成する。この場合、輝度ガンマ補正逆変換部１１１７は、たとえばγ＝２．２に対応するガンマ補正カーブが適用されている参照画像に対しては、輝度成分のサンプル値（画素値）をγ＝１／２．２に対応するガンマ補正カーブを適用することで輝度成分のみがリニアに変換された参照画像を生成する。

輝度レベル補正部１１１８は、輝度ガンマ補正逆変換部１１１７により生成された輝度成分のみがリニアな参照画像に対して、上述した補正値算出部１１０にて算出された露出補正値に基づいて輝度成分のみ補正し、輝度成分のみが補正された露出補正リニア参照画像を生成する。この場合、輝度ベル補正部１１１８は、たとえば露出補正値がｎＥＶであれば、輝度成分のみがリニアな参照画像の輝度成分のサンプル値（画素値）を２^-ｎ倍することにより、輝度成分のみが補正された露出補正リニア参照画像を生成する。輝度ガンマ補正変換部１１１９は、輝度レベル補正部１１１８により生成された輝度成分のみが補正された露出補正リニア参照画像に対してガンマ補正変換を施して、露出補正参照画像を生成する。この場合、輝度ガンマ補正変換部１１１９は、たとえばγ＝２．２のガンマカーブが適用されている参照画像に対しては、輝度成分のみが補正された露出補正リニア参照画像の輝度成分のサンプル値（画素値）をγ＝２．２に対応するガンマ補正カーブを適用することで露出補正参照画像を生成する。この結果、符号化対象画像がガンマ補正適用ＹＵＶ形式の場合であっても、符号化対象画像および参照画像の露出値に応じて、画像間符号化に適した露出補正参照画像を生成することが可能となるとともに、図７に示す構成と比べて、ＲＧＢ形式とＹＵＶ形式との間で変換を行う際の演算を削減して、処理負荷を低減させることができる。

−第２の実施の形態−
本発明の第２の実施の形態による符号化装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、符号化の際の参照画像を直前に符号化された画像を常に用いるものではない点が第１の実施の形態とは異なる。

図９および図１０を参照しながら符号化装置１により生成される符号化データについて説明する。図９（ａ）は、図３（ａ）と同様に、自動露出により露出値ＥＶｒｅｆを基準として、±２ＥＶの範囲で１ＥＶずつ露出値を変化させながら、撮影間隔ａ秒にて連続撮影された画像Ｆ１〜Ｆ５を模式的に示した例である。図９（ｂ）は画像Ｆ１〜Ｆ５を符号化することにより生成される符号化データを模式的に示した例である。符号化データＩ３は、画像Ｆ３を特定画像として画像内符号化することにより生成される。符号化データＰ２、Ｐ４は、画像Ｆ３を参照画像としてそれぞれ画像間符号化される。符号化データＰ１、Ｐ５は、画像Ｆ２、Ｆ４との間でそれぞれ画像間符号化することにより生成される。

図１０は、本実施の形態による符号化装置１の要部構成と、符号化の際に生成される各種の画像との関係を模式的に示す図である。なお、本実施の形態による符号化装置１の要部構成は、第１の実施の形態による符号化装置１の要部構成と同一である。また、図１０においても、符号化装置１の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

本実施の形態においては、特定画像である画像Ｆ３の画像内符号化が他の画像Ｆ１、Ｆ２、Ｆ４、Ｆ５の画像間符号化に先行して行われる。この場合、第１蓄積部１０１に格納された画像Ｆ１〜Ｆ５の中から、減算部１０２は画像Ｆ３をそのまま出力し（図１０のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ３が出力される（図１０のｂ）。また、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施された特定画像は、復号特定画像Ｆ３ａとして加算部１０８による処理を施されることなく、第２蓄積部１０９に格納される（図１０のｃ）。

図９（ｂ）に示すように、画像Ｆ２は、画像Ｆ３を参照画像として画像間符号化が行われる。この場合、画像Ｆ２は、画像Ｆ２の露出値と一致するように露出値が補正された画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ２に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ２が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像となる。まず、補正値算出部１１０は、復号特定画像Ｆ３ａ、すなわち画像Ｆ３の露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、露出補正値ΔＥＶ_Ｆ３（＝ＥＶ２−ＥＶ３＝−１）を算出する。露出補正部１１１は、復号特定画像Ｆ３ａの露出値を、補正値算出部１１０により算出された露出補正値ΔＥＶ_Ｆ３を用いて補正して露出補正参照画像Ｆ３ｂを生成する（図１０のｄ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ３ｂ上の動きを符号化対象画像である画像Ｆ２に適合させた予測画像Ｆ３ｃを生成する（図１０のｅ）。

減算部１０２は、符号化対象画像（すなわち画像Ｆ２）から画像間予測部１１３により生成された予測画像Ｆ３ｃを減算して、予測誤差画像Ｆ２ａを生成する（図１０のｆ）。予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１０のｇ）。また、予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施され、復号予測誤差画像Ｆ２ｂとして加算部１０８に出力される（図１０のｈ）。加算部１０８は、復号予測誤差画像Ｆ２ｂと、予測画像Ｆ３ｃとを加算して復号予測画像Ｆ２ｃを生成し、第２蓄積部１０９に格納する（図１０のｉ）。この場合、第２蓄積部１０９に既に格納されている復号特定画像Ｆ３ａは、そのまま格納され続ける。なお、復号特定画像Ｆ３ａを第２蓄積部１０９から削除する場合についても本発明の一態様に含まれる。

図９（ｂ）に示すように、画像Ｆ１は画像Ｆ２との間で画像間符号化が行われる。この場合、画像Ｆ１は、画像Ｆ１の露出値と一致するように露出値が補正された画像Ｆ２との間で画像間符号化が行われる。画像Ｆ１に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ１が符号化対象画像、第２蓄積部１０９内の復号予測画像Ｆ２ｃが参照画像となる。補正値算出部１１０は、復号予測誤差画像Ｆ２ｃ、すなわち画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）と、画像Ｆ１の露出値ＥＶ１（＝ＥＶｒｅｆ−２）とを用いて、露出補正値ΔＥＶ_Ｆ２（＝ＥＶ１−ＥＶ２＝−１）を算出する。露出補正部１１１は、復号予測画像Ｆ２ｃの露出値を、露出補正値ΔＥＶ_Ｆ１を用いて補正して露出補正参照画像Ｆ２ｄを生成する（図１０のｊ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ２ｄ上の動きを画像Ｆ１に適合させた予測画像Ｆ２ｅを生成する（図１０のｋ）。減算部１０２は、符号化対象画像（すなわち画像Ｆ１）から予測画像Ｆ２ｅを減算して、予測誤差画像Ｆ１ａを生成する（図１０のｌ）。予測誤差画像Ｆ１ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ１として出力される（図１０のｍ）。

図９（ｂ）に示すように、画像Ｆ４は画像Ｆ３との間で画像間符号化が行われる。この場合、画像Ｆ４は、画像Ｆ４の露出値と一致する露出値となるように補正された画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ４に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ４が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像となる。なお、復号予測誤差画像Ｆ２ｃが第２蓄積部１０９に格納される時点で復号特定画像Ｆ３ａが削除された場合には、画像Ｆ３に対して画像内符号化を行った場合と同様の処理を行って復号特定画像Ｆ３ａを再度生成して、第２蓄積部１０９に格納すればよい。

画像Ｆ４に対しては、画像Ｆ２に対して画像間符号化を行った場合と同様にして、参照画像（すなわち画像Ｆ３）との間で画像間符号化を行う。この場合、補正値算出部１１０は、復号特定画像Ｆ３ａの露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ４の露出値ＥＶ４（＝ＥＶｒｅｆ＋１）とを用いて、復号特定画像Ｆ３ａの露出補正値ΔＥＶ_Ｆ３（＝ＥＶ４−ＥＶ３＝１）を算出する。以後、画像Ｆ２に対して画像Ｆ３を参照画像として画像間符号化を行った場合と同様の処理を行うことにより、符号化データＰ４を生成して出力するとともに、第２蓄積部１０９に格納する。

画像Ｆ５に対しては、画像Ｆ１に対して画像間符号化を行った場合と同様にして、参照画像である画像Ｆ４との間で画像間符号化を行う。補正値算出部１１０は、画像Ｆ４の露出値ＥＶ４（＝ＥＶｒｅｆ＋１）と、画像Ｆ５の露出値ＥＶ５（＝ＥＶｒｅｆ＋２）とを用いて、露出補正値ΔＥＶ_Ｆ４（＝ＥＶ５−ＥＶ４＝１）を算出する。以後、画像Ｆ１に対して画像Ｆ２を参照画像として画像間符号化を行った場合と同様の処理を行うことにより、符号化データＰ５を生成して出力する。

上述した第２の実施の形態による符号化装置によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。
なお、第２の実施の形態による符号化装置１により生成された符号化データを復号する場合であっても、復号装置２は第１の実施の形態の場合と同様の処理を行うことにより復号画像を生成することができる。

−第３の実施の形態−
本発明の第３の実施の形態による符号化装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、特定画像のみを符号化の際の参照画像として用いる点が第１の実施の形態とは異なる。

図１１および図１２を参照しながら符号化装置１により生成される符号化データについて説明する。図１１（ａ）は、図３（ａ）と同様に、自動露出により露出値ＥＶｒｅｆを基準として、±２ＥＶの範囲で１ＥＶずつ露出値を変化させながら、撮影間隔ａ秒にて連続撮影された画像Ｆ１〜Ｆ５を模式的に示した例である。図１１（ｂ）は画像Ｆ１〜Ｆ５を符号化することにより生成される符号化データを模式的に示した例である。符号化データＩ３は、特定画像である画像Ｆ３を画像内符号化することにより生成される。符号化データＰ１、Ｐ２、Ｐ４、Ｐ５は、画像Ｆ３を参照画像として画像Ｆ１、Ｆ２、Ｆ４、Ｆ５をそれぞれ画像間符号化することにより生成される。

図１２は、本実施の形態による符号化装置１の要部構成と、符号化の際に生成される各種の画像との関係を模式的に示す図である。なお、本実施の形態による符号化装置１の要部構成は、第１の実施の形態による符号化装置１の要部構成と同一である。なお、図示の都合上、制御部１００から各部への信号出力を省略して示す。また、図１２においては、符号化装置１の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

本実施の形態においては、画像Ｆ３の画像内符号化が他の画像Ｆ１、Ｆ２、Ｆ４、Ｆ５の画像間符号化に先行して行われる。第１蓄積部１０１に格納された画像Ｆ１〜Ｆ５の中から、減算部１０２は特定画像である画像Ｆ３をそのまま出力し（図１２のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ３として出力される（図１２のｂ）。また、画像Ｆ３は、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて復号特定画像Ｆ３ａが生成され、加算部１０８による処理を施されることなく、第２蓄積部１０９に格納される（図１２のｃ）。

図１１（ｂ）に示すように、画像Ｆ１は画像Ｆ３との間で画像間符号化が行われる。画像Ｆ１は、画像Ｆ１の露出値と一致するように露出値が補正された画像Ｆ３との間で画像間符号化が行われる。この場合、第１蓄積部１０１に格納されている画像Ｆ１が符号化対象画像、第２蓄積部１０９に格納されている復号特定画像Ｆ３ａが参照画像となる。まず、補正値算出部１１０は、復号特定画像Ｆ３ａの露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ１の露出値ＥＶ１（＝ＥＶｒｅｆ−２）とを用いて、復号特定画像Ｆ３ａの露出補正値ΔＥＶ_Ｆ３（＝ＥＶ１−ＥＶ３＝−２）を算出する。露出補正部１１１は、第２蓄積部１０９内の復号特定画像Ｆ３ａの露出値を露出補正値ΔＥＶ_Ｆ３を用いて補正して、露出補正参照画像Ｆ３ｂを生成する（図１２のｄ）。画像間予測部１１３は、予測情報を用いて、露出補正参照画像Ｆ３ｂ上の動きを画像Ｆ１に適合させた予測画像Ｆ３ｃを生成する（図１２のｅ）。減算部１０２は、符号化対象画像（すなわち画像Ｆ１）から予測画像Ｆ３ｃを減算して予測誤差画像Ｆ１ａを生成する（図１２のｆ）。予測誤差画像Ｆ１ａは直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ１として出力される（図１２のｇ）。

図１１（ｂ）に示すように、画像Ｆ２は画像Ｆ３との間で画像間符号化が行われる。画像Ｆ２は、画像Ｆ２の露出値と一致するように露出値が補正された画像Ｆ３との間で、画像間符号化が行われる。この場合、第１蓄積部１０１内の画像Ｆ２が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ３ａ（図１２のｃ）が参照画像となる。補正値算出部１１０は、復号特定画像Ｆ３ａの露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、露出補正値ΔＥＶ_Ｆ３（＝ＥＶ２−ＥＶ３＝−１）を算出する。露出補正部１１１は、第２蓄積部１０９内の復号特定画Ｆ３ａの露出値を露出補正値ΔＥＶ_Ｆ３を用いて補正して、露出補正参照画像Ｆ３ｄを生成する（図１２のｈ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ３ｄ上の動きを符号化対象画像である画像Ｆ２に適合させた予測画像Ｆ３ｅを生成する（図１２のｉ）。減算部１０２は、符号化対象画像（すなわち画像Ｆ２）から予測画像Ｆ３ｅを減算して、予測誤差画像Ｆ２ａを生成する（図１２のｊ）。予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１２のｋ）。

以後、同様の処理を行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、図１１（ｂ）に示すように、画像Ｆ４は画像Ｆ３を参照画像として、画像Ｆ４の露出値と一致するように露出値が補正された画像Ｆ３との間で画像間符号化が行われる。画像Ｆ５は、画像Ｆ３を参照画像として、画像Ｆ５の露出値と一致するように露出値が補正された画像Ｆ３との間で画像間符号化が行われる。この結果、図１１（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が−２ＥＶ〜＋２ＥＶの間で順次補正された画像Ｆ３との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。

上述した第３の実施の形態による符号化装置によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。
なお、第３の実施の形態による符号化装置１により生成された符号化データを復号する場合であっても、復号装置２は第１の実施の形態の場合と同様の処理を行うことにより復号画像を生成することができる。

−第４の実施の形態−
本発明の第４の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、符号化装置は、符号化対象画像の露出値を補正した後、参照画像との間で画像間符号化を行う点が第１の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置の構成についても第１の実施の形態と異なる。

−−符号化装置−−
図１３は、第４の実施の形態における符号化装置４の構成を示すブロック図である。符号化装置４は、第１の実施の形態による符号化装置１が備える構成に加えて、露出補正逆変換部１１５を備える。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置４の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

露出補正部１１１は、補正値算出部１１０により算出された露出補正値を用いて符号化対象画像の露出を補正して、露出補正符号化対象画像を生成し、出力する。この場合、露出補正部１１１は、符号化対象画像の各画素値に露出補正値に応じた値を乗じることにより露出補正符号化対象画像を生成する。なお、特定画像に対して画像内符号化を行う場合には、露出補正部１１１は、露出値を補正することなくそのまま出力する。また、補正値算出部１１０は、第１の実施の形態と同様にして露出補正値を算出する。

減算部１０２は、露出補正部１１１により生成された露出補正符号化対象画像に対して画像間符号化を行う場合に、画像間予測部１１３から出力される予測画像を露出補正符号化対象画像から減算して予測誤差画像を生成する。なお、減算部１０２は、特定画像に対しては処理を施さず、そのまま出力する。加算部１０８は、第１の実施の形態の場合と同様にして、符号化対象画像に対して画像間符号化を行う場合には復号予測画像を生成し、画像内符号化を行う場合には復号特定画像をそのまま出力する。

露出補正逆変換部１１５は、露出値算出部１１０により算出された露出補正値を用いて、加算部１０８から出力された復号予測画像の露出値を補正して、露出変換復号予測画像を生成する。すなわち、露出補正逆変換部１１５は、露出補正部１１１による補正が施された復号予測画像の露出値を、復号予測画像に対応する符号化対象画像が露出補正部１１１による補正を受ける前の露出値に戻す逆変換処理を行う。たとえば、露出補正部１１１により符号化対象画像の露出値が＋１ＥＶ補正された場合には、露出補正逆変換部１１５は、対応する復号予測画像の露出値を−１ＥＶ補正する。露出値に逆変換処理が施された復号予測画像は、参照画像として第２蓄積部１０９に一時的に格納される。予測制御情報生成部１１２は、参照画像を用いて、参照画像に対する露出補正符号化対象画像の差異を予測するための、たとえば動きベクトル等の予測情報を生成する。他の構成については、第１の実施の形態と同様の処理を行う。

図１３および図１７を参照しながら符号化装置４により生成される符号化データについて説明する。なお、本実施の形態においても、第１の実施の形態の場合と同様に、図１７（ａ）に示す符号化対象画像である画像Ｆ１〜Ｆ５のうち、画像Ｆ１を特定画像として画像内符号化を行い、画像Ｆ２〜Ｆ５に対して画像間符号化を行うことにより、図１７（ｂ）に示すように符号化データＩ１、Ｐ２〜Ｐ５が生成される場合を一例として説明する。

第１蓄積部１０１内の複数の画像Ｆ１〜Ｆ５のうち、特定画像である画像Ｆ１が他の画像Ｆ２〜Ｆ５に先行して可変長符号化部１０５により画像内符号化される。この場合、上述したように、露出補正部１１１および減算部１０２は画像Ｆ１に処理を施すことなく、そのまま出力し（図１３のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ１として出力される（図１３のｂ）。また、画像Ｆ１は、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて復号特定画像Ｆ１ａが生成され、加算部１０８および露出補正逆変換部１１５による処理を施されることなく、第２蓄積部１０９に格納される（図１３のｃ）。

図１７（ｂ）に示す画像Ｆ２は画像Ｆ１との間で画像間符号化が行われる。画像Ｆ２は、画像Ｆ１の露出値と一致するように露出値が補正された後、画像間符号化が行われる。この場合、第１蓄積部１０１内の画像Ｆ２が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ１ａが参照画像となる。補正値算出部１１０は、復号特定画像Ｆ１ａの露出値ＥＶ１（＝ＥＶｒｅｆ−２）と、画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、画像Ｆ２の露出補正値ΔＥＶ_Ｆ２（＝ＥＶ１−ＥＶ２＝−１）を算出する。露出補正部１１１は、画像Ｆ２の露出値を露出補正値ΔＥＶ_Ｆ２を用いて補正して、露出補正符号化対象画像Ｆ２ａを生成する（図１３のｄ）。画像間予測部１１３は、予測情報を用いて、画像Ｆ１ａ上の動きを露出補正符号化対象画像Ｆ２ａに適合させた予測画像Ｆ１ｂを生成する（図１３のｅ）。

減算部１０２は、露出補正符号化対象画像Ｆ２ａから予測画像Ｆ１ｂを減算して、予測誤差画像Ｆ２ｂを生成する（図１３のｆ）。予測誤差画像Ｆ２ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１３のｇ）。また、予測誤差画像Ｆ２ｂは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて、復号予測誤差画像Ｆ２ｃとして加算部１０８に出力される（図１３のｈ）。加算部１０８は、復号予測誤差画像Ｆ２ｃと、画像間予測部１１３により生成された予測画像Ｆ１ｂとを加算して、復号予測画像Ｆ２ｄを生成する（図１３のｉ）。露出補正逆変換部１１５は、復号予測画像Ｆ２ｄの露出値に対して上述した逆変換処理を施して露出変換復号予測画像Ｆ２ｅを生成し、参照画像として第２蓄積部１０９に格納する（図１３のｊ）。

図１７（ｂ）に示すように、画像Ｆ３は画像Ｆ２との間で画像間符号化が行われる。画像Ｆ３は、画像Ｆ２の露出値と一致するように露出値が補正された後、画像間符号化が行われる。この場合、第１蓄積部１０１内の画像Ｆ３が符号化対象画像、第２蓄積部１０９内の露出変換復号予測誤差画像Ｆ２ｅが参照画像となる。補正値算出部１１０は、露出変換復号予測誤差画像Ｆ２ｅの露出値ＥＶ２（＝ＥＶｒｅｆ−１）と、画像Ｆ３の露出値ＥＶ３（＝ＥＶｒｅｆ）とを用いて、露出補正値ΔＥＶ_Ｆ３（＝ＥＶ２−ＥＶ３＝−１）を算出する。露出補正部１１１は、画像Ｆ３の露出値を露出補正値ΔＥＶ_Ｆ３を用いて補正して、露出補正符号化対象画像Ｆ３ａを生成する（図１３のｋ）。画像間予測部１１３は、予測情報を用いて、参照画像上の動きを露出補正符号化対象画像Ｆ３ａに適合させた予測画像Ｆ２ｆを生成する（図１３のｌ）。

減算部１０２は、露出補正符号化対象画像Ｆ３ａから予測画像Ｆ２ｆを減算して、予測誤差画像Ｆ３ｂを生成する（図１３のｍ）。予測誤差画像Ｆ３ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ３として出力される（図１３のｎ）。また、予測誤差画像Ｆ３ｂには直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて復号予測誤差画像Ｆ３ｃが生成され、加算部１０８に出力される（図１３のｏ）。加算部１０８は、復号予測誤差画像Ｆ３ｃと予測画像Ｆ２ｆとを加算して、復号予測画像Ｆ３ｄを生成する（図１３のｐ）。露出補正逆変換部１１５は、復号予測画像Ｆ３ｄの露出値に対して上述した逆変換処理を施した露出変換復号予測画像Ｆ３ｅを生成し、第２蓄積部１０９に格納する（図１３のｑ）。

以後、上記の処理を繰り返し行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、図１７（ｂ）に示すように、画像Ｆ４は、画像Ｆ３を参照画像とし、画像Ｆ４の露出値を補正して画像Ｆ３の露出値と一致させた後、画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ５は画像Ｆ４を参照画像とし、画像Ｆ４の露出値を補正して画像Ｆ４の露出値と一致させた後、画像間符号化が行われる。この結果、図１７（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が−１ＥＶだけ補正された後、直前の画像との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。

−−復号装置−−
次に、上述した符号化装置４により出力された符号化データを復号して、画像を出力する復号装置５について説明する。
図１４は、本実施の形態による復号装置５の構成を示すブロック図である。復号装置５は、第１の実施の形態における復号装置２が備える露出補正部２０７に代えて、露出補正逆変換部２１０を備える。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、復号装置５の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

可変長符号復号部２０１は、各符号化データに含まれる露出補正値については、露出補正逆変換部２１０に出力する。加算部２０４は、復号対象画像を画像間復号する際には、逆直交変換部２０３によって復号された復号予測誤差画像と、予測部２０８から出力された予測画像とを加算して、露出変換前復号画像を生成する。復号対象画像を画像内復号する際には、加算部２０４は逆直交変換部２０３から出力された復号特定画像をそのまま出力する。

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を用いて、加算部２０４によって生成された露出変換前復号画像の露出値を補正する。露出補正逆変換部２１０は、符号化装置４の露出補正部１１１によって符号化対象画像の露出値が補正を受ける前の露出値に戻す逆変換処理を行って、復号画像として第１蓄積部２０５および第２蓄積部２０６へ出力する。たとえば、露出補正部１１１により符号化対象画像の露出値が＋１ＥＶ補正された場合には、露出補正逆変換部２１０は、対応する露出変換前復号画像の露出値を−１ＥＶ補正する。なお、露出補正逆変換部２１０は、復号特定画像に対しては露出値の逆変換処理を行わずに、第１蓄積部２０５および第２蓄積部２０６へ出力する。他の構成については、第１の実施の形態と同様の処理を行う。

図１４を参照しながら復号装置５により復号され、生成される復号画像について説明する。なお、図１４においては、上述した符号化装置４により図１７に示す形態にて出力された符号化データＩ１、Ｐ２〜Ｐ５が順次入力される場合を例として示す。本実施の形態では、符号化データＩ１に対して画像内復号を行い、符号化データＰ２〜Ｐ５に対して画像間復号を行うことにより、復号画像ＦＤ１〜ＦＤ５が生成される。上述したように符号化データＩ１は、特定画像が符号化装置１により符号化されているので、符号化データＩ１は逆量子化部２０２および逆直交変換部２０３により復号され、復号特定画像ＦＤ１として加算部２０４および露出補正逆変換部２１０による処理が施されず、第１蓄積部２０５に格納される（図１４のａ）。さらに、復号特定画像ＦＤ１は第２蓄積部２０６にも格納される（図１４のｂ）。

復号対象画像が符号化データＰ２の場合には、第２蓄積部２０６内の復号特定画像ＦＤ１を参照画像として、画像間復号が行われる。予測部２０８は、可変長符号復号部２０１から出力された符号化データＰ２に関する予測情報を用いて、復号特定画像ＦＤ１から予測画像ＦＤ１ａを生成する（図１４のｃ）。符号化データＰ２は、符号化装置４によって予測誤差画像Ｆ２ａ（図１３参照）が符号化されて生成されているので、逆量子化部２０２および逆直交変換部２０３により復号されて復号予測誤差画像ＦＤ２ａが生成され、加算部２０４に入力される（図１４のｄ）。加算部２０４は、復号予測誤差画像ＦＤ２ａと画像間予測部１１３により生成された予測画像ＦＤ１ａとを加算して、露出変換前復号画像ＦＤ２ｂを生成する（図１４のｅ）。

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を用いて、露出変換前復号画像ＦＤ２ｂの露出値を画像Ｆ２の露出値ＥＶ２となるように逆変換処理を行って、復号画像ＦＤ２を生成する。生成された復号画像ＦＤ２は第１蓄積部２０５に格納される（図１４のｆ）とともに、第２蓄積部２０６に格納される（図１４のｇ）。

復号対象画像が符号化データＰ３の場合には、符号化データＰ３は、第２蓄積部２０６内の復号画像ＦＤ２を参照画像として、画像間復号が行われる。予測部２０８は、符号化データＰ３に関する予測情報を用いて復号画像ＦＤ２から予測画像ＦＤ２ｃを生成する（図１４のｈ）。符号化データＰ３は逆量子化部２０２および逆直交変換部２０３により復号されて復号予測誤差画像ＦＤ３ａが生成され、加算部２０４に入力される（図１４のｉ）。加算部２０４は、復号予測誤差画像ＦＤ３ａと予測画像ＦＤ２ｃとを加算して、露出変換前復号画像ＦＤ３ｂを生成する（図１４のｊ）。

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を参照して、露出変換前復号画像ＦＤ３ｂの露出値を画像Ｆ３の露出値ＥＶ３となるように逆変換処理を行って、復号画像ＦＤ３を生成する。生成された復号画像ＦＤ３は第１蓄積部２０５に格納される（図１４のｋ）とともに、第２蓄積部２０６に格納される（図１４のｌ）。以後、上記の処理を繰り返し行うことにより、復号画像ＦＤ４、ＦＤ５を生成して、第１蓄積部２０５に格納する。

上述した第４の実施の形態による符号化装置４および復号装置５によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。すなわち、参照画像の露出値と符号化対象画像の露出値とが異なる場合には、符号化対象画像の露出値を補正した後、画像間符号化することにより、異なる露出値の画像間で生じる明るさの不一致を解消し、符号化データのデータ量を抑制することができる。

なお、符号化装置４による符号化データの生成は上述した内容による方法を用いるものに限定されず、第２の実施の形態における符号化装置１が行う符号化データの生成方法や、第３の実施の形態にける符号化装置１が行う符号化データの生成方法を用いるものについても、本発明の一態様に含まれる。図１８に、第２の実施の形態における符号化装置１が行う符号化データの生成方法を用いる場合に生成される符号化データと、符号化される前の画像との関係を模式的に示す。すなわち、画像Ｆ３が特定画像として画像内符号化、画像Ｆ２と画像Ｆ４が画像Ｆ３を参照画像として画像間符号化、画像Ｆ１が画像Ｆ２を参照画像として、また画像Ｆ５が画像Ｆ４を参照画像として画像間符号化される。この場合、図１８に示すように、符号化対象画像の露出値を補正により参照画像に一致させた後、符号化が行われる。図１９に、第３の実施の形態における符号化装置１が行う符号化データの生成方法を用いる場合に生成される符号化データと、符号化される前の画像との関係を模式的に示す。すなわち、画像Ｆ３が特定画像として画像内符号化、画像Ｆ１、画像Ｆ２、画像Ｆ４および画像Ｆ５が画像Ｆ３を参照画像として画像間符号化される。図１９に示すように、符号化対象画像の露値を補正した参照画像の補正値と一致させた後、符号化が行われる。

−第５の実施の形態−
本発明の第５の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第３の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第３の実施の形態と同じである。本実施の形態では、符号化装置は、特定画像を他の全ての符号化対象画像を符号化する際の参照画像として用い、符号化対象画像の露出値を補正した後、参照画像との間で画像間符号化を行う点が第３の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置の構成についても第３の実施の形態と異なる。

−−符号化装置−−
図１５は、第５の実施の形態における符号化装置６の構成を示すブロック図である。符号化装置６は、第１の実施の形態による符号化装置１が備える構成に加えて第３蓄積部１１６をさらに備える。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置６の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

露出補正部１１１は、第４の実施の形態と同様に、符号化対象画像の符号化に先だって、補正値算出部１１０により算出された露出補正値を用いて符号化対象画像の露出を補正して、露出補正符号化対象画像を生成する。なお、露出補正部１１１は、特定画像に対しては露出値を補正しない。補正値算出部１１０は、特定画像の露出値と他の複数の符号化対象画像の露出値とを用いて、各符号化対象画像の露出値を補正するための補正値をそれぞれ算出する。露出補正部１１１により生成された露出補正符号化対象画像は、第３蓄積部１１６に一時的に格納される。他の構成については、第１の実施の形態と同様の処理を行う。

図１５および図１９を参照しながら符号化装置６により生成される符号化データについて説明する。本実施の形態においては、第３の実施の形態の場合と同様に、図１９（ａ）に示す符号化対象画像である画像Ｆ１〜Ｆ５から、図１９（ｂ）に示すように、特定画像である画像Ｆ３に対して画像内符号化を行い、非特定画像である画像Ｆ１、Ｆ２、Ｆ４、Ｆ５に対して画像間符号化を行うことにより、符号化データＩ３、Ｐ１、Ｐ２、Ｐ４、Ｐ５が生成される。

まず、補正値算出部１１０は、非特定画像である画像Ｆ１、Ｆ２、Ｆ４、Ｆ５のそれぞれの露出値と、特定画像である画像Ｆ３の露出値との間で、露出補正値ΔＥＶ_Ｆ３１（＝ＥＶ３−ＥＶ１＝２）、ΔＥＶ_Ｆ３２（＝ＥＶ３−ＥＶ２＝１）、ΔＥＶ_Ｆ３４（＝ＥＶ３−ＥＶ４＝−１）、ΔＥＶ_Ｆ３５（＝ＥＶ３−ＥＶ５＝−２）を算出する。露出補正部１１０は、画像Ｆ１、Ｆ２、Ｆ４、Ｆ５の露出値を、補正値算出部１１０にて算出された露出補正値ΔＥＶ_Ｆ３１、ΔＥＶ_Ｆ３２、ΔＥＶ_Ｆ３４、ΔＥＶ_Ｆ３５を用いてそれぞれ補正して、露出補正画像Ｆ１ａ、Ｆ２ａ、Ｆ４ａ、Ｆ５ａを生成する。第３蓄積部１１６には、露出補正符号化対象画像Ｆ１ａ、Ｆ２ａ、Ｆ４ａ、Ｆ５ａと、特定画像である画像Ｆ３とが格納される（図１５のａ）。

第３蓄積部１１６から、画像Ｆ３が出力され、減算部１０２による処理が行われることなく、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ３が出力される（図１５のｂ）。また、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施された復号特定画像Ｆ３ａは、加算部１０８による処理を施されることなく、第２蓄積部１０９に格納される（図１５のｃ）。

図１９（ｂ）に示す画像Ｆ１は、画像Ｆ３を参照画像として画像間符号化が行われる。この場合、第３蓄積部１１６内の符号化対象画像である露出補正符号化対象画像Ｆ１ａに対して、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像として用いられる。画像間予測部１１３は、予測情報を用いて復号特定画像Ｆ３ａ上の動きを露出補正符号化対象画像Ｆ１ａに適合させた予測画像Ｆ３ｂを生成する（図１５のｄ）。減算部１０２は、露出補正符号化対象画像Ｆ１ａから予測画像Ｆ３ｂを減算して、予測誤差画像Ｆ１ｂを生成する（図１５のｅ）。予測誤差画像Ｆ１ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ１として出力される（図１５のｆ）。

図１９（ｂ）に示す画像Ｆ２は、画像Ｆ３を参照画像として画像間符号化が行われる。この場合、第３蓄積部１１６内の符号化対象画像である露出補正符号化対象画像Ｆ２ａに対して、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像として用いられる。画像Ｆ１に対する画像間符号化の場合と同様に、画像間予測部１１３は、予測情報を用いて、復号特定画像Ｆ３ａ上の動きを露出補正符号化対象画像Ｆ２ａに適合させて予測画像Ｆ３ｃを生成する（図１５のｇ）。減算部１０２は、露出補正符号化対象画像Ｆ２ａから予測画像Ｆ３ｃを減算して、予測誤差画像Ｆ２ｂを生成する（図１５のｈ）。予測誤差画像Ｆ２ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１５のｉ）。

以後、上記の処理を繰り返し行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、画像Ｆ４は、画像Ｆ４の露出値を画像Ｆ４の露出値に一致するように補正された後、画像Ｆ３を参照画像として画像間符号化が行われる。画像Ｆ５は、画像Ｆ５の露出値を画像Ｆ３の露出値に一致するように正された後、画像Ｆ３を参照画像として画像間符号化が行われる。この結果、図１５に示すような従来構造を有する符号化装置６を用いて符号化を行う場合であっても、図１９（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が−２ＥＶ〜＋２ＥＶの間で順次補正された画像Ｆ３との間で画像間符号化が行われて、第３の実施の形態により得られる符号化データと同様の符号化データＰ２〜Ｐ５が出力される。

−−復号装置−−
次に、上述した符号化装置６により出力された符号化データを復号して、画像を出力する復号装置７について説明する。
図１６は、本実施の形態による復号装置７の構成を示すブロック図である。復号装置７は、第１の実施の形態による復号装置２が備える露出補正部２０７に代えて露出補正逆変換部２１０を備え、さらに第３蓄積部２１１を備える。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、図１６においては、復号装置７の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。

本実施の形態の復号装置７は、符号化装置６により生成された符号化データＰ１、Ｐ２、Ｉ３、Ｐ４、Ｐ５に対して画像間復号または画像内復号により復号した後、画像間復号された復号画像の露出値を補正して、符号化前の画像の露出値と一致させる。すなわち、加算部２０４によって復号予測誤差画像と予測部２０８から出力された予測画像とが加算されることにより、画像間復号されて生成された画像（露出補正前復号画像）の露出値が、露出補正逆変換部２１０によって補正される。この場合、露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を用いて、符号化装置６の露出補正部１１１による補正を受ける前の露出値に戻す逆変換処理を行う。たとえば、露出補正部１１１により符号化対象画像の露出値が＋１ＥＶ補正された場合には、露出補正逆変換部２１０は、対応する露出変換前復号対象画像の露出値を−１ＥＶ補正する。なお、露出補正逆変換部２１０は、復号特定画像に対しては露出値の逆変換処理を行わずに第１蓄積部２０５へ出力する。

なお、復号対象画像を画像内復号する際には、加算部２０４は逆直交変換部２０３から出力された復号特定画像をそのまま第２蓄積部２０６および第３蓄積部２１１に出力し、一時的に格納する。第３蓄積部２１１に格納された復号特定画像は、画像間復号を行う復号対象画像の参照画像として用いられる。すなわち、予測部２０８は、可変長符号復号部２０１から出力された予測情報と、第３蓄積部２１１に格納された復号特定画像とを用いて、画像間復号を行う復号対象画像の予測画像を生成する。

図１６を参照しながら復号装置７により復号され、生成される復号画像について説明する。なお、図１６においては、上述した符号化装置６により図１９に示す形態にて出力された符号化データＩ３、Ｐ１、Ｐ２、Ｐ４、Ｐ５が順次入力される場合を例として示す。本実施の形態では、符号化データＩ３に対して画像内復号を行い、符号化データＰ１、Ｐ２、Ｐ４、Ｐ５に対して画像間復号を行うことにより、復号画像ＦＤ１〜ＦＤ５が生成される。符号化データＩ３は、特定画像が符号化装置６により符号化されているので、符号化データＩ３は逆量子化部２０２および逆直交変換部２０３により復号され、復号特定画像ＦＤ３として加算部２０４および露出補正逆変換部２１０による処理が施されることなく、第１蓄積部２０５に格納される（図１６のａ）。さらに、復号特定画像ＦＤ３は第３蓄積部２１１にも格納される（図１６のｂ）。

復号対象画像が符号化データＰ１の場合には、符号化データＰ１に対して、第３蓄積部２１１内の復号特定画像ＦＤ３が参照画像として用いられて画像間復号が行われる。予測部２０８は、符号化データＰ１に関する予測情報を用いて、復号特定画像ＦＤ３から予測画像ＦＤ３ａを生成する（図１６のｃ）。符号化データＰ１は、符号化装置６によって予測誤差画像Ｆ１ａ（図１５参照）が符号化されて生成されているので、逆量子化部２０２および逆直交変換部２０３により復号予測誤差画像ＦＤ１ａが生成され、加算部２０４に入力される（図１６のｄ）。加算部２０４は、復号予測誤差画像ＦＤ１ａと予測画像ＦＤ３ａとを加算して、露出変換前復号画像ＦＤ１ｂを生成する（図１６のｅ）。

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を参照して、露出変換前復号画像ＦＤ１ｂの露出値を、対応する画像Ｆ１の露出値ＥＶ１となるように逆変換処理を行う。逆変換処理が施された画像は復号画像ＦＤ１として第１蓄積部２０５に格納される（図１６のｆ）。

復号対象画像が符号化データＰ２の場合には、符号化データＰ２に対して、第３蓄積部２１１内の復号画像ＦＤ３が参照画像として用いられて画像間復号が行われる。予測部２０８は、符号化データＰ２に関する予測情報を用いて、復号画像ＦＤ３から予測画像ＦＤ３ｂを生成する（図１６のｇ）。符号化データＰ２は、符号化装置６によって予測誤差画像Ｆ２ａ（図１５参照）が符号化されて生成されているので、逆量子化部２０２および逆直交変換部２０３により復号予測誤差画像ＦＤ２ａが生成され、加算部２０４に入力される（図１６のｈ）。加算部２０４は、復号予測誤差画像ＦＤ３ｂと、画像間予測部１１３により生成された予測画像ＦＤ２ａとを加算して、露出変換前復号画像ＦＤ２ｂを生成する（図１６のｉ）。

露出補正逆変換部２１０は、符号化データＰ２に関する露出補正値を参照して、露出変換前復号画像ＦＤ２ｂの露出値を、対応する画像Ｆ２の露出値ＥＶ２となるように逆変換処理を行う。逆変換処理が施された画像は、復号画像ＦＤ２として第１蓄積部２０５に格納される（図１４のｊ）。以後、上記の処理を繰り返し行うことにより、復号画像ＦＤ４、ＦＤ５を生成して、第１蓄積部２０５に格納する。

上述した第５の実施の形態による符号化装置６および復号装置７によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。すなわち、参照画像の露出値と符号化対象画像の露出値とが異なる場合には、符号化対象画像の露出値を補正した後画像間符号化することにより、異なる露出値の画像間で生じる明るさの不一致を解消し、符号化データのデータ量を抑制することができる。さらに、画像間符号化と露出補正とを独立して、すなわち並列的に処理することができるので、従来の符号化方式を用いて符号化を行う符号化装置を用いて、本実施の形態による符号化方法により符号化データを生成することができる。

−第６の実施の形態−
本発明の第６の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第４の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第４の実施の形態と同じである。本実施の形態では、符号化装置は、入力画像を最大露出補正値に応じたゲインでゲイン補正する点が第４の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置は、画像出力時に最大露出補正値に応じたゲインでゲイン逆補正する点が第４の実施の形態と異なる。また、符号化処理と復号処理の内部演算で扱える画像のビット深度を、符号化装置の入力画像や復号装置の出力画像のビット深度に対して、少なくとも露出補正範囲幅に相当するビット数以上拡張する点が第４の実施の形態と異なる。

−−符号化装置−−
図２０は、第６の実施の形態における符号化装置８の構成を示すブロック図である。符号化装置８は、第４の実施の形態による符号化装置４が備える構成に加えて、ゲイン補正部１１７を備える。また、符号化装置８は、入力画像のビット深度に対して少なくとも露出補正範囲幅に応じたビット数分だけ対応ビット深度を拡張する。例えば、入力画像のビット深度が８ｂｉｔ、露出補正範囲幅に応じたビット数分が４ｂｉｔならば、少なくとも１２ｂｉｔの画像を符号化できるように、符号化装置８の対応ビット深度を拡張する。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置８の各構成にて生成されるデータを合わせて模式的に示す。

ゲイン補正部１１７は、入力画像の各サンプル値に、外部から入力する一連の符号化における最大露出補正値に応じたゲイン補正係数値を乗じて、入力画像をゲイン補正して出力する。最大露出補正値ΔＥＶmaxが零、もしくは、負ならゲイン補正係数値は１、最大露出補正値ΔＥＶmaxが正ならゲイン補正係数値は２^ΔＥＶである。例えば、最大露出補正値ΔＥＶmax＝２ならゲイン補正係数値は２^２＝４であり、入力画像の各サンプル値に、ゲイン補正係数値４を乗じて出力する。

なお、可変長符号化部１０５は、第１の実施の形態のように、量子化部１０４から出力された量子化係数、予測制御情報生成部１１２から出力される動きベクトル等の予測制御情報、補正値算出部１１０から出力される露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を可変長符号化することにより、符号化データを出力する。他の構成については、第４の実施の形態と同様の処理を行う。すなわち、ゲイン補正部１１７によってゲイン補正が施された画像に対して符号化データが生成される。その結果、図１７（ｂ）に示すように、画像Ｆ２〜Ｆ３については、露出値が−１ＥＶだけ補正された後、直前の画像との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。

前述したように、符号化装置８は、少なくとも露出補正範囲幅に応じたビット数分だけ対応ビット深度を拡張する。図１７の場合は、露出補正範囲幅は１（＝−１〜０）なので、拡張ビット数は１ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置８は、内部演算で少なくとも９ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまうことを防ぐことができる。

なお、第２の実施の形態の符号化装置１と同様の方法により符号化処理を行うものについても本発明の一態様に含まれる。すなわち、図１８に示すように、画像Ｆ３を特定画像として画像内符号化、画像Ｆ２と画像Ｆ４は画像Ｆ３を参照画像に画像間符号化、画像Ｆ１と画像Ｆ５はそれぞれ画像Ｆ２と画像Ｆ４を参照画像として画像間符号化する。図１８の場合は、露出補正範囲幅は２（＝−１〜１）なので、拡張ビット数は２ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置４は、内部演算で少なくとも１０ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまう、また、符号化対象画像を暗くするような露出補正することで黒つぶれした画像を符号化してしまう、ことを防ぐことができる。

また、第３の実施の形態の符号化装置１と同様の方法により符号化処理を行うものについても本発明の一態様に含まれる。すなわち、図１９に示すように、画像Ｆ３を特定画像として画像内符号化、画像Ｆ１、画像Ｆ２、画像Ｆ４、画像Ｆ５は画像Ｆ３を参照画像として画像間符号化する。図１９の場合は、露出補正範囲幅は４（＝−２〜２）なので、拡張ビット数は４ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置４は、内部演算で少なくとも１２ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまう、また、符号化対象画像を暗くするような露出補正することで黒つぶれした画像を符号化してしまう、ことを防ぐことができる。

−−復号装置−−
次に、上述した符号化装置４により出力された符号化データを復号して、画像を出力する復号装置５について説明する。
図２１は、本実施の形態による復号装置９の構成を示すブロック図である。復号装置５は、第４の実施の形態における復号装置５が備える構成に加えて、ゲイン逆補正部２１２を備える。また、復号装置５は、符号化装置４からの符号化データに含まれる、復号処理の内部演算で必要なビット深度に応じて内部演算できるようを設定する。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、復号装置９の各構成にて生成されるデータを合わせて模式的に示す。

可変長復号部２０１は、第１の実施の形態のように、符号化装置８から出力された、連続撮影された露出値が異なる複数の画像のそれぞれに対応する符号化データを入力し、符号化データのそれぞれに含まれる量子化係数や、動きベクトル等の予測情報、露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を出力する。ゲイン逆補正部２１２は、第１蓄積部２０５からの画像の各サンプル値を、可変長復号部２０１からのゲイン補正で除算して、ゲイン逆補正して出力する。他の構成については、第４の実施の形態と同様の処理を行う。すなわち、符号化装置８のゲイン補正部１１７によってゲイン補正が施された画像に対して符号化処理により生成された符号化データに対して、復号を行った後ゲイン逆補正することによって、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。

上述した第６の実施の形態による符号化装置８および復号装置９によれば、第４の実施の形態により得られた作用効果に加えて、次の作用効果が得られる。すなわち、符号化装置８は、符号化対象画像の最大露出補正値に応じて符号化対象画像のゲイン（増幅率）を補正するゲイン補正部１１７をさらに備え、露出補正部１１１はゲイン補正後の符号化対象画像の露出値を補正するようにした。したがって、これにより、符号化対象画像を明るくするような露出補正をする場合や、号化対象画像を暗くするような露出補正をする場合に、白とびした画像を符号化したり黒つぶれした画像を符号化したりすることを防ぐことができる。さらに、復号装置９は、第１蓄積部２０５からの画像についてゲイン逆補正を施すゲイン逆補正部２１２を備える。したがって、符号化装置８によってゲイン補正が施された符号化データを復号した後にゲイン逆補正をすることにより、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。

−第７の実施の形態−
本発明の第７の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第５の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第５の実施の形態と同じである。本実施の形態では、符号化装置は、入力画像を最大露出補正値に応じたゲインでゲイン補正する点が第５１の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置の構成についても第５の実施の形態と異なる。符号化装置により生成された符号化データを復号する復号装置は、参照画像との間で画像間復号後、復号対象画像の露出値を逆補正する点、画像出力時に最大露出補正値に応じたゲインでゲイン逆補正する点が第３の実施の形態と異なる。また、符号化処理と復号処理の内部演算で扱える画像のビット深度を、符号化装置の入力画像や復号装置の出力画像のビット深度に対して、少なくとも露出補正範囲幅に相当するビット数以上拡張する点が第５の実施の形態と異なる。

−−符号化装置−−
図２２は、第７の実施の形態における符号化装置１０の構成を示すブロック図である。符号化装置１０は、第５の実施の形態による符号化装置６が備える構成に加えて、第６の実施の形態の符号化装置８が有するゲイン補正部１１７をさらに備える。また、符号化装置１０は、入力画像のビット深度に対して少なくとも露出補正範囲幅に応じたビット数分だけ対応ビット深度を拡張する。例えば、入力画像のビット深度が８ｂｉｔ、露出補正範囲幅に応じたビット数分が４ｂｉｔならば、少なくとも１２ｂｉｔの画像を符号化できるように、符号化装置６の対応ビット深度を拡張する。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置１０の各構成にて生成されるデータを合わせて模式的に示す。

ゲイン補正部１１７は、第６の実施の形態にて説明したように、入力画像の各サンプル値に、外部から入力する一連の符号化における最大露出補正値に応じたゲイン補正係数値を乗じて、入力画像をゲイン補正して出力する。最大露出補正値ΔＥＶmaxが零、もしくは、負ならゲイン補正係数値は１、最大露出補正値ΔＥＶmaxが正ならゲイン補正係数値は２ΔＥＶである。例えば、最大露出補正値ΔＥＶmax＝２ならゲイン補正係数値は２２＝４であり、入力画像の各サンプル値に、ゲイン補正係数値４を乗じて出力する。なお、可変長符号化部１０５は、第３の実施の形態のように、量子化部１０４から出力された量子化係数、予測制御情報生成部１１１から出力される動きベクトル等の予測制御情報、補正値算出部１１０から出力される露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を可変長符号化することにより、符号化データを出力する。

他の構成については、第５の実施の形態と同様の処理を行う。すなわち、ゲイン補正部１１７によってゲイン補正が施された画像に対して符号化データが生成される。すなわち、図１９に示すように、画像Ｆ３を特定画像として画像内符号化、画像Ｆ１、画像Ｆ２、画像Ｆ４、画像Ｆ５は画像Ｆ３を参照画像として画像間符号化する。図１９の場合は、露出補正範囲幅は４（＝−２〜２）なので、拡張ビット数は４ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置４は、内部演算で少なくとも１２ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまう、また、符号化対象画像を暗くするような露出補正することで黒つぶれした画像を符号化してしまう、ことを防ぐことができる。

−−復号装置−−
次に、上述した符号化装置１０により出力された符号化データを復号して、画像を出力する復号装置１１について説明する。
図２３は、本実施の形態による復号装置１１の構成を示すブロック図である。復号装置７は、第５の実施の形態による復号装置７が備える構成に加えて、第６の実施の形態による復号装置９が有するゲイン逆補正部２１２を備える。また、復号装置１１は、符号化装置１０からの符号化データに含まれる、復号処理の内部演算で必要なビット深度に応じて内部演算できるようを設定する。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、図２３においては、復号装置１１の各構成にて生成されるデータを合わせて模式的に示す。

可変長復号部２０１は、第１の実施の形態のように、符号化装置６から出力された、連続撮影された露出値が異なる複数の画像のそれぞれに対応する符号化データを入力し、符号化データのそれぞれに含まれる量子化係数や、動きベクトル等の予測情報、露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を出力する。ゲイン逆補正部２１２は、第一蓄積部２０５からの画像の各サンプル値を、可変長復号部２０１からのゲイン補正で除算して、ゲイン逆補正して出力する。他の構成については、第５の実施の形態と同様の処理を行う。すなわち、符号化装置１０のゲイン補正部１１７によってゲイン補正が施された画像に対して符号化処理により生成された符号化データに対して、復号を行った後ゲイン逆補正することによって、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。

上述した第７の実施の形態による符号化装置１０および復号装置１１によれば、第５の実施の形態により得られた作用効果に加えて、次の作用効果が得られる。すなわち、符号化装置１０は、符号化対象画像の最大露出補正値に応じて符号化対象画像のゲイン（増幅率）を補正するゲイン補正部１１７をさらに備え、露出補正部１１１はゲイン補正後の符号化対象画像の露出値を補正するようにした。したがって、これにより、符号化対象画像を明るくするような露出補正をする場合や、号化対象画像を暗くするような露出補正をする場合に、白とびした画像を符号化したり黒つぶれした画像を符号化したりすることを防ぐことができる。さらに、復号装置１１は、第１蓄積部２０５からの画像についてゲイン逆補正を施すゲイン逆補正部２１２を備える。したがって、符号化装置１０によってゲイン補正が施された符号化データを復号した後にゲイン逆補正をすることにより、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）ガンマ補正適用ＲＧＢ形式やガンマ補正適用ＹＵＶ形式の画像を符号化対象画像とするものに限定されず、たとえばＸＹＺ形式や他の形式の画像を符号化対象画像とするものについても本発明の一態様に含まれる。特に、第３の実施の形態にて説明した輝度成分のみについて露出補正を行う場合には、ＮＩＳＣ方式におけるＹＩＱ形式、ＨＳＶ形式、ＨＬＳ形式等の輝度や明るさを表す成分と色を表す成分からなる形式の画像を符号化対象画像としてもよい。たとえばＹＩＱ形式の場合にはＹ成分、ＨＳＶ形式の場合にはＶ成分、ＨＬＳ形式の場合にはＬ成分を補正すれば良い。
さらには、単板の撮像素子を備える撮像装置から出力されるＣＦＡ形式、たとえばＢａｙｅｒ形式の画像を符号化対象画像としてもよい。この場合、たとえば２×２画素のＰＧＧＢ成分を成分ごとに分離して符号化することができる。

（２）可変長符号化部１０５は、参照画像の露出補正値を符号化するものに代えて、各画像の撮影時の露出値を符号化してもよいし、各画像の撮影露光時間、撮影絞り値、撮影露出補正値（以後、撮影条件情報と呼ぶ）を符号化してもよい。この場合、撮影条件情報は、各画像に付加されるヘッダ情報や補助情報、たとえば、ＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１３８１８−２）に従う符号化データ形式ならばピクチャ層ヘッダ領域のユーザデータとして符号化すればよく、ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）に従う符号化データ形式ならばピクチャ層に付随するＳＥＩメッセージとして符号化すればよい。
各画像の撮影条件情報を符号化した場合には、復号装置はこれらの撮影条件情報を用いて、各画像の露出値や参照画像の露出補正値を算出することができる。

（３）本発明の態様は、連続的に撮影された複数の露出値の異なる画像に対する符号化および復号に限定されず、連続的に撮影された複数のＩＳＯ感度の異なる画像に対する符号化および復号についても含まれる。この場合、ＩＳＯ感度に基づいて露出補正値の算出を行えばよい。

（４）本発明の態様は、連続的に撮影された複数の露出地の異なる画像に対する符号化および複合に限定されず、たとえば特開平７−１３１７０４号公報に記載の、複数の撮像素子を用いて異なる露出値で同時に撮影した露出値の異なる複数の画像、に対する符号化および復号についても含まれる。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１、４、６、８、１０…符号化装置、２、５、７、９、１１…復号装置、
１０２…減算部、１０３…直交変換部、１０４…量子化部、
１０５…可変長符号化部、１１０…補正値算出部、１１１…露出補正部、
１１５…露出補正逆変換部、１１７…ゲイン補正部、２０１…可変長復号部、
２０２…逆量子化部、２０３…逆直交変換部、２０７…露出補正部、
２１０…露出補正逆変換部、２１２…ゲイン逆補正部

Claims (28)

1. 露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して画像内符号化を行い第１の符号化済画像を生成する第１符号化手段と、
   前記複数の符号化対象画像のうちの第２の符号化対象画像に対して、前記第１の符号化対象画像の局部復号画像を第１の参照画像として用いて画像間符号化を行い第２の符号化済画像を生成する第２符号化手段と、
   前記第２の符号化対象画像の露出値と、前記第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、
   前記第２符号化手段は、前記補正手段による補正が行われた前記第２の符号化対象画像に対して、または前記補正手段による補正が行われた前記第１の参照画像を用いて前記画像間符号化を行うことを特徴とする画像符号化装置。
2. 請求項１に記載の画像符号化装置において、
   前記第２符号化手段は、前記複数の符号化対象画像のうちの第３の符号化対象画像に対して、前記第２の符号化済画像の局部復号画像を第２の参照画像として用いて前記画像間符号化を行い第３の符号化済画像を生成し、
   前記補正手段は、前記第３の符号化対象画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行い、
   前記第２符号化手段は、前記補正手段による補正が行われた前記第３の符号化対象画像に対して、または前記補正手段による補正が行われた前記第２の参照画像を用いて前記画像間符号化を行うことを特徴とする画像符号化装置。
3. 露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して、第１の参照画像を用いて画像間符号化を行い、第１の符号化済画像を生成する第１符号化手段と、
   前記複数の符号化対象画像のうちの第２の符号化対象画像に対して、前記第１の符号化済画像の局部復号画像を第２の参照画像として用いて前記画像間符号化を行い、第２の符号化済画像を生成する第２符号化手段と、
   前記第２の符号化対象画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、
   前記第２符号化手段は、前記補正手段による補正が行われた前記第２の符号化対象画像に対して、または前記補正手段による補正が行われた前記第２の参照画像を用いて前記画像間符号化を行うことを特徴とする画像符号化装置。
4. 請求項１乃至３の何れか一項に記載の画像符号化装置において、
   前記補正手段は、前記参照画像の露出値を補正することを特徴とする画像符号化装置。
5. 請求項１乃至３の何れか一項に記載の画像符号化装置において、
   前記補正手段は、前記符号化対象画像の露出値を補正することを特徴とする画像符号化装置。
6. 請求項１に記載の画像符号化装置において、
   前記補正手段は、前記複数の符号化対象画像のうちの全ての符号化対象画像の露出値を補正して、前記参照画像の露出値とほぼ一致させることを特徴とする画像符号化装置。
7. 請求項５または６に記載の画像符号化装置において、
   前記符号化対象画像の増幅率を補正する増幅率補正手段をさらに備え、
   前記補正手段は、前記増幅率補正手段によって補正された前記符号化対象画像の露出値を補正することを特徴とする画像符号化装置。
8. 請求項４に記載の画像符号化装置において、
   前記参照画像の露出補正値に関する情報を符号化する第３符号化手段を備えることを特徴とする画像符号化装置。
9. 請求項５または６に記載の画像符号化装置において、
   符号化対象の露出補正値に関する情報を符号化する第３符号化手段を備えることを特徴とする画像符号化装置。
10. 請求項１乃至３の何れか一項に記載の画像符号化装置において、
    前記複数の符号化対象画像の露出値に関する情報を付加して符号化する第３符号化手段を備えることを特徴とする画像符号化装置。
11. 請求項１乃至３の何れか一項に記載の画像符号化装置において、
    前記複数の符号化対象画像のそれぞれが、輝度成分と色差成分とによって構成される画像形式の場合に、前記補正手段は、前記輝度成分にのみ露出補正を行うことを特徴とする画像符号化装置。
12. 露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して画像内復号を行い、第１の復号画像を生成する第１復号手段と、
    前記複数の符号化データのうちの第２の符号化データに対して、前記第１の復号画像を第１の参照画像として用いて画像間復号して、第２の復号画像を生成する第２復号手段と、
    前記第２の符号化データの露出値と、前記第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、
    前記第２復号手段は、前記補正手段による補正が行われた前記第２の符号化データに対して、または前記補正手段による補正が行われた前記第１の参照画像を用いて前記画像間復号を行うことを特徴とする画像復号装置。
13. 請求項１２に記載の画像復号装置において、
    前記第２復号手段は、前記複数の符号化データのうちの第３の符号化データに対して、前記第２の復号画像を第２の参照画像として用いて前記画像間復号を行い第３の復号画像を生成し、
    前記補正手段は、前記第３の符号化データの露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行い、
    前記第２復号手段は、前記補正手段により補正が行われた前記第３の符号化データに対して、または前記補正手段により補正が行われた前記第２の参照画像を用いて前記画像間復号を行うことを特徴とする画像復号装置。
14. 露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して、第１の参照画像を用いて画像間復号を行い、第１の復号画像を生成する第１復号手段と、
    前記複数の符号化データのうちの第２の符号化データに対して、前記第１の符号化データを第２の参照画像として前記画像間復号を行い第２の復号画像を生成する第２復号手段と、
    前記第２の符号化データの露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正手段と、を備え、
    前記第２復号手段は、前記補正手段による補正が行われた前記第２の符号化データに対して、または前記補正手段による補正が行われた前記第２の参照画像を用いて前記画像間復号を行うことを特徴とする画像復号装置。
15. 請求項１２乃至１４の何れか一項に記載の画像復号装置において、
    前記補正手段は、前記参照画像の露出値を補正することを特徴とする画像復号装置。
16. 請求項１２乃至１４の何れか一項に記載の画像復号装置において、
    前記補正手段は、前記符号化データの露出値を補正することを特徴とする画像復号装置。
17. 請求項１２に記載の画像復号装置において、
    前記補正手段は、前記複数の符号化データのうちの全ての符号化データの露出値を補正して、前記参照画像の露出値と一致させることを特徴とする画像復号装置。
18. 請求項１６または１７に記載の画像復号装置において、
    前記補正手段によって前記符号化データの露出値が補正された後、増幅率を補正する増幅率補正手段をさらに備えることを特徴とする画像復号装置。
19. 請求項１５に記載の画像復号装置において、
    前記参照画像の露出補正値に関する符号を復号する第３復号手段を備えることを特徴とする画像復号装置。
20. 請求項１６または１７に記載の画像復号装置において、
    前記符号化データの露出補正値に関する符号を復号する第３復号手段を備えることを特徴とする画像復号装置。
21. 請求項１２乃至１４の何れか一項に記載の画像復号装置において、
    前記複数の符号化データの露出値に関する符号を復号する第３復号手段を備えることを特徴とする画像復号装置。
22. 請求項１２乃至１４の何れか一項に記載の画像復号装置において、
    前記複数の符号化データのそれぞれが、輝度成分と色差成分とによって構成される画像形式の場合に、前記補正手段は、前記輝度成分にのみ露出補正を行うことを特徴とする画像復号装置。
23. 露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して画像内符号化を行い第１符号化済画像を生成する第１符号化工程と、
    前記複数の符号化対象画像のうちの第２の符号化対象画像に対して、前記第１の符号化対象画像の局部復号画像を第１の参照画像として用いて画像間符号化を行い第２符号化済画像を生成する第２符号化工程と、
    前記第２の符号化対象画像の露出値と、前記第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、
    前記第２符号化工程は、補正が行われた前記第２の符号化対象画像に対して、または補正が行われた前記第１の参照画像を用いて前記画像間符号化を行うことを特徴とする画像符号化方法。
24. 請求項２３に記載の画像符号化方法において、
    前記第２符号化工程は、前記複数の符号化対象画像のうちの第３の符号化対象画像に対して、前記第２の符号化済画像の局部復号画像を第２の参照画像として用いて前記画像間符号化を行い第３の符号化済画像を生成し、
    前記補正工程は、前記第３の符号化対象画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行い、
    前記第２符号化工程は、補正が行われた前記第３の符号化対象画像に対して、または補正が行われた前記第２の参照画像を用いて前記画像間符号化を行うことを特徴とする画像符号化方法。
25. 露出値が異なる複数の符号化対象画像のうちの第１の符号化対象画像に対して、第１の参照画像を用いて画像間符号化を行い、第１の符号化済画像を生成する第１符号化工程と、
    前記複数の符号化対象画像のうちの第２の符号化対象画像に対して、前記第１の符号化済画像の局部復号画像を第２の参照画像として用いて前記画像間符号化を行い、第２の符号化済画像を生成する第２符号化工程と、
    前記第２の符号化対象画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、
    前記第２符号化工程は、補正が行われた前記第２の符号化対象画像に対して、または補正が行われた前記第２の参照画像を用いて前記画像間符号化を行うことを特徴とする画像符号化方法。
26. 露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して画像内復号を行い、第１の復号画像を生成する第１復号工程と、
    前記複数の符号化データのうちの第２の符号化データに対して、前記第１の復号画像を第１の参照画像として用いて画像間復号して、第２の復号画像を生成する第２復号工程と、
    前記第２の符号化データの露出値と、前記第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、
    前記第２復号工程は、補正が行われた前記第２の符号化データに対して、または補正が行われた前記第１の参照画像を用いて前記画像間復号を行うことを特徴とする画像復号方法。
27. 請求項２６に記載の画像復号方法において、
    前記第２復号工程は、前記複数の符号化データのうちの第３の符号化データに対して、前記第２の復号画像を第２の参照画像として用いて前記画像間復号を行い第３の復号画像を生成し、
    前記補正工程は、前記第３の符号化データの露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行い、
    前記第２復号工程は、補正が行われた前記第３の符号化データに対して、または補正が行われた前記第２の参照画像を用いて画像間復号を行うことを特徴とする画像復号方法。
28. 露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうちの第１の符号化データに対して、第１の参照画像を用いて画像間復号を行い、第１の復号画像を生成する第１復号工程と、
    前記複数の符号化データのうちの第２の符号化データに対して、前記第１の符号化データを第２の参照画像として前記画像間復号を行い第２の復号画像を生成する第２復号工程と、
    前記第２の符号化データの露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正工程と、を備え、
    前記第２復号工程は、補正が行われた前記第２の符号化データに対して、または補正が行われた前記第２の参照画像を用いて前記画像間復号を行うことを特徴とする画像復号方法。
    
    

Images