JP2012191642A - 画像復号化装置及び方法 - Google Patents

Abstract

【課題】画面内予測や動き補償の精度を高める事によって符号化効率を向上させる。
【解決手段】画像符号化装置は、入力画像の各画素のビット精度を変換することによって変換入力画像を出力すると共に変換により変更されたビット数を表すビット変換情報を出力する画素ビット長拡張変換器１００１と、入変換力画像を符号化し画像符号化情報を出力する画像符号化器１０と、ビット変換情報と画像符号化情報とを多重化する多重化器１２とを具備する。
【選択図】図１Ａ

Description

本発明は、動画像又は静止画像のための画像符号化装置及び方法並びに画像復号化装置及び方法に関する。

代表的な動画像符号化標準方式であるＨ．２６４は、入力画像信号と、画面内予測や動き補償を行うことで作成された予測画像信号との予測誤差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い、このような周波軸上への変換を行った後、変換係数に対して量子化及び符号化による圧縮処理を行って符号化画像を得るという非可逆圧縮方式である。予測画像信号を作成する際には、画面内予測や動き補償の補間フィルタにおいて、複数画素にフィルタ係数をかけて足し合わせた後、入力画像の画素ビット長と同じ精度に丸めを行う処理を行っている。

特開２００３−２８３８７２号公報では、入力画像の１フレーム毎に各色信号のダイナミックレンジを拡大した画像を入力として符号化し、復号後に元のダイナミックレンジに復元することにより、表示装置の補正による符号化歪の強調を抑制する手法が示されている。

Ｈ．２６４では、予測信号を作成する際の丸め処理の過程において丸め誤差が発生するため、画面内予測や動き補償の補間フィルタにおいて十分な精度で処理を行うことができず、予測誤差信号の増大を招き、結果的に符号化効率が低下する。これに対し、特開２００３−２８３８７２号公報では、入力画像のダイナミックレンジを拡大することにより、前述の丸め誤差を若干少なくすることが可能である。しかし、特開２００３−２８３８７２号公報におけるダイナミックレンジの拡大は、入力画像のビット精度の範囲内で行われるだけであり、また、ダイナミックレンジの拡大の際にも丸め誤差が発生することから、十分に計算精度を向上させることはできない。

特開平４−３２６６７号公報では、エンコーダもデコーダも一体的に設けられたデジタルカメラに適用され、エンコーダもデコーダに共有されるDCTの演算精度に合わせて入力画像のビット長をビットシフトする手法を開示している。この手法では、エンコーダとデコーダが別々に設けられ、それぞれのDCTの演算精度が異なっていれば、それぞれに合わせてビットシフトされるので違うビット数でシフトすることになり、ミスマッチが生じる。

本発明は、画面内予測や動き補償の精度を十分高めることによって符号化効率を向上させるための画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法を提供することを目的とする。

本発明の第１の形態は、入力画像の各画素のビット精度を変換することによって異なるビット精度の変換入力画像を生成し、変換により変更されたビット数を表すビット変換情報を出力する画素ビット長変換器と、前記入変換力画像を符号化し画像符号化情報を出力する画像符号化器と、前記ビット変換情報と前記画像符号化情報とを多重化する多重化器とを備えた画像符号化装置を提供する。

本発明の第２の形態は、Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度をＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する画素ビット精度変換器と、（Ｎ＋Ｍ）ビット精度の前記入力画像に対する（Ｎ＋Ｍ）ビット精度の予測画像を、（Ｎ＋Ｍ）ビット精度の参照画像から作成する予測画像作成器と、（Ｎ＋Ｍ）ビット精度の前記入力画像と（Ｎ＋Ｍ）ビット精度の前記予測画像との差分信号を求める減算器と、前記差分信号を符号化して画像符号化情報を出力する符号化器と、前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、（Ｎ＋Ｍ）ビット精度の前記予測画像と前記復号差分画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を出力する加算器と、（Ｎ＋Ｍ）ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた画像符号化装置を提供する。

本発明の第３の形態は、ビット変換情報と画像符号化情報とが多重化された画像情報を入力してビット変換情報と画像符号化情報に分離する逆多重化器と、前記画像符号化情報を復号化し復号画像を出力する画像復号化器と、前記ビット変換情報に基づいて前記復号画像の各画素の値をビット精度が異なるビット精度に変換する画素ビット精度変換器と、を備えた画像復号化装置を提供する。
本発明の第４の形態は、入力符号化画像情報を（Ｎ＋Ｍ）ビット精度の復号差分画像に復号する復号化器と、前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を作成する予測画像作成器と、前記復号差分画像と前記予測画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を得る加算器と、（Ｎ＋Ｍ）ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素をＮビット精度に変換しＮビット精度の復号画像を出力する画素ビット精度変換器と、を備えた画像復号化装置を提供する。

本発明の第1の実施形態に係る画像符号化装置の構成例を示すブロック図である。 １Ａの画像符号化装置の動作を示すフローチャートである。 画素ビット長拡張器の構成を示すブロック図である。 同実施形態で用いるシンタクスの構造の一例を示す図である。 同実施形態で用いるシーケンスパラメータセットシンタクスの構造を示す図である。 同実施形態で用いるサプリメンタルシンタクスの構造を示す図である。 同実施形態で用いるサプリメンタルシンタクスの構造を示す図である。 同実施形態に係る画像復号化装置の構成例を示すブロック図である。 図７Ａの画像復号化装置の動作を示すフローチャートである。 図７の画素ビット長縮小器の構成を示すブロック図である。 本発明の第２の実施形態に係る画像符号化装置の構成例を示すブロック図である。 図９Ａの画像復号化装置の動作を示すフローチャートである。 同実施形態に係る画像復号化装置の構成例を示すブロック図である。 図１０Ａの画像復号化装置の動作を示すフローチャートである。 第３の実施形態に係る画像符号化装置の構成例を示すブロック図である。 図１１Ａの画像符号化装置の動作を示すフローチャートである。 図１１Ａの画素ビット長変換器の動作の概要を示す図である。 図１１Ａの画素ビット長変換器の構成の一例を示すブロック図である。 図１１Ａの画素ビット長変換器の構成の一例を示すブロック図である。 図１１Ａのフレームメモリの構成の一例を示すブロック図である。 図１１の画素ビット長変換器の構成を示すブロック図である。 同実施形態で用いるシーケンスパラメータセットシンタクスの構造を示す図である。 同実施形態で用いるピクチャーパラメータセットシンタクスの構造を示す図である。 同実施形態で用いるスライスレベルシンタクスの構造を示す図である。 同実施形態で用いるマクロブロックレベルシンタクスの構造を示す図である。 同実施形態に係る画像復号化装置の構成例を示すブロック図である。 図１７Ａの画像復号化装置の動作を示すフローチャートである。 本発明の第４の実施形態に係る画像符号化装置の構成例を示すブロック図である。 図１８Ａの画像符号化装置の動作を示すフローチャートである。 同実施形態に係る画像復号化装置の構成例を示すブロック図である。 図１９Ａの画像復号化装置の動作を示すフローチャートである。 第５の実施形態に係る画像符号化装置の構成例を示すブロック図である。 図２０Ａの画像符号化装置の動作を示すフローチャートである。 同実施形態に係る画像復号化装置の構成例を示すブロック図である。 図２１Ａの画像復号化装置の動作を示すフローチャートである。 エンコーダ側の予測画像作成器のブロック図である。 デコーダ側の予測画像作成器のブロック図である。 フレーム間予測器の構成を示すブロック図である。 フレーム間予測器の別の構成を示すブロック図である。 フレーム間予測器の別の構成を示すブロック図である。 エンコーダ側のループフィルタの構成を示すブロック図である。 復号側のループフィルタの構成を示すブロック図である。 画素ビット長拡張器の他の構成を示すブロック図である。 フィルタ処理部のブロック図である。 フィルタ処理部の動作の流れ図である。 画素ビット長縮小器のブロック図である。 第６の実施形態に係る画像符号化装置のブロック図である。 図３３Ａの画像符号化装置の動作を示すフローチャートである。 第６の実施形態に係る画像復号化装置のブロック図である。 図３４Ａの画像復号化装置の動作を示すフローチャートである。 第７の実施形態に係る画像符号化装置のブロック図である。 図３５Ａの画像符号化装置の動作を示すフローチャートである。 シーケンスパラメータセットシンタクスを示す図である。 シーケンスパラメータセットシンタクスを示す図である。 画像符号化装置の処理において使用される制御フラグの設定例を示す図である。 第７の実施形態に係る画像復号化装置の構成を示すブロック図である。 図３９Ａの画像復号化装置の動作を示すフローチャートである。 ビット変換情報に含まれる制御フラグの設定を示す図である。 ビット精度の拡張の有無によって生じる丸め誤差の相違について説明するための図である。 半画素精度の予測画素値を示す図である。 本発明の実施の形態の画素ビット長拡張および画素ビット長縮小における変換特性を示す図である。

以下、図面を参照しながら本発明の実施形態について説明する。

（第１の実施形態）
図１Ａを参照して第１の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、入力画像信号１００が供給され、画素ビット長を拡張する画素ビット長拡張器（即ち、画素ビット精度を変換する画素ビット精度変換器）１００１と、この画像ビット長拡張器１００１の出力に接続される画像符号化器１０と、この画像符号化器１０の出力に接続される多重化器１２と、画像ビット長拡張器１００１の他の出力に接続され、ビット拡張情報を多重化部１２に供給するビット長変換制御器１００２とを備えている。

図１Ｂのフローチャートを参照して画像符号化装置の動作を説明する。この画像符号化装置には、入力画像信号１００として例えばフレーム単位で動画像信号が入力される（Ｓ１１）。画素ビット長拡張器１００１は、入力されたＮビット精度の画像信号１００の各画素をＮビットよりＭビット大きな（Ｎ＋Ｍ）ビット精度に変換する処理を行う。即ち、図２に示される画素ビット長拡張器１００１において、入力されたNビット精度の画像信号１００の各画素のビット長を拡張するかどうかがビット長拡張情報１００３に基づいてスイッチE0によって選択される（Ｓ１２）。拡張を行う場合は、スイッチE0をON側に、拡張を行わない場合はOFF側に接続する。スイッチE0をONとした場合は、画像信号は画素ビット長拡張変換器（画素ビット精度変換器）E01に入力され、後述の画素ビット長変換が行われる（Ｓ１３）。スイッチE0がOFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。例えば、入力画像信号のある画素の値がＫであった場合、その画素値ＫをＭビット拡張した後の画素値Ｋ’は、以下の数式（１）のように計算される。
Ｋ’＝Ｋ << M …（１）
また、例えば、表示装置の特性に合わせて、画素をガンマ変換することも可能である。拡張するビット数をＭ、ガンマ値をγとすると、以下の数式（１−１）のように画素値Ｋ’が計算される。
Ｋ’＝INT〔〔{Ｋ／（(1 << N)−1)}^γ×((1 << M)−1)〕＋offset〕 …（１−１）
また、以下の数式（１−２）のように、さらに入力画像の画素の最小値Ｍｉｎ、最大値Ｍａｘを求め、ダイナミックレンジを広げつつＭビット大きなビット精度に画素を拡張することも可能である。
Ｋ’＝INT〔〔{（Ｋ−Min）／（Max−Min)}^γ×((1 << M)−1)〕＋offset〕
…（１−２）
ＩＮＴは整数に丸めを行う処理を示す。数式（１−１），（１−２）でのoffsetは、丸めを行うときのオフセットを示し、０〜１の任意の値である。

さらには、上記のような拡張を行った入力画像の系列に対し、ヒストグラム平滑化を行ったり、時空間にフィルタを施したりすることも可能である。

入力画像が例えばＲＧＢなどの複数のコンポーネントからなるカラー画像信号である場合には、各コンポーネントの各画素のビット長をＭビット大きなビット精度に拡張した後に、各コンポーネントを別の色空間のコンポーネント信号に変換してもよい。例えば、ＲＧＢからＹＣｏＣｇに変換する場合には以下の数式（１−３）で変換する。この例では、Ｎビットの入力画像の各コンポーネントの各画素Ｒ，Ｇ，Ｂが、各画素の値をＭビット大きなビット精度に拡張した後、Ｙ，Ｃｏ，Ｃｇに変換される。
Ｒ’＝（Ｒ << Ｍ）
Ｇ’＝（Ｇ << Ｍ）
Ｂ’＝（Ｂ << Ｍ）
Ｙ＝Round（0.5＊Ｇ’＋0.25＊（Ｒ’＋Ｂ’））
Ｃｏ＝Round（0.5＊Ｇ’−0.25＊（Ｒ’＋Ｂ’））＋（１ << （Ｎ＋Ｍ−１））
Ｃｇ＝Round（0.5＊（Ｒ’−Ｂ’））＋（１ << （Ｎ＋Ｍ−１））
…（１−３）
ここで、Round（Ａ）はＡを四捨五入して整数に丸める処理である。数式（１−３）による変換例では、拡張するビット数Ｍを２以上にすれば、丸め処理において丸め誤差が発生することなく色変換することが可能である。なお、ここで示した色変換は一例であり、色変換を行う処理であればどのような処理を行ってもよい。

以上の例は画素ビット長拡張器１００１が行う変換の一例であり、各画素の値をＭビット大きなビット精度に拡張する処理は、上記の例に限るものではなく、ビット長を拡大する処理であればどのような処理を行ってもよい。

上記のようにしてビット拡張が行われたビット拡張入力画像信号１００９は、画像符号化器１０に導かれる。また、拡張されるビット数M、入力画像信号のビット長Ｎおよびその他変換に必要なガンマ値、画素最大値、最小値、ヒストグラムなどのビット変換情報１０１０が生成され（Ｓ１４）、ビット長変換制御器（ビット精度変換制御器）１００２によりビット拡張情報１００３として多重化部１２に導かれる。

画像符号化器１０は、入力されたビット拡張入力画像信号１００９を符号化し、画像符号化データ１１として多重化部１２に出力する（Ｓ１５）。多重化部１２は、画像符号化データ１１およびビット拡張情報１００３を多重化し（Ｓ１６）、符号化データ１１７として図示しない伝送系または蓄積系へ送出する（Ｓ１７）。

次に、拡張するビット数Ｍなどの変換に必要なビット拡張情報１００３の多重化方法について説明する。

図３に、本実施形態で用いられるシンタクスの構造の例を示す。

このシンタクス構造例において、ハイレベルシンタクス（４０１）には、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス（４０２）では、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス（４０３）では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。

各シンタクスは、さらに詳細なシンタクスで構成されている。ハイレベルシンタクス（４０１）では、シーケンスパラメータセットシンタクス（４０４）とピクチャーパラメータセットシンタクス（４０５）などのシーケンスおよびピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス（４０２）では、スライスヘッダーシンタクス（４０６）、スライスデータシンタクス（４０７）などから構成されている。さらに、マクロブロックレベルシンタクス（４０３）は、マクロブロックヘッダーシンタクス（４０８）、マクロブロックデータシンタクス（４０９）などから構成されている。

上述したシンタクスは復号化時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると復号化時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサプリメンタルシンタクス（４１０）が存在する。サプリメンタルシンタクスは、復号側で独立に実行可能な処理に対する指示を示す情報を送る役割として用意されている。

本実施形態では、拡張するビット数をシーケンスパラメータセットシンタクス（４０４）に含めてこのシンタクスを送信することが可能である。それぞれのシンタクスを以下で説明する。

図４のシーケンスパラメータセットシンタクス内に示されるex_seq_bit_extention_flagは、ビット拡張を行うかどうかを示すフラグであり、当該フラグがTRUEであるときは、ビット拡張を行うか否かをシーケンス単位で切り替えることが可能である。フラグがFALSEであるときは、シーケンス内ではビット拡張は行われない。ex_seq_bit_extention_flagがTRUEのときは更に何ビット拡張を行うかを示すex_seq_shift_bitsが送信される。当該フラグのTRUE／FALSEによって例えば図２で示される画素ビット長拡張器１００１内のスイッチE0のON／OFFが決定される。

シーケンスパラメータセットシンタクス内には、さらに、どのような変換を行ったかを示すex_bit_transform_typeを含めて送信してもよい。ex_bit_transform_typeは、例えば数式（１）で示される単純なビット拡張変換を示す値BIT_EXT_TRANSや、数式（１−１）で示されるγ変換が行われたことを示すGAMMA_TRANS、数式（１−２）で示されるダイナミックレンジ変換が行われたことを示すDR_TRANSなどが格納されている。ex_bit_transform_typeがGAMMA_TRANSである場合には、さらにどのようなガンマ値で変換を行ったかを示すgamma_valueが送信される。ex_bit_transform_typeがDR_TRANSである場合には、さらにそれぞれ入力画像信号の画素の最大値と最小値を示すmax_value，min_valueが送信される。

本実施形態においては、サプリメンタルシンタクス（４１０）に多重化されたデータを利用することが可能である。図５にサプリメンタルシンタクスを用いて復号側の出力画像信号のビット精度を送信する例を示す。サプリメンタルシンタクス内に示されるex_sei_bit_extention_flagは、出力画像信号のビット精度を変更するかどうかを示すフラグであり、当該フラグがTRUEのときは、出力画像信号のビット精度を変更することを示す。フラグがFALSEであるときは、出力画像信号のビット精度の変更を行わないことを示す。当該フラグがTRUEであるときは、さらにbit_depth_of_decoded_imageが送信される。bit_depth_of_decoded_imageは、出力画像信号のビット精度を示す値であり、後述の復号側でビット拡張あるいは縮小を行って復号化する能力のある復号化器で画像信号を復号化する場合は、bit_depth_of_decoded_imageの値に従って、復号画像のビット精度を拡大あるいは縮小してbit_depth_of_decoded_imageで示されたビット精度の復号画像を出力することが可能である。

ただし、ビット拡張あるいは縮小を行って復号化する能力がない復号化器で画像信号を復号化する場合や、あるいは能力があったとしても必ずしもbit_depth_of_decoded_imageで示されたビット精度の復号画像を出力する必要はなく、復号されたビット精度のまま出力することも可能である。

また、図６に、サプリメンタルシンタクス４１０を用いて復号側の出力画像信号の色空間を送信する例を示す。ex_sei_bit_extention_flag, bit_depth_of_decoded_imageについては前述の図４の例と同様である。

サプリメンタルシンタクス内に示されるex_color_transform_flagは、出力画像信号の色空間を変換するかどうかを示すフラグであり、当該フラグがTRUEのときは、出力画像信号の各コンポーネントの色空間を変更することを示す。一方、フラグがＦＡＬＳＥであるときは、出力画像信号の各コンポーネントの色空間の変更を行わないことを示す。当該フラグがＴＲＵＥであるときは、さらにcolor_space_of_decoded_imageが送信される。color_space_of_decoded_imageは、出力画像信号の色空間を示す値であり、後述の復号側でビット拡張あるいは縮小を行って復号化する能力がある。color_space_of_decoded_imageの値で指定される色空間に変換する能力のある復号化器で画像信号を復号化する場合は、出力画像信号の各コンポーネントをcolor_space_of_decoded_imageの値で指定される色空間に変換した後、bit_depth_of_decoded_imageの値に従って、復号画像のビット精度を拡大あるいは縮小してbit_depth_of_decoded_imageで示されたビット精度の復号画像を出力することが可能である。

ただし、color_space_of_decoded_imageの値で指定される色空間に出力画像信号の各コンポーネントを変換する能力がない復号化器で復号する場合や、あるいは能力があったとしても、必ずしもcolor_space_of_decoded_imageの値で指定される色空間に変換した復号画像を出力する必要はない。復号された色空間のまま復号画像を出力した後に、bit_depth_of_decoded_imageで示されたビット精度にコンポーネントを変換することも可能である。また、ビット拡張あるいは縮小を行って復号化する能力がない復号化器で画像信号を復号化する場合や、あるいは能力があったとしても必ずしもbit_depth_of_decoded_imageで示されたビット精度の復号画像を出力する必要はなく、復号されたビット精度のまま出力することも可能である。

次に、図７Ａ、図７Ｂを参照して本実施形態に係る画像復号化装置を説明する。図７Ａに示すように、この画像復号化装置は、符号化データが入力される逆多重化部２１と、逆多重化部２１の出力に接続される画像復号化器２０と、画像復号化器２０の出力に接続される画素ビット長縮小器（画素ビット精度縮小変換器）２００１と、逆多重化部２１からビット拡張情報を受け、ビット変換情報を画素ビット長縮小器２００１に入力するビット長変換制御器（ビット精度変換制御器）２００２とを備えている。

図７Ｂのフローチャートに示すように、まず、図１Ａの画像符号化装置によって符号化された符号化データ１１７が逆多重化部２１に入力される（Ｓ２１）。逆多重化部２１において、符号化データ１１７がビット拡張情報２００４および画像符号化データ１１に分離される（Ｓ２２）。ビット拡張情報２００４はビット長変換制御器２００２に入力され、画像符号化データ１１は画像復号化器２０に入力される。画像符号化データ１１は、画像符号化器１０で行われた符号化と逆の手順で復号化され、ビット拡張復号画像信号２０３とされる（Ｓ２３）。ビット拡張復号画像信号２０３は画素ビット長縮小器２００１に入力される。ビット拡張情報２００４が、ビット長変換制御器２００２に入力されると、ビット長変換制御器２００２は復号画像が何ビット拡張されているか、および変換に必要な情報を示すビット変換情報２００３を出力する。

図８に示すように画素ビット長縮小器２００１においては、入力されたNビット精度の画像信号１００はビット変換情報２００３に基づいてスイッチE2によって、各画素のビット長を縮小するかどうかが選択される（Ｓ２４）。スイッチE2は縮小を行う場合は、ON側に、拡張を行わない場合はOFF側に接続する。スイッチE2をONとした場合は、画像信号は画素ビット長縮小変換器E02に入力され、後述の画素ビット長変換が行われる（Ｓ２５）。スイッチE2がOFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。例えば、ex_seq_bit_extention_flagがTRUEであり、各画素のビット長が拡張されていることを示している場合はスイッチをON側に、FALSEの場合はOFF側にする。

ビット変換情報２００３が、例えば、ex_seq_shift_bitsによってMビット拡張されており、ex_bit_transform_typeによって例えば数式（１）で示される変換が行われたことを示すBIT_EXT_TRANSを示していた場合、画素ビット長縮小器２００１に入力されたビット拡張復号画像信号２０３は、各画素の値をＭビット縮小する。例えば、ビット拡張復号画像信号２０３のある画素の値がＫであった場合、Ｍビット縮小した後の画素値Ｋ’は以下のように計算される。
Ｋ’＝（Ｋ＋offset）>> M
offset＝（１<<（M−１）） …（２）
これは四捨五入を用いて、画素値をMビット小さいビット長に縮小する方法の一例であり、ここでの縮小変換方法は、例えば、offsetを０〜（１<<Ｍ）の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。

ビット変換情報２００３が、例えば、ex_seq_shift_bitsによってMビット拡張されており、ex_bit_transform_typeによって例えば数式（１−１）で示されるガンマ変換が行われたことを示すGAMMA_TRANSを示している。gamma_valueによってガンマ値がγであることが示されている場合には、画素ビット長縮小器２００１に入力されたビット拡張復号画像信号２０３は、各画素の値をMビット縮小する。例えば、ビット拡張復号画像信号２０３のある画素の値がKであった場合、Mビット縮小した後の画素値K’は以下のように計算される。
Ｋ’＝INT〔〔{Ｋ／（(1 << M)−1)}^１／γ×((1 << N)−1)〕＋offset〕
…（２−１）
ビット変換情報２００３が、例えば、ex_seq_shift_bitsによってMビット拡張されており、ex_bit_transform_typeによって例えば数式（１−２）で示されるダイナミックレンジ変換が行われたことを示すDR_TRANSを示しており、min_value, maxvalueによって入力画像の画素の最小値と最大値がそれぞれＭａｘ，Ｍｉｎであることが示されている場合には、画素ビット長縮小器２００１に入力されたビット拡張復号画像信号２０３は、各画素の値をMビット縮小する。例えば、ビット拡張復号画像信号２０３のある画素の値がKであった場合、Mビット縮小した後の画素値K’は以下のように計算される。
Ｋ’＝INT〔〔{（Ｋ−(Min <<Ｍ)）／（(Max−Min）<<Ｍ)}^１／γ×((1 << Ｎ)−1)〕＋offset〕
…（２−２）
INTは整数に丸めを行う処理を示す。数式（２−１），（２−２）でのoffsetは、丸めを行うときのオフセットを示し、０〜１の任意の値である。

ビット変換情報２００３が、例えば、ex_seq_shift_bitsによってMビット拡張されており、復号画像信号のカラースペースが例えば図５に示すサプリメンタルシンタクス内で指定されているcolor_space_of_decoded_imageで指定されている色空間とは異なる色空間であった場合には復号画像の各コンポーネントの各画素をcolor_space_of_decoded_imageで指定されている色空間に変換した後、ビット長をMビット縮小する。例えば、入力画像がＲＧＢからＹＣｏＣｇに変換されて符号化されており、color_space_of_decoded_imageにRGBが指定されている場合には、復号画像の各コンポーネントの各画素Ｙ，Ｃｏ，Ｃｇに対し、以下の数式（２−３）によりビット縮小と色空間変換が行われ、各コンポーネントの各画素がそれぞれＲ，Ｇ，Ｂに変換される。
ｔ＝（Ｙ−（（Ｃｇ−（１ << （Ｎ＋Ｍ−１））） >> １））
Ｇ’＝Clip1y（ｔ＋（Ｃｇ−（１ << （Ｎ＋Ｍ−１））））
Ｂ’＝Clip1y（ｔ−（（Ｃｏ−（１ << （Ｎ＋Ｍ−１）））>> １））
Ｒ’＝Clip1y（Ｂ’＋（Ｃｏ−（１ << （Ｎ＋Ｍ−１））））
offset＝（１<<（M−１））
Ｒ＝（Ｒ’＋offset）>> M
Ｇ＝（Ｇ’＋offset）>> M
Ｂ＝（Ｂ’＋offset）>> M
…（２−３）
ここで、Clip1y（Ａ）はAが０＜Ａ＜（１<<（Ｎ＋Ｍ））を満たす場合にはAをそのまま出力し、Ａ<０ならば０を、Ａ≧（１<<（Ｎ＋Ｍ））なら（１＜＜（Ｎ＋Ｍ））−１を出力する処理を表している。これは四捨五入を用いて、画素値をMビット小さいビット長に縮小する方法の一例であり、ここでの縮小変換方法は、例えば、offsetを０〜（１＜＜Ｍ）の任意の値にするなど、ビット小さくする方法であれば、どのような変換方法でもよい。

ここでは復号画像信号の色空間がサプリメンタルシンタクス内で指定されているcolor_space_of_decoded_imageで指定されている例を示したが、このような指定がない場合や、ハイレベルシンタクス４０１にサプリメンタルシンタクスで示した例と同様に復号画像信号の色空間を指定している場合でも、復号画像を出力する過程で色変換処理が行われる場合には、色変換処理を行った後、画素値をMビット小さいビット長に縮小してもよい。また、ここで示した色変換は一例であり、色変換を行う処理であればどのような処理を行ってもよい。

以上に示した縮小変換は一例であり、ビット長を小さくする方法であれば、どのような変換方法でもよい。

以上のようにして、画像符号化装置に入力された入力画像と同じNビット精度の復号画像２０２が画素ビット長縮小器２００１より出力される（Ｓ２５）。

以上の構成によれば、画像符号化および画像復号化が、入力画像のビット精度よりもMビット大きなビット精度で行うことができ、符号化効率を向上させることができる。

（第２の実施形態）
図９Ａを参照して第２の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。図９に示すように、この画像符号化装置は、画素ビット長拡張器（画素ビット精度変換器）１００１、ビット長変換制御器（ビット精度変換制御器）１００２、減算器１０１、直交変換器１０４、量子化器１０６、逆量子化器１０９、逆直交変換器１１０、加算器１１１、ループフィルタ１１３、フレームメモリ１１４、予測画像作成器１１５、エントロピー符号化器１０８を備えている。入力画像信号を受ける画素ビット長拡張器１００１の出力は減算器１０１、直交変換器１０４および量子化器１０６を介してエントロピー符号化器１０８に接続される。量子化器１０６の出力は逆量子化器１０９，逆直交変換器１１０，加算器１１１，ループフィルタ１１３、フレームメモリ１１４を介して予測画像作成器１１５に接続される。予測画像作成器１１５からの予測画像信号は減算器１０１および加算器１１１に入力される。予測画像作成器１１５からの動きベクトル／予測モード情報はエントロピー符号化器１０８に入力される。ビット長変換制御器１００２はビット変換情報を画素ビット長拡張器１００１に入力し、ビット拡張情報をエントロピー符号化器１０８に入力する。

上記構成の画像符号化装置の動作を図９Ｂのフローチャートを参照して説明する。画像符号化装置に、入力画像信号１００として例えばフレーム単位で動画像信号が入力されると（Ｓ３１）、画素ビット長拡張器１００１は、入力されたNビット精度の画像信号１００の各画素の値をNビットよりMビット大きな（Ｎ＋Ｍ）ビット精度に拡張する処理を行う（Ｓ３２）。例えば、入力画像信号のある画素の値がKであった場合、Mビット拡張した後の画素値K’は例えば数式（１）や数式（１−１），（１−２），（１−３）などによって計算される。

拡張されるビット数Ｍなどの変換情報は、ビット長変換制御器１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる（Ｓ３３）。画素ビット長拡張器１００１の構成例として、図２の構成をとり、第1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

減算器１０１により、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号１００と（Ｎ＋Ｍ）ビット精度で作成された予測画像信号１０２との差分がとられ、（Ｎ＋Ｍ）ビット精度の予測誤差信号１０３が生成される（Ｓ３４）。生成された予測誤差信号１０３は、直交変換器１０４により直交変換（例えば、離散コサイン変換（ＤＣＴ））される（Ｓ３５）。直交変換器１０４では、直交変換係数情報１０５（例えば、ＤＣＴ係数情報）が得られる。直交変換係数情報１０５は、量子化器１０６により量子化され、量子化直交変換係数情報１０７はエントロピー符号化器１０８および逆量子化器１０９に入力される。量子化直交変換係数情報１０７は逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて、即ち局部復号化されて予測誤差信号と同様の信号、即ち局部復号誤差信号に変換される。この局部復号誤差信号は加算器１１１で（Ｎ＋Ｍ）ビット精度の予測画像信号１０２と加算されることにより、（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２が生成される。即ち、量子化直交変換係数情報１０７が局部復号化される（Ｓ３６）。局部復号画像信号１１２は、必要に応じてループフィルタ１１３によりフィルタ処理がなされた後、フレームメモリ１１４に格納される。

予測画像作成器１１５は、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号１００及びフレームメモリ１１４に格納された（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２から、ある予測モード情報に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号を生成する。この際、加算器１１１からの（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２はフレームメモリ１１４に一旦蓄えられる。フレーム内のブロック毎に（Ｎ＋Ｍ）ビット精度の入力画像信号１００とフレームメモリ１１４に蓄えられた（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）により、動きベクトルが検出される（Ｓ３７）。この動きベクトルで補償された（Ｎ＋Ｍ）ビット精度の局部画像信号を用いて（Ｎ＋Ｍ）ビット精度の予測画像信号を作成する（Ｓ３８）。ここで生成された（Ｎ＋Ｍ）ビット精度の予測画像信号１０２は、選択された予測画像信号の動きベクトル情報／予測モード情報１１６とともに予測画像作成器１１５より出力される。

エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１６およびビット拡張情報１００３がエントロピー符号化され（Ｓ３９）、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。

なお、拡張するビット数Ｍの符号化方法については、第１の実施形態と同様である。また、本実施形態においては、第１の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

次に、図１０Ａを参照して、本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、エントロピー復号化器２００、逆量子化器１０９、逆直交変換器１１０、加算器１１１、ループフィルタ１１３、フレームメモリ１１４、予測画像作成器１１５、画素ビット長縮小器（画素ビット精度変換器）２００１、ビット長変換制御器（ビット精度変換制御器）２００２を備えている。符号化データを受けるエントロピー復号化器２００の係数情報出力は逆量子化器１０９、逆直交変換器１１０、加算器１１１、ループフィルタ１１３を介して画素ビット長縮小器２００１に接続される。ループフィルタ１１３の出力はフレームメモリ１１４を介して予測画像作成器１１５の一方入力に接続される。予測画像作成器１１５の他方入力は予測画像作成器１１５から動きベクトル／予測モード情報を受けている。予測画像作成器１１５の出力は加算器１１１に接続される。エントロピー復号化器２００のビット拡張情報出力はビット長変換制御器２００２を介して場素ビット長縮小器２００１に接続される。

図１０Ｂを参照して画像復号化装置の動作を説明する。画像復号化装置に図９Ａの画像符号化装置によって符号化された符号化データ１１７が入力されると（Ｓ４１）、エントロピー復号化器２００において、符号化データ１１７がエントロピー符号化の逆の手順に従って復号化され（Ｓ４２）、量子化直交変換係数情報１０７、動きベクトル／予測モード情報１１６、ビット拡張情報２００４が得られる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて（Ｎ＋Ｍ）ビット精度の残差信号２０１に変換される（Ｓ４３）。動きベクトル／予測モード情報１１６は予測画像作成器１１５に入力され、フレームメモリ１１４に格納された（Ｎ＋Ｍ）ビット精度のビット拡張復号画像信号２０３から動きベクトル／予測モード情報１１６に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号１０２が生成される（Ｓ４４）。（Ｎ＋Ｍ）ビット精度の残差信号２０１と（Ｎ＋Ｍ）ビット精度の予測画像信号１０２は、加算器１１１によって加算され、復号画像信号が生成される（Ｓ４５）。この復号画像信号はループフィルタ１１３で必要に応じてフィルタ処理がなされ、（Ｎ＋Ｍ）ビット精度のビット拡張復号画像信号２０３として出力され、フレームメモリ１１４に格納される。エントロピー復号化器２００から出力されたビット拡張情報２００４は、ビット長変換制御器２００２に入力されると、ビット長変換制御器２００２から復号画像が何ビット拡張されているかを示すビット変換情報２００３が出力される。

画素ビット長縮小器２００１に入力されたビット拡張復号画像信号２０３は、ビット変換情報２００３に基づいて、例えば数式（２）や数式（２−１），（２−２），（２−３）などに基づいて第１の実施形態と同様の処理を受け、各画素の値をＭビット縮小する（Ｓ４６）。画素ビット長縮小器２００１は、図８に示される構成とし、第1の実施形態と同様に各画素のビット長を縮小するかどうかをフラグで切り替える制御が行われてもよい。

以上のようにして、画像符号化装置に入力された入力画像と同じＮビット精度の復号画像信号２０２が画素ビット長縮小器２００１より出力される（Ｓ４７）。

以上の構成によれば、予測画像信号が入力画像信号よりＭビット大きな精度をもって作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。

（第３の実施形態）
図１１Ａに、本発明の第３の実施形態に係る動画像符号化のための画像符号化装置の構成を示す。この画像符号化装置は、第２の実施形態で示した構成例（図９）とほぼ同様の構成であるが、フレームメモリ１１４の前段に画素ビット長変換器１００５を備え、フレームメモリ１１４の後段に画素ビット長変換器（画素ビット精度変換器）１００６を備える点が異なっている。

図１１Ｂを参照してこの画像符号化装置の動作を説明する。この画像符号化装置には、画像信号１００として例えばフレーム単位で動画像信号が入力される（Ｓ５１）。画素ビット長拡張器（画素ビット精度変換器）１００１は、第２の実施形態と同様の処理を行うことにより、入力されたＮビット精度の画像信号１００の各画素の値について、ＮビットよりＭビット大きな（Ｎ＋Ｍ）ビット精度に拡張する処理を行う（Ｓ５２）。拡張されたビット数Ｍは、ビット長変換制御器１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる。画素ビット長拡張器１００１は、図２の構成とし、第１の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて画素ビット長を制御する処理を行ってもよい。

減算器１０１により、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号１００と（Ｎ＋Ｍ）ビット精度で作成された予測画像信号１０２との差分がとられ、（Ｎ＋Ｍ）ビット精度の予測誤差信号１０３が生成される（Ｓ５３）。生成された予測誤差信号１０３は、直交変換器１０４により直交変換（例えば、離散コサイン変換（ＤＣＴ））される。直交変換器１０４では、直交変換係数情報１０５（例えば、ＤＣＴ係数情報）が得られる。直交変換係数情報１０５は、量子化器１０６により量子化される。即ち、予測誤差信号１０３は直交変換され、量子化される（Ｓ５４）。量子化直交変換係数情報１０７はエントロピー符号化器１０８および逆量子化器１０９に導かれる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて局部復号誤差信号に変換され、加算器１１１で（Ｎ＋Ｍ）ビット精度の予測画像信号１０２と加算される。これにより、（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２が生成される。即ち、量子化直交変換係数情報１０７は、局部符号化される（Ｓ５５）。

（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２は、必要に応じてループフィルタ１１３によりフィルタ処理がなされた後、画素ビット長変換器１００５に入力され、各画素の値をＬビット小さな値に縮小変換し、または各画素の値をＬビット大きな値に拡大変換する（Ｓ５６）。例えば、（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２のある画素の値がＫであった場合、Ｌビット縮小した後の画素値Ｋ’は以下のように計算される。
Ｋ’＝（Ｋ＋offset）>> Ｌ
offset＝（１<<（L−１）） …（３）
ここで、縮小するビット数Lは、０＜L≦Mを満たす整数である。ビット長を縮小した結果、局部復号画像信号１１２の各画素のビット長は（N＋M−L)ビットとなる。 ここでの縮小変換方法は、例えば、offsetを０〜（１<<Ｌ）の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。

変換方法の他の手法を説明する。図１１Cには、符号化単位画像の画素値のヒストグラム（左側）とビット精度変換後のヒストグラム（右側）が示されている。図１１Cに示すように、例えば１２ビットに拡張された局部復号画像１１２を８ビット長の画像に縮小する場合、１２ビット長に拡張された局部復号画像１１２を例えばマクロブロック単位などの任意の符号化単位ごとに画素値の最大値mb_maxと最小値mb_minからダイナミックレンジD=(mb_max-mb_min)を算出する。このダイナミックレンジDが８ビットで表される範囲、即ち０〜２５５であれば、そのブロックは８ビットに変換されてフレームメモリ１１４に出力される。このとき、このブロックの画素値の最大値mb_max及び／又は最小値mb_minを用いて決められる代表値もフレームメモリ１１４に出力される。ダイナミックレンジDが８ビットで表現できない値であると、ブロックは２ビット右へのシフトによる除算処理されてから８ビットに変換される。このときには、シフト量Q_bit＝２及び代表値とともにブロックがフレームメモリ１１４に出力される。ダイナミックレンジが更に大きい場合は、図１１Cに示されるように８ビット変換ブロックがシフト量Q_bit＝４と代表値とともにフレームメモリ１１４に出力される。

上記の手法をより詳しく説明すると、図１１Cに示すように、例えばマクロブロック単位などの任意の符号化単位ごとに、局部復号画像信号１１２内の画素値の最大値mb_maxと最小値mb_minを求め、そのダイナミックレンジD=(mb_max-mb_min)に応じて縮小するビット数Q_bitを（3-1）式を用いて変更される。

この場合、画素ビット長変換器１００５は例えば図１１Dのような構成となっており、まず、ダイナミックレンジ算出部１００５１で局部復号画像信号１１２内の画素値の最大値mb_maxと最小値mb_minを求め、そのダイナミックレンジD=(mb_max-mb_min)を求める。

次にシフト量／代表値算出部１００５２において、ダイナミックレンジＤに応じてシフト量Ｑ_bitを例えば（3−1a）式を用いて算出する。また例えばmb_minを代表値として設定する。

Q_bit = log2(D) − (N+M-L-1) …（３−１ａ）
さらに、画素ビット精度変換器１００５３において、ビット拡張復号画像信号のある画素の値がKであった場合、Ｌビット（L>0）縮小した後の画素値K’は例えば以下のように計算され、変換された局部復号画像信号１１２が、代表値mb_min,シフト量Q_bit（代表値／シフト量１００５４）がフレームメモリ１１４に出力される。

Offset = (1<<(Q_bit-1))
K’ = (K-mb_min＋Offset)>>Q_bit …（３−１ｂ）
このとき、例えばフレームメモリ１１４を図１１Fのように参照画像を格納するメモリ１１４aと各参照画像の各符号化単位（マクロブロック単位）ごとにどのようにビット精度を変換したかを示す情報を格納するサブメモリ１１４ｂとで構成し、サブメモリ１１４ｂには例えば代表値mb_minとシフト量Q_bitを保持しておく。

また、復号側でN+Mビット精度で得られるビット拡張復号画像信号をNビット精度に変換して復号画像信号を得る際に例えば（２）式を用いた場合を考える。このとき、 (3-1)式を用いて変換した（N＋M−L)ビット精度の局部復号画像信号をフレームメモリに格納し、(3-1)式の逆の手順でフレームメモリからビット精度がN+Mビットに拡張された局部復号画像信号を読み出すと、得られるN+Mビット精度の局部復号画像信号がN+M-Lビットに変換される前の局部復号画像信号を直接（２）式で変換した場合と異なる値が算出される場合がありうる。このことを考慮した変換式が以下の(3-2)-(3-6)式となる。

まず、ダイナミックレンジ算出部１００５１部において、例えばマクロブロック単位などの任意の符号化単位ごとに、局部復号画像信号１１２内の画素値の最大値mb_maxと最小値mb_minを求め、そのダイナミックレンジD=(mb_max-mb_min)を求める。

次に、シフト量／代表値算出部１００５２において、ダイナミックレンジＤに応じて縮小する仮のビット数Q_bitとQ_bitでシフト演算を行う際に用いるオフセット値Offsetを（3−2）式を用いて算出する。

mb_min = INT(mb_min>>L)
D = mb_max-(mb_min<<L)
Q_bit = log2(D) − (N+M-L-1)
Offset = (1<<(Q_bit-1)) …（３−２）
次に、Q_bitの値が0かLでない場合に、以下の条件式（３−３）を満たすかどうかを判定する。

D＋Offset > (1<<N+M-L+Q_bit) −1−Offset ) …（３−３）
ここで、（3−3）の不等式を満たさない場合は、（3−4）式に示すとおり、Q_bitを１加算し、改めてオフセット値Offsetの再計算を行う。

Q_bit = Q_bit+1
Offset = (1<<(Q_bit-1)) …（３−４）
なお、Q_bitの値が0かLの場合は（3−2）式のQ_bitとOffsetをそのまま用いる。

最後に、画素ビット精度変換器１００５３において、ビット拡張復号画像信号のある画素の値がKであった場合、Ｌビット（L>0）縮小した後の画素値K’は例えば以下のように計算され、変換された局部復号画像信号１１２が、代表値mb_min,シフト量Q_bit（代表値／シフト量１００５４）がフレームメモリに出力される。

・Q_bitが0かLの場合
K’ = (K − (min_mb<<L) + Offset) >> Q_bit …（３−5）
・Q_bitが0かLでない場合
K’ = (K − (min_mb<<L) + 2*Offset) >> Q_bit …（３−６）
このとき、（３−１）式を用いた場合と同様に、フレームメモリ１１４は、各フレームの各符号化単位ごとにどのようにビット精度を変換したかを示す情報を記憶するサブメモリ持ち、ここに例えば代表値mb_minとシフト量Q_bitを保持しておく。

以上のように（３−１）や（３−２）〜（３−６）式を用いてマクロブロックなどの符号化単位ごとの各画素のダイナミックレンジを考慮して、各画素値をLビット小さな値に縮小変換した場合、（３）式のように単純にLビット小さな値に縮小変換した場合と比較して、縮小時のシフト演算によって生じる丸め誤差を小さく抑えることができ、参照画像信号をより精度を保った状態でフレームメモリに保存することが可能となる。

上記実施形態では、代表値を画素値の最小値mb_minとしたが、他の値であってもよく、画素値の最大値mb_maxと最小値mb_minによって決まる値であってもよい。

逆に、各画素の値を（−Ｌ）ビット大きな値に拡大変換する場合には、例えば、ビット拡張復号画像信号のある画素の値がKであった場合、（−Ｌ）ビット拡張した後の画素値K’は例えば以下のように計算される。
Ｋ’＝Ｋ << （−Ｌ） …（４）
ここで、拡大するビット数Lは０＜（−Ｌ）を満たす整数である。ビット長を拡大した結果、局部復号画像信号１１２の各画素のビット長は（N＋M−L)ビットとなる。 図１２に画素ビット長変換器１００５の構成例を示す。入力されたＮビット精度の画像信号１００はビット長拡張情報１００３に基づいてスイッチＥ３によって、各画素のビット長を拡張するかどうかを選択される。スイッチＥ３は拡張を行う場合は、ＯＮ側に、拡張を行わない場合はＯＦＦ側に接続する。スイッチＥ３をＯＮとした場合、画素ビット長変換器１００５に入力された画像信号は、画素ビット長拡張/縮小変換器E03に入力され、画素ビット長変換される。スイッチE3がOFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。このように、ビット長を縮小あるいは拡大された局部復号画像信号１１２は、フレームメモリ１１４に格納される（Ｓ５７）。フレームメモリ１１４に格納された（N＋M−L)ビット精度の局部復号画像信号１１２は、予測画像作成器１１５に入力される前に、画素ビット長変換器１００６に導かれ、Ｌ＞０の場合には各画素のビット長をLビット大きなビット精度に拡張変換する（Ｓ５８）。例えば、（N＋M−L)ビット精度の局部復号画像信号１１２のある画素の値がKであった場合、Ｌビット拡張した後の画素値K’は例えば以下のように計算される。
Ｋ’＝Ｋ << Ｌ …（５）
また、変換方法の他の手法として、図１１Cに示すように、例えばマクロブロックなどの任意の符号化単位ごとに、局部復号画像信号１１２内の画素値の最大値mb_maxと最小値mb_minを求め、そのダイナミックレンジD=(mb_max-mb_min)に応じて縮小するビット数Q_bitを（3-1）式に示す式を用いて変更した場合には、画素ビット精度変換器１００６は例えば図１１Eのような構成を用いて、シフト量／代表値読み出し部１００６１においてフレームメモリ１１４内のサブメモリ１１４ｂから、該符号化単位の代表値mb_minとシフト量Q_bit（代表値／シフト量１００５４）を読み出し、画素ビット精度変換部１００６２において、例えば以下の式を用いてビット精度をＬビット拡張した後の画素値K’を計算する。

K’ = (K<<Q_bit) + mb_min …（５−１）
また、変換方法のさらに別の手法として、（３−２）〜（３−６）式に示す式を用いて変更した場合には、シフト量／代表値読み出し部１００６１においてフレームメモリ１１４内のサブメモリから、該符号化単位のmb_minとQ_bitを読み出し、画素ビット精度変換部１００６２において、例えば以下の式を用いてビット精度をＬビット拡張した後の画素値K’を計算する。
Q_bitが0かLの場合
K’ = (K <<Q_bit ) + (mb_min<<L)
Q_bitが0かLでない場合
K’ = (K<<Q_bit) + (mb_min<<L)−(1<<(Q_bit−1))
…（５−２）
一方、Ｌ＜０の場合には、各画素のビット長を（−L）ビット小さなビット精度に縮小変換する。例えば、ビット拡張復号画像信号のある画素の値がKであった場合、（−Ｌ）ビット縮小した後の画素値K’は例えば以下のように計算される。
Ｋ’＝（Ｋ＋offset）>> （−Ｌ）
offset＝（１<<（−L−１）） …（６）
ここでの縮小変換方法は、例えば、offsetを０〜（１<<（−Ｌ））の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。画素ビット長変換器１００６は、画素ビット長変換器１００５と同様の図１２に示す構成とし、各画素のビット長を変換するかどうかの処理をフラグで切り替える制御を行ってもよい。このような変換を行うことによって、予測画像作成器１１５に出力される局部復号画像信号１１２のビット精度は、（N＋M）ビット精度となる。

フレームメモリ１１４の前後で縮小／拡大されるビット長Lは、L≦Mを満たす整数であり、かつフレームメモリ１１４の前後で縮小／拡大されるビット数が等しければよい。Ｌ＝０の場合は、フレームメモリ１１４に格納する際あるいはフレームメモリ１１４から出力する際のビット拡張／ビット縮小は行われない。画素ビット長変換器１００５および画素ビット長変換器１００６で行われる変換は、前述の数式（３）〜（６）に限るものではなく、指定のビット長だけ拡大／縮小が行われる変換であれば、どのような変換を行ってもよい。このビット数Lについても、ビット長変換制御器１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる。

予測画像作成器１１５は、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号１００及び（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２からある予測モード情報に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に（Ｎ＋Ｍ）ビット精度の入力画像信号１００と画素ビット長変換器１００５によって（Ｎ＋Ｍ）ビット精度に拡大された局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する（Ｓ５９）。この動きベクトルで補償された（Ｎ＋Ｍ）ビット精度の局部画像信号を用いて（Ｎ＋Ｍ）ビット精度の予測画像信号を作成する（Ｓ６０）。ここで生成された（Ｎ＋Ｍ）ビット精度の予測画像信号１０２は、選択された予測画像信号の動きベクトル情報／予測モード情報１１６とともに予測画像作成器１１５より出力される。

エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１６およびビット拡張情報１００３がエントロピー符号化され（Ｓ６１）、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。

次に、拡張するビット数ＭおよびＬの符号化方法について説明する。本実施形態で使用されるシンタクスの構造の例は、第１の実施形態で用いた図３と同様である。本実施形態では、拡張するビット数をシーケンスパラメータセットシンタクス（４０４）、ピクチャーパラメータセットシンタクス（４０５）、スライスレベルシンタクス（４０２）、および、マクロブロックレベルシンタクス（４０３）に含めて送信することが可能である。それぞれのシンタクスを以下で説明する。

図１３のシーケンスパラメータセットシンタクス内に示されるex_seq_bit_extention_flagは、ビット拡張を行うかどうかを示すフラグであり、当該フラグがＴＲＵＥであるときは、ビット拡張を行うか否かをシーケンス単位で切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、シーケンス内ではビット拡張は行われない。ex_seq_bit_extention_flagがＴＲＵＥのときは更に何ビット拡張を行うかを示すex_seq_shift_bitsを送信してもよい。

ex_seq_bit_extention_flagがＴＲＵＥのときは更にフレームメモリ１１４に格納される際のビット精度を示すex_framemem_bitdepthを送信してもよい。本実施形態では、例えばＮ＋Ｍ−Ｌがex_framemem_bitdepthに格納されて送信されることになる。

本実施形態では、任意の符号化単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることも可能である。この場合には、拡張するビット数をさらにピクチャーパラメータセットシンタクス（４０５）、スライスレベルシンタクス（４０２）、および、マクロブロックレベルシンタクス（４０３）に含めて送信することが可能である。

図１４のピクチャーパラメータセットシンタクス内に示されるex_pic_bit_extention_flagは、ピクチャ毎にビット拡張を行うかどうかを変更するかどうかを示すフラグである。当該フラグがＴＲＵＥであるときは、ピクチャ単位でビット拡張を行うどうかを切り替えることが可能である。一方、フラグがＦＡＬＳＥであるときは、ピクチャ毎にピクチャ単位でビット拡張を行うどうかを変更することが出来ない。ex_pic_bit_extention_flagがＴＲＵＥのときは更に何ビット拡張を行うかを示すex_pic_shift_bitsが送信される。ここで、シーケンスパラメータシンタクス内のex_seq_shift_bitsでシーケンスレベルで拡張するビット数が指定されていた場合には、ex_pic_shift_bitsを拡張するビット数として優先してもよいし、ex_seq_shift_bitsを拡張するビット数として優先してもよいし、ex_seq_shift_bits＋ex_pic_shift_bitsを拡張するビット数としてもよい。いずれを優先するかは、予め取り決めておくのが好ましい。

ピクチャーパラメータセットシンタクス内には、ex_bit_extention_in_slice_flag、ex_bit_extention_in_mb_flagというフラグが存在していてもよい。これらのフラグはそれぞれ、スライスレベル、マクロブロックレベルでビット拡張を行うかどうかを変更するフラグが存在するかどうかを示すフラグである。

図１５に示すとおり、スライスレベルシンタクス内では、ex_bit_extention_in_slice_flagがＴＲＵＥのときは、ex_slice_shift_bitsが送信され、スライス単位で拡張するビット数を切り替えて送信することが可能である。ここで、すでにシーケンスパラメータセットシンタクス、ピクチャパラメータシンタクスによって拡張するビット数Sが指定されている場合には、Sを拡張するビット数として優先してもよいし、ex_slice_shift_bitsを拡張するビット数として優先してもよいし、S+ ex_slice_shift_bitsを拡張するビット数として優先してもよい。なお、いずれを優先するかは、予め取り決めておくのが好ましい。一方、ex_bit_extention_in_slice_flagがＦＡＬＳＥの場合には、ex_slice_shift_bitsは送信されない。

図１６に示すとおり、マクロブロックレベルシンタクス内では、ex_bit_extention_in_mb_flagがＴＲＵＥのときは、ex_mb_shift_bitsが送信され、マクロブロック単位で拡張するビット数を切り替えて送信することが可能である。ここで、すでにシーケンスパラメータセットシンタクス、ピクチャパラメータシンタクス、スライスレベルシンタクスによって拡張するビット数Sが指定されている場合には、Sを拡張するビット数として優先してもよいし、ex_mb_shift_bitsを拡張するビット数として優先してもよいし、S+ ex_mb_ shift_bitsを拡張するビット数として優先してもよい。いずれを優先するかは、予め取り決めておくのが好ましい。一方、ex_bit_extention_in_mb_flagがＦＡＬＳＥの場合には、ex_slice_ shift_bitsは送信されない。

上述のように、任意の符号化単位でビット拡張を行うか否かを切り替える場合、あるいは、拡張するビット数を切り替える場合には、フレームメモリ１１４に格納される局部復号画像信号のビット精度がシーケンスパラメータセットシンタクス内に示されるex_framemem_bitdepthになるようにＬが定められる。

本実施形態においては、第１の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

次に、図１７Ａを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第２の実施形態で示した構成例（図１０Ａ）とほぼ同様の構成であるが、加算器１１１（及びループフィルタ１１３）の後段に画素ビット長縮小器２００１の代わりに画素ビット長変換器（画素ビット精度変換器）２００７を備え、フレームメモリ１１４は加算器１１１（及びループフィルタ１１３）の後段ではなく、画素ビット長変換器２００７の後段に接続され、さらに、フレームメモリ１１４の後段に画素ビット長変換器２００８が接続されている点が異なる。

図１７Ｂのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図１１Ａの画像符号化装置によって符号化された符号化データ１１７が入力されると（Ｓ７１）、エントロピー復号化器２００において、符号化データ１１７がエントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報１０７、動きベクトル／予測モード情報１１６、ビット拡張情報２００４が得られる（Ｓ７２）。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて（Ｎ＋Ｍ）ビット精度の残差信号２０１に変換される（Ｓ７３）（Ｓ７４）。

エントロピー復号化器２００から出力されたビット拡張情報２００４は、ビット長変換制御器２００２に入力されると、復号画像が何ビット拡張されているかを示すビット数Ｍと、フレームメモリに格納される際に縮小するビット数Ｌを示すビット変換情報２００３をビット長変換制御器２００２から出力する。

画素ビット長変換器２００８は、後述の手順でフレームメモリ１１４に格納された（Ｎ＋Ｍ−Ｌ）ビット精度の復号画像信号２０２に対し、ビット変換情報２００３に基づいて、例えばＬ＞０の場合には、数式（５）（５−１）（５−２）などと同等の処理を施すことによって画素ビット長をＬビット大きく拡張変換する処理を行い（Ｓ７５）、Ｌ＜０の場合には、数式（６）などと同等の処理を施すことによって画素ビット長を（−Ｌ）ビット小さく縮小変換する処理を行い、（Ｎ＋Ｍ）ビット精度のビット拡張参照画像信号２０４を出力する（Ｓ７５）。なお、（５−１）や（５−２）と同様の処理を施す場合、画素ビット長変換器２００８の構成を図１１Dと同様の構成としてもよい。またフレームメモリ１１４を例えば図１１Fと同様の構成としてもよい。

動きベクトル／予測モード情報１１６は予測画像作成器１１５に入力され、上記（Ｎ＋Ｍ）ビット精度のビット拡張参照画像信号２０４から動きベクトル／予測モード情報１１６に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号１０２が生成される（Ｓ７７）。（Ｎ＋Ｍ）ビット精度の残差信号２０１と（Ｎ＋Ｍ）ビット精度の予測画像信号１０２は、加算器１１１によって加算される。加算された信号は、ループフィルタ１１３で必要に応じてフィルタ処理がなされ、（Ｎ＋Ｍ）ビット精度のビット拡張復号画像信号２０３が出力される（Ｓ７８）。

ビット拡張復号画像信号２０３は、画素ビット長変換器２００７に入力され、ビット変換情報２００３に基づいて各画素の値に対し例えば数式（２）などの第１の実施形態の画像復号化装置における画素ビット長縮小器と同等の処理を施されることにより、Ｍビット小さな値に画素ビット長が縮小変換され（Ｓ７９）、画像符号化装置に入力された入力画像と同じＮビット精度の復号画像２０２を得る（Ｓ８０）。

画素ビット長変換器２００７は、図１２の構成とし、各画素のビット長を縮小するかどうかをフラグで切り替える制御を行ってもよい。

Ｍ＝Ｌの場合には、Ｎビット精度の復号画像信号２０２はそのままフレームメモリ１１４に格納される。Ｍ≠Ｌであり、Ｌ＞０の場合には、（Ｎ＋Ｍ）ビット精度のビット拡張復号画像信号２０３に対して、例えば数式（３）（３−１）（３−２）〜（３−６）と同様の処理を各画素毎に行うことで、Ｌビットだけビット長が縮小された（Ｎ＋Ｍ−Ｌ）ビット精度の復号画像を作成し、フレームメモリ１１４に格納する。逆にＬ＜０の場合には、数式（４）と同様の処理を各画素に対して行うことで、（−Ｌ）ビットだけビット長が縮小された（Ｎ＋Ｍ−Ｌ）ビット精度の復号画像を作成し、フレームメモリ１１４に格納する。なお、（３−１）や（３−２）〜（３−６）と同様の処理を施す場合、画素ビット長変換器２００７の構成を図１１Dと同様の構成としてもよい。

以上の構成によれば、予測画像信号が入力画像信号よりＭビット大きな精度をもって作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、第１、第２の実施形態と異なり、０＜Ｌ≦Ｍの場合には、フレームメモリに格納される参照画像信号を、ビット長が拡張された入力画像信号や予測画像信号より小さなビット長で格納することができ、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、フレームメモリの使用量を削減することが可能となる。

以上の構成によれば、任意の符号化単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることができ、任意の符号化単位ごとに最も符号化効率のよい拡張ビット数を選択して符号化することができるため、さらに符号化効率を高めることも可能である。

（第４の実施形態）
図１８Ａを参照して第４の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、第２の実施形態で示した構成例（図９）と比較して、入力画像に対し画素ビット長を拡大する画素ビット長拡張器を備えず、フレームメモリ１１４（及びループフィルタ１１３）の前段に画素ビット長拡張器（画素ビット精度拡張変換器）１００１を備え、予測画像作成器１１５の後段に画素ビット長縮小器（画素ビット精度縮小変換器）１００４を備える点が異なっている。

図１８Ｂのフローチャートを参照して画像符号化装置の動作を説明する。この画像符号化装置には、入力画像信号１００として例えばフレーム単位で各画素の精度が例えばＮビット精度の動画像信号が入力される（Ｓ８１）。減算器１０１により入力画像信号１００とＮビット精度の予測画像信号１０２との差分がとられ、Ｎビット精度の予測誤差信号１０３が生成される（Ｓ８２）。Ｎビット精度の予測画像信号１０２の生成方法については後述する。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換（例えば、離散コサイン変換（ＤＣＴ））が施され、直交変換器１０４では、直交変換係数情報１０５（例えば、ＤＣＴ係数情報）が得られる（Ｓ８３）。直交変換係数情報１０５は、量子化器１０６により量子化され、量子化直交変換係数情報１０７はエントロピー符号化器１０８および逆量子化器１０９に導かれる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて局部復号誤差信号に変換される。この局部復号誤差信号は加算器１１１でＮビット精度の予測画像信号１０２と加算されることにより、Ｎビット精度の局部復号画像信号１１２が生成される（Ｓ８４）。

局部復号画像信号１１２は、必要に応じてループフィルタ１１３によりフィルタ処理がなされた後、画素ビット長拡張器１００１に入力され、各画素の値をＭビット大きな値に拡張変換する（Ｓ８５）。例えば、ビット拡張復号画像信号のある画素の値がＫであった場合、Ｍビット縮小した後の画素値Ｋ’は第１の実施形態の数式（１）と同様に計算される。ビット精度が（Ｎ＋Ｍ）ビットに拡大された局部復号画像信号１１２は、フレームメモリ１１４に格納される（Ｓ８６）。フレームメモリ１１４に格納された（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２は、予測画像作成器１１５に入力される。画素ビット長拡張器１００１は、図２の構成とし、第1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

予測画像作成器１１５は、（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２からある予測モード情報に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に入力画像信号１００の各画素を（Ｎ＋Ｍ）ビット精度に拡張した画像信号と、（Ｎ＋Ｍ）ビット精度に拡大された局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する（Ｓ８７）。この動きベクトルで補償された（Ｎ＋Ｍ）ビット精度の局部画像信号を用いて（Ｎ＋Ｍ）ビット精度の拡張予測画像信号１１７を作成する（Ｓ８９）。ここで生成された（Ｎ＋Ｍ）ビット精度の拡張予測画像信号１１７は、選択された予測画像信号の動きベクトル情報／予測モード情報１１６とともに予測画像作成器１１５より出力される。

（Ｎ＋Ｍ）ビット精度の拡張予測画像信号１１７は、画素ビット長縮小器１００４に入力され、各画素のビット長がＭビット小さくなる画像信号に変換される（Ｓ９０）。この変換は、例えば第１の実施形態で示した数式（２）と同様の処理により行われる。ここで、縮小されるビット数Ｍ、および画素ビット長拡張器１００１において拡大されるビット数Ｍは、ともに同じ値であり、ビット長変換制御器１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる。画素ビット長縮小器１００４は、図８の構成とし、実施の形態１と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１６およびビット拡張情報１００３がエントロピー符号化され（Ｓ９１）、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。

拡張するビット数Ｍの符号化方法は、第１の実施形態と同様である。また、本実施形態においては、第１の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

次に、図１９Ａを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第２の実施形態で示した構成（図１０Ａ）と比較して、フレームメモリ１１４（及びループフィルタ１１３）の前段に画素ビット長拡張器２００５を備え、予測画像作成器１１５の後段に画素ビット長縮小器（画素ビット精度変換器）２００６を備える点が異なっている。

図１９Ｂのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図１８Ａの画像符号化装置によって符号化された符号化データ１１７が入力されると（Ｓ１０１）、エントロピー復号化器２００において、符号化データ１１７がエントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報１０７、動きベクトル／予測モード情報１１６、ビット拡張情報２００４が得られる（Ｓ１０２）。量子化直交変換係数情報１０７は逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けてＮビット精度の残差信号２０１に変換される（Ｓ１０３）。エントロピー復号化器２００から出力されたビット拡張情報２００４は、ビット長変換制御器２００２に入力されると、復号画像が何ビット拡張されているかを示すビット変換情報２００３をビット長変換制御器２００２から出力する（Ｓ１０４）。

動きベクトル／予測モード情報１１６が予測画像作成器１１５に入力されると、後述の手順でフレームメモリ１１４に格納されたビット拡張復号画像信号２０３から動きベクトル／予測モード情報１１６に基づく（Ｎ＋Ｍ）ビット精度の拡張予測画像信号２０５が生成される（Ｓ１０５）。

画素ビット長縮小器２００６は、（Ｎ＋Ｍ）ビット精度の拡張予測画像信号２０５に対し、ビット変換情報２００３に基づいて、例えば数式（２）などの第１の実施形態の画像復号化装置における画素ビット縮小変換器と同等の処理を施すことによって画素ビット長をＭビット縮小変換する処理を行い（Ｓ１０６）、Ｎビット精度の予測画像信号１０２を出力する。画素ビット長縮小器２００６は、図８の構成とし、実施の形態１と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

Ｎビット精度の残差信号２０１とＮビット精度の予測画像信号１０２は加算器１１１によって加算され、縮小復号画像信号が生成される（Ｓ１０７）。縮小復号画像信号は画素ビット長拡張器２００５に入力されると、画素ビット長拡張器２００５は、ビット変換情報２００３に基づいて、例えば数式（１）などの第１の実施形態の画像符号化装置における画素ビット長拡張器で行われる処理と同等の処理を施すことによって画素ビット長をＭビット拡張する処理を行う（Ｓ１０８）。画素ビット長拡張器２００５から出力された信号は、ループフィルタ１１３で必要に応じてフィルタ処理がなされ、ビット（Ｎ＋Ｍ）ビット精度の拡張復号画像信号２０３が出力され（Ｓ１０９）、フレームメモリ１１４に格納される。画素ビット長拡張器２００５は、図２の構成とし、第1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

（Ｎ＋Ｍ）ビット精度のビット拡張復号画像信号２０３は、画素ビット長縮小器２００１に入力され、ビット変換情報２００３に基づいて各画素の値に対し例えば数式（２）などの第１の実施形態の画像復号化装置における画素ビット縮小変換器と同等の処理を施されることにより、画像符号化装置に入力された入力画像と同じＮビット精度の復号画像２０２を得る（Ｓ１１０）（Ｓ１１１）。

以上の構成によれば、予測画像信号が入力画像信号よりＭビット大きな精度をもって作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。従って、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、第１〜３の実施形態と異なり、予測誤差信号および残差信号の変換・量子化の処理を入力画像のビット精度に対応した精度で行うことが可能となり、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、変換・量子化のビット精度を削減し、演算規模を小さくすることが可能となる。

（第５の実施形態）
図２０Ａを参照して第５の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、第２の実施形態で示した構成例（図９）と比較して、入力画像に対し画素ビット長を拡大する画素ビット長拡張器を備えず、予測画像作成器１１５の前段に画素ビット長拡張器（画素ビット精度拡張変換器）１００１を備え、予測画像作成器１１５の後段に画素ビット長縮小器（画素ビット精度縮小変換器）１００４を備える点が異なっている。

図２０Ｂのフローチャートを参照して画像符号化装置の動作を説明する。この画像符号化装置には、入力画像信号１００として例えばフレーム単位で各画素の精度が例えばＮビット精度の動画像信号が入力される（Ｓ１２１）。減算器１０１により入力画像信号１００とＮビット精度の予測画像信号１０２との差分がとられ、Ｎビット精度の予測誤差信号１０３が生成される（Ｓ１２２）。Ｎビット精度の予測画像信号１０２の生成方法については後述する。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換、例えば離散コサイン変換（ＤＣＴ）が施され、直交変換器１０４では直交変換係数情報１０５、例えばＤＣＴ係数情報が得られる（Ｓ１２３）。直交変換係数情報１０５は量子化器１０６により量子化され、量子化直交変換係数情報１０７は、エントロピー符号化器１０８および逆量子化器１０９に導かれる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて局部復号誤差信号に変換される。この局部復号誤差信号は加算器１１１でＮビット精度の予測画像信号１０２と加算されることにより、Ｎビット精度の局部復号画像信号１１２が生成される（Ｓ１２４）。

Ｎビット精度の局部復号画像信号１１２は、必要に応じてループフィルタ１１３によりフィルタ処理がなされた後、フレームメモリ１１４に格納される（Ｓ１２５）。フレームメモリ１１４に格納されたＮビット精度の局部復号画像信号１１２は、画素ビット長拡張器１００１に入力され、各画素の値をＭビット大きな値に拡張変換する（Ｓ１２６）。例えば、ビット拡張復号画像信号のある画素の値がＫであった場合、Ｍビット縮小した後の画素値Ｋ’は第１の実施形態の数式（１）と同様に計算される。ビット精度が（Ｎ＋Ｍ）ビットに拡張された局部復号画像信号１１２は、予測画像作成器１１５に入力される。画素ビット長拡張器１００１は、図２の構成とし、実施の形態１と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

予測画像作成器１１５は、（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２からある予測モード情報に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に入力画像信号１００の各画素を（Ｎ＋Ｍ）ビット精度に拡張したものと、（Ｎ＋Ｍ）ビット精度に拡大された局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する（Ｓ１２７）。この動きベクトルで補償された（Ｎ＋Ｍ）ビット精度の局部画像信号を用いて（Ｎ＋Ｍ）ビット精度の拡張予測画像信号１１７を作成する（Ｓ１２８）。ここで生成された（Ｎ＋Ｍ）ビット精度の拡張予測画像信号１１７は、選択された予測画像信号の動きベクトル情報／予測モード情報１１６とともに予測画像作成器１１５より出力される。

拡張予測画像信号１１７は、画素ビット長縮小器１００４に入力され、各画素のビット長がＭビット小さくなるよう変換が施される（Ｓ１２９）。この変換は、例えば第１の実施形態の画像復号化器で示した数式（２）と同様の処理を施すことで行われる。ここで、縮小されるビット数Ｍ、および画素ビット長拡張器１００１において拡大されるビット数Ｍは、ともに同じ値であり、ビット長変換制御器１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる。画素ビット長縮小器１００４は、図８の構成とし、実施の形態１と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１６およびビット拡張情報１００３がエントロピー符号化され（Ｓ１３０）、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。

拡張するビット数Ｍの符号化方法は、第１の実施形態と同様である。本実施形態においては、第１の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

次に、図２１Ａを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第２の実施形態で示した構成例（図１０）と比較して、加算器１１１（及びループフィルタ１１３）の後段に画素ビット縮小器を備えず、加算器１１１（及びループフィルタ１１３）から復号画像信号２０２が出力されるとともに、予測画像作成器１１５の前段に画素ビット長拡張器（画素ビット精度拡張変換器）２００５を備え、予測画像作成器１１５の後段に画素ビット長縮小器（画素ビット精度縮小変換器）２００１を備える点が異なっている。

図２１Ｂのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図２０Ａの画像符号化装置によって符号化された符号化データ１１７が入力されると（Ｓ１４１）、エントロピー復号化器２００において、符号化データ１１７がエントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報１０７、動きベクトル／予測モード情報１１６、ビット拡張情報２００４が得られる（Ｓ１４２）。量子化直交変換係数情報１０７は逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けてＮビット精度の残差信号２０１に変換される（Ｓ１４３）。エントロピー復号化器２００から出力されたビット拡張情報２００４が、ビット長変換制御器２００２に入力されると、復号画像が何ビット拡張されているかを示すビット変換情報２００３をビット長変換制御器２００２から出力する（Ｓ１４４）。

画素ビット長拡張器２００５は、後述の手順でフレームメモリ１１４に格納されたＮビット精度の復号画像信号２０２に対し、ビット変換情報２００３に基づいて、例えば数式（１）などの第１の実施形態の画像符号化装置における画素ビット長拡張器で行われる処理と同等の処理を施すことによって画素ビット長をＭビット拡張変換する処理を行い、（Ｎ＋Ｍ）ビット精度のビット拡張参照画像信号２０４を出力する。画素ビット長拡張器２００５は、図２の構成とし、実施の形態１と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

動きベクトル／予測モード情報１１６は予測画像作成器１１５に入力され、上記（Ｎ＋Ｍ）ビット精度のビット拡張参照画像信号２０４から動きベクトル／予測モード情報１１６に基づく（Ｎ＋Ｍ）ビット精度の拡張予測画像信号２０５が生成される（Ｓ１４５）。画素ビット長縮小器２００１は、（Ｎ＋Ｍ）ビット精度の拡張予測画像信号２０５に対し、ビット変換情報２００３に基づいて、例えば数式（２）などの第１の実施形態の画像復号化装置における画素ビット縮小変換器と同等の処理を施すことによって画素ビット長をＭビット縮小変換する処理を行い、Ｎビット精度の予測画像信号１０２を出力する（Ｓ１４６）。画素ビット長縮小器２００１は、図８の構成とし、実施の形態１と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

Ｎビット精度の残差信号２０１とＮビット精度の予測画像信号１０２は加算器１１１によって加算される。加算された信号は、ループフィルタ１１３で必要に応じてフィルタ処理がなされ、Ｎビット精度の復号画像信号２０２が出力され（Ｓ１４７）、フレームメモリ１１４に格納される。ここで得られる復号画像信号２０２は、画像符号化装置に入力された入力画像と同じＮビット精度となる。

以上の構成によれば、予測画像信号が入力画像信号よりＭビット大きな精度をもって作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。従って、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、フレームメモリに格納される参照画像信号を、ビット長が拡張された入力画像信号や予測画像信号より小さなビット長で格納することができる。故に、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、フレームメモリの使用量を削減することが可能となる。さらに、予測誤差信号および残差信号の変換・量子化の処理を入力画像のビット精度に対応した精度で行うことが可能となる。これにより、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、変換・量子化のビット精度を削減し、演算規模を小さくすることが可能となる。

第２から第５の実施形態においては、予測画像作成器１１５を図２２のような構成とすることも可能である。図２２に示すエンコーダ側の予測画像作成器１１５によると、フレーム内予測器Ｂ１０１は、フレームメモリ１１４内のフレーム内で既に符号化された領域の局部復号画像信号１１２からフレーム内予測に基づく予測画像信号を作成する。一方、フレーム間予測器Ｂ１０３は、動きベクトル検出器Ｂ１０２で検出された動きベクトルに基づいてフレームメモリ１１４内の局部復号画像信号１１２に対して動き補償を施す。適応フィルタ情報生成部Ｂ１０４で入力画像信号１０１と局部復号画像信号１１２と動きベクトルから生成された適応フィルタ情報を用いたフレーム間予測に基づく予測画像信号１０２を作成する。

フレーム内予測器Ｂ１０１はＭ個（Ｍは複数）のフレーム内予測モードを有し、フレーム間予測器Ｂ１０３はＮ個（Ｎは複数）のフレーム間予測モードを有する。フレーム間予測器Ｂ１０３及びフレーム内予測器Ｂ１０１の出力に、モード判定器Ｂ１０５が接続される。モード判定器Ｂ１０５は、Ｎ個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、あるいはＭ個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号１０２を出力する。

動きベクトル／予測モード情報／適応フィルタ情報１１６、すなわち動きベクトル検出器Ｂ１０２から出力される動きベクトルとモード判定器によって選択された予測モードを示す予測モード情報と適応フィルタ情報１１６は、エントロピー符号化器１１７に送られ、符号化データ１１７に含めて復号側に送信される。動きベクトルと適応フィルタ情報は、フレーム間予測モードが選択された場合にのみ動きベクトル検出器Ｂ１０２から出力される。

図２３を参照してデコーダ側の予測画像作成器１１５を説明する。この予測画像作成器１１５によると、切り替え器Ｂ２０１は、予測モード情報１１６に基づき予測器を選択する。フレーム内予測器Ｂ２０２は、選択された場合、フレームメモリ１１４内のフレーム内で既に符号化された領域の復号画像信号２０３からフレーム内予測に基づく予測画像信号１０２を作成する。一方、フレーム間予測器Ｂ２０３は、選択された場合、動きベクトルに基づいてフレームメモリ１１４内の復号画像信号２０３に対して動き補償を施し、適応フィルタ情報１１６を用いたフレーム間予測に基づく予測画像信号１０２を作成する。

図２４は、フレーム間予測器Ｂ１０３の構成例を示している。フレーム間予測器Ｂ１０３では、動きベクトルと局部復号画像信号と適応フィルタ係数情報からフレーム間予測画像信号１０２を生成する。整数画素重み／オフセット補正部Ｂ３０１では、整数画素値のいわゆる重みつき予測を行うための処理を行う。具体例としては、以下の数式（７）にしたがって、整数画素の予測画像信号１０２を作成する。

Ｙ＝（Ｗ×Ｘ＋（１＜＜（Ｌ−１））＞＞Ｌ）＋Ｏ （７）
ここで、Ｗが重み係数、Ｌはシフト係数、Ｏはオフセット係数で、適応フィルタ係数情報に含まれるものである。画素値Ｘに対して数式（７）に基づく処理を行いＹの値に変換することにより、輝度の補正や色の補正が可能となる。

数式（８）は、双方向予測を行う場合の重み／オフセット処理の例である。

Ｙ＝（Ｗ_１×Ｘ_１＋Ｗ_２×Ｘ_２ ＋（１＜＜（Ｌ−１））＞＞Ｌ）＋（（Ｏ_１＋Ｏ_２）＞＞１）
（８）
ここで、画素値Ｘ_１に対する重み係数がＷ_１、オフセット係数がＯ_１、画素値Ｘ_２に対する重み係数がＷ_２、オフセット係数がＯ_２、Ｌはシフト係数で、適応フィルタ係数情報に含まれるものである。画素値Ｘ_１、Ｘ_２に対して数式Ｂ２の処理を行いＹの値に変換することにより、輝度の補正や色の補正が可能となる。

適応フィルタ情報１１６により、重み／オフセット補正処理を行う必要がない場合は、スイッチＢ３０１を切り替えて、小数点画素適応補間画像を作成する。

本発明では、入力画像信号の画素ビット長よりも符号化／復号化処理のビット長が長く設定されるため、重み／オフセット補正処理の計算精度が確保でき、より精度の高い重み／オフセット補正を行うことが可能となる。

小数画素適応補間画像作成部Ｂ３０３では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号１０２を生成する。この処理に関しても、本発明では、入力画像信号の画素ビット長よりも符号化／復号化処理のビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い小数点画素値を得ることが可能となる。

図２５は、フレーム間予測器Ｂ１０３の別の構成例を示している。同様にこのフレーム間予測器では、動きベクトルと局部復号画像信号と適応フィルタ係数情報からフレーム間予測画像信号１０２を生成する。小数画素適応補間画像作成部Ｂ４０１では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号１０２を生成する。

本実施形態では、入力画像信号の画素ビット長よりも符号化／復号化処理のビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い小数点画素値を得ることが可能となる。

重み／オフセット補正部Ｂ４０３では、予測画像信号の画素値のいわゆる重みつき予測を行うための処理を行う。具体的な例としては、上記の数式（７）あるいは数式（８）にしたがって、予測画像信号１０２を作成する。

本実施形態では、入力画像信号の画素ビット長よりも符号化／復号化処理のビット長が長く設定されるため、重み／オフセット補正処理の計算精度が確保でき、より精度の高い重み／オフセット補正を行うことが可能となる。

図２６は、フレーム間予測器の別の構成例を示している。このフレーム間予測器では、動きベクトルと再生画像信号と適応フィルタ係数情報からフレーム間予測画像信号を生成する。これによると、動きベクトルが小数点画素位置を示していた場合、スイッチＢ５０１は小数画素適応補間／オフセット補正画像作成部Ｂ５０２に接続され、再生画像信号は小数画素適応補間／オフセット補正画像作成部Ｂ５０２によって処理される。整数画素を示していた場合、スイッチＢ５０１は整数画素重み／オフセット補正画像作成部Ｂ５０３に接続され、再生画像信号は整数画素重み／オフセット補正画像作成部Ｂ５０３によって処理される。

小数画素適応補間／オフセット補正画像作成部Ｂ５０２では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数とオフセット補正係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号を生成する。具体的な例として、下記の片方予測を行う場合は、数式（９）、双方向予測を行う場合は、数式（１０）を用いる。

ここで、再生画像信号Xi,jに対するWi,j が、補間フィルタ係数、Oがオフセット係数、Yが予測画像信号である。

ここで、再生画像信号X⁽⁰⁾i,j に対するW⁽⁰⁾i,j は、補間フィルタ係数、O⁽⁰⁾ がオフセット係数、再生画像信号X⁽¹⁾i,j に対するW⁽¹⁾i,j は、補間フィルタ係数、O⁽¹⁾ がオフセット係数、Yが予測画像信号である。

整数画素重み／オフセット補正部B503では、予測画像信号の画素値のいわゆる重みつき予測を行うための処理を行う。具体的な例としては、上記の数式（７）あるいは数式（８）にしたがって、予測画像信号を作成する。この時のオフセット補正係数は、入力画素ビット長以上の精度の係数を用いる。

本実施形態では、入力画像信号の画素ビット長よりも符号化／復号化処理の演算ビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い予測画素値を得ることが可能となる。

本実施形態では、入力画像信号の画素ビット長よりも符号化／復号化処理のビット長が長く設定されるため、重み／オフセット補正処理の計算精度が確保でき、より精度の高い重み／オフセット補正を行うことが可能となる。

（適応ループフィルタ）
第２から第５の実施形態においては、ループフィルタ１１３を図２７のような構成とすることも可能である。

図２７はエンコーダ側のループフィルタ１１３の構成を示している。フィルタ係数決定部Ｃ１０１は、入力画像信号１０１および局部復号画像信号１１２を入力信号とし、局部復号画像信号１１２に対してフィルタ処理を施した際に例えば入力画像信号１０１と最小２乗誤差が最も小さくなるようなフィルタ係数を算出し、算出されたフィルタ係数をフィルタ処理部Ｃ１０２に出力するとともに、フィルタ係数情報Ｃ１０３としてエントロピー符号化部１０８に出力する。ここでのフィルタ係数の決定方法については、この例に限るものではなく、例えばデブロッキングフィルタとデリンギングフィルタなどの複数のフィルタをあらかじめ用意しておき、それらを適応的に切り替え、選択されたフィルタをフィルタ係数情報Ｃ１０３として出力してもよく、あるいは各フィルタを適用するかどうかを適応的に判定するなどの処理を行ってもよく、様々な態様を適用することが可能である。入力される入力画像信号１０１は、各実施の形態に応じて、ループフィルタに入力される局部画像復号信号１１２と同じ画素ビット長とした信号を用いる。

フィルタ処理部Ｃ１０２では、フィルタ係数決定部Ｃ１０１より入力されたフィルタ係数を用いて局部復号画像信号の各画素に対してフィルタ処理を施した後、フレームメモリ１１４等に出力する。

エントロピー符号化部１０８に出力されたフィルタ係数情報１０３はエントロピー符号化部１０８にてエントロピー符号化され、符号化データ１１７に含められて送信される。

図２８は復号側のループフィルタ１１３の構成例を示している。エントロピー復号化部２００より出力されたフィルタ係数情報C103を基にフィルタ処理部C102において復号画像信号の各画素に対してフィルタ処理を施す。フィルタ処理が行われた復号画像信号は各々の実施の形態に応じて、フレームメモリ１１４や画素ビット長縮小器に出力されるか、あるいは復号画像信号としてそのまま出力される。

以上の構成によれば、入力画像信号の画素ビット長よりも符号化／復号化処理のビット長が長く設定されるため、ループフィルタ１１３内で行われるフィルタ処理の計算精度が確保でき、より精度の高いループフィルタ処理を行うことが可能となる。

（プレフィルタを含む構成）
第１から第３の実施形態において、入力画像信号１０１の画素ビット長を変換する画素ビット長拡張器１００１を図２９のような構成とすることも可能である。この構成では、画素ビット長拡張器１００１に入力された入力画像信号は、第1の実施形態と同様の手順で各画素のビット長をNビットよりMビット大きな（Ｎ＋Ｍ）ビット精度に拡張する処理を行った後、フィルタ処理部７０００に導かれ、各画素に対してフィルタ処理が行われる。ここで行われるフィルタ処理は、例えばフレーム内の隣接画素にフィルタ係数を掛けた後足し合わせるような空間フィルタを用いる。空間フィルタとして、例えばイプシロンフィルタを用いたフィルタ処理部７０００が図３０に示されている。

このフィルタ処理部７０００によると、入力画素値をＰ［ｔ］，出力画素値をＱ［ｔ］とすると，ｔを画素の位置を示している。ｔの位置の画素にフィルタをかける場合には，入力画素値Ｐ［ｔ］と一時メモリＡ０４に蓄えてあったその一つ手前の出力画素値Ｑ［ｔ−１］とを加算器Ａ０１に入力し，差分ｄが求められる。この差分ｄでルックアップテーブルＡ０２を引き，Ｆ（ｄ）が決定される。この値Ｆ（ｄ）を加算器Ａ０３に入力して，入力画素値Ｐ［ｔ］から引く。この動作を数式で示すと次のようになる。

Q[t] = P[t] − F（P[t]− Q[t-1]） （１１）
関数Fは式（１２）によって表され，（int）は，0方向への整数化処理とする。

F（ｄ）= (int)(ｄ／（ｄ×ｄ／（ｕ×ｕ）＋１．０） （１２）
ｄ＝ P[t] − Q[t-1] （１３）
ルックアップテーブルＡ０２の中身は，関数Ｆで計算される値が予めテーブルとして記憶しておけばよい。例えば，画素値がｎビットならば，ｄの値は，−２^ｎ＋１〜＋２^ｎ−１となって，ルックアップテーブルは，２^ｎ＋１−１個の配列を用意しておけばよい。ここで，ｕはフィルタのパラメータで，ｕが大きいほど強くフィルタがかかる。このフィルタの演算量は，１画素のフィルタ処理に加算２回のみである。

図３１は，図３０のフィルタを使ったフィルタ処理部７０００の具体的な流れ図である。このフィルタ処理部７０００では，フレームの４方向からフィルタ処理を行う。まず，フレームの右から左のポストフィルタ処理（Ｓ１０１）を行う。次は，反対方向の左から右のポストフィルタ処理（Ｓ１０２）を行う。同様に今度は，上から下のポストフィルタ処理（Ｓ１０３）を行い，次に反対方向の下からの上のポストフィルタ処理を行う。この処理をＹＣｂＣｒそれぞれの信号に対して行う。このように互いに反対方向からフィルタ処理を行うことによって，巡回型フィルタの欠点である位相のずれを打ち消すことができる。

また、フィルタ処理として、複数のフレームの対応する画素に対してフィルタ係数を掛けた後足し合わせるような時間フィルタを用いてもよい。また、動き補償を伴う時間フィルタを施してもよい。動き補償を伴う時間フィルタは、例えば、特願２００６−３６２０６などに記載されている方法を用いる。

本構成におけるフィルタ処理はここで述べたフィルタ処理に限るわけではなく、フィルタ処理であればどのような処理を行ってもよい。また、第4および第5実施の形態については、入力画像信号１０１は画素ビット長が変換されずに符号化が行われるが、入力画像信号１０１に直接、ここで述べたプレフィルタ処理を施してから符号化を行ってもよい。

（ポストフィルタを含む構成）
第１から第５の実施形態において、画素ビット長縮小器２００１および２００７を図３２のような構成とすることも可能である。この構成では、画素ビット長拡張器２００１および２００７に入力されたビット拡張復号画像信号２００３は、フィルタ処理部７００１に入力され、各画素に対してフィルタ処理が行われた後、第1の実施形態１と同様の手順で各画素のビット長を（N＋M）ビットよりMビット小さなＮビット精度に縮小処理が行われ、Nビットの復号画像信号として出力される。ここで行われるフィルタ処理は、例えばフレーム内の隣接画素にフィルタ係数を掛けた後足し合わせるような空間フィルタを用いてもよいし、複数のフレームの対応する画素に対してフィルタ係数を掛けた後足し合わせるような時間フィルタを用いてもよい。

（可逆フィルタの構成）
本構成では、上記の画素ビット長拡張器１００１をフィルタ処理を行う構成と組み合わせ、画素ビット長拡張器１００１内のフィルタ処理部７０００で行われるフィルタ処理の逆フィルタ処理を画素ビット長縮小器２００１内のフィルタ処理部で行うことも可能である。例えば、フィルタ処理部７０００において、入力画素値として2フレーム間で対応する2点の画素値をそれぞれx, yとして、対応する出力画素値をa, bとした場合に数式（１４）に示す処理を施す。

a = (3x+y+2)>>2
b = (x+3y+2)>>2 （１４）
数式（１４）の処理は2ビットの右シフトによる除算処理を行っているが、例えば画素ビット長拡張器１００１において2ビット左シフトによる画素ビット拡張を行っている場合、数式A4で示されるフィルタ処理では丸め誤差が生じず、入力画像の情報を失わずにすむ。

一方、復号側のフィルタ処理部７００１において、入力画素として復号画像信号の2フレーム間で対応する2点の画素値をa’, b’とし、対応する出力画素値をx’, y’とした場合に数式（１５）に示す処理を施す。

x’ = (3a’-b’ +4)>>3
y’ = (3b’-a’’+4)>>3 （１５）
数式（１５）の処理は3ビットの右シフトによる除算処理を行っているが、例えば画素ビット長拡張器１００１において2ビット左シフトによる画素ビット拡張を行っている場合、数式（１４）で示されるフィルタ処理と同様に丸め誤差が発生しない。即ち、符号化と復号化の処理によって生じる量子化誤差が０と仮定すると、数式（１４）および数式（１５）によるフィルタと逆フィルタは、可逆なフィルタとなる。数式（１４）は2フレーム間の対応する2点の画素値をそれぞれ近づける処理を行うため、動き補償が予測をよりあたりやすく、予測残差が小さくなる。従って符号量を削減することが可能となる。さらに、画素ビット拡張をおこなっていることにより、量子化誤差を除けば復号側で元の入力画像に戻すフィルタ処理を行うことが可能となるため、符号化効率を高めることが可能である。

フィルタ処理部７０００および７００１において用いるフィルタはここで述べた例に限定されるものではなく、どのようなフィルタを用いてもよい。もちろん、画素ビット拡張部１００１において拡張されるビット数Mに応じた可逆フィルタを用いることでさらに予測などの精度を高めることが可能であることは言うまでもない。また、ここで述べた例では2フレーム間で対応する2点をフィルタ処理の対象としたが、この例に限定されるものではなく、例えば2フレーム以上のフレームの画素を用いてもよい。また、1フレーム内の隣接する2点や2点以上の複数の点の画素をフィルタ処理の対象としてもよい。更に、インタレース画像においてトップフィールドとボトムフィールドの対応する2点の画素値をフィルタ処理の対象とするなど、様々な形態のフィルタ処理を用いることが可能である。

フィルタ処理部７０００および７００１において用いた可逆フィルタの係数をエントロピー符号化部１０８に出力し、符号化データ１１７に含めることも可能である。このようにすることで、フレームごとに予測などの精度を高める効果が高いフィルタ係数を選択して符号化を行うことができる。

（第６の実施形態）
図３３Ａを参照して第６の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。

この画像符号化装置は、第２の実施形態で示した構成例（図９）とほぼ同様の構成であるが、画素ビット長拡張器１００１の後段に透かし情報埋め込み器３０００を備える点が異なっている。

図３３Ｂのフローチャートを参照して画像符号化装置の動作を説明する。この画像符号化装置には、画像信号１００として例えばフレーム単位で動画像信号が入力される（Ｓ１５１）。画素ビット長拡張器（画素ビット精度変換器）１００１は、第２の実施形態と同様の処理を行うことにより、入力されたＮビット精度の画像信号１００の各画素の値について、ＮビットよりＭビット大きな（Ｎ＋Ｍ）ビット精度に拡張する処理を行う（Ｓ１５２）。拡張されたビット数Ｍは、ビット長変換制御器（ビット精度変換制御器）１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる。

ビット長が拡張された入力画像信号１００は透かしデータ埋め込み器３０００に入力されると、あらかじめ設定されたパラメータに基づいて生成されたデータ列が入力画像信号１００の各画素の例えば下位ビットに埋め込まれる（Ｓ１５３）。ここで、生成されたデータ列は拡張されたビット長であるMビット以下の語長とする。

データ列が埋め込まれた入力画像１００は減算器１０１に導かれると、減算器１０１により、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号１００と（Ｎ＋Ｍ）ビット精度で作成された予測画像信号１０２との差分が求められる。これにより、（Ｎ＋Ｍ）ビット精度の予測誤差信号１０３が生成される（Ｓ１５４）。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換（例えば、離散コサイン変換（ＤＣＴ））が施され、直交変換器１０４では、直交変換係数情報１０５（例えば、ＤＣＴ係数情報）が得られる（Ｓ１５５）。直交変換係数情報１０５は、量子化器１０６により量子化され、量子化直交変換係数情報１０７が、エントロピー符号化器１０８および逆量子化器１０９に導かれる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて予測誤差信号と同様の信号、即ち局部復号誤差信号が生成される。この局部復号誤差信号が、加算器１１１で（Ｎ＋Ｍ）ビット精度の予測画像信号１０２と加算されることにより、（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２が生成される（Ｓ１５６）。（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２は、必要に応じてループフィルタ１１３によりフィルタ処理がなされた後、フレームメモリ１１４に格納される。フレームメモリ１１４に格納された局部復号画像信号１１２は、予測画像作成器１１５に入力される。

予測画像作成器１１５は、（Ｎ＋Ｍ）ビット精度にビット長が拡張された入力画像信号１００及び（Ｎ＋Ｍ）ビット精度の局部復号画像信号１１２からある予測モード情報に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に（Ｎ＋Ｍ）ビット精度の入力画像信号１００と画素ビット長変換器１００５によって（Ｎ＋Ｍ）ビット精度に拡大された局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する（Ｓ１５７）。この動きベクトルで補償された（Ｎ＋Ｍ）ビット精度の局部画像信号を用いて（Ｎ＋Ｍ）ビット精度の予測画像信号を作成する（Ｓ１５７）。ここで生成された（Ｎ＋Ｍ）ビット精度の予測画像信号１０２は、選択された予測画像信号の動きベクトル情報／予測モード情報１１６とともに予測画像作成器１１５より出力される。

エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１６およびビット拡張情報１００３がエントロピー符号化され（Ｓ１５９）、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。

本実施形態においては、第１の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

次に、図３４Ａを参照して、本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第２の実施形態で示した構成例（図１０）とほぼ同様の構成であるが、ループフィルタ１１３と画素ビット長縮小器２００１（画素ビット精度変換器）の間に透かし検出器３００２が接続されている点が異なる。

図３４Ｂのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図１１Ａの画像符号化装置によって符号化された符号化データ１１７が入力されると（Ｓ１６１）、エントロピー復号化器２００において、符号化データ１１７がエントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報１０７、動きベクトル／予測モード情報１１６、ビット拡張情報２００４が得られる（Ｓ１６２）。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて（Ｎ＋Ｍ）ビット精度の残差信号２０１に変換される（Ｓ１６３）。エントロピー復号化器２００から出力されたビット拡張情報２００４は、ビット長変換制御器２００２に入力された後、復号画像が何ビット拡張されているかを示すビット数Ｍを示すビット変換情報２００３を出力する。

動きベクトル／予測モード情報１１６は予測画像作成器１１５に入力され、上記（Ｎ＋Ｍ）ビット精度のビット拡張参照画像信号２０４から動きベクトル／予測モード情報１１６に基づく（Ｎ＋Ｍ）ビット精度の予測画像信号１０２が生成される（Ｓ１６４）。（Ｎ＋Ｍ）ビット精度の残差信号２０１と（Ｎ＋Ｍ）ビット精度の予測画像信号１０２は、加算器１１１によって加算される。加算された信号は、ループフィルタ１１３で必要に応じてフィルタ処理がなされ、（Ｎ＋Ｍ）ビット精度のビット拡張復号画像信号２０３が出力される（Ｓ１６５）。

ビット拡張復号画像信号２０３は、フレームメモリ１１４に格納されるとともに、すかし検出部３００２に入力される。すかし検出部３００２では、ビット拡張復号画像２０３の各画素の例えば下位ビットが埋め込まれた透かしデータであるかどうかの判定を行い、透かしデータを含むかどうかを示す透かし検出情報３００３を出力する（Ｓ１６６）。透かしデータであるかどうかの判定は、例えばあらかじめ既知の透かしパターンと、ビット拡張復号画像２０３の例えば下位Ｍビットの相関係数を計算し、その値が一定の閾値以上であった場合は透かしデータであると判定するなどの方法を用いて行う。

ビット拡張復号画像信号２０３は、画素ビット長変換器２００７に入力され、ビット変換情報２００３に基づいて各画素の値に対し例えば数式（２）などの第１の実施形態の画像復号化装置における画素ビット長縮小器と同等の処理を施されることにより、Ｍビット小さな値に画素ビット長が縮小変換され（Ｓ１６７）、画像符号化装置に入力された入力画像と同じＮビット精度の復号画像２０２を得る（Ｓ１６８）。

以上の構成によれば、予測画像信号が入力画像信号よりＭビット大きな精度をもって作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、拡張した下位ビットを利用して透かし情報を埋め込むことで、入力画像信号を変化させずに透かし情報を埋め込むことが可能となる。

第２〜６の実施形態において、拡張あるいは縮小を行うビット数Ｍはビット拡張情報としてエントロピー符号化されて符号化データに含められているが、画像符号化装置と画像復号化装置であらかじめ決まった数だけビット長を拡張あるいは縮小する場合には、必ずしもビット数Ｍを符号化データに含める必要はない。また、あらかじめ決まった数だけビット長を拡張あるいは縮小する場合には、拡張あるいは縮小を行うかどうかを示すフラグだけを符号化データに含めることも可能である。この場合、フラグがTRUEの場合には、第２〜第６の実施形態内の画素ビット長拡張器１００１あるいは画素ビット長縮小器２００１あるいは画素ビット長変換器２００７においてスイッチがON側に接続される。一方、フラグがFALSEの場合には、スイッチがOFF側に接続される。

第２、第３の実施形態において局部復号画像信号をフレームメモリに格納する際に縮小するビット数Ｌについては、Ｍと同じ値である場合は必ずしもＬを符号化データに含める必要はない。また、Ｍ、Ｌが同じ値であっても異なる値であっても、あらかじめ決まった数である場合には、必ずしもビット数Ｍ、Ｌを符号化データに含める必要はない。

入力画像や局部復号画像信号および復号画像の画素ビット長を拡張するということは、符号化・復号化の処理過程の整数演算の演算精度を向上させていることに等しい。処理過程の任意の箇所の演算精度を可変とし、それらの演算精度を示すフラグあるいは情報を符号化データに含めることも可能である。例えば、第２〜第５の実施形態を組み合わせ、符号化・復号化の処理過程において、フレームメモリに格納される画素ビット精度を拡張するか否かを示すフラグと、直交変換／量子化に入力される予測残差の画素ビット長を拡張するかどうか、すなわち直交変換／量子化の演算精度を拡張するか否かを示すフラグを符号化データに含めておく。これらのフラグのON／OFFに応じて，符号化装置および復号装置でフレームメモリに格納される画素ビット精度を拡張するか否かや、直交変換／量子化に入力される予測残差の画素ビット長を拡張するかどうかを切り替えてもよい。さらには、これらのフラグがONとなっている場合には、何ビット拡張／あるいは縮小するかを示すデータを符号化データに含めてもよい。また、これらの符号化・復号化の処理の一過程の演算精度を拡張するかどうかを示すフラグや拡張するビット数を示すデータは、ここで示したフレームメモリや直交変換・量子化だけを対象とするものではなく、例えばループフィルタに対するフラグや拡張ビット数を示すデータを追加してもよい。処理が符号化・復号化の処理過程の一部であれば、その処理、あるいは複数の処理を１つにまとめて、それぞれに対して演算精度を拡張するかどうかを示すフラグや拡張ビット数を示すデータを設定して符号化データに含めてもよい。

（第7の実施形態）
図３５Ａを参照して第7の実施形態の画像符号化装置の構成を説明する。この実施形態は基本的には図１１の実施形態と同様な構成を持つが、予測画像作成部１１５と減算器１０１との間に画素ビット長縮小器（画素ビット精度縮小変換器）１００４が設けられ、加算器１１１とループフィルタ１１２との間に画素ビット長拡張器（画素ビット精度拡張変換器）１００７が設けられている点が図１１の実施形態と異なっている。

図３５Ｂのフローチャートを参照して画像符号化装置の動作を説明する。この画像符号化装置には、画像信号１００として例えばフレーム単位で動画像信号が入力される（Ｓ１７１）。画素ビット長拡張器１００１は図２の構成とし、ビット変換情報１０１０に含まれている後述のシンタクス情報に基づく制御フラグＦ１００１に基づいて、入力されたＮビット精度の画像信号１００の各画素の値が、ＮビットよりＭビット大きな（Ｎ＋Ｍ）ビット精度に拡張するかどうかを判定する（Ｓ１７２）。ここで、制御フラグＦ１００１がＯＮの場合は、画素ビット長拡張器１００１内のスイッチＥ０をＯＮに設定し、局部復号画像信号１１２の各画素のビット長を、第1の実施形態における画素ビット長変換器１００１で行われる処理と同様の処理によって拡張する（Ｓ１７３）。例えば、入力画像信号のある画素の値がＫであった場合、Ｍビット拡張した後の画素値Ｋ’は例えば数式（１）や数式（１−１），（１−２），（１−３）などの処理によって計算される。

制御フラグＦ１００１がＯＦＦの場合には、スイッチＥ０がＯＦＦ側に接続され、各画素のビット長を拡張する処理は行わない。拡張されるビット数Ｍなどの変換情報は、ビット長変換制御器１００２によりビット拡張情報１００３としてエントロピー符号化器１０８に導かれる。

減算器１０１により、入力画像信号１００と予測画像信号１０２との差分がとられ、予測残差信号１０３が生成される（Ｓ１７４）。生成された予測誤差信号１０３に対して、直交変換器１０４により直交変換（例えば、離散コサイン変換（ＤＣＴ））が施され、直交変換器１０４では、直交変換係数情報１０５（例えば、ＤＣＴ係数情報）が得られる（Ｓ１７５）。直交変換係数情報１０５は、量子化器１０６により量子化され、量子化直交変換係数情報１０７は、エントロピー符号化器１０８および逆量子化器１０９に導かれる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて予測誤差信号と同様の信号、即ち局部復号誤差信号に変換される。この局部復号誤差信号は加算器１１１で予測画像信号１０２と加算されることにより、局部復号画像信号１１２が生成される（Ｓ１７６）。局部復号画像信号１１２は、画素ビット長拡張器１００７に入力され、ビット変換情報１０１０に含まれている後述のシンタクス情報に基づく制御フラグＦ１００７に基づいて、局部復号画像信号１１２の各画素のビット長を拡張するかどうかを判定する（Ｓ１７７）。制御フラグＦ１００７がＯＮの場合には、画素ビット長拡張器１００７内のスイッチＥ０をＯＮに設定し、局部復号画像信号１１２の各画素のビット長を、第4の実施形態における画素ビット長変換器１００７で行われる処理と同様の処理によって拡張する（Ｓ１７８）。制御フラグＦ１００７がＯＦＦの場合には画素のビット長を拡張する処理は行わない。

画素ビット長拡張器１００７から出力された局部復号画像信号１１２は必要に応じてループフィルタ１１３によりフィルタ処理がなされた後、画素ビット長変換器１００５に入力される。画素ビット長変換器１００５では、ビット変換情報１０１０に含まれている後述のシンタクス情報に基づく制御フラグＦ１００５に基づいて、局部復号画像信号１１２の各画素のビット長を変換するかどうかを判定する（Ｓ１７９）。ここで、制御フラグＦ１００５がＯＮの場合には、画素ビット長拡張器１００５内のスイッチＥ３をＯＮに設定し、局部復号画像信号１１２の各画素のビット長を、第3の実施形態における画素ビット長変換器１００５で行われる処理と同様の処理によって拡張する（Ｓ１８０）。制御フラグＦ１００５がＯＦＦの場合には画素のビット長を変換する処理は行わない。画素ビット長変換器１００５から出力された局部画像信号１１２は、フレームメモリ１１４に格納される（Ｓ１８１）。フレームメモリ１１４に格納された局部画像信号は、さらに、画素ビット長変換器１００６に入力される。画素ビット長変換器１００６では、ビット変換情報１０１０に含まれている後述のシンタクス情報に基づく制御フラグＦ１００６に基づいて、局部復号画像信号１１２の各画素のビット長を変換するかどうかを判定する（Ｓ１８２）。ここで、制御フラグＦ１００６がＯＮの場合には、画素ビット長拡張器１００６内のスイッチＥ３をＯＮに設定し、局部復号画像信号１１２の各画素のビット長を、第3の実施形態における画素ビット長変換器１００６で行われる処理と同様の処理によって拡張する（Ｓ１８３）。制御フラグＦ１００６がＯＦＦの場合には画素のビット長を変換する処理は行わない。画素ビット長変換器１００６から出力される局部復号画像信号１１２は、予測画像作成器１１５に入力される。

予測画像作成器１１５は、入力画像信号１００及びフレームメモリ１１４に格納された局部復号画像信号１１２から、ある予測モード情報に基づく予測画像信号を生成する（Ｓ１８４）。この際、加算器１１１からの局部復号画像信号１１２はフレームメモリ１１４に一旦蓄えられ、フレーム内のブロック毎に入力画像信号１００とフレームメモリ１１４に蓄えられた局部復号画像信号１１２との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出し、この動きベクトルで補償された局部画像信号を用いて予測画像信号を作成する。ここで生成された予測画像信号１０２は、選択された予測画像信号の動きベクトル情報／予測モード情報１１６とともに予測画像作成器１１５より出力される。

予測画像信号作成器１１５から出力された予測画像信号１０２は画素ビット長縮小器１００４に入力される。画素ビット長縮小器１００４では、ビット変換情報１０１０に含まれている後述のシンタクス情報に基づく制御フラグＦ１００４に基づいて、予測画像信号１０２の各画素のビット長を変換するかどうかを判定する（Ｓ１８５）。制御フラグＦ１００４がＯＮの場合には、画素ビット長拡張器１００４内のスイッチＥ２をＯＮに設定し、予測画像信号１０２の各画素のビット長を、第4の実施形態と同様の処理によって縮小する（Ｓ１８６）。制御フラグＦ１００４がＯＦＦの場合には画素のビット長を変換する処理は行わない。

エントロピー符号化器１０８では、量子化直交変換係数情報１０７、動きベクトル情報／予測モード情報１１６およびビット拡張情報１００３がエントロピー符号化され（Ｓ１８７）、これによって生成された符号化データ１１７は、図示しない伝送系または蓄積系へ送出される。

次に、ビット長の拡張・縮小・変換を行うかどうかを制御する制御フラグの符号化方法について説明する。

本実施形態では、ビット長の拡張・縮小・変換を行うかどうかを制御する制御フラグや拡張するビット数をシーケンスパラメータセットシンタクス（４０４）に含めて送信することが可能である。それぞれのシンタクスを以下で説明する。

図３６のシーケンスパラメータセットシンタクス内に示されるex_seq_all_bit_extention_flagは、ビット拡張を行うかどうかを示すフラグであり、当該フラグがTRUEであるときは、符号化および復号化の内部のデータパスすべてにおいて、各画素のビット長が拡張されたデータを用いて符号化および復号化を行うことを示す。フラグがFALSEであるときは、このフラグは、符号化および復号化の内部のデータパスのすべてにおいて各画素のビット長が拡張された画像信号を用いて符号化・復号化を行わないか、一部のデータパスでのみ、各画素のビット長が拡張された画像信号を用いて符号化・復号化が行われることをしめす。ex_seq_bit_extention_flagがTRUEのときは、更に何ビット拡張を行うかを示すex_seq_shift_bitsをさらに送信してもよい。

ex_seq_all_bit_extention_flagがFALSEのときには、さらに符号化および復号化内部における、予測画像作成部に入力される画像信号の画素ビット長を拡張するかどうかを示すフラグeex_seq_partial_bit_extention_flagをさらに送信してもよい。当該フラグがTRUEの場合は、符号化・復号化内部処理における、予測画像作成時に各画素のビット長が拡張された画像信号を用いることを示す。一方、フラグがFALSEであるときは、このフラグは、符号化および復号化の内部のデータパスのすべてにおいて各画素のビット長が拡張された画像信号を用いないことを示す。ex_seq_partial_bit_extention_flagがTRUEのときには、さらに、予測画像作成部１１２に入力される画像信号の画素ビット長を、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示すex_seq_partial_shift_bitsを送信してもよい。

ex_seq_partial_bit_extention_flagがTRUEのときには、さらに符号化・復号化内部のデータパスのある一部分で各画素のビット長が拡張された画像信号を用いるかを示すフラグを送信してもよい。図３６に示した例では、フレームメモリ１１４に格納する参照画像信号の画素ビット長を拡張するかどうかを示すフラグex_seq_framemem_bit_extention_flag、および直交変換部と量子化部（直交変換器１０４、量子化器１０６、逆量子化器１０９および逆直交変換器１１０）に入力あるいは出力される予測残差信号の画素ビット長を拡張するかどうかを示すフラグex_seq_trans_and_quant_bit_extention_flagを送信している。

ex_seq_framemem_bit_extention_flagがTRUEの場合には、このフラグはフレームメモリに格納する参照画像信号の画素ビット長を拡張することを示す。フラグがFALSEの場合には、それはフレームメモリに格納する参照画像信号の画素ビット長を入力画像と同じ画素ビット長とすることを示す。ex_seq_framemem_bit_extention_flagがTRUEの場合にはさらに、フレームメモリに格納される画像信号の画素ビット長を、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示すex_seq_framemem_shift_bitsを送信してもよい。

ex_seq_trans_and_quant_bit_extention_flagがTRUEの場合には、このフラグは直交変換部と量子化部（直交変換器１０４、量子化器１０６、逆量子化器１０９および逆直交変換器１１０）に入力あるいは出力される予測残差信号の画素ビット長が拡張されていることを示す。すなわち、入力画像信号と予測画像信号の各画素のビット長が拡張されており、予測残差信号は、各画素のビット長が拡張された入力画像信号と予測画像信号の差分信号であることを示している。

当該フラグがFALSEの場合には、このフラグは直交変換部と量子化部（直交変換器１０４、量子化器１０６、逆量子化器１０９および逆直交変換器１１０）に入力あるいは出力される予測残差信号が入力画像信号と同じビット精度の予測画像信号と入力画像信号の差分信号であることを示す。

ex_seq_trans_and_quant_bit_extention_flagがTRUEの場合にはさらに、直交変換部と量子化部（直交変換器１０４、量子化器１０６、逆量子化器１０９および逆直交変換器１１０）に入力あるいは出力される予測残差信号の生成時における、入力画像信号と予測画像信号の画素ビット長が、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示すex_seq_trans_and_quant_shift_bitsを送信してもよい。

符号化側と復号化側において、各フラグがTRUEであった場合に、何ビット拡張あるいは縮小するかをあらかじめ設定されたビット数で行う場合には、図３７に示すとおり、画像信号の画素ビット長を変換するかどうかを示すフラグのみを送信してもよい。

これらのシンタクスの値を元に、図３５で示した画像符号化装置の処理において使用される制御フラグＦ１００１、Ｆ１００７、Ｆ１００５、Ｆ１００６、Ｆ１００４の設定例を図３８に示す。図３８において、allの列はex_seq_all_bit_extention_flagの値を示している。同様に、part、fm、t/q、の列はex_seq_partial_bit_extention_flag、ex_seq_framemem_bit_extention_flag、ex_seq_trans_and_quant_bit_extention_flagの値をそれぞれ示している。０はＦＡＬＳＥを、１はＴＲＵＥを示し、−はシンタクスが存在しないことを示している。制御フラグのＦ１００１，Ｆ１００７，Ｆ１００５，Ｆ１００６，Ｆ１００４は列はそれぞれのシンタクスの値に基づいて設定される制御フラグの値を示している。１はＯＮを０はＯＦＦを示している。例えば、ex_seq_all_bit_extention_flagがTRUEの場合には、制御フラグＦ１００１のみＯＮとし、残りのフラグはＯＦＦとすることを示している。

図４０は後述の画像復号化装置の処理において用いる制御フラグＦ２００１、Ｆ２００５、Ｆ２００６、Ｆ２００７、Ｆ２００８の設定例を示している。それぞれ、図３８と同様の値を示している。本実施形態においては、第１の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

図３９Ａを参照して本実施形態に係る画像復号化装置の構成を説明する。図３９Ａに示すように、この画像復号化装置は、エントロピー復号化器２００、逆量子化器１０９、逆直交変換器１１０、加算器１１１、ループフィルタ１１３、フレームメモリ１１４、予測画像作成器１１５、画素ビット長縮小器（画素ビット精度縮小変換器）２００１、２００６、画素ビット長拡張器（画素ビット精度拡張変換器）２００５、画素ビット長変換器（画素ビット精度変換器）２００７、２００８、ビット長変換制御器２００２を備えている。即ち、エントロピー復号化器２００の係数情報出力は逆量子化器１０９および逆直交変換器１１０を介して加算器１１１に接続される。エントロピー復号化器２００の動きベクトル／予測モード情報出力は予測画像作成器１１５に接続され、そのビット拡散情報出力はビット長変換制御器２００２に接続される。予測画像作成器１１５の出力は画素ビット長縮小器を介して加算器１１１の他の入力に接続される。加算器１１１の出力は画素ビット長拡張器２００５，ループフィルタ１１３，画素ビット長変換器２００７を介してフレームメモリ１１４に接続される。ループフィルタ１１３の他の出力は画素ビット長縮小器２００１の入力に接続される。フレームメモリ１１４の出力はビット長変換制御器２００２に出力と共に画素ビット長変換器２００８に接続される。画素ビット長変換器２００８の出力は予測画像作成器１１５の他の入力に接続される。ビット長変換制御器２００２の出力は画素ビット長縮小器２００１，画素ビット長拡張器２００５、画素ビット長縮小器２００６，画素ビット長変換器２００７および画素ビット長変換器２００８の他の入力に接続される。

図３９Ｂのフローチャートを参照して画像復号化装置の動作を説明する。図９の画像符号化装置によって符号化された符号化データ１１７が画像復号化装置に入力されると（Ｓ２０１）、エントロピー復号化器２００によってエントロピー符号化の逆の手順に従って復号化され、量子化直交変換係数情報１０７、動きベクトル／予測モード情報１１６、ビット拡張情報２００４が生成される（Ｓ２０２）。ビット拡張情報２００４がビット長変換制御器２００２に入力されると、ビット長変換制御器２００２は画素ビット長縮小器２００１，２００６、画素ビット長拡張器２００５、画素ビット長変換器２００７、２００８での画素ビット長変換を行うかどうかの制御フラグや、拡張あるいは縮小するビット長を示す情報などを含むビット変換情報２００３を出力する。このビット変換情報に含まれる制御フラグは、たとえば符号化データ１１７にビット拡張情報２００４として多重化されているシンタクス（図３６）の値に基づいて、図４０のようにそれぞれ設定され、ビット変換情報２００３に含められる。

量子化直交変換係数情報１０７は、逆量子化器１０９及び逆直交変換器１１０により、量子化器１０６及び直交変換器１０４の処理と逆の処理を順次受けて残差信号２０１に変換される（Ｓ２０３）。動きベクトル／予測モード情報１１６は予測画像作成器１１５に入力され、フレームメモリ１１４に格納され、画素ビット長変換器２００８によって必要に応じて各画素のビット長が変換された復号画像信号２０３から動きベクトル／予測モード情報１１６に基づく予測画像信号１０２が生成される（Ｓ２０４）。

予測画像信号１０２は画素ビット長縮小器２００６に入力され、ビット変換情報２００３に含まれている制御フラグＦ２００６に基づいて、予測画像信号１０２の各画素のビット長を変換するかどうかを判定する（Ｓ２０５）。制御フラグＦ２００６がＯＮの場合には、画素ビット長拡張器２００６内のスイッチＥ２をＯＮに設定し、予測画像信号１０２の各画素のビット長を、第４の実施形態における画素ビット長拡張器２００６で行われる処理と同様の処理によって縮小する（Ｓ２０６）。制御フラグＦ２００６がＯＦＦの場合には画素のビット長を変換する処理は行わない。

画素ビット長縮小器２００６から出力された予測画像信号１０２と残差信号２０１は、加算器１１１によって加算され、復号画像信号が生成される（Ｓ２０７）。復号画像信号２０３は画素ビット長拡張器２００５に入力される。画素ビット長変換器２００５では、ビット変換情報２００３に含まれている制御フラグＦ２００５に基づいて、復号画像信号２０３の各画素のビット長を拡張するかどうかを判定する（Ｓ２０８）。制御フラグＦ２００５がＯＮの場合には、画素ビット長拡張器２００５内のスイッチＥ１をＯＮに設定し、復号画像信号２０３の各画素のビット長を、第４の実施形態における画素ビット長変換器２００５で行われる処理と同様の処理によって拡張する（Ｓ２０９）。制御フラグＦ２００５がＯＦＦの場合には画素のビット長を変換する処理は行わない。

画素ビット長拡張器２００５から出力された復号画像信号２０３はループフィルタ１１３で必要に応じてフィルタ処理がなされた後出力され、画素ビット長縮小器２００１および画素ビット長変換器２００７に出力される。

画素ビット長変換器２００７に復号画像信号２０３が入力されると、画素ビット長変換器２００７は、ビット変換情報２００３に含まれている制御フラグＦ２００７に基づいて、復号画像信号２０３の各画素のビット長を変換するかどうかを判定する（Ｓ２１０）。制御フラグＦ２００７がＯＮの場合には、画素ビット長拡張器２００７内のスイッチＥ３がＯＮに設定され、復号画像信号２０３の各画素のビット長が、第３の実施形態における画素ビット長変換器２００７で行われる処理と同様の処理によって変換される（Ｓ２１１）。制御フラグＦ２００７がＯＦＦの場合には画素のビット長を変換する処理は行わない。

画素ビット長変換器２００７から出力された復号画像信号２０３はフレームメモリ１１４に格納される（Ｓ２１２）。フレームメモリ１１４に格納された復号画像信号２０３が画素ビット長変換器２００８に入力されると、画素ビット長変換器２００８はビット変換情報２００３に含まれている制御フラグＦ２００８に基づいて、復号画像信号２０３の各画素のビット長を変換するかどうかを判定する（Ｓ２１３）。制御フラグＦ２００８がＯＮの場合には、画素ビット長拡張器２００８内のスイッチＥ３をＯＮに設定し、復号画像信号２０３の各画素のビット長を、第３の実施形態における画素ビット長変換器２００８で行われる処理と同様の処理によって変換する（Ｓ２１４）。制御フラグＦ２００８がＯＦＦの場合には画素のビット長を変換する処理は行わない。画素ビット長変換器２００８から出力された画像信号は予測画像作成器１１５に入力される（Ｓ２１５）。

復号画像信号２０３はループフィルタ１１３で必要に応じてフィルタ処理され、画素ビット長縮小器２００１に出力される。画素ビット長縮小器２００１に復号画像信号２０３が入力されると、画素ビット長縮小器２００１は、ビット変換情報２００３に含まれている制御フラグＦ２００１に基づいて、復号画像信号２０３の各画素のビット長を変換するかどうかを判定する（Ｓ２１６）。制御フラグＦ２００１がＯＮの場合には、画素ビット長拡張器２００１内のスイッチＥ２をＯＮに設定し、復号画像信号２０３の各画素のビット長を、第１の実施形態における画素ビット長縮小器２００１と同様の処理によって縮小する（Ｓ２１７）。制御フラグＦ２００１がＯＦＦの場合には画素のビット長を変換する処理は行わず、そのまま復号画像信号２０２として出力される。

以上のようにして、画像符号化装置に入力された入力画像と同じＮビット精度の復号画像２０２が画素ビット長縮小器２００１より出力される（Ｓ２１８）。

以上のような図３５、３９のような構成においては、符号化データに含まれるシンタクス情報に基づいて、フレームメモリ、直交変換および量子化の演算精度をフラグによってそれぞれ切り替えることができ、符号化器側、あるいは復号化器側の演算コストの制約に応じて、適切な演算精度で符号化を行うことが可能となる。この構成においては、いずれかの制御フラグがONとなっていれば、予測画像作成器に入力される画像信号の画素ビット長は、入力画像信号１００より大きな精度で入力されるため、予測画像作成の演算精度を高めることができ、符号化効率を向上させることができる。

図３５、３９において画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器の一部を省略し、第２〜第５の実施形態で示した構成とし、画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器において、ビット長の変換を行うかどうかを例えば図３６で示したシンタクスにおけるex_seq_all_bit_extention_flagで指定されている値に従って決定する。ex_seq_all_bit_extention_flagがTRUEならば、各構成における画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器において各画素のビット長を変換する処理を行い、FALSEなら変換処理を行わないような制御を行うことも可能である。

量子化／逆量子化を行う際、入力画像がＮビット相当の場合に量子化する量子化ステップ幅をＱstepとした場合、第２、第３の実施形態における量子化／逆量子化で用いる量子化ステップ幅Ｑstep’は、ビット精度をＭビット拡大・縮小すると、残差の精度が（Ｎ＋Ｍ）ビットに拡大されていることを考慮し、以下の式で計算されるＱstep’を用いてもよい。
Ｑstep’＝ Ｑstep << Ｍ …（１６）
これによって、Ｎビット同等の入力画像をそのまま符号化した場合とほぼ同等の符号量の符号化データを得ることができる。このように、量子化ステップ幅を拡張するビット長に応じて変化させた場合に、符号化効率が向上する理由を図４１，４２を用いて説明する。図４１は各画素位置での、入力画素値（８ｂｉｔ）に対する、Ｈ．２６４による８ｂｉｔ精度の予測画素値と、本実施形態による１２ｂｉｔ精度の予測画素値とを示すテーブルであり、図４２はこれをグラフにしたものである（半画素位置の補間フィルタは、６タップ｛１／３２，−５／３２，２０／３２，２０／３２，−５／３２，１／３２｝とする）。

前述のとおり、入力画像信号が８ビットであった場合（図４２では正方形のプロットで表わされている）に、予測画像信号を入力画像信号と同じ８ビットで作成した場合（図４２ではひし形のプロットで表されている）には、半画素位置に補間される画素の画素値は丸め誤差が生じる。これに対して、例えば本実施形態で述べたようなビット拡張を行い、例えば１２ビットの予測画像を作成した場合（図４２では円形のプロットで表されている）には、半画素位置に補間される画素の画素値の丸め誤差は小さくなる。ビット拡張を行った場合には、ビット拡張を行う前と比較して残差のビット精度が１２ビットに拡大するため、ビット拡張を行わずに８ビットで残差を求めた場合と比較して残差の絶対値は大きくなるが、丸め誤差が小さくなっているため、数式（１６）で示した量子化ステップ幅で量子化し、ほぼ同じ符号量とした際の誤差が小さくなり、結果として符号化効率を向上させることが可能となる。

本実施形態では、図４３に示すように、入力画像のビット精度よりもMビット大きなビット精度で行うことができ、予測画像信号が入力画像信号よりＭビット大きな精度をもって作成されるため、動き補償のフィルタやループフィルタ、画面内予測などの精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明によれば、画面内予測や動き補償の精度を十分高めることによって符号化効率を向上させことが可能になる。本発明の構成によれば、予測画像作成器に入力される参照画像のビット精度を入力画像のビット精度よりも大きくすることで、例えばＨ．２６４などに適用されている画面内予測や、単方向動き補償予測、双方向動き補償予測、および重みつき動き補償予測の演算時に発生する丸め誤差を小さく抑えることで、予測誤差信号を小さくし、符号化効率を向上させることができる。すなわち、上記で述べた小数画素の演算精度にかかわるビット精度を高く保つことが可能となるだけではなく、整数画素の演算精度にかかわるビット精度を高く保つことが可能となる。また、本発明のいくつかの構成によれば、入力画像のビット精度よりも高いビット精度で参照画像を保存し、予測に用いることで、さらに予測画像作成器で予測画像を作成する際の演算精度を高めることが可能となり、符号化効率を向上させることができる。

Claims (8)

1. 入力符号化画像情報を（Ｎ＋Ｍ）ビット精度の復号差分画像に復号する復号化器と、
   前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を作成する予測画像作成器と、
   前記復号差分画像と前記予測画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を得る加算器と、
   （Ｎ＋Ｍ）ビット精度の前記復号画像の各画素をＮビット精度に変換しＮビット精度の復号画像を出力する画素ビット精度変換器と、を備え、
   前記予測画像作成器は（Ｎ＋Ｍ）ビット精度の前記復号画像を前記参照画像として用いることを特徴とする、画像復号化装置。
2. 符号化画像情報を入力して（Ｎ＋Ｍ）ビット精度の復号差分画像を出力する復号化器と、
   （Ｎ＋Ｍ−Ｌ）ビット精度の参照画像の各画素を（Ｎ＋Ｍ）ビット精度の画素に変換し（Ｎ＋Ｍ）ビット精度の復号画像を出力する画素ビット精度拡張変換器と、
   前記符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を作成する予測画像作成器と、
   前記復号差分画像と前記予測画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を得る加算器と、
   （Ｎ＋Ｍ）ビット精度の前記復号画像の各画素を（Ｎ＋Ｍ−Ｌ）ビット精度の画素に変換し（Ｎ＋Ｍ−Ｌ）ビット精度の復号画像を出力するとともに、（Ｎ＋Ｍ）ビット精度の前記復号画像の各画素をＮビット精度の画素に変換し、Ｎビット精度の復号画像を出力する画素ビット精度縮小変換器と、を備え、
   前記予測画像作成器は、（Ｎ＋Ｍ−Ｌ）ビット精度の前記復号画像を前記参照画像として用いることを特徴とする、画像復号化装置。
3. 前記画素ビット精度変換器は、復号化単位ごとに前記参照画像の符号化単位画像内に含まれる画素値の最大値と最小値から代表値を算出する手段と、前記符号化単位画像内の各画素の値と代表値との差をＱビット右シフトした値が（Ｎ＋Ｍ−Ｌ）ビット精度のダイナミックレンジに収まるシフト量Ｑ（０≦Ｑ≦Ｌ）を算出する手段と、前記符号化単位画像内の各画素値を各画素の値と前記代表値との差をＱビット右シフトして（Ｎ＋Ｍ−Ｌ）精度の値に変換する手段とを含む第１の画素ビット精度変換器を有し、
   前記参照画像格納メモリは（Ｎ＋Ｍ−Ｌ）ビット精度の前記復号画像を前記参照画像として保存するとともに前記シフト量Ｑおよび前記代表値を前記符号化単位ごとに保存し、
   前記画素ビット精度変換器は復号化単位ごとに前記参照画像と前記シフト量Ｑおよび前記代表値を前記参照画像格納メモリから読み出して前記参照画像の各画素の（Ｎ＋Ｍ−Ｌ）ビット精度の画素値をＱビット右シフトして前記代表値に加算して（Ｎ＋Ｍ）ビット精度に変換する手段を含む第２の画素ビット精度変換器を有することを特徴とする請求項１に記載の画像復号化装置。
4. 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数Ｍを示すビット変換情報を含み、
   前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求項１ないし３のいずれか１項に記載の画像復号化装置。
5. 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、前記参照画像格納メモリのビット精度（Ｎ＋Ｍ−Ｌ）を示すデータを含み、
   前記画素ビット精度拡張変換器及び前記画素ビット精度縮小変換器は、前記ビット変換情報に基づいて前記拡張変換及び前記縮小変換を行い、（Ｎ＋Ｍ−Ｌ）ビット精度の前記参照画像として参照画像格納メモリに格納する、請求項２に記載の画像復号化装置。
6. 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、Ｍビット拡張するかどうかのフラグを含み、前記フラグがＦＡＬＳＥの場合には前記変換器は変換を行わず、前記フラグがＴＲＵＥの場合には、前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求項１ないし３のいずれか１項に記載の画像復号化装置。
7. 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、Ｍビット拡張するかどうかのフラグと、拡張するビット数Ｍを示すデータを含み、前記フラグがＦＡＬＳＥの場合には前記変換器は変換を行わず、前記フラグがＴＲＵＥの場合には、前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求項１ないし３のいずれか１項に記載の画像復号化装置。
8. 入力符号化画像情報を（Ｎ＋Ｍ）ビット精度の復号差分画像に復号するステップと、
   前記入力符号化画像情報を用いて（Ｎ＋Ｍ）ビット精度の参照画像から（Ｎ＋Ｍ）ビット精度の予測画像を生成するステップと、
   前記復号差分画像と前記予測画像とを加算して（Ｎ＋Ｍ）ビット精度の復号画像を生成するステップと、
   （Ｎ＋Ｍ）ビット精度の前記復号画像を前記参照画像として保存するステップと、
   （Ｎ＋Ｍ）ビット精度の前記復号画像の各画素の値をＮビット精度に変換しＮビット精度の復号画像を生成するステップとを有する、画像復号化方法。

Images