JP2009171180A

JP2009171180A - 画像復号化装置及び画像復号化方法

Info

Publication number: JP2009171180A
Application number: JP2008006575A
Authority: JP
Inventors: Hiroaki Shimazaki; 浩昭島崎; Tatsuro Shigesato; 達郎重里
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2008-01-16
Filing date: 2008-01-16
Publication date: 2009-07-30

Abstract

【課題】従来規格準拠のまま、高ビット精度対応を回路規模、メモリ容量を抑えて実現。
【解決手段】画像復号化装置１００は、符号化データを可変長復号化する可変長復号化部２と、可変長復号化部２の出力を逆量子化及び逆直交変換し１１ビット精度の差分画素値を生成する逆量子化逆直交変換部１３と、１１ビット精度の差分画素値を９ビット精度に変換する画像データ変換部１１と、８ビット精度の参照画像を保持するメモリ８１と、参照画像と９ビット精度の差分画素値とを加算し、メモリ８１に参照画像として保持させる加算部４と、メモリ８１に保持される参照画像と１１ビット精度の差分画素値とを加算し１０ビット精度の画像データを生成する加算部１４と、１０ビット精度の画像データと８ビット精度の画像データの差分２ビットを保持するメモリ８２とを備える。
【選択図】図１

Description

本発明は、画像復号化装置及び画像復号化方法に関し、特に、第１のビット精度の画像データの入出力が規定された画像符号化規格に準拠する画像復号化装置であり、かつ第１のビット精度より精度の高い第２のビット精度の画像データが符号化された符号化データを第２のビット精度の画像データに復号化する画像復号化装置に関する。

近年、カメラによって得られた動画像を符号化処理して得られた圧縮ストリームを、地上波放送、衛星放送またはインターネットなどで配信するサービスが普及している。また、カメラによって得られた動画像を符号化処理して得られた圧縮ストリームを、デジタル信号のまま記録媒体に記録するデジタルビデオカメラ及びデジタルビデオレコーダが普及している。このような符号化処理に用いられる方法として、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）、ＭＰＥＧ４（ＩＳＯ／ＩＥＣ１４４９６−２）、及びＨ．２６４（ＩＴＵ−ＴＲｅｃ．Ｈ．２６４）などの動き検出及び動き補償を用いた画像符号化方法がある。これらの画像符号化方法では、フレーム内での隣接画素間の相関に加え、動画におけるフレーム間またはフィールド間の時間的な相関も利用して画像符号化を行う。

このような画像符号化を行う画像符号化装置として、例えば、非特許文献１に記載の画像復号化装置が知られている。

以下、従来の画像符号化装置について説明する。

図５は、従来の画像符号化装置の構成を示すブロック図である。

図５に示す従来の画像符号化装置４００は、画像入力部５１と、減算部５２と、直交変換量子化部５３と、可変長符号化部５４と、符号出力部５５と、逆量子化逆直交変換部５６と、加算部５７と、メモリ５８と、動き補償部５９とを備える。

画像入力部５１は、８ビット精度の入力画像データのフレーム順の並び替えを行う。また、画像入力部５１は、フレーム単位の入力画像データから、動き補償処理及び直交変換処理に用いられるマクロブロック単位の入力画像データを切り出す。

減算部５２は、画像入力部５１により切り出された入力画像データから、動き補償部５９から出力される８ビット精度の予測画像データを減算することで９ビット精度の差分画素値を生成する。

直交変換量子化部５３は、減算部５２により生成された９ビット精度の差分画素値に直交変換処理及び量子化処理を行うことで、量子化直交変換係数を生成する。

可変長符号化部５４は、直交変換量子化部５３により生成された量子化直交変換係数を可変長符号化する。

符号出力部５５は、可変長符号化部５４により可変長符号化された符号化データを圧縮ストリームとして出力する。符号出力部５５から出力された符号化データは、伝送及び記録に用いられる。

逆量子化逆直交変換部５６は、直交変換量子化部５３により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。

加算部５７は、逆量子化逆直交変換部５６により生成された９ビット精度の差分画素値と、動き補償部５９から出力される８ビット精度の予測画像データとを加算することで、８ビット精度のマクロブロック単位のローカルデコード画像を生成する。

メモリ５８は、加算部５７により生成されたローカルデコード画像を蓄積する。メモリ５８は、複数のマクロブロック単位のローカルデコード画像をフレーム単位の参照画像フレームとして蓄積する。

動き補償部５９は、メモリ５８に蓄積される参照画像フレームを用いて、後から入力されるフレームの画像に対する８ビット精度のマクロブロック単位の予測画像データを生成する。

以上により、従来の画像符号化装置４００は、８ビット精度の入力画像データを符号化し、符号化データを出力する。

次に、従来の画像復号化装置について説明する。

図６は、従来の画像復号化装置の構成を示すブロック図である。

図６に示す画像復号化装置は、図５に示す画像符号化装置４００により生成された符号化データを復号化する。画像復号化装置５００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部３と、加算部４と、メモリ５と、動き補償部６と、画像出力部７とを備える。

符号入力部１は、図５に示す画像符号化装置４００から出力された符号データを蓄積する。また、符号入力部１は、画像符号化装置４００から出力された符号データに対して、ヘッダの分離及び解析を行う。

可変長復号化部２は、符号入力部１によりヘッダの分離及び解析が行われた符号化データを可変長復号化し、量子化直交変換係数を生成する。

逆量子化逆直交変換部３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。

加算部４は、逆量子化逆直交変換部３により生成された９ビット精度の差分画素値と、動き補償部６から出力される８ビット精度の予測画像データとを加算することで、８ビット精度のマクロブロック単位のデコード画像データを生成する。

メモリ５は、加算部４により生成されたデコード画像データを蓄積する。メモリ５は、複数のマクロブロック単位のデコード画像データをフレーム単位またはフィールド単位のデコード画像として蓄積する。

動き補償部６は、メモリ５に蓄積されるデコード画像を用いて、後から入力されるフレームの画像に対する８ビット精度のマクロブロック単位の予測画像データを生成する。

ここで、加算部４、メモリ５及び動き補償部６からなるループ状の処理は、画像符号化装置４００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とが一致する。

画像出力部７は、メモリ５に蓄積されるフレーム単位またはフィールド単位のデコード画像を８ビット精度の画像データとして出力する。

以上により、従来の画像復号化装置５００は、８ビット精度の画像データが符号化された符号化データを復号化し８ビット精度の画像データを出力する。

また、従来の画像符号化装置及び画像復号化装置として、８ビット精度の画像符号化方式と互換性を持たせつつ、１０ビット精度の画像データの符号化処理及び復号化処理を行う画像符号化装置及び画像復号化装置が知られている（例えば、特許文献１参照。）。特許文献１記載の画像符号化装置及び画像復号化装置は、画像符号化規格に準拠し、かつ高画質な符号化及び復号化を行うことができる。

図７は、特許文献１記載の従来の画像符号化装置の構成を示すブロック図である。なお、図５と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図７に示す画像符号化装置６００は、画像入力部６１と、減算部６２と、直交変換量子化部６３と、可変長符号化部５４と、符号出力部５５と、逆量子化逆直交変換部５６と、加算部５７と、メモリ５８と、動き補償部５９とを備える。

画像入力部６１は、１０ビット精度の入力画像データのフレーム順の並び替えを行う。また、画像入力部６１は、フレーム単位の入力画像データから、動き補償処理及び直交変換処理に用いられるマクロブロック単位の入力画像データを切り出す。

減算部６２は、画像入力部６１により切り出された入力画像データから、動き補償部５９から出力される８ビット精度の予測画像データを減算することで１１ビット精度の差分画素値を生成する。

直交変換量子化部６３は、減算部６２により生成された１１ビット精度の差分画素値に直交変換処理及び量子化処理を行うことで、量子化直交変換係数を生成する。

可変長符号化部５４は、直交変換量子化部６３により生成された量子化直交変換係数を可変長符号化する。

逆量子化逆直交変換部５６は、直交変換量子化部６３により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。

以上により、従来の画像符号化装置６００は、８ビット精度の予測画像データを用いて１０ビット精度の画像データを符号化し、符号化データを出力する。これにより、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理は、画像復号化装置５００の加算部４、メモリ５及び動き補償部６からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。よって、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とが一致する。これにより、画像符号化装置６００により符号化された符号化データを、図６に示す従来の画像復号化装置５００で復号化することができる。すなわち、画像符号化装置６００は、１０ビット精度の画像データを、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化することができる。

次に、画像符号化装置６００により符号化された符号化データを復号化する従来の画像復号化装置について説明する。

図８は、画像符号化装置６００により符号化された符号化データを復号化する従来の画像復号化装置の構成を示すブロック図である。図８に示す画像復号化装置７００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、画像データ変換部１１と、加算部４と、メモリ５と、動き補償部６と、加算部１４と、メモリ１５と、画像出力部１７とを備える。なお、図６と同様の要素には同一の符号を付しており、詳細な説明は省略する。

符号入力部１は、図７に示す画像符号化装置６００から出力された符号データを蓄積する。また、符号入力部１は、画像符号化装置６００から出力された符号データに対して、ヘッダの分離及び解析を行う。

逆量子化逆直交変換部１３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、１１ビット精度の差分画素値を生成する。

画像データ変換部１１は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値を９ビット精度の差分画素値に変換する。

加算部４は、画像データ変換部１１により変換された９ビット精度の差分画素値と、動き補償部６から出力される８ビット精度の予測画像データとを加算することで、８ビット精度のマクロブロック単位のデコード画像データを生成する。

メモリ５は、加算部４により生成されたデコード画像データを蓄積する。メモリ５は、複数のマクロブロック単位のデコード画像データをフレーム単位またはフィールド単位の参照画像として蓄積する。

動き補償部６は、メモリ５に蓄積される参照画像を用いて、後から入力されるフレームの画像に対する８ビット精度のマクロブロック単位の予測画像データを生成する。

ここで、加算部４、メモリ５及び動き補償部６からなるループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とが一致する。

加算部１４は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値と、動き補償部６から出力される８ビット精度の予測画像データとを加算することで、１０ビット精度のマクロブロック単位のデコード画像データを生成する。

メモリ１５は、加算部１４により生成されたデコード画像データを蓄積する。メモリ１５は、複数のマクロブロック単位のデコード画像データをフレーム単位またはフィールド単位のデコード画像として蓄積する。

画像出力部１７は、メモリ１５に蓄積されるフレーム単位またはフィールド単位のデコード画像を１０ビット精度の画像データとして出力する。

以上により、従来の画像復号化装置７００は、１０ビット精度の画像データが、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化された符号化データを復号化し１０ビット精度の画像データを出力する。
株式会社アスキー「最新ＭＰＥＧ教科書」ｐ１３８、１９９４特開２０００−１７５２００号公報

しかしながら、図６に示す８ビット精度の従来の画像復号化装置５００に対し、図８に示す１０ビット精度の従来の画像復号化装置７００では回路規模が大きくなるという問題がある。特に、マクロブロック単位の画像信号をフレーム単位の画像信号に変換するためのフレームメモリが図８におけるメモリ５及びメモリ１５のように２つ必要となり、メモリ容量が大幅に増加する。また、メモリ５及びメモリ１５をＬＳＩの外付けメモリに格納した場合、ＬＳＩと外付けメモリの間の転送バンド幅が大幅に増加する。

そこで、本発明は、従来の８ビット精度の画像データの入出力が規定された画像符号化規格に準拠したままで、高ビット精度（例えば１０ビット）の画像の復号化を行う復号化装置を少ないメモリ容量、小さいバンド幅OLE_LINK1OLE_LINK1で実現可能とした画像復号化装置及び画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像復号化装置は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、前記第１のビット精度の参照画像を１以上保持する第１メモリ手段と、前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することにより、前記第２のビット精度の画像データを生成する第２加算手段と、前記第２加算手段により生成された画像データと前記第１加算手段により生成された画像データとの差分を計算し、差分画像データとして出力する減算手段と、前記減算手段から出力される前記差分画像データを保持する第２メモリ手段と、前記第１メモリ手段に保持される前記参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算手段とを備える。

この構成によれば、第２メモリ手段には、第１のビット精度と第２のビット精度の差分ビット分のみが保持される。例えば、第１のビット精度が８ビット、第２のビット精度が１０ビットとすると、従来の画像復号化装置では、８ビット精度の第１メモリ手段と、１０ビット精度の第２メモリ手段が必要になるのに対して、本発明に係る画像復号化装置は、第２メモリ手段として２ビット精度のメモリを備えればよく、第２メモリ手段のメモリ容量を１／５に低減することができる。

また、本発明に係る画像復号化装置は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、前記第２のビット精度の参照画像を１以上保持する第３メモリ手段と、前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する、前記第３メモリ手段に保持される参照画像から、上位ビットのみを切り出して、前記第２のビット精度よりも精度の低い第１のビット精度の参照画像データを生成し、当該第２のビット精度の差分画素値と加算して、前記第２のビット精度の参照画像を生成し、前記第３メモリ手段に保持させる加算手段と、前記第３メモリ手段に保持される前記第２のビット精度の参照画像を出力する出力手段とを備える。

この構成によれば、第２のビット精度の下位ビットを切り離すだけで差分ビット分を生成することができ、差分画像データを生成するための特別な構成、例えば前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段や、前記第２加算手段により生成された画像データと前記第１加算手段により生成された画像データとの差分を計算し、出力する減算手段や、前記第１メモリ手段に保持される前記１以上の参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算手段といった構成が不要になり、回路規模を低減することができる。

また、前記画像復号化装置は、さらに、前記加算手段により加算された画像データのマクロブロック境界のノイズを低減するデブロックフィルタを備え、前記第３メモリ手段は、前記デブロックフィルタによりノイズを低減された画像データを参照画像として保持してもよい。

この構成によれば、本発明に係る画像復号化装置は、Ｈ．２６４規格の画像データを復号化することができる。

また、本発明に係る画像復号化方法は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化ステップと、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換ステップと、前記第１のビット精度の参照画像を第１メモリ手段に１以上保持する第１の蓄積ステップと、前記逆量子化逆直交変換ステップで生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算ステップと、前記逆量子化逆直交変換ステップで生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することにより、前記第２のビット精度の画像データを生成する第２加算ステップと、前記第２加算ステップにより生成された画像データと前記第１加算ステップにより生成された画像データとの差分を計算し、差分画像データとして出力する減算ステップと、前記減算ステップから出力された前記差分画像データを第２メモリ手段に保持させる第２の蓄積ステップと、前記第１メモリ手段に保持される前記参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算ステップとを含む。。

これによれば、第２メモリ手段には、第１のビット精度と第２のビット精度の差分ビット分のみが保持される。これにより、例えば、第１のビット精度が８ビット、第２のビット精度が１０ビットとすると、従来の画像復号化方法では、８ビット精度の第１メモリ手段と、１０ビット精度の第２メモリ手段が必要になるのに対して、本発明に係る画像復号化方法は、第２メモリ手段として２ビット精度のメモリを備えればよく、第２メモリ手段のメモリ容量を１／５に低減することができる。

また、本発明に係る集積回路は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、前記第１のビット精度の参照画像を１以上保持する第１メモリ手段と、前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することにより、前記第２のビット精度の画像データを生成する第２加算手段と、前記第２加算手段により生成された画像データと前記第１加算手段により生成された画像データとの差分を計算し、差分画像データとして出力する減算手段と、前記減算手段から出力される前記差分画像データを保持する第２メモリ手段と、前記第１メモリ手段に保持される参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算手段とを備える。

この構成によれば、第２メモリ手段には、第１のビット精度と第２のビット精度の差分ビット分のみが保持される。これにより、例えば、第１のビット精度が８ビット、第２のビット精度が１０ビットとすると、従来の集積回路では、８ビット精度の第１メモリ手段と、１０ビット精度の第２メモリ手段が必要になるのに対して、本発明に係る集積回路法は、第２メモリ手段として２ビット精度のメモリを備えればよく、第２メモリ手段のメモリ容量を１／５に低減することができる。

なお、本発明は、このような画像復号化装置及び画像復号化方法として実現することができるだけでなく、画像復号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

本発明は、従来の８ビット精度の画像データの入出力が規定された画像符号化規格に準拠したままで、高ビット精度（例えば１０ビット）の画像の復号化を行う復号化装置を少ないメモリ容量、小さいバンド幅で実現可能とした画像復号化装置及び画像復号化方法を提供することができる。

以下、本発明に係る画像復号化装置の実施の形態について、図面を参照しながら詳細に説明する。

（実施の形態１)
本発明の実施の形態１に係る画像復号化装置は、１０ビット精度の第２の加算部の出力から８ビット精度の第１の加算部の出力を減算し、下位２ビットの差分画像データとしてメモリに保存する。これにより、メモリの容量を小さくすることができる。

まず、本発明の実施の形態に係る画像復号化装置の構成を説明する。

図１は、本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。なお、図８と同様の要素には同一の符号を付している。

図１に示す画像復号化装置１００は、８ビット精度の画像データの入出力が規定された画像符号化規格（例えば、ＭＰＥＧ２）に準拠した画像復号化装置であり、８ビット精度の画像データを符号化して得られた符号データを復号化する。また、画像復号化装置１００は、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠しつつ、１０ビット精度の画像データを符号化して得られた符号化データを復号化し、１０ビット精度の画像データを出力する。

例えば、画像復号化装置１００は、図７に示す画像符号化装置６００により符号化された符号化データを１０ビット精度の画像データに復号化し出力する。同時に、画像復号化装置１００は、８ビット精度の画像データが入力された場合にも、画像データを１０ビット精度で出力する。例えば、画像復号化装置１００は、図５に示す画像符号化装置４００により符号化された符号化データを１０ビット精度の画像データに復号化し出力する。

画像復号化装置１００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、画像データ変換部１１と、第１の加算部４と、メモリ８１と、動き補償部６と、第２の加算部１４と、減算部８０と、メモリ８２と、第３の加算部８３と、画像出力部１７とを備える。

符号入力部１は、図７に示す画像符号化装置６００から出力された圧縮ストリームに含まれる符号データを蓄積する。また、符号入力部１は、画像符号化装置６００から出力された符号データに対して、ヘッダの分離及び解析を行う。

可変長復号化部２は、符号入力部１によりヘッダの分離及び解析が行われた符号化データを可変長復号化することで、マクロブロック単位の量子化直交変換係数を生成する。

逆量子化逆直交変換部１３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、１１ビット精度のマクロブロック単位の差分画素値を生成する。

画像データ変換部１１は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値を９ビット精度の差分画素値に変換することで、９ビット精度のマクロブロック単位の差分画素値を生成する。具体的には、画像データ変換部１１は、１１ビット精度の差分画素値の下位２ビットを丸めることで、９ビット精度の差分画素値を生成する。

動き補償部６は、メモリ８１に蓄積される８ビット精度の参照画像を用いて、後から入力されるフレームの画像に対する８ビット精度のマクロブロック単位の予測画像データを生成する。具体的には、動き補償部６は、逆量子化逆直交変換部１３により生成された９ビット精度の差分画素値に対応する参照画像フレームから、当該差分画素値のマクロブロックに対応する８ビット精度の予測画像データを生成し、第１の加算部４及び第２の加算部１４に出力する。

第１の加算部４は、画像データ変換部１１により生成された９ビット精度の差分画素値と、動き補償部６から出力される８ビット精度の予測画像データとを加算することで、８ビット精度のマクロブロック単位の画像データであるデコード画像データを生成する。

メモリ８１は、加算部４により生成されたデコード画像データを蓄積する。メモリ８１は、複数のマクロブロック単位の８ビット精度のデコード画像データを蓄積し、フレーム単位またはフィールド単位の参照画像として保持する。

ここで、加算部４、メモリ８１及び動き補償部６からなるループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、第１の加算部４により生成されるデコード画像データとは一致する。

第２の加算部１４は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値と、動き補償部６から出力される８ビット精度の予測画像データとを加算することで、１０ビット精度のマクロブロック単位のデコード画像データを生成する。

演算部８０は、第２の加算部１４が生成した１０ビット精度のマクロブロック単位のデコード画像データから、第１の加算部４が生成した８ビット精度のマクロブロック単位のデコード画像データを減算し、差分２ビットを出力する。

メモリ８２は減算部８０が生成した差分２ビットを蓄積する。これにより、フレーム単位またはフィールド単位のデコード画像の上位８ビットがメモリ８１に、下位２ビットがメモリ８２にそれぞれ蓄積される。

第３の加算部８３はメモリ８１に蓄積された上位８ビットと、メモリ８２に蓄積された下位２ビットとを加算して、１０ビット精度のフレーム単位またはフィールド単位のデコード画像を生成する。画像出力部１７は、第３の加算部８３が生成した１０ビット精度のデコード画像を出力する。

以上より、本発明の実施の形態１に係る画像復号化装置１００は、符号化データを、８ビット精度の予測画像データを用いて復号化し、１０ビット精度の画像データを出力する。すなわち、画像復号化装置１００の第１の加算部４、メモリ８１及び動き補償部６からなるループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。よって、加算部５７により生成されるローカルデコード画像と、第１の加算部４により生成されるデコード画像とは一致する。これにより、画像復号化装置１００は、画像符号化装置６００により符号化された符号化データを復号化することができる。すなわち、画像復号化装置１００は、１０ビット精度の画像データが、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化された符号化データを復号化することができる。

また、画像復号化装置１００の加算部４、メモリ８１及び動き補償部６からなるループ状の処理は、画像符号化装置４００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。よって、加算部５７により生成されるローカルデコード画像と、第１の加算部４により生成されるデコード画像とは一致する。これにより、画像復号化装置１００は、画像符号化装置４００により符号化された符号化データを復号化することができる。すなわち、画像復号化装置１００は、８ビット精度の画像データが、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化された符号化データを復号化することができる。

すなわち、本発明の実施の形態１に係る画像復号化装置１００は、通常の符号化方式との互換性を維持したまま（規格準拠したまま）で、高ビット精度の画像を復号化することができる。よって、本発明の実施の形態１に係る画像復号化装置１００を備える再生装置は、符号化方式が既に規格化された放送及び記録メディアであっても、従来の再生装置と互換性を損なうことなく、より高精度かつ圧縮歪の少ない良好な画像の送受信または記録再生が可能となる。

さらに、本発明の実施の形態１に係る画像復号化装置１００は、第２の加算部１４が生成する１０ビット精度のデコード画像データをそのまま蓄積せず、第１の加算部４が生成する８ビット精度のデコード画像データとの差分２ビットのみを蓄積することで、メモリ８２の容量を大幅に削減することができる。

さらに、メモリ８１とメモリ８２には画像データの同じ画素における上位８ビットと下位２ビットが蓄積される。従って、蓄積する際に同じ画素のデータが関連性のあるメモリアドレスに格納されるようにすることで、第３の加算部８３が読み出すときの読み出し制御を簡略化することができ、メモリ容量だけでなく読み出し制御の回路規模を削減することが可能である。

なお、本発明の実施の形態１において、逆量子化逆直交変換部１３は１０ビット精度のマクロブロック単位の差分画素値を生成し、画像データ変換部１１にて１０ビット精度の差分画素値から９ビット精度の差分画素値を生成し、第２の加算部１４は１０ビット精度の差分画素値を受け付けるように構成しても構わない。

（実施の形態２）
本発明の実施の形態２に係る画像復号化装置は、実施の形態１に係る画像復号化装置１００の変形例である。本発明の実施の形態２に係る画像復号化装置は、高ビット精度のデコード画像データを蓄積するメモリ容量を削減するという本発明の特徴を変更せずに、画像復号化装置の構成を変更した例である。

図２は、本発明の実施の形態２に係る画像復号化装置の構成を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図２に示す画像復号化装置２００は、図１に示す画像復号化装置１００に対して、
１１ビット精度の差分画素値を９ビット精度の差分画素値に変換して別の加算器で処理する代わりに、１１ビット精度のデコード画像の上位８ビットをそのまま８ビット精度のデコード画像として用いることで、第１の加算部４などを省略し、回路規模を削減することができる。

画像復号化装置２００は、８ビット精度の画像データの入出力が規定された画像符号化規格（例えば、ＭＰＥＧ２）に準拠した画像復号化装置であり、８ビット精度の画像データを符号化して得られた符号データを復号化する。また、画像復号化装置２００は、１０ビット精度で可変長符号化された画像データを復号化し、１０ビット精度の画像データを出力する。例えば、画像復号化装置２００は、図７に示す画像符号化装置６００により符号化された符号化データを１０ビット精度の画像データに復号化し出力する。

画像復号化装置２００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、加算部１４と、メモリ８１と、動き補償部６と、メモリ８２と、画像出力部１７とを備える。

メモリ８１及びメモリ８２は加算部１４が生成した１０ビット精度のデコード画像データを上位８ビットと下位２ビットに分割してそれぞれ蓄積する。ここでは、図１の減算部８０のような演算回路を用いず、単純に１０ビットを上位８ビットと下位２ビットに切り分けて蓄積する。動き補償部６はメモリ８１に蓄積された上位８ビットのみを用いて８ビット精度の予測画像データを生成する。

画像出力部１７は、メモリ８１に蓄積された上位８ビットと、メモリ８２に蓄積された下位２ビットとを読み出し、上位下位を組み合わせて１０ビット精度のフレーム単位またはフィールド単位のデコード画像として出力する。この際、図１における第３の加算部８３のような演算回路を用いず、単純に上位下位を組み合わせてデコード画像データを生成する。

以上の構成より、本発明の実施の形態２に係る画像復号化装置２００は、実施の形態１に係る画像復号化装置１００と同様に、通常の符号化方式との互換性を維持したままで、高ビット精度の画像を復号化することができる。また、本発明の実施の形態２に係る画像復号化装置２００は、加算部１４が生成する１０ビット精度のデコード画像データの上位８ビットを、画像複合化装置１００における第１の加算部４が生成する８ビット精度のデコード画像データの代わりに用い、下位２ビットのみを別途蓄積することで、メモリ８２の容量を大幅に削減するとともに、構成を単純化して回路規模を減らすことができる。

（実施の形態３）
本発明の実施の形態３に係る画像復号化装置は、実施の形態２に係る画像復号化装置２００の変形例である。本発明の実施の形態３では、高ビット精度のデコード画像データを蓄積するメモリ容量を削減するという本発明の特徴を変更せずに、デブロックフィルタを用いた画像符号化規格（例えば、Ｈ．２６４規格）に対応する画像復号化装置について説明する。

まず、Ｈ．２６４規格に対応した画像符号化装置について説明する。

図３は、Ｈ．２６４規格に対応した画像符号化装置の構成を示すブロック図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図５に示す画像符号化装置６０１は、図７に示す画像符号化装置６００の構成に加え、さらに、デブロックフィルタ７１を備える。

デブロックフィルタ７１は、加算部５７により生成されたローカルデコード画像のマクロブロック境界に生じるノイズを低減する。デブロックフィルタ７１のフィルタ特性は画像符号化装置６０１が決定し、その特性を示すフィルタ特性データが画像符号化データとともに画像符号化装置６０１から出力される。

メモリ５８は、デブロックフィルタ７１によりノイズを低減されたローカルデコード画像を蓄積する。

以上の構成により、画像符号化装置６０１は、Ｈ．２６４規格に対応した１０ビット精度の画像データを符号化し、符号化データを出力する。

次に、本発明の実施の形態３に係る画像復号化装置について説明する。

図４は、本発明の実施の形態３に係る画像復号化装置の構成を示すブロック図である。なお、図２と同様の要素には同一の符号を付しており詳細な説明は省略する。

図４に示す画像復号化装置３００は、図２に示す画像復号化装置２００の構成に加えて、さらに、デブロックフィルタ３１を備える。

図４に示す画像復号化装置３００は、Ｈ．２６４規格の、８ビット精度の画像データの入出力が規定されたプロファイルに準拠した画像復号化装置である。すなわち、画像復号化装置３００は、８ビット精度の画像データがＨ．２６４により符号化された符号データを復号化する。また、画像復号化装置３００は、１０ビット精度で可変長符号化された画像データを復号化し、１０ビット精度の画像データを出力する。例えば、画像復号化装置３００は、図３に示す画像符号化装置６０１により符号化された符号化データを復号化し１０ビット精度の画像データを出力する。

画像復号化装置３００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、加算部１４と、デブロックフィルタ３１と、メモリ８１と、動き補償部６と、メモリ８２と、画像出力部１７とを備える。

デブロックフィルタ３１は、加算部１４により生成されたデコード画像データのマクロブロック境界に生じるノイズを低減する。このとき、画像復号化装置３００は、画像符号化装置６０１から出力されたフィルタ特性データを用いて、デブロックフィルタ３１のフィルタ特性を決定する。従って、画像符号化装置６０１におけるデブロックフィルタ７１のフィルタ特性と、画像復号化装置３００におけるデブロックフィルタ３１のフィルタ特性とが一致する。

メモリ８１は、デブロックフィルタ３１によりノイズを低減されたデコード画像データを蓄積する。

ここで、加算部１４、デブロックフィルタ３１、メモリ８１及び動き補償部６からなるループ状の処理は、画像符号化装置６０１の加算部５７、デブロックフィルタ７１、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びビット精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部１４により生成されるデコード画像データとは一致する。

以上の構成より、本発明の実施の形態３に係る画像復号化装置３００は、Ｈ．２６４規格に対応した復号化を行うことができる。

また、本発明の実施の形態３に係る画像復号化装置３００は、実施の形態２に係る画像復号化装置２００と同様に、通常の符号化方式との互換性を維持したままで、高ビット精度の画像を復号化することができる。

また、本発明の実施の形態３に係る画像復号化装置３００は、加算部１４が生成する１０ビット精度のデコード画像データの上位８ビットを、画像復号化装置２００における第１の加算部４が生成する８ビット精度のデコード画像データの代わりに用い、下位２ビットのみを別途蓄積することで、メモリ８２の容量を大幅に削減するとともに、構成を単純化して回路規模を減らすことができる。

なお、本発明の実施の形態３においては、画像復号化装置２００にデブロックフィルタ３１を追加した構成を示したが、実施の形態１に係る画像復号化装置１００の変形例として、画像復号化装置１００の第１の加算部４と、メモリ８１及び減算部８０との間にデブロックフィルタを追加した構成としてもよい。

本発明は、画像復号化装置に適用でき、特に、デジタルテレビ、デジタルビデオカメラ及びデジタルビデオレコーダに用いられる画像復号化装置として適用できる。

本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図本発明の実施の形態２に係る画像復号化装置の構成を示すブロック図Ｈ．２６４規格に対応した画像符号化装置の構成を示すブロック図本発明の実施の形態３に係る画像復号化装置の構成を示すブロック図従来の画像符号化装置の構成を示すブロック図従来の画像復号化装置の構成を示すブロック図画像符号化規格に準拠し、かつ高いビット精度での符号化を行う従来の画像符号化装置の構成を示すブロック図画像符号化規格に準拠し、かつ高いビット精度での復号化を行う従来の画像復号化装置の構成を示すブロック図

符号の説明

１符号入力部
２可変長復号化部
３、１３、５６逆量子化逆直交変換部
４、１４、５７加算部
５、１５、５８メモリ
６、５９動き補償部
７、１７画像出力部
１１画像データ変換部
３１、７１デブロックフィルタ
５１、６１画像入力部
５２、６２減算部
５３、６３直交変換量子化部
５４可変長符号化部
５５符号出力部
８０減算部
８１、８２メモリ
８３第３の加算部
１００、２００、３００、５００、７００画像復号化装置
４００、６００、６０１画像符号化装置

Claims

符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、
前記第１のビット精度の参照画像を１以上保持する第１メモリ手段と、
前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、
前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することにより、前記第２のビット精度の画像データを生成する第２加算手段と、
前記第２加算手段により生成された画像データと前記第１加算手段により生成された画像データとの差分を計算し、差分画像データとして出力する減算手段と、
前記減算手段から出力される前記差分画像データを保持する第２メモリ手段と、
前記第１メモリ手段に保持される前記参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算手段とを備える
ことを特徴とする画像復号化装置。
前記逆量子化逆直交変換手段は、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第２のビット精度の前記差分画素値を生成する第１逆量子化逆直交変換手段と、
前記第１逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値を、前記第１のビット精度の差分画素値に変換する変換手段とを備える
ことを特徴とする請求項１記載の画像復号化装置。
前記画像復号化装置は、さらに、
前記第１加算手段により加算された画像データのマクロブロック境界のノイズを低減するデブロックフィルタを備え、
前記第１メモリ手段は、前記デブロックフィルタによりノイズを低減された画像データを参照画像として保持する
ことを特徴とする請求項１記載の画像復号化装置。
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、
前記第２のビット精度の参照画像を１以上保持する第３メモリ手段と、
前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する、前記第３メモリ手段に保持される参照画像から、上位ビットのみを切り出して、前記第２のビット精度よりも精度の低い第１のビット精度の参照画像データを生成し、当該第２のビット精度の差分画素値と加算して、前記第２のビット精度の参照画像を生成し、前記第３メモリ手段に保持させる加算手段と、
前記第３メモリ手段に保持される前記第２のビット精度の参照画像を出力する出力手段とを備える
ことを特徴とする画像復号化装置。
前記画像復号化装置は、さらに、
前記加算手段により加算された画像データのマクロブロック境界のノイズを低減するデブロックフィルタを備え、
前記第３メモリ手段は、前記デブロックフィルタによりノイズを低減された画像データを参照画像として保持する
ことを特徴とする請求項４記載の画像復号化装置。
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化ステップと、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換ステップと、
前記第１のビット精度の参照画像を第１メモリ手段に１以上保持する第１の蓄積ステップと、
前記逆量子化逆直交変換ステップで生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算ステップと、
前記逆量子化逆直交変換ステップで生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することにより、前記第２のビット精度の画像データを生成する第２加算ステップと、
前記第２加算ステップにより生成された画像データと前記第１加算ステップにより生成された画像データとの差分を計算し、差分画像データとして出力する減算ステップと、
前記減算ステップから出力された前記差分画像データを第２メモリ手段に保持させる第２の蓄積ステップと、
前記第１メモリ手段に保持される前記参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算ステップとを含む
ことを特徴とする画像復号化方法。
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化ステップと、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換ステップと、
前記第１のビット精度の参照画像を第１メモリ手段に１以上保持する第１の蓄積ステップと、
前記逆量子化逆直交変換ステップで生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算ステップと、
前記逆量子化逆直交変換ステップで生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することで、前記第２のビット精度の画像データを生成する第２加算ステップと、
前記第２加算ステップで生成された画像データと前記第１加算ステップにより生成された画像データとの差分を計算し、差分画像データとして出力する減算ステップと、
前記減算ステップで生成された前記差分画像データを第２メモリ手段に保持させる第２の蓄積ステップと、
前記第１メモリ手段に保持される前記参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度よりも精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、
前記第１のビット精度の参照画像を１以上保持する第１メモリ手段と、
前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、
前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する、前記第１メモリ手段に保持される参照画像と、当該差分画素値とを加算することにより、前記第２のビット精度の画像データを生成する第２加算手段と、
前記第２加算手段により生成された画像データと前記第１加算手段により生成された画像データとの差分を計算し、差分画像データとして出力する減算手段と、
前記減算手段から出力される前記差分画像データを保持する第２メモリ手段と、
前記第１メモリ手段に保持される参照画像と、前記第２メモリ手段に保持される差分画像データとを加算して前記第２のビット精度の画像を出力する第３の加算手段とを備える
ことを特徴とする集積回路。