JP2006166308A - 復号化装置及び復号化方法 - Google Patents

Abstract

【課題】 ＤＳＰに内蔵される記憶領域と外付けＲＡＭの記憶領域とを用い、任意の画像が参照されて符号化された符号化信号を復号化する復号化装置を実現する。
【解決手段】 複数の参照画像を格納する外部記憶部５１と、符号化画像情報の領域と復号化するために用いられる複数の参照画像の領域が関連付けられたテーブルを用いて、複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択部２７で選択し、選択された複数の参照画像ブロックを内部記憶部４２に格納し、格納された複数の参照画像ブロックを用いて符号化画像情報の復号化を復号化部２２〜２６、２８、及び３１で行うようにして復号化装置を構成した。
【選択図】 図４

Description

本発明は、複数の画像を参照して符号化する動き予測符号化法により生成された圧縮符号化信号を、アクセス速度が早い小容量の画像メモリと、アクセス速度が遅い大容量の画像メモリを用い、圧縮符号化された信号を指定される参照画像を参照しつつ復号化する復号化装置及び復号化方法に関する。

最近になり、圧縮符号化された映像信号を用いられてディジタル放送、ディジタル通信、及びディジタル記録がなされるようになってきた。当初、圧縮符号化された映像信号は専用のハードウエアが用いられて復号化されていた。微細加工技術の進歩と共に半導体の集積度や動作速度が向上し、専用のＬＳＩ（Large Scale Integration）を用いる他に、汎用の半導体素子、例えばＤＳＰ（Digital signal processor）を用いて復号化することも可能になってきた。

一方、映像信号の符号化方法も半導体技術の進歩と共に高度化し、ＭＰＥＧ（moving picture experts group）−２よりも信号処理は複雑であるが、より高い圧縮率が得られる、例えばＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）とか、Ｈ．２６４と呼ばれる符号化方式も用いられようになってきた。ＭＰＥＧ−４ ＡＶＣによる符号化方、ＭＰＥＧ−２による符号化方式では過去及び未来の参照画像が用いて動き予測符号化されるのに比し、動き予測符号化のために用いられる参照画像は特定されなく過去に復号化された任意の画像が参照されて符号化が行われるため、符号化された信号の復号化処理も煩雑になる。

さらに、圧縮符号化信号の復号化は、専用のハードウエアを用い所定のシーケンスの信号処理を行って復号化する方法と、信号の処理方法をプログラムにより与えＣＰＵを実行させて復号化する、例えばＤＳＰ素子を用いて行う方法などがある。ＤＳＰを用いる復号化方法の場合は、例えば新たなアルゴリズムで符号化された符号化信号の復号化に対してもプログラムを変更するのみで対応することができるなど、自由度が高く、応用範囲が広い特徴を有する。

特許文献１には、ＭＰＥＧ−２により符号化された圧縮符号化信号の復号化を、復号化された画像をフレームメモリに記憶するに際し、継続的に記憶する画像を選択的して記憶させる手段を有して参照画像を効率良く書き換えながら復号化を行う画像復号化装置が開示されている。
特開２００３−２０４５５８号公報

しかしながら、特許文献１にに開示されている画像復号化装置では、復号化された画像を参照画像として符号化信号の動き予測復号化を出来るものの、復号化時に用いられる参照画像は所定のシーケンスで復号化された画像を対象としている。任意の参照画像が指定されて、更に高能率で符号化された符号化信号の復号化が出来ない。復号化のための専用ハードウエアを用いて復号化するには適した装置であるものの、参照画像の伝送シーケンスが任意であるような信号処理アルゴリズムに対応した画像復号化装置を実現することはできなかった。ＤＳＰを用いて参照画像が任意に指定される伝送速度の高い符号化信号の復号化は出来なかった。

そこで、本発明は、上記のような問題点を解消するためになされたものであり、アクセス速度が大きく記憶容量が小さい第１の記憶領域とアクセス速度は小さく記憶容量が大きい第２の記憶領域とを用い、入力シーケンスが任意でありその時間間隔も一様でない任意の参照画像が用いられて符号化された圧縮符号化信号の復号化を行う復号化装置及び復号化方法を提供することを目的とする。

本願発明における第１の発明は、所定フォーマットで符号化された符号化画像情報を復号化する復号化装置において、前記符号化画像情報を復号化するための複数の参照画像を格納する外部記憶部と、予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択する選択部と、前記選択部で選択された複数の参照画像ブロックを格納する内部記憶部と、前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行う復号化部とを備えたことを特徴とする復号化装置を提供する。
第２の発明は、前記複数の参照画像のうちの１の参照画像中に前記符号化画像情報を復号化するために用いられる複数の参照画像ブロックがある場合に、前記複数の参照画像ブロックを１つに統合する統合部を有することを特徴とする請求項１記載の復号化装置を提供する。
第３の発明は、所定フォーマットで符号化された符号化画像情報を復号化する復号化方法において、前記符号化画像情報を復号化するための複数の参照画像を外部記憶部に格納し、予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択し、前記複数の参照画像ブロックを内部記憶部に格納し、前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行うことを特徴とする復号化方法を提供する。
第４の発明は、前記複数の参照画像のうちの１の参照画像中に前記符号化画像情報を復号化するために用いられる複数の参照画像ブロックがある場合に、前記複数の参照画像ブロックを１つに統合することを特徴とする請求項３記載の復号化方法を提供する。

本発明によれば、符号化画像情報を復号化するための複数の参照画像を格納する外部記憶部と、予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択する選択部と、前記選択部で選択された複数の参照画像ブロックを格納する内部記憶部と、前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行う復号化部との格別な構成があるので、アクセス速度が大きく記憶容量が小さい第１の記憶領域とアクセス速度は小さく記憶容量が大きい第２の記憶領域とを用い、入力シーケンスが任意でありその時間間隔も一様でない任意の参照画像が用いられて符号化された圧縮符号化信号の復号化を行う復号化装置及び復号化方法を実現できる。
また、複数の参照画像のうちの１の参照画像中に前記符号化画像情報を復号化するために用いられる複数の参照画像ブロックがある場合に、前記複数の参照画像ブロックを１つに統合する統合部を有するので、参照画像ブロックの転送シーケンスを簡略化でき、入力シーケンスが任意でありその時間間隔も一様でない任意の参照画像が用いられて符号化された圧縮符号化信号の復号化を容易に行う復号化装置及び復号化方法を実現できる。

以下に本発明の復号化装置及び復号化方法の実施例に係る動画像復号化装置について図１〜図１２を用いて説明する。
図１は、本発明の実施に係る動画像符号化装置及び動画像復号化装置の構成例を示すブロック図である。
図２は、本発明の実施に係る動画像復号化装置をＤＳＰ用いて構成した例を示す図である。
図３は、本発明の実施に係る動画像復号化装置及びその要部の構成例を示す図である。
図４は、本発明の実施に係る動画像復号化装置をＤＳＰ用いて構成した例を示す図である。
図５は、本発明の実施に係る動画像復号化装置の動作を例示した図である。
図６は、本発明の実施に係る動画像復号化装置の制御動作に係るテーブルを示した図である。
図７は、本発明の実施に係る動画像復号化装置の動作を例示した図である。
図８は、本発明の実施に係る動画像復号化装置の制御動作とテーブルの関係を例示した図である。
図９は、本発明の実施に係る動画像復号化装置の動作シーケンス例を示した図である。
図１０は、本発明の実施に係る動画像復号化装置の応用動作を例示した図である。
図１１は、本発明の実施に係る動画像復号化装置の動作の前半をフローチャートで示した図である。
図１２は、本発明の実施に係る動画像復号化装置の動作の後半をフローチャートで示した図である。

その復号化装置はアクセス速度が大きく記憶容量が小さい第１の記憶領域とアクセス速度は小さく記憶容量が大きい第２の記憶領域とを用い、入力シーケンスが任意でありその時間間隔も一様でない任意の参照画像が用いられて符号化された圧縮符号化信号の復号化を実現するという目的を、符号化画像情報を復号化するための複数の参照画像を格納する外部記憶部と、予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択する選択部と、前記選択部で選択された複数の参照画像ブロックを格納する内部記憶部と、前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行うようにして実現した。

動画像を符号化する動画像符号化装置及び符号化して得られた信号を復号化する動画像復号化装置の構成について述べる。
図１に示す動画像符号化装置１は、イントラ予測部１１、動き補償予測部１２、減算器１３、変換部１４、量子化部１５、及びエントロピ符号化部１６より構成される。動画像復号化装置２はエントロピ復号化部２１、逆量子化部２２、逆変換部２３、イントラ予測モード部２４、予測値作成部２５、動きベクトル復号部２６、参照画像制御部２７、動き補償画像部２８、記憶部２９、加算器３１、及び画像蓄積部３２より構成される。イントラ予測部１１、動き補償予測部１２、及び減算器１３には画像信号が入力される。イントラ予測部１１、動き補償予測部１２、及び減算器１３にはスイッチＳＷ１が接続される。予測値作成部２５、動き補償画像部２８、及び加算器３１にはスイッチＳＷ２が接続される。画像蓄積部３１からは画像信号が出力される。
図２に示す動画像復号化装置２ａは、ＣＰＵ（Central Processing Unit）４１及び内部メモリ４２よりなるＤＳＰ（Digital signal processor）４と外部メモリ５１とより構成される。
図３に示す動画像復号化装置２ｂは、図１に示した動画像復号化装置２に比し、記憶部２９が多く配されている点、及び参照画像制御部２７は画像メモリ設定器２７ａ、参照画像管理器２７ｂ、参照画像転送器２７ｃ、参照画像管理テーブル２７ｄにより構成されている点で異なっている。
図４に示す動画像復号化装置２ｃは、図２に示した動画像復号化装置２ａに比し、内部メモリ４２は制御プログラム４２１、復号モジュール４２２、ワーク領域４２３、及び参照画像領域４２４で構成され、外部メモリ５１は参照画像Ｆ５１１、参照画像Ｅ５１２、参照画像Ｄ５１３、参照画像Ｃ５１４、参照画像Ｂ５１５、参照画像Ａ５１６、及び表示画像バッファ５１７で構成されている点で異なっている。

動画像符号化装置及び動画像復号化装置の動作について述べる。
図１に示す動画像符号化装置１に入力された画像信号は符号化されて圧縮符号化信号が出力される。その圧縮符号化は、いわゆるＨ．２６４でなされる符号化と同様に行われる。即ち、画像信号は、例えば１６画素×１６画素のブロックに分割されてイントラ予測部１１に入力される。そこでは過去に符号化され、図示しない局部復号器で復号化されたブロックのデータと比較され、複数の予測モードにおけるイントラ予測画像が求められ、そのモードの中から高い符号化効率を与えるモードが決定される。イントラ予測符号化時にスイッチＳＷ１はａ側に投入されており、減算器１３では入力画像から高い符号化効率を与えるモードのイントラ予測画像が減算された差の画像が得られる。動き補償予測部１２では、過去に符号化及び局部復号化された複数の、任意の参照画像が用いられて予測される。複数の参照用画像の中から特定の画像におけるブロック画像に対する動きベクトルが求められ、その動きベクトルを基に動き補償予測された動き補償予測画像が得られる。動き補償予測符号化時には、スイッチＳＷ１はｂ側に投入され、減算器１３では入力画像から動き予測補償予測画像が減じられた差の画像が得られる。差の画像は変換部１４で直交変換され、直交変換して得られた周波数成分は量子化部１５で量子化される。次に、エントロピ符号化部１６では符号は変換され、信号の冗長成分が除去された圧縮符号化信号が得られる。

圧縮符号化信号は動画像復号化装置２に入力され、イントラ予測符号化及び動き補償符号化のなされた圧縮符号化信号の復号化がなされる。イントラ予測復号化は、いわゆるＨ．２６４でなされると同様の復号化がなされるのに比し、本実施例で述べる動き補償復号化は、参照画像制御部２７により制御されて生成された参照画像が用いられて高速演算され、高画質の画像信号が生成される点に特徴がある。動画像復号化装置２について順に説明する。

まず、圧縮符号化信号は、エントロピ復号化部２１でエントロピ符号化された信号の復号化が行われる。エントロピ復号化して得られるイントラ符号化された信号はイントラ予測モード部２４に入力され、そこでイントラ符号化の際に用いられたモード情報が得られる。予測値作成部２５では、得られたモード情報を基にされ、イントラ予測された予測値が得られる。加算器３１の一方には、スイッチＳＷ２がｃ側に投入されて得られる予測値と、エントロピ復号化部２１から得れた信号が逆量子化部２２で逆量子化され、及び逆変換部２３で逆変換して得られる上記の差の信号と、が加算される。加算して得られた画像信号は画像蓄積部３２に記憶される。画像蓄積部３２には容量の大きな画像データが蓄積される。

エントロピ復号化して得られる動き予測符号化された信号は動きベクトル復号部２６に入力され、そこで動きベクトル情報が得られる。動きベクトル情報は参照画像制御部２７に入力され、後述の動き予測復号化に用いられる参照画像の領域が指定される。画像蓄積部３２に蓄積される指定された領域の参照画像は動き補償画像部２８に入力される。逆量子化部２２及び逆変換部２３を介して得られる差の信号と、スイッチＳＷ２を介して得られる参照画像とは加算器３１により加算され、動き補償復号化された画像信号が得られる。得られた画像信号は画像蓄積部３２に記憶される。記憶された画像信号は所定の時間間隔で読み出され、出力される。以上の動き補償復号化で、参照画像の記憶される動き補償画像部２８の記憶領域は小さいが、アクセス時間も短いため速度の速い復号化動作がなされ、例えば高精細度の圧縮符号化された画像信号はリアルタイムでの動き補償復号化がなされる。

図２を参照して動画像復号化装置２ａについて述べる。
その動画像復号化装置２ａは、図１に示した動画像復号化装置２をＤＳＰ４と外部メモリ５１を用いて構成したものである。内部メモリ４２はＤＳＰ４に内蔵されるメモリでありＣＰＵ４１とのアクセス速度は速いが記憶容量は小さい。外部メモリ５１はＣＰＵ４１とのアクセス速度は遅いが複数の画像データを記憶可能な領域を有している。
動画像復号化装置２ａでは動画像復号化装置２と同様の動作が行われる。即ち、ＣＰＵ４１はソフトウエアにより駆動され、エントロピ復号化、逆量子化、逆変換、イントラ予測モード部検出、予測値作成、動きベクトル復号、参照画像制御及び信号の加算などの信号処理が行われる。動き補償用参照画像は内部メモリ４２に記憶され、復号化して得られた画像信号は外部メモリ５１に蓄積される。外部メモリ５１に記憶された画像信号のうち、動き補償に用いられる画像データは内部メモリ４２に転送される。ＣＰＵ４１により、内部メモリ４２が高速にアクセスされ、入力される圧縮符号化信号の高速な動き補償復号化がなされる。

図３を参照して動画像復号化装置２ｂの参照画像制御部２７を説明する。
動きベクトル復号部２６で得られた動き補償用動きベクトルは参照画像管理器２７ｂに入力される。参照画像管理器２７ｂにより動き補償の演算に用いられる参照画像情報が生成される。生成された参照画像情報は参照画像管理テーブル２７ｄに入力され、後述の参照画像管理テーブルに記述される。参照画像転送器２７ｃからは、所定の時間間隔で画像蓄積部３２に記憶される参照画像の領域が指定される。画像蓄積部３２から動き補償画像部２８に、指定された領域の参照画像データが伝送される。動きベクトル復号部２６で得られた動きベクトルは参照画像管理器２７ｂ及び参照画像転送器２７ｃが介されて動き補償画像部２８に入力される。動き補償画像部２８では、参照画像と動きベクトルを基に動き補償画像が生成される。

ここで、逆変換部２３と加算器３１の間に配される記憶部２９は、先行して複数ブロックの動きベクトル情報から動き予測上必要な参照画像領域を求め、動き補償予測復号化に先立って参照画像を画像蓄積部３２から動き補償画像部２８に転送させるための動作の時間合わせを行うための回路である。
また、参照画像の転送を行う時間間隔は動き補償画像部２８の記憶容量により異なる。画像メモリ設定器２７ａにより、転送時間の間隔が設定可能である。

図４を参照して動画像復号化装置２ｃについて述べる。
動画像復号化装置２ｃは動画像復号化装置２ａの内部メモリ４２及び外部メモリ５１に記憶される情報を詳細に示したものである。
制御プログラム４２１にはＣＰＵ４１を実行させてＤＳＰ４を動作させるためのプログラムが格納されている。復号モジュール４２２にはエントロピ復号化、逆量子化、逆変換、イントラ予測モード部検出、予測値作成、動きベクトル復号、参照画像制御及び得られた所定の信号の加算を行うための演算モジュールが格納されている。ワーク領域４２３には参照画像管理テーブルなど、プログラム実行時に生じたデータ、及び記憶部２９で記憶するデータが記憶される。参照画像領域４２４には動き補償復号用参照画像が記憶される。
外部メモリ５１の参照画像Ａ５１１〜参照画像Ｆ５１６のそれぞれには復号化されたフレーム毎の画像が記憶される。表示画像バッファ５１４には出力画像用のデータが蓄積される。

通常のＤＳＰの場合では、内部メモリ４２として確保できる容量は数１００Ｋバイト〜１Ｍバイト程度である。通常の動作では、その高速小容量メモリの部分にはＣＰＵ４１を動作させるための制御プログラム、復号モジュール、及びＣＰＵ４１の演算途中結果を一時記憶するワーク領域が設けられる。それら以外のデータはアクセス速度が低速である大容量の外部メモリ５１に蓄積される。復号処理で使用される参照画像は６４０×４８０ピクセルのＶＧＡサイズのＹＵＶデータ（輝度信号及び赤、青の色差信号）でも１フレーム当たり４５０Ｋバイトが必要であり、それらの画像データは外部メモリ５１に蓄積される。ここで、ＣＰＵ４１から外部メモリ５１へのアクセスは低速でなされるため、動き予測復号化の演算のたびに毎回外部メモリ５１にアクセスする動作では復号処理速度が不足する。そこで、例えば高精細画像の復号化をＤＳＰにより行う場合には、例えば６４Ｋバイト程度の高速なアクセス領域を参照画像用として確保させ、ＣＰＵ４１により復号に必要な参照画像は高速メモリに一時記憶させ、記憶されたデータはアクセスされながら復号化が行われる。
画像メモリ設定器２７ａにより、内部メモリ４２及び外部メモリ５１のそれぞれの記憶領域が設定される。設定される情報はそれぞれのメモリサイズ及び物理アドレスなどである。

図５を参照して、内部メモリ４２への参照画像領域の設定について述べる。
同図の（ａ）には、縦１６画素×横１６画素で構成されるマクロブロックが横方向に６個、縦方向に４個並べられている。そのマクロブロックの位置を横方向に一番左側を０、右側を５とし、また垂直方向に一番上を０、一番下を３として配置位置を示す。Ｍａは横方向に３、垂直方向に１の位置にあり、Ｍｂは横方向に４、垂直方向に１の位置にある。（ｂ）は１フレーム前に伝送された参照画像、即ち参照画像Ａである。その中に斜線で示される領域は、Ｍａが参照される画像の存在する箇所である。この箇所は４個のマクロブロックの上に存在している。（ｄ）に斜線で示される４個のマクロブロックがＭａの参照画像として用いられる。同様に、（ｃ）はＭｂの参照に係る２フレーム前に伝送された参照画像Ｂであり、（ｅ）に斜線で示される４個のマクロブロックがＭｂの参照画像として用いられる。

図６を参照して、参照画像管理テーブルを説明する。
参照画像管理テーブルには、領域テーブルと領域テーブルに対するマクロブロックインデックステーブルの２種類のテーブルが、転送用と保留用のそれぞれにある。テーブル３である転送領域テーブルに対するマクロブロックインデックステーブルは、例えばＭａやＭｂなどのマクロブロックに付されるマクロブロック番号と、複数ある参照画像のうちから参照に用いられる参照画像を特定するための参照領域テーブルインデックスとが記述される。テーブル１の転送領域テーブルには、テーブル３で記述された参照画像インデックスにおける参照位置に係る参照範囲と、それらの情報を記憶する内部メモリ４２のアドレスとが記述される。アドレスマクロブロックの復号時にはそのアドレスが参照されて記憶される参照画像が読み出される。

保留領域テーブル、及び保留領域テーブルに対するマクロブロックインデックステーブルには、次の復号化時に用いられる参照画像のデータが記述される。そして、テーブル１及びテーブル２と、テーブル３及びテーブル４とは同じ記述形式で記述される。テーブル１とテーブル３とは現在転送されている参照画像領域の内部メモリの配置状況を保持するために使用され、テーブル２とテーブル４とは次のメモリ転送の制御に使用される。これらの２つのテーブルはメモリ転送を行う度に切り換えて使用される。また、テーブル１とテーブル２には、現在までに登録されている参照画像領域の大きさとそのために必要なメモリ量とが付属情報として記述されている。

図７を参照して参照画像の統合化を説明する。
同図に示す（ｆ）には、斜線で示される今回の動き補償画像作成時に使用される参照画像領域と、網点を付して示される新たに追加する参照画像領域とが示されている。それらの領域の画像は外部メモリ５１から内部メモリ４２に転送され、そこで動き補償画像が生成される。その転送を動き補償画像の生成タイミングと合わせて行う方法もあるが、その場合には画像の転送に先立って行われる内部メモリ４２及び外部メモリ５１の領域設定、転送用バスの転送時間確保、及びＣＰＵ４１の転送動作時間の確保などが必要である。そこで、（ｇ）に示すように両方の領域を含む矩形領域を設定し、設定された領域の画像データの転送を１度の操作で行った方がデータの転送時間を短縮できる。（ｈ）に示すように、斜線で示される領域と網点で示される領域とが離れて存在する場合であっても、両者の距離が近接する場合には、２つの領域を含む統合化された矩形領域を設定し、１度の動作により転送した方がデータ転送のの制御が容易であるため、データ転送時間を短縮できる。

図８を参照して転送領域テーブルについて更に述べる。
同図左側の中央に示す参照画像１は、参照画像Ａ５１６〜参照画像Ｆ５１１のいずれかの画像である。斜線で示す矩形領域が統合化された参照画像の領域であり、横方向の位置は２〜４、垂直方向の位置は１〜２である。同図の上側に示す転送領域テーブルでは、参照画像インデックス１に対する参照範囲である左右上下の位置は２、４、１、２と記述されている。内部メモリ４２に参照画像インデックス１の記憶領域として指定されるアドレスの位置が内部メモリアドレス１として記述されている。同様にして、参照画像２、及び参照画像３の参照範囲及び内部メモリアドレスが記述されている。領域テーブルに対するマクロブロックインデックステーブル、保留領域テーブルの記述方法は図６に示した方法と同様である。

図９を参照してテーブル１とテーブル２とを転送用あるいは保留用として切り替えて用いる、切り替え方法について述べる。同図において左側がテーブル１であり、右側がテーブル２のシーケンスを示している。
まず、テーブル１及びテーブル２を初期化する。次にテーブル１を保留領域テーブルととし、マクロブロックごとの参照領域を符号化信号に含まれる動きベクトルを参照しつつ定める。同一の参照画面に隣接あるいは近接する参照領域があるときにはそれらの領域を統合化することにより拡張した参照領域として割り当てる。やがて、内部メモリー４２内に設けた参照画像用領域の部分が満たされた場合には、外部メモリ５１から内部メモリ４２への参照画像の転送が行われる。そのときのテーブル１は転送領域テーブルとして動作する。同時にテーブル２を保留領域テーブルとする。以下、同様にしてテーブル１とテーブル２とは、お互いに転送領域テーブルや保留領域テーブルとして切り替えられる動作が継続される。前述の図３に示した記憶部２９は、保留領域テーブルが作成されメモリ転送がなされてから復号化が開始されるまでの処理の間に入力される符号化信号を一時記憶するものである。

図１０を参照して、参照画像の統合化に係る応用例について述べる。
マクロブロックに対する参照画像の左右上下に対する位置が２、３、１、２として検出されるときに、その領域を予め右方向に拡張した２、５、１、２として指定する。マクロブロックの伝送はテレビにおけるラスター走査の順に準じているため、次のマクロブロックによる参照画像が、同一フレームの画面が参照される場合には手前の参照画面の右側の領域が参照画像として指定される確率が高い。従って、予めラスタースキャンの方向に参照画像領域を拡張した転送領域テーブルを作成しておくことにより、統合化のための演算を省けるケースが多くあり、統合化のための演算時間を短縮出来る。

図１１〜図１２を参照して動画像復号化装置２のインターフレーム復号の流れについて述べる。
まず、Ｓ（ステップ）６１において転送領域テーブルと保留領域テーブルを初期化する。Ｓ６２で入力される圧縮符号化信号からマクロブロックのデータを取得する。Ｓ６３で参照画像として指定される画像のインデックス番号及び動きベクトル情報を取得する。Ｓ６４で参照画像領域は既に転送領域テーブルに登録済みであり、メモリ転送が終了しているかが検出される。メモリ転送が終了している場合にはＳ６５で直ちに復号化がなされる。Ｓ６４で、転送領域テーブルに登録済みでないとして検出される場合には、Ｓ６６で参照画像領域は保留領域テーブルに登録済みであるかが検出される。登録済みであるとして検出された場合には、Ｓ６７で保留領域用マクロブロックをマクロブロックインデックステーブルに登録する。Ｓ６６で登録済みでないとして検出された場合には、Ｓ６８で参照画像領域は保留領域テーブルと重なるか否かが検出される。重なりがある場合にはＳ６９で保留領域テーブルの参照画像領域を拡張する。Ｓ６８で重なりが無いとして検出された場合には、Ｓ７１で参照画像領域は保留領域テーブルに収まるか否かが検出される。収まるとして検出された場合にはＳ７２で保留領域テーブルに参照画像領域を登録する。

Ｓ７１で、内部メモリ４２内の所定の記憶領域が不足するなどにより、保留領域テーブルに収まらないとして検出された場合には、Ｓ７３で内部メモリに記憶されている参照画像をクリアし、Ｓ７４で転送領域テーブルを初期化する。Ｓ７５で転送領域用マクロブロックインデックステーブルを初期化し、Ｓ７６で保留領域テーブルを転送領域テーブルに変更し、各参照画像領域を外部メモリから内部メモリに転送する。Ｓ７７で各参照画像領域の内部メモリアドレスを転送領域テーブルに登録し、Ｓ７８で保留領域用マクロブロックインデックステーブルを転送領域用に変更する。Ｓ７９で転送領域用マクロブロックインデックステーブルにあるマクロブロックをすべて復号して後に、Ｓ８１でインターフレームの符号化データはまだあるかが検出される。符号化データがあるとして検出された場合にはＳ６２からの動作を繰り返し、ないとして検出された場合にはインターフレームの復号化を終了する。

さらに、発明は、上述した復号化装置をコンピュータにより実現させるためのプログラムを含むものである。そのコンピュータを実行させるためのプログラムは、例えば、所定フォーマットで符号化された符号化画像情報を復号化する復号化装置用プログラムにおいて、前記符号化画像情報を復号化するための複数の参照画像を格納する外部記憶部と、予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択する選択部と、前記選択部で選択された複数の参照画像ブロックを格納する内部記憶部と、前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行う復号化部とをコンピュータにより実行させることを特徴とする復号化装置用プログラムである。

以上のように、本実施例で示した動画像復号化装置２によれば、符号化画像情報を復号化するための複数の参照画像を格納する外部記憶部５１と、予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択する選択部２７と、前記選択部２７で選択された複数の参照画像ブロックを格納する内部記憶部４２と、前記内部記憶部４２に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行う復号化部２２〜２６、２８、及び３１との格別な構成があるので、アクセス速度が大きく記憶容量が小さい第１の記憶領域４２とアクセス速度は小さく記憶容量が大きい第２の記憶領域５１とを用い、入力シーケンスが任意でありその時間間隔も一様でない任意の参照画像が用いられて符号化された圧縮符号化信号の復号化を行う動画像復号化装置を実現できる。

複数の画像を参照して動き予測符号化により生成された圧縮符号化信号を、ＲＡＭを外付けたＤＳＰを用いて復号化する画像信号復号化装置に適用できる。

本発明の実施に係る動画像符号化装置及び動画像復号化装置の構成例を示すブロック図である。 本発明の実施に係る動画像復号化装置をＤＳＰ用いて構成した例を示す図である。 本発明の実施に係る動画像復号化装置及びその要部の構成例を示す図である。 本発明の実施に係る動画像復号化装置をＤＳＰ用いて構成した例を示す図である。 本発明の実施に係る動画像復号化装置の動作を例示した図である。 本発明の実施に係る動画像復号化装置の制御動作に係るテーブルを示した図である。 本発明の実施に係る動画像復号化装置の動作を例示した図である。 本発明の実施に係る動画像復号化装置の制御動作とテーブルの関係を例示した図である。 本発明の実施に係る動画像復号化装置の動作シーケンス例を示した図である。 本発明の実施に係る動画像復号化装置の応用動作を例示した図である。 本発明の実施に係る動画像復号化装置の動作の前半をフローチャートで示した図である。 本発明の実施に係る動画像復号化装置の動作の後半をフローチャートで示した図である。

符号の説明

１ 動画像符号化装置
２、２ａ、２ｂ、２ｃ 動画像復号化装置
４ ＤＳＰ
１１ イントラ予測部
１２ 動き補償予測部
１３ 減算器
１４ 変換部
１５ 量子化部
１６ エントロピ符号化部
２１ エントロピ復号化部
２２ 逆量子化部
２３ 逆変換部
２４ イントラ予測モード部
２５ 予測値作成部
２６ 動きベクトル復号部
２７ 参照画像制御部
２７ａ 画像メモリ設定器
２７ｂ 参照画像管理器
２７ｃ 参照画像転送器
２７ｄ 参照画像管理テーブル
２８ 動き補償画像部
２９ 記憶部
３１ 加算器
３２ 画像蓄積部
４１ ＣＰＵ
４２ 内部メモリ
５１ 外部メモリ
４２１ 制御プログラム
４２２ 復号モジュール
４２３ ワーク領域
４２４ 参照画像領域
５１１ 参照画像Ｆ
５１２ 参照画像Ｅ
５１３ 参照画像Ｄ
５１４ 参照画像Ｃ
５１５ 参照画像Ｂ
５１６ 参照画像Ａ
５１７ 表示画像バッファ
ＳＷ１、ＳＷ２ スイッチ

Claims (4)

1. 所定フォーマットで符号化された符号化画像情報を復号化する復号化装置において、
   前記符号化画像情報を復号化するための複数の参照画像を格納する外部記憶部と、
   予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択する選択部と、
   前記選択部で選択された複数の参照画像ブロックを格納する内部記憶部と、
   前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行う復号化部と
   を備えたことを特徴とする復号化装置。
2. 前記複数の参照画像のうちの１の参照画像中に前記符号化画像情報を復号化するために用いられる複数の参照画像ブロックがある場合に、前記複数の参照画像ブロックを１つに統合する統合部を有することを特徴とする請求項１記載の復号化装置。
3. 所定フォーマットで符号化された符号化画像情報を復号化する復号化方法において、
   前記符号化画像情報を復号化するための複数の参照画像を外部記憶部に格納し、
   予め用意された前記符号化画像情報の領域と復号化するために用いられる前記複数の参照画像の領域が関連付けられたテーブルを用いて、前記複数の参照画像の中から復号化に用いられる複数の参照画像ブロックを選択し、
   前記複数の参照画像ブロックを内部記憶部に格納し、
   前記内部記憶部に格納された前記複数の参照画像ブロックを用いて前記符号化画像情報の復号化を行うことを特徴とする復号化方法。
4. 前記複数の参照画像のうちの１の参照画像中に前記符号化画像情報を復号化するために用いられる複数の参照画像ブロックがある場合に、前記複数の参照画像ブロックを１つに統合することを特徴とする請求項３記載の復号化方法。
   

Images