JP2004173246A - 動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラム - Google Patents

Abstract

【課題】 従来、上位階層の符号化においては、動き補償画像間予測で予測誤差
が多く、下位階層の画像間予測では、適切な画像間予測が困難である。その結果
、従来は階層化しない符号化に対して符号化効率が大幅に低下する。
【解決手段】 画像入力端子１よりのインターレース走査の動画像信号は、順次
走査変換器２により同一のフレームレートの順次走査信号に変換される。符号化
器４は、スイッチ３から取り出された順次走査信号を符号化して第１の符号列を
生成する。局部復号化器９、画像間予測器８、フィールド間引き器１１、スイッ
チ１０、画像遅延器１２、減算器１３、ＤＣＴ１４、量子化器１５及び可変長符
号化器１６は、インターレース走査の動画像信号において、上記順次走査画像信
号と異なった時間位置のフィールドを、第１の符号列の局部復号画像を参照画像
として画像間予測符号化し、第２の符号列を生成する。
【選択図】 図１

Description

本発明は動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラムに係り、特に時間方向に間引かれた動画像を基礎階層として符号化し、残りの動画像を拡張階層として符号化する動画像時間軸階層符号化方法及び符号化装置、階層符号化された動画像を復号する復号化方法及び復号化装置並びに階層符号化及び復号化のためのコンピュータプログラムに関する。

動画像の符号化には、単純な１階層のみの符号化に対し、２重の符号列構成を持つ階層符号化(Scalable Coding)がある。階層符号化は基礎階層のみの符号列で復号化が可能であり、拡張階層の符号列を復号化し、基礎階層の復号化結果と合成することで、より高画質の再生画像を得ることができるものである。

階層化(分割)の方向としては、量子化方向(ＳＮＲ)、空間方向(Spatial)、時間軸方向(Temporal)がある。時間軸階層の場合、例えば６０ｆｐｓ(field per second)のインターレース走査画像をフィールド単位に間引いて、３０ｆｐｓの画像を得て符号化し、符号化されなかった残りのフィールドを符号化が行われたフィールドの局部復号画像から予測して、予測残差を符号化する。

次に、従来の動画像時間軸階層符号化装置について説明する。図１２は従来の動画像時間軸階層符号化装置の一例のブロック図を示す。同図において、画像入力端子１より入来する動画像信号は、スイッチ５１に与えられる。動画像信号は毎秒６０フィールド(６０ｆｐｓ)のインターレース走査画像である。画像設定器７は入力端子１に入来するインターレース動画像信号の奇数フィールドと偶数フィールドを判断して、スイッチ５１を制御する。スイッチ５１は入来動画像信号を１フィールドごとに振り分け、偶数フィールドは符号化器５２へ、奇数フィールドは画像遅延器１１に供給する。

符号化器５２は、３０ｆｐｓの偶数フィールドの画像信号を符号化し、符号列と量子化結果を得る。符号列は多重化器５に供給される。具体的な符号化方法は、ＭＰＥＧ等に代表される画像間予測符号化の他にフィールド内符号化もあり得る。

局部復号化器５４は、符号化器５２から少なくとも量子化まで行われた信号を入力として受け、局部復号処理を行い、再生画像を得る。この再生画像は画像間予測器５３に供給される。画像間予測器５３は、奇数フィールドに対する予測信号を形成し、減算器１３に供給する。

一方、画像遅延器１２は、被符号化フィールドの参照画像が、符号化器５２から局部復号化器５４まで処理されて整い、画像間予測処理が可能になるまで被符号化フィールドを遅延させて減算器１３に供給する。減算器１３は、画像遅延器１２からの奇数フィールドの遅延画像信号と、画像間予測器５３から与えられる予測信号との減算を行い、これにより予測残差を得てＤＣＴ１４に供給する。

ＤＣＴ１４は予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器１５に与える。量子化器１５は入力される係数を所定のステップ幅で量子化し、これにより固定長の符号となった係数を可変長符号化器１６に与える。可変長符号化器１６は、入力される固定長の符号（予測残差）を可変長符号で圧縮し、これにより得られた符号列を多重化器５に供給し、ここで符号化器５２からの符号列と多重化されて出力される。

次に、図１２の多重化器５から出力される従来の動画像時間軸階層符号列６の構成について説明する。インターレース走査画像は、偶数フィールドと奇数フィールドに分けられ、片方が基礎階層符号列、他方が拡張階層の符号列となる。図１４の（ａ）は上記の基礎階層符号列と拡張階層符号列からなる動画像時間軸階層符号列６を模式的に示す。同図（ａ）において、"filed"はインターレース走査画像の１フィールドである。数字は被符号化動画像の画像順である。拡張階層は双方向予測で符号化されるので、時間的には後となる基礎階層画像を先に伝送する必要があり、時間関係は逆転して伝送される。なお、基礎階層内で双方向予測が行われる場合は、基礎階層内でも逆転する。

次に、従来の動画像時間軸階層復号化装置について説明する。図１３は、図１２の動画像時間軸階層符号化装置に対応する従来の動画像時間軸階層復号化装置の一例のブロック図を示す。図１３において、符号入力端子２４より入来する動画像時間軸階層符号列は、多重化分離器２５により基礎階層の符号列と拡張階層の符号列に分離され、基礎階層の符号列は復号化器６１に、拡張階層の符号列は可変長復号化器３０に供給される。

基礎階層の符号列は、復号化器６１で図１２の符号化器５２の逆処理が行われ、３０ｆｐｓの再生画像信号を得て、画像間予測器６２と画像遅延器２３に供給される。この再生画像信号は、インターレース走査画像信号の偶数フィールドである。画像間予測器６２は、再生画像信号から奇数フィールドに対する予測信号を形成し、加算器３３に供給する。

一方、拡張階層の符号列は、可変長復号化器３０で予測残差の可変長符号が固定長の符号に戻された後、逆量子化器３１に入力されて量子化パラメータに従って逆量子化が行われる。固定長符号は逆量子化器３１で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ３２に入力される。逆ＤＣＴ３２は縦方向８個、横方向８個の計６４個の係数を復号予測残差信号に変換し、加算器３３に供給する。

加算器３３は、逆ＤＣＴ３２からの復号予測残差信号に、画像間予測器６２から与えられる予測信号を加算して復号画像信号を得る。この様にして得られた３０ｆｐｓの復号画像信号は、インターレース走査画像信号の奇数フィールドであり、スイッチ２７に供給される。

スイッチ２７は、多重化分離器２５から出力される符号列の階層情報に同期して、画像遅延器２３の出力再生画像信号と、加算器３３の出力復号画像信号をフィールドの偶数／奇数に合わせて選択し、再生画像出力端子２８より出力する。
出力される動画像信号は、６０ｆｐｓのインターレース走査画像となる。

上記のように、従来の動画像時間軸階層符号化は、インターレース走査画像が偶数フィールドと奇数フィールドに分けられ、片方が基礎階層符号列、他方が拡張階層となる。ここで、上位階層の符号化においては、フィールド画像には折り返し歪み成分が多く含まれるので、動き補償画像間予測で予測誤差が多くなる。

一方、下位階層の画像間予測では予測参照画像と被符号化画像間でフィールドのパリティ(偶奇)が異なるので、適切な画像間予測が困難である。その結果、従来は階層化しない符号化に対して符号化効率が大幅に低下するという問題がある。

本発明は以上の点に着目してなされたもので、入来インターレース走査画像信号を、同一フレームレートの順次走査信号に変換して基礎階層として符号化し、順次走査信号と異なった時間にあるフィールドを、順次走査信号の復号信号を参照画像として画像間予測符号化することで、インターレース走査画像信号に対しても高い符号化効率が得られる動画像時間軸階層符号化方法、符号化装置、復号化方法及び復号化装置並びにコンピュータプログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明の動画像時間軸階層符号化方法は、入力インターレース走査画像信号を、入力インターレース走査画像信号と同一フレームレートの順次走査画像信号に変換する第１のステップと、順次走査画像信号を符号化して第１の符号列を得る第２のステップと、第１の符号列を局部復号化して得た局部復号画像を参照画像として、入力インターレース走査画像信号において、順次走査画像信号と異なった時間位置のフィールドを画像間予測符号化して第２の符号列を得る第３のステップと、第１の符号列と第２の符号列を多重化して動画像時間軸階層符号化信号として出力する第４のステップとを含むことを特徴とする。

この発明では、入力インターレース走査画像信号を、同一フレームレートの順次走査画像信号に変換して基礎階層として符号化して第１の符号列を得ると共に、順次走査画像信号と異なった時間位置のフィールドを、第１の符号列を局部復号化して得た局部復号画像を参照画像として画像間予測符号化して第２の符号列を得るようにし、これら第１の符号列と第２の符号列を多重化して動画像時間軸階層符号化信号として出力する。ここで、上記の第２の符号列を得るときの画像間予測は、時間距離が非常に近い前後順次走査画像からの予測であるので、極めて高い符号化効率が得られ、発生する符号量は僅かである。

また、上記の目的を達成するため、第２の発明の動画像時間軸階層復号化方法は、時間軸階層化された符号列から、再生インターレース走査画像信号と同一フレームレートの順次走査画像信号に対して符号化された第１の符号列と、再生インターレース走査画像信号において順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する第１のステップと、第１の符号列を復号化して、再生順次走査画像信号を得る第２のステップと、再生順次走査画像信号を再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方である第１のフィールドの画像信号に変換する第３のステップと、第２の符号列に対し、再生順次走査画像信号を参照画像として画像間予測復号化し、再生インターレース走査画像信号の第１のフィールドと異なった第２のフィールドの画像信号を得る第４のステップと、第１のフィールドの画像信号と第２のフィールドの画像信号を、時間的に切り替えて再生インターレース走査画像信号として出力する第５のステップとを含むことを特徴とする。

この発明では、基礎階層である第１の符号列を復号化して得られた再生順次走査画像信号から、再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方のフィールドである第１のフィールドの画像信号を得ると共に、拡張階層である第２の符号列を復号化して得られた第２のフィールドの画像信号を得て、これらを時間的に切り替えて再生インターレース走査画像信号を得るようにしたため、基礎階層のみの復号化に比べて時間解像度が十分な再生インターレース走査画像信号を得ることができる。

また、上記の目的を達成するため、第３の発明の動画像時間軸階層符号化装置は、入力インターレース走査画像信号を、入力インターレース走査画像信号と同一フレームレートの順次走査画像信号に変換する画像変換手段と、順次走査画像信号を符号化して第１の符号列を得る第１の符号列生成手段と、第１の符号列を局部復号化して得た局部復号画像を参照画像として、入力インターレース走査画像信号において、順次走査画像信号と異なった時間位置のフィールドを画像間予測符号化して第２の符号列を得る第２の符号列生成手段と、第１の符号列と第２の符号列を多重化して動画像時間軸階層符号化信号として出力する多重化手段とを有する構成としたものである。この発明では、第１の発明の動画像時間軸階層符号化方法と同様の作用により同様の動画像時間軸階層符号化信号を得ることができる。

また、上記の目的を達成するため、第４の発明の動画像時間軸階層符号化装置は、第３の発明の画像変換手段により得られた順次走査画像信号を垂直方向にダウンサンプリングして、走査線数が減少された順次走査画像信号を得る走査線ダウンサンプル手段を更に有し、第１の符号列生成手段は走査線数が減少された順次走査画像信号を符号化して走査線数が減少された第１の符号列を生成し、第２の符号列生成手段は、走査線数が減少された第１の符号列を局部復号化して得た局部画像信号を垂直方向にアップサンプリングして、走査線ダウンサンプル手段に入力される順次走査画像信号と同じ走査線数にした信号を参照画像とする走査線アップサンプル手段を含むことを特徴とする。

この発明では、順次走査画像信号を垂直方向にダウンサンプリングして走査線数を減じた順次走査画像信号に対して符号化を行って第１の符号列を生成するようにしているため、垂直方向にダウンサンプリングしない順次走査画像信号から第１の符号列を生成する場合よりも発生符号量を少なくできる。

また、上記の目的を達成するため、第５の発明の動画像時間軸階層復号化装置は、時間軸階層化された符号列から、再生インターレース走査画像信号と同一フレームレートの順次走査画像信号に対して符号化された第１の符号列と、再生インターレース走査画像信号において順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する多重化分離手段と、第１の符号列を復号化して、再生順次走査画像信号を得る第１の復号化手段と、再生順次走査画像信号を再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方である第１のフィールドの画像信号に変換する画像変換手段と、第２の符号列に対し、再生順次走査画像信号を参照画像として画像間予測復号化し、再生インターレース走査画像信号の第１のフィールドと異なった第２のフィールドの画像信号を得る第２の復号化手段と、第１のフィールドの画像信号と第２のフィールドの画像信号を、時間的に切り替えて再生インターレース走査画像信号として出力する多重化手段とを有する構成としたものである。この発明では、第２の発明の動画像時間軸階層復号化方法と同様の作用により、同様の再生インターレース走査画像信号を得ることができる。

また、上記の目的を達成するため、第６の発明の動画像時間軸階層復号化装置は、第５の発明の多重化分離手段を、時間軸階層化された符号列から、再生インターレース走査画像信号と同一フレームレートで垂直方向にダウンサンプリングされた順次走査画像信号に対して符号化された第３の符号列と、再生インターレース走査画像信号において順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する手段とし、第１の復号化手段を、第３の符号列を復号化して得られた順次走査画像信号を垂直方向にアップサンプリングする手段とし、画像変換手段を、垂直方向にアップサンプリングされた順次走査画像信号を第１のフィールドの画像信号に変換する手段とすることを特徴とする。

この発明では、再生インターレース走査画像信号と同一フレームレートで垂直方向にダウンサンプリングされた順次走査画像信号に対して符号化された第３の符号列に対して復号化を行うようにしているため、垂直方向にダウンサンプリングしない順次走査画像信号を復号化する場合よりも復号化処理量を少なくできる。

また、上記の目的を達成するため、第７の発明のコンピュータプログラムは、第１の発明の動画像時間軸階層符号化方法の各ステップをコンピュータにより実行させることを特徴とする。この発明では、第１の発明の動画像時間軸階層符号化方法と同様の作用により同様の動画像時間軸階層符号化信号を得ることができる。

更に、上記の目的を達成するため、第８の発明のコンピュータプログラムは、第２の発明の動画像時間軸階層復号化方法の各ステップをコンピュータにより実行させることを特徴とする。この発明では、第２の発明の動画像時間軸階層復号化方法と同様の作用により同様の再生インターレース走査画像信号を得ることができる。

本発明によれば、以下の数々の優れた特長を有する。

（１）インターレース走査画像信号を、同一フレームレートの順次走査信号に変換して符号化することで、インターレース走査画像信号と同じ走査線数のまま順次走査信号として符号化を行うことになり、インターレース走査画像信号をそのまま符号化するより大幅にビットレートを低減できる。

（２）第２の符号列を得るときの画像間予測は、時間距離が非常に近い前後順次走査画像からの予測とすることで、極めて高い符号化効率が得られ、発生する符号量は僅かであるため、インターレース走査画像信号に対して、高い符号化効率で時間軸階層符号化ができる。これは、従来の時間軸階層符号化に対して優れるのみでなく、階層化しない通常のインターレース動画像符号化より符号化効率を高くできる。

（３）本発明の符号化の処理量は、従来の時間軸階層符号化に比べて増加するが、すべてのインターレース走査画像信号を順次走査画像信号に変換して符号化する場合に比べて少ない処理量にできる。

（４）垂直方向にダウンサンプリングして走査線数を減じた順次走査画像信号に対して符号化を行って第１の符号列を生成することで、垂直方向にダウンサンプリングしない順次走査画像信号から第１の符号列を生成する場合よりも発生符号量を少なくできる。順次走査画像信号はインターレース走査画像信号から変換されたものであり、元のインターレース走査画像信号は走査線数を減じる垂直周波数帯域の成分が抑圧されているので、この際の実質的な解像度の低下は僅かである。

（５）再生インターレース走査画像信号と同一フレームレートで垂直方向にダウンサンプリングされた順次走査画像信号に対して符号化された第３の符号列に対して復号化を行うようにしているため、垂直方向にダウンサンプリングしない順次走査画像信号を復号化する場合よりも復号化処理量を少なくできる。

次に、本発明を実施するための最良の形態について図面と共に説明する。図１は本発明になる動画像時間軸階層符号化装置の第１の実施の形態のブロック図を示す。同図中、図１２の従来例と同一構成要素には同一番号を付してある。図１に示す第１の実施の形態は、図１２の従来例に比し、順次走査変換器２、スイッチ１０、フィールド間引き器１１が追加されており、符号化器４、局部復号化器９、画像間予測器８の処理動作が異なる。

図１において、画像入力端子１より入来するインターレース走査の動画像信号は、順次走査変換器２、画像選択器７及びスイッチ１０に入力される。基礎階層の符号化処理として、順次走査変換器２は、画像入力端子１よりのインターレース走査の動画像信号で間引かれている走査線を、時空間的に隣接する走査線から補間し、走査線数が２倍になった毎秒６０フレームの順次(プログレッシブ)走査信号を得て、スイッチ３に供給する。スイッチ３は、１フレームおきに間引き、毎秒３０フレームの順次走査信号を得る。

なお、順次走査変換器２の動作とスイッチ３の動作を同時に行い、入力インターレース走査画像信号から直接３０ｆｐｓの順次走査信号を得てもよい。ただし、この場合、偶奇二つのフィールドの中間的な画像を得るのではなく、既存走査線は残したまま走査線補間を行い、入来インターレース走査画像信号の何れかのフィールドと同一時間に相当する順次走査フレームを形成する。

符号化器４はスイッチ３から取り出された３０ｆｐｓの順次走査信号を符号化し、できた符号列を多重化器５に供給すると共に、量子化までが済んだ信号を局部復号化器９に供給する。符号化器４の符号化方法は、ＭＰＥＧ−２、ＭＰＥＧ−４、その他の画像間予測符号化、フレーム内符号化などである。

局部復号化器９での符号化処理は３０ｆｐｓの順次走査信号のすべてのフレームに対して行われる。ＭＰＥＧ符号化では双方向予測フレーム(B-picture)は必ずしも局部復号化する必要がないが、本実施の形態では、拡張階層画像の予測参照画像になる必要があるため、３０ｆｐｓの再生画像を得る。再生画像は画像間予測器８に参照画像として供給される。画像間予測器８は、３０ｆｐｓの順次走査の各フレームの間に挟まれるインターレース走査の各フィールドに対する予測信号を形成する。形成された順次走査の予測信号は、フィールド間引き器１１で走査線が間引かれ、インターレース走査のフィールドとなる。なお、画像間予測器８とフィールド間引き器１１の処理を一体化して、順次走査の参照画像から直接インターレース走査の予測画像を得てもよい。

一方、拡張階層の符号化処理として、スイッチ１０は入来インターレース走査の動画像信号から、スイッチ３で選択されるフレームと異なった時間のフィールドを選択し、画像遅延器１２に供給する。画像遅延器１２は、被符号化フィールドの参照画像が、順次走査変換２から局部復号化器９まで処理されて整い、画像間予測処理が可能になるまで被符号化フィールドを遅延させる。

画像遅延器１２から取り出されたフィールド画像信号は、減算器１３においてフィールド間引き器１１から供給される予測信号が減算され、予測残差となってＤＣＴ１４に供給される。ＤＣＴ１４は減算器１３からの予測残差に対してＤＣＴ(Discrete Cosine Transform)の変換処理を行い、得られた係数を量子化器１５に供給する。量子化器１５は所定のステップ幅で入力係数を量子化し、固定長の符号となった係数を可変長符号化器１６に供給する。可変長符号化器１６は、固定長の予測残差を可変長符号で圧縮し、できた符号を多重化器５に供給する。多重化器５は、符号化器４と可変長符号化器１６からのそれぞれの階層の符号列に適時インデックス符号を挿入し、多重化する。

このように、本実施の形態によれば、画像入力端子１よりのインターレース走査の動画像信号を、同一のフレームレートの順次走査信号に変換して符号化することにより、順次走査信号の符号化であり、走査線数も増加していないので、入力インターレース走査の動画像信号をそのまま符号化するよりも大幅にビットレートを低減できる。

次に、本実施の形態の符号化処理の走査線関係について、図３と共に説明する。図３（ａ）は画像入力端子１より入来する６０ｆｐｓのインターレース走査の動画像信号の走査線を示すが、偶数フィールドと奇数フィールドは走査線位置がずれている。これに対し、基礎階層として符号化される３０ｆｐｓの順次走査信号の走査線は、図３（ｂ）に示すように、入来インターレース走査の動画像信号の偶数フィールドまたは奇数フィールドのどちらか一方と同一時間にすべての走査線が存在する。このような走査線構造の場合、折返し歪みが無く動き補償が適切に行えるので予測残差が非常に少なくなる。

一方、拡張階層の画像信号は入来インターレース走査の動画像信号の偶数フィールドまたは奇数フィールドの内、図３（ｂ）に示した順次走査信号と時間が異なる方の片フィールドの信号で、その走査線は図３（ｃ）に示される。この信号の被符号化走査線数は図３（ａ）、（ｂ）に示した信号のそれの半分であり、参照画像は図中破線で示された６０分の１秒間隔で前後する順次走査信号なので、極めて良好な画像間予測が可能であり、予測残差は非常に少なく、発生する符号量は僅かである。

従って、本実施の形態によれば、インターレース走査の動画像信号に対して、従来の時間軸階層符号化よりも優れ、また階層化しない通常のインターレース動画像符号化よりも高い符号化効率で時間軸階層符号化ができる。

次に、本発明になる動画像時間軸階層符号化装置の第２の実施の形態について説明する。図４は本発明になる動画像時間軸階層符号化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成要素には同一番号を付してある。図４に示す第２の実施の形態の符号化装置は、図１に示した第１の実施の形態の符号化装置に比し、走査線ダウンサンプラ３５と走査線アップサンプラ３８が追加されている。また、符号化器３６、局部復号化器３７の処理動作が異なる。

次に、この第２の実施の形態の動作について説明する。図４において、画像入力端子１より入来する６０ｆｐｓのインターレース走査の動画像信号は、順次走査変換器２、画像設定器７及びスイッチ１０に供給される。順次走査変換器２及びスイッチ３の動作は、図１に示した第１の実施の形態と同じで、３０ｆｐｓの順次走査信号を得る。

得られた順次走査信号は走査線ダウンサンプラ３５で走査線数が３／４から２／３程度にダウンサンプルされる。ダウンサンプルは、変換後の走査線数で折り返し歪みが無いように垂直低域通過フィルタ(Ｖ−ＬＰＦ)で帯域制限しながら行われる。走査線ダウンサンプラ３５により得られる変換後の走査線数は、入来インターレース走査の動画像信号のフレーム有効走査線数が４８０本であるときは３６０本ないし３２０本、１０８０本であるときは８１０本ないし７２０本である。インターレース走査画像信号は、フリッカを抑えるためフレーム垂直周波数の最も高い領域が抑圧されているので、順次走査変換された画像信号もその成分が少なく、ダウンサンプルしても失われる画像情報は僅かである。

走査線ダウンサンプラ３５により垂直方向にダウンサンプルされた画像信号は、符号化器３６で符号化される。符号化器３６による符号化方法は、図１の符号化器４と同様であるが、走査線数が図１の場合よりも少なくなっているので、すべての画像を順次走査に変換して符号化する場合に比し、処理量、発生符号量とも少なくなる。

符号化器３６から出力された符号化信号は、局部復号化器３７において３０ｆｐｓのすべてのフレームに対して局部復号化が行われる。この局部復号化処理も入力信号の走査線数が少なくなっているので、処理量は少なくなる。局部復号化器３７から出力された局部復号化信号は、走査線アップサンプラ３８に供給され、ここで元の走査線数に戻されて画像間予測器８に入力される。画像間予測器８、フィールド間引き器１１の動作は図１と同じである。

一方、スイッチ１０に供給された、拡張階層である他方のフィールドの動画像信号は、画像遅延器１２、減算器１３、ＤＣＴ１４、量子化器１５及び可変長符号化器１６で、図１と同様に処理されて拡張階層の符号列とされた後、多重化器５で符号化器３６からの符号化信号と多重化される。ただし、図１の場合と、画像間予測の参照画像が異なるので、符号化結果は若干変化する。

なお、走査線アップサンプラ３８とフィールド間引き器１１の処理を一体化して、局部復号化器３７の出力から減算器１３に与えるフィールド画像信号を直接作ってもよいが、半画素精度の動き補償を行う場合は、垂直に２倍の密度の画像が必要なので、先の処理構成でもあまり無駄はない。

次に、本発明の動画像時間軸階層復号化装置の各実施の形態について説明する。図２は本発明の動画像時間軸階層復号化装置の第１の実施の形態のブロック図を示す。この実施の形態の動画像時間軸階層復号化装置は、図１の動画像時間軸階層符号化装置に対応する復号化装置であり、図１３の従来例と同一構成要素には同一符号を付してある。図２に示す復号化装置の第１の実施の形態は図１３の従来の復号化装置に比し、フィールド間引き器２２、２９が追加されており、復号化器２１、画像間予測器２６の処理動作が異なる。

図２において、符号入力端子２４より入来する符号列は、多重化分離器２５に供給され、ここで基礎階層の符号列と拡張階層の符号列に分離され、基礎階層の符号列は復号化器２１に供給され、拡張階層の符号列は可変長復号化器３０に供給される。

復号化器２１は、基礎階層の符号列に対して図１の符号化器４の逆処理を行い、３０ｆｐｓの順次走査の再生画像を得て、その再生画像をフィールド間引き器２２と画像間予測器２６に供給する。フィールド間引き器２２は、補間されている走査線を削除して、フィールド画像を得て、画像遅延器２３に供給する。画像遅延器２３は、拡張階層のフィールドと同期をとるため、再生フィールド信号を数フィールド間保持する。

一方、拡張階層の符号列は、可変長復号化器３０で予測残差の可変長符号が固定長の符号に戻された後、逆量子化器３１に入力されて量子化パラメータに従って逆量子化が行われる。固定長符号は逆量子化器３１で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ３２に入力される。逆ＤＣＴ３２は縦方向８個、横方向８個の計６４個の係数を復号予測残差信号に変換し、加算器３３に供給する。

画像間予測器２６から与えられる予測信号は、フィールド間引き器２９で間引かれてから加算器３３において逆ＤＣＴ３２からの復号予測残差信号と加算され、復号画像信号となる。この様にして得られた３０ｆｐｓの復号画像信号は、インターレース走査画像信号の他方のフィールドであり、スイッチ２７に供給される。

スイッチ２７は、多重化分離器２５から出力される符号列の階層情報に同期して、画像遅延器２３の出力再生画像信号と、加算器３３の出力復号画像信号をフィールドのパリティに合わせて選択し、再生画像出力端子２８より出力する。出力される動画像信号は、６０ｆｐｓのインターレース走査画像となる。

次に、本発明になる動画像時間軸階層復号化装置の第２の実施の形態について説明する。図５は本発明になる動画像時間軸階層復号化装置の第２の実施の形態のブロック図を示す。この実施の形態の動画像時間軸階層復号化装置は、図４に示した動画像時間軸階層符号化装置に対応する復号化装置で、図２と同一構成要素には同一符号を付し、その説明を省略する。この第２の実施の形態の復号化装置は、図２に示した第１の実施の形態の復号化装置に比し、走査線アップサンプラ４２が追加されており、また、復号化器４１の動作が異なる。

次に、この実施の形態の動作について説明する。まず、図５の符号入力端子２４より入来した符号列は、多重化分離器２５により基礎階層の符号列と拡張階層の符号列に分離され、基礎階層の符号列は復号化器４１に供給され、拡張階層の符号列は可変長復号化器３０に供給される。

基礎階層の符号列は、復号化器４１で復号化処理が行われて３０ｆｐｓの走査線数の減じられた順次走査の再生画像信号とされた後、走査線アップサンプラ４２に供給される。復号化器４１の処理動作は図２の復号化器２１と同様であるが、走査線数が少なくなっているので、復号化の処理量は少なくなる。復号化器４１からの再生画像信号は、走査線アップサンプラ４２で元の走査線数に戻された後、フィールド間引き器２２と画像間予測器２６に供給される。

走査線アップサンプラ４２の処理動作は、図４に示した符号化装置の走査線アップサンプラ３８の処理動作と同じである。また、図５に示す画像間予測器２６、フィールド間引き器２９、フィールド間引き器２２、画像遅延器２３、スイッチ２７、画像出力端子２８の動作は図２と同様である。

一方、拡張階層の符号列は、図５に示す可変長復号化器３０、逆量子化器３１、逆ＤＣＴ３２、加算器３３、画像間予測器２６、フィールド間引き器２９よりなる回路部により図２と同じ動作により復号化される。この復号化により得られた３０ｆｐｓの復号画像信号は、インターレース走査画像信号の他方のフィールドであり、加算器３３からスイッチ２７に入力される。

次に、本発明における動画像時間軸階層符号列構成について説明する。この符号列構成は、３０ｆｐｓの順次走査信号を符号化した基礎階層符号列と、インターレース走査画像信号の片方のフィールドを符号化した拡張階層符号列とからなる。それぞれを図１４（ｂ）に示す。同図（ｂ）において、”Prog.”は順次走査信号の１フレーム、”filed”はインターレース走査画像信号の１フィールドである。数字は被符号化動画像信号の画像順である。

図１４（ｂ）に示すように、拡張階層画像（１フィールドのインターレース走査画像信号）は双方向予測で符号化されるので、時間的には後となる基礎階層画像（１フレームの順次走査信号）を先に伝送する必要があり、時間関係は逆転して伝送される。なお、基礎階層内で双方向予測が行われる場合は、基礎階層内でも逆転する。また、順次走査であるの１フレーム分の基礎階層符号列と、インターレース走査の１フィールドである拡張階層符号列とが交互に存在する。

なお、上位階層の符号列と拡張階層の符号列は、必ずしも１画像毎に交互にする必要は無く、別々にパケット化され、適時多重化されてもよい。また、伝送システムでは図１４（ｃ）に模式的に示すように、先に上位階層の符号列を伝送し、後から拡張階層の符号列を送ることもある。

次に、動画像時間軸階層記録媒体について説明する。この動画像時間軸階層記録媒体は、３０ｆｐｓの順次走査信号を符号化した基礎階層符号列と、インターレース走査画像信号の片方のフィールドを符号化した拡張階層符号列が記録される。それぞれの符号列は、別のパケットであり、階層を示すインデックス情報が付与されている。記録形態は基礎階層の情報のみが再生できるようにすることが望まれる。

基礎階層の情報のみの再生では、従来例では片方のフィールドのみになるので、時空間解像度の劣るものとなるが、この記録媒体では順次走査画像が得られるので、空間解像度は良好となる。

なお、本発明は、上記の動画像時間軸階層符号化装置及び動画像時間軸階層復号化装置の一方又は両方の各構成要素をコンピュータにより実現するコンピュータプログラムを含むものである。このコンピュータプログラムは、記録媒体からコンピュータに読み込んでもよいし、ネットワークを介して取り込んでもよい。

次に、本発明のコンピュータプログラムによる動画像時間軸階層符号化動作について図６のフローチャートと共に説明する。まず、コンピュータに入力されるインターレース走査画像信号を、その画像信号と同一のフレームレートの順次走査画像信号に変換する（ステップＳ１）。このステップＳ１の処理は、例えば図１の符号化装置では順次走査変換器２とスイッチ３と画像設定器７による動作に相当する。

続いて、ステップＳ１で変換された順次走査画像信号を符号化し、第１の符号列を生成する（ステップＳ２）。また、このとき上記の順次走査画像信号を局部復号化し、局部復号画像信号も得られる。このステップＳ２の処理は、例えば図１の符号化装置では符号化器４及び局部復号化器９による動作に相当する。

続いて、コンピュータに入力されるインターレース走査画像信号において、順次走査画像信号と異なった時間位置のフィールドを、局部復号画像信号を参照画像信号として画像間予測符号化して第２の符号列を生成する（ステップＳ３）。このステップＳ３の処理は、例えば図１の符号化装置では画像間予測器８、スイッチ１０、フィールド間引き器１１、画像遅延器１２、減算器１３、ＤＣＴ１４、量子化器１５及び可変長符号化器１６による動作に相当する。

そして、上記の第１の符号列を基礎階層符号列とし、第２の符号列を拡張階層符号列として多重化して動画像時間軸階層符号化信号を出力する（ステップＳ４）。このステップＳ４の処理は、例えば図１の符号化装置では多重化器５による動作に相当する。なお、図４に示した符号化装置のように第１の符号列を得る際に、入力インターレース走査画像と同一フレームレートで垂直方向にダウンサンプリングされた順次走査画像についての第１の符号列を得るようにしてもよい。

次に、本発明のコンピュータプログラムによる動画像時間軸階層復号化動作について図７のフローチャートと共に説明する。まず、コンピュータは上記の第１の符号列を基礎階層符号列とし、第２の符号列を拡張階層符号列として多重化された動画像時間軸階層符号化信号を入力信号として受け、第１の符号列と第２の符号列とに分離する（ステップＳ１１）。このステップＳ１１の処理は、例えば図２の復号化装置では多重化分離器２５による動作に相当する。

続いて、第１の符号列を復号化して、再生順次走査画像信号を得る（ステップＳ１２）。このステップＳ１２の処理は、例えば図２の復号化装置では復号化器２１による動作に相当する。そして、再生順次走査画像信号を再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方である第１フィールドの画像信号に変換する（ステップＳ１３）。このステップＳ１３の処理は、例えば図２の復号化装置では、フィールド間引き器２２及び画像遅延器２３よりなる回路部の動作に相当する。

また、第２の符号列に対して再生順次走査画像信号を参照画像信号として画像間予測復号化し、再生インターレース走査画像の第１フィールドと異なった第２のフィールド画像信号を得る（ステップＳ１４）。このステップＳ１４の処理は、例えば図２の復号化装置では、可変長復号化器３０、逆量子化器３１、逆ＤＣＴ３２、加算器３３、画像間予測器２６、フィールド間引き器２９からなる回路部による動作に相当する。そして、前記第１フィールドの画像信号と上記の第２フィールドの画像信号とを時間的に切り替えて再生インターレース走査画像信号として出力する（ステップＳ１５）。このステップＳ１５の処理は、例えば図２の復号化装置では、スイッチ２７の動作に相当する。

なお、図５に示した復号化装置のように第１の符号列を復号化する際に、復号化された第１の符号列を再生インターレース走査画像と同一フレームレートで垂直方向にダウンサンプリングされた再生順次走査画像を得るようにしてもよい。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば動画像時間軸階層符号化信号の送信装置及び受信装置を構成することも可能である。図８は動画像時間軸階層符号化信号の送信装置の一実施の形態のブロック図を示す。同図において、受信インタフェース（Ｉ／Ｆ）７１は、ネットワークを介して前記のコンピュータプログラムを受信及び復調し、それをプログラムバッファ７２に一旦格納する。

一方、コンピュータ７３は、インターレース走査の動画像信号を入力として受け、プログラムバッファ７２からのコンピュータプログラムに基づいて、図１又は図４と共に説明した符号化装置と同様の符号化動作を行う。これにより得られた符号化データは、送信Ｉ／Ｆ７４に供給される。送信Ｉ／Ｆ７４は、図９に示したフローチャートに従った動作により符号化データを送信する。

すなわち、送信Ｉ／Ｆ７４は、まず、通信ネットワークの相手端末との間で所定のプロトコルに従って通信を行い、相手端末から伝送許可を受けたかどうか判定する（ステップＳ２１）。伝送許可を受けた場合は、送信Ｉ／Ｆ７４は、上記の符号化データを所定の伝送フォーマットに変換した後（ステップＳ２２）、通信ネットワークに送信する（ステップＳ２３）。他方、ステップＳ２１で伝送許可を受けていない場合は、送信Ｉ／Ｆ７４は、符号化データの送信を中止する（ステップＳ２４）。

なお、上記の実施の形態において、送信装置は、符号化データだけでなく、コンピュータに、前記の動画像時間軸階層化信号復号化装置と同様の動作を行わせるための復号化用コンピュータプログラムを同時に送信するようにしてもよい。

次に、本発明の動画像時間軸階層化信号の受信装置について説明する。図１０は動画像時間軸階層信号の受信装置の一実施の形態のブロック図を示す。ここでは、ネットワークから符号化データと復号化用コンピュータプログラムがそれぞれ送信されているものとする。同図において、受信インタフェース（Ｉ／Ｆ）８１は、図示しないネットワークに接続され、図１１に示すフローチャートに従った動作を行う。すなわち、ネットワークから受信した信号が認証などにより受信許可されているかどうか判定し（ステップＳ３１）、受信許可されている場合は、ネットワークよりの符号化データ及び復号化用のコンピュータプログラムを受信及び復調する（ステップＳ３２）。

続いて、受信Ｉ／Ｆ８１は、受信した符号化データ及び復号化用コンピュータプログラムをデフォーマットし（ステップＳ３３）、メモリにそれぞれ記録する（ステップＳ３４）。なお、ステップＳ３１での受信許可の判定で受信許可されていないと判定した時には、受信が中止される（ステップＳ３５）。

受信Ｉ／Ｆ８１のメモリに格納された符号化データ及び復号化用コンピュータプログラムのうち、符号化データは図１０に示すコンピュータ８２に供給され、復号化用コンピュータプログラムはプログラムバッファ８３に一旦取り込まれた後、コンピュータ８２に供給され、これを図２又は図５に示した復号化装置と同様の動作をソフトウェアにて行わせる。これにより、コンピュータ８２からは、元のインターレース走査の動画像信号が出力される。

なお、図８及び図１０では、コンピュータプログラムは、ネットワークを介して受信するように説明したが、記録媒体に記録されているコンピュータプログラムを再生して使用してもよいことは勿論である。

本発明の動画像時間軸階層符号化装置の第１の実施の形態のブロック図である。 本発明の動画像時間軸階層復号化装置の第１の実施の形態のブロック図である。 図１の各部の画像構成を説明する図である。 本発明の動画像時間軸階層符号化装置の第２の実施の形態のブロック図である。 本発明の動画像時間軸階層復号化装置の第２の実施の形態のブロック図である。 本発明のコンピュータプログラムによる動画像時間軸階層符号化動作の一実施の形態のフローチャートである。 本発明のコンピュータプログラムによる動画像時間軸階層復号化動作の一実施の形態のフローチャートである。 本発明の動画像時間軸階層符号化信号の送信装置の一実施の形態のブロック図である。 図８中の送信Ｉ／Ｆの一例の動作説明用フローチャートである。 本発明の動画像時間軸階層復号化信号の送信装置の一実施の形態のブロック図である。 図１０中の受信Ｉ／Ｆの一例の動作説明用フローチャートである。 従来の動画像時間軸階層符号化装置の一例のブロック図である。 従来の動画像時間軸階層復号化装置の一例のブロック図である。 従来と本発明との符号列構成をそれぞれ示す図である。

符号の説明

１ 画像入力端子
２ 順次走査変換器
３、１０、２７ スイッチ
４、３６ 符号化器
５ 多重化器
６ 符号列出力端子
７ 画像設定器
８、２６ 画像間予測器
９、３７ 局部復号化器
１１、２２、２９ フィールド間引き器
１２、２３ 画像遅延器
１３ 減算器
１４ ＤＣＴ
１５ 量子化器
１６ 可変長符号化器
２１、４１ 復号化器
２４ 符号列入力端子
２５ 多重化分離器
２８ 画像出力端子
３０ 可変長復号化器
３１ 逆量子化器
３２ 逆ＤＣＴ
３３ 加算器
３５ 走査線ダウンサンプラ
３８、４２ 走査線アップサンプラ
７１、８１ 受信インタフェース（Ｉ／Ｆ）
７２、８３ プログラムバッファ
７３、８２ コンピュータ
７４ 送信インタフェース（Ｉ／Ｆ）

Claims (8)

1. 入力インターレース走査画像信号を、入力インターレース走査画像信号と同一フレームレートの順次走査画像信号に変換する第１のステップと、
   前記順次走査画像信号を符号化して第１の符号列を得る第２のステップと、
   前記第１の符号列を局部復号化して得た局部復号画像を参照画像として、前記入力インターレース走査画像信号において、前記順次走査画像信号と異なった時間位置のフィールドを画像間予測符号化して第２の符号列を得る第３のステップと、
   前記第１の符号列と前記第２の符号列を多重化して動画像時間軸階層符号化信号として出力する第４のステップと
   を含むことを特徴とする動画像時間軸階層符号化方法。
2. 時間軸階層化された符号列から、再生インターレース走査画像信号と同一フレームレートの順次走査画像信号に対して符号化された第１の符号列と、前記再生インターレース走査画像信号において前記順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する第１のステップと、
   前記第１の符号列を復号化して、再生順次走査画像信号を得る第２のステップと、
   前記再生順次走査画像信号を前記再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方である第１のフィールドの画像信号に変換する第３のステップと、
   前記第２の符号列に対し、前記再生順次走査画像信号を参照画像として画像間予測復号化し、前記再生インターレース走査画像信号の第１のフィールドと異なった第２のフィールドの画像信号を得る第４のステップと、
   前記第１のフィールドの画像信号と前記第２のフィールドの画像信号を、時間的に切り替えて前記再生インターレース走査画像信号として出力する第５のステップと
   を含むことを特徴とする動画像時間軸階層復号化方法。
3. 入力インターレース走査画像信号を、入力インターレース走査画像信号と同一フレームレートの順次走査画像信号に変換する画像変換手段と、
   前記順次走査画像信号を符号化して第１の符号列を得る第１の符号列生成手段と、
   前記第１の符号列を局部復号化して得た局部復号画像を参照画像として、前記入力インターレース走査画像信号において、前記順次走査画像信号と異なった時間位置のフィールドを画像間予測符号化して第２の符号列を得る第２の符号列生成手段と、
   前記第１の符号列と前記第２の符号列を多重化して動画像時間軸階層符号化信号として出力する多重化手段と
   を有することを特徴とする動画像時間軸階層符号化装置。
4. 前記画像変換手段により得られた前記順次走査画像信号を垂直方向にダウンサンプリングして、走査線数が減少された順次走査画像信号を得る走査線ダウンサンプル手段を更に有し、前記第１の符号列生成手段は前記走査線数が減少された順次走査画像信号を符号化して走査線数が減少された第１の符号列を生成し、前記第２の符号列生成手段は、前記走査線数が減少された第１の符号列を局部復号化して得た局部画像信号を垂直方向にアップサンプリングして、前記走査線ダウンサンプル手段に入力される前記順次走査画像信号と同じ走査線数にした信号を前記参照画像とする走査線アップサンプル手段を含むことを特徴とする請求項３記載の動画像時間軸階層符号化装置。
5. 時間軸階層化された符号列から、再生インターレース走査画像信号と同一フレームレートの順次走査画像信号に対して符号化された第１の符号列と、前記再生インターレース走査画像信号において前記順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する多重化分離手段と、
   前記第１の符号列を復号化して、再生順次走査画像信号を得る第１の復号化手段と、
   前記再生順次走査画像信号を前記再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方である第１のフィールドの画像信号に変換する画像変換手段と、
   前記第２の符号列に対し、前記再生順次走査画像信号を参照画像として画像間予測復号化し、前記再生インターレース走査画像信号の第１のフィールドと異なった第２のフィールドの画像信号を得る第２の復号化手段と、
   前記第１のフィールドの画像信号と前記第２のフィールドの画像信号を、時間的に切り替えて前記再生インターレース走査画像信号として出力する多重化手段と
   を有することを特徴とする動画像時間軸階層復号化装置。
6. 前記多重化分離手段は、時間軸階層化された符号列から、前記再生インターレース走査画像信号と同一フレームレートで垂直方向にダウンサンプリングされた順次走査画像信号に対して符号化された第３の符号列と、前記再生インターレース走査画像信号において前記順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する手段であり、前記第１の復号化手段は、前記第３の符号列を復号化して得られた前記順次走査画像信号を前記垂直方向にアップサンプリングする手段であり、前記画像変換手段は、前記垂直方向にアップサンプリングされた順次走査画像信号を前記第１のフィールドの画像信号に変換する手段であることを特徴とする請求項５記載の動画像時間軸階層復号化装置。
7. コンピュータに、
   入力インターレース走査画像信号を、入力インターレース走査画像信号と同一フレームレートの順次走査画像信号に変換する第１のステップと、
   前記順次走査画像信号を符号化して第１の符号列を得る第２のステップと、
   前記第１の符号列を局部復号化して得た局部復号画像を参照画像として、前記入力インターレース走査画像信号において、前記順次走査画像信号と異なった時間位置のフィールドを画像間予測符号化して第２の符号列を得る第３のステップと、
   前記第１の符号列と前記第２の符号列を多重化して動画像時間軸階層符号化信号として出力する第４のステップと
   を実行させることを特徴とするコンピュータプログラム。
8. コンピュータに、
   時間軸階層化された符号列から、再生インターレース走査画像信号と同一フレームレートの順次走査画像信号に対して符号化された第１の符号列と、前記再生インターレース走査画像信号において前記順次走査画像信号と異なった時間位置のフィールドに対して符号化された第２の符号列とを分離する第１のステップと、
   前記第１の符号列を復号化して、再生順次走査画像信号を得る第２のステップと、
   前記再生順次走査画像信号を前記再生インターレース走査画像信号の奇数フィールド又は偶数フィールドの一方である第１のフィールドの画像信号に変換する第３のステップと、
   前記第２の符号列に対し、前記再生順次走査画像信号を参照画像として画像間予測復号化し、前記再生インターレース走査画像信号の第１のフィールドと異なった第２のフィールドの画像信号を得る第４のステップと、
   前記第１のフィールドの画像信号と前記第２のフィールドの画像信号を、時間的に切り替えて前記再生インターレース走査画像信号として出力する第５のステップと
   を実行させることを特徴とするコンピュータプログラム。

Images