JP2007150649A - 動画像階層符号化方法、動画像階層符号化装置、動画像階層復号方法、動画像階層復号装置、動画像階層符号化プログラム及び動画像階層復号プログラム - Google Patents

Abstract

【課題】従来装置では、縮小ノンインターレース走査画像を時間的に間引いて、下位層画像として符号化すると、間引かれたフレームと同位相の上位層画像では階層間予測をすることができないため、インターレース走査画像の符号化効率が低下してしまう。
【解決手段】上位層符号化器１１１は、入力動画像信号１０１と下位層符号化器１１３からの局所復号画像信号とを入力として受け、局所復号画像信号はフィールド補間して入力動画像信号１０１を符号化し、上位層符号化系列を得て、その上位層符号化系列を多重化器１０５に送る。画像間引き器１１２は、画像縮小器１０３よりノンインターレース画像信号が入力され、そのノンインターレース画像信号を時間的に間引いてノンインターレース画像信号を得、下位層符号化器１１３により符号化して下位層符号化系列と局所復号画像信号を生成する。
【選択図】図１

Description

本発明は動画像階層符号化方法、動画像階層符号化装置、動画像階層復号方法、動画像階層復号装置、動画像階層符号化プログラム及び動画像階層復号プログラムに係り、特に飛び越し走査の動画像と順次走査の動画像を階層的に符号化する動画像階層符号化方法、動画像階層符号化装置、階層的に符号化した動画像を階層的に復号する階層復号方法、階層復号装置、飛び越し走査の動画像と順次走査の動画像を階層的に符号化し復号するための動画像の動画像階層符号化プログラム及び動画像階層復号プログラムに関する。

動画像の符号化には、単純な１階層のみの符号化に対し、多重の符号化構成を有する階層符号化がある。階層符号化は、下位層の符号化系列のみで復号が可能であり、上位層の符号化系列を復号し、下位層の符号化結果と合成することで、より高画質な再生画像を得ることができるものである。このような階層符号化において飛び越し走査の画像（以下、インターレース画像ともいう）を効率的に符号化する方法が知られている（例えば、特許文献１参照）。

空問方向の階層化を行う場合、入力画像を縮小した低解像度画像を作成し、低解像度画像を下位層で符号化し、入力画像を上位層で符号化し、各階層の出力符号化系列を多重化して出力符号化系列を作成する。

図１０は従来の動画像階層符号化装置の一例の構成図である。同図に示すように、動画像階層符号化装置は、上位層符号化器１０２、画像縮小器１０３、下位層符号化器１０４、及び多重化器１０５により構成される。画像縮小器１０３は、入力端子を介して入力される入力動画像信号１０１に対して、所定の空間的縮小処理を行い、また、空間的縮小処理により得られた下位層符号化画像信号を下位層符号化器１０４に送る機能を有する。

入力動画像信号１０１がインターレース走査画像信号である場合の画像縮小器１０３の縮小動作を図１１に示す。図１１（ａ）は画像縮小器１０３への入力動画像信号１０１の画素を示す。入力動画像信号は毎秒６０フィールド（ｆｐｓ）のインターレース走査画像信号である。図１１（ｂ）は図１１（ａ）を垂直方向に半分のサイズにした毎秒６０フレームのノンインターレース画像信号（以下、順次走査画像信号ともいう）である。図１１（ｂ）が下位層符号化画像信号となる。

下位層符号化器１０４は、下位層符号化画像信号を入力として受け、その入力した下位層符号化画像信号を符号化して下位層符号化系列と局所復号画像信号を生成し、下位層符号化系列を多重化器１０５に送り、局所復号画像信号を上位層符号化器１０２に送る。具体的な符号化方法は、ＭＰＥＧ等に代表される画像間予測符号化のほかにフィールド内符号化もあり得る。

上位層符号化器１０２は、入力動画像信号１０１と、下位層符号化器１０４からの局所復号画像信号とを入力として受け、入力動画像信号１０１を符号化して上位層符号化系列を得ると共に、下位層符号化系列を多重化器１０５に送る。具体的な上位層符号化器１０２の動作は後述する。多重化器１０５は、下位層符号化系列と上位層符号化系列とを入力として受け、それら下位層符号化系列と上位層符号化系列とを多重化して、出力符号化系列を生成して端子１０６へ出力する。

次に、図１０の動画像階層符号化装置の動作手順を図１２のフローチャートを用いて説明する。まず、画像縮小器１０３により入力動画像信号１０１が縮小され、下位層符号化画像信号が作成される（ステップＳ１１）。続いて、下位層符号化器１０４において、下位層符号化画像信号の符号化が行われる（ステップＳ１２）。次に、上位層符号化器１０２において、上位層画像信号の符号化が行われる（ステップＳ１３）。上位層符号化器１０２の動作の詳細については後述する。その後、多重化器１０５において、下位層符号化系列と上位層符号化系列の符号化系列多重化が行われる（ステップＳ１４）。

次に、上位層符号化器１０２の構成について説明する。図１３は上位層符号化器１０２の一例のブロック図を示す。同図に示すように、上位層符号化器１０２は、符号化制御器３０２、ＤＣＴ部３０３、量子化器３０４、局所復号器３０５、動き補償器３０６、動き検出器（ＭＥ）３０７、可変長符号化器３０８、画像拡大器３１０、差分画像作成器３１２と二つのスイッチ３１１、３１３により構成される。

符号化制御器３０２は、二つのスイッチ３１１、３１３を制御する機能を有する。スイッチの制御方法については所定の方法を用いる。ＤＣＴ部３０３は、スイッチ３１１より信号を入力し、所定のＤＣＴ（Discrete Cosine Transform:離散コサイン変換）処理を行い、ＤＣＴ係数を得て、そのＤＣＴ係数を量子化器３０４へ送る。ＤＣＴ部３０３は、スイッチ３１１が端子Ａ側に接続されている場合は入力動画像信号が入力され、端子Ｂ側に接続されている場合は差分画像作成器３１２からの差分画像信号が入力される。

量子化器３０４は、ＤＣＴ部３０３より入力されたＤＣＴ係数に対して、所定の量子化を行って量子化されたＤＣＴ係数を得て、その量子化されたＤＣＴ係数を局所復号器３０５と可変長符号化器３０８に送る。局所復号器３０５は、量子化器３０４より量子化されたＤＣＴ係数を入力として受け、量子化されたＤＣＴ係数に対し逆量子化を行った後、逆ＤＣＴを行うことにより、符号化した入力画像信号を復号し、局所復号画像信号を得て、その局所復号画像信号を動き補償器３０６に送る。

動き補償器３０６は、局所復号画像信号を入力として受け、少なくとも一枚の局所復号画像を蓄えると共に、動き検出器（ＭＥ）３０７に局所復号画像信号を送る機能を有すると共に、動き検出器３０７より入力される動きベクトルを用いて入力動画像信号の動き補償画像信号を得て、その動き補償画像信号をスイッチ３１３の端子Ｂへ送る機能を有する。

動き検出器３０７は、入力画像信号３０１と動き補償器３０６より送られる局所復号画像信号とを基に画像の動き検出を行い、動きベクトルを得ると共に、その動きベクトルを動き補償器３０６と可変長符号化器３０８に送る機能を有する。

可変長符号化器３０８は、量子化器３０４から出力された量子化されたＤＣＴ係数と、動き検出器３０７より出力された動きベクトルとを入力として受け、量子化されたＤＣＴ係数と動きベクトルに対し可変長符号化を行い、多重化し、上位層符号化系列を得、出力する。画像拡大器３１０は、端子３０９より下位層局所復号画像信号を入力として受け、その下位層局所復号画像信号を空間方向に拡大して階層間予測画像信号を得た後、その階層間予測画像信号をスイッチ３１３の端子Ａに送る。

次に、図１４を用いて画像拡大器３１０の動作を更に説明する。図１４（ａ）は画像拡大器３１０に入力される下位層局所復号画像信号の画素を示す。この下位層局所復号画像は、毎秒６０フレームのノンインターレース走査画像（順次走査画像）である。図１４（ｂ）は画像拡大器３１０の出力となる階層間予測画像信号の画素を示す。下位層局所復号画像信号はトップフィールド（奇数フィールド）の位相に合わせて作成されているため、画像拡大器３１０は、ボトムフィールド（偶数フィールド）の各画素を同フィールド内のフィルタリング処理により画素位置の修正を行って、図１４（ｂ）に黒丸で示すボトムフィールドの各画素を生成する。

再び図１３に戻って説明するに、スイッチ３１１は、符号化制御器３０２により制御される。スイッチ３１１がＡ側端子に接続されている場合、入力画像信号をＤＣＴ部３０３へ送り、Ｂ側端子に接続されている場合は、差分画像作成器３１２より入力された差分画像信号をＤＣＴ部３０３へ送る。差分画像作成器３１２は、入力画像信号３０１と、スイッチ３１３よりの予測画像信号とから差分画像信号を生成して、その差分画像信号をスイッチ３１１のＢ側端子に送る。

スイッチ３１３は、符号化制御器３０２によりスイッチング制御される。スイッチ３１３がＡ側端子に接続されている場合、画像拡大器３１０より入力された階層間予測画像信号を差分画像作成器３１２へ送り、Ｂ側端子に接続された場合は、動き補償器３０６より入力された動き補償画像信号を差分画像作成器３１２へ送る。

次に、図１５のフローチャートを用いて図１３の上位層符号化器１０２の動作を説明する。まず、符号化制御器３０２において符号化モードの判定を行う（ステップＳ２１）。符号化制御器３０２は、イントラモードと判定した場合は、スイッチ３１１を端子Ａ側に接続して、ステップＳ２４へ進む。また、符号化制御器３０２は、フレーム間予測モードと判定した場合は、スイッチ３１１を端子Ｂ側に接続し、かつ、スイッチ３１３を端子Ｂ側に接続して、ステップＳ２２へ進む。また、符号化制御器３０２は、階層間予測モードと判定した場合は、スイッチ３１１を端子Ｂ側に接続し、かつ、スイッチ３１３を端子Ａ側に接続し、ステップＳ２３へ進む。

ステップＳ２２は、フレーム間予測を行うステップであり、入力画像信号と動き補償器３０６からの動き補償画像信号とが差分画像作成器３１２に送られて差分画像信号を作成する処理を示す。ステップＳ２３は、階層間予測を行うステップであり、入力画像信号と画像拡大器３１０からの階層間予測画像信号とが差分画像作成器３１２に送られて差分画像を作成する処理を示す。

ステップＳ２２によるフレーム間予測が行われた後、又はステップＳ２３による階層間予測が行われた後、又はステップＳ２１でイントラモードと判定されたときには、ステップＳ２４に進み、ＤＣＴ部３０３によるＤＣＴ処理、量子化器３０４による量子化処理、及び可変長符号化器３０８による可変長符号化が行われ、その結果、上位層の符号化系列が生成されて出力端子３１４へ出力されて、処理を終える。

次に、従来の動画像階層復号装置について説明する。図１６は従来の動画像階層復号装置の一例のブロック図を示す。図１６に示すように、動画像階層復号装置は、多重化分離器２０２、下位層復号器２０３、画像拡大器２０４、上位層復号器２０５、出力画像選択部２０６により構成される。多重化分離器２０２は、入力符号化系列２０１が入力され、その入力符号化系列２０１を下位層符号化系列と上位層符号化系列に分離し、下位層符号化系列は下位層復号器２０３へ、上位層符号化系列は上位層復号器２０５へ、それぞれ供給する。

下位層復号器２０３は、多重化分離器２０２より供給された下位層符号化系列を復号し、下位層復号画像信号を得た後、その下位層復号画像信号を画像拡大器２０４と出力画像選択器２０６へ供給する。画像拡大器２０４は、入力された下位層復号画像信号に対し空間的拡大処理を行い、階層間予測画像信号を生成し、その階層間予測画像信号を上位層復号器２０５に供給する。画像拡大器２０４の動作は、符号化器の画像拡大器３１０と同様の手順をとる。

上位層復号器２０５は、下位層符号化系列と下位層復号画像信号とを入力として受け、これらから上位層符号化系列を復号することにより、上位層復号画像信号を得て、その上位層復号画像信号を出力画像選択器２０６へ供給する。出力画像選択器２０６は、下位層復号画像信号と上位層復号画像信号とが入力され、どちらかを出力画像として選択出力する。出力画像の選択については、外部からの出力画像選択信号に基づいて選択してもよいし、上位層復号画像信号が出力選択器２０６に送られたときは常に上位層復号画像信号を選択してもよい。

次に、図１７のフローチャートを用いて図１６の復号装置の動作を説明する。復号装置は入力符号化系列を多重化分離器２０２にて上位層符号化系列と下位層符号化系列に分離し（ステップＳ３１）、下位層符号化系列は下位層復号器２０３で復号して下位層復号画像を得（ステップＳ３２）、その下位層復号画像を画像拡大器２０４にて空間的に拡大し（ステップＳ３３）、上位層復号の予測画像信号を得る。また、分離した上位層符号化系列は、上位層復号の予測画像信号と共に上位層復号器２０５に供給されて復号され、上位層復号画像が得られる（ステップＳ３４）。

特許第３５４５０００号公報

上記のように、従来の動画像階層符号化装置は、毎秒６０フィールドの入力インターレース走査画像信号に対し、毎秒６０フレームの縮小ノンインターレース走査画像信号を下位層画像信号として符号化する。そのため、再生者が下位層画像として毎秒３０フレーム画像で十分であるとした場合にも、本来符号化に必要でない毎秒６０フレームのノンインターレース画像を下位層画像として符号化してしまうため、符号化系列全体の符号化効率が低下してしまうという問題がある。

また、階層間予測には同位相のフレームを使用するため、単純に毎秒６０フレームの縮小ノンインターレース走査画像を時間的に間引いて毎秒３０フレームのノンインターレース画像を作成し、下位層画像として符号化した場合、間引かれたフレームと同位相の上位層画像では階層間予測をすることができない。そのため、この場合も符号化効率が低下してしまうという問題がある。

本発明は以上の点に鑑みてなされたもので、入力インターレース走査画像を、フレームレートを下げたノンインターレース走査画像に変換して下位層画像として符号化し、位相の異なる下位層画像から階層間予測画像を作成し上位層の符号化を行うことにより、インターレース走査画像の符号化効率を高め得る階層符号化方法、階層符号化装置、階層復号方法、階層復号装置、階層符号化プログラム及び階層復号プログラムを提供することを目的とする。

上記の目的を達成するため、第１の発明は、動画像信号である入力インターレース走査画像信号から生成した入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して下位層の第１の符号化系列を生成すると共に、入力インターレース走査画像信号を符号化して上位層の第２の符号化系列を生成する動画像階層符号化方法において、
入力インターレース走査画像信号を、空間的に縮小した第１のノンインターレース走査画像信号に変換する第１のステップと、第１のノンインターレース走査画像信号を時間的に間引き、第１のノンインターレース走査画像信号よりも低フレームレートの第２のノンインターレース走査画像信号を得る第２のステップと、第２のノンインターレース走査画像信号を符号化して、第１の符号化系列を得る第３のステップと、第１の符号化系列を局所復号して得た局所復号画像信号を拡大し、インターレース走査画像信号と比較して同サイズで低フレームレートの拡大局所画像信号を得る第４のステップと、拡大局所画像信号からインターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る第５のステップと、階層間予測画像信号を参照画像信号として入力インターレース走査画像信号を符号化し、第２の符号化系列を得る第６のステップと、第１の符号化系列と第２の符号化系列とを多重化する第７のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第２の発明は、動画像信号である入力インターレース走査画像信号から生成した入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して下位層の第１の符号化系列を生成すると共に、入力インターレース走査画像信号を符号化して上位層の第２の符号化系列を生成する動画像階層符号化装置において、
入力インターレース走査画像信号を、空間的に縮小した第１のノンインターレース走査画像信号に変換する画像縮小手段と、第１のノンインターレース走査画像信号を時間的に間引き、第１のノンインターレース走査画像信号よりも低フレームレートの第２のノンインターレース走査画像信号を得る画像間引き手段と、第２のノンインターレース走査画像信号を符号化して、第１の符号化系列を得る第１の符号化手段と、第１の符号化系列を局所復号して得た局所復号画像信号を拡大し、インターレース走査画像信号と比較して同サイズで低フレームレートの拡大局所画像信号を得る画像拡大手段と、拡大局所画像信号からインターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る階層間予測画像作成手段と、階層間予測画像信号を参照画像信号として入力インターレース走査画像信号を符号化し、第２の符号化系列を得る第２の符号化手段と、第１の符号化系列と第２の符号化系列とを多重化する多重化手段とを有することを特徴とする。

また、上記の目的を達成するため、第３の発明は、動画像信号である入力インターレース走査画像信号から生成した入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して下位層の第１の符号化系列を生成すると共に、入力インターレース走査画像信号を符号化して上位層の第２の符号化系列を生成する動画像階層符号化を、コンピュータにより実行させる動画像階層符号化プログラムであって、第１の発明の第１乃至第７のステップを、コンピュータにより実行させることを特徴とする。

上記の第１乃至第３の発明では、入力インターレース走査画像信号を、空間的に縮小し、かつ、時間的に間引いて得た、第１のノンインターレース走査画像信号よりも低フレームレートの第２のノンインターレース走査画像信号を符号化して下位層の低フレームレートの第１の符号化系列として生成することができる。

また、上記の第１乃至第３の発明では、下位層の第１の符号化系列を局所復号して得た局所復号画像信号を拡大し、その拡大局所画像信号から生成したインターレース走査画像信号と同一フレームレートの階層間予測画像信号を参照画像信号として入力インターレース走査画像信号を符号化し、上位層の第２の符号化系列を得るようにしたため、第２の符号化系列を生成するに際しては、入力インターレース走査画像信号と同じフィールドの画像信号階層間予測画像信号として用いることができる。

また、上記の目的を達成するため、第４の発明は、動画像信号である入力インターレース走査画像信号から生成した入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して得られた下位層の第１の符号化系列と、入力インターレース走査画像信号を符号化して得られた上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を入力として受け、第１及び第２の符号化系列をそれぞれ復号する動画像階層復号方法であって、
入力された多重符号化系列から第１及び第２の符号化系列をそれぞれ分離する第１のステップと、第１の符号化系列を復号し、ノンインターレース走査画像信号の復号信号を得る第２のステップと、ノンインターレース走査画像信号の復号信号を空間的に拡大し、拡大復号画像信号を生成する第３のステップと、拡大復号画像信号を時間軸的に補間するフィールド補間を行い、インターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る第４のステップと、階層間予測画像信号を参照画像として第２の符号化系列を復号し、インターレース走査画像信号の復号信号を得る第５のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第５の発明は動画像信号である入力インターレース走査画像信号から生成した入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して得られた下位層の第１の符号化系列と、入力インターレース走査画像信号を符号化して得られた上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を入力として受け、第１及び第２の符号化系列をそれぞれ復号する動画像階層復号装置であって、
入力された多重符号化系列から第１及び第２の符号化系列をそれぞれ分離する多重化分離手段と、第１の符号化系列を復号し、ノンインターレース走査画像信号の復号信号を得る第１の復号手段と、ノンインターレース走査画像信号の復号信号を空間的に拡大し、拡大復号画像信号を生成する画像拡大手段と、拡大復号画像信号を時間軸的に補間するフィールド補間を行い、インターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る階層間予測画像作成手段と、階層間予測画像信号を参照画像として第２の符号化系列を復号し、インターレース走査画像信号の復号信号を得る第２の復号手段とを有することを特徴とする。

更に、上記の目的を達成するため、第６の発明は、動画像信号である入力インターレース走査画像信号から生成した入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して得られた下位層の第１の符号化系列と、入力インターレース走査画像信号を符号化して得られた上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を入力として受け、第１及び第２の符号化系列をそれぞれ復号する動画像階層復号動作を、コンピュータにより実行させる動画像階層復号プログラムであって、第４の発明の第１乃至第５のステップを、コンピュータにより実行させることを特徴とする。

上記の第４乃至第６の発明では、第１乃至第３の発明のうちいずれか一の発明で符号化して得られた下位層の第１の符号化系列と上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を復号することができる。

本発明によれば、入力インターレース走査画像信号を、空間的に縮小し、かつ、時間的に間引いて得た、第１のノンインターレース走査画像信号よりも低フレームレートの第２のノンインターレース走査画像信号を符号化して下位層の低フレームレートの第１の符号化系列として生成するようにしたため、符号化に必要でないノンインターレース走査画像を下位層画像として符号化を行う従来装置に比べて、符号化系列全体の符号化効率を向上できる。

また、本発明によれば、下位層の第１の符号化系列を局所復号して得た局所復号画像信号を拡大し、その拡大局所画像信号から生成したインターレース走査画像信号と同一フレームレートの階層間予測画像信号を参照画像信号として入力インターレース走査画像信号を符号化し、上位層の第２の符号化系列を得ることにより、第２の符号化系列を生成するに際しては、入力インターレース走査画像信号と同じフィールドの画像信号階層間予測画像信号として用いるようにしたため、入力インターレース走査画像を、フレームレートを下げたノンインターレース走査画像に変換して下位層画像として符号化する場合にも、位相の異なる下位層画像から階層間予測画像を作成し上位層の符号化に用いることができ、インターレース走査画像の符号化効率を高めることができる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる動画像階層符号化装置の一実施の形態のブロック図を示す。同図中、図１０と同一構成部分には同一符号を付してある。本実施の形態の動画像階層符号化装置は、上位層符号化器１１１、画像縮小器１０３、多重化器１０５、画像間引き器１１２、下位層符号化器１１３により構成される。

上位層符号化器１１１は、入力動画像信号１０１と下位層符号化器１１３からの局所復号画像信号とを入力として受け、入力動画像信号１０１を符号化し、上位層符号化系列を得て、その上位層符号化系列を多重化器１０５に送る。具体的な上位層符号化器１１１の動作は後述する。画像間引き器１１２は、画像縮小器１０３より毎秒６０フレームのノンインターレース走査画像信号が入力され、その毎秒６０フレームのノンインターレース画像信号を時間的に間引いて毎秒３０フレームのノンインターレース走査画像信号を得、下位層符号化器１１３に送る。

下位層符号化器１１３は、毎秒３０フレームのノンインターレース走査画像信号を入力として受け、その入力したノンインターレース走査画像信号を符号化して下位層符号化系列と局所復号画像信号を生成し、下位層符号化系列を多重化器１０５に送り、局所復号画像信号を上位層符号化器１１１に送る。

次に、図１の本発明の動画像階層符号化装置の一実施の形態の動作手順を図２のフローチャートを用いて説明する。すなわち、図２は本発明の動画像階層符号化方法の一実施の形態のフローチャートでもある。まず、入力動画像信号１０１が画像縮小器１０３において縮小され（ステップＳ１０１）、続いて、縮小された入力動画像信号を時間的に間引く処理が画像間引き器１１２において行われる（ステップＳ１０２）。ここで、符号化装置に入力される毎秒６０フィールドのインターレース走査画像を図３（ａ）に示すと、画像間引き器１１２により間引かれた画像信号は、その画素が、図３（ｂ）に示すように表される、毎秒３０フレームのノンインターレース画像（順次走査画像）信号である。

次に、画像間引き器１１２から出力された毎秒３０フレームのノンインターレース画像に対して、下位層符号化器１１３において下位層符号化が行われ、下位層符号化系列と局所復号画像信号が生成される（ステップＳ１０３）。続いて、上位層符号化器１１１において、入力動画像信号１０１と下位層符号化器１１３からの局所復号画像信号とに対して、上位層符号化が行われ、上位層符号化系列が生成される（ステップＳ１０４）。具体的な上位層符号化器１１１の動作は後述する。そして、下位層符号化器１１３で生成された下位符号化系列と、上位層符号化器１１１で生成された上位符号化系列との多重化が、多重化器１０５において行われ、符号化系列１１４が出力される（ステップＳ１０５）。

次に、図１中の上位層符号化器１１１の詳細な構成について説明する。図４は上位層符号化器１１１の一実施の形態のブロック図を示す。同図中、図１３と同一構成部分には同一符号を付し、その説明を省略する。図４において、上位層符号化器１１１は、画像拡大器４０１、画像合成器４０２、符号化制御器４０４、ＤＣＴ部３０３、量子化器３０４、局所復号器３０５、動き補償器３０６、動き検出器３０７、可変長符号化器３０８、差分画像作成器３１２と三つのスイッチ３１１、３１３及び４０３により構成される。

画像拡大器４０１は、端子３０９を介して下位層局所復号画像信号が入力され、その入力下位層局所復号画像を空間方向に拡大し、トップフィールドの階層間予測画像信号を得て、そのトップフィールドの階層間予測画像信号をスイッチ４０３の端子Ａと画像合成器４０２に供給する。ここで、画像拡大器４０１の入力下位層局所復号画像は図５（ａ）に示すような毎秒６０フレームのノンインターレース走査画像であり、画像拡大により、図５（ｂ）に白丸で示された画素の集合であるトップフィールドの階層間予測画像信号を生成する。

符号化制御器４０４は、三つのスイッチ３１１、３１３及び４０３を制御する機能を有し、スイッチ３１１、３１３の制御方法については従来例と同様の処理を行い、スイッチ４０３については以下の制御方法で制御する。上位層入力画像信号がトップフィールドの場合はスイッチ４０３を端子Ａ側に、ボトムフィールドの場合はスイッチ４０３を端子Ｂ側に切替接続する。

画像合成器４０２は、画像拡大器４０１からトップフィールドの階層間予測画像信号を入力されると共に、少なくとも二枚のトップフィールドの階層間予測画像信号を蓄える機能を有する。また、画像合成器４０２は、隣接した二枚のトップフィールドの階層間予測画像信号を基にボトムフィールドの階層間予測画像を得て、ボトムフィールドの階層間予測画像信号をスイッチ４０３の端子Ｂに供給する。すなわち、画像合成器４０２は、図５（ｂ）に白丸で示された二枚の画素の集合であるトップフィールドの階層間予測画像信号に基づいて、同図（ｂ）に黒丸で示す画素の集合であるボトムフィールドの下位層間予測画像信号を生成して出力する。

スイッチ４０３は、符号化制御器４０４により制御される。スイッチ４０３が端子Ａ側に接続されている場合は、画像拡大器４０１からのトップフィールド階層間予測画像信号を選択してスイッチ３１３を経由して差分画像作成器３１２へ供給する。また、スイッチ４０３が端子Ｂ側に接続されている場合は、画像合成器４０２からのボトムフィールド階層間予測画像信号を選択してスイッチ３１３を経由して差分画像作成器３１２へ供給する。

次に、図６のフローチャートを用いて図４の上位層符号化器１１１の動作を説明する。まず、上位層符号化器１１１は、符号化制御器４０４において符号化モードの判定を行う（ステップＳ２０１）。符号化制御器４０４はイントラモードと判定した場合、スイッチ３１１を端子Ａに接続し、ステップＳ２０６へ進む。

また、符号化制御器４０４はフレーム間予測モードと判定した場合は、スイッチ３１１を端子Ｂに接続し、かつ、スイッチ３１３を端子Ｂに接続し、ステップＳ２０２へ進んでフレーム間予測を行う。フレーム間予測では、端子Ｂに接続されているスイッチ３１３を介して動き補償器３０６からの動き補償画像信号が差分画像作成器３１２に供給され、ここで入力画像信号３０１との差分画像信号が生成される。

また、符号化制御器４０４は階層間予測モードと判定した場合は、スイッチ３１１を端子Ｂに接続し、かつ、スイッチ３１３を端子Ａに接続して、符号化制御器４０４においてフィールドタイプの判定を行う（ステップＳ２０３）。このフィールドタイプの判定では、符号化画像信号がトップフィールドの場合は、スイッチ４０３を端子Ａに接続し、ステップＳ２０４へ進んでトップフィールドの階層間予測を行う。符号化画像がボトムフィールドの場合は、スイッチ４０３を端子Ｂに接続し、ステップＳ２０５へ進んでボトムフィールドの階層間予測を行う。

ステップＳ２０４のトップフィールドの階層間予測では、端子Ａに接続されたスイッチ４０３と、端子Ａに接続されたスイッチ３１３とをそれぞれ介して画像拡大器４０１からのトップフィールド階層間予測画像信号が差分画像作成器３１２に供給され、ここで入力画像信号３０１との差分がとられて差分画像信号が生成される。また、ステップＳ２０５のボトムフィールドの階層間予測では、端子Ｂに接続されたスイッチ４０３と、端子Ａに接続されたスイッチ３１３とをそれぞれ介して画像合成器４０２からのボトムフィールド階層間予測画像信号が差分画像作成器３１２に供給され、ここで入力画像信号３０１との差分がとられて差分画像信号が生成される。

ステップＳ２０２によるフレーム間予測が行われた後、又はステップＳ２０４によるトップフィールド階層間予測が行われた後、又はステップＳ２０５によるボトムフィールド階層間予測が行われた後、又はステップＳ２０１でイントラモードと判定されたときには、ステップＳ２０６に進み、ＤＣＴ部３０３によるＤＣＴ処理、量子化器３０４による量子化処理、及び可変長符号化器３０８による可変長符号化が行われ、その結果、上位層の符号化系列が生成されて出力端子３１４へ出力されて、処理を終える。

このように、上記の本実施の形態の動画像階層符号化装置及び符号化方法によれば、毎秒６０フィールドの入力インターレース走査画像信号から生成した下位層画像信号を符号化する場合、再生者が下位層画像として毎秒３０フィールド画像で十分であるとした場合には、従来のように本来符号化に必要でない毎秒６０フレームのノンインターレース画像を下位層画像として符号化することなく、フレーム間予測モードにより毎秒３０フレームのノンインターレース走査画像信号を下位層画像信号として符号化するようにしたため、従来に比べて符号化系列全体の符号化効率を向上できる。

また、階層間予測モードでは、画像拡大器４０１からのトップフィールドの下位層間予測画像信号と、画像合成器４０２からのボトムフィールドの下位層間予測画像信号とを、入力インターレース走査画像信号のフィールドタイプに同期して差分画像作成器３１２に交互に供給し、ここで入力画像信号３０１との差分がとられて上位層の符号化のための差分画像信号を生成するようにしたため、階層間予測には同位相のフィールドを使用して階層間予測をすることができ、インターレース走査画像の符号化効率を高めることができる。

次に、本発明の動画像階層復号装置について説明する。図７は本発明になる動画像階層復号装置の一実施の形態のブロック図を示す。同図中、図１６の従来装置と同一構成部分には同一符号を付し、その説明を省略する。図７に示すように、本実施の形態の動画像階層復号装置は、フィールド補間器２１１、多重化分離器２０２、下位層復号器２０３、画像拡大器２０４、上位層復号器２０５、出力画像選択部２０６により構成される。本実施の形態は、図１６に示した従来の動画像階層復号装置と比較すると、画像拡大器２０４と上位層復号器２０５との間に、フィールド補間器２１１を設けた点に特徴がある。

フィールド補間器２１１は、画像拡大器２０４で拡大した下位層の復号画像信号をトップフィールドの階層間予測画像信号として入力し、その入力したトップフィールドの階層間予測画像信号からフィールド補間処理を行ってボトムフィールドの階層間予測画像信号を生成し、生成したボトムフィールドの階層間予測画像信号と、入力されたトップフィールドの階層間予測画像信号とを上位層復号器２０５へそれぞれ供給する。ボトムフィールドの階層間予測画像信号を得る手順は、図４の画像合成器４０２の手順と同様である。

次に、図８のフローチャートを用いて図７の動画像階層復号装置の動作を説明する。すなわち、図８は本発明の動画像階層復号方法の一実施の形態のフローチャートである。まず、図７の多重化分離器２０２において、端子２０１から入力された入力符号化系列を上位層符号化系列と下位層符号化系列に分離する（ステップＳ３０１）。続いて、下位層復号器２０３において、多重化分離器２０２で分離された下位層符号化系列が復号されて、下位層復号画像信号が得られる（ステップＳ３０２）。

上記の下位層復号画像信号は、図７の画像拡大器２０４にて空間的に拡大され、上位層復号のトップフィールドの階層間予測画像信号が得られる（ステップＳ３０３）。続いて、フィールド補間器２１１において、画像拡大器２０４から入力されたトップフィールドの階層間予測画像信号からフィールド補間処理によりボトムフィールドの階層間予測画像信号が生成される（ステップＳ３０４）。その後、上位層復号器２０５は、トップフィールドの階層間予測画像信号とボトムフィールドの階層間予測画像信号とを上位層復号の予測画像信号として供給されると共に、多重化分離器２０２にて分離した上位層符号化系列が供給され、これらを復号して上位層復号画像信号を得る（ステップＳ３０５）。

なお、本発明は、上記の図１、図７に示した階層符号化装置、復号装置の機能を図９に示すコンピュータである中央処理制御装置５０３に実現させるためのプログラムを含むものである。図９において、情報処理装置５００は、入力装置５０１、出力装置５０２、中央処理制御装置５０３、外部記憶装置５０４、一時記憶装置５０５及び通信装置５０６から構成されており、中央処理制御装置５０３が取り込んだプログラム５０７に従って動作することにより、図１の動画像階層符号化装置、あるいは図７の動画像階層復号装置を実現する。上記のプログラム５０７は、記録媒体から読み取られて中央処理制御装置５０３に取り込まれてもよいし、通信ネットワークを介して伝送され通信装置５０６を介して中央処理制御装置５０３に取り込まれてもよい。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば、入力動画像信号や下位層の動画像信号のフレーム周波数は実施の形態のものに限定されるものではない。

本発明の動画像階層符号化装置の一実施の形態のブロック図である。 本発明の動画像階層符号化方法の一実施の形態のフローチャートである。 本発明装置内の画像間引き器により間引かれた画像を説明するための図である。 図１中の上位層符号化器の一実施の形態のブロック図である。 図４中の画像拡大器の入力下位層局所復号画像と出力されるトップフィールドの階層間予測画像を説明する図である。 図４の上位層符号化器の動作説明用フローチャートである。 本発明の動画像階層復号装置の一実施の形態のブロック図である。 図７の動作説明用フローチャートである。 本発明の階層符号化プログラム又は階層復号プログラムを実行する情報処理装置を表す機能ブロック図である。 従来の動画像階層符号化装置の一例のブロック図である。 図１０中の画像縮小器の動作説明図である。 従来の動画像階層符号化方法の一例のフローチャートである。 図１０中の上位層符号化器の一例のブロック図である。 図１３中の画像拡大器の動作を説明するための図である。 図１３の上位層符号化器の動作説明用フローチャートである。 従来の動画像階層復号装置の一例のブロック図である。 図１６の動作説明用フローチャートである。

符号の説明

１０１ 入力動画像信号
１０３ 画像縮小器
１０５ 多重化器
１１２ 画像間引き器
１１３ 下位層符号化器
１１４ 出力符号化系列
２０１ 入力符号化系列
２０２ 多重化分離器
２０３ 下位層復号器
２０４ 画像拡大器
２０５ 上位層復号器
２０６ 出力画像選択部
２０７ 出力画像信号
２１１ フィールド補間器
３０３ ＤＣＴ部
３０４ 量子化器
３０５ 局所復号器
３０６ 動き補償器
３０７ 動き検出器（ＭＥ）
３０８ 可変長符号化器
３１１、３１３、４０３ スイッチ
３１２ 画像差分作成器
４０１ 画像拡大器
４０２ 画像合成器
４０４ 符号化制御器
５００ 情報処理装置
５０３ 中央演算処理装置
５０７ プログラム

Claims (6)

1. 動画像信号である入力インターレース走査画像信号から生成した該入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して下位層の第１の符号化系列を生成すると共に、前記入力インターレース走査画像信号を符号化して上位層の第２の符号化系列を生成する動画像階層符号化方法において、
   前記入力インターレース走査画像信号を、空間的に縮小した第１のノンインターレース走査画像信号に変換する第１のステップと、
   前記第１のノンインターレース走査画像信号を時間的に間引き、該第１のノンインターレース走査画像信号よりも低フレームレートの第２のノンインターレース走査画像信号を得る第２のステップと、
   前記第２のノンインターレース走査画像信号を符号化して、前記第１の符号化系列を得る第３のステップと、
   前記第１の符号化系列を局所復号して得た局所復号画像信号を拡大し、前記インターレース走査画像信号と比較して同サイズで低フレームレートの拡大局所画像信号を得る第４のステップと、
   前記拡大局所画像信号から前記インターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る第５のステップと、
   前記階層間予測画像信号を参照画像信号として入力インターレース走査画像信号を符号化し、前記第２の符号化系列を得る第６のステップと、
   前記第１の符号化系列と前記第２の符号化系列とを多重化する第７のステップと
   を含むことを特徴とする動画像階層符号化方法。
2. 動画像信号である入力インターレース走査画像信号から生成した該入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して下位層の第１の符号化系列を生成すると共に、前記入力インターレース走査画像信号を符号化して上位層の第２の符号化系列を生成する動画像階層符号化装置において、
   前記入力インターレース走査画像信号を、空間的に縮小した第１のノンインターレース走査画像信号に変換する画像縮小手段と、
   前記第１のノンインターレース走査画像信号を時間的に間引き、該第１のノンインターレース走査画像信号よりも低フレームレートの第２のノンインターレース走査画像信号を得る画像間引き手段と、
   前記第２のノンインターレース走査画像信号を符号化して、前記第１の符号化系列を得る第１の符号化手段と、
   前記第１の符号化系列を局所復号して得た局所復号画像信号を拡大し、前記インターレース走査画像信号と比較して同サイズで低フレームレートの拡大局所画像信号を得る画像拡大手段と、
   前記拡大局所画像信号から前記インターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る階層間予測画像作成手段と、
   前記階層間予測画像信号を参照画像信号として入力インターレース走査画像信号を符号化し、前記第２の符号化系列を得る第２の符号化手段と、
   前記第１の符号化系列と前記第２の符号化系列とを多重化する多重化手段と
   を有することを特徴とする動画像階層符号化装置。
3. 動画像信号である入力インターレース走査画像信号から生成した該入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して下位層の第１の符号化系列を生成すると共に、前記入力インターレース走査画像信号を符号化して上位層の第２の符号化系列を生成する動画像階層符号化を、コンピュータにより実行させる動画像階層符号化プログラムであって、請求項１記載の前記第１乃至第７のステップを、前記コンピュータにより実行させることを特徴とする動画像階層符号化プログラム。
4. 動画像信号である入力インターレース走査画像信号から生成した該入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して得られた下位層の第１の符号化系列と、前記入力インターレース走査画像信号を符号化して得られた上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を入力として受け、前記第１及び第２の符号化系列をそれぞれ復号する動画像階層復号方法であって、
   入力された前記多重符号化系列から前記第１及び第２の符号化系列をそれぞれ分離する第１のステップと、
   前記第１の符号化系列を復号し、前記ノンインターレース走査画像信号の復号信号を得る第２のステップと、
   前記ノンインターレース走査画像信号の復号信号を空間的に拡大し、拡大復号画像信号を生成する第３のステップと、
   前記拡大復号画像信号を時間軸的に補間するフィールド補間を行い、前記インターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る第４のステップと、
   前記階層間予測画像信号を参照画像として前記第２の符号化系列を復号し、前記インターレース走査画像信号の復号信号を得る第５のステップと
   を含むことを特徴とする動画像階層復号方法。
5. 動画像信号である入力インターレース走査画像信号から生成した該入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して得られた下位層の第１の符号化系列と、前記入力インターレース走査画像信号を符号化して得られた上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を入力として受け、前記第１及び第２の符号化系列をそれぞれ復号する動画像階層復号装置であって、
   入力された前記多重符号化系列から前記第１及び第２の符号化系列をそれぞれ分離する多重化分離手段と、
   前記第１の符号化系列を復号し、前記ノンインターレース走査画像信号の復号信号を得る第１の復号手段と、
   前記ノンインターレース走査画像信号の復号信号を空間的に拡大し、拡大復号画像信号を生成する画像拡大手段と、
   前記拡大復号画像信号を時間軸的に補間するフィールド補間を行い、前記インターレース走査画像信号と同一フレームレートの階層間予測画像信号を得る階層間予測画像作成手段と、
   前記階層間予測画像信号を参照画像として前記第２の符号化系列を復号し、前記インターレース走査画像信号の復号信号を得る第２の復号手段と
   を有することを特徴とする動画像階層復号装置。
6. 動画像信号である入力インターレース走査画像信号から生成した該入力インターレース走査画像信号よりも低フレームレートのノンインターレース走査画像信号を符号化して得られた下位層の第１の符号化系列と、前記入力インターレース走査画像信号を符号化して得られた上位層の第２の符号化系列とが、それぞれ多重化されてなる多重符号化系列を入力として受け、前記第１及び第２の符号化系列をそれぞれ復号する動画像階層復号動作を、コンピュータにより実行させる動画像階層復号プログラムであって、請求項４記載の前記第１乃至第５のステップを、前記コンピュータにより実行させることを特徴とする動画像階層復号プログラム。
   

Images