JP2004040833A - 動画像符号化方法及び装置並びに動画像復号化方法及び装置 - Google Patents

Abstract

【課題】入力画像信号の状態によらず発生符号量を設定符号量となるように制御することができ、画像の静止領域や動きの小さな領域では高い解像度を保ち、動きの大きな領域では過度の情報が発生することなく符号化を行う。
【解決手段】入力画像信号３３１をダウンサンプリングするダウンサンプリング回路３２１、ダウンサンプリングされた画像信号３４１について動き補償予測を行って予測信号３３２を生成する予測回路１０１、ダウンサンプリングされた画像信号３４１に対する予測信号３３２の予測残差信号３３３を符号化する符号化回路３０４〜３０６、及び入力画像信号３３１のフレーム毎にダウンサンプリング比を決定する制御部３２３を有する。
【選択図】図７

Description

　本発明は、例えばＴＶ電話、ＴＶ電議システム、ディジタルビデオディスクシステム、ディジタルＴＶ放送システムのような画像を伝送または蓄積するシステムおよびこれら画像を受信または再生するシステムに関し、特に画像を少ない情報量に圧縮符号化する動画像符号化方法及び装置並びに圧縮符号化された情報を復元し画像を再生する動画像復号化方法及び装置に関する。

　画像を伝送、蓄積するために少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化、ピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２、およびＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。

　従来の動画像符号化方式の例として、動き補償適応予測離散コサイン変換符号化方式について説明する。この方式は、例えば文献１：安田浩編著、“マルチメディア符号化の国際標準”、丸善（平成３年６月発行）等に詳しく述べられている。概略的な動作を説明すると、入力画像信号についてまず動き補償適応予測が行われる。すなわち、入力画像信号が複数のブロックに分割され、ブロック単位でフレームメモリ中に蓄えられている既に符号化／局部復号が行われた画像信号との間の動きベクトルが検出され、この動きベクトルを用いて第１の予測信号が作成される。次に、必要に応じて上記ブロックがさらに複数の小ブロックに分割され、この小ブロック単位で動きベクトル検出が行われて第２の予測信号が作成する。

　第１の予測信号を用いる第１の予測モードと、第２の予測信号を用いる第２の予測モード、および入力画像信号をそのまま符号化に用いるフレーム内符号化モード（予測信号＝０）のうち、符号化に最適な予測モードが選択され、対応する予測信号が出力される。そして、選択された予測モードを示す情報および動きベルトル情報が可変長符号化される。動きベクトル情報については、隣接の既に符号化したブロックの動きベクトルとの差分をとり、この差分を可変長符号化する方法が一般に用いられている。

　一方、選択された予測信号が入力画像信号から減算されることにより、予測残差信号が生成される。この予測残差信号は一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）され、これにより得られたＤＣＴ係数はさらに量子化される。量子化された信号は２分岐され、一方は可変長符号化され、他方は逆量子化された後、逆離散コサイン変換（逆ＤＣＴ）される。逆ＤＣＴにより得られた信号は予測信号と加算され、フレームメモリに記憶される。

　予測モードを示す情報および動きベルトル情報の可変長符号と、量子化されたＤＣＴ係数の可変長符号は、量子化幅を示す情報と共に多重化され、出力符号列として出力される。この出力符号列の符号量は、伝送路や蓄積媒体で定められている伝送／蓄積レートに合わせて制御する必要がある。一般に、このような符号量制御はＤＣＴ係数を量子化する際の量子化幅を制御することにより行われる。すなわち、量子化幅を大きくすればＤＣＴ係数を表す精度は低下して符号化品質が低下するが、符号量は少なくなり、逆に量子化幅を小さくすればＤＣＴ係数を表す精度が向上して符号化品質が向上する代わりに、符号量が増加する。量子化幅を決定する方法としては様々な方法が提案されているが、出力符号列を仮想的なバッファに入れたときのバッファ充填率を基に決定する方法や、入力画像信号あるいは予測残差信号のアクティビティを基に、出力符号列の符号量が設定符号量となる量子化幅を推定する方法等が用いられている。

　しかし、上述したような量子化幅を制御することによって出力符号列の符号量を制御する従来の方式では、ＤＣＴ係数情報の符号量は制御できるものの、それ以外の適応予測のモードを示す情報や動きベクトルに関する情報の符号量を制御することができないという問題がある。前述のように、モード情報や動きベクトル情報は可変長符号化されるため、符号化する画像の種類によって発生符号量が異なり、特に動きベクトル情報の符号量の変化は著しい。前述のように動きベクトルの差分をとって可変長符号化する方式においては、隣り合う動きベクトル成分が揃っている場合には差分が小さくなるため発生符号量は少ないが、動きが複雑でフレーム内で動きベクトルが大きく変化する場合には、発生符号量が多くなる。しかしながら従来の符号化装置では、動きベクトル情報の発生符号量を制御できないため、以下に示す様々な問題が生じていた。

　第１に、特に設定符号量が少ない場合において複雑な動きのある画像信号を符号化すると、動きベクトル情報だけで設定符号量を上回ってしまい、量子化幅の制御のみでは発生符号量の制御不能に陥ってしまう場合がある。このような現象を避けるため、従来の符号化装置においては、前述した仮想的なバッファのバッファ充填率が規定値を超えた場合には全ての符号化を強制的に停止して符号が発生するのを抑えたり、入力画像信号の一部のフレームを間引くフレーム間引きによって符号量を抑える方法が用いられていた。しかし、このような方法では符号量が強制的に抑えられるため、符号化品質が著しく低下したり、動きが不自然になるなどの問題が生じる。

　第２に、設定符号量が少ない場合には量子化幅が非常に大きな値となり、符号化品質が低下するという問題がある。特に、ＤＣＴを用いた符号化方式においては、量子化幅を大きくするとブロック歪やモスキート歪と呼ばれる歪が生じ、符号化品質が低下する。

　上述したように、従来の動画像符号化装置においては、動き補償適応予測の予測残差信号を変換した信号を量子化する際の量子化幅を制御することによって発生符号量を設定符号量に制御しているため、設定符号量が少ない条件下で複雑な動きのある画像信号を符号化する場合などに符号量制御ができなくなったり、量子化幅が大きくなりすぎて符号化品質が低下するという問題点があった。

　本発明の目的は、入力画像信号の状態によらず発生符号量を設定符号量となるように制御することができ、画像の静止領域や動きの小さな領域では高い解像度を保ち、動きの大きな領域では過度の情報が発生することなく符号化を行うことができる動画像符号化方法及び装置並びにこれに対応した動画像復号化方法及び装置を提供することにある。

　上記課題を解決するため、本発明は入力画像信号をダウンサンプリングし、ダウンサンプリングされた画像信号について動き補償予測を行って予測信号を生成し、ダウンサンプリングされた画像信号に対する予測信号の予測残差信号を符号化し、前記入力画像信号のフレーム毎に前記ダウンサンプリングステップでのダウンサンプリング比を決定するステップとを有することを特徴とする。

　また、入力画像信号をダウンサンプリングし、ダウンサンプリングされた入力画像信号について動き補償予測を行って予測信号を生成し、前記入力画像信号に対する前記予測信号の予測残差信号を所定の符号化制御パラメータで符号化し、前記入力画像信号および前記予測残差信号の少なくとも一方の信号のアクティビティを用いて発生符号量が設定値となる前記ダウンサンプリング手段でのダウンサンプリング比と前記符号化制御パラメータとの複数の組み合わせを推定し、これら複数の組み合わせから最適な組み合わせを選択して決定することを特徴とする。

　一方、復号化側においては、符号化された予測残差信号及び動きベクトル情報を復号し、復号された予測残差信号から予測信号を生成し、前記予測残差信号と予測信号とを加算し、加算された信号をサンプリング密度情報に従ってアップサンプリングすることにより再生画像信号を生成することを特徴とする。

　また、入力画像信号の第１領域をダウンサンプリングし、前記入力画像信号の前記第１領域およびダウンサンプリングされない第２領域についてそれぞれ動き補償予測を行って予測信号を生成し、前記入力画像信号に対する前記予測信号の予測残差信号を所定の符号化制御パラメータで符号化し、前記符号化手段により符号化された信号から画像信号を復号し、復号された画像信号を前記予測手段における前記第１領域についての動き補償予測のために一時記憶し、復号された画像信号のうち前記第１領域に対応する第３領域の画像信号をアップサンプリングし、前記復号された画像信号のうち前記第２領域に対応する画像信号と前記第３領域に対応する画像信号から再生画像信号を生成し、前記第２領域の予測のための画像信号を一時記憶すると共に、該一時記憶されている画像信号の一部を前記再生画像信号に置き換えることを特徴とする。

　さらに、入力画像信号のダウンサンプリングされた第１領域およびダウンサンプリングされない第２領域についてそれぞれ動き補償予測を行って予測信号を生成し、前記第１領域および第２領域に対応する予測残差信号と前記予測手段により得られた予測信号から画像信号を復号し、復号された前記第１領域に対応する画像信号をアップサンプリングし、アップサンプリングされた画像信号と前記復号手段により復号された前記第２領域に対応する画像信号から再生画像信号を生成し、復号された画像信号を前記第１領域の画像信号の予測のために一時記憶し、復号された画像信号を前記第２領域の画像信号の予測のために一時記憶すると共に、該一次記憶されている画像信号の一部を前記再生画像信号に置き換えることを特徴とする。

　本発明では、入力画像信号をダウンサンプリングして符号化し、そのダウンサンプリング比と量子化幅等の符号化制御パラメータの組み合わせから最適な組み合わせを選択しているため、サンプリング密度が固定で量子化幅のみを制御していた従来方式に比べ符号化品質が向上する。

　また、入力画像信号をそのまま符号化する部分とダウンサンプリングして符号化する部分に分け、それぞれに対して予測を行っているため、静止領域や動きの小さな領域では高い解像度が保たれ、動きの大きな領域ではダウンサンプリングされて過度の情報が発生することなく符号化が行われる。さらに、このような動画像符号化装置により符号化された信号から基の画像信号が再生される。

　本発明によれば、サンプリング密度が固定であった従来方式に比べ符号化品質が向上する。さらに、本発明によれば入力画像信号をそのまま符号化する部分とダウンサンプリングして符号化する部分に分け、それぞれに対して予測を行うことにより、静止領域や動きの小さな領域では高い解像度を保ち、動きの大きな領域ではダウンサンプリングされて過度の情報を発生することなく符号化を行うことが可能となる。

　以下、図面を参照して本発明の実施形態を説明する。　
　図１は、本発明による動画像符号化装置の第１の実施形態のブロック図であり、動き補償適応予測ＤＣＴ符号化方式を用いた例である。動き補償適応ＤＣＴ符号化方式については、前述の文献１等に詳しいので動作の概略のみを説明し、従来方式との差異を詳細に説明する。

　この動画像符号化装置では、入力画像信号１３１についてまず動き補償適応予測が行われる。すなわち、動き補償予測回路１０１において、入力画像信号１３１とフレームメモリ１０２に蓄えられている既に符号化／局部復号が行われた画像信号（参照画像信号）との間の動きベクトルがブロック単位で検出され、この動きベクトルに基づいて動き補償予測信号が作成される。動き補償予測回路１０１では、さらに動き補償予測モード（フレーム間予測モード）と入力画像信号１３１をそのまま符号化するフレーム内符号化モード（予測信号＝０）のうち最適な予測モードが選択され、選択された予測モードに対応する予測信号１３２が出力される。この動き補償予測回路１０１から出力される予測信号１３２は、減算回路１０３において入力画像信号１３１から減算され、予測残差信号１３３が出力される。

　予測残差信号１３３はＤＣＴ（離散コサイン変換）回路１０４において一定の大きさのブロック単位で離散コサイン変換され、これにより得られたＤＣＴ係数は量子化回路１０５において量子化幅制御部１２１により制御された量子化幅（量子化ステップサイズともいう）で量子化される。量子化回路１０５からの出力は２分岐され、一方は第１の可変長符号化回路１０６で可変長符号化され、他方は逆量子化回路１０７で逆量子化され、さらに逆ＤＣＴ回路１０８で逆離散コサイン変換される。逆ＤＣＴ回路１０８からの出力は、加算回路１０９において適応予測信号１３２と加算され、フレームメモリ１０２に記憶される。

　一方、動き補償予測回路１０１において選択された予測モードおよび動きベクトルを示すサイド情報１３４は、第２の可変長符号化回路１１０で可変長符号化される。この際、動きベクトル情報については隣接の既に符号化したブロックの動きベクトルとの差分が可変長符号化される。

　第１および第２の可変長符号化回路１０６，１１０からの出力と、量子化幅制御部１２１からの量子化幅を示す情報は、マルチプレクサ１１１において多重化され、出力符号列１３５として出力される。
　ここで、動き補償予測回路１０１において動き補償予測における動き補償を行う単位ブロックの大きさ（以下、動き補償サイズという）は可変であり、動き補償サイズ制御部１２２によって制御される。動き補償サイズ制御部１２２からは動き補償サイズの情報を含む動き補償領域を示す情報１４０が出力され、この動き補償領域情報１４０も第２の可変長符号化回路１１０で符号化され、出力符号列１３５中に付加されて出力される。動き補償サイズ制御部１２２では、第２の可変長符号化回路１１０の出力を受け、少なくとも予測に用いた情報である動きベクトル情報の情報量（符号量）に応じて動き補償サイズを制御する。以下、この動き補償サイズの制御方法について、詳細に説明する。

　図２は、動き補償単位ブロックの第１の例を動きベクトルと共に示したものである。図２の例では、基本的に（ａ）のようにフレーム毎に定められた一定の大きさのブロックを動き補償単位ブロックとして、このブロックに区切って動き補償を行う。但し、画面端で一定のブロックの大きさでは割り切れない余りが生じた場合には、余りの部分は図２（ｂ）のように小さなブロックとするか、あるいは隣接のブロックに統合する。動き補償単位ブロックの大きさ（動き補償サイズ）はフレーム単位に一定であるため、動き補償領域情報１４０はフレーム毎に１回符号化すればよく、これに伴う符号量の増加は極くわずかである。区切られた単位毎に動きベクトル検出を行い、図２中の矢印で示したように単位ブロック毎に一つずつ動きベクトルを求める。なお、（０，０）の動きベクトルは図２において「・」の記号で示してある。

　図２（ａ）および（ｂ）はそれぞれ動き補償単位ブロックを小さく取った場合および大きく取った場合の例である。図２（ａ）のように動き補償単位ブロックを小さくすると、それだけ細かな領域毎に動き補償が行われることになるため、動き補償の精度が向上し、予測残差信号１３３の符号量は少なくなる。しかし反面、多くの動きベクトル情報を符号化しなければならないため、動きベクトル情報の符号量が増加してしまう。一方、図２（ｂ）のように動き補償単位ブロックを大きく取った場合には、図２（ａ）より動き補償精度は低下し、予測残差信号１３３の符号量は多くなくなるが、動きベクトル符号量は少なくなる。

　このように、動き補償単位ブロックの大きさ、つまり動き補償サイズは、予測残差信号１３３の符号量（第１の可変長符号回路１０６の発生符号量）と動きベクトル情報の符号量とのトレードオフで最適なものがあるため、いくつかの動き補償サイズの候補を用意しておいて、それらの候補の中で予測残差信号と動きベクトル情報のトータルの符号量が最小となるようなサイズを選択すれば、最適な動き補償サイズを決定することができる。

　但し、サイズ毎に動きベクトルを求め直すことが演算量の点から困難である場合には、最初に小さなブロック毎に動きベクトルを求めておき、大きなブロックサイズの動きベクトルは、フレーム上で位置的にそのブロックの中に入る動きベクトルあるいは隣接する小ブロックの動きベクトルを基に推定してもよい。あるいは、最初に大きなブロック単位に動きベクトルを検出し、小さなブロックの動きベクトルはフレーム上で位置的に含まれる大きなブロックの動きベクトルを基にしてその周囲で動きベクトル探索を行うようにしてもよい。

　以上のようにして動き補償サイズを決定し、かつ動きベクトル検出を行うことにより、サイズ毎に動きベクトルを求め直す場合に比べて演算量は大幅に低下する。なお、予測残差信号１３３の符号量は実際にＤＣＴ、量子化、可変長符号化を行って符号量を調べてもよいが、予測残差信号１３３の自乗和、絶対値和等を基に符号量を推定するようにしてもよい。

　ところで、画面内に複雑な動きが含まれる場合には、小さな動き補償単位で符号化を行おうとすると、動きベクトルの符号量が膨大なものとなる。この結果、量子化幅を非常に大きくしなければならなくなって符号化品質が低下したり、動きベクトル情報だけで符号量が設定符号量を上回ってしまい、符号量制御不能に陥ることがある。これを防ぐために、動きベクトル情報の符号量があるしきい値を上回らないように動き補償サイズの制御を行ってもよい。具体的には、例えば以下のようなアルゴリズムで制御を行えばよい。

　　ｉｆ（ＭＣ＿ｂｉｔｓ（ｔ−１）＞ｔｈ１）｛
　　　ｓｉｚｅ＝ｓｉｚｅ（ｔ−１）＋Ｃ；
　　｝ｅｌｓｅ　ｉｆ（ＭＣ＿ｂｉｔｓ（ｔ−１）＜ｔｈ２）｛
　　　ｓｉｚｅ＝ｓｉｚｅ（ｔ−１）−Ｃ；
　　｝ｅｌｓｅ｛
　　　ｓｉｚｅ＝ｓｉｚｅ（ｔ−１）；
　　｝
　ここで、
　　ｓｉｚｅ：動き補償サイズ（動き補償単位の大きさ）
　　ｓｉｚｅ（ｔ−１）：直前に符号化したフレームの動き補償サイズ
　　ＭＣ＿ｂｉｔｓ（ｔ−１）：直前に符号化したフレームの動きベクトル情報の符号量
　　ｔｈ１，ｔｈ２：しきい値（ｔｈ１＞ｔｈ２）
　　Ｃ：定数
である。

　図３は、この制御をフローチャートで表したものである。すなわち、まず直前に符号化したフレームの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１を越えているかどうかを調べ（Ｓ１１）、ｔｈ１を越えていれば直前に符号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−１）から定数Ｃを減じたものを新たな動き補償サイズ：ｓｉｚｅとする（Ｓ１２）。

　一方、符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１以上でない場合には、さらに符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ２に満たないかどうかを調べ（Ｓ１３）、ｔｈ２に満たない場合は直前に符号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−１）に定数Ｃを加えたものを新たな動き補償サイズ：ｓｉｚｅとし（Ｓ１４）、そうでなければ直前に符号化したフレームの動き補償サイズ：ｓｉｚｅ（ｔ−１）を新たな動き補償サイズとする（Ｓ１５）。

　この例では、直前に符号化したフレームと現フレームの動きベクトル符号量には強い相関があることを利用して直前フレームの動きベクトル符号量でサイズの制御を行っている。直前に符号化したフレームの動きベクトル符号量がしきい値ｔｈ１を上回るほど多い場合には、そのままのサイズで符号化すると動きベクトル符号量が過度に大きくなる可能性があるため、サイズを大きくして動きベクトル符号量を抑え、逆に以前に符号化したフレームの動きベクトル符号量を十分少ない場合にはサイズを小さくして動き補償精度を向上させるように制御する。

　このような制御を行うことにより、動きが非常に複雑な画像でも動きベクトル符号量が過度に多くなって符号量制御不能に陥ったり量子化幅が大きくなりすぎることによって符号化品質が低下するといった問題がなくなり、また動きが小さく動きベクトル符号量がそれほど多くない画像では、高い精度で動き補償を行うことができる。

　なお、動き補償サイズにある上限および下限を設け、サイズが一定の範囲内におさまるようにしてもよい。これによって、動き補償サイズが大きくなりすぎて動き補償の精度が低下しすぎたり、動き補償サイズが小さくなりすぎて動きベクトル符号量が極端に多くなることを防ぐことができる。

　また、しきい値ｔｈ１，ｔｈ２は設定符号量等によって定められる定数としてもよいが、動きの大きさや動きベクトルが（０，０）となる領域の大きさ等を変えるようにしてもよい。
　なお、本発明は一部の動き補償ブロックをさらに細かなブロックに分割してそれぞれ動き補償を行う技術と組み合わせて用いることも可能である。図４に、そのような分割を行ったときの動き補償ブロックの例を動きベクトルと共に示す。図中で破線によって示されているブロックが分割されたブロックであり、各分割ブロック毎に動きベクトルを求める。分割を行うか行わないかを示す情報も符号化する。特に、図４（ｂ）のように動き補償ブロックを大きく取った場合には、大きなブロックでは動き補償精度が著しく低下する部分のブロックのみを分割して細かな単位で動き補償することにより、その部分の動き補償精度を向上させることができる。

　また、動き補償ブロック、つまり動き補償を行う単位領域の形状および大きさは、画像内の部分毎に異なっていてもよい。図５は、このような動き補償単位領域を動きベクトルと共に示した例である。フレーム内は図中の太線で示した画面上の対象物の概形を示す領域に分割されており、それがさらに細線で示す小領域に分割されている。この領域分割に関する情報も動き補償サイズ情報１４０中に含めて符号化する。

　図５（ａ）と（ｂ）は、動き補償単位領域をそれぞれ細かな領域および大きな領域に分割した例である。図５（ａ）と（ｂ）とでは、太線を表す精度および、太線領域内をいくつの細線領域に分割するかが異なっている。図５（ａ）の方が図５（ｂ）よりも太線を表す精度が高く、それだけ対象物体の概形を高い精度で表すことが可能となり動き補償の精度は高いが、領域情報は多い。さらに、図５（ａ）のほうが図５（ｂ）よりも細かな補線領域に分割されているため、動き補償の精度は高いが動きベクトル情報は多くなる。そこで、動き補償精度と領域情報量および動きベクトル情報量とのトレードオフを考慮して、最適な領域に分割し符号化を行う。

　なお、太線の表現精度および太線領域をどの程度の細線領域に分割するかは各太線領域で異なるものとしてもよい。例えば、人物の顔部分のように非常に重要な対象物体に対してはなるべく高い精度で太線を表現すると共に細かな細線領域に分割するようにし、背景部分のようにそれほど重要でない部分は太線を粗く表現すると共に大きな細線領域に分割する。図５（ａ）から図５（ｂ）のように領域を粗くしていく場合にも、顔領域等の重要な領域はあまり粗い領域とならないようにし、背景部分のように重要度が高くない領域は粗い領域となるようにする。このように画像内で重要な部分とそうでない部分で領域が粗くする程度を変えることにより、画像全体の動き情報量を削減しても重要な領域は高い動き補償精度をとることができ、符号化画像の主観的品質が向上する。

　以上の例では、動き補償単位領域内で同一の動きベクトルを用いることとしたが、隣接の領域の動きベクトルを用いて動きベクトルの補間を行い、領域内で異なる動きベクトルを用いることにしてもよい。また、動き補償単位の大きさに応じて補間の方法を変えたり、補間を行うか否かを選択するようにしてもよい。

　図６は、図１の動画像符号化装置に対応した動画像復号化装置である。図１の動画像符号化装置から伝送／蓄積系を介して入力された符号列２３５は、動き補償情報符号列、予測残差信号符号列および量子化幅情報に分離され、それぞれ第１の可変長復号回路２１０、第２の可変長復号回路２０６および逆量子化回路２０７に入力される。

　第２の可変長復号回路２０６では予測残差信号が可変長復号され、さらに逆量子化回路２０７において逆量子化、逆ＤＣＴ回路２０８で逆離散コサイン変換という一連の処理が行われ、加算回路２０９で予測信号２３２と加算されることにより再生画像信号２５０が生成される。再生画像信号２５０は動画像復号化装置の外部へ出力されると共に、フレームメモリ２２０に記憶される。

　一方、第１の可変長復号回路２１０では、動き補償情報符号列から予測モードおよび動きベクトル情報２３４と動き補償領域情報２３０が復号され、予測回路２０１へ入力される。予測回路２０１は、フレームメモリ２２０に記録されている復号画像信号を基にして、これらの情報２３４および２４０に従って図１における予測信号１３２と同一の信号２３２を出力する。

　以上の処理は、図１の動画像符号化装置に対応して画像信号を再生する処理であり、逆量子化回路２０７、逆ＤＣＴ回路２０８、加算回路２０９およびフレームメモリ２０９が行う処理は、それぞれ図１における逆量子化回路１０７、逆ＤＣＴ回路１０８、加算回路１０９およびフレームメモリ１２０が行う処理とその実現手段は異なる場合もあるが本質的に同一である。また、第１および第２の可変長復号回路２１０，２０６およびデマルチプレクサ２１１は、それぞれ図１の可変長符号化回路１１０，１０６およびマルチプレクサ１１１の処理の逆の処理を行う。

　図７は、本発明による動画像符号化装置の第２の実施形態のブロック図であり、第１の実施形態と同様に動き補償適応予測ＤＣＴ符号化方式を用いた例である。また、本実施形態においても第１の実施形態で説明した動き補償領域の大きさを可変にする方式を用いているが、この部分は第１の実施形態との差異についてのみ詳細に説明する。

　入力画像信号３３１はまずダウンサンプリング回路３２１において、必要に応じて入力画像信号３３１よりも空間的に少ない画素数にダウンサンプリングされる。入力画像信号３３１またはダウンサンプリングされた入力画像信号３４１は、減算回路３０３において予測回路３０１で作成された予測信号３３２が減算されて予測残差信号３３３となり、この予測残差信号３３３はＤＣＴ回路３０４で離散コサイン変換された後、量子化回路３０５で量子化される。量子化された信号は２分岐され、一方は第１の可変長符号化回路３０６で可変長符号化され、他方は逆量子化回路３０７で逆量子化され、さらに逆ＤＣＴ回路３０８で逆離散コサイン変換された後、加算回路３０９で予測信号３３２と加算されてフレームメモリ３０２に記憶される。

　ここで、ダウンサンプリング回路３２１におけるダウンサンプリング比は、符号化フレーム毎に異なった値をとる。また、予測回路３０１はダウンサンプリングした画像信号３４１を入力画像信号と考え、これを予測する予測信号３３２を作成する。予測信号３３２を作成する際、フレームメモリ３０２に記憶されている既に符号化されたフレームの局部復号画像信号を用いるが、フレームメモリ３０２に記憶されているフレームの局部復号画像信号と入力画像信号３３１をダウンサンプリングした信号３４１のサンプリング密度が異なる場合には、サンプリング変換回路３２２で信号３４１と同一のサンプリング密度にサンプリング変換して予測に用いる。

　入力画像信号に対するダウンサンプリング比および量子化幅は、量子化幅・ダウンサンプリング比制御部３２３で決定して制御する。具体的には、発生符号量が予め設定した値に近い値になるものの中で最適なダウンサンプリング比と量子化幅を選択して決定する。

　最初に、フレーム内符号化を行う場合（予測信号３３２＝０）のダウンサンプリング比および量子化幅の決定法を説明する。この場合、まず入力画像信号３３１のアクティビティを計算する。これは例えば、分散や各画素から平均値を引いた絶対値和や二乗和を用いればよい。

　次に、図８（ａ）に示すような与えられた設定符号量に対するアクティビティと量子化幅の関係を基に、発生符号量が設定符号量となるような量子化幅の推定値を求める。ここで、設定符号量はフレーム内符号化に対する設定符号量としてトータルの発生符号量を基にそのフレームの符号化に先だって定めておく。また、アクティビティと量子化幅の関係は符号化前に予め決定しておいてもよいし、既に符号化した画像信号におけるアクティビティ、符号量、量子化幅の関係から更新するようにしてもよい。次に、入力画像信号をダウンサンプリングした画像信号のアクティビティをいくつかのダウンサンプリング比について計算する。この計算は実際に入力画像信号をダウンサンプリングして求めてもよい。

　また、図９に示すようなサンプリング密度とアクティビティの関係を予め定めておき、これを基に入力画像信号３３１のアクティビティから変換して計算してもよく、この場合はダウンサンプリングした画像信号からアクティビティを計算する場合に比べて計算量を削減することができる。

　次に、図８（ｂ）（ｃ）のようなダウンサンプリングを行った画像信号に対するアクティビティと量子化比幅の関係を用い、それぞれのダウンサンプリング比に対して設定符号量となる量子化幅の推定値を求める。以上のようにして求められたいくつかのダウンサンプリング比と量子化幅の組の中から、符号化に用いて最適なものを選択する。この選択は、例えば量子化幅がある値以下になる最高のサンプリング密度となる組を選択してもよい。このようにすれば、量子化幅が非常に大きくなって符号化品質が著しく低下することがなくなる。また、ダウンサンプリングによって失われる成分と、量子化によって生じる歪という２つの歪の合計が最小になるような組を選択してもよい。あるいは、これら２つの歪に視覚的特性を考慮した重み付けフィルタリングを行った値が最小になる組を選択してもよい。このようにすれば、視覚的に最適なサンプリング密度と量子化幅が選択される。

　次に、動き補償フレーム間予測符号化を行う場合のダウンサンプリング比および量子化幅の決定法について説明する。この場合は、予測残差信号の分散や絶対値和を用いてアクティビティを計算する。ただし、各ダウンサンプリング比について動きベクトルを検出して予測画像信号を求めると演算処理量が膨大なものとなってしまう。このため、直前に符号化したフレームのアクティビティを基にこれをサンプリング密度に応じて変換した値を用いてもよい。あるいは、入力画像信号に対して動きベクトル検出を行って予測画像信号を求めてこのアクティビティをサンプリング密度に応じて変換するようにし、符号化における予測信号３３２を求める際にもこの入力画像信号に対する動きベクトルを変換した動きベクトルを用いて動き補償を行うようにしてもよい。以上のようにすることにより、アクティビティ計算のための演算処理量を削減することができる。計算されたアクティビティからダウンサンプリング比と量子化幅の組を選択する手順は、上述のフレーム内符号化の場合と同様である。ただし、フレーム毎の設定符号量やアクティビティと量子化幅の関係、サンプリング密度とアクティビティの関係はフレーム内符号化とは異なるものを用いる。

　なお、ダウンサンプリング比の決定はフレーム内符号化とフレーム間符号化で異なる方法を用いてもよい。例えば、フレーム間符号化については動きの大きさを考慮して決定するようにしてもよい。これは、例えば動きベクトル等動き補償に関する情報の発生符号量を基に、以下のようなアルゴリズムで制御を行うことにより実現することできる。

　　ｉｆ（ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）＞ＭＩＮ＿ＳＩＺＥ　＆＆　ＭＣ＿ｂｉｔｓ（ｔ−１）＞ｔｈ１）｛
　　　ｆｒａｍｅ＿ｓｉｚｅ＝ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）−Ｃ；
　　｝ｅｌｓｅ　ｉｆ（ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）＜ＭＡＸ＿ＳＩＺＥ　＆＆　ＭＣ＿ｂｉｔｓ（ｔ−１）＜ｔｈ２）｛
　　　ｆｒａｍｅ＿ｓｉｚｅ＝ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）＋Ｃ；
　　｝ｅｌｓｅ｛
　　　ｆｒａｍｅ＿ｓｉｚｅ＝ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）；
　　｝
　ここで、
　　ｆｒａｍｅ＿ｓｉｚｅ：ダウンサンプリング画像信号のフレーム内画素数
　　ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）：直前に符号化したフレームのダウンサンプリング画像信号のフレーム内画素数
　　ＭＣ＿ｂｉｔｓ（ｔ−１）：直前に符号化したフレームの動きベクトルの符号量
　　ｔｈ１，ｔｈ２：しきい値（ｔｈ１＞ｔｈ２）
　　Ｃ：定数
　　ＭＩＮ＿ＳＩＺＥ：フレーム内画素数の最小値
　　ＭＡＸ＿ＳＩＺＥ：フレーム内画素数の最大値＝入力動画像信号のフレーム内画素数
である。

　図１０は、この制御をフローチャートで表したものである。すなわち、まず直前に符号化したフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最小値：ＭＩＮ＿ＳＩＺＥを越えているかどうかを調べ（Ｓ２１）、ＭＩＮ＿ＳＩＺＥを越えていれば、さらに直前に符号化したフレームの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ１を越えているかどうかを調べ（Ｓ２２）、ｔｈ１を越えていればｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）から定数Ｃを減じたものを新たなフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとする（Ｓ２３）。

　一方、直前に符号化したフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最小値：ＭＩＮ＿ＳＩＺＥ以上でない場合には、ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がフレーム内画素数の最大値：ＭＡＸ＿ＳＩＺＥに満たないかどうかを調べる（Ｓ２４）. そして、ｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）がＭＡＸ＿ＳＩＺＥに満たない場合は、さらに直前に符号化したフレームの動きベクトルの符号量：ＭＣ＿ｂｉｔｓ（ｔ−１）がしきい値ｔｈ２に満たないかどうかを調べ（Ｓ２５）、ｔｈ２に満たない場合はｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）に定数Ｃを加えたものを新たなフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとし（Ｓ２６）、そうでなければｆｒａｍｅ＿ｓｉｚｅ（ｔ−１）を新たなフレームのダウンサンプリング画像信号のフレーム内画素数：ｆｒａｍｅ＿ｓｉｚｅとする（Ｓ２７）。

　この例は、一般に視覚的特性として動きが大きい場合には空間的解像度はある程度低くしてもよく、逆に動きが小さい場合には高い空間的解像度が要求されることを利用して、動きベクトル符号量が多い場合にはダウンサンプリング比を大きくとって空間的解像度を落とし、逆に動きベクトル符号量が少ない場合にはダウンサンプリング比を小さくとって空間的解像度を上げる制御を行う例である。このような制御を行うことによって視覚的に好適な解像度を保ちながら符号化を行うことができる。なお、直前に符号化したフレームと現フレームの動きベクトル符号量には強い相関があることを利用して直前フレームの動きベクトル符号量でダウンサンプリング比の制御を行っている。また、直前フレームの画素数から定数Ｃだけ増減するようにして画素数を決定しているが、これは直前フレームからあまり大きく解像度を変化させると視覚的に好ましくないという問題を防ぐためである。

　また、しきい値ｔｈ１、ｔｈ２は設定符号量等によって定められる定数としてもよいが、動きの大きさや動きベクトルが（０，０）となる領域の大きさ等を変えるようにしてもよい。例えば、動きベクトル（ＭＶ）が（０，０）となる領域の数を基に図１１のような関係を定義して決めてもよい。図１１に示されるように、動きベクトル＝（０，０）の領域が多い場合には、しきい値を大きくすることによってサンプリング密度に制御されるようになる。これにより、特に高い空間的解像度を保ったほうが好ましい静止部分つまりＭＶ＝（０，０）の領域で常に高い空間的解像度が保たれるようになり、静止した背景の前で物体や人物が動いているような画像信号において符号化品質が向上する。

　なお、動き補償サイズについてもダウンサンプリング比を考慮して決定する。具体的には、例えばダウンサンプリング比と動き補償サイズの拡大比を等しくとるようにしてもよい。これにより、各動き補償領域内に含まれる画素数は一定に保たれるようになる。動き補償領域内の画素数はＤＣＴの単位と同一、あるいはその整数倍という関係を常に保つようにすれば、ＤＣＴ係数情報の一部と動き補償適応予測に関する情報の一部をまとめて可変長符号化することにより符号量を削減することが可能になる。さらに、動き補償単位内の画素数が常に一定であるため、動きベクトル検出および動き補償予測用のハードウエアを簡素化することができる。

　図１２は、本発明による動画像符号化装置の第３の実施形態のブロック図であり、やはり動き補償適応予測ＤＣＴ符号化方式を用いた例である。また、本実施形態においても第１および第２の実施形態で説明した技術を用いているが、この部分は先の実施形態との差異についてのみ詳細に説明する。

　本実施形態においても、第２の実施形態と同様に入力信号をダウンサンプリングして符号化する技術を用いているが、画像内の一部はダウンサンプリングせずに予測符号化を行っていること、およびその部分の予測信号を作成するために第２のフレームメモリを有している。

　まず、予測回路４０１において第２のフレームメモリ４２５に記憶されている画像信号を基に入力画像信号４３１を予測する第１の予測信号を作成し、予測残差信号４３３が小さくなる領域を判定する。こうして判定された領域ではスイッチ４２４で入力画像信号４３１を選択し、また予測回路４０１からは予測信号４３２として前記第１の予測信号を出力して入力画像信号４３１と同じサンプリング密度で予測符号化を行う。第１の予測信号による予測残差が大きな領域では、第２の実施形態と同様に入力画像信号４３１をダウンサンプリング回路４２１でダウンサンプリングし、予測回路４０１でダウンサンプリングした画像信号に対する第２の予測信号を作成してこれを予測信号４３２として出力し、スイッチ４２４でダウンサンプリングした入力画像信号を選択して予測符号化を行う。

　局部復号画像信号４３３は、第１のフレームメモリ４０２に記憶されるとともに、アップサンプリング回路４２６で入力画像信号４３１と同じサンプリング密度にアップサンプリングされた後、スイッチ４２８を介して第２のフレームメモリ４２５にも入力され、このフレームメモリ４２５の内容を一部書き換えするためにも用いられる。この場合、選択部４２７において第２のフレームメモリ４２５の書き換えを行う領域を決定する。これは、例えば入力画像信号と比較して予測残差が小さい領域を選択し、その選択情報をサイド情報として符号化するようにしてもよい。あるいは、動きベクトルの大きさが小さい領域を選択してもよいし、量子化されたＤＣＴ係数の自乗和、絶対値和等の評価量が小さい領域を選択してもよく、この場合は選択情報は符号化する必要がない。こうして選択部４２７で選択された領域について、第２のフレームメモリ４２５内のデータの書換えを行う。

　なお、局部復号画像信号にはサンプリング密度が入力画像信号と同じ部分とダウンサンプリングされた部分がある。このため、サンプリング変換回路４２２におけるサンプリング密度変換の際にはこの２つの部分に対して異なる比でサンプリング変換を行い、フレーム内の全ての部分がダウンサンプリング回路４２１でダウンサンプリングされた入力画像信号と同一のサンプリング密度を持つようにする。

　本実施形態のように入力画像信号と同一のサンプリング密度を有するフレームメモリを用いることにより、入力画像信号と同一解像度の信号を予測に用いることが可能になり、予測精度が向上する。すなわち、本実施形態では静止ないしは動きが小さい背景部分等のように、ダウンサンプリングを行わなくてもそれほど多くの符号量が発生しないため高い解像度を保つことが可能な部分と、大きな動きがある領域のように、予測効率が悪くダウンサンプリングを行わないと発生符号量が多くなり過ぎてしまう部分とを切り分けている。こうすることにより、画面全体をダウンサンプリングする場合に比べわずかな符号量の増加で、背景部分等の符号化品質を改善できる。さらに、第２のフレームメモリ４２５には動きベクトルが小さい部分や予測残差が小さい部分のみの書換えを行っているために背景部分が記憶されていることが多く、第１のフレームメモリ４０２に記憶されている局部復号画像信号からは予測することが不可能な、いわゆるアンカバードバックグラウンドを予測することが可能になる。

　なお、入力画像信号４３１と同じサンプリング密度を有する第１の予測信号を作成する際には、第２のフレームメモリ４２５内で入力画像信号４３１と空間的に同一の位置にある画像信号を予測信号として用いてもよい。あるいは、動き補償を用いれば予測の精度を向上させることができる。パン、ズーム、回転、平行移動等を伴う背景部分を予測する場合にはグローバル動き補償を用いてもよく、少ない動き補償情報で高い精度の予測を行うことができる。

　図１３は、図１２の動画像符号化装置に対応した動画像復号化装置である。符号化装置から伝送系または蓄積系を介して入力された符号列５３５は、デマルチプレクサ５１１で予測残差信号符号列、動き補償情報符号列、量子化幅情報およびサンプリング密度情報に分割され、それぞれ第１の可変長復号回路５０６、第２の可変長復号回路５１０、逆量子化回路５０７およびアップサンプリング回路５２１に入力される。第１の可変長復号回路５０６では予測残差信号が可変長復号され、さらに逆量子化回路５０７において逆量子化、逆ＤＣＴ回路５０８で逆離散コサイン変換という一連の処理が行われ、加算回路５０９で予測信号５３２と加算される。

　図１２の動画像符号化装置でダウンサンプリングして符号化された部分は、アップサンプリング回路５２１で入力画像信号と同じサンプリング密度までアップサンプリングされてスイッチ５２８を介して再生画像信号５５０として出力され、ダウンサンプリングされなかった部分はそのままスイッチ５２８を介して再生画像信号５５０として出力される。選択部５２７で再生画像信号５５０の一部が選択され、第２のフレームメモリ５２５の内容の一部書き換えが行われる。

　一方、第２の可変長符号回路５１０で動き補償情報符号列から予測モードおよび動きベクトル情報５３４と動き補償領域情報５３０が復号され、予測回路５０１へ入力される。予測回路５０１は、第１のフレームメモリ５０２および第２のフレームメモリ５２５に記憶されている復号画像信号を基にして、これらの情報５３４および５３０に従って図１４における予測信号４３２と同一の予測信号５３２を出力する。

　以上の処理は、図１２の動画像符号化装置に対応して画像信号を再生する処理であり、逆量子化回路５０７、逆ＤＣＴ回路５０８、加算回路５０９、フレームメモリ５０２，５２５、アップサンプリング回路５２６およびサンプリング変換回路５２２が行う処理は、それぞれ図１２における逆量子化回路４０７、逆ＤＣＴ回路４０８、加算回路４０９、フレームメモリ４０２，４２５、アップサンプリング回路４２６およびサンプリング変換回路４２２と、その実現手段は異なる場合もあるが本質的に同一である。また、選択部５２７は図１２の選択部４２７で選択した部分と同一の部分を選択する。また、第１および第２の可変長復号回路５０６，５１０、およびデマルチプレクサ５１１は、それぞれ図１の可変長符号化回路４０６，４１０およびマルチプレクサ４１１と逆の処理を行う。

本発明による動画像符号化装置の第１の実施形態のブロック図 動き補償領域の第１の例を表す図 同実施形態の改良された動き補償サイズの制御例を示すフローチャート 動き補償領域の第２の例を表す図 動き補償領域の第３の例を表す図 図１の動画像符号化装置に対応した動画像復号化装置の実施形態のブロック図 本発明による動画像符号化装置の第２の実施形態のブロック図 アクティビティと量子化幅の関係を示す図 フレーム内画素数とアクティビティの関係を示す図 同実施形態の改良された動き補償サイズの制御例を示すフローチャート ダウンサンプリング比決定の際のしきい値を示す図 本発明による動画像符号化装置の第３の実施形態のブロック図 図１２の動画像符号化装置に対応した動画像復号化装置の実施形態のブロック図

符号の説明

　３０１…動き補償予測回路、３０２…フレームメモリ、３０３…減算回路、３０４…ＤＣＴ回路、３０５…量子化回路、３０６…可変長符号化回路、３０７…逆量子化回路、３０８…逆ＤＣＴ回路、３０９…加算回路、３１０…可変長符号回路、３１１…マルチプレクサ３２０…動き補償サイズ制御部、３２１…ダウンサンプリング回路、３２２…サンプリング変換回路、３２３…量子化幅・ダウンサンプリング比制御部、３３１…入力画像信号３３２…予測信号、３３３…予測残差信号、３３５…符号列、３４０…動き補償領域情報、３４１…ダウンサンプリング画像信号、４０１…動き補償予測回路、４０２…フレームメモリ、４０３…減算回路、４０４…ＤＣＴ回路、４０５…量子化回路、４０６…可変長符号化回路、、４０７…逆量子化回路、４０８…逆ＤＣＴ回路、４０９…加算回路、４１０…可変長符号回路、４１１…マルチプレクサ、４２０…動き補償サイズ制御部、４２１…ダウンサンプリング回路、４２２…サンプリング変換回路、４２３…量子化幅・ダウンサンプリング比制御部、４３１…入力画像信号、４３２…予測信号、４３３…予測残差信号、４３５…符号列、４４０…動き補償領域情報、４４１…ダウンサンプリング画像信号、５０１…動き補償予測回路、５０２…フレームメモリ、５０６…可変長復号回路、５０７…逆量子化回路、５０８…逆ＤＣＴ回路、５０９…加算回路、５１０…可変長復号回路、５１１…デマルチプレクサ、５２２…サンプリング変換回路、５２、５…フレームメモリ、５３０…動き補償領域情報、５３２…予測信号、５３４…予測モード／動きベクトル情報、５５０…再生画像信号

Claims (10)

1. 　入力画像信号をダウンサンプリングするダウンサンプリングステップと、
   　ダウンサンプリングされた画像信号について動き補償予測を行って予測信号を生成する予測ステップと、
   　前記ダウンサンプリングされた画像信号に対する前記予測信号の予測残差信号を符号化する符号化ステップと、
   　前記入力画像信号のフレーム毎に前記ダウンサンプリングステップでのダウンサンプリング比を決定するステップとを有することを特徴とする動画像符号化方法。
2. 　入力画像信号をダウンサンプリングするダウンサンプリングステップと、
   　ダウンサンプリングされた画像信号について動き補償予測を行って予測信号を生成する予測ステップと、
   　前記ダウンサンプリングされた画像信号に対する前記予測信号の予測残差信号を所定の符号化制御パラメータで符号化する符号化ステップと、
   　前記入力画像信号のフレーム毎に前記入力画像信号および前記予測残差信号の少なくとも一方の信号のアクティビティを用いて発生符号量が設定値となる前記ダウンサンプリングステップでのダウンサンプリング比と前記符号化制御パラメータとの複数の組み合わせを推定し、これら複数の組み合わせから最適な組み合わせを選択して決定するステップとを有することを特徴とする動画像符号化方法。
3. 　入力画像信号の第１領域をダウンサンプリングするダウンサンプリングステップと、
   　前記入力画像信号の前記第１領域およびダウンサンプリングされない第２領域についてそれぞれ動き補償予測を行って予測信号を生成する予測ステップと、
   　前記入力画像信号に対する前記予測信号の予測残差信号を所定の符号化制御パラメータで符号化する符号化ステップと、
   　符号化された信号から画像信号を復号する局部復号ステップと、
   　前記局部復号ステップにより復号された画像信号を前記予測ステップにおける前記第１領域についての動き補償予測のために一時記憶する第１の一時記憶ステップと、
   　前記局部復号ステップにより復号された画像信号のうち前記第１領域に対応する第３領域の画像信号をアップサンプリングするアップサンプリングステップと、
   　前記局部復号ステップにより復号された画像信号のうち前記第２領域に対応する画像信号と前記第３領域に対応する画像信号から再生画像信号を生成するステップと、
   　前記予測ステップにおける前記第２領域の予測のための画像信号を一時記憶する第２の一時記憶ステップと、
   　前記第２の一時記憶ステップに記憶されている画像信号の一部を前記再生画像信号に置き換えるステップとを有することを特徴とする動画像符号化方法。
4. 　符号化された予測残差信号及び動きベクトル情報を復号する復号ステップと、
   　復号された予測残差信号から予測信号を生成する予測ステップと、
   　前記予測残差信号と予測信号とを加算する加算ステップと、
   　前記加算ステップにより得られる加算信号をサンプリング密度情報に従ってアップサンプリングすることにより再生画像信号を生成するアップサンプリングステップとを有することを特徴とする動画像復号化方法。
5. 　入力画像信号のダウンサンプリングされた第１領域およびダウンサンプリングされない第２領域についてそれぞれ動き補償予測を行って予測信号を生成する予測ステップと、
   　前記第１領域および第２領域に対応する予測残差信号と前記予測ステップにより得られた予測信号から画像信号を復号する復号ステップと、
   　前記復号ステップにより復号された前記第２領域に対応する画像信号をアップサンプリングするアップサンプリングステップと、
   　前記復号ステップにより復号された前記第２領域に対応する画像信号と前記アップサンプリングステップによりアップサンプリングされた画像信号から再生画像信号を生成するステップと、
   　前記復号ステップにより復号された画像信号を前記第１領域の画像信号の予測のために一時記憶する第１の一時記憶ステップと、
   　前記復号ステップにより復号された画像信号を前記第２領域の画像信号の予測のために一時記憶する第２の一時記憶ステップと、
   　前記第２の一時記憶ステップに記憶されている画像信号の一部を前記再生画像信号に置き換えるステップとを有することを特徴とする動画像復号化方法。
6. 　入力画像信号をダウンサンプリングするダウンサンプリング手段と、
   　ダウンサンプリングされた画像信号について動き補償予測を行って予測信号を生成する予測手段と、
   　前記ダウンサンプリングされた画像信号に対する前記予測信号の予測残差信号を符号化する符号化手段と、
   　前記入力画像信号のフレーム毎に前記ダウンサンプリング手段でのダウンサンプリング比を決定する手段とを有することを特徴とする動画像符号化装置。
7. 　入力画像信号をダウンサンプリングするダウンサンプリング手段と、
   　ダウンサンプリングされた入力画像信号について動き補償予測を行って予測信号を生成する予測手段と、
   　前記入力画像信号に対する前記予測信号の予測残差信号を所定の符号化制御パラメータで符号化する符号化手段と、
   　前記入力画像信号および前記予測残差信号の少なくとも一方の信号のアクティビティを用いて発生符号量が設定値となる前記ダウンサンプリング手段でのダウンサンプリング比と前記符号化制御パラメータとの複数の組み合わせを推定し、これら複数の組み合わせから最適な組み合わせを選択して決定する手段とを有することを特徴とする動画像符号化装置。
8. 　入力画像信号の第１領域をダウンサンプリングするダウンサンプリング手段と、
   　前記入力画像信号の前記第１領域およびダウンサンプリングされない第２領域についてそれぞれ動き補償予測を行って予測信号を生成する予測手段と、
   　前記入力画像信号に対する前記予測信号の予測残差信号を所定の符号化制御パラメータで符号化する符号化手段と、
   　前記符号化手段により符号化された信号から画像信号を復号する局部復号手段と、
   　前記局部復号手段により復号された画像信号を前記予測手段における前記第１領域についての動き補償予測のために一時記憶する第１の一時記憶手段と、
   　前記局部復号手段により復号された画像信号のうち前記第１領域に対応する第３領域の画像信号をアップサンプリングするアップサンプリング手段と、
   　前記局部復号手段により復号された画像信号のうち前記第２領域に対応する画像信号と前記第３領域に対応する画像信号から再生画像信号を生成する手段と、
   　前記予測手段における前記第２領域の予測のための画像信号を一時記憶する第２の一時記憶手段と、
   　前記第２の一時記憶手段に記憶されている画像信号の一部を前記再生画像信号に置き換える手段とを有することを特徴とする動画像符号化装置。
9. 　符号化された予測残差信号及び動きベクトル情報を復号する復号手段と、
   　復号された予測残差信号から予測信号を生成する予測手段と、
   　前記予測残差信号と予測信号とを加算する加算手段と、
   　前記加算手段からの出力信号をサンプリング密度情報に従ってアップサンプリングすることにより再生画像信号を生成するアップサンプリング手段とを有することを特徴とする動画像復号化装置。
10. 　入力画像信号のダウンサンプリングされた第１領域およびダウンサンプリングされない第２領域についてそれぞれ動き補償予測を行って予測信号を生成する予測手段と、
    　前記第１領域および第２領域に対応する予測残差信号と前記予測手段により得られた予測信号から画像信号を復号する復号手段と、
    　前記復号手段により復号された前記第１領域に対応する画像信号をアップサンプリングするアップサンプリング手段と、
    　前記アップサンプリング手段によりアップサンプリングされた画像信号と前記復号手段により復号された前記第２領域に対応する画像信号から再生画像信号を生成する手段と、
    　前記復号手段により復号された画像信号を前記第１領域の画像信号の予測のために一時記憶する第１の一時記憶手段と、
    　前記復号手段により復号された画像信号を前記第２領域の画像信号の予測のために一時記憶する第２の一時記憶手段と、
    　前記第２の一時記憶手段に記憶されている画像信号の一部を前記再生画像信号に置き換える手段とを有することを特徴とする動画像復号化装置。

Images