JP2006128759A - 映像符号化装置、映像復号化装置、映像符号化方法及び映像復号化方法 - Google Patents

Abstract

【課題】 符号化対象の変換係数のビットの状態に応じて効率の良い符号化を行うことができる映像符号化装置を提供する。
【解決手段】 映像符号化装置１０は、映像を周波数変換して周波数成分を表す変換係数を生成するＤＣＴ部と、ＤＣＴ部にて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化する可変長符号化部３２と、先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測部３４とを備え、可変長符号化部３２は、状態予測部３４によって予測されたビットの状態に応じて符号化を行う。
【選択図】 図１

Description

本発明は、映像を符号化し映像ストリームを生成する映像符号化装置および方法と、映像ストリームを復号化して復号化映像を生成する映像復号化装置および方法に関する。

映像は、もはや我々の生活とは切り離せない関係にあり、インターネットや携帯電話網、放送波、蓄積メディアなどの伝送手段を通じ、パソコンや携帯端末、テレビ、ハイビジョンテレビなどの多様な表示端末において、視覚的な情報を享受させてくれる重要な存在となった。

伝送手段を通じて伝送される映像は、効率良く情報を伝達するために、映像符号化技術を用いてより少ないデータ量を持つ映像ストリームに圧縮される。最近では、映像符号を全てダウンロードし終えてから再生するのではなく、受信した映像符号化データを順次再生する映像ストリーム伝送が盛んになってきている。しかしながらＩＳＯ／ＩＥＣ １４４９６−１０に記載のＭＰＥＧ−４ ＡＶＣ方式のような映像符号化技術では、一度符号化すると復号化に用いられる符号量は一意に決定され、再生する映像の品質を変えることはできない。よって、１つの映像ストリームを通信帯域の異なる２者に提供する場合には、映像を２回符号化しそれぞれの帯域にあわせて伝送するか、もしくは、狭い方の通信帯域にあわせて映像の画質や解像度、フレームレートを下げて映像符号化していた。

そこで、幾つかの階層からなるデータ構造を持ち、符号化後も必要に応じてストリームの伝送量を変更することのできるスケーラブル映像符号化方式が幾つか考案規格化された。映像階層符号化方式では、画質、解像度、フレームレートなどを映像が符号化された後に選択することが出来る。

また、高度化されたカメラ技術により映像が高精細になるにしたがって、映像のもつ情報量は増し、ユーザ毎に伝送量を調整する必要性が高まり、符号化効率の良いスケーラブル映像符号化方式が求められている。

ＭＰＥＧ−４ ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｌｅ ｃｏｄｉｎｇ）はＩＳＯ／ＩＥＣ １４４９６−２ Ａｍｅｎｄｍｅｎｔ ２に規定されているスケーラブル映像符号化方式の１つで、とりわけストリームの画質を微細に選択することが可能な符号化方法として規格化されている。

ＭＰＥＧ−４ ＦＧＳで符号化された映像ストリームは、基本レイヤストリームと拡張レイヤストリームによって構成される。基本レイヤストリームは単体で復号化が可能な低帯域で低画質の映像ストリームであり、拡張レイヤストリームは基本レイヤストリームの画質を向上させるための映像ストリームである。ＭＰＥＧ−４ ＦＧＳは、階層的に符号化されたレイヤ構造と、拡張レイヤストリームに用いられるビットプレーン符号化と呼ばれる符号化処理などにより、伝送する符号量を１フレーム（１画面、１画像）ごとに制御することが可能で、伝送速度や求められる画像品質に非常に柔軟に対応できる。

以下に、ＭＰＥＧ−４ ＦＧＳの拡張レイヤストリームの生成に用いられるビットプレーン符号化の概念を簡単に説明する。

図１４は、ＭＰＥＧ−４ ＦＧＳの映像符号化装置１３０を示す図である。映像信号入力部１３２から原映像を入力し、基本レイヤ符号化部１３４において基本レイヤストリームを、拡張レイヤ符号化部１４０において拡張レイヤストリームを生成し、基本レイヤ出力部１３６と拡張レイヤ出力部１３８から出力する。

拡張レイヤ符号化部１４０では、原映像と基本レイヤストリームを復号化した基本レイヤ復号映像の差分である差分映像を８×８画素ごとにＤＣＴ変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散コサイン変換）、スキャン、階層符号化を行う。ＭＰＥＧ−４ ＦＧＳでは、差分映像をＤＣＴ変換したＤＣＴ係数に多く現れる「０」の値をまとめて符号化することにより符号化効率を上げる。

拡張レイヤ符号化部１４０では、まず、ＤＣＴ部１４４が差分映像をＤＣＴ変換してＤＣＴ係数を生成する。次に、スキャン部１４６が８×８画素のＤＣＴ係数をスキャンし並べ替える。ＤＣＴ係数は統計的に大きな絶対値を持つ係数が水平および垂直低周波に偏り、水平および垂直高周波係数が大きな絶対値を持つことは統計的に少なくなる。そこで、スキャン部１４６が、水平および垂直低周波係数から水平および垂直高周波係数に向かってＤＣＴ係数を並べ替えるスキャンを行うことにより、並べ替えられたスキャン済ＤＣＴ係数の後半には「０」が多くなる。図１６（ａ）は、８×８画素のＤＣＴ係数のスキャンを表す図である。プラスマイナスを表す符号は絶対値とは別途符号化する。このように、水平周波数、垂直周波数の低い方から順にスキャンする。これにより、「０」が出現する確率の高い高周波成分の符号化効率を高めることができる。

次に、階層符号化部１４０がビットプレーン符号化を行う。ＭＰＥＧ−４ ＦＧＳは、ビットプレーン符号化として上位ビットからビットプレーンごとに零ラン長符号化およびハフマン符号化を行う。ここでビットプレーンとは、２進数で表された複数の数値の同じビット位のみを並べたビット列のことであり、ビット平面とも呼ばれる。図１７は、ＤＣＴ係数を、横軸をスキャン順に、縦軸をビットごとに並べた図である。１つの列が１つのＤＣＴ係数を表し、１つの行が１つのビットプレーンをあらわす。ＤＣＴ係数の最上位の「１」のビットをＭＳＢと呼び、図１７において空白セルは、ＭＳＢより上位の「０」ビットの記述を省略したものである。複数のＤＣＴ係数の中で最も大きい値を持つＭＳＢを含むビットプレーンをＭＳＢ平面と呼ぶ。

零ラン長符号化とは、「０」以外の係数が現れる前に、「０」が幾つ現れるかを符号化するものであり、複数の「０」に１つの信号を割り当てることにより情報量を圧縮する符号化手法である。ビットプレーンにおいては「０」か「１」しか現れないので「０の長さ」になる。また、「０」の後に現れる「１」がビットプレーン内においてスキャン順序で「最後の１か否か」を符号化することにより、スキャンによって後半に偏った「０」を効率よく符号化する。図１７に例示するＭＰＥＧ−４ ＦＧＳの零ラン長符号化では、領域Ｃを参照すると、「０」が４つ続いた後に「１」が続くがさらにその後に「１」があるので、「０が４つ」そして「最後の１ではない」の組み合わせを割り当てる。図１６（ｂ）は、８×８画素のＤＣＴ係数のあるビット位のビットプレーンを示した図である。図１６（ａ）で示したスキャン順序によれば、図１６（ｂ）のビットＢ１２は、ビットプレーン最後の「１」であり、それ以外はビットプレーン最後の「１」ではない。

ハフマン符号化とは可変長符号化の一種で、ＭＰＥＧ−４ ＦＧＳにおいては、前記、「０の続く長さ」すなわち零ラン長と「最後の１であるか否か」すなわちビットプレーン終了信号の各組み合わせに対してあらかじめ出現確率を求めておき、出現確率の高い組み合わせには短い符号を、出現確率の低い組み合わせには長い符号を割り当てて情報を圧縮する。組み合わせに対して割り当てる符号の表をハフマンテーブルといい、ＭＰＥＧ−４ ＦＧＳでは、ＭＳＢ平面用と、ＭＳＢより１ビット下位のビットプレーン用と、２ビット下位のビットプレーン用と、それより下位のビットプレーン用の４つのテーブルを用意する。これらのハフマンテーブルでは、８×８画素のＤＣＴ係数のＭＳＢ平面は「１」を少なく含み、下位ビットプレーンになるに従って徐々に１の出現確率が増えて行くことを想定して、「零ラン長」と「最後の『１』」の組み合わせを予測して、効率良く情報を圧縮する。

図１５は、映像符号化装置１３０が生成した基本レイヤストリームと拡張レイヤストリームを復号化して復号化画像を生成するＭＰＥＧ−４ ＦＧＳの映像復号化装置１５０である。基本レイヤ復号化部１５６が基本レイヤストリームを復号化して生成した基本レイヤ復号化画像と、拡張レイヤ復号化部１６０が拡張レイヤストリームを復号化して生成した差分復号化画像とを加算して復号化画像を生成する。復号化画像の画質は、復号化した拡張レイヤストリームの量に比例する。

以上のように符号化および復号化するＭＰＥＧ−４ ＦＧＳでは、復号化画像の画質に強い影響を及ぼすＤＣＴ係数の上位ビットプレーンから優先的に符号化して映像ストリームに格納することにより、画質を柔軟に調整することが可能である。たとえば、映像送信端末から映像受信端末に映像ストリームを伝送するシステムにおいて、映像受信端末が映像ストリームをすべて受信できなかった場合、ＭＰＥＧ−４ ＦＧＳの映像ストリームでは画質への影響度の低い下位ビットプレーンが欠落するだけで映像を復号化することが可能である。しかし、ＭＰＥＧ−４ ＡＶＣなどの映像非スケーラブル符号化方式では、映像ストリームをすべて受信できなかった場合、１画面の下半分が復号できないなどといった主観画質を大幅に低下させる問題が発生する。

特許文献１では、図１４に示すＭＰＥＧ−４ ＦＧＳの映像符号化装置において、階層符号化部１４８の改良を行っている。

図１８は、特許文献１の階層符号化部１４８を示す。階層符号化部１４８では、ビット分離部１７０が、入力されたＤＣＴ係数をＭＳＢとそれ以外の非ＭＳＢに分離し、ＭＳＢ符号化部１７２がＤＣＴ係数のＭＳＢのみを符号化し、非ＭＳＢ符号化部１７４が非ＭＳＢを符号化し、合成部１７６がＭＳＢと非ＭＳＢの符号を合成し出力する。特許文献１では、１つのＤＣＴ係数の中で復号化画像の画質に最も影響を及ぼすＭＳＢを優先して映像ストリームに符号化することにより、符号化効率の向上を図っている。ここで、「符号化効率が良い」とは、同じ原映像を符号化した同じデータ量の２つの映像ストリームを復号化したときに、一方の復号化画像の画質が他方に勝っていれば、前者の方の符号化効率が良いという。
特開２００３−２７４４０６号公報

上記したように、ＭＰＥＧ−４ ＦＧＳはビットプレーンごとにハフマンテーブルを用意しているものの、そのハフマンテーブルが「０の続く長さ」と「最後の『１』であるか否か」の各組み合わせの出現確率を正確に反映しているとは限らず、符号化効率が良いとは言えない。拡張レイヤ符号化部１４０で符号化する差分映像は、原映像と基本レイヤ復号化画像との差分であり多くのエッジを含んでいるので、高周波領域に大きい絶対値のＤＣＴ係数が現れる場合がある。例えば、ある１つのＤＣＴ係数のＭＳＢが１１ビット位で他のＤＣＴ係数のＭＳＢが全て５ビット位以下とすると、１１ビット位のＭＳＢ平面から６ビット位まで符号化するＤＣＴ係数は１つであるにも関わらず、ハフマンテーブルは「１」が多く出現すると想定したものに入れ替わり、想定する出現確率と実際のズレが大きくなり符号化効率が悪くなる。

また、特許文献１で用いるＤＣＴ係数のＭＳＢのみを優先する符号化方法では、必ずしも符号化効率の改善は望めない。例えば、ＭＳＢが８ビット位と２ビット位のＤＣＴ係数を考える場合、後者の２ビット位のＭＳＢより、前者の７ビット位の非ＭＳＢの方が画質に与える影響は大きいからである。

本発明は、上記背景に鑑み、符号化対象の変換係数のビットの状態に応じて効率の良い符号化を行うことができる映像符号化装置および符号化データを復号化する映像復号化装置を提供することを目的とする。

本発明の映像符号化装置は、映像を周波数変換して周波数成分を表す変換係数を生成する変換係数生成手段と、前記変換係数生成手段にて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化するビットプレーン符号化手段と、先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測手段とを備え、前記ビットプレーン符号化手段は、前記状態予測手段によって予測されたビットの状態に応じて符号化を行う。

このように先に符号化された変換係数に関する情報に基づいて後に符号化されるビットの状態、すなわち後に符号化されるビットにおける「１」と「０」の出現確率を予測することによって、効率の良い符号化を行うことができる。例えば、出現確率の高い組合せに符号化ビット長が短い符号を割り当てることにより、符号化効率が向上する。

上記映像符号化装置において、前記状態予測手段は、上位のビットプレーンの情報に基づいて、下位のビットプレーンのビットの状態を予測してもよい。

このように上位のビットプレーンの状態と下位のビットプレーンの状態との相関関係を利用することによって、下位のビットプレーンのビットの状態を適切に予測することができる。また、符号化中の係数のビットが属する領域以外の情報を使うことなくビットの状態を予測できる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、ビットの状態「１」が現れた変換係数の個数に応じてビットの状態を予測してもよい。

この構成により、予測の精度が向上し、符号化効率を高めることができる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットの変換係数において上位ビットにビットの状態「１」が現れたか否かに基づいて、ビットの状態を予測してもよい。

この構成により、予測の精度が向上し、符号化効率を高めることができる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいてビットの状態「１」が現れた変換係数のうちで、予測対象のビットの変換係数よりも符号化順序が後方に位置し、かつ、最も近い変換係数までの距離に基づいて、ビットの状態を予測してもよい。

この構成により、零ラン長を予測することができるので、効率の良い符号化を行うことができる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、符号化順序が最も後方の位置でビットの状態「１」が現れた変換係数に基づいて、ビットの状態を予測してもよい。

この構成により、予測の精度が向上し、符号化効率を高めることができる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、符号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、前記ビットプレーン符号化手段は、前記確率に基づいて、零ラン長符号化を行ってもよい。

この構成により、そのビットプレーンに現れる最後尾の「１」を予測して、効率の良い符号化を行うことができる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、あらかじめ定められた順番以降の符号化順序の変換係数にビットの状態「１」を含むか否かを判定し、ビットの状態「１」を含まないとの判定に応じて、予測対象のビットの状態が「１」であり、かつ、符号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、前記ビットプレーン符号化手段は、前記確率に基づいて、零ラン長符号化を行ってもよい。

この構成により、符号化順序において最後の「１」を表すビットプレーン終了信号によって省略できる最後尾の「１」以降の「０」の個数を予測でき、最後尾の「１」以降の「０」の個数が少ない場合には、ビットプレーン終了信号の符号化を行わないことにより、符号化効率を向上できる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットを含む零ラン長を予測し、前記ビットプレーン符号化手段は、前記状態予測手段にて予測された零ラン長に基づいて選択したハフマンテーブルを用いてハフマン符号化を行ってもよい。

この構成により、予測した零ラン長に基づいて、出現確率の高い零ラン長に短い符号を割り当てることが可能で、符号化効率が向上する。

上記映像符号化装置において、前記状態予測手段は、ビットの状態「０」が連続して出現する確率があらかじめ設定された閾値を下回る箇所までのゼロの個数を零ラン長として求めてもよい。

この構成により、零ラン長を適切に予測することができる。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットの状態が「１」又は「０」である確率を予測し、前記ビットプレーン符号化手段は、前記状態予測手段にて予測された前記確率に基づいて決定したシンボルの生起確率を用いて、算術符号化を行ってもよい。

この構成により、符号化中の変換係数に短い符号を割り当てることが可能で、符号化効率が向上する。

上記映像符号化装置において、前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、符号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、前記ビットプレーン符号化手段は、前記状態予測手段にて予測された前記確率に基づいて決定したシンボルの生起確率を用いて、算術符号化を行ってもよい。

この構成により、符号化中の変換係数に短い符号を割り当てることが可能で、符号化効率が向上する。

上記映像符号化装置は、映像を単独で復号化可能な基本レイヤと基本レイヤの映像品質を向上させる拡張レイヤとに階層符号化する映像符号化装置であって、前記状態予測手段は、前記基本レイヤの情報に基づいて、前記拡張レイヤの変換係数のビットの状態を予測し、前記ビットプレーン符号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記拡張レイヤの変換係数を符号化してもよい。

この構成により、拡張レイヤと相関の強い基本レイヤの情報に基づいて、拡張レイヤの変換係数のビットの状態を適切に予測することができる。

上記映像符号化装置において、前記状態予測手段は、前記基本レイヤに含まれるエッジの情報または前記基本レイヤの符号化量に基づいて、前記拡張レイヤの変換係数のビットの状態を予測してもよい。

この構成により、拡張レイヤの変換係数のビットの状態を適切に予測できる。

上記映像符号化装置において、前記状態予測手段は、映像を構成するフレームの変換係数のビットの状態を、動き予測補償符号化に用いる参照フレームの情報に基づいて予測し、前記ビットプレーン符号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記フレームの変換係数を符号化してもよい。

この構成により、符号化中のフレームと相関の強い参照フレームの情報に基づいて、符号化中のフレームの変換係数のビットの状態を適切に予測することができる。すなわち、参照フレームの特性を用いて動き予測補償の残差信号の状態を予測することが可能で、符号化効率を向上できる。

上記映像符号化装置において、前記状態予測手段は、前記参照フレームに含まれるエッジの情報または前記参照フレームの符号化量に基づいて、前記フレームの変換係数のビットの状態を予測してもよい。

この構成により、符号化中のフレームの変換係数のビットの状態を適切に予測できる。

本発明の映像復号化装置は、ビットプレーン符号化された映像の符号化データを上位ビットプレーンから順に復号化するビットプレーン復号化手段と、先に復号化された変換係数に関する情報に基づいて、後に復号化される変換係数のビットの状態を予測する状態予測手段とを備え、前記ビットプレーン復号化手段は、前記状態予測手段によって予測されたビットの状態に応じて復号化を行う。

このように先に復号化された変換係数に関する情報に基づいて後に復号化されるビットの状態、すなわち後に復号化されるビットにおける「１」と「０」の出現確率を予測することによって、出現確率に応じて効率良く符号化された符号化データを復号化することができる。

上記映像復号化装置において、前記状態予測手段は、上位のビットプレーンの情報に基づいて、下位のビットプレーンのビットの状態を予測してもよい。

このように上位のビットプレーンの状態と下位のビットプレーンの状態との相関関係を利用することによって、下位のビットプレーンのビットの状態を適切に予測することができ、効率良く符号化された符号化データを復号化することができる。また、復号化中の係数のビットが属する領域以外の情報を使うことなくビットの状態を予測できる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、ビットの状態「１」が現れた変換係数の個数に応じてビットの状態を予測してもよい。

この構成により、予測の精度を向上して効率良く符号化された符号化データを復号化することができる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットの変換係数において上位ビットにビットの状態「１」が現れたか否かに基づいて、ビットの状態を予測してもよい。

この構成により、予測の精度を向上して効率良く符号化された符号化データを復号化することができる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいてビットの状態「１」が現れた変換係数のうちで、予測対象のビットの変換係数よりも復号化順序が後方に位置し、かつ最も近い変換係数までの距離に基づいて、ビットの状態を予測してもよい。

この構成により、零ラン長を予測して効率良く符号化された符号化データを復号化することができる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、復号化順序が最も後方の位置でビットの状態「１」が現れた変換係数に基づいて、ビットの状態を予測してもよい。

この構成により、予測の精度を向上して効率良く符号化された符号化データを復号化することができる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、復号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、前記ビットプレーン復号化手段は、前記確率に基づいて、零ラン長復号化を行ってもよい。

この構成により、そのビットプレーンに現れる最後の「１」を予測して効率良く符号化された符号化データを復号化することができる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、あらかじめ定められた順番以降の復号化順序の変換係数にビットの状態「１」を含むか否かを判定し、ビットの状態「１」を含まないとの判定に応じて、予測対象のビットの状態が「１」であり、かつ、復号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、前記ビットプレーン復号化手段は、前記確率に基づいて、零ラン長復号化を行ってもよい。

この構成により、最後尾の「１」以降の「０」の個数が少ない場合に、ビットプレーン終了信号の符号化を行わないことにより、効率良く符号化された符号化データを復号化できる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットを含む零ラン長を予測し、前記ビットプレーン復号化手段は、前記状態予測手段にて予測された零ラン長に基づいて選択したハフマンテーブルを用いてハフマン復号化を行うことを特徴としてもよい。

この構成により、予測した零ラン長に応じて選択されたハフマンテーブルを用いて効率良く符号化された符号化データを復号化することができる。

前記状態予測手段は、ビットの状態「０」が連続して出現する確率があらかじめ設定された閾値を下回る箇所までのゼロの個数を零ラン長として求めてもよい。

この構成により、零ラン長を適切に予測することができる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットの状態が、「１」又は「０」である確率を予測し、前記ビットプレーン復号化手段は、前記状態予測手段にて予測された前記確率に基づいて決定したシンボルの生起確率を用いて、算術復号化を行ってもよい。

この構成により、ビットの状態に応じて選択された生起確率を用いて効率良く符号化された符号化データを復号化できる。

上記映像復号化装置において、前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、復号化順序が、後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、前記ビットプレーン復号化手段は、前記状態予測手段にて予測された零ラン長に基づいて決定したシンボルの生起確率を用いて、算術復号化を行ってもよい。

この構成により、ビットの状態に応じて選択された生起確率を用いて効率良く符号化された符号化データを復号化できる。

上記映像復号化装置において、前記状態予測手段は、復号化された基本レイヤの情報に基づいて、基本レイヤの映像品質を向上させる拡張レイヤの変換係数のビットの状態を予測し、前記ビットプレーン復号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記拡張レイヤの変換係数を復号化してもよい。

この構成により、拡張レイヤと相関の強い基本レイヤの情報に基づいて、拡張レイヤの変換係数のビットの状態を適切に予測することができる。

上記映像復号化装置において前記状態予測手段は、前記基本レイヤに含まれるエッジの情報または前記基本レイヤの符号化量に基づいて、前記拡張レイヤの変換係数のビットの状態を予測してもよい。

この構成により、復号化中の拡張レイヤの変換係数のビットの状態を適切に予測できる。

上記映像復号化装置において、前記状態予測手段は、映像を構成するフレームの変換係数のビットの状態を、動き予測補償符号化に用いる参照フレームの情報に基づいて予測し、前記ビットプレーン復号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記フレームの変換係数を復号化してもよい。

この構成により、復号化中のフレームと相関の強い参照フレームの情報に基づいて、復号化中のフレームの変換係数のビットの状態を適切に予測することができる。

上記映像復号化装置において、前記状態予測手段は、前記参照フレームに含まれるエッジの情報または前記参照フレームの符号化量に基づいて、前記フレームのビットの状態を予測してもよい。

この構成により、復号化中のフレームの変換係数のビットの状態を適切に予測できる。

本発明の映像符号化方法は、映像を周波数変換して周波数成分を表す変換係数を生成する変換係数生成ステップと、前記変換係数生成ステップにおいて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化するビットプレーン符号化ステップと、先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測ステップとを備え、前記ビットプレーン符号化ステップは、前記状態予測ステップにおいて予測されたビットの状態に応じて符号化を行う。

この構成により、本発明の映像符号化装置と同様に、効率の良い符号化を行うことができる。また、本発明の映像符号化装置の各種の構成を、本発明の映像符号化方法に適用することも可能である。

本発明の映像復号化方法は、ビットプレーン符号化された映像の符号化データを上位ビットプレーンから順に復号化するビットプレーン復号化ステップと、先に復号化された変換係数に関する情報に基づいて、後に復号化される変換係数のビットの状態を予測する状態予測ステップとを備え、前記ビットプレーン復号化ステップは、前記状態予測手段によって予測されたビットの状態に応じて復号化を行う。

この構成により、本発明の映像復号化装置と同様に、効率良く符号化された符号化データを復号化することができる。また、本発明の映像復号化装置の各種の構成を、本発明の映像復号化方法に適用することも可能である。

本発明の映像符号化のためのプログラムは、映像を符号化するためにコンピュータに、映像を周波数変換して周波数成分を表す変換係数を生成する変換係数生成ステップと、前記変換係数生成ステップにおいて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化するビットプレーン符号化ステップと、先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測ステップとを実行させ、前記ビットプレーン符号化ステップは、前記状態予測ステップにおいて予測されたビットの状態に応じて符号化を行う。

この構成により、本発明の映像符号化装置と同様に、効率の良い符号化を行うことができる。また、本発明の映像符号化装置の各種の構成を、本発明のプログラムに適用することも可能である。

本発明の映像復号化のためのプログラムは、ビットプレーン符号化された映像の符号化データを復号化するために、コンピュータに、上位ビットプレーンから順に復号化するビットプレーン復号化ステップと、先に復号化された変換係数に関する情報に基づいて、後に復号化される変換係数のビットの状態を予測する状態予測ステップとを実行させ、前記ビットプレーン復号化ステップは、前記状態予測手段によって予測されたビットの状態に応じて復号化を行う。

この構成により、本発明の映像復号化装置と同様に、効率良く符号化された符号化データを復号化することができる。また、本発明の映像復号化装置の各種の構成を、本発明のプログラムに適用することも可能である。

本発明によれば、先に符号化された変換係数に関する情報に基づいて後に符号化されるビットの状態、すなわち後に符号化されるビットにおける「１」と「０」の出現確率を予測することによって、効率の良い符号化を行うことができるというすぐれた効果を有する。

以下、本発明の映像符号化装置および映像復号化装置の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
第１の実施の形態では、スケーラブル映像符号化において、先に符号化した拡張レイヤの情報を用いて拡張レイヤの状態を予測して符号化を行う映像符号化装置について説明する。すなわち、第１の実施の形態の映像符号化装置は、符号化中の情報である符号化情報に対して、先に符号化して映像ストリームに格納した情報である符号化済情報から符号化情報の状態をあらわす状態予測パラメータを予測し、その状態予測パラメータに基づいて符号化情報を符号化する。

図１は映像符号化装置１０における階層符号化部２６の構成を示すブロック図、図２は本発明の第１の実施の形態に係る映像符号化装置１０の構成を示すブロック図である。図１を参照して、本実施の形態の映像符号化装置１０の符号化について説明する前に、図２を参照して映像符号化装置１０の全体構成について説明する。

図２において、映像符号化装置１０は、映像信号入力部１２、基本レイヤ符号化部１４、基本レイヤ出力部１６、拡張レイヤ符号化部１８、拡張レイヤ出力部２８を有する。拡張レイヤ符号化部１８は、差分部２０、ＤＣＴ部２２、スキャン部２４、階層符号化部２６を有する。

映像信号入力部１２は、映像符号化装置１０の外部から映像を１フレームずつ原画像として入力し、基本レイヤ符号化部１４と拡張レイヤ符号化部１８に出力する。また、映像符号化装置１０の外部から入力される映像の有無を判定し、映像の入力がなければ処理を終了する。

基本レイヤ符号化部１４は、映像信号入力部１２から入力された原画像を符号化して基本レイヤストリームを生成し、基本レイヤ出力部１６に出力する。また、基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ符号化部１８に出力する。

基本レイヤ出力部１６は、基本レイヤ符号化部１４から入力された基本レイヤストリームを映像符号化装置１０の外部に出力する。

差分部２０は、映像信号入力部１２から入力された原画像と基本レイヤ符号化部１４から入力された基本レイヤ復号化画像との差分をとって差分画像を生成し、ＤＣＴ部２２に出力する。

ＤＣＴ部２２は、差分部２０から入力された差分画像を８×８画素ごとの領域であるブロックに分割し、ブロックごとにＤＣＴ変換を施してＤＣＴ係数を生成し、スキャン部２４に出力する。このＤＣＴ部２２が本発明の変換係数生成手段に相当する。

スキャン部２４は、ＤＣＴ部２２から入力されたＤＣＴ係数を定められた順番でスキャンしてスキャン済ＤＣＴ係数を生成し、階層符号化部２６に出力する。

ここで、図１を参照して、第１の実施の形態における階層符号化部２６について説明する。図１に示すように、階層符号化部２６は、零ラン長符号化部３０、可変長符号化部３２、状態予測部３４を有する。

零ラン長符号化部３０は、スキャン部２４から入力されたスキャン済ＤＣＴ係数をビットプレーンごとに、零ラン長とビットプレーン終了信号との組み合わせに零ラン長符号化し、可変長符号化部３２に出力する。

可変長符号化部３２は、零ラン長符号化部３０から入力された零ラン長およびビットプレーン終了信号の組み合わせを、状態予測部３４から入力された状態予測パラメータを用いて可変長符号化する。可変長符号化部３２は、符号化によって生成して拡張レイヤストリームを拡張レイヤ出力部２８に出力する。

状態予測部３４は、スキャン部２４から階層符号化部２６に入力したスキャン済ＤＣＴ係数から符号化中のビットである符号化情報の状態を予測して状態予測パラメータを生成し、可変長符号化部３２に出力する。この状態予測部３４が本発明の状態予測手段に相当し、可変長符号化部３２がビットプレーン符号化手段に相当する。

次に、以上のように構成された映像符号化装置１０の動作を説明する。図３は、図１および図２に示す第１の実施の形態の映像符号化装置１０の動作の一例を表すフローチャートである。なお、図３に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。

まず、映像符号化装置１０は、映像信号入力処理を行う（Ｓ１０）。具体的には、映像信号入力部１２が、映像符号化装置１０の外部から映像を１フレームずつ原画像として入力し、基本レイヤ符号化部１４と拡張レイヤ符号化部１８に出力する。

次に、映像符号化装置１０は、基本レイヤ符号化処理を行う（Ｓ１２）。具体的には、基本レイヤ符号化部１４が、映像信号入力部１２から入力された原画像を符号化して基本レイヤストリームを生成し、基本レイヤ出力部１６に出力する。また、基本レイヤ符号化部１４が、基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ符号化部１８に出力する。

ここで、基本レイヤの符号化方法としては、ＭＰＥＧ−４ ＡＶＣなど既存の方法を用いることとする。また、基本レイヤ復号化画像は、基本レイヤストリームを復号化して生成しなくても、全く同一のものが生成できるのであれば、基本レイヤストリームを符号化における中間処理で生成した復号化画像でも良い。

次に、映像符号化装置１０は、差分処理を行う（Ｓ１４）。具体的には、拡張レイヤ符号化部１８の差分部２０が、映像信号入力部１２から入力された原画像と基本レイヤ符号化部１４から入力された基本レイヤ復号化画像との差分をとり差分画像を生成し、ＤＣＴ部２２に出力する。

次に、映像符号化装置１０は、ＤＣＴ処理を行う（Ｓ１６）。具体的には、ＤＣＴ部２２が、差分部２０から入力された差分画像を８×８画素ごとの領域のブロックに分割し、ブロックごとにＤＣＴ変換を施してＤＣＴ係数を生成し、スキャン部２４に出力する。なお、ＤＣＴ変換の際の領域の分割方法は８×８画素に限らない。また、映像の周波数変換を行う方法は、ＤＣＴ変換に限らずＷａｖｅｌｅｔ変換など他の直交変換を行ってもよい。また、符号化効率は劣るが直交変換を一切行わなくてもよい。

次に、映像符号化装置１０は、スキャン処理を行う（Ｓ１８）。具体的には、スキャン部２４が、ＤＣＴ部２２から入力されたＤＣＴ係数を定められた順番でスキャンしてスキャン済ＤＣＴ係数を生成し、階層符号化部２６に出力する。なお、スキャン部２４にて行うスキャンは、図１６に示す順序に限られず、他の順序で行ってもよい。

また、ＤＣＴ係数をそのままスキャンするのではなく、ＤＣＴ係数をあらかじめ定められた数値で除算して値を小さくする量子化処理を行った後にスキャンしても良い。その場合、復号化において逆量子化処理を行う必要がある。

次に、映像符号化装置１０は、階層符号化処理を行う（Ｓ２０）。具体的には、階層符号化部２６が、スキャン部２４から入力されたスキャン済ＤＣＴ係数を符号化して拡張レイヤストリームを生成し、拡張レイヤ出力部２８に出力する。ここで、階層符号化処理（Ｓ２０）について詳しく説明する。

図４は、階層符号化処理（Ｓ２０）の一例を示すフローチャートである。まず、階層符号化部２６は、零ラン長符号化処理を行う（Ｓ３０）。具体的には、零ラン長符号化部３０が、スキャン部２４から階層符号化部２６に入力されたスキャン済ＤＣＴ係数をビットプレーンごとに幾つかの零ラン長とビットプレーン終了信号との組み合わせに零ラン長符号化し、可変長符号化部３２に出力する。ここで、ビットプレーン終了信号がＯＮであるとは、零ラン信号のあとに続く「１」がビットプレーンの最後の「１」であることを示す。ＯＦＦであるとは、最後の「１」ではないことを示す。

なお、スキャン済ＤＣＴ係数を複数のビットプレーンをまとめて零ラン長符号化してもよい。この場合、零ラン長とビットプレーン終了信号の他に「『０』が続いた後に何の数字が出現したか」を表すレベル信号が必要である。例えば、３ビットプレーンをまとめて零ラン長符号化した場合、零ランの後には「０」以外の「１」〜「７」の値が出現する可能性があるので、どの値が出現したかを示すレベル信号が必要である。本実施の形態では、説明の簡単のため、零ラン長とビットプレーン終了信号のみを扱って説明する。

次に、階層符号化部２６は、状態予測処理を行う（Ｓ３２）。具体的には、状態予測部３４が、スキャン部２４から階層符号化部２６に入力されたスキャン済ＤＣＴ係数から状態予測パラメータを生成し、可変長符号化部３２に出力する。ここで、状態予測部３４が生成する状態予測パラメータは、符号化情報の含む幾つかのビットが成す零ラン長または符号化情報の含む各ビットが「１」である確率と、ビットプレーン終了信号がＯＮである確率である。

図５は、本発明の状態予測の一例を示す図である。図５は、あるブロックのＤＣＴ係数を、横軸をスキャン順に、縦軸をビットごとに並べた図である。便宜上、スキャン軸上での２点間の距離をスキャン距離と呼び、スキャン軸の左端からの距離をスキャン座標と呼ぶ。図５において、領域Ｃは、状態予測対象のビット群を示す。領域ＣのビットＢ４の左端のビットが現在符号化中のビットである。

本実施の形態では、可変長符号化部３２がハフマン符号化を行う場合の予測について説明する。ハフマン符号化の場合は、零ラン長を予測する。本実施の形態では、上位ビットにＭＳＢが現れたＤＣＴ係数の符号化情報、例えば、図５においてビットＢ７、Ｂ８等は「０」と「１」の出現確率が上位にＭＳＢが現れていないＤＣＴ係数のビットＢ４、Ｂ５などに比べて高く、値が「１」である確率を例えば５０％と予測する。逆に、ＭＳＢが現れていないＤＣＴ係数の符号化情報、例えば、図５においてビットＢ４、Ｂ５等は、値が「１」である確率を５０％より低く予測する。

ここで、ビットＢ４から始まる複数のビットの状態を予測する場合を考える。ここでは、ＭＳＢが現れていないビットが「１」である確率を５０％、ＭＳＢが現れたビットが「１」である確率が２５％として、ビットＢ５に「０」が続く確率が４０％を下回った時点で連続する「０」の個数を零ラン長の予測とする。領域Ｃの左端のビットＢ４は上位にＭＳＢが現れていないので「０」である確率は７５％、その右のビットＢ５も同様に「０」である確率は７５％、ゆえに、零ランが２以上である確率は７５％×７５％＝５６．２５％である。次のビットＢ６も上位にＭＳＢが現れていないので「０」である確率は７５％で、「０」が３個連続する確率は、５６．２５％×７５％＝４２．１８７５％である。次のビットＢ７は、上位にＭＳＢが現れているので「０」である確率は５０％である。従って、ビットＢ７まで「０」が続く確率は２１．０９３７５％＜４０％、よって、予測する零ラン長は３と求められる。

また、ＤＣＴ係数は０より大きい絶対値を持つことが多く、下位ビットプレーンになればなるほど、それより上位ビットプレーンにＭＳＢが出現している確率が高くなる。よって、下位ビットプレーンになればなるほど「１」の出現する確率が高くなるので、状態予測部３４は、ビット位が低くなればなるほど零ラン長を短く予測してもよい。また、零ラン長が属するビットプレーンより上位のビットプレーンが含むＭＳＢの数が多ければ多いほど零ラン長を短く設定してもよい。

また、ＤＣＴ係数の高周波係数は絶対値が小さいものが多く、ＭＳＢが現れていないＤＣＴ係数の符号化情報が「１」である確率は低くなる。よって、零ラン開始ビットのスキャン座標が大きければ大きいほど「１」のビットが現れる確率が少なくなるので、状態予測部３４は、予測する零ラン長を長くしても良い。

次に、ビットプレーン終了信号の予測について説明する。ハフマン符号化の場合、状態予測部３４は、スキャン軸の後ろのビットほど、ビットプレーン終了信号がＯＮの確率を高く予測する。また、状態予測部３４は符号化情報に対して、上位ビットプレーンにおいてスキャン軸の最後尾に位置するＭＳＢよりスキャン座標が小さければＯＮの確率を低く予測し、大きければＯＮの確率を高く予測する。例えば、図５において、ビットＢ１よりスキャン座標が小さければＯＮの確率を低く、大きければ高く予測する。

また、符号化情報に対する上位ビットプレーンにおいて、ある程度大きいスキャン座標のＤＣＴ係数が１を含む場合、符号化情報の属するビットプレーンに対してビットプレーン終了信号を予測しなくてもよい。たとえば８×８ＤＣＴ変換において上位ビットプレーンのビットプレーン終了信号が６２番目のＤＣＴ係数にある場合、それより下位ビットプレーンではビットプレーン終了信号によって省略できる「０」の数が少なく、ビットプレーン終了信号を符号化しないことで符号化効率を向上することが可能である。

本実施の形態の状態予測部３４は、符号化情報の状態の予測の際に、符号化情報の属するブロック内の上位ビットプレーンのみを使って予測を行う。これにより、映像ストリームを復号化するユーザが特定ブロックのみを映像を復号化したいという場合に、特定ブロックのみの拡張レイヤを復号化するだけでよく、全体を復号化するより復号化の処理が少なく、また、映像ストリームも一部のみネットワーク上に伝送するなどしてビットレートを節約することが可能である。

次に、階層符号化部２６は、可変長符号化処理を行う（Ｓ３４）。具体的には、可変長符号化部３２が、零ラン長符号化部３０から入力された零ラン長およびビットプレーン終了信号の組み合わせを、状態予測部３４から入力された状態予測パラメータを用いて可変長符号化する。そして、階層符号化部２６は、符号化によって生成された拡張レイヤストリームを拡張レイヤ出力部２８に出力する。

ここで、可変長符号化部３２が、ハフマン符号化を行う場合について説明する。この場合、映像符号化装置１０は、あらかじめ、複数のハフマンテーブルを持つ。ハフマンテーブルは出現頻度の高い組み合わせに短い符号を、高い組み合わせに長い符号を割り当てることによって、符号化効率を向上させる。

よって、可変長符号化部３２は、零ラン長が長いと予測された組み合わせを符号化する場合、長い零ラン長を持つ組み合わせに短い符号を割り当てたハフマンテーブルを選択して、ハフマン符号化する。逆に、零ラン長が短いと予測された組み合わせを符号化する場合、短い零ラン長を持つ組み合わせに短い符号を割り当てたハフマンテーブルを選択して、ハフマン符号化する。

さらに、可変長符号化部３２は、ビットプレーン終了信号がＯＦＦである可能性が高いと予測された組み合わせを符号化する場合、ビットプレーン終了信号がＯＦＦである組み合わせに短い符号を割り当てたハフマンテーブルを選択して、ハフマン符号化する。逆に、ビットプレーン終了信号がＯＮである可能性と予測されたが高い組み合わせを符号化する場合、ビットプレーン終了信号がＯＮである組み合わせに短い符号を割り当てたハフマンテーブルを選択して、ハフマン符号化する。以上、階層符号化処理（Ｓ２０）について説明した。

図３に戻って、映像符号化装置１０は、ストリーム出力処理を行う（Ｓ２２）。具体的には、基本レイヤ出力部１６が、基本レイヤ符号化部１４から入力された基本レイヤストリームを映像符号化装置１０の外部に出力する。また、拡張レイヤ出力部２８が、拡張レイヤ符号化部１８から入力された拡張レイヤストリームを映像符号化装置１０の外部に出力する。

次に、映像符号化装置１０は、終了判定処理を行う（Ｓ２４）。具体的には、映像信号入力部１２が、映像符号化装置１０の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了し、そうでなければ映像入力処理（Ｓ１０）の処理に戻る。以上、本発明の第１の実施の形態の映像符号化装置について説明した。

第１の実施の形態の映像符号化装置１０は、拡張レイヤの符号化情報に対して、拡張レイヤのより上位ビットプレーンのＭＳＢの状態を用いることによって、零ラン長や「１」である確率を予測し、また、ビットプレーン終了信号がＯＮである確率を予測し、予測をもとにしてハフマン符号化に用いるハフマンテーブルを入れ替えるにより、可変長符号化の符号化効率を向上することが可能である。

また、第１の実施の形態によれば、映像符号化装置１０は、符号化情報の状態を同じブロックに属する上位ビットプレーンから予測することにより、ブロック間の独立性が保たれ、復号化を行うユーザの注目するブロックのみを符号化し符号化の処理負荷を軽くすることが可能で、また、注目するブロックに該当する映像ストリームのみを伝送することによりビットレートを節約することも可能である。

上記した第１の実施の形態では、可変長符号化部３２においてハフマン符号化を行う例について説明したが、可変長符号化部３２は算術符号化を行ってもよい。算術符号化を行う場合の状態予測について説明する。

算術符号化の場合は、符号化情報が「１」である確率を予測する。状態予測部３４は、上位にＭＳＢが現れたＤＣＴ係数の下位ビットが「１」である確率は５０％と予測する。それ以外の符号化情報は、下位のビットプレーンほど「１」である確率を高くする。また、符号化情報が属するビットプレーンより上位のビットプレーンが含むＭＳＢの数が多ければ多いほど「１」である確率を高くしても良い。また、零ラン開始ビットのスキャン座標が大きければ大きいほど、「１」のビットが現れる確率が少なくしてもよい。

算術符号化によって符号化を行う場合、状態予測部３４は、ビットごとにビットプレーン終了信号がＯＮである確率を予測する。ハフマン符号化の場合と同様に、上位ビットプレーンにおいてスキャン軸の最後尾に位置するＭＳＢよりスキャン座標が小さければＯＮの確率を低く予測し、大きければＯＮの確率を高く予測する。例えば、図５において、ビットＢ１よりスキャン座標が小さければＯＮの確率を低く、大きければ高く予測する。

可変長符号化部３２は、状態予測部３４にて生成された状態予測パラメータを用いて可変長符号化を行う。ここで用いられる状態予測パラメータは、算術符号化で必要な符号化する記号の出現確率として、符号化情報が「１」である確率とビットプレーン終了信号がＯＮである確率を用いる。符号化情報が「０」であるか「１」であるかを２種類の記号で算術符号化し、「１」である符号化情報のビットプレーン終了信号がＯＮであるかＯＦＦであるかを２種類の記号で別に算術符号化しても良い。また、符号化情報が「０」であるかビットプレーン終了信号がＯＦＦの「１」であるかビットプレーン終了信号がＯＮの「１」であるかを３種類の記号で算術符号化しても良い。

（第２の実施の形態）
第２の実施の形態では、復号化中の情報である復号化情報に対して、先に復号化した復号化済情報から復号化情報の状態をあらわす状態予測パラメータを予測し、その状態予測パラメータに基づいて復号化を行う映像復号化装置について説明する。第２の実施の形態では、第１の実施の形態の映像符号化装置で生成した映像ストリームを復号化する映像復号化装置について説明する。

図６は第２の実施の形態に係る映像復号化装置４０の構成を示すブロック図、図７は階層復号化部５０の構成を示す図である。図６において、映像復号化装置４０は、基本レイヤ入力部４２、基本レイヤ復号化部４４、拡張レイヤ入力部４６，拡張レイヤ復号化部４８、映像信号出力部５８を有する。拡張レイヤ復号化部４８は、階層復号化部５０、逆スキャン部５２、逆ＤＣＴ部５４、加算部５６を有する。

基本レイヤ入力部４２は、映像復号化装置４０の外部から基本レイヤストリームを入力し、基本レイヤ復号化部４４に出力する。また、基本レイヤ入力部４２は、外部から基本レイヤストリームの入力の有無を判定し、基本レイヤストリームの入力がなければ処理を終了する。

基本レイヤ復号化部４４は、基本レイヤ入力部４２から入力された基本レイヤストリームを復号化し基本レイヤ復号化画像を生成し、拡張レイヤ復号化部４８と映像信号出力部５８に出力する。

拡張レイヤ入力部４６は、映像復号化装置４０の外部から拡張レイヤストリームを入力し、拡張レイヤ復号化部４８に出力する。

映像信号出力部５８は、基本レイヤ復号化部４４から入力された基本レイヤ復号化画像と、拡張レイヤ復号化部４８から入力された拡張レイヤ復号化画像を映像復号化装置４０の外部に出力する。

階層復号化部５０において、逆スキャン部５２は、階層復号化部５０から入力されたスキャン済ＤＣＴ係数を定められた順番に並べ替える逆スキャンを行ってＤＣＴ係数を生成し、逆ＤＣＴ部５４に出力する。

逆ＤＣＴ部５４は、逆スキャン部５２から入力されたＤＣＴ係数をブロックごとに逆ＤＣＴを施しブロックを合成して差分復号化画像を生成し、加算部５６に出力する。

加算部５６は、基本レイヤ復号部４４から入力された基本レイヤ復号化画像と、逆ＤＣＴ部５４から入力された差分復号化画像を加算して拡張レイヤ復号化画像を生成し、映像信号出力部５８に出力する。

図７は、第２の実施の形態における階層復号化部５０の構成を示すブロック図である。階層復号化部５０は、可変長復号化部６０、零ラン長復号化部６２、状態予測部６４を有する。

可変長復号化部６０は、状態予測部６４から入力された状態予測パラメータを用いて、拡張レイヤ入力部４６から入力された拡張レイヤストリームを可変長復号化して、零ラン長とビットプレーン終了信号の組み合わせを生成し、零ラン長復号化部６２に出力する。

零ラン長復号化部６２は、可変長復号化部６０から入力された零ラン長とビットプレーン終了信号の組み合わせを復号化し、スキャン済ＤＣＴ係数を生成し、逆スキャン部５２に出力する。

状態予測部６４は、零ラン長復号化部６２から入力されたスキャン済ＤＣＴ係数を用いて、可変長復号化部６０が復号化中の零ラン長または復号化情報が「１」である確率とビットプレーン終了信号の状態を予測して状態予測パラメータを生成し、可変長復号化部６０に出力する。

次に、以上のように構成された映像復号化装置４０の動作を説明する。

図８は、第２の実施の形態の映像復号化装置４０の動作の一例を表すフローチャートである。なお、図８に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。

まず、映像復号化装置４０は、ストリーム入力処理を行う（Ｓ４０）。具体的には、基本レイヤ入力部４２が、映像復号化装置４０の外部から基本レイヤストリームを入力し、基本レイヤ復号化部４４に出力する。そして、拡張レイヤ入力部４６が、映像復号化装置４０の外部から拡張レイヤストリームを入力し、拡張レイヤ復号化部４８に出力する。

次に、映像復号化装置４０は、基本レイヤ復号化処理を行う（Ｓ４２）。具体的には、基本レイヤ復号化部４４が、基本レイヤ入力部４２から入力された基本レイヤストリームを復号化し基本レイヤ復号化画像を生成し、拡張レイヤ復号化部４８と映像信号出力部５８に出力する。

次に、映像復号化装置４０は、階層符号化処理を行う（Ｓ４４）。具体的には、拡張レイヤ復号化部４８が、拡張レイヤ入力部４６から入力された拡張レイヤストリームを復号化して拡張レイヤ復号化画像を生成し、映像信号出力部５８に出力する。

図９は、階層復号化処理（Ｓ４４）の一例を示すフローチャートである。まず、階層復号化部５０は、状態予測処理を行う（Ｓ６０）。具体的には、状態予測部６４が、零ラン長復号化部６２から入力されたスキャン済ＤＣＴ係数を用いて、可変長復号化部６０が復号化中の零ラン長または復号化情報が「１」である確率とビットプレーン終了信号の状態を予測して状態予測パラメータを生成し、可変長復号化部６０に出力する。ここで、状態予測部６４が行う予測は、第１の実施の形態で行ったものと同様であり、状態予測部６４が生成する状態予測パラメータは、復号化情報を含む連続するビットが成す零ラン長または符号化情報の含む各ビットが「１」である確率と、ビットプレーン終了信号がＯＮである確率である。なお、状態予測部６４は、復号化情報の状態を予測するために、常に最新のスキャン済ＤＣＴ係数を零ラン長復号化部６２から入力する必要がある。

次に、階層復号化部５０は、可変長復号化処理を行う（Ｓ６２）。具体的には、可変長復号化部６０が、状態予測部６４から入力された状態予測パラメータを用いて、拡張レイヤ入力部４６からに入力された拡張レイヤストリームを可変長復号化して零ラン長とビットプレーン終了信号の組み合わせを生成し、零ラン長復号化部６２に出力する。状態予測パラメータに基づいて可変長復号化に用いるハフマンテーブルを選択する方法は、第１の実施の形態と同じである。

次に、階層符号化部５０は、零ラン長復号化処理を行う（Ｓ６４）。具体的には、零ラン長復号化部６２が、可変長復号化部６０から入力された零ラン長とビットプレーン終了信号の組み合わせを復号化し、スキャン済ＤＣＴ係数を生成し、逆スキャン部５２に出力する。以上、階層復号化処理（Ｓ４４）について説明した。

図８に戻って、映像復号化装置４０は逆スキャン処理を行う（Ｓ４６）。具体的には、逆スキャン部５２が、階層復号化部５２から入力されたスキャン済ＤＣＴ係数を定められた順番に並べ替える逆スキャンを行ってＤＣＴ係数を生成し、逆ＤＣＴ部５４に出力する。

次に、映像復号化装置４０は逆ＤＣＴ処理を行う（Ｓ４８）。具体的には、逆ＤＣＴ部５４が、逆スキャン部５２から入力されたＤＣＴ係数をブロックごとに逆ＤＣＴを施し、逆ＤＣＴ変換されたブロックを合成して差分復号化画像を生成し、加算部５６に出力する。

次に、映像復号化装置４０は加算処理を行う（Ｓ５０）。具体的には、加算部５６が、基本レイヤ復号部４４が拡張レイヤ復号化部４８に入力した基本レイヤ復号化画像と、逆ＤＣＴ部５４から入力された差分復号化画像を加算して拡張レイヤ復号化画像を生成し、映像信号出力部５８に出力する。

次に、映像復号化装置４０は映像信号出力処理を行う（Ｓ５２）。具体的には、映像信号出力部５８が、基本レイヤ復号化部４４から入力された基本レイヤ復号化画像と、拡張レイヤ復号化部４８から入力された拡張レイヤ復号化画像を映像復号化装置４０の外部に出力する。基本レイヤ復号化画像か拡張レイヤ復号化画像のどちらか一方のみ出力してもよい。

次に、映像復号化装置４０は、終了判定処理を行う（Ｓ５４）。具体的には、基本レイヤ入力部４２が外部から基本レイヤストリームの入力の有無を判定し、基本レイヤストリームの入力がなければ処理を終了し、そうでなければストリーム入力処理（Ｓ４０）に戻る。以上、本発明の第２の実施の形態の映像復号化装置４０について説明した。

第２の実施の形態によれば、映像復号化装置４０は、復号化中のビットより上位のビットプレーンのＭＳＢの状態を用いて、符号化ビットの零ラン長、値が「１」である確率、あるいはビットプレーン終了信号がＯＮである確率を予測することによって、予測をもとにしてハフマン復号化に用いるハフマンテーブルを入れ替えて、復号化情報を復号化するための符号量を少なくすることができ、画像の画質を向上することが可能である。

また、第２の実施の形態によれば、映像復号化装置４０は、復号化情報の状態を同じブロックに属する上位ビットプレーンから予測することにより、ブロック間の独立性が保たれ、復号化を行うユーザの注目するブロックのみを復号化し復号化の処理負荷を軽くすることが可能で、また、注目するブロックに該当する映像ストリームのみを伝送することによりビットレートを節約することも可能である。

なお、上記した第２の実施の形態では、復号化方式としてハフマン復号化を用いる例について説明したが、符号化データが算術符号化によって生成されている場合には、可変長復号化部６０は算術復号化を行う。この場合、予測したビットの状態に基づいて、算術復号化に用いるシンボルの出現確率を変更して、算術復号化を行う。

（第３の実施の形態）
第３の実施の形態では、スケーラブル映像符号化において、先に符号化した基本レイヤの情報を用いて拡張レイヤの状態を予測して符号化を行う映像符号化装置について説明する。すなわち、先に符号化して基本レイヤの映像ストリームに格納した情報に基づいて拡張レイヤの状態をあらわす状態予測パラメータを生成し、その状態予測パラメータに基づいて符号化情報を符号化する。

図１０は、本発明の第３の実施の形態に係る映像符号化装置７０の構成を示すブロック図である。図１０において、映像符号化装置７０は、映像信号入力部７２、基本レイヤ符号化部７４、基本レイヤ出力部７６、拡張レイヤ符号化部７８、拡張レイヤ出力部９０を有する。拡張レイヤ符号化部７８は、差分部８０、ＤＣＴ部８２、スキャン部８４、階層符号化部８６、状態予測部８８を有する。第３の実施の形態の映像符号化装置７０の構成は第１の実施の形態の映像符号化装置１０と基本的には同じであるが、第３の実施の形態では階層符号化部８６と状態予測部８８の機能が第１の実施の形態と異なる。

映像信号入力部７２は、映像符号化装置７０の外部から映像を１フレームずつ原画像として入力し、基本レイヤ符号化部７４と拡張レイヤ符号化部７８に出力する。また、映像符号化装置７０の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了する。

基本レイヤ符号化部７４は、映像信号入力部７２から入力された原画像を符号化して基本レイヤストリームを生成し、基本レイヤ出力部７６に出力する。また、基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ符号化部７８に出力する。

基本レイヤ出力部７６は、基本レイヤ符号化部７４から入力された基本レイヤストリームを映像符号化装置７０の外部に出力する。

拡張レイヤ出力部９０は、拡張レイヤ符号化部７８から入力された拡張レイヤストリームを映像符号化装置７０の外部に出力する。

差分部８０は、映像信号入力部７２から入力された原画像と基本レイヤ符号化部７４から入力された基本レイヤ復号化画像との差分をとり差分画像を生成し、ＤＣＴ部８２に出力する。

ＤＣＴ部８２は、差分部８０から入力された差分画像を８×８画素ごとの領域であるブロックに分割し、ブロックごとにＤＣＴ変換を施してＤＣＴ係数を生成し、スキャン部８４に出力する。

スキャン部８４は、ＤＣＴ部８２から入力されたＤＣＴ係数を定められた順番でスキャンしてスキャン済ＤＣＴ係数を生成し、階層符号化部８６に出力する。

状態予測部９０は、基本レイヤ符号化部７４から入力された基本レイヤ復号化画像に基づいて状態予測パラメータを生成し、階層符号化部８６に出力する。

次に、以上のように構成された映像符号化装置７０の動作を説明する。

図１１は、第３の実施の形態の映像符号化装置７０の動作の一例を示すフローチャートである。なお、図３に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。

まず、映像符号化装置７０は、映像信号入力処理を行う（Ｓ７０）。具体的には、映像信号入力部７２が、映像符号化装置７０の外部から映像を１フレームずつ原画像として入力し、基本レイヤ符号化部７４と拡張レイヤ符号化部７８に出力する。

次に、映像符号化装置７０は、基本レイヤ符号化処理を行う（Ｓ７２）。具体的には、基本レイヤ符号化部７４が、映像信号入力部７２から入力された原画像を符号化して基本レイヤストリームを生成し、基本レイヤ出力部７６に出力する。また、基本レイヤ符号化部７４が、基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ符号化部７８に出力する。ここで、基本レイヤの符号化方法は第１の実施の形態と同様にＭＰＥＧ−４ ＡＶＣなど既存の方法を用いることとする。

次に、映像符号化装置７０は差分処理を行う（Ｓ７４）。具体的には、差分部８０が、映像信号入力部７２から入力された原画像と基本レイヤ符号化部７４から入力された基本レイヤ復号化画像との差分をとり差分画像を生成し、ＤＣＴ部８２に出力する。

次に、映像符号化装置７０は、状態予測処理を行う（Ｓ７６）。具体的には、状態予測部８８が、基本レイヤ符号化部７４から入力された基本レイヤ復号化画像に基づいて状態予測パラメータを生成し、階層符号化部８６に出力する。

状態予測部８８の予測では、ＤＣＴ部８２の処理ブロックにあわせて基本レイヤ復号化画像をブロックに分割し、ブロックごとに特性を調べて対応する拡張レイヤのブロックのＤＣＴ係数の状態を予測する。ここで、ブロックの特性とは、ブロックを基本レイヤストリームとして符号化した際の符号量や、そのブロックの基本レイヤ復号化画像に含まれるエッジの量である。ブロックが含むエッジが多いと符号量も多くなる。エッジの量は、公知のＲｏｂｅｒｔｓフィルタやＳｏｂｅｌフィルタ、ＤＣＴ変換してＤＣＴ係数の絶対和を用いるなどして計算する。また、ブロックの拡張レイヤの状態とは、差分映像の対応するブロックが含むエッジの量である。差分映像のあるブロックにエッジが多いと、ＤＣＴ変換などの直交変換を行った際に高周波に大きい絶対値を持つ係数が現れる。従って、状態予測部８８は、基本レイヤ復号化画像のあるブロックがエッジを多く含んでいればいるほど、拡張レイヤのＤＣＴ係数は高周波に大きい値を含むと予測する。拡張レイヤのＤＣＴ係数の高周波係数への偏りを状態予測パラメータとする。

次に、映像符号化装置７０はＤＣＴ処理を行う（Ｓ７８）。具体的には、ＤＣＴ部８２が、差分部８０から入力された差分画像を８×８画素ごとの領域であるブロックに分割し、ブロックごとにＤＣＴ変換を施してＤＣＴ係数を生成し、スキャン部８４に出力する。

次に、映像符号化装置７０はスキャン処理を行う（Ｓ８０）。具体的には、スキャン部８４が、ＤＣＴ部８２から入力されたＤＣＴ係数を定められた順番でスキャンしてスキャン済ＤＣＴ係数を生成し、階層符号化部８６に出力する。

次に、映像符号化装置７０は、階層符号化処理を行う（Ｓ８２）。具体的には、階層符号化部８６が、状態予測部８８から入力された状態予測パラメータを用いて、スキャン部８４から入力されたスキャン済ＤＣＴ係数を符号化し、符号化によって生成された拡張レイヤストリームを拡張レイヤ出力部９０に出力する。

階層符号化部８６による符号化では、ブロックごとのスキャン済ＤＣＴ係数をビットプレーンごとに零ラン長符号化して零ラン長とビットプレーン終了信号の組み合わせを生成し、状態予測パラメータを用いて可変長符号化を行う。

ここで、階層符号化部８６が可変長符号化としてハフマン符号化を行う場合を考える。状態予測部８８がＤＣＴ係数の高周波への偏りが大きいと予測したとき、偏りが小さいと予測したときに比べ、ビットプレーン終了信号がＯＮである「１」のビットはスキャンの後ろに出現する可能性が高い。よって、階層符号化部８６は、偏りが大きいと予測されたブロックに属する組み合わせを符号化する場合、零ランを開始するビットのスキャン座標が大きければ大きいほど、ビットプレーン終了信号がＯＮである組み合わせに短い符号を割り当てたハフマンテーブルを選択する。逆に、階層符号化部８６は、偏りが小さいと予測されたブロックに属する組み合わせを符号化する場合、零ランを開始するビットのスキャン座標が小さい場合にも、ビットプレーン終了信号がＯＮである組み合わせに短い符号を割り当てたハフマンテーブルを選択する。

また、ＤＣＴ係数の高周波への偏りが大きいと予測したとき、小さいと予測するときに比べ、低いビット位以上のビットプレーンにおいてＭＳＢが出現している可能性が高い。よって、偏りが大きいと予測されたブロックに属する組み合わせを符号化する場合、零ラン長の短い組み合わせに短い符号を割り当てたハフマンテーブルを選択して、ハフマン符号化する。逆に、偏りが小さいと予測されたブロックに属する組み合わせを符号化する場合、零ラン長の長い組み合わせに短い符号を割り当てたハフマンテーブルを選択して、ハフマン符号化する。

また、ＤＣＴ係数の高周波への偏りが大きいと予測したとき、階層符号化部８６は、スキャン座標の大きい符号化情報が「１」である出現確率を高くして、算術符号化を行う。

次に、映像符号化装置７０は、ストリーム出力処理を行う（Ｓ８４）。具体的には、基本レイヤ出力部７６が、基本レイヤ符号化部７４から入力された基本レイヤストリームを映像符号化装置７０の外部に出力する。また、拡張レイヤ出力部９０が、拡張レイヤ符号化部７８から入力された拡張レイヤストリームを映像符号化装置７０の外部に出力する。

次に、映像符号化装置７０は、終了判定処理（Ｓ８６）を行う。具体的には、映像信号入力部７２が、映像符号化装置７０の外部から入力する映像の有無を判定し、映像の入力がなければ処理を終了し、そうでなければ映像信号入力処理（Ｓ７０）の処理に戻る。以上、第３の実施の形態の映像符号化装置７０について説明した。

第３の実施の形態によれば、映像符号化装置７０は、拡張レイヤの符号化情報に対して、基本レイヤのエッジの状態から、零ラン長や「１」である確率、ビットプレーン終了信号がＯＮである確率を予測し、予測をもとにしてハフマン符号化に用いるハフマンテーブルを入れ替え、可変長符号化の符号化効率を向上することが可能である。

上記した第３の実施の形態では、可変長符号化としてハフマン符号化を行う例について説明したが、可変長符号化として算術符号化を行ってもよい。この場合、状態予測部８８は、以下のように状態予測を行う。すなわち、ＤＣＴ係数の高周波への偏りが大きいと予測したとき、階層符号化部８６は、ビットのスキャン座標が大きければ大きいほど、ビットプレーン終了信号がＯＮである出現確率を高くして、算術符号化を行う。逆に、状態予測部８８がＤＣＴ係数の高周波への偏りが小さいと予測したとき、ビットのスキャン座標が小さい場合にも、ビットプレーン終了信号がＯＮである出現確率を高くして、算術符号化を行う。

また、上記した第３の実施の形態では、階層符号化方式において、基本レイヤに基づいて拡張レイヤの状態を予測する例について説明したが、他の画像情報に基づいて状態予測を行ってもよい。ＭＰＥＧ符号化などに用いる動き予測補償符号化は、原画像を幾つかの領域に分割し、符号化する領域ごとに前後の復号化画像から参照領域を探索して、参照領域と符号化する領域との差分を可変長符号化する。この動き予測補償符号化方式における参照フレームに基づいて後のフレームとの差分画像の状態を予測することもできる。本発明を動き予測補償符号化に適用する場合には、第３の実施の形態における基本レイヤに代えて参照フレームを用い、拡張レイヤに代えて差分画像を用いることにより、参照フレームから予測した状態に基づいて差分画像を効率良く符号化できる。

（第４の実施の形態）
第４の実施の形態では、先に復号化した基本レイヤの情報である復号化済情報に基づいて拡張レイヤの状態をあらわす状態予測パラメータを予測し、その状態予測パラメータに基づいて復号化を行う映像復号化装置について説明する。第４の実施の形態では、第３の実施の形態の映像符号化装置７０で生成した映像ストリームを復号化する映像復号化装置について説明を行う。

図１２は、本発明の第４の実施の形態に係る映像復号化装置１００の構成を示すブロック図である。図１２において、映像復号化装置１００は、基本レイヤ入力部１０２、基本レイヤ復号化部１０４、拡張レイヤ入力部１０６，拡張レイヤ復号化部１０８、映像信号出力部１２０を有する。拡張レイヤ復号化部１０８は、階層復号化部１１０、逆スキャン部１１２、逆ＤＣＴ部１１４、加算部１１６、状態予測部１１８を有する。第４の実施の形態の映像復号化装置１００の構成は、第２の実施の形態の映像復号化装置と基本的な構成は同じであるが、第４の実施の形態は階層復号化部１１０と状態予測部１１８の機能が異なる。

基本レイヤ入力部１０２は、映像復号化装置１００の外部から基本レイヤストリームを入力し、基本レイヤ復号化部１０４に出力する。また、外部から基本レイヤストリームの入力の有無を判定し、基本レイヤストリームの入力がなければ処理を終了する。

基本レイヤ復号化部１０４は、基本レイヤ入力部１０２から入力された基本レイヤストリームを復号化し基本レイヤ復号化画像を生成し、拡張レイヤ復号化部１０８と映像信号出力部１２０に出力する。

拡張レイヤ入力部１０６は、映像復号化装置１００の外部から拡張レイヤストリームを入力し、拡張レイヤ復号化部１０８に出力する。

映像信号出力部１２０は、基本レイヤ復号化部１０４から入力された基本レイヤ復号化画像と、拡張レイヤ復号化部１０８から入力された拡張レイヤ復号化画像を映像復号化装置１００の外部に出力する。

階層復号化部１１０は、状態予測部１１８から入力された状態予測パラメータを用いて、拡張レイヤ入力部１０６から入力された拡張レイヤストリームを復号化してスキャン済ＤＣＴ係数を生成し、逆スキャン部１１２に出力する。

逆スキャン部１１２は、階層復号化部１１２から入力されたスキャン済ＤＣＴ係数を定められた順番に並べ替える逆スキャンを行ってＤＣＴ係数を生成し、逆ＤＣＴ部１１４に出力する。

逆ＤＣＴ部１１４は、逆スキャン部１１２から入力されたＤＣＴ係数を領域ごとに逆ＤＣＴを施し領域を合成して差分復号化画像を生成し、加算部１１６に出力する。

加算部１１６は、基本レイヤ復号部１０４から入力された基本レイヤ復号化画像と、逆ＤＣＴ部１１４から入力された差分復号化画像とを加算して拡張レイヤ復号化画像を生成し、映像信号出力部１２０に出力する。

状態予測部１１８は、基本レイヤ復号化部１０４から拡張レイヤ復号化部１０８に入力された基本レイヤ復号化画像に基づいて状態予測パラメータを生成し、階層復号化部１１６に出力する。

次に、以上のように構成された映像復号化装置１００の動作を説明する。

図１３は、図１２に示す第４の実施の形態の映像復号化装置１００の動作の一例を表すフローチャートである。なお、図１３に示すフローチャートは、図示しない記憶装置（例えばＲＯＭやフラッシュメモリなど）に格納された制御プログラムを、同じく図示しないＣＰＵが実行することにより、プログラムの実行によりソフトウエア的に実行されるようにすることも可能である。

まず、映像復号化装置１００はストリーム入力処理を行う（Ｓ９０）。具体的には、基本レイヤ入力部１０２が、映像復号化装置１００の外部から基本レイヤストリームを入力し、基本レイヤ復号化部１０４に出力する。また、拡張レイヤ入力部１０６が、映像復号化装置１００の外部から拡張レイヤストリームを入力し、拡張レイヤ復号化部１０８に出力する。

次に、映像復号化装置１００は基本レイヤ復号化処理を行う（Ｓ９２）。具体的には、基本レイヤ復号化部１０４が、基本レイヤ入力部１０２から入力された基本レイヤストリームを復号化して基本レイヤ復号化画像を生成し、拡張レイヤ復号化部１０８と映像信号出力部１２０に出力する。

次に、映像復号化装置１００は状態予測処理を行う（Ｓ９４）。具体的には、状態予測部１１８が、基本レイヤ復号化部１０４から入力された基本レイヤ復号化画像から状態予測パラメータを生成し、階層復号化部１１６に出力する。状態予測部１１８の予測では、逆ＤＣＴ部１１２が合成する領域にあわせて基本レイヤ復号化画像を分割し、分割された領域ごとに特性を調べて、対応する拡張レイヤの領域のＤＣＴ係数の状態を予測する。ここで、状態予測部１１８が行う予測は、第３の実施の形態で行った予測と同じである。

次に、映像復号化装置１００は階層復号化処理を行う（Ｓ９６）。具体的には、階層復号化部１１０が、状態予測部１１８から入力された状態予測パラメータを用いて、拡張レイヤ入力部１０６から入力された拡張レイヤストリームを復号化してスキャン済ＤＣＴ係数を生成し、逆スキャン部１１２に出力する。階層復号化部８６の復号化では、状態予測パラメータを用いて可変長復号化を行い、各領域のビットプレーンごとの零ラン長とビットプレーン終了信号の組み合わせを生成し、それを零ラン長復号化することによってスキャン済ＤＣＴ係数を生成する。ここで、階層復号化部１１０は、状態予測パラメータに基づいて、ハフマンテーブルを選択し、選択されたハフマンテーブルを用いて復号化を行う。

次に、映像復号化装置１００は逆スキャン処理を行う（Ｓ９８）。具体的には、逆スキャン部１１２が、階層復号化部１１２から入力されたスキャン済ＤＣＴ係数を定められた順番に並べ替える逆スキャンを行ってＤＣＴ係数を生成し、逆ＤＣＴ部１１４に出力する。

次に、映像復号化装置１００は逆ＤＣＴ処理を行う（Ｓ１００）。具体的には、逆ＤＣＴ部１１４が、逆スキャン部１１２から入力されたＤＣＴ係数を領域ごとに逆ＤＣＴを施し、領域を合成して差分復号化画像を生成し、加算部１１６に出力する。

次に、映像復号化装置１００は加算処理を行う（Ｓ１１２）。具体的には、加算部１１６が、基本レイヤ復号部１０４が拡張レイヤ復号化部１０８に入力した基本レイヤ復号化画像と、逆ＤＣＴ部１１４から入力された差分復号化画像を加算して拡張レイヤ復号化画像を生成し、映像信号出力部１２０に出力する。

次に、映像復号化装置１００は映像信号出力処理を行う（Ｓ１１４）。具体的には、映像信号出力部１２０が、基本レイヤ復号化部１０４から入力された基本レイヤ復号化画像と、拡張レイヤ復号化部１０８から入力された拡張レイヤ復号化画像を映像復号化装置１００の外部に出力する。基本レイヤ復号化画像か拡張レイヤ復号化画像のどちらか一方のみ出力してもよい。

次に、映像復号化装置１００は終了判定処理を行う（Ｓ１１６）。具体的には、基本レイヤ入力部１０２が外部から基本レイヤストリームの入力の有無を判定し、基本レイヤストリームの入力がなければ処理を終了し、そうでなければストリーム入力処理（Ｓ９０）に戻る。以上、本発明の第４の実施の形態の映像復号化装置１００について説明した。

第４の実施の形態によれば、映像復号化装置１００は、拡張レイヤの復号化情報に対して、基本レイヤのエッジの状態から、零ラン長や「１」である確率を予測し、また、ビットプレーン終了信号がＯＮである確率を予測することによって、予測をもとにしてハフマン復号化に用いるハフマンテーブルを入れ替え、復号化情報を復号化するための符号量を少なくすることができ、画像の画質を向上することが可能である。

上記した第４の実施の形態では、ハフマン復号化を行う例について説明したが、階層復号化部１１０は、算術復号化を行ってもよい。この場合、予測した拡張レイヤの状態に応じて、算術復号化に用いるシンボルの出現確率を変えて復号化を行う。

また、上記した第４の実施の形態では、基本レイヤから拡張レイヤの状態を予測し、予測した状態に基づいて拡張レイヤの復号化を行う例について説明したが、動き予測補償復号化を行う場合には、参照画像に基づいて状態を予測してもよい。本発明を動き予測補償符号化に適用する場合には、第４の実施の形態における基本レイヤに代えて参照フレームを用い、拡張レイヤに代えて差分画像を用いることにより、参照フレームから予測した状態に基づいて差分画像を復号化できる。

以上説明したように、本発明は、先に符号化された変換係数に関する情報に基づいて後に符号化されるビットの状態、すなわち後に符号化されるビットにおける「１」と「０」の出現確率を予測することによって、効率の良い符号化を行うことができるというすぐれた効果を有し、映像を符号化する映像符号化装置等として有用であり、特に通信速度の変動するネットワークを介して映像ストリームの量を動的に変化させながら映像を送受信するシステムの映像符号化方式等に有用である。

本発明の第１の実施の形態の階層符号化部の構成を示す図 本発明の第１の実施の形態の映像符号化装置の構成を示す図 本発明の第１の実施の形態の映像符号化装置の動作を示すフローチャート 本発明の第１の実施の形態の映像符号化装置の階層符号化処理の動作を示すフローチャート 本発明の状態予測についての説明図 本発明の第２の実施の形態の映像復号化装置の構成を示す図 本発明の第２の実施の形態の階層復号化部の構成を示す図 本発明の第２の実施の形態の映像復号化装置の動作を示すフローチャート 本発明の第２の実施の形態の映像復号化装置の階層復号化処理の動作を示すフローチャート 本発明の第３の実施の形態の映像符号化装置の構成を示す図 本発明の第３の実施の形態の映像符号化装置の動作を示すフローチャート 本発明の第４の実施の形態の映像復号化装置の構成を示す図 本発明の第４の実施の形態の映像復号化装置の動作を示すフローチャート ＭＰＥＧ−４ ＦＧＳの映像符号化装置の構成を示す図 ＭＰＥＧ−４ ＦＧＳの映像復号化装置の構成を示す図 （ａ）ＤＣＴ係数のスキャンについての説明図 （ｂ）ＤＣＴ係数のビットプレーンについての説明図 ビットプレーン符号化についての説明図 従来の階層符号化部の構成を示す図

符号の説明

１０ 映像符号化装置
１２ 映像信号入力部
１４ 基本レイヤ符号化部
１６ 基本レイヤ出力部
１８ 拡張レイヤ符号化部
２０ 差分部
２２ ＤＣＴ部
２４ スキャン部
２６ 階層符号化部
２８ 拡張レイヤ出力部
３０ 零ラン長符号化部
３２ 可変長符号化部
３４ 状態予測部
４０ 映像復号化装置
４２ 基本レイヤ入力部
４４ 基本レイヤ復号化部
４６ 拡張レイヤ入力部
４８ 拡張レイヤ復号化部
５０ 階層復号化部
５２ 逆スキャン部
５４ 逆ＤＣＴ部
５６ 加算部
５８ 映像信号出力部
６０ 可変長復号化部
６２ 零ラン長復号化部
６４ 状態予測部
７０ 映像符号化装置
７２ 映像信号入力部
７４ 基本レイヤ符号化部
７６ 基本レイヤ出力部
７８ 階層レイヤ符号化部
８０ 差分部
８２ ＤＣＴ部
８４ スキャン部
８６ 階層復号化部
８８ 状態予測部
９０ 拡張レイヤ出力部
１００ 映像復号化装置
１０２ 基本レイヤ入力部
１０４ 基本レイヤ復号化部
１０６ 拡張レイヤ入力部
１０８ 拡張レイヤ復号化部
１１０ 階層復号化部
１１２ 逆スキャン部
１１４ 逆ＤＣＴ部
１１６ 加算部
１１８ 状態予測部
１２０ 映像信号出力部

Claims (36)

1. 映像を周波数変換して周波数成分を表す変換係数を生成する変換係数生成手段と、
   前記変換係数生成手段にて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化するビットプレーン符号化手段と、
   先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測手段と、
   を備え、
   前記ビットプレーン符号化手段は、前記状態予測手段によって予測されたビットの状態に応じて符号化を行う映像符号化装置。
2. 前記状態予測手段は、上位のビットプレーンの情報に基づいて、下位のビットプレーンのビットの状態を予測する請求項１に記載の映像符号化装置。
3. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、ビットの状態「１」が現れた変換係数の個数に応じてビットの状態を予測する請求項２に記載の映像符号化装置。
4. 前記状態予測手段は、予測対象のビットの変換係数において上位ビットにビットの状態「１」が現れたか否かに基づいて、ビットの状態を予測する請求項２に記載の映像符号化装置。
5. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいてビットの状態「１」が現れた変換係数のうちで、予測対象のビットの変換係数よりも符号化順序が後方に位置し、かつ、最も近い変換係数までの距離に基づいて、ビットの状態を予測する請求項２に記載の映像符号化装置。
6. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、符号化順序が最も後方の位置でビットの状態「１」が現れた変換係数に基づいて、ビットの状態を予測する請求項２に記載の映像符号化装置。
7. 前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、符号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、
   前記ビットプレーン符号化手段は、前記確率に基づいて、零ラン長符号化を行う請求項２に記載の映像符号化装置。
8. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、あらかじめ定められた順番以降の符号化順序の変換係数にビットの状態「１」を含むか否かを判定し、ビットの状態「１」を含まないとの判定に応じて、予測対象のビットの状態が「１」であり、かつ、符号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、
   前記ビットプレーン符号化手段は、前記確率に基づいて、零ラン長符号化を行う請求項２に記載の映像符号化装置。
9. 前記状態予測手段は、予測対象のビットを含む零ラン長を予測し、
   前記ビットプレーン符号化手段は、前記状態予測手段にて予測された零ラン長に基づいて選択したハフマンテーブルを用いてハフマン符号化を行う請求項２に記載の映像符号化装置。
10. 前記状態予測手段は、ビットの状態「０」が連続して出現する確率があらかじめ設定された閾値を下回る箇所までのゼロの個数を零ラン長として求める請求項９に記載の映像符号化装置。
11. 前記状態予測手段は、予測対象のビットの状態が「１」又は「０」である確率を予測し、
    前記ビットプレーン符号化手段は、前記状態予測手段にて予測された前記確率に基づいて決定したシンボルの生起確率を用いて、算術符号化を行う請求項２に記載の映像符号化装置。
12. 前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、符号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、
    前記ビットプレーン符号化手段は、前記状態予測手段にて予測された前記確率に基づいて決定したシンボルの生起確率を用いて、算術符号化を行う請求項２に記載の映像符号化装置。
13. 映像を単独で復号化可能な基本レイヤと基本レイヤの映像品質を向上させる拡張レイヤとに階層符号化する映像符号化装置であり、
    前記状態予測手段は、前記基本レイヤの情報に基づいて、前記拡張レイヤの変換係数のビットの状態を予測し、
    前記ビットプレーン符号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記拡張レイヤの変換係数を符号化する請求項１に記載の映像符号化装置。
14. 前記状態予測手段は、前記基本レイヤに含まれるエッジの情報または前記基本レイヤの符号化量に基づいて、前記拡張レイヤの変換係数のビットの状態を予測する請求項１３に記載の映像符号化装置。
15. 前記状態予測手段は、映像を構成するフレームの変換係数のビットの状態を、動き予測補償符号化に用いる参照フレームの情報に基づいて予測し、
    前記ビットプレーン符号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記フレームの変換係数を符号化する請求項１に記載の映像符号化装置。
16. 前記状態予測手段は、前記参照フレームに含まれるエッジの情報または前記参照フレームの符号化量に基づいて、前記フレームの変換係数のビットの状態を予測する請求項１５に記載の映像符号化装置。
17. ビットプレーン符号化された映像の符号化データを上位ビットプレーンから順に復号化するビットプレーン復号化手段と、
    先に復号化された変換係数に関する情報に基づいて、後に復号化される変換係数のビットの状態を予測する状態予測手段と、
    を備え、
    前記ビットプレーン復号化手段は、前記状態予測手段によって予測されたビットの状態に応じて復号化を行う映像復号化装置。
18. 前記状態予測手段は、上位のビットプレーンの情報に基づいて、下位のビットプレーンのビットの状態を予測する請求項１７に記載の映像復号化装置。
19. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、ビットの状態「１」が現れた変換係数の個数に応じてビットの状態を予測する請求項１８に記載の映像復号化装置。
20. 前記状態予測手段は、予測対象のビットの変換係数において上位ビットにビットの状態「１」が現れたか否かに基づいて、ビットの状態を予測する請求項１８に記載の映像復号化装置。
21. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいてビットの状態「１」が現れた変換係数のうちで、予測対象のビットの変換係数よりも復号化順序が後方に位置し、かつ最も近い変換係数までの距離に基づいて、ビットの状態を予測する請求項１８に記載の映像復号化装置。
22. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、復号化順序が最も後方の位置でビットの状態「１」が現れた変換係数に基づいて、ビットの状態を予測する請求項１８に記載の映像復号化装置。
23. 前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、復号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、
    前記ビットプレーン復号化手段は、前記確率に基づいて、零ラン長復号化を行う請求項１８に記載の映像復号化装置。
24. 前記状態予測手段は、予測対象のビットより上位のビットプレーンにおいて、あらかじめ定められた順番以降の復号化順序の変換係数にビットの状態「１」を含むか否かを判定し、ビットの状態「１」を含まないとの判定に応じて、予測対象のビットの状態が「１」であり、かつ、復号化順序が後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、
    前記ビットプレーン復号化手段は、前記確率に基づいて、零ラン長復号化を行う請求項１８に記載の映像復号化装置。
25. 前記状態予測手段は、予測対象のビットを含む零ラン長を予測し、
    前記ビットプレーン復号化手段は、前記状態予測手段にて予測された零ラン長に基づいて選択したハフマンテーブルを用いてハフマン復号化を行う請求項１８に記載の映像復号化装置。
26. 前記状態予測手段は、ビットの状態「０」が連続して出現する確率があらかじめ設定された閾値を下回る箇所までのゼロの個数を零ラン長として求める請求項２５に記載の映像復号化装置。
27. 前記状態予測手段は、予測対象のビットの状態が、「１」又は「０」である確率を予測し、
    前記ビットプレーン復号化手段は、前記状態予測手段にて予測された前記確率に基づいて決定したシンボルの生起確率を用いて、算術復号化を行う請求項１８に記載の映像復号化装置。
28. 前記状態予測手段は、予測対象のビットの状態が「１」であり、かつ、復号化順序が、後方に位置する変換係数の同じビットプレーンに属する全てのビットの状態が「０」である確率を予測し、
    前記ビットプレーン復号化手段は、前記状態予測手段にて予測された零ラン長に基づいて決定したシンボルの生起確率を用いて、算術復号化を行う請求項１８に記載の映像復号化装置。
29. 前記状態予測手段は、復号化された基本レイヤの情報に基づいて、基本レイヤの映像品質を向上させる拡張レイヤの変換係数のビットの状態を予測し、
    前記ビットプレーン復号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記拡張レイヤの変換係数を復号化する請求項１７に記載の映像復号化装置。
30. 前記状態予測手段は、前記基本レイヤに含まれるエッジの情報または前記基本レイヤの符号化量に基づいて、前記拡張レイヤの変換係数のビットの状態を予測する請求項２９に記載の映像復号化装置。
31. 前記状態予測手段は、映像を構成するフレームの変換係数のビットの状態を、動き予測補償符号化に用いる参照フレームの情報に基づいて予測し、
    前記ビットプレーン復号化手段は、前記状態予測手段によって予測されたビットの状態に応じて前記フレームの変換係数を復号化する請求項１７に記載の映像復号化装置。
32. 前記状態予測手段は、前記参照フレームに含まれるエッジの情報または前記参照フレームの符号化量に基づいて、前記フレームのビットの状態を予測する請求項３１に記載の映像復号化装置。
33. 映像を周波数変換して周波数成分を表す変換係数を生成する変換係数生成ステップと、
    前記変換係数生成ステップにおいて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化するビットプレーン符号化ステップと、
    先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測ステップと、
    を備え、
    前記ビットプレーン符号化ステップは、前記状態予測ステップにおいて予測されたビットの状態に応じて符号化を行う映像符号化方法。
34. ビットプレーン符号化された映像の符号化データを上位ビットプレーンから順に復号化するビットプレーン復号化ステップと、
    先に復号化された変換係数に関する情報に基づいて、後に復号化される変換係数のビットの状態を予測する状態予測ステップと、
    を備え、
    前記ビットプレーン復号化ステップは、前記状態予測手段によって予測されたビットの状態に応じて復号化を行う映像復号化方法。
35. 映像を符号化するためにコンピュータに、
    映像を周波数変換して周波数成分を表す変換係数を生成する変換係数生成ステップと、
    前記変換係数生成ステップにおいて生成された変換係数を２進数に変換し、複数の変換係数の同じ位のビットからなるビットプレーンを最上位ビットから最下位ビットに至るまで生成し、上位ビットプレーンから順に符号化するビットプレーン符号化ステップと、
    先に符号化された変換係数に関する情報に基づいて、後に符号化される変換係数のビットの状態を予測する状態予測ステップと、
    を実行させ、
    前記ビットプレーン符号化ステップは、前記状態予測ステップにおいて予測されたビットの状態に応じて符号化を行うプログラム。
36. ビットプレーン符号化された映像の符号化データを復号化するために、コンピュータに、
    上位ビットプレーンから順に復号化するビットプレーン復号化ステップと、
    先に復号化された変換係数に関する情報に基づいて、後に復号化される変換係数のビットの状態を予測する状態予測ステップと、
    を実行させ、
    前記ビットプレーン復号化ステップは、前記状態予測手段によって予測されたビットの状態に応じて復号化を行うプログラム。

Images