JP2005295504A - 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】複数の周波数成分のサブバンドに変換する動画像符号化において、高いスケーラビリティを維持しつつ、誤差が次第に累積されることがない技術を提供する。
【解決手段】 入力した画像データは、離散ウェーブレット変換部１０１で周波数成分の異なる複数のサブバンドに分解される。そして、ＬＬサブバンドの下位の所定ビットとＬＬサブバンド以外のサブバンドは下位ビットプレーン符号化部１０９にてビットプレーン単位の符号化が行われる。また、ＬＬサブバンドの上位ビットのデータは、フレームメモリ１０５に格納され、前フレームのＬＬサブバンドの復号データに基づき予測値と動きベクトルを検出し、検出された予測値と現フレームとの差分を減算器１０３にて求め、差分結果を係数符号化部１０４で符号化し、動きベクトルは動きベクトル符号化部１０８で符号化する。
【選択図】 図１

Description

本発明は、動画像の圧縮符号化技術並びに復号技術に関するものである。

近年、ネットワークを介して流れるコンテンツは文字情報から静止画像情報、さらには動画像情報と大容量化、多様化している。これに合わせて、情報量を圧縮する符号化技術の開発も進み、開発された符号化技術は国際標準化によって広く普及するようになった。

一方で、ネットワーク自体も大容量化、多様化が進んでおり、1つのコンテンツが送信側から受信側に届くまでに様々な環境を通過することになった。また、送信／受信側機器の処理性能も多様化している。送受信機器の主として用いられるパーソナルコンピュータ等の汎用情報処理装置（以下、ＰＣ）ではＣＰＵ性能、グラフィクス性能など、大幅な性能向上が進む一方、ＰＤＡ、携帯電話機、ＴＶ，ハードディスクレコーダなど、処理性能の異なる様々な機器がネットワーク接続機能を持つようになってきている。このため、１つのデータで、変化する通信回線容量や受信側機器の処理性能に対応できるスケーラビリティという機能が注目されている。

このスケーラビリティ機能を持つ静止画像符号化方式としてＪＰＥＧ２０００符号化方式が広く知られている（非特許文献１）。その特徴は入力された画像データに対して離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅａｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を施して複数周波数帯に分離し、それらの係数を量子化してビットプレーン毎に算術符号化するというものである。ビットプレーンを必要な数だけ符号化したり、復号したりすることで、きめの細かい階層の制御を可能にしている。

また、ＪＰＥＧ２０００符号化方式では、従来の符号化技術には無い、画像の中で興味がある領域の画質を相対的に向上させるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）といった技術も実現している。

図２０にＪＰＥＧ２０００符号化方式の符号化手順を示す。タイル分割部９００１は入力画像を複数の領域（タイル）に分割する（この機能はオプションであり、入力画像＝１タイルにしても構わない）。ＤＷＴ部９００２は離散ウェーブレット変換を行い、周波数帯に分離する。量子化部９００３で、各係数を量子化する（この機能はオプションである）。ＲＯＩ指定部９００７（オプション）では、興味のある領域を設定し、量子化部９００３でシフトアップを行う。エントロピー符号化９００４でＥＢＣＯＴ（Ｅｍｂｅｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）方式でエントロピー符号化を行い、符号化されたデータはビットプレーン切り捨て部９００５で必要に応じて下位のビットプレーンの符号化データを切り捨ててレート制御を行う。符号形成部９００６でヘッダ情報を付加し、種々のスケーラビリティの機能を選択して符号化データを出力する。

図２１にＪＰＥＧ２０００符号化方式の復号手順を示す。符号解析部９０２０はヘッダを解析し、階層を構成するための情報を得る。ビット切り捨て部９０２１は入力される符号化データを内部バッファの容量、復号処理能力に対応して、下位のビットを切り捨てる。エントロピー復号部９０２２はＥＢＣＯＴ符号化方式の符号化データを復号し、量子化されたウェーブレット変換係数を得る。逆量子化部９０２３はこれに逆量子化を施し、逆ＤＷＴは逆離散ウェーブレット変換を施して画像データを再生する。タイル合成部９０２５は複数のタイルを合成して画像データ再生する（ただし、１画面＝１タイルの場合には合成は不要となる）。

上記のＪＰＥＧ２０００符号化技術は、主として静止画符号化に適したものであるが、この技術を動画像の各フレームに対応させることで動画像の符号化する技術であるＭｏｔｉｏｎ ＪＰＥＧ２０００も勧告されている（非特許文献２）。この方法では、符号量は少なくできない、という問題を抱えている。

一方、最初から動画像圧縮を目的とする技術としてＭＰＥＧ符号化方法が知られている。この符号化技術ではフレーム間での動き補償を行い、符号化効率の改善を図っている（非特許文献３）。図２２にその符号化の構成を示す。ブロック分割部９０３１では、入力した画像から８×８画素サイズの複数のブロックに分割し、差分演算部９０３２で動き補償による予測データを引き、ＤＣＴ部９０３３で離散コサイン変換を行い、量子化部９０３４で量子化を行う。その結果はエントロピー符号化部９０３５で符号化され、符号形成部９０３６でヘッダ情報を付加して、符号化データを出力する。

同時の逆量子化部９０３７で逆量子化し、逆ＤＣＴ部９０３８で離散コサイン変換の逆変換を施し、加算部９０３９で予測データを加算してフレームメモリ９０４０に格納する。動き補償部９０４１は入力画像とフレームメモリ９０４０に格納されている参照フレームを参照して動きベクトルを求め、予測データを生成する。
ＩＳＯ／ＩＥＣ１５４４４−１（Information technology -- JPEG 2000 image coding system -- Part 1: Core coding system） ＩＳＯ／ＩＥＣ１５４４４−３（Information technology -- JPEG 2000 image coding system Part 3: Motion JPEG 2000） 「最新ＭＰＥＧ教科書」76ページ他 アスキー出版局1994年

ここで、前述のＭＰＥＧ符号化技術に、ＪＰＥＧ２０００のようなスケーラビリティを実現するようにビットプレーン符号化を行う方式に適用する場合を考察する。この場合、動き補償を行う際に参照した部分の情報がビットプレーン符号化の打ち切りによって失われると動き補償での誤差が累積し、画像の劣化を招くといった問題が生じる。かかる点をより詳しく説明する。

ＭＰＥＧ技術に、ＪＰＥＧ２０００の技術を適用する場合には、図２２のＤＣＴ部９０３３と逆ＤＣＴ部９０３８は、離散ウェーブレット変換部と逆離散ウェーブレット変換部に置換えられ、エントロピー符号化９０３５ではビットプレーン単位の符号化を行うことになろう。

符号化側の装置において、入力した符号化対象である注目フレームをＦ_i、その直前に入力したフレームをＦ_i-1と定義したとき、量子化部９０３４での量子化誤差を無視すれば、フレームメモリ９０４０に格納される直前のフレーム画像はＦ_i-1に等しい。従って、符号化する側での動き補償による符号化の誤差の問題は発生しない。

一方、復号化する側について考察する。復号化装置では、符号化装置と表裏の関係にあるので、当然、注目フレームＦ_iをデコードする際に、動き補償する際の参照する直前のフレームＦ_i-1を格納するフレームメモリを備えることになる。今、ＪＰＥＧ２０００のスケーラビリティを利用して、或るビットプレーンの符号化データを使用しないで復号する場合について考察する。

この場合、復号装置が有するフレームメモリに格納されることになる直前のフレームの画像をＦ'_i-1とすると、この画像Ｆ’_i-1は、フレーム画像Ｆ_i-1とは等しくはならない。なぜなら、復号処理において、利用しないビットプレーンの符号化データが存在するからである。

注目フレームの個々のブロックの符号化データは、直前のフレームＦ_i-1中の動きベクトルで示される位置のブロックとの差分に基づく符号化データである。にもかかわらず、直前のフレーム画像がＦi-1ではなく、Ｆ’_i-1となってしまうわけであるから、注目フレームＦｉも正しく復号できないことになる。この結果、注目フレームに後続する各フレームでも同様な問題が発生することになり、誤差が次第に累積されてしまい、意図した画像とはほど遠いものとなるのが理解できよう。

本願発明は、上記問題点に鑑みなされたものであり、離散ウェーブレット変換のような複数の周波数成分であるサブバンドに変換する技術を動画像符号化に用いながらも、高いスケーラビリティを維持しつつ、復号側で誤差が次第に累積されることがない技術を提供しようとするものである。

この課題を解決するため、本発明の、例えば動画像符号化装置は以下の構成を備える。すなわち、
動画像データを構成する時系列なフレームを符号化する動画像符号化装置であって、
フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
前記複数のサブバンドを第１のグループ及び第２のグループに分け、第１のグループに属するサブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出手段と、
前記第１のグループに属するサブバンドを構成する各周波数成分係数データの下位の所定ビット数のデータを抽出する第２の抽出手段と、
前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
該第２の抽出手段で抽出された各周波数成分係数データの下位所定ビット数のデータ及び前記第２グループに属するサブバンドの周波数成分係数データを非動き補償対象データとして符号化する第２の符号化手段と、
前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段とを備える。

本発明によれば、動画像を構成する各フレームをウェーブレット変換等の周波成分データの異なるサブバンドに分解する技術を用いながらも、フレーム間の冗長性を抑制し、且つ、復号装置側での処理性能等の状況に応じた復号処理にも耐えうる品位を維持した符号化データを生成することが可能になる。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。

＜第１の実施形態＞
図１は第１の実施形態における動画像符号化装置を示すブロック構成図である。図示において、１００は動画像データ入力部、１０１は離散ウェーブレット変換部、１０２はビットシフト部、１０３は減算器、１０４は係数符号化部、１０５はフレームメモリ、１０６は動き補償部、１０７は動きベクトル検出部、１０８は動きベクトル符号化部、１０９は下位ビットプレーン符号化部、１１０は矩形ブロック分割部、１１１は多重化部、１１２は符号化データ出力部である。

次に、図１に示される動画像符号化装置の各構成要素の動作について説明する。尚、動画像データ入力部１００の入力フレームレートは３０フレーム／秒であって、各フレームの画像は各画素の輝度値が８ビットのモノクロ動画像データであるとする。そして、このような動画像のデータを、４秒分（合計１２０フレーム）動画像符号化装置に取り込み、符号化するものとして説明する。上記は、実施形態の理解を容易にするためのものである点に注意されたい。

まず、動画像データ入力部１００から１秒あたり３０フレームであって、４秒分の動画像データ（＝１２０フレーム）が入力される。動画像データ入力部１００は、例えばディジタルカメラ等の撮像部分であって、ＣＣＤ等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路とによって実現することが可能である。場合によっては、ビデオカメラからの撮像映像をＡ／Ｄ変換した結果を入力するものとしてもよい。また、入力した動画像はＲＡＭ等の半導体メモリに記憶しても構わないが、容量単価の低いハードディスク等の大容量記憶装置に一時的に格納するようにしてもよい。

動画像データ入力部１００は、入力された動画像データを１フレームずつ離散ウェーブレット変換部１０１に送る。尚、以降の説明において、便宜上各フレームデータには、入力された順に１から番号を与えて、例えばフレームｆ１、フレームｆ２、…というような番号で各フレームを識別するようにする。また、各フレームにおける水平方向の画素位置（座標）をｘ、垂直方向の画素位置をｙとし、画素位置（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）で表す。実施形態では、１画素が８ビットとしているので、０≦Ｐ（ｘ，ｙ）≦２５５の値をとることになる。

動画像データ入力部１００から入力された１フレームの画像データは、離散ウェーブレット変換部１０１でそれぞれ不図示の内部バッファに適宜格納され、２次元離散ウェーブレット変換が行われる。２次元離散ウェーブレット変換は、１次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより実現するものである。図２は、１フレームの画像データに対して２次元離散ウェーブレット変換を施して４つのサブバンドを生成する処理を説明する図である。

図２（ａ）は符号化対象の１フレームの画像データを示す図である。同図に示されるような符号化対象画像に対して、まず垂直方向の１次元離散ウェーブレット変換フィルタを水平方向にずらしながら処理すると、図２（ｂ）に示されるように低周波サブバンドＬと高周波サブバンドＨとに分解できる。図２（ｂ）のそれぞれのサブバンドに対して水平方向の１次元離散ウェーブレット変換フィルタを垂直方向にずらしながら処理することで、図２（ｃ）に示されるような２次元離散ウェーブレット変換結果であるＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解できる。

本動画像符号化装置の離散ウェーブレット変換部１０１では、上述した２次元離散ウェーブレット変換により得られたサブバンドＬＬに対して、さらに同様の処理を繰り返し２次元離散ウェーブレット変換を適用する。これによって、符号化対象画像はＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２の７つのサブバンドに分解することができる。図３は、２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを示す図である。

尚、本動画像符号化装置では、各サブバンド内の係数をＣ（Ｓｂ，ｘ，ｙ）と表す。ここで、Ｓｂはサブバンドの種類を表し、ＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２のいずれかである。また、（ｘ，ｙ）は各サブバンド内の左上隅の係数位置を（０，０）としたときの水平方向及び垂直方向の係数位置（座標）を表す。

ここで、離散ウェーブレット変換部１０１におけるＮ個の１次元信号ｘ（ｎ）（但し、ｎは０〜Ｎ−１の整数）に対する１次元離散ウェーブレット変換には、式（１）、（２）に示す整数型５×３フィルタを用いる。

ｈ（ｎ）＝ｘ（２ｎ＋１）
−ｆｌｏｏｒ｛（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２｝ （１）
ｌ（ｎ）＝ｘ（２ｎ）
＋ｆｌｏｏｒ｛（ｈ（ｎ−１）＋ｈ（ｎ）＋２）／４｝ （２）
上式において、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。尚、式（１）、（２）の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）におけるｘ（ｎ）は、公知の方法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。

なお、実施形態では、ウェーブレット符号化を行った際に得られる係数は、１ビットの正負を示す符号を持つものとする。

矩形ブロック分割部１１０は離散ウェーブレット変換部１０１で生成された各サブバンドの係数のうち、ＬＬサブバンドの係数Ｃ（ＬＬ，ｘ，ｙ）について図５に示すように幅Ｗｂ、高さＨｂの複数の矩形ブロックＢ１、Ｂ２、…Ｂｎに分割し、ＬＬサブバンド内でブロック単位にラスタースキャン順に、かつ、各ブロックの係数をブロック内でラスタースキャン順に読み出してビットシフト部１０２へと出力する。

ビットシフト部１０２では、矩形ブロック分割部１１０から入力される係数Ｃ（ＬＬ，ｘ，ｙ）を、所定のビット数Ｔｂだけ右シフト（量子化ステップ２^Tbによる量子化（除算）に相当）して係数の上位ビット部分を抽出する。具体的には、以下の式（３）により、係数値Ｃ（ＬＬ，ｘ，ｙ）の上位ビット部分Ｕ（ＬＬ，ｘ，ｙ）を求め、出力する。
Ｕ（ＬＬ，ｘ，ｙ）＝ｓｉｇｎ｛Ｃ（ＬＬ，ｘ，ｙ）｝
× ｆｌｏｏｒ｛｜Ｃ（ＬＬ，ｘ，ｙ）｜／２^Tb｝ （３）
ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返す。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を、｜R｜は実数Ｒの絶対値を表す。

フレームメモリ１０５は２つのＬＬサブバンドの係数を格納する領域を持ち、一方には直前のフレームにおけるＬＬサブバンドの係数の上位ビット部分が格納され、他方にビットシフト部１０２で生成した着目フレームのＬＬサブバンド係数の上位ビット部分Ｕ（ＬＬ，ｘ，ｙ）を格納する。

動きベクトル検出部１０７ではビットシフト部１０２で生成したＵ（ＬＬ，ｘ，ｙ）について、各ブロック毎に、フレームメモリ１０５に格納されている直前のフレームにおける量子化されたＬＬサブバンドを参照フレームとして動きベクトルの探索を行う。参照フレーム内で着目ブロックとの誤差が最も少なくなるブロック（以下、参照ブロックと呼ぶ）を検出し、検出したブロックの座標について着目ブロックの座標を基準とした相対位置を動きベクトルとして出力する。図６（ｂ）に着目フレーム中の着目ブロックＢｉを、図６（ａ）に、着目ブロックＢｉと前フレームの参照ブロック及び動きベクトルの関係を示す。

動き補償部１０６では、着目するブロックＢｉについて動きベクトル検出部１０７で算出した動きベクトルを元に、フレームメモリ１０５から参照ブロックの係数値を読み出し、予測値として出力する。

減算器１０３は着目するブロックのＵ（ＬＬ，ｘ，ｙ）と動き補償部１０６から出力される予測値の差分を求め、予測誤差値として出力する。

係数符号化部１０４は減算器１０３の出力する予測誤差値をブロック単位に符号化し、符号列を生成する。係数符号化部１０４で適用される符号化は、予測誤差値の符号化に好適な方法であれば良く、例えば、連続階調静止画像の可逆及び準可逆圧縮の国際標準として勧告されるＪＰＥＧ−ＬＳ（ＩＳＯ／ＩＥＣ１４４９５−１および２）における予測誤差信号の符号化と同様の手法や、ＪＰＥＧ２０００ Ｐａｒｔ１（ＩＳＯ／ＩＥＣ１５４４４−１）におけるコードブロックの符号化と同様の手法を適用することができる。

動きベクトル符号化部１０８では動きベクトル検出部１０７から出力される動きベクトルを符号化する。動きベクトルの符号化としてはＭＰＥＧにおける動きベクトル符号化の手法などを用いることができる。

一方、ビットシフト部１０２で行われるビットシフト処理（量子化処理）により失われるＬＬサブバンドの係数Ｃ（ＬＬ，ｘ，ｙ）の下位Ｔｂビット分の情報については、下位ビットプレーン符号化部１０９により、ＬＳＢであるビット０から、ビットＴｂ−１までの各ビットプレーンをビットプレーン単位に符号化が行われる。

なお、ここでは、ＬＬサブバンドの係数Ｃ（ＬＬ，ｘ，ｙ）の下位Ｔｂビットの符号化についてのものであるので、ビットＴｂより上位のビットは符号化済みとみなす。すなわち、ビットプレーンは上記のように、ビット０からビットＴｂ−１までの間のみ有効となる。ビットプレーンの符号化は、上位のビットＴｂ−１のビットプレーンから下位に向かうビットプレーンに向かって符号化する。そして、着目する係数Ｃ（ＬＬ，ｘ，ｙ）のビットＴｂより上位のビットがすべて０である場合、すなわち、Ｕ（ＬＬ，ｘ，ｙ）が０である場合には、この順序で最初に“１”のビットが検出された後に、その“１”を有する係数の正負を示す符号“０”、“１”を附加し、これを符号化する。

下位ビットプレーン符号化部１０２におけるビットプレーンの符号化に用いる手法としては２値情報の符号化に好適な方法であれば良く、例えば、着目する係数の周囲の係数が有意であるか非有意であるかに基づいて複数のコンテクストに状態分けを行い、２値算術符号化を用いるといった方法などが適用できる。ここで係数が有意であるとは、着目するビットを符号化する時点で、既に０でないことがわかっている状態を表し、また、非有意であるとは０である可能性が残っている状態を表す。着目するビットプレーン内の各ビットを複数のカテゴリ（サブビットプレーン）に分類し、カテゴリ毎に複数回のスキャンで符号化することもできる。国際標準ＪＰＥＧ２０００におけるコードブロック符号化の手法は下位ビットプレーン符号化部１０２に用いるビットプレーンの符号化方式として好適な例である。

ＬＬサブバンド以外のサブバンドの係数についても、下位ビットプレーン符号化部１０９でビットプレーン単位に符号化を行う。ＬＬサブバンド以外のサブバンドには、ＬＬサブバンドのＵ（ＬＬ，ｘ，ｙ）に相当する情報がないので、最上位ビットから最下位ビットまでビットプレーン単位に符号化し、各係数で最上位の“１”のビットを符号化した後に、正負を表す符号を“０”と“１”で表し、これを符号化する。

多重化部１１１は動きベクトル符号化部１０８、係数符号化部１０４、下位ビットプレーン符号化部１０９から出力される符号列を、不図示の内部バッファに格納しながら合成し、復号に必要となる様々な情報をヘッダとして加えて本実施の形態の動画像符号化装置の出力となる最終符号列を構成する。符号列の構成方法としては国際標準ＪＰＥＧ２０００における符号列構成方法のように様々な順序で符号列を並べることができる。一例としてＬＬサブバンドからＨＨ２までサブバンド順に符号列を並べた場合の多重化部１１１から出力される符号列のフォーマットを図１５に示す。図１５においてＬＬサブバンド符号化データ内のＵ（ＬＬ，ｘ，ｙ）符号化データには動きベクトル符号化部１０８で生成した動きベクトル符号化データと係数符号化部１０４で生成したＵ（ＬＬ，ｘ，ｙ）の符号化データが含まれる。また、ＬＬサブバンド符号化データ内のＴｂ−１桁目の符号化データ（ビットＴｂ−１のビットプレーンの符号化データ）〜１桁目（ＬＳＢ）の符号化データ（ビット０のビットプレーンの符号化データ）には下位ビットプレーン符号化部１０９で生成したＬＬサブバンドの下位Ｔｂビットプレーンの符号化データが含まれる。ＬＬサブバンド以外の符号化データは、下位ビットプレーン符号化部１０９で生成した各サブバンドの最上位桁（ＭＳＢ）符号化データ〜１桁目（ＬＳＢ）符号化データが含まれる。

そして、符号化データ出力部１１２は、多重化部１１１から出力される動画像符号化データを装置外部へと出力する。符号化データ出力部１１２は、例えばネットワーク回線やハードディスクやメモリなどの２次記憶装置へのインタフェース等によって実現することが可能である。

以上、本実施形態の動画像符号化処理を説明したが、以下では、その処理手順をより明瞭にするため図１４を用いて説明する。本実施の形態の動画像符号化装置では、符号化対象の動画像の符号化に先立ち、フレームメモリ１０５のクリアなどの初期化処理を行う（ステップＳ１４００）。

次に、動画像データ入力部１００より１フレーム分の画像データを読み出し、離散ウェーブレット変換部１０１へと送る（ステップＳ１４０１）。次に離散ウェーブレット変換部１０１により、符号化対象のフレームデータに対しウェーブレット変換を所定回数実行する（ステップＳ１４０２）。続いて離散ウェーブレット変換部１０１で生成したＬＬサブバンドについて、矩形ブロック分割部１１０、ビットシフト部１０２、減算器１０３、動きベクトル検出器１０７、動き補償部１０６、動きベクトル符号化部１０８、係数符号化部１０４、下位ビットプレーン符号化部１０９により、係数の符号化が行われる（ステップＳ１４０３）。このステップＳ１４０３の処理の流れについては後述する。

続いて、ＬＬ以外のサブバンドを下位ビットプレーン符号化部１０９によりサブバンド単位に符号化する（ステップＳ１４０４）。

このあと、多重化部１１１で係数符号化部１０４、動きベクトル符号化部１０８、下位ビットプレーン符号化部１０９の符号列を合成してフレームの符号化データを構成する（ステップＳ１４０５）。

そして、符号化したフレームが最後のフレームであるか否かを判定し（ステップＳ１４０６）、最後のフレームでないならばステップＳ１４０１へと戻り、次のフレームデータについて同様に符号化処理を行い、最後のフレームであったならば符号化データ出力部１１２から生成した動画像符号化データの出力を完了し、符号化処理を終了する。

次にステップＳ１４０３におけるＬＬサブバンドの符号化処理の流れを図１３を用いて説明する。まず、ＬＬサブバンド中の矩形ブロック分割部１１０により１ブロックの係数データが読み出される（ステップＳ１３０１）。続いてビットシフト処理部１０２によりブロック内の係数のビットシフト処理が行われ、シフト処理後の値（量子化された係数値）がフレームメモリ１０５に格納される（ステップＳ１３０２）。続いて動きベクトル検出部１０７により着目するブロックとの誤差が最も少ない参照ブロックを直前のフレームのＬＬサブバンドの上位ビット部分から探し出し、動きベクトルを生成する（ステップＳ１３０３）。この動きベクトルを動きベクトル符号化部１０８により符号化し、動きベクトルに対する符号列を生成する（ステップＳ１３０４）。続いて動き補償部１０６と減算器１０３により着目するブロックの予測誤差を生成し（ステップＳ１３０５）、これを係数符号化部１０４により符号化してブロックの上位複数ビット部分の符号列を生成する（ステップＳ１３０６）。下位ビットプレーン符号化部１０９で着目するブロックの下位Ｔｂビット分の情報をビットプレーン単位に符号化し、符号列を生成する（ステップＳ１３０７）。符号化を行ったブロックがＬＬサブバンドの最後のブロックであるか否かを判定し、最後のブロックでないならばステップＳ１３０１へと戻り、次の矩形ブロックについて同様に符号化処理を行い、最後のブロックであったならばＬＬサブバンドの符号化処理を終了する。

なお、説明が前後するが、動画像の先頭フレームｆ１については、それより前のフレームは存在しない。しかしながら、フレームメモリ１０５に格納している前フレームのＬＬ成分を格納しているエリアを０クリアするようにすると、結果的に、減算器１０３は現フレームのブロックから０を減じることになるので、先頭フレームはイントラフレームとして符号化されることと等価になる。

次に、本実施形態の動画像復号装置について説明する。

図４は実施形態における動画像復号装置を示すブロック構成図である。同図において４０１は符号化データ入力部、４０２は分離部、４０３は非復号ビットプレーン決定部、４０４は下位ビットプレーン復号部、４０５はビットシフト部、４０６は係数復号部、４０７は動きベクトル復号部、４０８は加算器、４０９は動き補償部、４１０はフレームメモリ、４１１は矩形ブロック合成部、４１２は逆離散ウェーブレット変換部、４１３は動画像データ出力部、４１４は復号処理時間計測部である。

本実施形態の動画像復号装置による動画像データ復号処理は、基本的に先に述べた動画像符号化装置における符号化処理の反対の処理となっているので、ここでは復号処理における特徴となる部分を中心に説明し、その他については簡単に各構成要素の動作について説明する。また、フレームメモリ４１０は、一連の符号化動画像データを再生する際に、“０”クリアされる。従って、先頭フレームｆ１の復号化処理では、加算器４０８は０と加算することとなり、イントラフレームの復号化と等価の処理を行うことになる点に注意されたい。

まず、符号化データ入力部４０１から復号対象となる動画像符号化データが入力される。入力される動画像符号化データは先に述べた動画像符号化装置で生成した符号化データである。

分離部４０２は符号化データを解析し、ＬＬサブバンドの動きベクトル符号化データを動きベクトル復号部４０７へ、ＬＬサブバンドのＵ（ＬＬ、ｘ、ｙ）符号化データを係数復号部４０６へ、各ビットプレーンの符号化データを下位ビットプレーン復号部４０４へと送る。

動きベクトル復号部４０７では動きベクトル符号化部１０８で符号化した動きベクトルを復号して出力する。

フレームメモリ４１０はフレームメモリ１０５と同様に２枚のＬＬサブバンドの係数を格納する領域を持ち、一方には直前のフレームにおけるＬＬサブバンド係数の上位ビット部分が格納され、他方に復号した着目フレームのＬＬサブバンド係数の上位ビット部分Ｕ（ＬＬ，ｘ，ｙ）を格納する。従って、このフレームメモリに格納される注目フレームのＬＬ成分の差分データ、並びに、直前のフレームのＬＬ成分の復元画像データは共に、誤差を含まないことが約束されることになる。

動き補償部４０９は動きベクトル復号部４０７で復号した動きベクトルを元にフレームメモリ４１０から参照ブロックの係数値を読み出して予測値として出力する。

係数復号部４０６は係数符号化部１０４で生成した係数符号化データから係数の予測誤差を復号する。

加算器４０８では動き補償部４０９から出力される予測値と係数復号部４０６で復号した予測誤差を加算して係数の上位ビット部分Ｕ（ＬＬ，ｘ，ｙ）を復元する。

下位ビットプレーン復号部４０４では下位ビットプレーン符号化部１０９で生成したビットプレーン符号化データを復号する。ビットプレーンの符号化データ中に含まれる係数の正負符号についても符号化時と同じタイミングで復号を行う。なお、ＬＬサブバンドの係数の下位Ｔｂビットを復号する際には必要に応じてフレームメモリ４１０に格納される係数の上位ビット部分Ｕ（ＬＬ，ｘ，ｙ）を参照して復号処理を行う。

但し、このとき非復号ビットプレーン決定部４０３からは、各サブバンドについて復号しない下位ビットプレーン数ＮＤ（Ｓｂ）が指示され、下位ビットプレーン復号部４０４では指示される枚数の下位ビットプレーンについては復号処理を行わない。例えば、サブバンドＨＨ２の係数を復号する場合に、非復号ビットプレーン決定部４０３から与えられるサブバンドＨＨ２の非復号ビットプレーン数ＮＤ（ＨＨ２）が“２”である場合、分離部４０２から入力されるサブバンドＨＨ２の係数の符号化データの最上位ビットプレーンから３桁目（ビット２）のビットプレーンの符号化データを復号し、２桁目（ビット１）と１桁目（ビット０＝ＬＳＢ）のビットプレーンについては復号しない。復号されないビットプレーンについては適切な値を設定する。例えば、係数の取りうる範囲の中間値を設定する。この場合、上述の例では、係数の復号済み部分が全て０である場合には２桁目（ビット１）と１桁目（ビット０）に“０”を設定し、それ以外の場合には２桁目に“１”、１桁目に“０”を設定する。処理速度を優先する場合には、単純な方法としては全て０を設定してもよい。

ビットシフト部４０５は復元したＵ（ＬＬ，ｘ，ｙ）をＴｂビット分だけ左（上位ビット方向）にシフトし、その下位Ｔｂビット部分に下位ビットプレーン復号部４０４で復号した下位Ｔｂビット分の情報を結合し、係数Ｃ（ＬＬ，ｘ，ｙ）の復元値Ｃ’（ＬＬ，ｘ，ｙ）を生成する。なお、Ｕ（ＬＬ，ｘ，ｙ）が０であり、かつ、下位Ｔｂビットの少なくとも１つが“１”である場合には下位ビットプレーン復号部４０４から復号される係数の正負符号をＣ’（ＬＬ，ｘ，ｙ）の正負符号として用いる。

矩形ブロック合成部４１１ではビットシフト部４０５で復元されるＬＬサブバンドの各ブロックを合成し、ＬＬサブバンドを復元する。

逆離散ウェーブレット変換部４１２は矩形ブロック合成部により復元されたＬＬサブバンドの係数と、下位ビットプレーン復号部により復号されたＬＬ以外のサブバンドの係数から、逆離散ウェーブレット変換を施して着目するフレームのデータを復元する。

動画像データ出力部４１３は、逆離散ウェーブレット変換部４１２から出力される復元画像データを装置外部へと出力する。なお、動画像データ出力部４１３は、例えばネットワーク回線や表示デバイスへのインタフェース等によって実現することが可能である。

復号処理時間計測部４１４は、個々のフレームについて、１フレームの符号化データの読み出しから、復元されたフレームデータの出力までにかかる時間Ｄｔを測定し、非復号ビットプレーン決定部４０３へと出力する。

非復号ビットプレーン決定部４０３は、復号処理時間計測部４１４から出力される１フレームの復号処理時間を元に、各サブバンドの非復号ビットプレーンを決定する。非復号ビットプレーン決定部４０３はその内部に、非復号ビットプレーン数決定のインデックス値となる変数Ｑ（以降、「Ｑファクタ」と呼ぶ。）と、それぞれのＱファクタにおいて各サブバンドの非復号ビットプレーン数を示したテーブルと、目標復号処理時間Ｔ、時間差分ΔＴを保持する。
ΔＴ←ΔＴ＋（Ｔ−Ｄｔ）
上記の如く、ΔＴは、１フレームの復号時間Ｄｔが目標復号時間Ｔとほぼ同じであれば、ΔＴは“０”近傍の値を持ち、１フレームの復号時間Ｄｔが目標復号時間Ｔを越える場合にはΔＴは負の値を持つ。また、１フレームの復号時間Ｄｔが目標復号時間Ｔより少ない場合には、ΔＴは正の値を持つことになる。つまち、ΔＴは処理の余力を示す指標値と見ることができる。

図８にＱファクタと各サブバンドの非復号ビットプレーン数の対応を表すテーブルの例を示す。ここで、ＬＬサブバンドの非復号ビットプレーン数は、全てのＱファクタでＴｂを超えない値とする。

図８において、例えばＱファクタとして“３”が設定された場合には次のような意味になる。
ＬＬサブバンド：非復号ビットプレーンは無い。すなわち、全てのビットプレーンを復号対象とすることを示す。
ＨＬ１＆ＬＨ１サブバンド：最下位ビットプレーンから上位に向かう２つのビットプレーン（ビット０とビット１のビットプレーン）の符号化データを復号対象から除外する。
ＨＨ１サブバンド：最下位ビットプレーンから上位に向かう３つのビットプレーン（ビット０、１、２のビットプレーン）の符号化データを復号対象から除外する。
ＨＬ２＆ＬＨ２サブバンド：最下位ビットプレーンから上位に向かう３つのビットプレーン（ビット０、１、２のビットプレーン）の符号化データを復号対象から除外する。
ＨＨ２サブバンド：最下位ビットプレーンから上位に向かう３つのビットプレーン（ビット０、１、２のビットプレーン）の符号化データを復号対象から除外する。

上記及び図８からも容易に理解できるように、高い周波成分のサブバンドほど、復号対象から除外するビットプレーン数が多くする。これは、周波数の低いサブバンドほど、再生画像の画質に対して支配的である、という理由による。

図９は、本実施の形態の動画像復号装置よる動画像符号化データの復号処理の流れを示すフローチャートである。図９に示すように、まず、動画像符号化データの復号開始時点、即ち、フレーム１の符号化データの復号開始前にＱファクタ、時間差分ΔＴを０にリセットする（ステップＳ７０１）。

次に、非復号ビットプレーン決定部４０３で、Ｑファクタに基づいて各サブバンドの非復号ビットプレーン数をテーブルから読み出し、下位ビットプレーン復号部４０４へ設定する（ステップＳ７０２）。

続いて、符号化データ入力部４０１から逆離散ウェーブレット変換部４１２の処理により、１フレームの復号が行われ、動画像データ出力部４１３にフレームデータが出力される（ステップＳ７０３）。

復号処理時間計測部４１４はステップＳ７０３で行われた１フレームの復号処理にかかった時間Ｄｔを計測し、非復号ビットプレーン決定部４０３へと渡す（ステップＳ７０４）。

非復号ビットプレーン決定部４０３は、１フレームの目標復号時間Ｔと実際にかかった復号処理時間Ｄｔの差分を求め、保持している時間差分ΔＴに加算する（ステップＳ７０５）。ここでは秒３０フレームの動画像データの復号を行うため目標復号時間Ｔを１／３０秒とする。

次に、ΔＴの値に応じてＱファクタを更新する（ステップＳ７０６）。ΔＴがあらかじめ設定した所定の閾値Ｕｑ（Ｕｑ＞０）よりも大きければ、余力があることになるので、Ｑから１を減じて小さくする。ΔＴが所定の閾値よりも大きくなるのは、先に説明したように、目標の時間の総和に対して実際にかかった復号時間の総和が小さい場合であり、復号画質を向上させるためにＱの値を小さくすることにより非復号ビットプレーン数を減らす。また、反対にΔＴがあらかじめ設定した所定の閾値Ｌｑ（Ｌｑ＜０）よりも小さければＱに１を加えて、値を大きくする。ΔＴが所定の閾値Ｌｑよりも小さくなるのは目標の時間の総和に対して実際にかかった復号時間の総和が大きい場合であり、１フレームの復号時間を短縮するために値を大きくすることにより非復号ビットプレーン数を増やす。但し、実施形態の場合、Ｑの値の取り得る範囲は０から９までであるので、上述の更新処理により０より小さくなった場合には０、９より大きくなった場合には９とする。

復号処理を行ったフレームが最後のフレームであるか否かを判定し、最後のフレームでない場合（ＮＯ）にはステップＳ７０２に処理を移し、次のフレームの復号を行い、最後のフレームである場合（ＹＥＳ）は動画像符号化データの復号処理を終了する（ステップＳ７０７）。

以上、第１の実施形態を説明したが、本実施形態の動画像符号化装置では、動き補償を適用する範囲をＬＬサブバンドの上位ビット部分に限定しているため、伝送路の状態、あるいは復号装置の処理性能に応じてそれ以外の部分の符号化データの伝送、あるいは復号の範囲を適宜変更しても動き補償による誤差が後続のフレームの復号画質に影響を少なくできる。また、動き補償によりフレーム間の冗長性を除いて符号化の効率を改善しつつ、かつ、状況に応じて柔軟に動画像符号化データの伝送範囲、あるいは復号範囲を変えることができるという効果がある。本実施形態ではウェーブレット変換部分に可逆性のあるフィルタを使用し、符号化側での量子化処理を行っていないため、復号時に全てのビットプレーンを復号した場合には元の動画像符号化データをロスレスで復元することができる。

なお、本実施形態においてはＬＬサブバンド以外のサブバンドについては矩形ブロックに分割せずに符号化しているが、ＬＬサブバンドと同様に矩形ブロックに分割して符号化しても構わない。また、下位ビットプレーン符号化部１０９における符号化はビットプレーン単位としたが、国際標準ＪＰＥＧ２０００に見られるようにビットプレーンの各ビットを周囲の係数の状態に応じて複数のカテゴリに分割し、複数のスキャンに分けて符号化しても構わない。

また、上記実施形態ではＬＬサブバンドについて動き補償符号化を行ったが、ウェーブレット変換により得られるサブバンドを２つのグループ、すなわち、ＬＬサブバンドを含む比較的低周波成分のグループＡ（ＬＬ、ＨＬ１、ＬＨ１、ＨＨ１）と、高周波成分のサブバンドで構成されるグループＢ（ＨＬ２、ＬＨ２、ＨＨ２）に分け、グループＡについては上位ビットを抽出し、グループＡに含まれる各サブバンド毎に、動き補償に基づく符号化を行う。そして、グループＡの下位ビット並びに、グループＢの周波数成分係数については、ビットプレーンを主体とする符号化を行うようにしても良い。

また、上記実施形態によれば、シフトビット数Ｔｂは、復号装置側での非復号対象とする最大ビットプレーン数を示すことになる。復号装置側が図８に示すような関係で各サブバンドの非復号ビットプレーンを決定する場合にあって、仮に、復号化装置でのＱファクタの取り得る範囲が０乃至３の範囲であれば、ＬＬ成分、或いは上記のグループＡにおける上位ビットを得る処理は不要である。

このような条件下にあっては、１フレームのウェーブレット変換で得られた複数のサブバンドを２つのグループＡ，Ｂに分け、グループＡを構成する各サブバンドについては前フレームのグループＡに含まれるサブバンドのデータに基づいて動き補償を行い、もう一方のグループについては注目フレーム内で符号化するようにしてもよい。例えば、Ｑファクタが図８に示すように０、１の２通り取り得る場合には、グループＡにはＬＬ、ＨＬ１、ＬＨ１で構成し、グループＢはＨＨ１、ＨＬ２、ＬＨ２、ＨＨ２で構成すればよい。

また、本実施形態の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせても勿論構わない。

＜第２の実施形態＞
第１の実施形態では、ＬＬサブバンドの上位ビット部分のみについて動き補償を適用する構成を説明した。上記のように、ＬＬサブバンド以外のサブバンドの上位ビット部分についても動き補償を適用しても良い。また、ウェーブレット変換においては整数演算型で可逆性のあるフィルタを用いたが、可逆符号化が必要とされない場合には実数型のフィルタを使用し、各種量子化手法を適用しても良い。

そこで、本第２の実施形態として全てのサブバンドで動き補償を適用し、実数型フィルタと量子化を用いる構成について説明する。

図７は、第２の実施形態に係る動画像符号化装置の構成を示すブロック図である。

図７において、先に説明した第１実施形態の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。７０１は離散ウェーブレット変換部、７０２は係数量子化部である。

本実施の形態においても第１の実施形態と同様の動画像符号化データを符号化するものとして説明する。

離散ウェーブレット変換部７０１では第１の実施形態の離散ウェーブレット変換部１０１と同様に、符号化対象の１フレームの画像データに対して２次元離散ウェーブレット変換を施し、ＬＬ、ＨＬ１、ＬＨ１、ＨＨ１、ＨＬ２、ＬＨ２、ＨＨ２の７つのサブバンドに分解する。

離散ウェーブレット変換部１０１におけるＮ個の１次元信号ｘ（ｎ）（但し、ｎは０〜Ｎ−１の整数）に対する１次元離散ウェーブレット変換には、式（４）、（５）に示す実数型５×３フィルタを用いる。
ｈ（ｎ）＝ｘ（２ｎ＋１）−（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２ （４）
ｌ（ｎ）＝ｘ（２ｎ）＋（ｈ（ｎ−１）＋ｈ（ｎ））／４ （５）
上式において、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数を表す。尚、式（１）、（２）の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）におけるｘ（ｎ）は、公知の方法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。

係数量子化部７０２は離散ウェーブレット変換部７０１で生成したウェーブレット変換係数Ｃ（Ｓｂ，ｘ，ｙ）を、サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓｂ）を用いて量子化する。ここで、量子化された係数値をＱ（Ｓｂ，ｘ，ｙ）と表す場合、係数量子化部２０３で行われる量子化処理は式（６）により表すことができる。
Ｑ（Ｓｂ，ｘ，ｙ）＝ｓｉｇｎ｛Ｃ（Ｓｂ，ｘ，ｙ）｝
×ｆｌｏｏｒ｛｜Ｃ（Ｓｂ，ｘ，ｙ）｜／ｄｅｌｔａ（Ｓｂ）｝ （６）
ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返す。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。

係数量子化部７０２で量子化された各サブバンドの係数Ｑ（Ｓｂ，ｘ，ｙ）は、第１の実施の形態におけるＬＬサブバンドの係数Ｃ（Ｓｂ，ｘ，ｙ）と同様であり、それぞれ矩形ブロック分割部１１０で矩形ブロックに分割し、ビットシフト部１０２により上位ビット部分Ｕ（Ｓｂ，ｘ，ｙ）を生成して、この上位ビット部分Ｕ（Ｓｂ，ｘ，ｙ）については直前のフレームの同一サブバンドを参照して動き補償を行い、動きベクトルと予測誤差を符号化する。また、ビットシフト部１０２で切り捨てられる下位Ｔｂビットについては下位ビットプレーン符号化部１０９により符号化される。従って、フレームメモリ１０５には全てのサブバンドについて２枚分格納する領域を持ち、一方に直前のフレームの、他方に着目するフレームのサブバンド係数の上位ビット部分Ｕ（ＬＬ，ｘ，ｙ）を格納する。

本実施の形態の符号化処理を簡単な流れを、図１２を用いて説明する。本実施の形態の動画像符号化装置では、符号化対象の動画像の符号化に先立ち、フレームメモリ１０５のクリアなどの初期化処理を行う（ステップＳ１２００）。次に、動画像データ入力部１００より１フレーム分の画像データを読み出し、離散ウェーブレット変換部７０１へと送る（ステップＳ１２０１）。次に離散ウェーブレット変換部７０１により、符号化対象のフレームデータに対しウェーブレット変換を施す（ステップＳ１２０２）。続いて離散ウェーブレット変換部７０１で生成した各サブバンドについて、矩形ブロック分割部１１０、ビットシフト部１０２、減算器１０３、動きベクトル検出器１０７、動き補償部１０６、動きベクトル符号化部１０８、係数符号化部１０４、下位ビットプレーン符号化部１０９により、係数の符号化が行われる（ステップＳ１２０３）。ステップＳ１２０３の処理は第１の実施形態で説明した図１３の処理をＬＬサブバンド以外のサブバンドにも拡張したものであり、ここでは説明を省略する。多重化部１１１で係数符号化部１０４、動きベクトル符号化部１０８、下位ビットプレーン符号化部１０９の符号列を合成してフレームの符号化データを構成する（ステップＳ１２０４）。符号化したフレームが最後のフレームであるか否かを判定し（ステップＳ１２０５）、最後のフレームでないならばステップＳ１２０１へと戻り、次のフレームデータについて同様に符号化処理を行い、最後のフレームであったならば符号化データ出力部１１２から生成した動画像符号化データの出力を完了し、符号化処理を終了する。

次に、本第２の実施形態の動画像復号装置について説明する。

図１０は第２の実施形態における動画像復号装置を示すブロック図である。図１０において第１の実施形態で説明した図４の動画像復号装置の各ブロックと同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。１００１は係数逆量子化部、１００２は逆離散ウェーブレット変換部、１００３は非復号ビットプレーン決定部である。

本実施形態の動画像復号装置においても第１の実施形態の動画像復号装置と同様に符号化データ入力部４０１から復号対象となる動画像符号化データが入力され、分離部４０２で符号化データの構造を解析し、動きベクトル符号化データを動きベクトル復号部４０７へ、係数符号化データを係数復号部４０６へ、各サブバンドの係数の下位ビットプレーン符号化データを下位ビットプレーン復号部へと送る。動きベクトル復号部４０７、係数復号部４０６、動き補償部４０９、加算器４０８により、サブバンドの係数の上位ビット部分Ｕ（Ｓｂ，ｘ，ｙ）を復号し、下位ビットプレーン復号部４０４でその下位ビットを復号する。ビットシフト部４０５で量子化された係数値Ｑ（Ｓｂ，ｘ，ｙ）を復元し、矩形ブロック合成部でサブバンドを構成する各ブロックを合成してサブバンドを復元する。

第１の実施形態と同様に、下位ビットプレーン復号部４０４には非復号ビットプレーン決定部１００３から復号しない下位ビットプレーン数ＮＤ（Ｓｂ）が指示され、下位ビットプレーン復号部４０４では指示される枚数の下位ビットプレーンについては復号処理を行わない。

係数逆量子化部１００１では、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓｂ）と量子化された係数値をＱ（Ｓｂ，ｘ，ｙ）とから、各サブバンドの係数の復元値Ｃ’（Ｓｂ，ｘ，ｙ）を生成する。

逆離散ウェーブレット変換部１００２では、係数逆量子化部１００１で復元した各サブバンドの係数値Ｃ’（Ｓｂ，ｘ，ｙ）に対して離散ウェーブレット変換部７０１の変換処理の逆変換を施して着目するフレームのデータを復元する。

復号処理時間計測部４１４では、各フレームについて符号化データの読み出しから復元されたフレームデータの出力までにかかる時間Ｄｔを測定し、非復号ビットプレーン決定部１００３へと出力する。

非復号ビットプレーン決定部１００３では復号処理時間計測部１０６から出力される１フレームの復号処理時間を元に、各サブバンドの非復号ビットプレーンを決定する。

このため、本第２の実施形態では、非復号ビットプレーン決定部９０３はその内部に、各サブバンドの非復号ビットプレーン数を格納する変数ＮＤ（）と、目標復号処理時間Ｔ、時間差分ΔＴ、サブバンドを指標するためのインデックス変数ＳＩを保持する。なお、ＮＤ（）と括弧内を特に記述しない場合には、ＮＤ（０）乃至ＮＤ（６）のすべてを示すものと理解されたい。
図１９はサブバンドインデックスとサブバンドとの関係を示している。図示の如く、サブバンドインデックスの値が大きいほど、低周波成分のサブバンドを指し示す関係にある。なお、非復号ビットプレーン数ＮＤ（）の括弧内には、サブバンドインデックスＳＩを用いる表記方法と、サブバンドＳｂを用いる表記方法の両方を用いるが、これは表記上の差異であり図１９の関係により対応付けができる。例えばＬＬサブバンドのサブバンドインデックスは６であり、ＮＤ（ＬＬ）はＮＤ（６）はどちらもＬＬサブバンドの非復号ビットプレーン数を示すものである。

本第２の実施形態における復号処理の概要を説明すると次の通りである。

先ず、各サブバンドの非復号ビットプレーン数を示す変数ＮＤ（）を０クリアし、更新すべきサブバンドを示すインデックス変数ＳＩを０にクリアする。そして、プロセッサー等に復号処理の負担が大きい場合には、ＮＤ（ＳＩ）を“１”だけ増加し、ＳＩを“１”だけ増加する。初期状態ではＮＤ（）＝０、ＳＩ＝０であるから、上記処理の結果、ＮＤ（０）＝１となり、ＨＨ２サブバンドの非復号ビットプレーン数が“１”に設定されることになる。続く、フレームの復号処理でも同様の状態であれば、ＮＤ（ＳＩ）＝ＮＤ（１）＝１となり、ＬＨ２の非復号ビットプレーン数が“１”に設定される。こうして、負荷が大きい場合には、その際のＮＤ（ＳＩ）を“１”だけ増加させ、サブバンドインデックスＳＩも増加させる。

図１６はサブバンドインデックスＳＩ＝４である場合の、各サブバンドの非復号ビットプレーン数の状態を示している。

復号処理に要する負荷が大きい場合には、上記のようにしてサブバンドインデックスＳＩを増加していくが、ＳＩ＝７になってしまった場合には、ＳＩ＝０に戻し、高周波成分の非復号ビットプレーン数を更に増加させるように準備する。

一方、目標復号処理時間Ｔよりも実際の復号処理に要する時間Ｄｔが小さい場合、負荷が少なくなったことを示すから、サブバンドインデックスＳＩを減じ、そして更新後のＳＩで示されるＮＤ（ＳＩ）を“１”だけ減じる処理を行う。ＳＩが“−１”になってしまった場合には、ＳＩ＝６にセットする。なお、ＮＤ（）は０より小さくなることはない。

以下、第２の実施形態における具体的な復号処理を図１７のフローチャートに従って説明する。

先ず、ステップＳ１１０１にて、動画像符号化データの復号開始、すなわち、フレームｆ１の符号化データの復号開始前にサブバンドインデックスＳＩ、時間差分ΔＴを０にリセットする（ステップＳ１１０１）。

次に、非復号ビットプレーン決定部１００３に保持するサブバンド毎の非復号ビットプレーン数ＮＤ（０）、ＮＤ（１）…ＮＤ（６）を全て０に初期化する（ステップＳ１１０２）。

次に、非復号ビットプレーン決定部１００３に格納された非復号ビットプレーン数ＮＤ（０）〜ＮＤ（６）を読み出し、下位ビットプレーン復号部４０４へ設定する（ステップＳ１１０３）。

続いて、符号化データ入力部４０１から逆離散ウェーブレット変換部１００３の処理により、１フレームの復号が行われ、動画像データ出力部４１３にフレームデータが出力される（ステップＳ１１０４）。

復号処理時間計測部４１４はステップＳ１１０４で行われた１フレームの復号処理にかかった時間Ｄｔを計測し、非復号ビットプレーン決定部１００３へと渡す（ステップＳ１１０５）。

非復号ビットプレーン決定部１００３は、１フレームの目標復号時間Ｔと実際にかかった復号処理時間Ｄｔの差分（＝Ｔ−Ｄｔ）を求め、保持している時間差分ΔＴに累積加算する（ステップＳ１１０６）。
ΔＴ←ΔＴ＋（Ｔ−Ｄｔ）
次に、ステップＳ１１０７にて、ΔＴの値に応じて非復号ビットプレーン数ＮＤ（）を保持するテーブル、および、サブバンドインデックスＳＩの更新処理を行う。

そして、最終フレームになるまで、上記のステップＳ１１０３以降の処理を繰り返す。

ここで、ステップＳ１１０７の処理の詳細を図１８のフローチャートに従って説明する。

まず、ΔＴがあらかじめ設定した所定の閾値Ｕｑ（Ｕｑ＞０）よりも大きいか否かを判断する（ステップＳ１８０１）。大きい場合（ＹＥＳ）には、復号時間が目標時間よりも短いこいとを意味するから、サブバンドインデックス変数ＳＩから“１”を減じる（ステップＳ１８０２）。

ステップＳ１８０３では、変数ＳＩが“−１”かどうかを判断し（ステップＳ１８０３）、“−１”である場合には変数ＳＩに“６”を代入する（ステップＳ１８０４）。次に、サブバンドインデックス変数ＳＩに対応するサブバンドの非復号ビットプレーン数ＮＤ（ＳＩ）から“１”を減じる（ステップＳ１８０５）。ΔＴが所定の閾値よりも大きくなるのは目標の時間の総和に対して実際にかかった復号時間の総和が小さい場合である。従って、その余力を非復号ビットプレーン数を減らすことで復号画質を向上させることが望ましいからである。

なお、ＮＤ（）が０以下になることは許されないので、ステップＳ１８０６にてＮＤ（ＳＩ）が“０”より小さいか否かを判断する。ＮＤ（ＳＩ）が０より小さい値となった場合にはステップＳ１８０７にて、ＮＤ（ＳＩ）を“０”にすると共に、インデックス変数ＳＩ＝０にする（ステップＳ１８０７）。

一方、ステップＳ１８０１の比較の結果、ΔＴ≦Ｕｑである場合（ＮＯ）には、ステップＳ１８０８に進んで、ΔＴをあらかじめ設定した所定の閾値Ｌｑ（Ｌｑ＜０）と比較する。

ΔＴ＞Ｌｑである場合（ＮＯ）には、現在の復号処理は目標復号時間Ｔに対して許容範囲内にあることになるから、インデックス変数ＳＩ、及び、非復号ビットプレーン数の変更は行わず、本処理を終える。

また、ステップＳ１８０８にて、ΔＴ≦Ｌｑであると判断した場合、処理はステップＳ１８０９に進んでＮＤ（ＳＩ）を“１”だけ増加する。ΔＴが所定の閾値よりも小さくなるのは目標の時間の総和に対し、実際にかかった復号時間の総和が長い場合であるので、非復号ビットプレーン数を増やすことで、１フレームの復号時間を短縮するためである。続いてステップＳ１８１０にて、インデックス変数ＳＩにも“１”を加算する。

実施形態では、２回ウェーブレット変換することで生成されるサブバンドの個数は７つである。それぞれのサブバンドのインデックスを０〜６の数字を割り当てているから、インデックス変数ＳＩが７以上になることは許されない。

そこで、ステップＳ１８１１にて、変数ＳＩと“７”と比較して、ＳＩ＝７ならば（ＹＥＳ）、ステップＳ１８１２にて変数ＳＩを０に設定する。

以上の処理により、ΔＴが所定の値より大きい場合、または所定の値よりも小さい場合に、ひとつのサブバンドの非復号ビットプレーン数ＮＤ（）を１レベル単位に変化させることが可能になる。但し、非復号ビットプレーン数ＮＤ（）はＴｂを超えないものとする。

以上、本第２の実施形態の動画像符号化装置では、ＬＬサブバンド以外の係数についてもその上位ビット部分について動き補償を適用しており、第１の実施形態よりも符号化の効率を向上させた構成となっている。本実施形態においても第１の実施形態と同様に、伝送路の状態、あるいは復号装置の処理性能に応じて下位ビット部分の符号化データの伝送、あるいは復号の範囲を適宜変更しても動き補償による誤差が後続のフレームの復号画質に影響を与えることはない。従って、動き補償によりフレーム間の冗長性を除いて符号化の効率を改善しつつ、かつ、状況に応じて柔軟に動画像符号化データの伝送範囲、あるいは復号範囲を変えることができるという効果がある。本実施形態ではウェーブレット変換係数をサブバンドごとに定めた量子化ステップｄｅｌｔａ（Ｓｂ）を用いて量子化しており、第１の実施形態に比べて動画像符号化データの符号量を小さくすることができる。

＜第３の実施形態＞
上述した第１、第２の実施形態の動画像符号化装置では出力する動画像符号化データの全体符号量を調整する点について言及していないが、符号化する下位ビットプレーンの範囲を調整することにより簡易に発生符号量の制御が可能である。ここでは第３の実施形態として全体符号量の調整を行う一例について説明する。

図１１は本第３の実施に係る動画像符号化装置の構成を示すブロック図である。本第３の実施形態の動画像符号化装置は、図７に示した第２の実施形態の動画像符号化装置に非符号化ビットプレーン決定部１１０１を追加した構成となっている。以下、第２の実施形態の動画像符号化装置と動作の異なる点について説明する。

下位ビットプレーン符号化部１０９は第２の実施形態の動画像符号化装置と同様に各サブバンドの下位Ｔｂビットの符号化処理を行う。このとき、非符号化ビットプレーン決定部１１０１より、符号化しない下位ビットプレーンの枚数、非符号化ビットプレーン数ＮＥ(Ｓｂ)が設定され、下位ビットプレーン符号化部１０９では係数の下位ＮＥ(Ｓｂ)のビットプレーンについては符号化しない。

非符号化ビットプレーン決定部１１０１は、符号化済みのフレームの発生符号量からサブバンドごとの非符号化ビットプレーン数ＮＥ(Ｓｂ)を増減して全体の発生符号量を調整する。なお、非符号化ビットプレーン数ＮＥ（Ｓｂ）の値はＴｂ（下位ビット数を示す）を超えないものとする。非符号化ビットプレーン数ＮＥ（Ｓｂ）の調整方法については、第１、第２の実施形態の動画像復号装置で復号処理時間に応じて非復号ビットプレーン数ＮＤ(Ｓｂ)を調整したのと同様の手法を用いることができる。

ただし、このときの調整のための条件パラメータは、時間ではなく、以下のようにする。以下は、第１の実施形態のＱファクタを利用する例である。

１フレームの目標符号化データ量Ｖｓ、直前のフレームの符号化量Ｖｃとし、その差分Ｖｔを、
Ｖｔ←Ｖｔ＋（Ｖｓ−Ｖｃ）
として求め、Ｖｔが正の閾値Ｔ１より大きい場合にはＱファクタを“１”だけ減じる（ただしＱファクタは０より小さくしない）。また、Ｖｔが負の閾値Ｔ２より小さくなる場合には、Ｑファクタを“１”だけ増加させる（ただし、図８の例にしたがうのであれば、“９”を越えることはできない）。

第２の実施形態に対応させるのであれば、ＶｔとＴ１、Ｔ２とを比較して、インデックスＳＩを変化させ、ＮＥ（Ｓｂ）を調整すればよいであろう。

上述のように、本実施形態の動画像符号化装置では、第１、第２の実施形態と同様に、伝送路の状態、あるいは復号装置の処理性能に応じて下位ビット部分の符号化データの伝送、あるいは復号の範囲を適宜変更することができ、かつ、非符号化ビットプレーン決定部で非符号化ビットプレーン数NE（Sb）を適宜調整することにより、動画像符号化データの全体符号量を調整することができる。

なお、本実施形態の動画像符号化装置では非符号化ビットプレーン数を設定することにより所定の下位ビットの符号化を行わない構成について説明したが、符号化した後で切り捨てる（出力しないで破棄する）ことにより符号量の制御を実現することもできる。

＜第４の実施形態＞
第２の実施形態では、全てのサブバンドの係数を動き補償の対象とし、上位ビット部分について動き補償を適用する例について説明した。第２の実施形態の説明では係数を、固定の閾値Ｔｂで示されるビット位置より上位ビット部分と下位ビット部分に分離したが、客観、主観画質に対する各サブバンド係数の重要度の違いなどに応じて、閾値Ｔｂをサブバンド毎に設定することで、上位ビット部分により再生される画質をよりよくすることができる。

そこで、本第４の実施形態として、各サブバンド毎に個別の閾値ＴＢ（Sｂ）を設定し、これを用いて係数の上位ビット部分と下位ビット部分とを分離する例について説明する。

図２３は第４の実施の形態に係る動画像符号化装置の構成を示すブロック図である。同図において、先に説明した第１の実施形態の図１、および、第２の実施形態の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。２３００は信号線、２３０１は閾値保持部、２３０２はビットシフト部、２３０３は下位ビットプレーン符号化部、２３０４は多重化部である。

本実施の形態においても第１、第２の実施形態と同様の動画像符号化データを符号化するものとして説明する。

本実施の形態の動画像符号化装置では、まず、符号化処理に先立って、装置外部から信号線２３００を介して各サブバンドSbの係数を上位ビット部分と下位ビット部分に分離する閾値ＴＢ(Sｂ)が入力され、閾値保持部２３０１に保持される。ここではその一例として、図２４のような閾値ＴＢ(Sｂ)が設定されるものとして説明する。

ビットシフト部２３０２では、矩形ブロック分割部１１０から入力される量子化された各サブバンドの係数Ｑ（Ｓｂ，ｘ，ｙ）を、閾値保持部２３０１に格納される閾値ＴＢ（Ｓｂ）だけ右シフト（量子化ステップ２^TB(Sb)による量子化（除算）に相当）して係数の上位ビット部分Ｕ（Ｓｂ，ｘ、ｙ）を抽出する。ビットシフト部２３０２で行われるビットシフト処理は第１の実施の形態で説明してビットシフト部１０２で行われるビットシフト処理と同様である。なお、閾値保持部２３０１に図２４のＴＢ（Ｓｂ）が設定される場合、ＴＢ（ＬＬ）が０であるのでＬＬサブバンドの係数についてはビットシフトを行わない。

ビットシフト部２３０２で行われるビットシフト処理（量子化処理）により失われる各サブバンドの係数Ｑ（Ｓｂ，ｘ，ｙ）の下位ＴＢ（Ｓｂ）ビット分の情報については、下位ビットプレーン符号化部２３０３により、ＬＳＢであるビット０から、ビットＴＢ（Ｓｂ）−１までの各ビットプレーンをビットプレーン単位に符号化が行われる。第１の実施の形態における下位ビットプレーン符号化部１０９と同様にして、上位のビットＴＢ（Ｓｂ）−１のビットプレーンからＬＳＢのビットプレーンへと符号化を行う。図２４のＴＢ（Ｓｂ）が与えられる場合、ＬＬサブバンドについてはＴＢ（ＬＬ）が０であるため、下位ビットプレーン符号化部２３０３によるビットプレーンの符号化は行われない。

多重化部２３０４は動きベクトル符号化部１０８、係数符号化部１０４、下位ビットプレーン符号化部２３０３から出力される符号列、および、閾値保持部２３０１に格納される閾値ＴＢ（Ｓｂ）を、不図示の内部バッファに格納しながら合成し、復号に必要となる様々な情報をヘッダとして加えて本実施の形態の動画像符号化装置の出力となる最終符号列を構成する。多重化部２３０４で生成される最終符号列の構成は第１の実施の形態で説明した多重化部１１１で生成される符号列と基本的に同じであり、閾値保持部２３０１に格納される閾値ＴＢ（Ｓｂ）がヘッダに入れられて伝送される点が異なる。

以上、本第４の実施形態の動画像符号化処理において第１、第２の実施形態と異なる部分について説明したが、基本的な処理の流れは第２の実施形態の処理の流れとして説明した図１２に同じである。但し、ステップＳ１２００で行われる初期化処理に閾値保持部２３０１への閾値ＴＢ（Ｓｂ）を設定する処理が追加される。

次に、本第４の実施形態の動画像復号装置について説明する。

図２５は第４の実施形態における動画像復号装置を示すブロック図である。図２５において第１の実施形態で説明した図４、および第２の実施形態で説明した図１１の動画像復号装置の各ブロックと同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。２５００は閾値保持部、２５０１は下位ビットプレーン復号部、２５０２はビットシフト部、２５０３は分離部である。

本第４の実施形態の動画像復号装置においても第１、第２の実施形態の動画像復号装置と同様に符号化データ入力部４０１から復号対象となる動画像符号化データが入力され、分離部２５０３で符号化データの構造を解析し、動きベクトル符号化データを動きベクトル復号部４０７へ、係数符号化データを係数復号部４０６へ、各サブバンドの係数の下位ビットプレーン符号化データを下位ビットプレーン復号部へと送る。本実施形態では更に、ヘッダから閾値ＴＢ（Ｓｂ）を取り出して、閾値保持部２５００に格納する。これにより、図２４のような閾値ＴＢ(Sｂ)のテーブルが閾値保持部２５００に保持される。

下位ビットプレーン復号部２５０１、ビットシフト部２５０２は復号対象として着目するサブバンドＳｂに応じて閾値保持部２５００から閾値ＴＢ（Ｓｂ）を読み出してそれぞれの処理に利用する。

下位ビットプレーン復号部２５０１では、第１の実施形態における下位ビットプレーン復号部４０４と同様にして、下位ビットプレーン符号化部２３０３で生成されたビットプレーン符号化データを復号する。なお、各サブバンドの係数の下位ＴＢ(Sｂ)ビットを復号する際には必要に応じてフレームメモリ４１０に格納される係数の上位ビット部分Ｕ（Ｓｂ，ｘ，ｙ）を参照して復号処理を行う。図２４のような閾値ＴＢ（Ｓｂ）を用いる場合には、ＴＢ（ＬＬ）が０であるのでＬＬサブバンドの係数は全て係数復号部４０６で復号されることとなり、下位ビットプレーン復号部２５０１で復号されるビットプレーン数は０となる。また、非復号ビットプレーン決定部１００３から与えられる非復号ビットプレーン数ＮＤ（Ｓｂ）がＴＢ（Ｓｂ）よりも大きな値である場合にも下位ビットプレーン復号部２５０１での復号ビットプレーン数は０である。

ビットシフト部２５０２は復元したＵ（Ｓｂ，ｘ，ｙ）をＴＢ（Ｓｂ）ビット分だけ左（上位ビット方向）にシフトし、その下位ＴＢ（Ｓｂ）ビット部分に下位ビットプレーン復号部２５０１で復号した下位ＴＢ（Ｓｂ）ビット分の情報を結合し、量子化された係数Ｑ（Ｓｂ，ｘ，ｙ）の復元値を生成する。なお、Ｕ（Ｓｂ，ｘ，ｙ）が０であり、かつ、下位ＴＢ（Ｓｂ）ビットの少なくとも１つが“１”である場合には下位ビットプレーン復号部２５０１から復号される係数の正負符号をＱ（Ｓｂ，ｘ，ｙ）の正負符号として用いる。

本第４の実施形態における復号処理の流れは、第２の実施形態の動画像復号処理と基本的に同じである。ステップＳ１１０４で１フレームの復号処理を行う前、例えばステップＳ１１０１などのタイミングにおいて動画像符号化データのヘッダを解析して閾値ＴＢ（Ｓｂ）を取り出し、閾値保持部２５００に格納する必要があるという点が異なる。

以上、本第４の実施形態の動画像符号化装置では、各サブバンド毎に閾値ＴＢ（Ｓｂ）を設定し、その閾値を用いて上位ビット部分、下位ビット部分を分離し、上位ビット部分についてのみ動き補償を適用している。このような実施形態では動き補償適用範囲、すなわち各サブバンドの上位ビット部分のみを復号して画像を再生した場合の画質を調整することができる。例えばサブバンドの量子化ステップdelta（Sb）と閾値ＴＢ(Sｂ)の適切な組み合わせにより、主観、客観画質を向上させることができる。一例として図２４に示したように、画質に与える影響の大きいLLサブバンドについては下位ビット部分を設定せず、すべてを動き補償の対象としても良い。本実施形態においても第１、第２の実施形態と同様に、伝送路の状態、あるいは復号装置の処理性能に応じて下位ビット部分の符号化データの伝送、あるいは復号の範囲を適宜変更しても動き補償による誤差が後続のフレームの復号画質に影響を与えることはない。従って、動き補償によりフレーム間の冗長性を除いて符号化の効率を改善しつつ、かつ、状況に応じて柔軟に動画像符号化データの伝送範囲、あるいは復号範囲を変えることができるという効果がある。

＜他の実施形態＞
本発明は、上述した実施形態に限定されるものではない。フレーム単位に離散ウェーブレット変換を行う構成、すなわち、１フレームを１タイルとして扱う場合であったが、１フレームを複数のタイルに分割し、タイル単位に上述の処理を適用しても良い。また、ビットプレーンの符号化としては、一つのビットプレーンを複数のパスで符号化するようにしても構わない。

また、サブバンド分解のためのフィルタは上述の実施形態に限定されるものではなく、実数型９×７フィルタなど、その他のフィルタを使用しても構わない。さらに、その適用回数についても上述の実施形態に限定されるものではない。上述の実施の形態では水平方向、垂直方向に同回数の１次元離散ウェーブレット変換を施したが、同一回数でなくてもよい。

さらに、動画像符号化データの構造についても上述の実施の形態に限定されるものではなく、符号列の順序、付加情報の格納形態など、変えても構わない。また、復号処理時間の計測についても上述の実施の形態に限定されるものではなく、例えば、ウェーブレット変換などの処理はおおむね一定の処理時間と推定し、ビットプレーン復号にかかる時間のみを計測するようにしても構わないし、複数フレーム単位に処理時間を計測し、非復号部分を制御しても構わない。

また、上述の実施形態では直前のフレームのみを参照して動き補償を行う構成について示したが、これに限定されるものではなく、その他のフレームを参照したり、複数のフレームを参照して予測を行っても良い。

また、一般的な動画像符号化方式に見られるように、適当な間隔で他のフレームを参照せずに、適時、フレーム単独で符号化した符号化データ（Ｉフレーム）を挿入する構成としても良いことは言うまでもない。

更に、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

第１の実施形態に係る動画像符号化装置のブロック構成図である。 ２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。 ２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを示す図である。 第１の実施形態に係る動画像復号装置のブロック構成図である。 サブバンドのブロック分割の様子を示す図である。 着目ブロックと参照ブロック、および動きベクトルの関係を示す図である。 第２の実施形態に係る動画像符号化装置のブロック構成図である。 第１の実施形態に係るＱファクタと各サブバンドの非復号ビットプレーン数との対応関係の例を示す図である。 第１の実施形態に係る動画像復号装置の処理の流れを示すフローチャートである。 第２の実施形態に係る動画像復号装置のブロック構成図である。 第３の実施形態に係る動画像符号化装置のブロック構成図である。 第２の実施形態に係る動画像符号化装置の処理の流れを示すフローチャートである。 第１の実施形態に係る動画像符号化装置の、ＬＬサブバンドの符号化処理の流れを示すフローチャートである。 第１の実施形態に係る動画像符号化装置の処理の流れを示すフローチャートである。 第１の実施形態に係る動画像符号化装置で生成する動画像符号化データの構造を示す図である。 第２の実施形態に係る動画像復号装置の非復号ビットプレーン決定部１００３に保持されるテーブルの例を示す図である。 第２の実施形態に係る動画像復号装置の処理の流れを示すフローチャートである。 図１７の工程Ｓ１１０７の処理を示すフローチャートである。 第２の実施形態に係るサブバンドインデックスＳＩとサブバンドとの対応を示す図である。 ＪＰＥＧ２０００符号化方式の符号化手順を示す図である。 ＪＰＥＧ２０００符号化方式の復号手順を示す図である。 ＭＰＥＧ符号化方式の符号化手順を示す図である。 第４の実施形態に係る動画像符号化装置のブロック構成図である。 閾値保持部２３０１、２５００に保持される閾値ＴＢ(Sｂ)のテーブルの例を示す図である。 第４の実施形態に係る動画像復号装置のブロック構成図である。

Claims (44)

1. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置であって、
   フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
   前記複数のサブバンドを第１のグループ及び第２のグループに分け、第１のグループに属するサブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出手段と、
   前記第１のグループに属するサブバンドを構成する各周波数成分係数データの下位の所定ビット数のデータを抽出する第２の抽出手段と、
   前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
   該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
   該第２の抽出手段で抽出された各周波数成分係数データの下位所定ビット数のデータ及び前記第２グループに属するサブバンドの周波数成分係数データを非動き補償対象データとして符号化する第２の符号化手段と、
   前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記分解手段は、離散ウェーブレット変換方法に基づいて複数のサブバンドに分解し、
   前記第１のグループはＬＬサブバンドを含む低周波成分のサブバンドで構成され、
   前記第２のグループは前記低周波成分より高い周波数成分のサブバンドで構成される
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記第２の符号化手段は、周波数成分データを表わすビット位置毎のビットプレーン単位、もしくはサブビットプレーン単位に符号化することを特徴とする請求項１又は２に記載の動画像符号化装置。
4. 前記第２の符号化手段は、生成される符号量に基づいて、非符号化対象となるビットプレーンとして、最下位のビットから上位に向かう順番に選択する選択手段を含み、
   該選択手段で選択されたビットプレーンを除くビットプレーンを符号化することを特徴とする請求項３に記載の動画像符号化装置。
5. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置の制御方法であって、
   フレームを周波数成分の異なる複数のサブバンドに分解する分解工程と、
   前記複数のサブバンドを第１のグループ及び第２のグループに分け、第１のグループに属するサブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出工程と、
   前記第１のグループに属するサブバンドを構成する各周波数成分係数データの下位の所定ビット数のデータを抽出する第２の抽出工程と、
   前記第１の抽出工程で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償工程と、
   該動き補償工程で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化工程と、
   該第２の抽出工程で抽出された各周波数成分係数データの下位所定ビット数のデータ及び前記第２グループに属するサブバンドの周波数成分係数データを非動き補償対象データとして符号化する第２の符号化工程と、
   前記第１、第２の符号化工程で得られた符号化データを多重化する多重化工程と
   を備えることを特徴とする動画像符号化装置の制御方法。
6. コンピュータが読み込み実行することで、動画像データを構成する時系列なフレームを符号化する動画像符号化装置として機能するコンピュータプログラムであって、
   フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
   前記複数のサブバンドを第１のグループ及び第２のグループに分け、第１のグループに属するサブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出手段と、
   前記第１のグループに属するサブバンドを構成する各周波数成分係数データの下位の所定ビット数のデータを抽出する第２の抽出手段と、
   前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
   該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
   該第２の抽出手段で抽出された各周波数成分係数データの下位所定ビット数のデータ及び前記第２グループに属するサブバンドの周波数成分係数データを非動き補償対象データとして符号化する第２の符号化手段と、
   前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段
   として機能することを特徴とするコンピュータプログラム。
7. 請求項６に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
8. 請求項１乃至４のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置であって、
   入力したフレームの符号化データを、前記第１のグループ、第２のグループのそれぞれに対応する第１の符号化データ、第２の符号化データに分離する分離手段と、
   分離された第１の符号化データを復号して得られた現フレームの前記第１のグループに属するサブバンドの前記上位所定ビットの差分値及び動きベクトル情報と、従前のフレームにおける前記第１のグループに対応する前記上位所定ビットによる復号データとに基づき、現フレームの前記第１グループに属するサブバンドの前記上位ビットの復号データを生成する第１の復号手段と、
   前記第２の符号化データを復号する第２の復号手段と、
   該第２の復号手段で得られた前記第１のグループの下位ビットの復号データと前記第１の復号手段で得られた上位ビットの復号データとを合成することで現フレームの第１のグループに対応する復号データを生成する生成手段と、
   該生成手段で生成された第１のグループに属するサブバンドの復号データと、前記第２の復号手段で得られた第２グループに属するサブバンドの復号データとに基づいて、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元手段と
   を備えることを特徴とする動画像復号装置。
9. 請求項８の動画像復号装置が請求項３の動画像符号化装置より符号化された動画像データを復号する場合であって、
   更に、前記第２の符号化データ中の、下位ビットプレーンから上位に向かうビットプレーンの所定数の符号化データを復号対象外に設定する設定手段を備えることを特徴とする請求項８に記載の動画像復号装置。
10. 前記設定手段は、従前の１フレームの復元に要する時間を計時し、当該計時した時間値に基づいて、各サブバンド毎に、復号対象外のビットプレーン数を設定することを特徴とする請求項９に記載の動画像復号装置。
11. 請求項１乃至４のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置の制御方法であって、
    入力したフレームの符号化データを、前記第１のグループ、第２のグループのそれぞれに対応する第１の符号化データ、第２の符号化データに分離する分離工程と、
    分離された第１の符号化データを復号して得られた現フレームの前記第１のグループに属するサブバンドの前記上位所定ビットの差分値及び動きベクトル情報と、従前のフレームにおける前記第１のグループに対応する前記上位所定ビットによる復号データとに基づき、現フレームの前記第１グループに属するサブバンドの前記上位ビットの復号データを生成する第１の復号工程と、
    前記第２の符号化データを復号する第２の復号工程と、
    該第２の復号工程で得られた前記第１のグループの下位ビットの復号データと、前記第１の復号工程で得られた上位ビットの復号データとを合成することで現フレームの第１のグループに対応する復号データを生成する生成工程と、
    該生成工程で生成された第１のグループに属するサブバンドの復号データと、前記第２の復号工程で得られた第２グループに属するサブバンドの復号データとに基づいて、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元工程と
    を備えることを特徴とする動画像復号装置の制御方法。
12. コンピュータが読み込み実行することで、請求項１乃至４のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置として機能するコンピュータプログラムであって、
    入力したフレームの符号化データを、前記第１のグループ、第２のグループのそれぞれに対応する第１の符号化データ、第２の符号化データに分離する分離手段と、
    分離された第１の符号化データを復号して得られた現フレームの前記第１のグループに属するサブバンドの前記上位所定ビットの差分値及び動きベクトル情報と、従前のフレームにおける前記第１のグループに対応する前記上位所定ビットによる復号データとに基づき、現フレームの前記第１グループに属するサブバンドの前記上位ビットの復号データを生成する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と、
    該第２の復号手段で得られた前記第１のグループの下位ビットの復号データと前記第１の復号手段で得られた上位ビットの復号データとを合成することで現フレームの第１のグループに対応する復号データを生成する生成手段と、
    該生成手段で生成された第１のグループに属するサブバンドの復号データと、前記第２の復号手段で得られた第２グループに属するサブバンドの復号データとに基づいて、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元手段
    として機能するコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
14. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置であって、
    フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
    各サブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出手段と、
    各サブバンドを構成する周波数成分係数データの下位の所定ビット数のデータを非動き補償対象データとして抽出する第２の抽出手段と、
    前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
    該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
    該第２の抽出手段で抽出された各周波数成分係数データの下位所定ビット数のデータを符号化する第２の符号化手段と、
    前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段と
    を備えることを特徴とする動画像符号化装置。
15. 前記分解手段は、離散ウェーブレット変換方法に基づいて複数のサブバンドに分解する手段であることを特徴とする請求項１４に記載の動画像符号化装置。
16. 前記第２の符号化手段は、周波数成分データを表わすビット位置毎のビットプレーン単位、もしくはサブビットプレーン単位に符号化することを特徴とする請求項１４又は１５に記載の動画像符号化装置。
17. 前記第２の符号化手段は、生成される符号量に基づいて、非符号化対象となるビットプレーンとして、最下位のビットから上位に向かう順番に選択する選択手段を含み、
    該選択手段で選択されたビットプレーンを除くビットプレーンを符号化することを特徴とする請求項１６に記載の動画像符号化装置。
18. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置の制御方法であって、
    フレームを周波数成分の異なる複数のサブバンドに分解する分解工程と、
    各サブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出工程と、
    各サブバンドを構成する周波数成分係数データの下位の所定ビット数のデータを非動き補償対象データとして抽出する第２の抽出工程と、
    前記第１の抽出工程で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償工程と、
    該動き補償工程で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と前記動きベクトル情報を符号化する第１の符号化工程と、
    該第２の抽出工程で抽出された各周波数成分係数データの下位所定ビット数のデータを符号化する第２の符号化工程と、
    前記第１、第２の符号化工程で得られた符号化データを多重化する多重化工程と
    を備えることを特徴とする動画像符号化装置の制御方法。
19. コンピュータが読み込み実行することで、動画像データを構成する時系列なフレームを符号化する動画像符号化装置として機能するコンピュータプログラムであって、
    フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
    各サブバンドを構成する周波数成分係数データの上位の所定ビット数のデータを動き補償対象データとして抽出する第１の抽出手段と、
    各サブバンドを構成する周波数成分係数データの下位の所定ビット数のデータを非動き補償対象データとして抽出する第２の抽出手段と、
    前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
    該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
    該第２の抽出手段で抽出された各周波数成分係数データの下位所定ビット数のデータを符号化する第２の符号化手段と、
    前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段
    として機能することを特徴とするコンピュータプログラム。
20. 請求項１９に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
21. 請求項１４乃至１７のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置であって、
    入力したフレームの符号化データを、動き補償対象データに対応する第１の符号化データと、非動き補償対象データに対応する第２の符号化データに分離する分離手段と、
    分離された第１の符号化データを復号して得られた現フレームの各サブバンド毎の前記上位所定ビットの差分値及び動きベクトル情報と、従前のフレームにおける動き補償データの復号データとに基づき、現フレームの各サブバンド毎の上位ビットの復号データを生成する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と、
    該第２の復号手段で得られた各サブバンドの下位ビットの復号データと前記第１の復号手段で得られた各サブバンドの上位ビットの復号データとを合成することで、現フレームの各サブバンドの周波数成分データを生成する生成手段と、
    該生成手段で生成されたサブバンドの周波数成分データを、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元手段と
    を備えることを特徴とする動画像復号装置。
22. 請求項２１の動画像復号装置が請求項１６の動画像符号化装置より符号化された動画像データを復号する場合であって、
    更に、前記第２の符号化データ中の、下位ビットプレーンから上位に向かうビットプレーンの所定数の符号化データを復号対象外に設定する設定手段を備えることを特徴とする動画像復号装置。
23. 前記設定手段は、従前の１フレームの復元に要する時間を計時し、当該計時した時間値が第１の閾値より大きい場合、高周波成分から低周波成分に向かうサブバンドに対して、復号対象外のビットプレーン数を増加し、計時した時間値が第２の閾値より小さい場合、低周波から低周波成分に向かうサブバンドに対して、復号対象外のビットプレーン数を低周波成分から高周波成分に向かうサブバンドに対して、復号対象外のビットプレーン数を減じることを特徴とする請求項２２に記載の動画像復号装置。
24. 請求項１４乃至１７のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置の制御方法であって、
    入力したフレームの符号化データを、動き補償対象データに対応する第１の符号化データと、非動き補償対象データに対応する第２の符号化データに分離する分離工程と、
    分離された第１の符号化データを復号して得られた現フレームの各サブバンド毎の前記上位所定ビットの差分値及び動きベクトル情報と、従前のフレームにおける動き補償データの復号データとに基づき、現フレームの各サブバンド毎の上位ビットの復号データを生成する第１の復号工程と、
    前記第２の符号化データを復号する第２の復号工程と、
    該第２の復号工程で得られた各サブバンドの下位ビットの復号データと前記第１の復号手段で得られた各サブバンドの上位ビットの復号データとを合成することで、現フレームの各サブバンドの周波数成分データを生成する生成工程と、
    該生成工程で生成されたサブバンドの周波数成分データを、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元工程と
    を備えることを特徴とする動画像復号装置の制御方法。
25. コンピュータが読み込み実行することで、請求項１４乃至１７のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置として機能するコンピュータプログラムであって、
    入力したフレームの符号化データを、動き補償対象データに対応する第１の符号化データと、非動き補償対象データに対応する第２の符号化データに分離する分離手段と、
    分離された第１の符号化データを復号して得られた現フレームの各サブバンド毎の前記上位所定ビットの差分値及び動きベクトル情報と、従前のフレームにおける動き補償データの復号データとに基づき、現フレームの各サブバンド毎の上位ビットの復号データを生成する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と、
    該第２の復号手段で得られた各サブバンドの下位ビットの復号データと前記第１の復号手段で得られた各サブバンドの上位ビットの復号データとを合成することで、現フレームの各サブバンドの周波数成分データを生成する生成手段と、
    該生成手段で生成されたサブバンドの周波数成分データを、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元手段
    として機能することを特徴とするコンピュータプログラム。
26. 請求項２５に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
27. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置であって、
    フレームを離散ウェーブレット変換して複数のサブバンドの情報を得る離散ウェーブレット変換手段と、
    該離散ウェーブレット変換手段で得られた低周波成分のサブバンドで構成される第１のグループについては、従前のフレームの符号化した際の第１のグループに含まれる各サブバンドの復号データに基づいて動き補償符号化するフレーム間符号化手段と、
    前記低周波成分より高い周波数成分のサブバンドで構成される第２のグループについては、現フレーム内で符号化するフレーム内符号化手段と、
    前記フレーム間符号化手段及び前記フレーム内符号化手段で符号化されたそれぞれの符号化データを多重化する多重化手段と
    を備えることを特徴とする動画像符号化装置。
28. 動画像データを構成する時系列なフレームを符号化する動画像符号化方法であって、
    フレームを離散ウェーブレット変換して複数のサブバンドの情報を得る離散ウェーブレット変換工程と、
    該離散ウェーブレット変換工程で得られた低周波成分のサブバンドで構成される第１のグループについては、従前のフレームの符号化した際の第１のグループに含まれる各サブバンドの復号データに基づいて動き補償符号化するフレーム間符号化工程と、
    前記低周波成分より高い周波数成分のサブバンドで構成される第２のグループについては、現フレーム内で符号化するフレーム内符号化工程と、
    前記フレーム間符号化工程及び前記フレーム内符号化工程で符号化されたそれぞれの符号化データを多重化する多重化工程と
    を備えることを特徴とする動画像符号化方法。
29. 請求項２８に記載の動画像符号化方法による符号化データを復号する動画像復号装置であって、
    入力した符号化データから、フレーム間符号化データと、フレーム内符号化データに分離する分離手段と、
    分離したフレーム間符号化データを動き補償付きで復号し、低周波成分のサブバンドのデータを生成するフレーム間復号手段と、
    分離したフレーム内符号化データをフレーム内復号し、前記低周波成分より高周波のサブバンドのデータを生成するフレーム内復号手段と、
    前記フレーム間復号手段、前記フレーム内復号手段で得られたサブバンドのデータを逆離散ウェーブレット変換して現フレームの画像を復元する復元手段と
    を備えることを特徴とする動画像復号装置。
30. 請求項２８に記載の動画像符号化方法による符号化データを復号する動画像復号方法であって、
    入力した符号化データから、フレーム間符号化データと、フレーム内符号化データに分離する分離工程と、
    分離したフレーム間符号化データを動き補償付きで復号し、低周波成分のサブバンドのデータを生成するフレーム間復号工程と、
    分離したフレーム内符号化データをフレーム内復号し、前記低周波成分より高周波のサブバンドのデータを生成するフレーム内復号工程と、
    前記フレーム間復号工程、前記フレーム内復号工程で得られたサブバンドのデータを逆離散ウェーブレット変換して現フレームの画像を復元する復元工程と
    を備えることを特徴とする動画像復号方法。
31. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置であって、
    フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
    サブバンド毎に定められる閾値をＴＢとして、各サブバンドを構成する周波数成分係数データの下位ＴＢビットを除く、上位ビットのデータを動き補償対象データとして抽出する第１の抽出手段と、
    各サブバンドを構成する周波数成分係数データの下位のＴＢビットのデータを非動き補償対象データとして抽出する第２の抽出手段と、
    前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
    該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
    該第２の抽出手段で抽出された各周波数成分係数データの下位ＴＢビットのデータを符号化する第２の符号化手段と、
    前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段と
    を備えることを特徴とする動画像符号化装置。
32. 前記分解手段は、離散ウェーブレット変換方法に基づいて複数のサブバンドに分解する手段であることを特徴とする請求項３１に記載の動画像符号化装置。
33. 前記第２の符号化手段は、周波数成分データを表わすビット位置毎のビットプレーン単位、もしくはサブビットプレーン単位に符号化することを特徴とする請求項３１又は３２に記載の動画像符号化装置。
34. 前記第２の符号化手段は、生成される符号量に基づいて、非符号化対象となるビットプレーンとして、最下位のビットから上位に向かう順番に選択する選択手段を含み、
    該選択手段で選択されたビットプレーンを除くビットプレーンを符号化することを特徴とする請求項３３に記載の動画像符号化装置。
35. 前記サブバンド毎に定められる閾値ＴＢは低周波成分のサブバンドでは０であることを特徴とする請求項３１乃至３４のいずれか１つに記載の動画像符号化装置。
36. 動画像データを構成する時系列なフレームを符号化する動画像符号化装置の制御方法であって、
    フレームを周波数成分の異なる複数のサブバンドに分解する分解工程と、
    サブバンド毎に定められる閾値をＴＢとして、各サブバンドを構成する周波数成分係数データの下位ＴＢビットを除く、上位ビットのデータを動き補償対象データとして抽出する第１の抽出工程と、
    各サブバンドを構成する周波数成分係数データの下位のＴＢビットのデータを非動き補償対象データとして抽出する第２の抽出工程と、
    前記第１の抽出工程で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償工程と、
    該動き補償工程で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と前記動きベクトル情報を符号化する第１の符号化工程と、
    該第２の抽出工程で抽出された各周波数成分係数データの下位ＴＢビットのデータを符号化する第２の符号化工程と、
    前記第１、第２の符号化工程で得られた符号化データを多重化する多重化工程と
    を備えることを特徴とする動画像符号化装置の制御方法。
37. コンピュータが読み込み実行することで、動画像データを構成する時系列なフレームを符号化する動画像符号化装置として機能するコンピュータプログラムであって、
    フレームを周波数成分の異なる複数のサブバンドに分解する分解手段と、
    サブバンド毎に定められる閾値をＴＢとして、各サブバンドを構成する周波数成分係数データの下位ＴＢビットを除く、上位ビットのデータを動き補償対象データとして抽出する第１の抽出手段と、
    各サブバンドを構成する周波数成分係数データの下位のＴＢビットのデータを非動き補償対象データとして抽出する第２の抽出手段と、
    前記第１の抽出手段で抽出された現フレームの動き補償対象データと、従前のフレームの符号化する際に得られた動き補償対象データに対応する復号データとに基づき、動きベクトル情報並びに予測値情報を生成する動き補償手段と、
    該動き補償手段で生成された予測値情報と現フレームにおける動き補償対象データとの差分値を求め、当該差分値と動きベクトル情報を符号化する第１の符号化手段と、
    該第２の抽出手段で抽出された各周波数成分係数データの下位ＴＢビットのデータを符号化する第２の符号化手段と、
    前記第１、第２の符号化手段で得られた符号化データを多重化する多重化手段
    として機能することを特徴とするコンピュータプログラム。
38. 請求項３７に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。
39. 請求項３１乃至３５のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置であって、
    入力したフレームの符号化データを、動き補償対象データに対応する第１の符号化データと、非動き補償対象データに対応する第２の符号化データに分離する分離手段と、
    分離された第１の符号化データを復号して得られた現フレームの各サブバンド毎の前記上位ビットのデータの差分値及び動きベクトル情報と、従前のフレームにおける動き補償データの復号データとに基づき、現フレームの各サブバンド毎の上位ビットの復号データを生成する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と、
    該第２の復号手段で得られた各サブバンドの下位ビットの復号データと前記第１の復号手段で得られた各サブバンドの上位ビットの復号データとを合成することで、現フレームの各サブバンドの周波数成分データを生成する生成手段と、
    該生成手段で生成されたサブバンドの周波数成分データを、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元手段と
    を備えることを特徴とする動画像復号装置。
40. 請求項３９の動画像復号装置が請求項３３の動画像符号化装置より符号化された動画像データを復号する場合であって、
    更に、前記第２の符号化データ中の、下位ビットプレーンから上位に向かうビットプレーンの所定数の符号化データを復号対象外に設定する設定手段を備えることを特徴とする動画像復号装置。
41. 前記設定手段は、従前の１フレームの復元に要する時間を計時し、当該計時した時間値が第１の閾値より大きい場合、高周波成分から低周波成分に向かうサブバンドに対して、復号対象外のビットプレーン数を増加し、計時した時間値が第２の閾値より小さい場合、低周波から低周波成分に向かうサブバンドに対して、復号対象外のビットプレーン数を低周波成分から高周波成分に向かうサブバンドに対して、復号対象外のビットプレーン数を減じることを特徴とする請求項４０に記載の動画像復号装置。
42. 請求項３１乃至３５のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置の制御方法であって、
    入力したフレームの符号化データを、動き補償対象データに対応する第１の符号化データと、非動き補償対象データに対応する第２の符号化データに分離する分離工程と、
    分離された第１の符号化データを復号して得られた現フレームの各サブバンド毎の前記上位ビットのデータの差分値及び動きベクトル情報と、従前のフレームにおける動き補償データの復号データとに基づき、現フレームの各サブバンド毎の上位ビットの復号データを生成する第１の復号工程と、
    前記第２の符号化データを復号する第２の復号工程と、
    該第２の復号工程で得られた各サブバンドの下位ビットの復号データと前記第１の復号手段で得られた各サブバンドの上位ビットの復号データとを合成することで、現フレームの各サブバンドの周波数成分データを生成する生成工程と、
    該生成工程で生成されたサブバンドの周波数成分データを、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元工程と
    を備えることを特徴とする動画像復号装置の制御方法。
43. コンピュータが読み込み実行することで、請求項３１乃至３５のいずれか１つに記載の動画像符号化装置で符号化された動画像データを復号する動画像復号装置として機能するコンピュータプログラムであって、
    入力したフレームの符号化データを、動き補償対象データに対応する第１の符号化データと、非動き補償対象データに対応する第２の符号化データに分離する分離手段と、
    分離された第１の符号化データを復号して得られた現フレームの各サブバンド毎の前記上位ビットのデータの差分値及び動きベクトル情報と、従前のフレームにおける動き補償データの復号データとに基づき、現フレームの各サブバンド毎の上位ビットの復号データを生成する第１の復号手段と、
    前記第２の符号化データを復号する第２の復号手段と、
    該第２の復号手段で得られた各サブバンドの下位ビットの復号データと前記第１の復号手段で得られた各サブバンドの上位ビットの復号データとを合成することで、現フレームの各サブバンドの周波数成分データを生成する生成手段と、
    該生成手段で生成されたサブバンドの周波数成分データを、前記分解手段と逆の処理を行うことで現フレームの画像を復元する復元手段
    として機能することを特徴とするコンピュータプログラム。
44. 請求項４３に記載のコンピュータプログラムを格納したことを特徴とするコンピュータ可読記憶媒体。

Images