JP4174254B2 - 動画像符号化装置及び動画像復号装置並びにそれらの方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像データの符号化又は復号を好適に行う動画像符号化装置及び動画像復号装置並びにそれらの方法に関する。
【０００２】
【従来の技術】
従来、動画像データは、種々の制約からインターレース画像として取り扱われることが一般的であった。しかしながら、撮像デバイス、記憶デバイス、表示デバイス等の高性能化による従来からの制約の解消と、動画像データの高画質化の要求の高まりに伴って、プログレッシブ（ノンインターレース）画像として取り扱われることが多くなってきている。例えば、パーソナルコンピュータのモニタが、一般にプログレッシブ表示を行うため、パーソナルコンピュータで動画像を取り扱う場合にはプログレッシブ画像が適しているという事実もその要因の一つであろう。
【０００３】
一般に、動画像データの符号化方式は、フレーム間の相関を利用するものとしないものとに大別することができる。それぞれの方式には長所及び短所が存在し、どちらの方式が適しているかということは使用するアプリケーション次第である。例えば、Motion JPEGは、動画像データの各フレームを一枚の静止画像としてとらえて独立に符号化する方式であり、フレーム間の相関を用いない符号化方式の一例である。フレーム毎に独立に符号化することによって、復号側の処理能力に応じて復号フレーム数を選択して復号することが可能であるという利点がある。
【０００４】
近年、動画像データをフレーム毎独立に符号化する符号化方式において、各フレームをウェーブレット変換とビットプレーン符号化とを組み合わせて符号化する方式が注目を集めている。このような動画像符号化方式には、ウェーブレット変換におけるサブバンド分解の仕組みを利用して空間解像度を段階的に変えた復号が可能であること、また、復号ビットプレーン数を変えることにより、復号画素精度を段階的に変更することが可能である等の大きな特徴がある。
【０００５】
一方、ISO/IEC JTC1/SC29/WG1で標準化作業が進められている画像符号化方式であるJPEG2000(ISO／IEC 15444)もウェーブレット変換とビットプレーン符号化との組み合わせにより構成されている。同標準のPart3では、動画像の各フレームの符号化に適用した場合のファイルフォーマットの規定を行っている。
【０００６】
図１８は、ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を使用した従来の画像符号化装置の構成を示すブロック図である。図１８を用いて、従来の画像符号化装置における符号化処理の流れについて簡単に説明する。図１８に示すように、従来の画像符号化装置は、画像入力部２０１、離散ウェーブレット変換部２０２、係数量子化部２０３、ビットプレーン符号化部２０４、符号列形成部２０５及び符号出力部２０６を備えている。
【０００７】
まず、符号化対象となる画像データが画像入力部２０１から本装置に入力される。入力された符号化対象となる画像データは、離散ウェーブレット変換部２０２で複数の周波数帯域（サブバンド）に分割される。画像データのウェーブレット変換の方法としては、まず１次元の変換処理を水平、垂直方向にそれぞれに適用して４つのサブバンドに分割する方法が用いられる。そして、さらに低周波サブバンド（サブバンドＬＬ）のみを繰り返して分割する方法が一般的である。
【０００８】
次に、係数量子化部２０３は、各サブバンドの係数をサブバンド毎に定めた量子化ステップで量子化する。さらに、ビットプレーン符号化部２０４では、量子化された各サブバンドの変換係数を矩形の小領域（以下、「コードブロック」と称す。）に分割し、コードブロック毎に変換係数の上位ビットから下位ビットへとビットプレーン方向を優先して符号化を行う。尚、ビットプレーン中の各ビットを符号化する際には、符号化済みの情報からいくつかの状態（コンテクスト）に分類し、それぞれ異なる出現確率予測モデルで符号化する。
【０００９】
その後、符号列形成部２０５では、ビットプレーン符号化部２０４で生成されたコードブロック符号化データを所定の順序で並べて符号列が生成される。生成された符号列は、符号出力部２０６から画像符号化装置外部へと出力される。
【００１０】
一方、離散ウェーブレット変換部２０２において２次元のウェーブレット変換を２回施し、低周波サブバンドＬＬから高周波サブバンドＨＨ２へと順々に各サブバンドの係数を符号化して画像復号装置に伝送した場合、復号側ではサブバンドＬＬの係数を受信した段階で元の１／４の解像度の復元画像を得ることができる。また、サブバンドＬＬ、ＬＨ１、ＨＬ１、ＨＨ１の係数を受信した段階で元の１／２の解像度の復元画像を得ることができる。さらに、サブバンドＬＨ２、ＨＬ２、ＨＨ２までの係数を受信した場合には、元の解像度の復元画像を得ることができるというように、徐々に解像度を上げて画像を復号することができる。
【００１１】
また、ビットプレーン符号化部２０４で得られる各コードブロックのビットプレーン符号化データを上位のビットから下位のビットへと伝送した場合、復号側では徐々に精度を上げて各サブバンドの変換係数を復元することができる。これによって、伝送の初期状態では荒い画質で復号することが可能であり、伝送が進むにつれて高画質に改善するように復号することが可能である。
【００１２】
【発明が解決しようとする課題】
しかしながら、依然として、動画像データをプログレッシブ画像として扱うことに対応していないテレビでの画像表示要求がある。この場合は、プログレッシブ画像からインターレース画像を生成して出力することが求められる。
【００１３】
このような場合、上述した従来の画像符号化及び画像復号方式では、一旦、１フレーム分のデータを復号した後で、偶数ライン又は奇数ラインをフィールドとして取り出して出力する必要があり、出力する必要のないラインのデータも復号しなければならないという問題があった。
【００１４】
本発明は、このような事情を考慮してなされたものであり、プログレッシブ画像の符号化データから効率よくインターレース画像を復号することができる動画像符号化装置及び動画像復号装置並びにそれらの方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するため、本発明の動画像符号化装置は以下の構成を備える。すなわち、
ノンインターレースの動画像データを符号化する動画像符号化装置であって、
ノンインターレースの動画像データを入力する入力手段と、
前記動画像データを構成する奇数番目のフレームに対し、分解フィルタを垂直、水平方向に適用することで、周波数変換して複数のサブバンドに分解する第１のサブバンド分解手段と、
前記動画像データを構成する偶数番目のフレームを垂直、水平方向に適用することで、周波数変換し複数のサブバンドに分解する第２のサブバンド分解手段であって、着目する偶数番目のフレームの最初の垂直方向にサブバンド分解する際に適用する前記分解フィルタを適用する位置を、前記第１のサブバンド分解手段における奇数番目のフレームの最初の垂直方向にサブバンド分解する際に適用する前記分解フィルタを適用する位置に対して、１ライン分ずらす第２のサブバンド分解手段と、
前記第１、第２のサブバンド分解手段で得られた複数のサブバンドに分解されたフレームを符号化する符号化手段と、
該符号化手段で生成されたフレームの符号化データを出力する出力手段とを備える。
【００１８】
さらに、本発明は、ノンインターレースの動画像データを符号化する動画像符号化装置であって、ノンインターレースの動画像データを入力する入力手段と、前記動画像データの所定フレームの次フレームを垂直方向に１ラインデータ分シフトさせたフレームを生成するラインシフト手段と、前記所定フレーム及び１ラインデータ分シフトされたフレームを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、複数のサブバンドに分解されたフレームを符号化する符号化手段と、符号化されたフレームを出力する出力手段とを備えることを特徴とする。
【００１９】
さらにまた、本発明に係る動画像符号化装置は、前記サブバンド分解手段が、２次元離散ウェーブレット変換を用いてそれぞれのフレームを複数のサブバンドに分解することを特徴とする。
【００２０】
さらにまた、本発明における前記動画像符号化装置を用いて符号化された動画像データから、ノンインターレース又はインターレース画像データを復号する動画像復号装置は以下の構成を備える。すなわち、
上記動画像符号化装置を用いて符号化された動画像符号化データを復号する動画像復号装置であって、
前記動画像符号化データをインターレース又はノンインターレースのいずれで復号するかを選択する選択手段と、
該選択手段により、ノンインターレースで復号することが選択された場合、フレームの全周波数成分のサブバンドの符号化データを入力し、前記選択手段によりインターレースで復号することが選択された場合、フレームの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力する入力手段と、
前記入力手段で入力した各サブバンドの符号化データを復号するサブバンド復号手段と、
該サブバンド復号手段で復号したサブバンドを合成して、フレームの画像データ、又は、１フレームの垂直方向の１／２の大きさの画像データを生成する合成手段と、
画像データ中の各ラインを、符号化処理時とは逆方向に１ライン分だけシフトするシフト手段と、
前記選択手段でノンインターレースで復号することが選択された場合、前記合成手段で得られる、連続する２つフレームの画像データを第１のフレーム、第２のフレームとしたとき、前記第１のフレームの画像データについてはノンインターレースのフレームの画像データとして出力し、前記第２のフレームの画像データについては、前記シフト手段によりシフトした結果の画像をノンインターレースのフレームの画像データとして出力し、
前記選択手段でインターレースで復号することが選択された場合、前記合成手段で得られた画像データを、インターレースのフィールドの画像データとして出力する出力手段とを備える。
【００２２】
さらにまた、本発明は、前記動画像符号化装置を用いて符号化された動画像データから、インターレース画像データを復号する動画像復号装置であって、前記動画像データの所定フレーム及び該所定フレームの次フレームに関する前記符号化データを入力する入力手段と、前記符号化データから所定のサブバンドを復号するサブバンド復号手段と、前記符号化データから復号された所定のサブバンドを合成して所定フレーム及び該所定フレームの次フレームを復元するサブバンド合成手段と、前記所定フレームの次フレームのラインデータを１ラインシフトするラインシフト手段と、前記所定フレームから奇数フィールドを出力し、１ラインシフトされた次フレームから偶数フィールドを出力する出力手段とを備えることを特徴とする。
【００２３】
さらにまた、本発明に係る動画像復号装置は、前記符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示する指示手段をさらに備え、インターレースで復号する指示がされた場合、前記入力手段は、所定の高周波成分の符号化データを含まない符号化データのみを入力することを特徴とする。
【００２４】
さらにまた、本発明に係る動画像復号装置は、前記符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示する指示手段をさらに備え、ノンインターレースで復号する指示がされた場合、前記入力手段は、すべての符号化データを入力し、前記出力手段は、入力された符号化データから復元された所定フレーム及び該所定フレームの次フレームを出力することを特徴とする。
【００２５】
【発明の実施の形態】
以下、図面を参照して、本発明の一実施形態による動画像符号化装置及び動画像復号装置について説明する。
【００２６】
＜第１の実施形態＞
[動画像符号化装置]
図１は、本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。図１に示すように、動画像符号化装置は、動画像データ入力部１０１、スイッチ１０２、離散ウェーブレット変換部１０３、１０４、係数量子化部１０５、ビットプレーン符号化部１０６、符号列形成部１０７及び二次記憶装置１０８を備えている。
【００２７】
次に、図１に示される第１の実施形態における動画像符号化装置の各構成要素の動作について詳細に説明する。尚、本実施形態では、１秒あたり６０フレームであって、１画素の輝度値が８ビットのモノクロ動画像データを４秒分（合計２４０フレーム）が動画像符号化装置に取り込まれ、符号化されるものとして説明する。すなわち、本実施形態による動画像符号化装置では、動画像データ入力部１０１から入力される１秒あたり６０フレームの動画像データをフレーム単位として符号化し、最終的に二次記憶装置１０８に符号化データ列を格納するものである。
【００２８】
まず、動画像データ入力部１０１から１秒あたり６０フレームであって、４秒分の動画像データが入力される。動画像データ入力部１０１は、例えばディジタルカメラ等の撮像部分であって、ＣＣＤ等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路とによって実現することが可能である。動画像データ入力部１０１は、入力された動画像データを１フレームずつスイッチ１０２に送る。尚、以降の説明において、便宜上各フレームデータには、入力された順に１から番号を与えて、例えばフレーム１、フレーム２、…というような番号で各フレームを識別するようにする。また、各フレームにおける水平方向の位置（座標）をｘ、垂直方向の位置をｙ、位置（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）で表す。
【００２９】
スイッチ１０２は、動画像データ入力部１０１から入力されたフレームデータを、フレームの番号に応じて接続を切り替えることにより、離散ウェーブレット変換部１０３又は離散ウェーブレット変換部１０４のいずれかに送る。本実施形態では、スイッチ１０２は、入力されたフレームが奇数フレームの場合には離散ウェーブレット変換部１０３に接続し、偶数フレームの場合には離散ウェーブレット変換部１０４へ接続するものとする。
【００３０】
離散ウェーブレット変換部１０３に入力された奇数フレームのデータ及び離散ウェーブレット変換部１０４に入力された偶数フレームのデータは、それぞれ不図示の内部バッファに適宜格納され、２次元離散ウェーブレット変換される。２次元離散ウェーブレット変換は、１次元の離散ウェーブレット変換を水平及び垂直方向それぞれに適用することにより実現するものである。図２は、２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【００３１】
すなわち、図２（ａ）に示されるような符号化対象画像に対して、まず垂直方向に１次元離散ウェーブレット変換を適用し、図２（ｂ）に示されるように低周波サブバンドＬと高周波サブバンドＨとに分解する。次に、それぞれのサブバンドに対して水平方向の１次元離散ウェーブレット変換を適用することにより、図２（ｃ）に示されるようなＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分解する。
【００３２】
本実施形態における離散ウェーブレット変換部１０３、１０４では、上述した２次元離散ウェーブレット変換により得られたサブバンドＬＬに対して、繰り返し２次元離散ウェーブレット変換を適用する。これによって、符号化対象画像をＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２の７つのサブバンドに分解することができる。図３は、２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。
【００３３】
尚、本実施形態では、各サブバンド内の係数をＣ（Ｓ，ｘ，ｙ）と表す。ここで、Ｓはサブバンドの種類を表し、ＬＬ、ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２のいずれかである。また、（ｘ，ｙ）は各サブバンド内の左上隅の係数位置を（０，０）としたときの水平方向及び垂直方向の係数位置（座標）を表す。
【００３４】
尚、離散ウェーブレット変換部１０３と離散ウェーブレット変換部１０４は、フレームデータに対して最初に適用される垂直方向の１次元離散ウェーブレット変換の方法が異なるのみであって、その後の水平方向の変換及びサブバンドＬＬをさらに分解する方法は両者とも同一である。
【００３５】
本実施形態では、離散ウェーブレット変換部１０４における最初の垂直方向への１次元離散ウェーブレット変換を除き、離散ウェーブレット変換部１０３、１０４におけるＮ個の１次元信号ｘ（ｎ）に対する１次元離散ウェーブレット変換は、式（１）、（２）を用いて行われる。
【００３６】
ｈ（ｎ）＝ｘ（２ｎ＋１）
−ｆｌｏｏｒ｛（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２｝ （１）
ｌ（ｎ）＝ｘ（２ｎ）
＋ｆｌｏｏｒ｛（ｈ（ｎ−１）＋ｈ（ｎ）＋２）／４｝ （２）
但し、ｎは０〜Ｎ−１の整数とする。
【００３７】
また、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。尚、式（１）、（２）の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）におけるｘ（ｎ）は、公知の方法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。
【００３８】
また、離散ウェーブレット変換部１０４における最初の垂直方向の１次元離散ウェーブレット変換では、Ｎ個の１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）に対する式（３）、（４）により、低周波サブバンドの係数ｌ（ｎ）、高周波サブバンドの係数ｈ（ｎ）が求められる。
【００３９】
ｈ（ｎ）＝ｘ（２ｎ）
−ｆｌｏｏｒ｛（ｘ（２ｎ−１）＋ｘ（２ｎ＋１））／２｝ （３）
ｌ（ｎ）＝ｘ（２ｎ＋１）
＋ｆｌｏｏｒ｛（ｈ（ｎ）＋ｈ（ｎ＋１）＋２）／４｝ （４）
尚、１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）については、上記の場合と同様に公知の方法を用いて１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。
【００４０】
図４は、離散ウェーブレット変換部１０３と離散ウェーブレット変換部１０４における分解要領の違いを説明するための図である。図４（ａ）は、離散ウェーブレット変換部１０３で適用される方式を示しており、図４（ｂ）は、離散ウェーブレット変換部１０４で適用される方式を示している。尚、図４において無地の丸印は符号化対象のフレームデータの垂直方向１列からの画素データ、斜線パターンの丸印は高周波サブバンドの係数、ドットパターンの丸印は低周波サブバンドの係数を表している。また、各丸印を結ぶ線は、低周波及び高周波それぞれの係数を求めるために参照するデータの関係を示したものである。
【００４１】
図４（ａ）に示すように、離散ウェーブレット変換部１０３では、ｘ（２ｎ）を中心として垂直方向に連続する５つの信号から低周波サブバンドの係数ｌ（ｎ）を求めている。これに対して、離散ウェーブレット変換部１０４では、ｘ（２ｎ＋１）を中心とする５つの信号から低周波サブバンドの係数ｌ（ｎ）が生成されており、両者は垂直方向で１信号分（１ライン分）ずれている。
【００４２】
また、係数量子化部１０５では、離散ウェーブレット変換部１０３、１０４により生成される各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）が、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）を用いて量子化される。ここで、量子化された係数値をＱ（Ｓ，ｘ，ｙ）と表す場合、係数量子化部１０５で行われる量子化処理は式（５）により表すことができる。
【００４３】
Ｑ（Ｓ，ｘ，ｙ）＝ｓｉｇｎ｛Ｃ（Ｓ，ｘ，ｙ）｝
×ｆｌｏｏｒ｛｜Ｃ（Ｓ，ｘ，ｙ）｜／ｄｅｌｔａ（Ｓ）｝ （５）ここで、ｓｉｇｎ｛Ｉ｝は整数Ｉの正負符号を表す関数であり、Ｉが正の場合は１を、負の場合は−１を返すものとする。また、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。
【００４４】
また、ビットプレーン符号化部１０６は、係数量子化部１０５において量子化された係数値Ｑ（Ｓ，ｘ，ｙ）を符号化し、符号列を生成する。尚、各サブバンドの係数をブロック分割し、別々に符号化することによりランダムアクセスを容易にする方法など符号化手法として様々な手法が提案されているが、ここでは説明を簡単にするためにサブバンド単位に符号化することとする。
【００４５】
各サブバンドの量子化された係数値Ｑ（Ｓ，ｘ，ｙ）（以降、単に「係数値」と称す。）の符号化は、サブバンド内の係数値Ｑ（Ｓ，ｘ，ｙ）の絶対値を自然２進数で表現し、上位の桁から下位の桁へとビットプレーン方向を優先して二値算術符号化することにより行われる。各サブバンドの係数値Ｑ（Ｓ，ｘ，ｙ）を自然２進表記した場合の下からｎ桁目のビットをＱｎ（ｘ，ｙ）と表記して説明する。尚、２進数の桁を表す変数ｎをビットプレーン番号と呼ぶこととし、ビットプレーン番号ｎはＬＳＢ（最下位ビット）を０桁目とする。
【００４６】
図５は、ビットプレーン符号化部１０６でサブバンドＳを符号化する処理手順を説明するためのフローチャートである。図５に示すように、まず、符号化対象となるサブバンドＳ内の係数の絶対値を調べ、その最大値Ｍａｂｓ（Ｓ）を求める（ステップＳ６０１）。次に、サブバンド内の係数の絶対値の最大値Ｍａｂｓ（Ｓ）を２進数で表現する場合に必要となる桁数Ｎ_ＢＰ（Ｓ）を式（６）を用いて求める（ステップＳ６０２）。
【００４７】
Ｎ_ＢＰ（Ｓ）＝ｃｅｉｌ｛ｌｏｇ_２（Ｍａｂｓ（Ｓ））｝ （６）
但し、ｃｅｉｌ｛Ｒ｝は実数Ｒに等しい、又はそれ以上の最小の整数値を表すものとする。
【００４８】
次に、ビットプレーン番号ｎに有効桁数Ｎ_ＢＰ（Ｓ）を代入する（ステップＳ６０３）。そして、ビットプレーン番号ｎから１を引いてｎ−１を求めてｎに代入する（ステップＳ６０４）。
【００４９】
さらに、ｎ桁目のビットプレーンを二値算術符号を用いて符号化する（ステップＳ６０５）。本実施形態においては、使用する算術符号としてMQ-Coderを用いることとする。このMQ-Coderを用いて、ある状態（コンテクスト）Ｓで発生した二値シンボルを符号化する手順、或いは、算術符号化処理のための初期化手順、終端手順については、静止画像の国際標準ISO/IEC15444-1勧告等に詳細に説明されているのでここでは説明を省略する。
【００５０】
また、本実施形態では、各ビットプレーンの符号化の開始時に算術符号化器を初期化し、終了時に算術符号化器の終端処理を行うものとする。また、個々の係数の最初に符号化される「１」の直後に、その係数の正負符号を０、１で表し、算術符号化する。ここでは、正の場合は０、負の場合は１とする。例えば、係数が−５で、この係数の属するサブバンドＳの有効桁数Ｎ_ＢＰ（Ｓ）が６の場合、係数の絶対値は２進数０００１０１で表され、各ビットプレーンの符号化により上位桁から下位桁へと符号化される。そして、２番目のビットプレーンの符号化時（この場合、上から４桁目）に最初の「１」が符号化され、この直後に正負符号「１」を算術符号化する。
【００５１】
次に、ビットプレーン番号ｎが０であるか否かを判定する（ステップＳ６０６）。その結果、ｎが０、すなわちステップＳ６０５においてＬＳＢプレーンの符号化を行った場合（ＹＥＳ）、サブバンドの符号化処理を終了する。また、それ以外の場合（ＮＯ）、ステップＳ６０４に処理を移す。
【００５２】
上述した処理によって、サブバンドＳの全係数を符号化することができ、各ビットプレーンｎに対応する符号列ＣＳ（Ｓ，ｎ）を生成する。生成した符号列ＣＳ（Ｓ，ｎ）は、符号列形成部１０７に送られ、符号列形成部１０７内の不図示のバッファに一時的に格納される。
【００５３】
符号列形成部１０７では、ビットプレーン符号化部１０６により全サブバンドの係数の符号化が終了して全符号列が内部バッファに格納されると、所定の順序で内部バッファに格納される符号列を読み出す。そして、必要な付加情報を挿入して、１枚のフレームに対応する符号列を形成し、二次記憶装置１０８に格納する。
【００５４】
符号列形成部１０７で生成される最終的な符号列は、ヘッダと、レベル０、レベル１及びレベル２の３つに階層化された符号化データとにより構成される。ここで、レベル０の符号化データは、サブバンドＬＬの係数を符号化して得られるＣＳ（ＬＬ，Ｎ_ＢＰ（ＬＬ）−１）からＣＳ（ＬＬ，０）の符号列で構成される。
【００５５】
また、レベル１は、ＬＨ１、ＨＬ１、ＨＨ１の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ１，Ｎ_ＢＰ（ＬＨ１）−１）からＣＳ（ＬＨ１，０）、ＣＳ（ＨＬ１，Ｎ_ＢＰ（ＨＬ１）−１）からＣＳ（ＨＬ１，０）、及びＣＳ（ＨＨ１，Ｎ_ＢＰ（ＨＨ１）−１）からＣＳ（ＨＨ１，０）で構成される。さらに、レベル２は、ＬＨ２、ＨＬ２、ＨＨ２の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ２，Ｎ_ＢＰ（ＬＨ２）−１）からＣＳ（ＬＨ２，０）、ＣＳ（ＨＬ２，Ｎ_ＢＰ（ＨＬ２）−１）からＣＳ（ＨＬ２，０）、及びＣＳ（ＨＨ２，Ｎ_ＢＰ（ＨＨ２）−１）からＣＳ（ＨＨ２，０）で構成される。図６は、符号列形成部１０７において生成される１枚のフレームデータに対応する符号列の細部構造を示す図である。
【００５６】
また、二次記憶装置１０８は、符号列形成部１０７で生成された各フレームの符号列を格納する。この二次記憶装置１０８は、例えば、ハードディスクやメモリといった記憶装置で実現することが可能である。図７は、二次記憶装置１０８に格納される各フレームの符号列の一例を示す図である。図７に示すように、二次記憶装置１０８に符号列を格納する方法としては、各フレームの順番に並べて１つのファイルとして格納してもよいし、各フレームの符号化データを別々のファイルとして格納してもよい。
【００５７】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関するものであって、ノンインターレースの動画像データの所定フレームを周波数変換して複数のサブバンドに分解し、前記所定フレームの次フレームを垂直方向に１ライン分ずらして周波数変換して複数のサブバンドに分解し、複数のサブバンドに分解されたフレームを符号化することを特徴とする。
【００５８】
また、本発明は、第１及び第２のサブバンド分解工程が、２次元離散ウェーブレット変換を用いてそれぞれのフレームを複数のサブバンドに分解することを特徴とする。
【００５９】
[動画像復号装置]
図８は、上述した本発明に係る第１の実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。図８において、図１に示す動画像符号化装置のブロック図と共通する部分（二次記憶装置１０８）については同じ符号で示し、その説明を省略する。図８に示すように、本実施形態における動画像復号装置は、符号列読み出し部９０１、ビットプレーン復号部９０２、係数逆量子化部９０３、スイッチ９０４、逆離散ウェーブレット変換部９０５、９０６、動画像データ出力部９０７、信号線９０８及び二次記憶装置１０８とを備える。
【００６０】
以下、図８を参照して、本実施形態による動画像符号化装置により生成した符号化データを復号する動画像復号装置の動作手順について説明する。
【００６１】
本実施形態による動画像復号装置は、信号線９０８を通じて装置外部から入力されるインターレース／プログレッシブ（ノンインターレース）切り替え制御信号により、インターレース画像、プログレッシブ画像（ノンインターレース画像）のいずれかを選択して再生することが可能である。本実施形態では、信号線９０８から入力される信号値は「０」又は「１」のいずれかであって、例えば、「０」が入力された場合はインターレース画像を出力し、「１」が入力された場合はプログレッシブ画像を出力するものとする。
【００６２】
動画像データの復号は、符号化データ中のフレームを単位に行われる。そこで、符号列読み出し部９０１は、二次記憶装置１０８に格納されている符号化データから着目するフレームの符号化データを読み出して不図示の内部バッファに格納する。このとき、信号線９０８を介して受信されるインターレース／プログレッシブ切り替え制御信号が「０」である場合、すなわちインターレース画像の出力が選択されている場合には、フレームの符号化データのうち、サブバンドＬＨ２、ＨＨ２の符号化データの読み出しを行わないようにする。
【００６３】
ビットプレーン復号部９０２は、符号列読み出し部９０１の内部バッファに格納される符号化データをサブバンド順に読み出して、量子化された変換係数データＱ（Ｓ，ｘ，ｙ）を復号する。ビットプレーン復号部９０２における処理は、図１に示されるビットプレーン符号化部１０６と対をなすものである。
【００６４】
すなわち、ビットプレーン符号化部１０６では、上位のビットプレーンから下位のビットプレーンへと係数の絶対値の各ビットを所定のコンテクストにより二値算術符号化した。これに対しビットプレーン復号部９０２では、同様に上位のビットプレーンから下位のビットプレーンへと符号化時と同じコンテキストにより二値算術符号化データの復号を行い、係数の各ビットを復元する。また、係数の正負符号については符号化時と同じタイミングで、同じコンテクストを用いて算術符号の復号を行うようにする。
【００６５】
係数逆量子化部９０３では、各サブバンド毎に定めた量子化ステップｄｅｌｔａ（Ｓ）とビットプレーン復号部９０２で復号された量子化された係数値をＱ（Ｓ，ｘ，ｙ）とから、各サブバンドの係数Ｃ（Ｓ，ｘ，ｙ）を復元する。
【００６６】
スイッチ９０４は、復号対象のフレーム番号に応じて接続が切り替えられ、逆離散ウェーブレット変換を逆離散ウェーブレット変換部９０５で行うか、又は逆離散ウェーブレット変換部９０６で行うかが選択できる。本実施形態では、奇数フレームについての復号では逆離散ウェーブレット変換部９０５に接続し、偶数フレームについての復号では逆離散ウェーブレット変換部９０６に接続するものとする。
【００６７】
逆離散ウェーブレット変換部９０５及び逆離散ウェーブレット変換部９０６では、それぞれ図１における離散ウェーブレット変換部１０３及び離散ウェーブレット変換部１０４でのウェーブレット変換処理の逆変換が行われ、フレームのデータを復元する。このとき、信号線９０８から入力される制御信号が「１」の場合、まずサブバンドＬＬ、ＨＬ１、ＬＨ１、ＨＨ１の係数から図２（ｃ）に示されるサブバンドＬＬを復元し、このサブバンドＬＬとサブバンドＬＨ２、ＨＬ２及びＨＨ２から、図２（ｂ）を経て、図２（ａ）に示すように元のフレームデータと同じ大きさで復元する。
【００６８】
一方、信号線９０８から入力される制御信号が「０」の場合は、同様にサブバンドＬＬ、ＬＨ１、ＨＬ１、ＨＨ１の係数からＬＬサブバンドを復元した後、このサブバンドＬＬとＨＬ２から元のフレームデータに比べて垂直方向のライン数が半分の画像を復元する。図９は、信号線９０８からの制御信号が「０」であってインターレース画像を出力する場合の逆変換過程を説明するための図である。
【００６９】
そして、動画像データ出力部９０７は、逆離散ウェーブレット変換部９０５又は９０６から出力される復元画像データを装置外部へと出力する。動画像データ出力部９０７は、例えば、ハードディスクやメモリといった記憶装置と、ネットワーク回線や表示デバイスへのインタフェース等によって実現することが可能である。
【００７０】
信号線９０８の制御信号が「０」である場合、すなわち、インターレース画像の出力が選択されている場合には、復号対象となる符号化データの１つのフレームから復号されるデータが、インターレース画像における１つのフィールドに相当する。従って、この場合、図７に示される符号化データのフレーム１符号化データから、本動画像復号装置の出力する動画像データの第１フレームにおける奇数フィールドが得られ、フレーム２符号化データから第１フレームにおける偶数フィールドが得られることになる。
【００７１】
すなわち、本発明は、符号化された動画像データから、インターレース画像データを復号する動画像復号に関するものであって、符号化された動画像データから所定のサブバンドを復号し、所定フレームの符号化データから復号された所定のサブバンドを合成して所定フレームに関する奇数フィールドを復元する。また、所定フレームの次フレームの符号化データから復号された所定のサブバンドを合成して所定フレームに関する偶数フィールドを復元することを特徴とする。
【００７２】
また、本発明は、前記符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、インターレースで復号する指示がされた場合、所定の高周波成分の符号化データを含まない符号化された動画像データが復号され、ノンインターレースで復号する指示がされた場合、すべての符号化された動画像データから復号されたサブバンドを合成して所定フレームを復元し、所定フレームの次フレームに関する符号化データから復号されたサブバンドを合成して次フレームを復元することを特徴とする。
【００７３】
しかしながら、本発明はこれに限らず、４ビット、１０ビット、１２ビット等の８ビット以外のビット数で輝度値を表現している場合や、各画素をＲＧＢ、ＹＣｒＣｂ、ＣＭＹＫ等の複数の色成分で表現するカラー画像データを用いてもよい。また、画像領域の各画素の状態を示す多値情報を符号化し、また復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し、また復号する場合にも適用することができる。また、取り込み時間や１秒あたりの取り込みフレーム数についても、上述した実施形態に限定されるものではない。
【００７４】
上述したように、符号化の過程で垂直方向に最初に適用される離散ウェーブレット変換において、低域通過フィルタと高域通過フィルタを、奇数フレームと偶数フレームとで１ラインずらして適用することによって、復号側で全符号化データを復号することなく符号化データの一部の符号化データを復号することで１秒あたり３０フレームのインターレース画像を再生することができ、また、全てのサブバンドの符号化データを復号することにより１秒あたり６０フレームのプログレッシブ画像を再生することができる。
【００７５】
＜第２の実施形態＞
［動画像符号化装置］
図１０は、本発明の第２の実施形態に係る動画像符号化装置の細部構成を示すブロック図である。上述した第１の実施形態で用いられた図１に示すブロック図と共通する部分については同じ符号で示し、それらの説明を省略する。
【００７６】
図１０に示すように、動画像符号化装置は、動画像データ入力部１０１、スイッチ１０２、ラインシフト処理部１００１、離散ウェーブレット変換部１０３、係数量子化部１０５、ビットプレーン符号化器１０６、符号列形成部１０７及び二次記憶装置１０８とを備える。
【００７７】
第１の実施の形態では奇数フレームと偶数フレームとで垂直方向に最初に適用されるフィルタが１ラインずれるように離散ウェーブレット変換を切り替える構成としたが、本実施形態ではラインシフト処理部１００１によりフレームの偶数フレームを１ラインずらすことにより同様の効果を得るようにしたものである。
【００７８】
本実施形態では、第１の実施形態と同様にして、１秒あたり６０フレームであって１画素の輝度値が８ビットのモノクロ動画像データを４秒分（合計２４０フレーム）符号化するものとして説明する。以下、図１０を参照して、本実施形態における動画像符号化装置の動作手順について説明する。尚、第１の実施形態における動作の同じ部分については説明を省略する。
【００７９】
まず、動画像データ入力部１０１から前述の１秒あたり６０フレームであって４秒分の動画像データが入力される。動画像データ入力部１０１は、例えば、デジタルカメラ等の撮像部分であって、ＣＣＤ等の撮像デバイスとガンマ補正、シェーディング補正等の各種画像調整回路を用いて実現可能である。動画像データ入力部１０１は、入力された画像を１フレームずつスイッチ１０２に送る。尚、第１の実施形態と同様に、入力されたフレームデータには時間順に１から番号を与え、フレーム１、フレーム２、…という番号で各フレームを識別するようにする。また、各フレームの水平方向の位置（座標）をｘ、垂直方向の位置をｙ、座標（ｘ，ｙ）における画素値をＰ（ｘ，ｙ）で表す。
【００８０】
スイッチ１０２は、動画像データ入力部１０１から入力されるフレームデータを、フレームの番号に応じて接続を切り替えて離散ウェーブレット変換部１０３又はラインシフト処理部１００１のいずれかに送る。本実施形態においては、入力されたフレームが奇数フレームの場合は離散ウェーブレット変換部１０３に接続を切り替え、入力されたフレームが偶数フレームの場合はラインシフト処理部１００１に接続を切り替える。
【００８１】
図１１は、動画像データ入力部１０１から入力される偶数フレームのデータＰ（ｘ，ｙ）についてのラインシフト処理部１００１で行われる１ライン分のシフト処理を説明するための図である。本実施形態におけるラインシフト処理部１００１では、図１１に示すように、偶数フレームの先頭１ライン分のデータを当該フレームの最後のラインの後に移動させるようにする。
【００８２】
そして、ラインシフト処理部１００１によるシフト処理後の偶数フレームデータと、スイッチ１０２を経由して入力される奇数フレームデータについて、離散ウェーブレット変換部１０３、係数量子化部１０５、ビットプレーン符号化部１０６及び符号列形成部１０７において、上述した第１の実施形態と同様の符号化処理が行われ、二次記憶装置１０８に入力された動画像データに対する符号化データが格納される。
【００８３】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関し、ノンインターレースの動画像データの処理フレームの次フレームを垂直方向に１ラインデータ分シフトさせたフレームを生成する。そして、所定フレーム及び１ラインデータ分シフトされたフレームを周波数変換して複数のサブバンドに分解し、複数のサブバンドに分解されたフレームを符号化することを特徴とする。
【００８４】
また、本発明は、２次元離散ウェーブレット変換を用いてそれぞれのフレームを複数のサブバンドに分解することを特徴とする。
【００８５】
［動画像復号装置］
図１２は、本発明の第２の実施形態に係る動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。尚、図１２においては、図１及び図８に示される装置のブロック図と共通する部分については同じ符号で示し、それらの説明を省略する。図１２に示すように、動画像復号装置は、二次記憶装置１０８、符号列読み出し部９０１、ビットプレーン復号部９０２、係数逆量子化部９０３、スイッチ９０４、逆離散ウェーブレット変換部９０５、ラインシフト処理部１２０１、動画像データ出力部９０７及び信号線９０８とを備える。
【００８６】
以下、図１２を参照して、本実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の動作について説明する。
【００８７】
本実施形態に係る動画像復号装置は、第１の実施形態で説明した動画像復号装置と同じく、信号線９０８を通じて装置外部から入力されるインターレース／プログレッシブ切り替え制御信号により、インターレース画像又はプログレッシブ画像のいずれかを選択して再生するものである。尚、信号線９０８から入力される信号値は「０」又は「１」のいずれかである。そして、「０」の場合はインターレース画像を出力し、「１」の場合はプログレッシブ画像を出力するように設定されているものとする。
【００８８】
図１２に示す動画像復号装置では、第１の実施形態における動画像復号装置と同様に、符号列読み出し部９０１、ビットプレーン復号部９０２、係数逆量子化部９０３及び離散ウェーブレット変換部９０５での処理により、二次記憶装置１０８に格納される動画像符号化データの各フレームのデータが復号される。尚、復号されたフレームデータをＰ’（ｘ，ｙ）と表す。
【００８９】
スイッチ９０４では、復号対象のフレーム番号に応じて接続が切り替えられ、上記復号処理で復号したフレームデータが、直接動画像データ出力部９０７かラインシフト処理部１２０１のいずれかに送られる。このとき、信号線９０８から入力される制御信号が「０」である場合、スイッチ９０４は動画像データ出力部９０７に接続して復号したフレームデータが送られる。また、制御信号が「１」であり、かつ、復号されたフレームが偶数フレームである場合、スイッチ９０４はラインシフト処理部１２０１に接続する。
【００９０】
図１３は、動画像データ入力部９０１から入力される偶数フレームのデータＰ（ｘ，ｙ）についてのラインシフト処理部１２０１で行われる１ライン分のシフト処理を説明するための図である。ラインシフト処理部１２０１では、スイッチ９０４を経由して入力されるフレームデータを、図１３に示すように下に１ラインずらす処理を行う。このとき、フレームの最終１ライン分のデータはシフト処理後のフレームの先頭ラインに移動させる。この操作は、符号化側のラインシフト処理部１００１で行われた操作を元に戻すためのものである。尚、図１３において、符号Ｎはフレームデータのライン数を示す。
【００９１】
動画像データ出力部９０７は、スイッチ９０４を経由して入力される復元画像データと、ラインシフト処理部１２０１から入力される復元画像データとを装置外部へと出力する。動画像データ出力部９０７は、例えば、ハードディスクやメモリといった記憶装置と、ネットワーク回線や表示デバイスへのインタフェース等を用いて実現可能である。
【００９２】
第１の実施の形態で述べた画像復号装置と同様に、信号線９０８からの制御信号が「０」である場合、すなわちインターレース画像の出力が選択されている場合には、復号対象となる符号化データの１つのフレームから復号されるデータがインターレース画像における１つのフィールドに相当する。従って、この場合、図７に示す符号化データのフレーム１符号化データから、本動画像復号装置の出力する動画像データの第１フレームの奇数フィールドが得られ、フレーム２符号化データから第１フレームの偶数フィールドが得られる。
【００９３】
すなわち、本発明は、符号化された動画像データから、インターレース画像データを復号する動画像復号に関するものであって、動画像データの所定フレーム及びその次フレームに関する符号化データから所定のサブバンドを復号する。そして、符号化データから復号された所定のサブバンドを合成して所定フレーム及びその次フレームを復元し、所定フレームから奇数フィールドを出力し、次フレームから偶数フィールドを出力することを特徴とする。
【００９４】
また、本発明は、符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、インターレースで復号する指示がされた場合、所定の高周波成分の符号化データを含まない符号化データから所定のサブバンドを復号することを特徴とする。
【００９５】
さらに、本発明は、符号化データをインターレース又はノンインターレースのいずれかで復号するかを指示し、ノンインターレースで復号する指示がされた場合、すべての符号化データから所定のサブバンドを復号し、入力された符号化データから復元された所定フレーム及びその次フレームを出力することを特徴とする。
【００９６】
しかしながら、本発明はこれだけに限らず、４ビット、１０ビット、１２ビット等の８ビット以外のビット数で輝度値を表現している場合や、各画素をＲＧＢ、ＹＣｒＣｂ、ＣＭＹＫ等の複数色成分で表現するカラー画像データにも適用可能である。また、画像領域の各画素の状態を示す多値情報を符号化し復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し復号する場合にも適用することができる。さらに、取り込み時間や１秒あたりの取り込みフレーム数についても、上述した例に限定されるものではない。
【００９７】
＜第３の実施形態＞
第１の実施形態では、離散ウェーブレット変換部１０３、１０４において水平方向及び垂直方向に同じ回数の離散ウェーブレット変換を施したが、垂直方向の離散ウェーブレット変換の回数を多くすることで、インターレース画像データの復号時の水平方向、垂直方向の逆離散ウェーブレット変換回数を同数とすることも可能である。
【００９８】
図１４は、本発明の第３の実施形態に係る動画像符号化装置の構成を示すブロック図である。図１４に示す画像符号化装置において、第１の実施形態で説明した図１に示される画像符号化装置と共通する部分については同じ符号で示し、それらの説明を省略する。図１４に示す画像符号化装置において、第１の実施形態による画像符号化装置と異なる部分は、離散ウェーブレット変換部１４０１、１４０２及び符号列形成部１４０３の機能である。
【００９９】
本実施形態においても、第１及び第２の実施形態と同様に、１秒あたり６０フレームが取り込まれるものであって、１画素の輝度値が８ビットのモノクロ動画像データを４秒分、すなわち２４０フレームを符号化するものとして説明する。以下、離散ウェーブレット変換部１４０１、１４０２及び符号列形成部１４０３の動作を中心にして本動画像符号化装置について説明する。
【０１００】
離散ウェーブレット変換部１４０１と離散ウェーブレット変換部１４０２とは、フレームデータに対して最初に適用される垂直方向の１次元離散ウェーブレット変換の方法のみ異なっている。離散ウェーブレット変換部１４０１、離散ウェーブレット変換部１４０２とも、まず、フレームデータに対して垂直方向に１次元離散ウェーブレット変換を施し、低周波サブバンドの係数Ｌと高周波サブバンドの係数Ｈに分解する。この低周波サブバンドの係数Ｌについてさらに垂直方向及び水平方向に１次元の離散ウェーブレット変換を適用して、５つのサブバンドＬＬ、ＨＬ１、ＬＨ１、ＨＨ１、Ｈに分解する。図１５は、第３の実施形態の動画像符号化装置におけるサブバンド分解を説明するための概要図である。
【０１０１】
離散ウェーブレット変換部１４０１における最初の垂直方向のサブバンド分解は式（７）、（８）に示すフィルタにより行われる。
【０１０２】
ｌ（ｎ）＝ｘ（２ｎ） （７）
ｈ（ｎ）＝ｘ（２ｎ＋１）
−ｆｌｏｏｒ｛（ｌ（ｎ）−ｌ（ｎ＋１））／２｝ （８）
ここで、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数を表し、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。尚、式（７）、（８）の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）は公知の手法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。
【０１０３】
また、離散ウェーブレット変換部１４０２における最初の垂直方向のサブバンド分解は式（９）、（１０）に示すフィルタにより行われる。
【０１０４】
ｌ（ｎ）＝ｘ（２ｎ＋１） （９）
ｈ（ｎ）＝ｘ（２ｎ）
−ｆｌｏｏｒ｛（ｌ（ｎ−１）−ｌ（ｎ））／２｝ （１０）
また、離散ウェーブレット変換部１４０１、１４０２における最初の垂直方向のサブバンド分解を除き、Ｎ個の１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）のサブバンド分解は、式（１１）、（１２）によって行われる。
【０１０５】
ｈ（ｎ）＝ｘ（２ｎ＋１）
−ｆｌｏｏｒ｛（ｘ（２ｎ）＋ｘ（２ｎ＋２））／２｝ （１１）
ｌ（ｎ）＝ｘ（２ｎ）
＋ｆｌｏｏｒ｛ｈ（ｎ−１）＋ｈ（ｎ）＋２）／４｝ （１２）
ここで、ｈ（ｎ）は高周波サブバンドの係数、ｌ（ｎ）は低周波サブバンドの係数を表し、ｆｌｏｏｒ｛Ｒ｝は実数Ｒを超えない最大の整数値を表す。尚、ここでは説明を省略するが、上記式の計算において必要となる１次元信号ｘ（ｎ）の両端（ｎ＜０及びｎ＞Ｎ−１）は公知の手法により１次元信号ｘ（ｎ）（ｎ＝０〜Ｎ−１）の値から求めておく。
【０１０６】
符号列形成部１４０３は、ビットプレーン符号化部１０６により全サブバンドの係数の符号化が終了し、全符号列が内部バッファに格納されると、所定の順序で内部バッファに格納される符号列を読み出す。そして、必要な付加情報を挿入して、１枚のフレームに対応する２つの符号列を形成し、二次記憶装置１０８に格納する。
【０１０７】
符号列形成部１４０３で生成される符号列の１つは、ヘッダと、レベル０、レベル１の２つに階層化された符号化データにより構成される。レベル０の符号化データは、サブバンドＬＬの係数を符号化して得られるＣＳ（ＬＬ，Ｎ_ＢＰ（ＬＬ）−１）〜ＣＳ（ＬＬ，０）の符号列から構成される。また、レベル１は、ＬＨ１、ＨＬ１、ＨＨ１の各サブバンドの係数を符号化して得られる符号列ＣＳ（ＬＨ１，Ｎ_ＢＰ（ＬＨ１）−１）〜ＣＳ（ＬＨ１，０）、ＣＳ（ＨＬ１，Ｎ_ＢＰ（ＨＬ１）−１）〜ＣＳ（ＨＬ１，０）、及びＣＳ（ＨＨ１，Ｎ_ＢＰ（ＨＨ１）−１）〜ＣＳ（ＨＨ１，０）から構成される。これをフィールド用符号列と呼ぶ。
【０１０８】
符号列形成部１４０３で生成されるもう一方の符号列は、サブバンドＨの係数を符号化して得られる符号列ＣＳ（Ｈ，Ｎ_ＢＰ（Ｈ）−１）〜ＣＳ（Ｈ，０）から構成される。これをプログレッシブ用追加符号列と呼ぶ。図１６は、符号列形成部１４０３により生成される１枚のフレームデータに対応するフィールド用符号列及びプログレッシブ用追加符号列の構造を示す図である。
【０１０９】
図１７は、符号列形成部１４０３において生成される各フレームの符号列を順番に並べた動画像符号化データの一例を示す図である。図１７に示す動画像符号化データのヘッダ部分には各フレームのフィールド用符号列の先頭位置と符号列の長さを格納しておき、インターレース画像の再生時に必要なデータの取り出しを容易にする。
【０１１０】
本実施形態では、まず、垂直方向に２つの周波数帯域に分解した後、低周波成分を水平・垂直方向に対して同数の分解を行っている。本実施形態では説明のために簡単な符号化方式を用いているが、例えば、最初の垂直方向の分解により得られる低周波成分をJPEG2000のPart1等の水平方向、垂直方向の分解回数を同数に限定した符号化方式を適用することにより、図１７に示されるフィールド用符号列として規格に準じた符号列を格納することでインターレース画像の再生について様々な動画像復号装置間での互換性を有し、かつ、特殊な動画像復号装置においてプログレッシブ画像を再生するようにした動画像符号化データを生成することができる。
【０１１１】
すなわち、本発明は、ノンインターレースの動画像データを符号化する動画像符号化に関し、ノンインターレースの動画像データの所定フレームを周波数変換して垂直方向に２つのサブバンドに分解し、一方のサブバンドをさらに複数のサブバンドに分解する。また、所定フレームの次フレームを垂直方向に１ラインずらしたフレームを周波数変換して垂直方向に２つのサブバンドに分解し、一方のサブバンドについて分解されたサブバンドと同数のサブバンドに分解し、複数のサブバンドに分解されたフレームを符号化する。
【０１１２】
しかしながら、本発明はこれだけに限らず、４ビット、１０ビット、１２ビット等の８ビット以外のビット数で輝度値を表現している場合や、各画素をＲＧＢ、ＹＣｒＣｂ、ＣＭＹＫ等の複数色成分で表現するカラー画像データにも適用可能である。また、画像領域の各画素の状態を示す多値情報を符号化し復号する場合、例えば、各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化し復号する場合にも適用することができる。さらに、取り込み時間や１秒あたりの取り込みフレーム数についても、上述した例に限定されるものではない。
【０１１３】
＜その他の実施形態＞
本発明は、上述した実施の形態に限定されるものではない。例えば、上述した第１〜第３の実施形態においては、サブバンドを単位としてビットプレーン符号化を行ったが、サブバンドをさらに複数のブロックに分割し、ブロックごとにビットプレーン符号化を行ってもよい。また、一つのビットプレーンを複数のパスで符号化するようにしても構わない。
【０１１４】
また、二値算術符号化の方法としてMQ-Coderを用いる例について述べたが、上述の実施の形態に限定されるものではなく、例えば、QM-Coder等、MQ-Coder以外の算術符号化方法を適用しても構わない。また、マルチコンテクストの情報源を符号化するに適する方式であればその他の二値符号化方式を適用しても構わない。
【０１１５】
さらに、復号画素精度を段階的に変更する必要のない場合には、サブバンドの係数をビットプレーン符号化ではなく、多値のままエントロピー符号化する方法を用いても良い。さらにまた、サブバンド分解のためのフィルタは上述の実施の形態に限定されるものではなく、その他のフィルタを使用しても構わない。さらに、その適用回数についても上述の実施の形態に限定されるものではない。また、符号列の構成も上述した実施の形態に限定するものではなく、符号データの順序、付加情報の格納形態などを変えても構わない。
【０１１６】
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１１７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１８】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１９】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１２０】
【発明の効果】
以上説明したように、本発明によれば、プログレッシブ画像の符号化データから効率よくインターレース画像又はプログレッシブ画像を復号することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図２】２次元離散ウェーブレット変換によって処理される符号化対象画像のサブバンドを説明するための図である。
【図３】２回の２次元離散ウェーブレット変換によって得られる７つのサブバンドを説明するための図である。
【図４】離散ウェーブレット変換部１０３と離散ウェーブレット変換部１０４における分解要領の違いを説明するための図である。
【図５】ビットプレーン符号化部１０６でサブバンドＳを符号化する処理手順を説明するためのフローチャートである。
【図６】符号列形成部１０７において生成される１枚のフレームデータに対応する符号列の細部構造を示す図である。
【図７】二次記憶装置１０８に格納される各フレームの符号列の一例を示す図である。
【図８】本発明に係る第１の実施形態の動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。
【図９】信号線９０８からの制御信号が「０」であってインターレース画像を出力する場合の逆変換過程を説明するための図である。
【図１０】本発明の第２の実施形態に係る動画像符号化装置の細部構成を示すブロック図である。
【図１１】動画像データ入力部１０１から入力される偶数フレームのデータＰ（ｘ，ｙ）についてのラインシフト処理部１００１で行われる１ライン分のシフト処理を説明するための図である。
【図１２】本発明の第２の実施形態に係る動画像符号化装置により生成した符号化データを復号する動画像復号装置の構成を示すブロック図である。
【図１３】動画像データ入力部９０１から入力される偶数フレームのデータＰ（ｘ，ｙ）についてのラインシフト処理部１２０１で行われる１ライン分のシフト処理を説明するための図である。
【図１４】本発明の第３の実施形態に係る動画像符号化装置の構成を示すブロック図である。
【図１５】第３の実施形態の動画像符号化装置におけるサブバンド分解を説明するための概要図である。
【図１６】符号列形成部１４０３により生成される１枚のフレームデータに対応するフィールド用符号列及びプログレッシブ用追加符号列の構造を示す図である。
【図１７】符号列形成部１４０３において生成される各フレームの符号列を順番に並べた動画像符号化データの一例を示す図である。
【図１８】ウェーブレット変換とビットプレーン符号化とを組み合わせた符号化方式を使用した従来の画像符号化装置の構成を示すブロック図である。
【符号の説明】
１０１ 動画像データ入力部
１０２、９０４ スイッチ
１０３、１０４、１４０１、１４０２ 離散ウェーブレット変換部
１０５ 係数量子化部
１０６ ビットプレーン符号化部
１０７、１４０３ 符号列形成部
１０８ 二次記憶装置
９０１ 符号列読み出し部
９０２ ビットプレーン復号部
９０３ 係数逆量子化部
９０５、９０６ 逆離散ウェーブレット変換部
９０７ 動画像データ出力部
９０８ 信号線
１００１、１２０１ ラインシフト処理部

Claims (6)

1. ノンインターレースの動画像データを符号化する動画像符号化装置であって、
   ノンインターレースの動画像データを入力する入力手段と、
   前記動画像データの第１フレームの次の第２フレームを垂直方向に１ラインデータ分シフトさせるラインシフト手段と、
   前記第１フレーム及び１ラインデータ分シフトされた前記第２フレームを周波数変換して複数のサブバンドに分解するサブバンド分解手段と、
   複数のサブバンドに分解された前記第１及び第２フレームを符号化する符号化手段と、
   符号化されたフレームを出力する出力手段と
   を備えることを特徴とする動画像符号化装置。
2. 前記サブバンド分解手段が、２次元離散ウェーブレット変換を用いて前記第１及び第２フレームのそれぞれを複数のサブバンドに分解することを特徴とする請求項１記載の動画像符号化装置。
3. 請求項１又は請求項２に記載の動画像符号化装置を用いて符号化された動画像符号化データを復号する動画像復号装置であって、
   前記動画像符号化データをインターレース又はノンインターレースのいずれで復号するかを選択する選択手段と、
   該選択手段により、ノンインターレースで復号することが選択された場合、フレームの全周波数成分のサブバンドの符号化データを入力し、前記選択手段によりインターレースで復号することが選択された場合、フレームの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力する入力手段と、
   前記入力手段で入力した各サブバンドの符号化データを復号するサブバンド復号手段と、
   該サブバンド復号手段で復号したサブバンドを合成して、フレームの画像データ、又は、１フレームの垂直方向の１／２の大きさの画像データを生成する合成手段と、
   画像データ中の各ラインを、符号化処理時とは逆方向に１ライン分だけシフトするシフト手段と、
   前記選択手段でノンインターレースで復号することが選択された場合、前記合成手段で得られる、連続する２つフレームの画像データを第１のフレーム、第２のフレームとしたとき、前記第１のフレームの画像データについてはノンインターレースのフレームの画像データとして出力し、前記第２のフレームの画像データについては、前記シフト手段によりシフトした結果の画像をノンインターレースのフレームの画像データとして出力し、
   前記選択手段でインターレースで復号することが選択された場合、前記合成手段で得られた画像データを、インターレースのフィールドの画像データとして出力する出力手段と
   を備えることを特徴とする動画像復号装置。
4. ノンインターレースの動画像データを符号化する動画像符号化方法であって、
   ノンインターレースの動画像データの第１フレームの次の第２フレームを垂直方向に１ラインデータ分シフトさせるラインシフト工程と、
   前記第１フレーム及び１ラインデータ分シフトされた前記第２フレームを周波数変換して複数のサブバンドに分解するサブバンド分解工程と、
   複数のサブバンドに分解された前記第１及び第２フレームを符号化する符号化工程と
   を有することを特徴とする動画像符号化方法。
5. 前記サブバンド分解工程が、２次元離散ウェーブレット変換を用いて前記第１及び第２フレームのそれぞれを複数のサブバンドに分解することを特徴とする請求項４記載の動画像符号化方法。
6. 請求項４又は５に記載の動画像符号化方法を用いて符号化された動画像データから、インターレース画像データを復号する動画像復号方法であって、
   前記動画像符号化データをインターレース又はノンインターレースのいずれで復号するかを選択する選択工程と、
   該選択工程により、ノンインターレースで復号することが選択された場合、フレームの全周波数成分のサブバンドの符号化データを入力し、前記選択工程によりインターレースで復号することが選択された場合、フレームの垂直方向の１／２の大きさの画像を復号するために必要となる周波数成分のサブバンドの符号化データのみを入力する入力工程と、
   前記入力工程で入力した各サブバンドの符号化データを復号するサブバンド復号工程と、
   該サブバンド復号工程で復号したサブバンドを合成して、フレームの画像データ、又は、１フレームの垂直方向の１／２の大きさの画像データを生成する合成工程と、
   画像データ中の各ラインを、符号化処理時とは逆方向に１ライン分だけシフトするシフト工程と、
   前記選択工程でノンインターレースで復号することが選択された場合、前記合成工程で得られる、連続する２つフレームの画像データを第１のフレーム、第２のフレームとしたとき、前記第１のフレームの画像データについてはノンインターレースのフレームの画像データとして出力し、前記第２のフレームの画像データについては、前記シフト工程によりシフトした結果の画像をノンインターレースのフレームの画像データとして出力し、
   前記選択工程でインターレースで復号することが選択された場合、前記合成工程で得られた画像データを、インターレースのフィールドの画像データとして出力する出力工程と
   を備えることを特徴とする動画像復号方法。

Images