JP2009296277A - 画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラム - Google Patents

Abstract

【課題】Wyner-Zivフレームの予測値の精度を向上させ、ＤＶＣの圧縮率を向上させる。
【解決手段】本発明は、複数の相関がある情報源（多視点画像等）に対して互いの情報源を分散符号化し、受信側で一括復号するDistributed Video Coding(DVC)において、映像フレームを構成するKeyフレームとWyner-Zivフレームのうち、Wyner-Zivフレームを符号化する際に、その中高周波数帯のサブバンドを矩形ブロックに分割し、その各々について２つの指標Mean Absolute Difference (MAD)、Sun of Absolute Difference(SAD)によってエントロピー符号化を行うか、Slepian-Wolf符号化を行うかを判定する。
【選択図】図１

Description

本発明は、画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラムに係り、特に、軽量符号化や多視点画像の符号化、すなわち、互いを独立に符号化する必要のあるシステム、及び、無線やインターネット等の損失が発生するネットワーク通信システムの画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラムに関する。

近年、アナログ信号システムからディジタル信号システムへと移行しており、ディジタル画像の需要が増加している。しかし、ディジタル画像はそのままではデータ量が膨大になることから、画像を効率的に圧縮する符号化技術が重要なものになっており、国際標準アルゴリズムが広く用いられている。例としてティジタルＴＶにはMPEG-2が用いられており、Blu-ray Discの規格にはH.264/AVCが用いられている。これらの画像圧縮アルゴリズムの具体的な圧縮アルゴリズムは、まず、エンコーダ側では動き補償（ＭＣ）が行われ、時間的な信号の冗長性が除去され、その後、離散コサイン変換（ＤＣＴ）等の周波数変換により空間的な信号の冗長性が除去された後に、エントロピー符号化が行われる。デコーダ側は真逆の処理を行うことにより復号される。

一方、近年、Distributed Video Coding (DVC)と呼ばれる新しいパラダイムの映像符号化方式が注目されている。DVCは、Distributed Source Coding (DSC)の原理をビデオ符号化に応用したものである。DSCは、図８に示すように、複数の相関のある情報源に対して互いを観測することなく分散して符号化し、受信側ではそれらの各データを一括して復号するシステムである。DSCはもともと、１９７０年代にSlepianとWolfにより確立されたSlepian-Wolf定理（例えば、非特許文献１参照）及び、WynerとZivにより確立されたWyner-Ziv定理（例えば、非特許文献２参照）に基づいている。Slepian-Wolf定理は、２つの情報源を分散符号化した場合における無歪状態で復号できる許容圧縮レート領域を与えたものであり、Wyner-Ziv定理は２つの情報源において１つの情報源に歪が発生した場合についてレート歪領域を与えたものである。これらの定理により、分散して符号化する場合の圧縮限界は、Slepian-Wolf定理及びWyner-Ziv定理の条件の範囲内にてではあるが、分散しなかった場合と等しいことが証明されている。近年では、Turbo符号を用いてSlepian-Wolf定理やWyner-Ziv定理で与えられた限界にどの程度迫れるかが研究されている（例えば、非特許文献３、非特許文献４参照）。

DSCの理論を映像符号化に応用したDVCは、その分散性から、軽量エンコーダ、ロバスト符号化及び多視点映像符号化などへの応用が期待されている。例えば、近年標準化された動画像の圧縮アルゴリズムは、圧縮効率こそ高くはなっているが、それに伴い演算量も膨大になっている。H.264では大量の演算処理が必要であり、MPEG-2に比べて演算処理量は５〜１０倍程度増加することが知られている。この大量の演算処理は複雑なフレーム間予測や可変マクロブックサイズの最適化等に必要な演算であり、エンコーダ側において必要となる。これに対して、たとえデコーダ側の演算処理は増えたとしてもエンコーダ側の処理が少ない方が好ましいという要求がセンサカメラや携帯電話の動画処理などのアプリケーションでは考えられる。DVCでは、エンコーダ側の高負荷演算処理をデコーダ側に移行した符号化方式であり、軽量エンコーダが実現できる。

従来、MPEGに代表される符号化方式では予測誤差信号を情報源符号器を用いて圧縮／伸張していたが、DVCではKeyフレームからの補足情報を作成することによりWyner-Zivフレームの予測信号を生成し、その予測誤差信号をある種のエラーと捉え、通信路符号器でエラーを訂正することで圧縮／伸張を行う。しかし、Keyフレームからの補助情報の作成において、補足情報が外れた場合にパリティビットの再送等を行う必要があり、符号化効率も低下する。したがって、DVCにおいて、符号化効率を向上させるためには、予測精度の高い補助情報を作成することが重要となる。

DVCの実際の構成方法は種々あげられるが、図９に示すように、Wyner-Zivフレームの符号化及び復号にターボ符号を用いた方法が提案されている（例えば、非特許文献５参照）。さらに、符号化効率を改善するために、上記の非特許文献５の技術における画素領域DVCを拡張した変換領域DVCが提案されている（例えば、非特許文献６参照）。この変換領域DVCでは、DCTを用いることより信号の空間的冗長性を除去し、画素領域DVCと比較して符号化効率を改善している。

また、DCTに代わりウェーブレット変換を用いたウェーブレット領域DVCも提案されている（例えば、非特許文献７参照）。ウェーブレット領域DVCは、画素領域DVCと比較して符号化効率に優れることが報告されており、DCT領域DVCにはない解像度スケーラビリティやＳＮＲスケーラビリティといった優れた特徴も有している。
D. Slepian and J. K. Wolf, "Noiseless coding of correlated information sources," IEEE Trans. Inform. Theory, vol. 19, no.4, pp. 471-480, 1973） A. Wyner and J. Ziv, "The rate-distortion function for source coding with side information at the decoder," IEEE Trans. Inform. Theory, vol. 22, no. 1, pp1-19, 1976) J. Bajcsy and P. Mitran, "Coding for the Slepian - Wolf problem with turbo codes," in Proc. IEEE Global Communications Conf., vol.2, 2001, pp.1400-1404. A. Aaron and B. Girod, "Compression with side information using turbo codes," in Proc. IEEE Data Compression Conf., 2002, pp. 252-2561 B. Girod, A. Aaron, S. Rane and D. Rebollo-Menedero, "Distributed video coding," Proceedings of the IEEE, Special Issue on Video Coding and Delivery, vol. 93, no.1, pp.71-83, January 2005. A. Aaron, S. Rane, E. Setton and B. Girod, "Transform-domain Wyner-Ziv codec for video," VCIP-2004, San Jose, CA, Jan. 2004. Y. Tonomura, T. Nakachi and T. Fujii, "Distributed video coding using JPEG 2000 coding scheme," IEICE Trans. on Fundamentals, E90-A, pp. 581-589, March 2007.

上記で述べたようにDVCは多視点映像符号化やＩＰネットワーク等のベストエフォート型の通信システムに対する符号化として効果が期待されている。しかし、DVCはMPEGなどエンコーダ側で冗長性を除去する方式に比べるとまだまだ符号化効率が悪いという問題がある。

本発明は、上記の点に鑑みなされたもので、高い符号化効率を実現可能な画像符号化器及び画像復号化器及び画像符号化方法及び画像復号化方法及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化装置であって、
Keyフレームを符号化する符号化手段３５と、
Wyner-Zivフレームをウェーブレット領域に変換するDWT１１０と、
ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段１２０と、
復号器２００からのモード切替判定結果に基づいて、量子化手段１２０からの出力のエントロピー符号化を行うエントロピー符号化手段１５０と、
復号器２００からのモード切替判定結果に基づいて、量子化手段１２０により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段１４０と、
復号器２００から取得したモード判定結果に基づいて量子化手段１２０からの出力をエントロピー符号化手段１５０または、Slepian-Wolf符号化手段１４０のいずれかに振り分けるデマルチプレクサ１３０と、を有し、
デマルチプレクサ１３０は、
復号器２００から取得した、低周波数帯域の復号済みサブバンドLL_sのMADと復号済みサブバンドLL_sと補助情報とのＳＡＤについて計算された結果が、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化手段１５０に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段１４０に符号化を指示する手段を含む。

また、本発明（請求項２）は、Slepian-Wolf符号化手段１４０において、
復号器２００において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算して得られた、最も小さい値を与える補助情報を該復号器２００から取得して符号化を行う手段を含む。

本発明（請求項３）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
Keyフレームを復号する復号手段４４と、
Wyner-Zivフレームの補助情報を作成する補助情報生成手段２１０と、
Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成手段２６０と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s、HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段２７０と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段２９０と、
Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段２４０と、を有し、
モード判定手段２７０は、
低周波数帯域の復号済みサブバンドLL_sのMADと復号済みサブバンドLL_sと補助情報とのＳＡＤを計算し、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む。

また、本発明（請求項４）は、Slepian-Wolf復号化手段２４０において、
前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算し、最も小さい値を与える補助情報を用いて復号化を行う手段を含む。

本発明（請求項５）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化装置であって、
Keyフレームを符号化する符号化手段と、
Wyner-Zivフレームをウェーブレット領域に変換するDWT(Discrete Wavelet Transform)と、
ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段と、
復号器からのモード切替判定結果に基づいて、量子化手段からの出力のエントロピー符号化を行うエントロピー符号化手段と、
復号器からのモード切替判定結果に基づいて、量子化手段により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段と、
復号器から取得したモード判定結果に基づいて量子化手段からの出力をエントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分けるデマルチプレクサと、を有し、
デマルチプレクサは、
復号器から取得した、低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSE（Mean Square Error）を計算し、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段に符号化を指示する手段を含む。

また、本発明（請求項６）は、Slepian-Wolf符号化手段において、
復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う手段を含む。

本発明（請求項７）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
Keyフレームを復号する復号手段と、
Wyner-Zivフレームの補助情報を作成する補助情報生成手段と、
Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成手段と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s、HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段と、
Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段と、
Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段と、を有し、
モード判定手段は、
低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSEを計算し、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む。

また、本発明（請求項８）は、Slepian-Wolf復号化手段において、
前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算し、最も小さい値を与える補助情報を用いて復号化を行う手段を含む。

図２は、本発明の原理を説明するための図である。

本発明（請求項９）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
符号化手段が、入力されたKeyフレームを符号化する符号化ステップ（ステップ１）と、
DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップ（ステップ２）と、
量子化手段が、ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップ（ステップ３）と、
デマルチプレクサが、復号器からのモード判定結果に基づいて量子化手段からの出力をエントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップ（ステップ４、ステップ５）と、
エントロピー符号化手段が、量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップ（ステップ６）と、
Slepian-Wolf符号化手段が、復号器からのモード切替判定結果に基づいて、量子化手段により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップ（ステップ７）と、を行い、
振り分けステップ（ステップ５）において、
復号器から取得した、低周波数帯域の復号済みサブバンドLLのMADと復号済みサブバンドLLと補助情報とのＳＡＤについて計算された結果が、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化手段に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段に符号化を指示する。

また、本発明（請求項１０）は、Slepian-Wolf符号化ステップ（ステップ７）において、
復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う。

本発明（請求項１１）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
復号手段が、Keyフレームを復号する復号ステップ（ステップ１０）と、
補助情報生成手段が、Wyner-Zivフレームの補助情報を作成する補助情報生成ステップ（ステップ１１）と、
再構成手段が、Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成ステップ（ステップ１２）と、
モード判定手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s、HH_sを、それぞれ矩形の小ブロックに分割し（ステップ１３）、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップ（ステップ１４）と、
エントロピー復号化手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップ（ステップ１５）と、
Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップ（ステップ１６）と、を行い、
モード判定ステップ（ステップ１４）において、
低周波数帯域の復号済みサブバンドLL_sのMADと復号済みサブバンドLL_sと補助情報とのＳＡＤを計算し、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定する。

また、本発明（請求項１２）は、Slepian-Wolf復号化ステップ（ステップ１６）において、
前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算し、最も小さい値を与える補助情報を用いて復号化を行う。

本発明（請求項１３）は、ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
符号化手段が、Keyフレームを符号化する符号化ステップと、
DWTが、Wyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップと、
量子化手段が、ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップと、
エントロピー符号化手段が、復号器からのモード切替判定結果に基づいて、量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップと、
Slepian-Wolf復号化手段が、復号器からのモード切替判定結果に基づいて、量子化手段により取得したビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップと、
デマルチプレクサが、復号器から取得したモード判定結果に基づいて量子化手段からの出力をエントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップと、を行い、
振り分けステップにおいて、
復号器から取得した、低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSE（Mean Square Error）を計算し、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行うSlepian-Wolf符号化手段に符号化を指示する。

また、本発明（請求項１４）は、Slepian-Wolf符号化ステップにおいて、
復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う。

本発明（請求項１５）は、ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
復号手段が、Keyフレームを復号する復号ステップと、
補助情報生成手段が、Wyner-Zivフレームの補助情報を作成する補助情報生成ステップと、
再構成手段が、Wyner-Zivフレームの最低周波数帯域のサブバンドを、補助情報を用いて再構成する再構成ステップと、
モード判定手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s、HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
エントロピー復号化手段が、Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、
モード判定ステップにおいて、
低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSEを計算し、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定する。

また、本発明（請求項１６）は、Slepian-Wolf復号化ステップにおいて、
前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算し、最も小さい値を与える補助情報を用いて復号化を行う。

本発明（請求項１７）は、請求項１，２，５，６のいずれか１項記載の符号化器を構成する各手段としてコンピュータを機能させるための画像符号化プログラムである。

本発明（請求項１８）は、請求項３，４，７，８のいずれか１項記載の復号器を構成する手段としてコンピュータを機能させるための画像復号化プログラムである。

上述のように、本発明によれば、複数の相関がある情報源（多視点画像等）に対して互いの情報源を分散符号化し、受信側で一括復号するDistributed Video Coding(DVC)において、映像フレームを構成するKeyフレームとWyner-Zivフレームのうち、Wyner-Zivフレームを符号化する際に、その中高周波数帯のサブバンドを矩形ブロックに分割し、その各々について２つの指標Mean Absolute Difference (MAD)、Sun of Absolute Difference(SAD)によってエントロピー符号化を行うか、Slepian-Wolf符号化を行うかを判定し、送信側に送出することにより、Wyner-Zivフレームの予測値の精度を向上させると共に、Distributed Video Coding(DVC)の高符号化効率を実現することが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

最初に、画素領域DVCと従来のウェーブレット領域DVCの動作原理について説明する。

［画素領域DVC］
一般的に、DVCにおいて、映像フレームはKeyフレーム及びWyner-Zivフレームに分割される。ここでは、簡単化のために、Keyフレームには奇数フレームX_2n±1を割り当て、Wyner-Zivフレームには偶数フレームＸ_2nを割り当てる。

以下、前述の図９の画素領域DVCの構成を用いて説明する。同図は、前述の非特許文献５において提案された画素領域DVCの例である。Keyフレームは、JPEGなど従来のフレーム内符号器１１により符号化される。Wyner-ZivフレームX_2ｎは、量子化器１２で一様量子化され、量子化された信号はビットプレーンに分割された後、Splepian-Wolf符号器１３に送られる。各ビットプレーンは最上位ビット(MSB: Most Significant Bit)からSlepian-Wolf符号器１３に送られ、それぞれのビットプレーンに対して十分なシンドロームビットが生成される。そして、それぞれのビットプレーンが順々にバッファ１３２に蓄えられ、デコーダ側からのリクエストにより上位ビットプレーンから順々にシンドロームビットを送信する。

一方、デコーダ側では、KeyフレームＸ_2n±1から動き補償を用いてブロック単位の補助情報（Side Information）Ｙ_2nが次式（１）で作成される。

但し、式中MVはKeyフレームから作成された動きベクトルである。

次に、ビット尤度を推定し、Slepian-Wolf復号器１３３にそのビット尤度を与える。ビット尤度は、一般にWyner-ZivフレームＸ_2nと補助情報Ｙ_2nのウェーブレット領域間の差分信号、すなわち、予測誤差信号はラプラス分布で近似されることから次式を用いて推定される。

但し、αはラプラス分布のパラメータである。Slepian-Wolf復号器１３３では、ビット尤度とエンコーダ１３１から受信するシンドロームビットを用いて量子化されたビットプレーンq'_2nを復号する。

最後に、復号されたビットプレーンは再構成器２４に送られ、補助情報Ｙ_2nを用いて次式で再構成される。

この画素領域DVCは、以後、数多く発明されるDVCの原型となった。

［ウェーブレット領域DVC］
次にウェーブレット領域DVCについて説明する。

符号化効率を改善するために、Girodらは前述の非特許文献５に示される技術の画素領域DVCを拡張した変換領域DVCを提案している（例えば、非特許文献６）。この変換領域DVCでは、DCTを用いることにより信号の空間的冗長性を除去し、画素領域DVCと比較して符号化効率を改善している。また、DCTの代わりにウェーブレット変換を用いたウェーブレット領域DVCも提案されている（例えば、非特許文献７）。ここでは、ウェーブレット領域DVCについて説明する。図３にウェーブレット領域DVCの原理構成を示す。画素領域DVCとの違いは、画素領域で行っていた通信路符号器によるエラー訂正を、ウェーブレット領域で行っている点である。

ウェーブレット領域DVCでは、Wyner-ZivフレームX_2nは、離散ウェーブレット変換DWT３１によりウェーブレット領域に変換された後、量子化器３２で各サブバンドの信号は２^M≦｛0,4,8,16,32,64,128,256,…｝のレベルに一様量子化される。量子化された信号は、サブビットプレーン分割部３３でビットプレーンに分割された後、各サブバンド毎にSlepian-Wolf符号器３４に送られる。

一方、デコーダ側では、KeyフレームＸ_2n±1から動き補償を用いてブロック単位に予測値Ｙ_2nが作成される。ここで動き補償処理は、画素領域DVCと同じ手法を用いる。

予測値Ｙ_2nは、離散ウェーブレット変換DWT４６によりウェーブレット領域に変換された後、補助情報として用いられる。次に、ビット尤度を推定しSlepian-Wolf復号器４１にビット尤度を与える。ビット尤度は、一般にWyner-ZivフレームX_2nと予測値Ｙ_2nのウェーブレット領域間の差分信号、すなわち、ラプラス分布で近似され、画素領域DVCと同様な方法で推定される。復号されたビットプレーンは再構成器４２に送られ、補助情報を用いて再構成される。再構成された信号は、IDWT４３において、最後に逆離散ウェーブレット変換IDWTが施され、出力される。

以下に、本発明のウェーブレット領域DVCについて説明する。

画素領域DVCからウェーブレット領域DVCかに関わらず、DVCの符号化効率は、復号器で生成される補足情報の予測制度に大きく依存する。DVCでは、Keyフレームより作成される補足情報をWyner-Zivフレームの予測信号とし、補助情報とWyner-Zivフレームの予測誤差信号をある種のエラーと捉え、通信路符号器でエラーを訂正することで圧縮／復号を行う。補足情報が外れた場合には、パリティビットの再送等を行う必要があり、符号化効率も低下する。従って、予測精度の高い補助情報を与えることが必要となる。この補助情報の生成において、上記の画素領域DVCやウェーブレット領域DVC並びにDCT領域のDVC（例えば、非特許文献６）など従来の変換領域DVCでは、補助情報をKeyフレームのみの情報によって生成している。それは、復号器では、Wyner-Zivフレームの情報がないことに起因している。

本発明では、より推定精度の高い補助情報を与えるために、ウェーブレット領域の信号を低周波帯域のサブバンドから高周波帯域に向けて復号する過程で、低周波数帯域の復号されたサブバンドを利用し、より推定精度の高い補助情報を与える手法を示す。また、補助情報の推定制度が悪いと判断された場合には、ハフマン符号や算術符号化などのエントロピー符号化を用いる。

図４は、本発明の一実施の形態におけるウェーブレット領域DVCの構成を示す。

同図に示す符号器１００は、ＤＷＴ１１０、量子化器１２０、デマルチプレクサ１３０、Slepian-Wolf符号器１４０、エントロピー符号器１５０から構成される。また、復号器２００は、補助情報生成器２１０、ＤＷＴ２２０、Slepian-Wolf復号器２４０、マルチプレクサ２５０、再構成器２６０、モード判定器２７０、ＩＤＷＴ２８０、エントロピー復号器２９０から構成される。

同図に示すDVCと従来のDVCのウェーブレット領域DVCとの違いは、Wyner-Zivフレームの信号を符号化する際に、エントロピー符号化か、または、Slepian-Wolf符号化かを判断する機能が付加されている点と、Slepian-Wolfと判定された場合でも、複数の補助情報の中で、予測精度が高いと判定される補助情報を選択する機能を有するモード判定器２７０が設けられている点である。以下に具体的な動作手順を示す。

図６は、本発明の一実施の形態における符号化・復号化のシーケンスチャートである。

ステップ１０１）符号器２００側において、入力されたKeyフレームX_2ｎ±1をＪＰＥＧ2000など従来のフレーム内符号器を用いて符号化する。

ステップ１０２）符号器２００側において、入力されたWyner-ZivフレームＸ_2nを離散ウェーブレット変換DWT１１０によりウェーブレット領域に変換する。図５は、２レベルのウェーブレット変換の例を示している。その後、それぞれウェーブレット領域の信号は、量子化器１２０で２^M≦（０，４，８，１６，３２，６４，１２８，２５６，…）のレベルに一様に量子化される。

ステップ１０３）復号器２００側において、符号器１００から入力された符号化されたKeyフレームＸ_2ｎ±1を、フレーム内復号器を用いて復号する。

ステップ１０４）復号器２００側において、補助情報生成器２１０は、Wyner-Zivフレームの補助情報を作成する。そのために、前述の非特許文献６に記載されている技術などに示す動き補償補間、平均補間、あるいは外挿補間を用いて、ブロック単位にWyner-Zivフレーム信号Ｘ_2nの推定値

を作成する。次式は式（１）に示す動きベクトルMVを用いて作成した推定値の例である。

それぞれＸ_2n-1，Ｘ_2n+1並びに両信号を用いて作成しており、前向き予測、後ろ向き予測、両方向予測と呼ぶ。

次に、DWT２２０において、

に、それぞれＬレベルの離散時間ウェーブレット変換

を施す。それぞれの変換後の第ｓステージにおけるサブバンド

の値を、

と定義する。これらは、補助情報として用いられる。

ステップ１０５）符号器１００において、Wyner-Zivフレームに関して、上記のステップ１０２において一様に量子化器１２０で量子化された最低周波数帯域のサブバンドLL_Lは、デマルチプレクサ１３０でビットプレーンに分割された後、Slepian-Wolf符号器１４０に送られる。

ステップ１０６）復号器２００において、Wyner-zivフレームの最低周波数帯域のサブバンドLL_Lに関して、

を補助情報として、再構成器２６０でLL_Lを再構成する。このLL_Lが再構成されるまでのSlepian-Wolf符号器１４０／Slepian-Wolf復号器２４０の処理は、従来のウェーブレット領域DVCと同じである。ここで、再構成された信号をLL'_Lと定義する。s＝Lとする。

ステップ１０７）復号器２００において、Wyner-Zivフレームの中高周波数帯域のサブバンドLH_ｓ，HL_ｓ，HH_sは、それぞれ矩形の小ブロックに分割され、小ブロック毎にエントロピー符号化、または、Wyner-Ziv符号化を行う。モード判定器２７０における、エントロピー符号化を行うか、Wyner-Ziv符号化を行うかのモード切替の判定は、低周波数帯域の復号済みサブバンドLL_s'と、補助情報生成器２１０及びDWT２２０で生成された補助情報

を用いて、以下に示す２つの指標により行う。

モード判定器２７０における、モード切替の判定は、各ブロック毎に行われるが、これはウェーブレット変換の帯域相関を利用しており、サブバンドLL_ｓのある小ブロックが、隣接するKeyフレームのサブバンドLL_sの小ブロックと相関が高ければ（低ければ）、Wyner-ZivフレームのサブバンドLH_s、HL_s、HH_sの空間的に対応する小ブロックも、隣接するKeyフレームのサブバンドLH_s、HL_s、HH_sの空間的に対応する小ブロックとで相関が高い（低い）性質を利用している。図７に小ブロックの空間的対応関係を示す。

（ａ）MAD (Mean Absolute Difference)
復号済みサブバンドLL'_sのブロックＢ内の信号の空間的滑らかさを表す指標であり、次式により計算する。

ここで、LL'_s（ｘ，ｙ）は、復号済みサブバンドで、（ｘ，ｙ）は小ブロック内の座標を表している。但し、

であり、Ｎは小ブロック内の信号の数を表す。

（ｂ）SAD (Sum of Absolute differences)
２つ目の指標は、復号済みサブバンドLL'sと補助情報との相関を表す指標であり、次式により計算する。

式（１１）は、前向き、後向き、両方向予測を基に生成された補助情報の中で、最も良い推定値を与える補助情報を判定する指標となる。

モード判定器２７０において、以上の式（１０）と式（１１）の２つの指標を用いて、エントロピー符号器１５０でエントロピー符号化を行う、または、Slepian-Wolf符号器１４０でSlepian-Wolf符号化を行うかの判定は、以下のように行われる。

（ａ）MAD<μSAD（但し、μは定数）の場合は、エントロピー符号化を行う。

（ｂ）mad≧Μsadの場合には、Slepian-Wolf符号化を行う。Slepian-Wolf符号化を行う際には、補助情報として、式（１１）を最小化する補助情報を用いる。例えば、SAD=SAD_fの場合には、LH_s,，HL_s，HH_sの補助情報として、それぞれ

を用いる。

得られたモード切替の判定結果を、フィードバックチャネルを通して、符号器１００に送る。

ステップ１０８）符号器１００では、Wyner-Zivフレームの第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s，HH_sに関して、復号器２００より送られてきたモード切替の判定結果を元に、各ブロッ毎にエントロピー符号器１５０によるエントロピー符号化またはSlepian-Wolf符号器１４０によるSlepian-Wolf符号化を行う。エントロピー符号化として、ハフマン符号化や算術符号化を用いる。Slepian-Wolf符号化として、LDPCやターボ符号化を用いる。

ステップ１０９）復号器２００において、Wyner-Zivフレームの第ｓステージにおける高周波帯域のサブバンドLH_s，HL_s，HH_sに関して、フレーム内符号化されたブロックは、エントロピー復号器２９０でエントロピー復号を行う。Wyner-Ziv符号化されたブロックは、Slepian-Wolf復号器２４０でSlepian-Wolf復号処理が実行される。このSlepian-Wolf復号処理は、従来のウェーブレット領域DVCと同じ方法を用いる。第ｓステージの全ての小ブロックに対して、以上の復号処理を行う。

ステップ１１０） IDWT２８０で１レベルの逆離散ウェーブレット変換を施す。ｓ＝ｓ−１とする。

ステップ１１１）上記のステップ１１０の処理を原画像が復号されるレベルまでステップ１０７以降の処理を繰り返す。

なお、上記の図４に示す符号器及び復号器の各構成要素の動作をプログラムとして構築し、符号化器及び復号器として利用されるコンピュータにインストールして実行させることが可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、ウェーブレット領域を用いて動画像フレームを符号化／復号化するシステムに適用可能である。

本発明の原理構成図である。 本発明の原理を説明するための図である。 ウェーブレット領域ＤＶＣの構成図である。 本発明の一実施の形態におけるウェーブレット領域ＤＶＣの構成図である。 本発明の一実施の形態における符号化・復号化のシーケンスチャートである。 本発明の一実施の形態における２レベルのウェーブレット変換を示す図である。 本発明の一実施の形態における第ｓステージでのLL_sサブバンドに基づくモード判定である。 Distributed Source Coding の構成図である。 画素領域ＤＶＣの構成図である。

符号の説明

１１ コンベンショナルイントラフレーム符号器
１２ 量子化器
１３ Slepian-Wolf符号器
２１ コンベンショナルイントラフレーム復号器
２２ 記述または補間部
２４ 再構成器
３１ ＤＷＴ
３２ 量子化部
３３ サブバンドビットプレーン分割部
３４ Slepian-Wolf符号器
３５ 符号化手段
４１ Slepian-Wolf復号器
４２ 再構成器
４３ ＩＤＷＴ
４４ 復号手段
４５ 補助情報生成器
４６ ＤＷＴ
１００ 符号器
１１０ ＤＷＴ
１２０ 量子化器
１３０ デマルチプレクサ
１３１ ターボ符号器
１３２ バッファ
１３３ ターボ復号器（Slepian-Wolf復号器）
１４０ Slepian-Wolf符号化手段、Slepian-Wolf符号器
１５０ エントロピー符号化手段、エントロピー符号器
２００ 復号器
２１０ 補助情報生成手段、補助情報生成器
２２０ ＤＷＴ
２４０ Slepian-Wolf復号手段、Slepian-Wolf復号器
２５０ マルチプレクサ
２６０ 再構成手段、再構成器
２７０ モード判定手段、モード判定器
２８０ IＤＷＴ
２９０ エントロピー復号器

Claims (18)

1. ウェーブレット領域Distributed Video Coding (DVC)を用いて動画像フレームを符号化する画像符号化装置であって、
   入力されたKeyフレームを符号化する符号化手段と、
   入力されたWyner-Zivフレームをウェーブレット領域に変換するDWT(Discrete Wavelet Transform)と、
   前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段と、
   復号器からのモード切替判定結果に基づいて、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化手段と、
   前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段と、
   前記復号器から取得した前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分けるデマルチプレクサと、を有し、
   前記デマルチプレクサは、
   前記復号器から取得した、低周波数帯域の復号済みサブバンドLL_sのMAD（Mean Absolute Difference）と復号済みサブバンドLL_sと補助情報とのＳＡＤ(Sum of Absolute Differences)について計算された結果が、MAD＜μSAD（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示する手段を含む
   ことを特徴とする画像符号化器。
2. 前記Slepian-Wolf符号化手段は、
   前記復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う手段を含む
   請求項１記載の画像符号化器。
3. ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
   入力されたKeyフレームを復号する復号手段と、
   Wyner-Zivフレームの補助情報を作成する補助情報生成手段と、
   前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成手段と、
   前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s，HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段と、
   前記Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段と、
   Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段と、を有し、
   前記モード判定手段は、
   低周波数帯域の復号済みサブバンドLL_sのMADと復号済みサブバンドLL_sと補助情報とのＳＡＤを計算し、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む
   ことを特徴とする画像復号化装置。
4. 前記Slepian-Wolf復号化手段は、
   前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算し、最も小さい値を与える補助情報を用いて復号化を行う手段を含む
   請求項４記載の画像復号化器。
5. ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化装置であって、
   入力されたKeyフレームを符号化する符号化手段と、
   入力されたWyner-Zivフレームをウェーブレット領域に変換するDWT(Discrete Wavelet Transform)と、
   前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化手段と、
   復号器からのモード切替判定結果に基づいて、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化手段と、
   前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化手段と、
   前記復号器から取得した前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分けるデマルチプレクサと、を有し、
   前記デマルチプレクサは、
   前記復号器から取得した、低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSE（Mean Square Error）を計算し、σ＜μMSE（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示する手段を含む
   ことを特徴とする画像符号化器。
6. 前記Slepian-Wolf符号化手段は、
   前記復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う手段を含む
   請求項１記載の画像符号化器。
7. ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化器であって、
   入力されたKeyフレームを復号する復号手段と、
   Wyner-Zivフレームの補助情報を作成する補助情報生成手段と、
   前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成手段と、
   前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s，HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定手段と、
   前記Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s，HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化手段と、
   Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化手段と、を有し、
   前記モード判定手段は、
   低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSEを計算し、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定する手段を含む
   ことを特徴とする画像復号化装置。
8. 前記Slepian-Wolf復号化手段は、
   前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算し、最も小さい値を与える補助情報を用いて復号化を行う手段を含む
   請求項７記載の画像復号化器。
9. ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
   符号化手段が、入力されたKeyフレームを符号化する符号化ステップと、
   DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップと、
   量子化手段が、前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップと、
   デマルチプレクサが、前記復号器からの前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップと、
   エントロピー符号化手段が、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップと、
   Slepian-Wolf符号化手段が、前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップと、を行い、
   前記振り分けステップにおいて、
   前記復号器から取得した、低周波数帯域の復号済みサブバンドLLのMADと復号済みサブバンドLLと補助情報とのＳＡＤについて計算された結果が、MAD＜μSAD（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、MAD≧μSADの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示する
   ことを特徴とする画像符号化方法。
10. 前記Slepian-Wolf符号化ステップにおいて、
    前記復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う
    請求項９記載の画像符号化方法。
11. ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
    復号手段が、入力されたKeyフレームを復号する復号ステップと、
    補助情報生成手段が、Wyner-Zivフレームの補助情報を作成する補助情報生成ステップと、
    再構成手段が、前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成ステップと、
    モード判定手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s、HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
    エントロピー復号化手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
    Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、を行い、
    前記モード判定ステップにおいて、
    低周波数帯域の復号済みサブバンドLL_sのMADと復号済みサブバンドLL_sと補助情報とのＳＡＤを計算し、MAD＜μSAD（但し、μは定数）の場合は、エントロピー符号化を行い、MAD≧μSADの場合には、Wyner-Ziv符号化を行うものと判定する
    ことを特徴とする画像復号化方法。
12. 前記Slepian-Wolf復号化ステップにおいて、
    前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のＳＡＤを計算し、最も小さい値を与える補助情報を用いて復号化を行う
    請求項１１記載の画像復号化方法。
13. ウェーブレット領域DVCを用いて動画像フレームを符号化する画像符号化方法であって、
    符号化手段が、入力されたKeyフレームを符号化する符号化ステップと、
    DWTが、入力されたWyner-Zivフレームをウェーブレット領域に変換するウェーブレット変換ステップと、
    量子化手段が、前記ウェーブレット領域の信号を量子化し、最低周波数帯域のサブバンドをビットプレーンに分割する量子化ステップと、
    エントロピー符号化手段が、復号器からのモード切替判定結果に基づいて、前記量子化手段からの出力のエントロピー符号化を行うエントロピー符号化ステップと、
    Slepian-Wolf復号化手段が、前記復号器からの前記モード切替判定結果に基づいて、前記量子化手段により取得した前記ビットプレーンについてWyner-Ziv符号化を行うSlepian-Wolf符号化ステップと、
    デマルチプレクサが、前記復号器から取得した前記モード判定結果に基づいて前記量子化手段からの出力を前記エントロピー符号化手段または、Slepian-Wolf符号化手段のいずれかに振り分ける振り分けステップと、を行い、
    前記振り分けステップにおいて、
    前記復号器から取得した、低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSE（Mean Square Error）を計算し、σ＜μMSE（但し、μは定数）の場合は、前記エントロピー符号化手段に符号化を指示し、σ≧μMSEの場合には、Wyner-Ziv符号化を行う前記Slepian-Wolf符号化手段に符号化を指示することを特徴とする画像符号化方法。
14. 前記Slepian-Wolf符号化ステップにおいて、
    前記復号器において前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算して得られた、最も小さい値を与える補助情報を該復号器から取得して符号化を行う
    請求項１３記載の画像符号化方法。
15. ウェーブレット領域DVCを用いて動画像フレームを復号化する画像復号化方法であって、
    復号手段が、入力されたKeyフレームを復号する復号ステップと、
    補助情報生成手段が、Wyner-Zivフレームの補助情報を作成する補助情報生成ステップと、
    再構成手段が、前記Wyner-Zivフレームの最低周波数帯域のサブバンドを、前記補助情報を用いて再構成する再構成ステップと、
    モード判定手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける中高周波数帯域のサブバンドLH_s，HL_s、HH_sを、それぞれ矩形の小ブロックに分割し、小ブロック毎にエントロピー符号化または、Wyner-Ziv符号化を行うかの判定を行い、モード判定結果を符号化器に送るモード判定ステップと、
    エントロピー復号化手段が、前記Wyner-Zivフレームのウェーブレット第ｓステージにおける高周波数帯域のサブバンドLH_s，HL_s、HH_sのフレーム内符号化されたブロックをエントロピー復号化するエントロピー復号化ステップと、
    Slepian-Wolf復号化手段が、Wyner-Ziv符号化されたブロックをSlepian-Wolf復号化するSlepian-Wolf復号化ステップと、
    前記モード判定ステップにおいて、
    低周波数帯域の復号済みサブバンドLL_sの分散σと復号済みサブバンドLL_sと補助情報とのMSEを計算し、σ＜μMSE（但し、μは定数）の場合は、エントロピー符号化を行い、σ≧μMSEの場合には、Wyner-Ziv符号化を行うものと判定する
    ことを特徴とする画像復号化方法。
16. 前記Slepian-Wolf復号化ステップにおいて、
    前フレーム信号より生成された補助情報と後フレーム信号より生成された補助情報と前フレーム信号と後フレーム信号より生成された補助情報がある場合に、復号済みサブバンドLL_ｓとそれぞれの補助情報のMSEを計算し、最も小さい値を与える補助情報を用いて復号化を行う
    請求項１５記載の画像復号化方法。
17. 請求項１，２，５，６のいずれか１項記載の符号化器を構成する各手段としてコンピュータを機能させるための画像符号化プログラム。
18. 請求項３，４，７，８のいずれか１項記載の復号器を構成する手段としてコンピュータを機能させるための画像復号化プログラム。

Images