JP2011035736A - 動画像符号化・復号装置と動画像符号化・復号方法及び動画像符号化・復号プログラム - Google Patents

Abstract

【課題】 著しく状態の悪い通信路を伝送する場合でも高画質の復号画像を提供する。
【解決手段】 動画像信号についてＧＯＦ構成処理を実行し（Ｓ１１）、ＧＯＦ毎にまとめられたLf枚のフレームそれぞれに対して空間方向のウェーブレット変換を行い（Ｓ１２）、この変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割し（Ｓ１３）、分割されたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成し（Ｓ１４）、Ｎ個のグループそれぞれのフレームの係数を量子化し（Ｓ１５）、量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループに残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドの係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成する（Ｓ１６）。
【選択図】 図２

Description

本発明は、誤り耐性機能を有する動画像符号化・復号装置に係り、特に３次元ウェーブレット変換に基づく動画像符号化・復号処理に関する。

３次元ウェーブレット変換に基づく動画像符号化処理にあっては、通信路の伝送路誤りに起因するビット誤りやパケット誤りによって復号画像が著しく劣化するという問題が指摘されている。この問題の解決法として、符号化器で近隣の画素を分散的に複数のグループに分割し、それぞれのグループ毎にSet Partitioning in Hierarchical Trees (SPIHT)法（非特許文献１参照）に基づく３次元ウェーブレット変換を用いて符号化し、グループ間インターリーブによって各グループの先頭から順番にウェーブレット係数を取り出していくことで１つの送信ストリームを構成し、復号器では受信した送信ストリームをデインターリーブして複数のグループを再生し、グループ毎に客ウェーブレット変換を用いて復号し、復号された全てのグループを結合することで再生する手法が提案されている（非特許文献２参照）。

一方で、この符号化復号法を用いて、パケット誤り等が原因で再生動画像に消失画素が発生した場合、消失した画素とその周辺画素から消失画素の補間を行う手法が提案されている（非特許文献３参照）。この手法は最も周波数の低いサブバンド（Ｌ）、水平方向のサブバンド（Ｈ）、垂直方向のサブバンド（Ｖ）、斜め方向のサブバンド（Ｄ）それぞれのサブバンドによって異なる補間法を用いる（非特許文献３参照）。

A.Said and W.A.Pearlman, "A New, Fast, and Efficient Image Codec Based on Set Partitioning in Hierarchical Trees," IEEE Transactions on Circuit and Systems for Video Technology, Vol.6, No.3, pp.243-249. June 1996. B.Kim, Z.Xiong and W.A.Pearlman, "Low Bit-Rate Scarable Video Coding with 3-D Set Partitioning in Hierarchical Trees (3-D SPIHT)," IEEE Transactions on Circuit and Systems for Video Technology, Vol.10, No.8, pp.1374-1387, December 2000. S.Cho and W.A.Pearlman, "Error Resilient Video Coding With Improved 3-D SPIHT and Error Concealment," Proceedings on the International Society for Optical Engineering, Vol.5022, pp.125-136, January 2003. Xin Li and M.T.Ochard, "Novel Sequential Error-Concealment Techniques Using Orientation Adaptive Interpolation," Circuits and Systems for Video Technology, IEEE Transactions, Vol.12, No.10, pp.857-864, Oct. 2002.

しかしながら、上記非特許文献２に記載される手法では、グループ間インターリーブを行い１つの送信ストリームを構成するため、パケット誤りが発生した際には各グループの同程度の重要度をもつウェーブレット係数が同時に欠落するという問題がある。また、非特許文献３に記載される手法では、最も周波数の低いサブバンド（Ｌ）で補間すると、消失画素が多ければ再生画像が劣化するという新たな問題が生じてしまう。

本発明は上記の問題を解決するためになされたもので、通信路のパケット誤り、ビット誤りに対する耐性を高め、著しく状態の悪い通信路を伝送する場合でも、パケット誤り、ビット誤りによる復号画像の劣化を低減することができ、これによって高画質の復号画像を提供することのできる動画像符号化・復号装置と動画像符号化・復号方法及び動画像符号化・復号プログラムを提供することを目的とする。

上記問題を解決するために、本発明に係る動画像符号化装置は、以下のような特徴的構成を備える。

（１）動画像信号について規定枚数のフレームを１つの処理単位としてまとめる処理単位形成手段と、前記処理単位毎にまとめられた規定枚数のフレームそれぞれに対して空間方向のウェーブレット変換を行う空間方向変換手段と、前記空間方向のウェーブレット変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割する分割手段と、前記分割手段で得られたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成する時間方向変換手段と、前記時間方向変換で得られたＮ個のグループそれぞれのフレームのウェーブレット係数を量子化する量子化手段と、前記量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループ（１≦ｎ≦Ｎ）に残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドのウェーブレット係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成する複製手段とを具備することを特徴とする。

（２）（１）の構成において、前記分割手段は、前記空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択することを特徴とする。

（３）（２）の構成において、前記複製手段は、前記第ｎ番目のグループ以外の残りのＮ−１個のグループに割り当てられた最も周波数が低いサブバンドのウェーブレット係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複製することを特徴とする。

（４）（１）の構成において、さらに、前記複製手段で生成された伝送系列の情報量を圧縮する圧縮手段を備えることを特徴とする。

また、本発明に係る動画像符号化方法は、以下のように構成される。

動画像信号について規定枚数のフレームを１つの処理単位としてまとめ、前記処理単位毎にまとめられた規定枚数のフレームそれぞれに対して空間方向のウェーブレット変換を実行し、前記空間方向のウェーブレット変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割し、前記分割処理で得られたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成し、前記時間方向変換で得られたＮ個のグループそれぞれのフレームのウェーブレット係数を量子化し、前記量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループ（１≦ｎ≦Ｎ）に残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドのウェーブレット係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成することを特徴とする。

（６）（５）の構成において、前記分割処理は、前記空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択することを特徴とする。

（７）（６）の構成において、前記複製処理は、前記第ｎ番目のグループ以外の残りのＮ−１個のグループに割り当てられた最も周波数が低いサブバンドのウェーブレット係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複製することを特徴とする。

（８）（５）の構成において、さらに、前記複製処理で生成された伝送系列の情報量を圧縮することを特徴とする。

また、本発明に係る動画像符号化プログラムは、以下のように構成される。

（９）動画像信号を符号化する動画像符号化処理をコンピュータに実行させる動画像符号化プログラムであって、前記動画像信号について規定枚数のフレームを１つの処理単位としてまとめる処理単位形成処理を実行させ、前記処理単位毎にまとめられた規定枚数のフレームそれぞれに対して空間方向のウェーブレット変換を行う空間方向変換処理を実行させ、前記空間方向のウェーブレット変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割する分割処理を実行させ、前記分割処理で得られたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成する時間方向変換処理を実行させ、前記時間方向変換で得られたＮ個のグループそれぞれのフレームのウェーブレット係数を量子化する量子化処理を実行させ、前記量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループ（１≦ｎ≦Ｎ）に残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドのウェーブレット係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成する複製処理を実行させることを特徴とする。

（１０）（９）の構成において、前記分割処理は、前記空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択することを特徴とする。

（１１）（１０）の構成において、前記複製処理は、前記第ｎ番目のグループ以外の残りのＮ−１個のグループに割り当てられた最も周波数が低いサブバンドのウェーブレット係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複製することを特徴とする。

（１２）（９）の構成において、さらに、前記複製処理で生成された伝送系列の情報量を圧縮する圧縮処理を実行させることを特徴とする。

また、本発明に係る動画像復号装置は、以下のように構成される。

（１３）請求項１乃至４記載の動画像符号化装置で生成され伝送路を介して受信された伝送系列から元の動画像信号を復号する動画像復号装置であって、前記伝送系列を入力して前記Ｎ個のグループのうち一部の伝送系列しか受信できなかったことを検出する誤り検出手段と、前記Ｎ個のうち一部の伝送系列しか受信できなかったことが検出された場合に、受信できた伝送系列のみから前記複製処理で行ったウェーブレット係数の複製部分で符号化ビット系列を再構成する第１誤り補間手段と、前記再構成された符号化ビット系列に対して時間方向ウェーブレット逆変換を行う時間方向変換手段と、前記時間方向の逆変換を受けた符号化ビット系列に対して受信できたグループと受信できなかったグループの最も周波数が低いサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで、分割前の状態に戻す逆分割手段と、前記分割前に戻された規定枚数のフレームに対して空間方向ウェーブレット逆変換を行って復号動画像を復元する空間方向逆変換手段と、前記復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していて復号後の画像でパケット誤りによる画素の消失が残る場合に、消失画素をその周辺画素を用いて補間する第２誤り補間手段とを具備することを特徴とする。

（１４）（１３）の構成において、前記第２誤り補間手段は、ＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法を用いることを特徴とする。

また、本発明に係る動画像復号方法は、以下のように構成される。

（１５）請求項５乃至８記載の動画像符号化方法で生成され伝送路を介して受信された伝送系列から元の動画像信号を復号する動画像復号方法であって、前記伝送系列を入力して前記Ｎ個のグループのうち一部の伝送系列しか受信できなかったことを検出し、前記Ｎ個のうち一部の伝送系列しか受信できなかったことが検出された場合に、受信できた伝送系列のみから前記複製処理で行ったウェーブレット係数の複製部分で符号化ビット系列を再構成し、前記再構成された符号化ビット系列に対して時間方向ウェーブレット逆変換を行い、前記時間方向の逆変換を受けた符号化ビット系列に対して受信できたグループと受信できなかったグループの最も周波数が低いサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで、分割前の状態に戻し、前記分割前に戻された規定枚数のフレームに対して空間方向ウェーブレット逆変換を行って復号動画像を復元し、前記復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していて復号後の画像でパケット誤りによる画素の消失が残る場合に、消失画素をその周辺画素を用いて補間することを特徴とする。

（１６）（１５）の構成において、前記消失画素を周辺画素を用いて補間する処理に、ＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法を用いることを特徴とする。

また、本発明に係る動画像復号プログラムは、以下のように構成される。

（１７）請求項１乃至４記載の動画像符号化装置で生成され伝送路を介して受信された伝送系列から元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、前記伝送系列を入力して前記Ｎ個のグループのうち一部の伝送系列しか受信できなかったことを検出する誤り検出処理を実行させ、前記Ｎ個のうち一部の伝送系列しか受信できなかったことが検出された場合に、受信できた伝送系列のみから前記複製処理で行ったウェーブレット係数の複製部分で符号化ビット系列を再構成する第１誤り補間処理を実行させ、前記再構成された符号化ビット系列に対して時間方向ウェーブレット逆変換を行う時間方向変換処理を実行させ、前記時間方向の逆変換を受けた符号化ビット系列に対して受信できたグループと受信できなかったグループの最も周波数が低いサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで、分割前の状態に戻す逆分割処理を実行させ、前記分割前に戻された規定枚数のフレームに対して空間方向ウェーブレット逆変換を行って復号動画像を復元する空間方向逆変換処理を実行させ、前記復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していて復号後の画像でパケット誤りによる画素の消失が残る場合に、消失画素をその周辺画素を用いて補間する第２誤り補間処理を実行させることを特徴とする。

（１８）（１７）の構成において、前記第２誤り補間処理は、ＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法を用いることを特徴とする。

以上のように、本発明によれば、符号化処理において、１処理単位を構成する各フレームについて空間方向にウェーブレット変換を行い、各フレームのウェーブレット係数をＮグループに分散的に分割した後、各グループに対して時間方向のウェーブレット変換を行って符号化ビット系列を生成する。その上で、各ウェーブレット係数を量子化し、第ｎ番目のグループにおける最も周波数の低いサブバンド以外の、Ｎ−１個のグループに割り当てられた最も周波数の低いサブバンドの係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離間的に配置するようにコピーして、伝送系列を生成するようにしている。

一方、復号処理において、受信した伝送系列に誤り検出処理を行い、Ｎ個のうち一部の伝送系列しか受信できなかった場合に、第１誤り補間処理として、受信できた伝送系列のみから複製処理で行ったサブバンドのウェーブレット係数のコピーを取り除き、符号化ビット系列を再構成する。このとき受信できなかった伝送系列のサブバンドの係数は、複製処理によって受信できた伝送系列内にコピーされているため、サブバンドの係数は全て再構成することができる。その後、受信できた符号化ビット系列の時間方向ウェーブレット逆変換を行い、受信できたグループと受信できなかったグループのサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで分割前の状態に戻し、規定枚数の各フレームに対して空間方向ウェーブレット逆変換を行い、復号動画像を規定枚数フレーム分復元する。最後に、第２誤り補間処理を実行し、復号後の画像でパケット誤りによる消失画素について、周辺画素を用いてそれを補間する。

このようにしたことで、通信路のパケット誤り、ビット誤りに対する耐性を高めることができ、著しく状態の悪い通信路を伝送する場合でも、パケット誤り、ビット誤りによる復号画像の劣化を低減することができ、これによって高画質の復号画像を提供することのできる動画像符号化・復号装置と動画像符号化・復号方法及び動画像符号化・復号プログラムを提供することができる。

本発明が適用される動画像伝送システムの構成を示すブロック図。 本発明に係る動画像符号化装置（エンコーダ）及び動画像復号装置（デコーダ）の一実施形態として、各装置のアルゴリズムにおける処理の流れを示すフローチャート。 図２に示す分割処理において、各ウェーブレット係数をＮ個のグループに分散的に分割する様子を示す概念図。 図２に示す複製処理において、Ｎ個の各グループを処理単位として伝送系列を生成する様子を示す概念図。 上記実施形態の効果として、計算機シミュレーションにより評価した結果を示す図。

以下、図面を参照して本発明の実施の形態について説明する。

図１は、本発明が適用される動画像伝送システムの構成を示すブロック図である。図１において、１１は送信装置、１２は受信装置である。送信装置１１において、入力映像信号（動画像）はエンコーダ１１１により符号化された後、変調器１１２で伝送用の誤り耐性に優れた方式の変調処理を受け、周波数変換器１１３でＲＦ（無線周波数）帯の信号に変換され、電力増幅器１１４で増幅されて、アンテナ１１５から空間に送出される。

一方、受信装置１２において、アンテナ１２１で受信されたＲＦ帯の伝送信号は低雑音増幅器１２２で増幅され、周波数変換器１２３でＩＦ（中間周波数）帯の信号に変換された後、復調器１２４で元の符号化信号が復調され、デコーダ１２５で復号されて元の映像信号が取り出される。

上記構成において、エンコーダ１１１とデコーダ１２５は対応関係にあり、図２に示すアルゴリズムで処理を行う。

エンコーダ１１１において、ステップＳ１１では、入力映像信号（動画像）について、ＧＯＦ（Group Of Frames）構成処理を実行する。すなわち、符号化は複数のフレームを１つの処理単位（ＧＯＦ）として行う。ここでは、Lf枚のフレームを集めて１ＧＯＦを構成する。

ステップＳ１２では、空間方向変換（Spatial Composition）処理として、Lf枚のフレームに対してそれぞれフレーム毎に空間方向のウェーブレット変換を実行する。

ステップＳ１３では、分割（Partition）処理として、図３に示すように、各ウェーブレット係数をＮ個のグループに分散的に分割する。

ここで、空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択する。具体的に第ｎ番目のグループ（１≦ｎ≦Ｎ）に割り当てられる画素は、第ｋ番目のフレームにおける画素の座標（ｕ，ｖ）を用いて、以下のように求められる。
ｎ＝（ｕ＋ｖ＋ｋ）mod Ｎ （１）
ステップＳ１４では、時間方向変換（Temporal Composition）処理として、Ｎ個の各グループに対して時間方向ウェーブレット変換を行い、符号化ビット系列を生成する。

ステップＳ１５では、量子化（Quantization）処理として、各ウェーブレット係数を量子化する。

ステップＳ１６では、複製（Duplication）処理として、Ｎ個の各グループを処理単位として伝送系列を構成する。このとき、第ｎ番目のグループにおける最も周波数が低いサブバンド（図３におけるＬＬの領域）の係数はＮ分割されているため、全体の１／Ｎだけが含まれている。そこで、図４に示すように、残りのＮ−１個のグループに割り当てられたＬＬ領域の係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複写して、伝送系列を生成する。

このように、本発明では、複製処理において、Ｎ個に分割された最も周波数の低いサブバンド（Ｌ）の係数に関して、第ｎ番目のグループに残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンド（Ｌ）の係数をそれぞれ離間して配置することを特徴とする。

ステップＳ１７では、上記複製処理で生成された伝送系列に対し、例えばハフマン符号化等のエントロピー符号化（Entropy coding）処理を実行して情報量を圧縮する。

一方、デコーダ１２５において、ステップＳ２１では、エンコーダ１１１でエントロピー符号化された伝送系列に対し、エントロピー復号（Entropy decoding）を実行して元の伝送系列に戻す。

ステップＳ２２では、誤り検出（Detection Error）処理として、伝送路でパケット誤り、ビット誤りが発生し、Ｎ個のうち一部の伝送系列しか受信できなかった或いは受信した伝送系列の中に誤りがあること等を検出する。

ステップＳ２３では、第１誤り補間（Error Concealment I）処理として、Ｎ個のうち一部の伝送系列しか受信できなかった場合に、受信できた伝送系列のみからステップＳ１６の複製（Duplication）処理で行ったＬＬ領域のウェーブレット係数のコピーを取り除き、符号化ビット系列を再構成する。このとき欠落した（受信できなかった）伝送系列のＬＬ領域の係数は、ステップＳ１６の複製処理によって受信できた伝送系列内にコピーされているため、ＬＬ領域の係数は全て再構成することができる。

ステップＳ２４では、時間方向逆変換（Temporal decomposition）処理として、受信できた符号化ビット系列の時間方向ウェーブレット逆変換を行う。

ステップＳ２５では、逆分割（Inverse Partitioning）処理として、受信できたグループと受信できなかったグループのＬＬ領域のウェーブレット係数を用いてLf枚のフレームを再生することで、分割前の状態に戻す。

ステップＳ２６では、空間方向逆変換（Spatial decomposition）処理として、Lf枚の各フレームに対して空間方向ウェーブレット逆変換を行い、復号動画像をLfフレーム分復元する。

ステップＳ２７では、第２誤り補間（Error Concealment II）処理を実行する。すなわち、復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していることで、復元画像に劣化が生じる。すなわち、復号後の画像でパケット誤りによる画素の消失が残る場合は、消失画素の周辺画素を用いてそれを補間するために、欠落した画素とその周辺画素から補間処理を行う。例えばＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法（非特許文献４参照）を用いることで、簡単な処理で高精度の補間が実現できる。

上記アルゴリズムを計算機シミュレーションにより評価した結果を図５に示す。図５において、シミュレーションの諸元を表１に示す。

すなわち、図５において、（ａ）は原動画像（誤りが全くない状態）、（ｂ）は図２に示す実施形態の符号化アルゴリズムを用いないで３次元ウェーブレットによる符号化を行い、全ストリームのうち、２０％分のストリームが欠落したときの復元動画像、（ｃ）は図２に示す実施形態の符号化アルゴリズムを用いて符号化処理を行い、復号処理は誤り補間（Error Concealment）処理を一切行わなかった場合の復元動画像、（ｄ）は図２に示す符号化・復号アルゴリズムの誤り補間を含む全ての処理を行った時の復元動画像である。但し、図５（ｂ）において、欠落した伝送ストリームの先頭からの位置は（ｃ）−（ｄ）と同じ位置の同じ長さ分だけが欠落したものとしている。

ここで、図５（ｂ），（ｃ）を比較すると、２０％のパケット消失という非常に劣悪な伝送環境下においても、画質がかなり良くなっていることがわかる。さらに、復号側で誤り補間処理を行うことで、図５（ｄ）に見られるように、格段の画質改善効果があることがわかる。

以上のように、上記構成による動画像符号化・復号装置によれば、符号化処理において、１ＧＯＦを構成する各フレームについて空間方向にウェーブレット変換を行い、各フレームのウェーブレット係数をＮグループに分散的に分割した後、各グループに対して時間方向のウェーブレット変換を行って符号化ビット系列を生成する。その上で、各ウェーブレット係数を量子化し、第ｎ番目のグループにおける最も周波数の低いサブバンド以外の、Ｎ−１個のグループに割り当てられた最も周波数の低いサブバンド（ＬＬ領域）の係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離間的に配置するようにコピーして、伝送系列を生成するようにしている。

一方、復号処理において、受信した伝送系列に誤り検出処理を行い、Ｎ個のうち一部の伝送系列しか受信できなかった場合に、第１誤り補間処理として、受信できた伝送系列のみから複製処理で行ったＬＬ領域のウェーブレット係数のコピーを取り除き、符号化ビット系列を再構成する。このとき受信できなかった伝送系列のＬＬ領域の係数は、複製処理によって受信できた伝送系列内にコピーされているため、ＬＬ領域の係数は全て再構成することができる。その後、受信できた符号化ビット系列の時間方向ウェーブレット逆変換を行い、受信できたグループと受信できなかったグループのＬＬ領域のウェーブレット係数を用いてLf枚のフレームを再生することで、分割前の状態に戻し、Lf枚の各フレームに対して空間方向ウェーブレット逆変換を行い、復号動画像をLfフレーム分復元する。最後に、第２誤り補間処理を実行し、復号後の画像でパケット誤りによる消失画素について、周辺画素を用いてそれを補間する。

このようにしたことで、通信路のパケット誤り、ビット誤りに対する耐性を高めることができ、著しく状態の悪い通信路を伝送する場合でも、パケット誤り、ビット誤りによる復号画像の劣化を低減して高画質の復号画像を提供することができる。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１１…送信装置、１１１…エンコーダ、１１２…変調器、１１３…周波数変換器、１１４…電力増幅器、１１５…アンテナ、１２…受信装置、１２１…アンテナ、１２２…低雑音増幅器、１２３…周波数変換器、１２４…復調器、１２５…デコーダ。

Claims (18)

1. 動画像信号について規定枚数のフレームを１つの処理単位としてまとめる処理単位形成手段と、
   前記処理単位毎にまとめられた規定枚数のフレームそれぞれに対して空間方向のウェーブレット変換を行う空間方向変換手段と、
   前記空間方向のウェーブレット変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割する分割手段と、
   前記分割手段で得られたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成する時間方向変換手段と、
   前記時間方向変換で得られたＮ個のグループそれぞれのフレームのウェーブレット係数を量子化する量子化手段と、
   前記量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループ（１≦ｎ≦Ｎ）に残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドのウェーブレット係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成する複製手段と
   を具備することを特徴とする動画像符号化装置。
2. 前記分割手段は、前記空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択することを特徴とする請求項１記載の動画像符号化装置。
3. 前記複製手段は、前記第ｎ番目のグループ以外の残りのＮ−１個のグループに割り当てられた最も周波数が低いサブバンドのウェーブレット係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複製することを特徴とする請求項２記載の動画像符号化装置。
4. さらに、前記複製手段で生成された伝送系列の情報量を圧縮する圧縮手段を備えることを特徴とする請求項１記載の動画像符号化装置。
5. 動画像信号について規定枚数のフレームを１つの処理単位としてまとめ、
   前記処理単位毎にまとめられた規定枚数のフレームそれぞれに対して空間方向のウェーブレット変換を実行し、
   前記空間方向のウェーブレット変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割し、
   前記分割処理で得られたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成し、
   前記時間方向変換で得られたＮ個のグループそれぞれのフレームのウェーブレット係数を量子化し、
   前記量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループ（１≦ｎ≦Ｎ）に残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドのウェーブレット係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成することを特徴とする動画像符号化方法。
6. 前記分割処理は、前記空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択することを特徴とする請求項５記載の動画像符号化方法。
7. 前記複製処理は、前記第ｎ番目のグループ以外の残りのＮ−１個のグループに割り当てられた最も周波数が低いサブバンドのウェーブレット係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複製することを特徴とする請求項６記載の動画像符号化方法。
8. さらに、前記複製処理で生成された伝送系列の情報量を圧縮することを特徴とする請求項５記載の動画像符号化方法。
9. 動画像信号を符号化する動画像符号化処理をコンピュータに実行させる動画像符号化プログラムであって、
   前記動画像信号について規定枚数のフレームを１つの処理単位としてまとめる処理単位形成処理を実行させ、
   前記処理単位毎にまとめられた規定枚数のフレームそれぞれに対して空間方向のウェーブレット変換を行う空間方向変換処理を実行させ、
   前記空間方向のウェーブレット変換で得られた各フレームのウェーブレット係数をＮ個のグループに分散的に分割する分割処理を実行させ、
   前記分割処理で得られたＮ個のグループそれぞれに対して時間方向ウェーブレット変換を行って符号化ビット系列を生成する時間方向変換処理を実行させ、
   前記時間方向変換で得られたＮ個のグループそれぞれのフレームのウェーブレット係数を量子化する量子化処理を実行させ、
   前記量子化されたＮ個のグループをそれぞれ処理単位として、Ｎ個に分割された最も周波数の低いサブバンドのウェーブレット係数に関して、第ｎ番目のグループ（１≦ｎ≦Ｎ）に残りＮ−１個のグループに割り当てられた最も周波数の低いサブバンドのウェーブレット係数をそれぞれ離間して配置されるように複製処理することで伝送系列を生成する複製処理を実行させることを特徴とする動画像符号化プログラム。
10. 前記分割処理は、前記空間方向のウェーブレット係数をＮ個のグループに分割する際、同じグループに属する近隣の画素が最大限離れた場所の画素になるように選択することを特徴とする請求項９記載の動画像符号化プログラム。
11. 前記複製処理は、前記第ｎ番目のグループ以外の残りのＮ−１個のグループに割り当てられた最も周波数が低いサブバンドのウェーブレット係数のうち、全て或いは選択された一部のグループ分の係数を第ｎ番目のグループに離散的に配置するように複製することを特徴とする請求項１０記載の動画像符号化プログラム。
12. さらに、前記複製処理で生成された伝送系列の情報量を圧縮する圧縮処理を実行させることを特徴とする請求項９記載の動画像符号化プログラム。
13. 請求項１乃至４記載の動画像符号化装置で生成され伝送路を介して受信された伝送系列から元の動画像信号を復号する動画像復号装置であって、
    前記伝送系列を入力して前記Ｎ個のグループのうち一部の伝送系列しか受信できなかったことを検出する誤り検出手段と、
    前記Ｎ個のうち一部の伝送系列しか受信できなかったことが検出された場合に、受信できた伝送系列のみから前記複製処理で行ったウェーブレット係数の複製部分で符号化ビット系列を再構成する第１誤り補間手段と、
    前記再構成された符号化ビット系列に対して時間方向ウェーブレット逆変換を行う時間方向変換手段と、
    前記時間方向の逆変換を受けた符号化ビット系列に対して受信できたグループと受信できなかったグループの最も周波数が低いサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで、分割前の状態に戻す逆分割手段と、
    前記分割前に戻された規定枚数のフレームに対して空間方向ウェーブレット逆変換を行って復号動画像を復元する空間方向逆変換手段と、
    前記復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していて復号後の画像でパケット誤りによる画素の消失が残る場合に、消失画素をその周辺画素を用いて補間する第２誤り補間手段と
    を具備することを特徴とする動画像復号装置。
14. 前記第２誤り補間手段は、ＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法を用いることを特徴とする請求項１３記載の動画像復号装置。
15. 請求項５乃至８記載の動画像符号化方法で生成され伝送路を介して受信された伝送系列から元の動画像信号を復号する動画像復号方法であって、
    前記伝送系列を入力して前記Ｎ個のグループのうち一部の伝送系列しか受信できなかったことを検出し、
    前記Ｎ個のうち一部の伝送系列しか受信できなかったことが検出された場合に、受信できた伝送系列のみから前記複製処理で行ったウェーブレット係数の複製部分で符号化ビット系列を再構成し、
    前記再構成された符号化ビット系列に対して時間方向ウェーブレット逆変換を行い、
    前記時間方向の逆変換を受けた符号化ビット系列に対して受信できたグループと受信できなかったグループの最も周波数が低いサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで、分割前の状態に戻し、
    前記分割前に戻された規定枚数のフレームに対して空間方向ウェーブレット逆変換を行って復号動画像を復元し、
    前記復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していて復号後の画像でパケット誤りによる画素の消失が残る場合に、消失画素をその周辺画素を用いて補間することを特徴とする動画像復号方法。
16. 前記消失画素を周辺画素を用いて補間する処理に、ＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法を用いることを特徴とする請求項１５記載の動画像復号方法。
17. 請求項１乃至４記載の動画像符号化装置で生成され伝送路を介して受信された伝送系列から元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、
    前記伝送系列を入力して前記Ｎ個のグループのうち一部の伝送系列しか受信できなかったことを検出する誤り検出処理を実行させ、
    前記Ｎ個のうち一部の伝送系列しか受信できなかったことが検出された場合に、受信できた伝送系列のみから前記複製処理で行ったウェーブレット係数の複製部分で符号化ビット系列を再構成する第１誤り補間処理を実行させ、
    前記再構成された符号化ビット系列に対して時間方向ウェーブレット逆変換を行う時間方向変換処理を実行させ、
    前記時間方向の逆変換を受けた符号化ビット系列に対して受信できたグループと受信できなかったグループの最も周波数が低いサブバンドのウェーブレット係数を用いて規定枚数のフレームを再生することで、分割前の状態に戻す逆分割処理を実行させ、
    前記分割前に戻された規定枚数のフレームに対して空間方向ウェーブレット逆変換を行って復号動画像を復元する空間方向逆変換処理を実行させ、
    前記復元された各フレームにおいて、受信できなかったグループに対応する位置の画素が欠落していて復号後の画像でパケット誤りによる画素の消失が残る場合に、消失画素をその周辺画素を用いて補間する第２誤り補間処理を実行させることを特徴とする動画像復号プログラム。
18. 前記第２誤り補間処理は、ＭＭＳＥ（Minimum Mean Square Error）アルゴリズムによる補間法を用いることを特徴とする請求項１７記載の動画像復号プログラム。

Images