JP2011004343A - 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム - Google Patents

Abstract

【課題】伝送する画像フレームの情報量を低減し、高効率に圧縮符号化が可能な時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムを提供する。
【解決手段】本発明の符号化装置１は、フレーム画像間の動きベクトルを検出し、得られた動きベクトルの大きさが小さいものから優先的に間引くことにより時間周波数空間においてダウンサンプリングを施す時間ダウンサンプリング処理器２と、１階離散ウェーブレット分解を施して分解した各周波数成分の領域内の全ての要素の平均値を算出し、高空間周波数成分について各々予め規定した帯域制限を施し、低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施し、水平及び垂直方向にそれぞれ１：２で画素間引きを施して縮小画像信号を生成する空間ダウンサンプリング処理器３を備える。
【選択図】図１

Description

本発明は、伝送する画像データの伝送容量を低減するためのダウンサンプリング処理装置、アップサンプリング処理装置、符号化装置、復号装置及びプログラムに関するものであり、特に時間及び空間領域の双方で画像をダウンサンプリングすることにより伝送する画像データの伝送容量を低減する時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムに関するものである。

近年、動画像システムはますます高詳細化且つ高フレームレート化している。特に、近い将来の実現が期待されるスーパーハイビジョンは、空間標本化周波数が水平７６８０画素×垂直４３２０ライン、時間標本化周波数が６０Ｈｚプログレッシブの超高詳細映像であり、現在のハイビジョン映像と比較してより多くの情報量を有する。また、将来的にこれより更に高い標本化周波数を有する規格が開発される可能性も存在する。

こうした超高詳細映像を伝送するために画像情報量を低減する様々な技術が開発されている。空間周波数領域におけるダウンサンプリング（以下、「空間ダウンサンプリング」と称する）又はアップサンプリング（以下、「空間アップサンプリング」と称する）に関しては、線形処理を利用した古典的手法（例えば、特許文献１参照）から、Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ法（例えば、非特許文献１参照）などの非線形処理を利用したより現代的手法まで様々な方法が存在する。ただし、Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ法は繰り返し演算を用いる必要があるため、組み込みハードウェア化までは至っていない。

一方、時間周波数領域におけるダウンサンプリング（以下、「時間ダウンサンプリング」と称する）又はアップサンプリング（以下、「時間アップサンプリング」と称する）手法に関しては、フレーム画像列から検出した動きベクトルを用いてフレーム画像を間引く又は内挿するのが常套手段である（例えば、特許文献２参照）。

特開２０００−３６０４１号公報 特開昭６２−２３０１８０号公報

Ｓ．Ｆａｒｓｉｕ、他３名、"Ｆａｓｔ ａｎｄ ｒｏｂｕｓｔ ｍｕｌｔｉｆｒａｍｅ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００４，ｖｏｌ．１３，ｐｐ．１３２７−１３４４

しかし、スーパーハイビジョンのような時間及び空間領域における標本化周波数が高い映像方式の場合、圧縮符号化する際に、単に圧縮符号化するだけでは画像データの伝送容量は膨大となる。例えば、フルスペックのスーパーハイビジョンの映像は、ハイビジョンの映像と比較して、空間標本化周波数が１６倍（水平４倍、垂直４倍）、時間標本化周波数は２倍であり、トータルで３２倍の伝送容量が必要となる。

このように、スーパーハイビジョンのような超高詳細映像をより高効率に圧縮符号化して伝送するための方法が必要とされている。

そこで、本発明の目的は、時間及び空間（以下、「時空間」と称する）の双方で画像データを低減することにより伝送する画像データの情報量を高効率に圧縮可能な時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラムを提供することにある。

上記課題を解決するために、本発明による複数のフレーム画像からなるフレーム画像列を時間及び空間領域においてダウンサンプリングする時空間ダウンサンプリング処理装置は、処理対象のフレーム画像列について動きベクトルを検出する動きベクトル検出部と、前記動きベクトルに基づいて前記フレーム画像列を間引くとともに、当該間引きに関する補助情報を出力するフレーム間引き部と、前記間引かれたフレーム画像列の各々のフレーム画像について、水平方向及び垂直方向に２次元１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の要素の平均値を空間アップサンプリング時の高空間周波成分の推定に用いる倍数情報として算出する２次元１階離散Ｗａｖｅｌｅｔ分解処理部と、前記水平及び垂直方向における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施す２次元１階離散Ｗａｖｅｌｅｔ再構成部と、再構成した画像データについて水平及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部とを備えることを特徴とする。

また、本発明による時空間ダウンサンプリング処理装置において、前記フレーム間引き部は、前記動きベクトル検出部により検出された所定数のフレーム分の前記動きベクトルを読み出して該動きベクトルの大きさを計算し、該動きベクトルの大きさが小さいものから順に間引くことを特徴とする。

また、本発明による時空間ダウンサンプリング処理装置において、前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを０に変換することを特徴とする。

また、本発明による符号化装置は、本発明の時空間ダウンサンプリング処理装置と、該時空間ダウンサンプリング処理装置から出力される間引き縮小画像信号を任意の圧縮符号化方式により圧縮符号化して符号化データを生成する符号化器とを備えることを特徴とする。

また、本発明の時空間ダウンサンプリング処理装置によって生成される間引き縮小画像信号からなる画像データについて時間及び空間領域においてアップサンプリングを施す本発明による時空間アップサンプリング処理装置は、復号した間引かれたフレーム画像列について動きベクトルを検出する動きベクトル検出部と、前記動きベクトルに基づいてフレーム画像を内挿して時間アップサンプリングを施すフレーム内挿部と、該画像データについて２次元２階ウェーブレット変換を施す２次元２階離散Ｗａｖｅｌｅｔ分解処理部と、前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いて空間アップサンプリングを施すとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する２次元１階離散Ｗａｖｅｌｅｔ再構成部とを備えることを特徴とする。

また、本発明による時空間アップサンプリング処理装置において、前記フレーム内挿部が、間引かれたフレーム画像を線形補間法により内挿することにより時間アップサンプリングを施すことを特徴とする。

また、本発明による時空間アップサンプリング処理装置において、前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、水平高周波・垂直低周波成分の推定の場合には、２階水平高周波・垂直低周波成分及び１階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、垂直高周波・水平低周波成分の推定の場合には、２階垂直高周波・水平低周波成分及び１階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、垂直高周波・水平高周波成分の推定の場合には、２階垂直高周波・水平高周波成分及び１階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする。

また、本発明による復号装置は、本発明の時空間アップサンプリング処理装置と、請求項４に記載の符号化装置によって符号された符号化データを復号する復号器とを備えることを特徴とする。

また、本発明による時空間ダウンサンプリング処理プログラムは、フレーム画像を時間及び空間領域においてダウンサンプリングする時空間ダウンサンプリング処理装置として構成するコンピュータに、処理対象のフレーム画像列について動きベクトルを検出するステップと、前記動きベクトルに基づいて前記フレーム画像列を間引くとともに、当該間引きに関する補助情報を出力するステップと、前記間引かれたフレーム画像列の各々のフレーム画像について、水平方向及び垂直方向に２次元１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の要素の平均値を空間アップサンプリング時の高空間周波成分の推定に用いる倍数情報として算出するステップと、前記水平及び垂直方向における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施すステップと、再構成した画像データについて水平及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップとを実行させることを特徴とする。

また、本発明による時空間アップサンプリング処理プログラムは、本発明の時空間ダウンサンプリング処理装置によって生成される間引き縮小画像信号からなる画像データについて、時間及び空間領域においてアップサンプリングを施す時空間アップサンプリング処理装置として構成するコンピュータに、復号した間引かれたフレーム画像列について動きベクトルを検出するステップと、前記動きベクトルに基づいてフレーム画像を内挿して時間アップサンプリングを施すステップと、該画像データについて２次元２階ウェーブレット変換を施すステップと、前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いて空間アップサンプリングを施すとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元するステップとを実行させることを特徴とする。

本発明によれば、時空間で画像データを低減することにより伝送する画像データの情報量を低減して高効率に圧縮することが可能になる。

本発明による一実施例の符号化装置を示している。 本発明による一実施例の時間ダウンサンプリング処理器を示している。 本発明による一実施例の空間ダウンサンプリング処理器を示している。 本発明による一実施例の復号装置を示している。 本発明による一実施例の時間アップサンプリング処理器を示している。 本発明による一実施例の空間アップサンプリング処理器を示している。 本発明による一実施例の時間領域におけるフレーム画像のダウンサンプリング及びアップサンプリング処理を示している。 本発明による一実施例の時間ダウンサンプリング処理を示している。 本発明による一実施例の空間領域におけるフレーム画像のダウンサンプリング及びアップサンプリング処理を示している。 本発明による一実施例の時間アップサンプリング処理を示している。 本発明による一実施例の符号化装置の動作フローチャートを示している。 本発明による一実施例の復号装置の動作フローチャートを示している。

まず、本発明による一実施例の符号化装置及び復号装置について説明する。

［符号化装置］
図１は、本発明による一実施例の符号化装置を示している。本実施例の符号化装置１は、時間ダウンサンプリング処理器２と空間ダウンサンプリング処理器３と、符号化器４とを備える。時間ダウンサンプリング処理器２は、図２に示すように、動きベクトル検出部２１と、フレーム間引き部２２とを有する。また、空間ダウンサンプリング処理器３は、図３に示すように、２次元１階離散Ｗａｖｅｌｅｔ分解処理部３１と、帯域制限処理部３２と、２次元１階離散Ｗａｖｅｌｅｔ再構成部３３と、水平・垂直１：２画素間引処理部３４とを有する。本発明による一実施例の符号化装置１の各処理に用いるデータは、符号化装置１が備える記憶部（図示せず）に適宜格納することができる。

本実施例においては、時間及び空間周波数領域の双方にて、フレーム画像の情報量の低減を図る。即ち、図７に示すように、符号化装置１の時間ダウンサンプリング処理器２により画像データの時間ダウンサンプリングを行い、復号装置５の時間アップサンプリング処理器７により画像データのアップサンプリングを行う。また、図９に示すように、符号化装置１の空間ダウンサンプリング処理器３により画像データの空間ダウンサンプリングを行い、復号装置５の空間アップサンプリング処理器８により画像データのアップサンプリングを行う。

ここで符号化装置１の各構成要素を説明する。

動きベクトル検出部２１は、処理対象の動画像の時刻ｔにおけるフレーム画像Ｆ（ｔ）及び時刻ｔ＋１におけるフレーム画像Ｆ（ｔ＋１）に対して、空間解像度の１／４程度大きさを有する所定のブロックを設定し、ブロックマッチング法により両フレーム間の動きベクトルを計算し、得られた動きベクトルを当該記憶部に記憶する。

フレーム間引き部２２は、記憶部に記憶された１Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ（ＧＯＰ）分のフレーム（３０フレーム）の動きベクトルを読み出してその大きさを調べ、後述する指針に従って間引くフレーム画像を決定する。決定したフレーム画像を間引いてフレーム画像数を半数に低減した後、２次元１階離散Ｗａｖｅｌｅｔ分解処理部３１に出力する。尚、間引いたフレーム番号等の、復号装置２における時間アップサンプリング処理に必要な間引きフレーム情報を当該記憶部に記憶しておき、伝送する前に符号化器４で符号化された画像データのヘッダ等に記録する。

ここで、図８を参照して、間引くフレームを選択する指針について説明する。まず、３０フレームのうち最初と最後のフレームは必ず残すようにして、０．５秒に１回は必ず本来の時間位置に本来のフレームが位置するようにする。これにより、フレームの間引き処理により時間軸上のフレームの位置が変更される場合にも、１秒間に２回はＩスライス／ピクチャが設定されるように符号化を行うことができ、現在のハイビジョン放送におけるＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）やＭＰＥＧ−２等の符号化で標準的に使用されているパラメータ設定と整合性が取れるため有利である。

画像を間引く際に、単純に２フレームに対して１フレームを間引く方法では、動きが速いシーンにおいて時間軸方向のフレーム相関が低くなるため符号化後に画質が劣化し易い。そこで本実施例では、動きベクトルの大きさが小さいフレームから優先的に間引き、動きベクトルの大きさが大きいフレームは残すようにする。間引かれたフレームに対する動きベクトルは小さいため、復号装置５において時間アップサンプリング処理を施す際に、内挿処理より容易に復元することが可能である。こうして、画質を劣化させることなくフレーム数を半減させることが可能になる。

２次元１階離散Ｗａｖｅｌｅｔ分解処理部３１は、入力した間引かれたフレーム画像について、空間周波数のオクターブ分解法としての離散ウェーブレット分解法により水平方向及び垂直方向に各１／２に１階離散ウェーブレット（Ｗａｖｅｌｅｔ）分解を施し、分解した２次元周波数成分を帯域制限処理部３２に送出するとともに、分解した各周波数成分の領域内の全ての要素の平均値（例えば、二乗平均した値の平方根）を算出し、各平均値（ＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨ）を、復号後の「倍数情報」として当該記憶部に記憶保持する。

帯域制限処理部３２は、水平又は垂直方向に高周波成分を含む高空間周波数成分について、各々予め規定した帯域制限を施し、低空間周波数成分と帯域制限を施した高空間周波数成分とを２次元１階離散Ｗａｖｅｌｅｔ再構成部３３に送出する。高空間周波数成分の各々における予め規定した帯域制限方法は以下の通りである。

２次元１階離散Ｗａｖｅｌｅｔ分解処理部３１により得られたＯｒｇＨＬ^１の領域は、水平方向に水平標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、ＯｒｇＨＬ^１では、水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側（Ｈｓ×３／４以上）を０に変換する。これは、水平方向に水平標本化周波数の１／２以上、且つＨｓ×３／４未満の高周波成分の帯域通過を施す帯域通過フィルタと同様の効果を生じさせる。次に、垂直低周波・水平高周波成分であるＯｒｇＬＨ^１の帯域制限を施す。このＯｒｇＬＨ^１の領域は、垂直方向に垂直標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、ＯｒｇＨＬ^１では垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側（Ｖｓ×３／４以上）を０に変換する。これは、垂直方向に垂直標本化周波数の１／２以上、且つＶｓ×３／４未満の高周波成分の帯域通過を施す帯域通過フィルタと同様の効果を生じさせる。

続いて、水平高周波・垂直高周波成分であるＯｒｇＨＨ^１の帯域制限を施す。このＯｒｇＬＨ^１の領域は、水平・垂直方向ともに標本化周波数の１／２以上の高周波成分が含まれている。そこで、帯域制限として、このＯｒｇＨＨ^１は、視覚の空間異方特性（視覚の斜め４５度方向の空間周波数−コントラスト感度は、水平０度・垂直９０度方向の空間周波数−コントラスト感度と比較して感度が約１／２となる）も考慮して、該水平高周波・垂直高周波成分の全てを０に変換する。

２次元１階離散Ｗａｖｅｌｅｔ再構成部３３は、帯域制限処理部３２から供給される低空間周波数成分と帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施し、再構成した画像データを水平・垂直１：２画素間引処理部３４に送出する。

水平・垂直１：２画素間引処理部３４は、２次元１階離散Ｗａｖｅｌｅｔ再構成部３３から供給される再構成した画像データについて水平及び垂直方向にそれぞれ１：２で画素間引きを施し、時空間ダウンサンプリングを実行した画像データ（縮小画像信号）を符号化器３に送出する。

符号化器４は、水平・垂直１：２画素間引処理部３４によって空間ダウンサンプリング処理を施した画像データを任意の圧縮符号化方式（例えば、ＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４）により圧縮符号化して符号化データを生成する。この符号化データは、前述した倍数情報を付属情報として、当該記憶部に記憶するか、又は装置外部へと伝送することができる。

このように、フレーム画像に対して時空間で画像データを低減することにより、伝送する画像データの情報量を低減して高効率に圧縮することが可能になる。

次に、本実施例の復号装置５について説明する。

[復号装置]
図４は、本発明による一実施例の復号装置を示す図である。本実施例の復号装置５は、復号器６と、時間アップサンプリング処理器７と、空間アップサンプリング処理器８とを備える。時間アップリング処理器７は、図５に示すように動きベクトル検出部７１と、フレーム内挿部７２とを有する。また、空間アップサンプリング処理器８は、図６に示すように、２次元２階離散Ｗａｖｅｌｅｔ分解処理部８１と、高周波成分推定処理部８２と、２次元１階離散Ｗａｖｅｌｅｔ再構成部８３とを有する。本発明による一実施例の復号装置５の各処理に用いるデータは、復号装置５が備える記憶部（図示せず）に適宜格納することができる。

復号器６は、本実施例の符号化装置１によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号し、復号した画像データ（時空間ダウンサンプリングされた画像）を動きベクトル検出部７１に送出する。尚、本実施例の復号装置５は、付属情報としての間引きフレーム情報及び倍数情報を読出し又は受信して、当該記憶部に記憶する。

動きベクトル検出部７１は、時間ダウンサンプリング器２により間引かれたフレームから、フレーム間の動きベクトルを検出して当該記憶部に記憶する。その際に、時間ダウンサンプリング器２によるフレーム間引き処理と同様に、空間解像度の１／４程度の所定のブロックを設定して動きベクトル検出を行う。

フレーム内挿部７２は、当該記憶部に記憶された間引きフレーム情報を解析し、受信した動きベクトルを用いてフレームの内挿処理を施して２次元２階離散Ｗａｖｅｌｅｔ分解処理部８１に出力する。この処理により、フレーム画像は１ＧＯＰ＝１５フレームから１ＧＯＰ＝３０フレームに戻される。フレーム内挿処理は、図１０に示すように、例えば、フレームＦ（ｔ）とフレーム（ｔ＋６）の間の５つのフレームが間引かれている場合、フレームＦ（ｔ）とフレームＦ（ｔ＋６）との間の動きベクトルを用いて線形補間し、内挿比１／６，２／６，３／６，４／６，及び５／６にてフレームを内挿する。また、フレームＦ（ｔ＋６）とフレーム（ｔ＋９）の間の２つのフレームが間引かれている場合、フレームＦ（ｔ＋６）とフレームＦ（ｔ＋９）との間の動きベクトルを用いて線形補間し、内挿比１／３及び２／３にてフレームを内挿する。間引かれたフレームは動きベクトルの大きさが小さいシーンのフレームであるため、上記の内挿処理により画質の劣化を抑制しつつ、１ＧＯＰ＝１５フレームから１ＧＯＰ＝３０フレームに戻すことが可能になる。

２次元２階離散Ｗａｖｅｌｅｔ分解処理部８１は、フレーム内挿部７２から供給される内挿された空間ダウンサンプリングされた画像について、２次元２階ウェーブレット変換を施し、各周波数成分を高周波成分推定処理部８２に送出する。

高周波成分推定処理部８２は、２次元２階離散Ｗａｖｅｌｅｔ分解処理部８１から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いてアップサンプリングを行うとともに、付属情報としての倍数情報を乗じることにより各高周波成分を推定して再現し、再現した各高周波成分を２次元１階離散Ｗａｖｅｌｅｔ再構成部８３に送出する。

ここで、上記の周波数成分毎に予め規定した補間処理について説明する。まず、原画像Ｏｒｇの水平高周波・垂直低周波成分の推定処理としては、２階水平高周波・垂直低周波成分ＳｐＤｗＨＬ^２を水平・垂直方向に各４倍、１階水平高周波・垂直低周波成分ＳｐＤｗＨＬ^１を水平・垂直方向に各２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、該空間アップサンプリングを施した周波数成分の各々（ＳｐＤｗＨＬ^２とＳｐＤｗＨＬ^１）の空間アップサンプリングでは位相を１/４ずらす。位相をずらす処理は、折り返しによるモアレの発生を防ぐ効果を生じさせる。そしてＳｐＤｗＨＬ^２を空間アップサンプリングした成分とＳｐＤｗＨＬ^１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＨＬを乗算し、この結果を空間アップサンプリング水平高周波成分とする。

次に、原画像の垂直高周波・水平低周波成分の推定処理としては、２階垂直高周波・水平低周波成分ＳｐＤｗＬＨ^２を水平・垂直方向に各４倍、１階垂直高周波・水平低周波成分ＳｐＤｗＬＨ^１を水平・垂直方向に各２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、該空間アップサンプリングを施した周波数成分（ＳｐＤｗＬＨ^２とＳｐＤｗＬＨ^１）の空間アップサンプリングでは位相を１/４ずらす。位相をずらす処理は、折り返しによるモアレの発生を防ぐ効果を生じさせる。そしてＳｐＤｗＬＨ^２を空間アップサンプリングした成分とＳｐＤｗＬＨ^１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＬＨを乗算する。この結果を空間アップサンプリング垂直高周波成分とする。

続いて、斜め方向高空間周波数成分、即ち垂直高周波・水平高周波成分ＳｐＤｗＨＨ^１の推定の場合も同様に、２階垂直高周波・水平高周波成分ＳｐＤｗＨＨ^２を水平・垂直方向に４倍、１階垂直高周波・水平高周波成分ＳｐＤｗＨＨ^１を水平・垂直方向に２倍に線形フィルタによる補間処理を用いて空間アップサンプリングを行う。この時、ＳｐＤｗＨＨ^２とＳｐＤｗＨＨ^１の空間アップサンプリングでは位相を１/４ずらす。そしてＳｐＤｗＨＨ^２を空間アップサンプリングした成分とＳｐＤｗＨＨ^１を空間アップサンプリングした成分について乗算を行い、更に倍数ＭｕｌｔｉＨＨを乗算し、この結果を空間アップサンプリング水平・垂直高周波成分とする。

こうして、各高周波成分を推定することができる。

２次元１階離散Ｗａｖｅｌｅｔ再構成部８３は、高周波成分推定処理部８２から供給される低空間周波数成分と再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元する。

このように、受信した時空間においてダウンサンプリングされた画像データを復号し、時空間アップサンプリング処理により画像フレームを復元することが可能になる。

次に、図１１のフローチャートを参照して、本実施例の符号化装置１の動作について説明する。

［符号化装置の動作］
ステップＳ１１０１にて、本実施例の符号化装置１の動きベクトル検出部２１は、当該記憶部から処理対象の動画像の時刻ｔにおけるフレーム画像Ｆ（ｔ）及び時刻ｔ＋１におけるフレーム画像Ｆ（ｔ＋１）を読み出す。

ステップＳ１１０２にて、本実施例の符号化装置１の動きベクトル検出部２１は、読み出したフレーム画像Ｆ（ｔ）及びＦ（ｔ＋１）からブロックマッチング法により動きベクトルを検出する。

ステップＳ１１０３にて、本実施例の符号化装置１のフレーム間引き部２２は、ステップＳ１１０２にて得られた動きベクトルを調べて間引くフレーム画像を決定し、１ＧＯＰ当たりのフレーム数が１５となるようにフレーム画像を間引く。

ステップＳ１１０４にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ分解処理部３１は、間引かれたフレーム画像に対して、離散ウェーブレット分解法により水平方向及び垂直方向に各１／２に２次元１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の全ての要素の平均値（例えば、二乗平均した値の平方根）を算出し、各平均値（ＭｕｌｔｉＬＬ, ＭｕｌｔｉＨＬ, ＭｕｌｔｉＬＨ, ＭｕｌｔｉＨＨ）を算出する。

ステップＳ１１０５にて、本実施例の符号化装置１の帯域制限処理部３２は、水平又は垂直方向に高周波成分を含む高空間周波数成分について、各々予め規定した帯域制限を施す。

ステップＳ１１０６にて、本実施例の符号化装置１の２次元１階離散Ｗａｖｅｌｅｔ再構成部３３は、低空間周波数成分と帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレットの再構成を実行する。

ステップＳ１１０７にて、本実施例の符号化装置１の水平・垂直１：２画素間引処理部３４は、再構成した画像データについて水平及び垂直方向にそれぞれ１：２で画素間引きを施し、空間ダウンサンプリングを実行した画像データ（縮小画像信号）を得る。

ステップＳ１１０８にて、本実施例の符号化装置１の符号化器４は、空間ダウンサンプリング処理を施した画像データを任意の圧縮符号化方式（例えば、ＪＰＥＧ，ＭＰＥＧ，Ｈ．２６４）により圧縮符号化して符号化データを生成し、蓄積又は伝送する。

こうして、伝送する画像データを時空間でダウンサンプリングすることにより情報量を低減し、高効率に圧縮符号化して画像データが蓄積又は伝送される。

続いて、図１２に示すフローチャートを参照して、本実施例の復号装置５の動作について説明する。

［復号装置の動作］
ステップＳ１２０１にて、本実施例の復号装置５は、復号器６により、本実施例の符号化装置１によって符号化された符号化データを読出し又は受信して、対応する圧縮符号化方式に従って復号する。

ステップＳ１２０２にて、本実施例の復号装置５の動きベクトル検出部７１は、復号されたフレーム画像から動きベクトルを検出する。

ステップＳ１２０３にて、本実施例の復号装置５のフレーム内挿部７２は、当該記憶部に記憶されたフレーム間引き情報及びステップＳ１２０２で得られた動きベクトルから、フレームを内挿して１ＧＯＰ当たりのフレーム数が３０となるようにフレーム内挿処理を施す。

ステップＳ１２０４にて、本実施例の復号装置５の２次元２階離散Ｗａｖｅｌｅｔ分解処理部８１は、空間ダウンサンプリングされた画像について２次元２階ウェーブレット変換を実行する。

ステップＳ１２０５にて、本実施例の復号装置５の高周波成分推定処理部８２は、補間処理を用いてアップサンプリングを行うとともに、付属情報としての倍数情報を乗じて各高周波成分を推定して再現する。

ステップＳ１２０６にて、本実施例の復号装置５の２次元１階離散Ｗａｖｅｌｅｔ再構成部８３は、低空間周波数成分と再現した各高周波成分とを用いて２次元１階離散ウェーブレット再構成を実行し、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元する。

こうして、本実施例の復号装置５における時間アップサンプリング処理器７及び空間アップサンプリング処理器８は、時空間ダウンサンプリングされた画像に対してアップサンプリングを行い、フレーム画像Ｆ（ｔ）に対応するフレーム画像Ｆ’（ｔ）を復元して出力する。

尚、本実施例に係る時間ダウンサンプリング処理装置２、空間ダウンサンプリング処理器３、時間アップサンプリング処理装置７及び空間アップサンプリング処理器８の各々は、コンピュータとして構成することができ、各機能を実現するためのプログラムはコンピュータの記憶部に記憶することができ、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、時間ダウンサンプリング処理装置２、空間ダウンサンプリング処理器３、時間アップサンプリング処理装置７及び空間アップサンプリング処理器８の機能を実現させることができる。

以上、具体例を挙げて本発明を詳細に説明してきたが、本発明の特許請求の範囲から逸脱しない限りにおいて、様々な変形や変更が可能であることは当業者に明らかである。例えば、上記の実施例では、符号化装置が時間ダウンサンプリング処理器と空間ダウンサンプリング処理器と符号化器とを備え、復号装置が復号器と時間アップサンプリング処理器と空間アップサンプリング処理器とを備えるとして説明したが、符号化器、時間ダウンサンプリング処理器、及び空間ダウンサンプリング処理器を個別の装置として、並びに復号器、時間アップサンプリング処理器、及び空間アップサンプリング処理器を個別の装置として構成することができる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、時間及び空間領域の双方においてダウンサンプリング処理を施した後に圧縮符号化・伝送・復号を行い、アップサンプリング処理を施すことにより伝送する画像データ情報量を大きく低減できるので、多くの伝送容量を必要とするデジタルシネマやスーパーハイビジョンの圧縮符号化・伝送の用途に有用である。

１ 符号化装置
２ 時間ダウンサンプリング処理器
３ 空間ダウンサンプリング処理器
４ 符号化器
５ 復号装置
６ 復号器
７ 時間アップサンプリング処理器
８ 空間アップサンプリング処理器
２１ 動きベクトル検出部
２２ フレーム間引き部
３１ ２次元１階離散Ｗａｖｅｌｅｔ分解処理部
３２ 帯域制限処理部
３３ ２次元１階離散Ｗａｖｅｌｅｔ再構成部
３４ 水平・垂直１：２画素間引処理部
７１ 動きベクトル検出部
７２ フレーム内挿部
８１ ２次元２階離散Ｗａｖｅｌｅｔ分解処理部
８２ 高周波成分推定処理部
８３ ２次元１階離散Ｗａｖｅｌｅｔ再構成部

Claims (10)

1. 複数のフレーム画像からなるフレーム画像列を時間及び空間領域においてダウンサンプリングする時空間ダウンサンプリング処理装置であって、
   処理対象のフレーム画像列について動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルに基づいて前記フレーム画像列を間引くとともに、当該間引きに関する補助情報を出力するフレーム間引き部と、
   前記間引かれたフレーム画像列の各々のフレーム画像について、水平方向及び垂直方向に２次元１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の要素の平均値を空間アップサンプリング時の高空間周波成分の推定に用いる倍数情報として算出する２次元１階離散Ｗａｖｅｌｅｔ分解処理部と、
   前記水平及び垂直方向における高空間周波数成分について、各々予め規定した帯域制限を施す帯域制限処理部と、
   前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施す２次元１階離散Ｗａｖｅｌｅｔ再構成部と、
   再構成した画像データについて水平及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成する画素間引処理部と、
   を備えることを特徴とする時空間ダウンサンプリング処理装置。
2. 前記フレーム間引き部は、前記動きベクトル検出部により検出された所定数のフレーム分の前記動きベクトルを読み出して該動きベクトルの大きさを計算し、該動きベクトルの大きさが小さいものから順に間引くことを特徴とする、請求項１に記載の時空間ダウンサンプリング処理装置。
3. 前記帯域制限処理部は、水平高周波・垂直低周波成分の帯域制限を施す場合には、水平方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、垂直低周波・水平高周波成分の帯域制限を施す場合には、垂直方向に１次元１階離散ウェーブレット分解を行い、高周波成分側を０に変換し、水平高周波・垂直高周波成分の帯域制限を施す場合には、該水平高周波・垂直高周波成分の全てを０に変換することを特徴とする、請求項１に記載の時空間ダウンサンプリング処理装置。
4. 請求項１〜３のいずれかに記載の時空間ダウンサンプリング処理装置と、
   該時空間ダウンサンプリング処理装置から出力される間引き縮小画像信号を任意の圧縮符号化方式により圧縮符号化して符号化データを生成する符号化器と、
   を備えることを特徴とする、符号化装置。
5. 請求項１〜３のいずれかに記載の時空間ダウンサンプリング処理装置によって生成される間引き縮小画像信号からなる画像データについて、時間及び空間領域においてアップサンプリングを施す時空間アップサンプリング処理装置であって、
   復号した間引かれたフレーム画像列について動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルに基づいてフレーム画像を内挿して時間アップサンプリングを施すフレーム内挿部と、
   該画像データについて２次元２階ウェーブレット変換を施す２次元２階離散Ｗａｖｅｌｅｔ分解処理部と、
   前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いて空間アップサンプリングを施すとともに、前記倍数情報を乗じて各高周波成分を推定して再現する高周波成分推定処理部と、
   前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元する２次元１階離散Ｗａｖｅｌｅｔ再構成部と、
   を備えることを特徴とする時空間アップサンプリング処理装置。
6. 前記フレーム内挿部が、間引かれたフレーム画像を線形補間法により内挿することにより時間アップサンプリングを施すことを特徴とする、請求項５に記載の時空間アップサンプリング処理装置。
7. 前記高周波成分推定処理部は、当該周波数成分毎に予め規定される補間処理として、
   水平高周波・垂直低周波成分の推定の場合には、２階水平高周波・垂直低周波成分及び１階水平高周波・垂直低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
   垂直高周波・水平低周波成分の推定の場合には、２階垂直高周波・水平低周波成分及び１階垂直高周波・水平低周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算し、
   垂直高周波・水平高周波成分の推定の場合には、２階垂直高周波・水平高周波成分及び１階垂直高周波・水平高周波成分の各々に空間アップサンプリングを施して、該空間アップサンプリングを施した周波数成分の各々の位相をずらして乗算するとともに、対応する周波数成分の倍数情報を乗算することを特徴とする、請求項５に記載の時空間アップサンプリング処理装置。
8. 請求項５〜７のいずれかに記載の時空間アップサンプリング処理装置と、
   請求項４に記載の符号化装置によって符号された符号化データを復号する復号器と、
   を備えることを特徴とする、復号装置。
9. フレーム画像を時間及び空間領域においてダウンサンプリングする時空間ダウンサンプリング処理装置として構成するコンピュータに、
   処理対象のフレーム画像列について動きベクトルを検出するステップと、
   前記動きベクトルに基づいて前記フレーム画像列を間引くとともに、当該間引きに関する補助情報を出力するステップと、
   前記間引かれたフレーム画像列の各々のフレーム画像について、水平方向及び垂直方向に２次元１階離散ウェーブレット分解を施すとともに、分解した各周波数成分の領域内の要素の平均値を空間アップサンプリング時の高空間周波成分の推定に用いる倍数情報として算出するステップと、
   前記水平及び垂直方向における高空間周波数成分について、各々予め規定した帯域制限を施すステップと、
   前記帯域制限処理部から供給される低空間周波数成分と当該帯域制限を施した高空間周波数成分とを用いて１階離散ウェーブレット再構成を施すステップと、
   再構成した画像データについて水平及び垂直方向にそれぞれ画素間引きを施して空間ダウンサンプリングを実行し、縮小画像信号を生成するステップと、
   を実行させることを特徴とするプログラム。
10. 請求項１〜３のいずれかに記載の時空間ダウンサンプリング処理装置によって生成される間引き縮小画像信号からなる画像データについて、時間及び空間領域においてアップサンプリングを施す時空間アップサンプリング処理装置として構成するコンピュータに、
    復号した間引かれたフレーム画像列について動きベクトルを検出するステップと、
    前記動きベクトルに基づいてフレーム画像を内挿して時間アップサンプリングを施すステップと、
    該画像データについて２次元２階ウェーブレット変換を施すステップと、
    前記２次元２階離散Ｗａｖｅｌｅｔ分解処理部から供給される各周波数成分から、当該周波数成分毎に予め規定した補間処理を用いて空間アップサンプリングを施すとともに、前記倍数情報を乗じて各高周波成分を推定して再現するステップと、
    前記高周波成分推定処理部から供給される低空間周波数成分と前記再現した各高周波成分とを用いて１階離散ウェーブレット再構成を施し、前記処理対象とした画像を復元するステップと、
    を実行させるためのプログラム。

Images