JP2007049664A - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】フレームの集まり（ＧＯＦ）毎に時間方向にウェーブレット変換された動画像の符号を伸長した場合に、ＧＯＦ境界に生ずる歪みを抑制する。
【解決手段】動画像の符号の伸長処理において、時間方向逆ウェーブレット変換手段３１により、逆量子化後のウェーブレット係数に対し上位階層より下位階層へ向かって時間方向の逆ウェーブレット変換を実行するが、各階層の逆ウェーブレット変換に先立ち、係数補正手段３により、ＧＯＦ境界歪みを抑制するために、ＧＯＦ境界に隣接するハイパス係数とＧＯＦ境界近傍の境界に隣接しないハイパス係数を補正する。
【選択図】図２１

Description

本発明は、動画像の圧縮・伸長の分野に係り、より詳細には、動画像のフレームの集まり（ＧＯＦ；Group of Frames)毎に時間方向に周波数変換を行った符号を伸長する場合にＧＯＦ境界歪みの発生を抑止するための技術に関する。

動画像の動きを滑らかにするために補間するフレームの生成に離散ウェーブレット変換を利用する方法が特許文献１に記載されている。この方法においては、動画像の連続したＮフレーム毎に時間方向（フレームの並び方向）の離散ウェーブレット変換を行い、生成されたウェーブレット係数中の最低周波数成分の係数値を画素値としたフレームｋを得るとともに、次段階の高周波成分除去のための閾値を決定する。次に、このフレームｋを元のＮフレームに補間したＮ＋１フレームに対し時間方向の離散ウェーブレット変換を行い、生成されたウェーブレット係数中の前記閾値を超える高周波成分を除去する。この高周波成分除去後のウェーブレット係数に対し離散ウェーブレット逆変換を行い、得られたフレームｋの画素値からなる補間フレームを生成する。

画像をタイル分割し、タイル毎にウェーブレット変換を用いて圧縮するＪＰＥＧ２０００のような方式では、圧縮データから画像を伸長すると、タイル境界に歪みが生ずることがある。特許文献２には、そのような圧縮データの伸長処理において、隣接したタイルのローパス係数とハイパス係数を利用してタイル境界付近のハイパス係数を補正することにより、タイル境界歪みを効果的に除去する方法が記載されている。

高精細の動画像の圧縮方式として、各フレームをＪＰＥＧ２０００で符号化するＭｏｔｉｏｎ−ＪＰＥＧ２０００がある。この圧縮方式は、個々のフレームを独立して処理できる等の利点があるが、圧縮時にフレーム間差分を用いないため、フレーム間差分を用いるＭＰＥＧなどの圧縮方式に比べ、画質の面で必ずしも有利ではない場合があり得る。その対策として、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のような各フレームが２次元周波数変換された動画像に対し、連続したフレームの集まり（ＧＯＦ；Group of Flames）毎に時間方向にウェーブレット変換のような周波数変換を行うことによって、動画像を３次元サブバンド符号化する試みがなされている。しかし、このようなＧＯＦ単位で時間方向に周波数変換された動画像の符号を伸長した場合に、ＧＯＦ境界に痙攣するように揺らぐＧＯＦ境界歪み（ｊｅｒｋ）が発生するという問題が指摘されている（例えば非特許文献１参照）。

特開２００２−１９９４００号公報 特開２００１−２５７５９６号公報 C.Parisot，M.Antonini，M．Barlaud， "Motion-compensated scan based wavelet transform for video coding，" Proceedings of the International Workshop on Digital Communications，Capri，Italy，September 2002，pp．121-127

本発明は、ＧＯＦ毎に時間方向に周波数変換された動画像の符号を伸長する際の問題点であるＧＯＦ境界歪みを効果的に抑制するための画像処理装置及び方法を提供することにある。

請求項１の発明は、動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に周波数変換することにより生成された周波数係数に対し時間方向の逆周波数変換を行う逆周波数変換手段、この逆周波数変換手段により逆周波数変換される周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段を有することを特徴とする画像処理装置である。

請求項２の発明は、動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に階層的に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換手段、この逆周波数変換手段により逆周波数変換される特定階層以下の周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段を有することを特徴とする画像処理装置である。

請求項３の発明は、請求項１又は２の発明に係る画像処理装置であって、前記係数補正手段による高周波係数の補正は、量子化ステップ数が所定値より小さい場合にのみ施されることを特徴とする画像処理装置である。

請求項４の発明は、請求項１，２又は３の発明に係る画像処理装置であって、前記係数補正手段による高周波係数の補正は、利用者によりＧＯＦ境界歪み抑制が指定された場合にのみ施されることを特徴とする画像処理装置である。

請求項５の発明は、請求項１，２，３又は４の発明に係る画像処理装置であって、前記係数補正手段は補正した高周波数係数のクリッピング処理を行うことを特徴とする画像処理装置である。

請求項６の発明は、請求項１，２，３，４又は５の発明に係る画像処理装置であって、前記周波数変換はウェーブレット変換であり、前記逆周波数変換は逆ウェーブレット変換であることを特徴とする画像処理装置である。

請求項７の発明は、動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換工程、この逆周波数変換工程により逆周波数変換される周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正工程を有することを特徴とする画像処理方法である。

請求項８の発明は、動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に階層的に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換工程、この逆周波数変換工程により逆周波数変換される特定階層以下の周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正工程を有することを特徴とする画像処理方法である。

請求項９の発明は、請求項７又は８の発明に係る画像処理方法であって、前記係数補正工程による高周波係数の補正は、量子化ステップ数が所定値より小さい場合にのみ施されることを特徴とする画像処理方法である。

請求項１０の発明は、請求項７，８又は９の発明に係る画像処理方法であって、前記係数補正工程による高周波係数の補正は、利用者によりＧＯＦ境界歪み抑制が指定された場合にのみ施されることを特徴とする画像処理方法である。

請求項１１の発明は、請求項７，８，９又は１０の発明に係る画像処理方法であって、前記係数補正工程は補正した高周波数係数のクリッピング処理を行うことを特徴とする画像処理方法である。

請求項１２の発明は、動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換手段、この逆周波数変換手段により逆周波数変換される周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段としてコンピュータを機能させるプログラムである。

請求項１３の発明は、動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に階層的に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換手段、この逆周波数変換手段により逆周波数変換される特定階層以下の周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段としてコンピュータを機能させるプログラムである。

請求項１４の発明は、請求項１２又は１３の発明に係るプログラムであって、前記係数補正手段による高周波係数の補正は、量子化ステップ数が所定値より小さい場合にのみ施されることを特徴とするプログラムである。

請求項１５の発明は、請求項１２，１３又は１４の発明に係るプログラムであって、前記係数補正手段による高周波係数の補正は、利用者によりＧＯＦ境界歪み抑制が指定された場合にのみ施されることを特徴とするプログラムである。

請求項１６の発明は、請求項１２，１３，１４又は１５の発明に係るプログラムであって、前記係数補正手段は補正した高周波数係数のクリッピング処理を行うことを特徴とするプログラムである。

請求項１７の発明は、請求項１２，１３，１４，１５又は１６の発明に係るプログラムが記録されたコンピュータが読み取り可能な情報記録媒体である。

請求項１〜１１の発明によれば、時間方向の逆周波数変換に先立って、ＧＯＦ境界近傍の高周波係数についてＧＯＦ境界歪み抑制のための補正を施すため、ＧＯＦ境界歪みの目立たない動画像の再生が可能である。

なお、ＧＯＦ境界歪み抑制のために補正される高周波係数とは、具体的には、後記実施形態において説明するようなＧＯＦ境界に隣接する高周波係数と、ＧＯＦ境界近傍であるがＧＯＦ境界に隣接しない高周波係数である。補正の効果が高いのはＧＯＦ境界に隣接する高周波係数であるので、ＧＯＦ境界に隣接する高周波係数に対してのみ補正を施すようにしてもよい。

また、ＧＯＦ境界近傍の高周波係数に対するＧＯＦ境界歪み抑制のための補正とは、ＧＯＦ境界に隣接した係数を中心とした逆周波数変換値が、ＧＯＦ分割しない場合の低周波数係数のみを用いた逆周波数変換値と略等しくなるような補正であり、その補正式は適用される周波数変換の種類に依存する。後記実施形態において、ＪＰＥＧ２０００に規定されている２種類のウェーブレット変換の場合の補正式を示す。

また、請求項２，３，８，９の発明によれば、ＧＯＦ境界歪み抑制のための処理量を削減し、効率的処理によりＧＯＦ境界歪み抑制を達成することができる。また、請求項５，１０の発明によれば、利用者がＧＯＦ境界歪み抑制を望まない場合には、ＧＯＦ境界歪み抑制のための係数補正処理を行わないことにより、動画像再生処理を高速化することができる効果がある。

請求項１２〜１７の発明によれば、請求項１〜６の発明に係る画像処理装置をコンピュータを利用し容易に実現することができる。

ＪＰＥＧ２０００により画像をタイル分割して圧縮した符号を伸長すると、圧縮率が高い場合にタイル境界歪みが目立つことがある。前記特許文献２記載のタイル境界歪み除去（デタイル）方法は、伸長処理においてウェーブレット係数の状態でタイル境界歪みを除去しようとするものであり、そのメカニズムを理解すると以下に説明する本発明の実施の形態の理解が容易になるであろう。

そこで、まず、ＪＰＥＧ２０００のウェーブレット変換・逆変換、タイル境界歪みの発生要因などとともに、上記タイル境界歪み除去方法の具体例について説明する。

上記タイル境界歪み除去方法は、ウェーブレット係数空間での画像復元に類する手法である。画像復元では、失われた情報を復元するために、ある経験的な拘束条件を採用し、その条件に基づいて復元すべき解を算出する。前記特許文献２の方法においては、
近似１：タイル境界が生じるのは圧縮率が高い場合であり、タイリングの有無にかかわ らず全てのハイパス係数は０に量子化される。

近似２：タイリングした場合のローパス係数は、タイリングしない場合のローパス係数 に等しい。
という近似を採用し、
｛(０に量子化されたが)補正されたハイパス係数を用いて逆ウェーブレット変換をした 場合のタイル境界の画素値｝＝｛ハイパス係数が０の場合の、タイリングをせずに逆 ウェーブレット変換をした場合の同じ位置の画素値｝
という式から、ハイパス係数の補正値を算出している（０に量子化されたハイパス係数に対し、０でない補正値を算出する過程は画像復元である）。

以下、ＪＰＥＧ２０００に規定されている５×３ウェーブレット変換を例にとり、上記補正式の算出について説明する。

図１乃至図４は、16×16のモノクロの画像に対して、５x３変換と呼ばれるウェーブレット変換（順変換）を２次元(垂直方向および水平方向)で施す過程の例を示したものである。

図１の様にｘｙ座標をとり、あるｘについて、ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。JPEG2000では、まず垂直方向（Y座標方向）に、ｙ座標が奇数
（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘ座標について行う)。

ここで、ハイパスフィルタは式（１）で表され、ローパスフィルタは式（２）で表される。式中の記号|_ｘ_|はｘのフロア関数（実数ｘを、ｘを越えず、かつ、ｘに最も近い整数に置換する関数）を示している。
式（１） C(2i+1)=P(2i+1)−|_(P(2i)+P(2i+2))/2_|
式（２） C(2i)=P(2i)+|_(C(2i-1)+C(2i+1)+2)/4_|

なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は図６に示した「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を隣接画素群の値とみなす処理である。

簡単のため、ハイパスフィルタで得られる係数をＨ、ローパスフィルタで得られる係数をＬ、と表記すれば、前記垂直方向の変換によって図１の画像は図２のような係数の配列へと変換される。

続いて、図２の係数配列に対して、水平方向に、ｘ座標が奇数（y=2i+1）の係数を中心にハイパスフィルタを施し、次にｘ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う）。この場合、前記式（１），（２）中のP(2i)等は係数値を表すものと読み替える。簡単のため、
前記L係数を中心にローパスフィルタを施して得られる係数をLL、
前記L係数を中心にハイパスフィルタを施して得られる係数をHL、
前記H係数を中心にローパスフィルタを施して得られる係数をLH、
前記H係数を中心にハイパスフィルタを施して得られる係数をHH、
と表記すれば、図２の係数配列は、図３の様な係数配列へと変換される。ここで、同一の記号を付した係数群はサブバンドと呼ばれる。すなわち、図３は４つのサブバンドで構成される。

以上で、１回のウェーブレット変換（１回のデコンポジション（分解））が終了し、LL係数だけを集めると（図４の様にサブバンド毎に係数を集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる（このように、サブバンド毎に分類することをデインターリーブと呼び、図３のような状態に配置することをインターリーブすると表現する）。

また、２回目のウェーブレット変換は、上記LLサブバンドを原画像と見なして、上記と同様の変換を行えばよい。この場合、並べ替えを行うと、模式的な図５が得られる。図４及び図５の係数の接頭の１や２は、係数が何回のウェーブレット変換で得られたかを示しており、デコンポジションレベルと呼ばれる。なお、以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれかの方向だけの処理を行えばよい。

一方、ウェーブレット逆変換は、図３の様なインターリーブされた係数の配列に対して、まず水平方向に、ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次に、ｘ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す(これを全てのｙについて行う)。ここで、逆ローパスフィルタは式（３）で表され、逆ハイパスフィルタは式（４）で表される。ウェーブレット順変換の場合と同様に、画像の端部において中心となる係数に対して隣接係数群が存在しないことがあり、この場合も図６のミラリングによって係数値を適宜補うことになる。
式（３） P(2i)＝C(2i)−|_(C(2i-1)+C(2i+1)+2)/4_|
式（４） P(2i+1)＝C(2i+1)＋|_(P(2i)+P(2i+2))/2_|

これにより、図３の係数配列は図２のような係数配列に変換（逆変換）される。続いて、垂直方向に、ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次に、ｙ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施せば(これを全てのｘについて行う)、１回のウェーブレット逆変換が終了し、図１の画像に戻る(再構成される)ことになる。なお、ウェーブレット変換が複数回施されている場合は、図１をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返せばよい。

以上のように、５x３ウェーブレット逆変換ではL,H,L,Hの順にインターリーブした係数列に対し、偶数位置中心に逆ローパスフィルタをかけ、奇数位置中心に逆ハイパスフィルタをかける。

さて、前記フィルタの式（１）〜（４）をフロア関数を省略して展開すれば明らかなように、順変換と逆変換ではタップ数は逆転し、フィルタ係数もインターリーブされる。

このため、順変換のフィルタ係数が
ハイパス（HIGH）： -0.5，1，-0.5
ローパス（LOW）： -0.125，0.25，0.75，0.25，-0.125
の場合、逆変換のフィルタ係数は
逆ローパス（LOW）： -0.25，1，-0.25
逆ハイパス（HIGH）： -0.125，0.5，0.75，0.5，-0.125
となる（ここでは、フロア関数部分を考慮せずにフィルタ係数を表現している）。

「タイリングをしない場合で、かつハイパス係数が全て０のとき（近似１）」、インターリーブされた係数列
L1 H1 L2 H2 L3 H3
において、H2位置中心に逆ハイパスフィルタをかけた値は、
-0.125H1＋0.5L2＋0.75H2＋0.5L3−0.125H3＝0.5L2＋0.5L3 ‥‥(i)
となる。

一方、上記係数が、２つのタイルに分割されてから算出されたもので、H2位置がタイル境界であるとする。この場合、L1，H1，L2，H2は左側のタイルの係数、L3，H3は右側のタイルの係数になる。ここで、H2は、順変換（３タップのハイパスフィルタ）時にミラリングの影響を受けており、補正の対象となる係数である。タイリングは、各タイル内の画素だけを用いてウェーブレット変換を行う処理、あるいは、各タイル内の係数だけを用いて逆ウェーブレット変換を行う処理であるため、ミラリングによって左タイルの係数
L1 H1 L2 H2
を右側に補った場合
L1 H1 L2 H2 L2 H1
となる。

よって、H2位置を中心に逆ハイパスフィルタをかけた値は、
-0.125H1＋0.5L2＋0.75H2＋0.5L2−0.125H1＝-0.25H1＋L2＋0.75H2‥‥(ii)
となる。

デタイルのためには、(i)＝(ii)を狙うため、
式（iii） H2＝1/3H1−2/3L2＋2/3L3
を得る。これが、タイル境界に隣接し、順変換時にミラリングの影響を受けたハイパス係数に対する「補正式」である。ただし、この補正値の算出時には、タイリングした係数しか存在しないため、L2は左タイルの係数、L3は右タイルの係数を使用する（近似２）。

タイル境界に隣接するローパス係数（L3）に関しても同様な立式が可能であり、その結果、H３の補正式として
式（iv） H3＝０
を得ることができる。ただし、デコンポジションレベル１の場合は、H3はミラリングの誤差を含まないため補正しない（デコンポジションレベル２以上の場合は、H3に隣接するL3自体が、デコンポジションレベル１でミラリングの影響を受けているため補正する）。

ＪＰＥＧ２０００に規定された非可逆の９×７ウェーブレットの場合についても、上記と同様な考え方で補正式を導出できる。すなわち、インターリーブされた係数列
H0 L1 H1 L2 H2 L3 H3 L4 H4
において、H2とL3の間がタイル境界である場合、次の補正式が得られる。
式（ｖ） H2=(-0.0535H0+0.15644H1+0.09127L1-0.59127L2
+0.59127L3-0.09127L4)/0.60295
式（iv） H3=(0.05754L2-0.05754L4+0.03372H4)/0.53372
ただし、９×７変換の場合、デコンポジションレベル１の場合も補正してよい。

次に、４タイル分割、デコンポジションレベル２のＪＰＥＧ２０００の符号の伸長処理を例に、上に述べたデタイル処理の流れを具体的に説明する。図７乃至図１４は、デタイル処理の説明のための係数配列図である。なお、伸長処理は、符号のエントロピー復号、復号された各サブバンド係数の逆量子化、２次元の逆ウェーブレット変換、逆色空間変換の順に処理が進むが、その２次元逆ウェーブレット変換の過程でデタイル処理が実行される。

図７は逆量子化後の４タイル分の係数配列を示しており、デコンポジションレベル２の係数２LL〜２HHはインターリーブされている。５ｘ３変換が用いられている場合、図８に示した列Ａの係数(H2対応）が式（iii）で補正され、列Ｂの係数（H3対応）が式（iv）で補正される。９ｘ７変換の場合は、列Ａの係数が式（v）で補正され、列Ｂの係数が式（vi）で補正される。このような補正後の係数に対し、水平方向の逆ウェーブレット変換が行われる（ＪＰＥＧ２０００では、ウェーブレット変換（順変換）は垂直方向、水平方向の順に行われるため、逆変換は水平方向、垂直方向の順に行われる）。この水平方向逆変換後の係数配列を図９に示す。

次に、デコンポジションレベル２の係数のうち、図１０に示す行Ｃの係数（H2対応）と行Ｄの係数（H3対応）を補正する。５ｘ３変換の場合、行Ｃの係数は式（iii）で補正され、行Ｄの係数は式（iv）で補正される。９ｘ７変換の場合、行Ｃの係数は式（v）で補正され、行Ｄの係数は式（vi）で補正される。このような補正後の係数に対し、垂直方向の逆ウェーブレット変換が行われ、図１１の様なデコンポジションレベル１の係数がデインターリーブされた状態になる。係数をインターリーブすると図１２のようになる。

図１２に示すデコンポジションレベル１の係数のうち、５ｘ３変換の場合は、図１３に示す列Ｅの係数を式（iii）で補正する。先に述べたように５×３変換の場合、デコンポジションレベル１では、列Ｆの係数はミラリングの誤差を含まないため補正不要である。一方、９ｘ７変換の場合、列Ｅの係数が式（v）で補正され、列Ｆの係数が式（vi）で補正される。このような補正後に水平方向の逆ウェーブレット変換が行われ、図１４の状態になる。そして、５ｘ３変換の場合、図１４の行Ｇの係数が式（iii）で補正される。９ｘ７変換の場合、行Ｇの係数が式（v）で補正され、行Ｈの係数が式（vi）で補正される。補正後の係数に対し垂直方向の逆ウェーブレット変換が行われる。これでデタイル処理と２次元逆ウェーブレット変換処理が終了した。

＜本発明の実施形態の説明＞
以下、本発明の実施の形態について説明する。図１５は本発明の実施形態を説明するためのブロック図である。図１５に示す画像処理装置は、動画像のフレームデータを取り込み、それを圧縮した符号を出力し、また圧縮された動画像の符号を取り込み、それを伸長したフレームデータを出力する機能を持つもので、色変換・逆変換部１、３次元ウェーブレット変換・逆変換部２、量子化・逆量子化部４、エントロピー符号化・復号化部５、符号形成・タグ処理部６から構成される。

圧縮処理時の動作の概略は次の通りである。動画像のフレームデータは色変換・逆色変換部１に入力される（フレームデータをタイル分割して処理することも可能であるが、ここでは説明を簡単にするためタイル分割はなされないものとする）。色変換・逆色変化部１で、フレームデータ（例えばＲＧＢデータ）はＹＣｂＣｒなどの輝度・色差データに変換される。変換後の各コンポーネントのデータは、３次元ウェーブレット変換・逆変換部２によって、時間方向（フレーム並び方向）を含む３次元の順ウェーブレット変換を適用されてウェーブレット係数データへ変換される。各コンポーネントのウェーブレット係数データは量子化・逆量子化部４で量子化された後、エントロピー符号化・復号化部５でエントロピー符号化される。そして、符号形成・タグ処理部６によって、必要なエントロピー符号からパケットが生成され、それが所定の順番に並べられるとともに必要なタグやタグ情報を付加されることにより符号が形成され、外部に出力される。

伸長処理時の動作の概略は次の通りである。動画像の圧縮された符号は、符号形成・タグ処理部６に入力され、コンポーネント毎の符号に分離される。各コンポーネントの符号はエントロピー符号化・復号化部５によりエントロピー復号化され、ウェーブレット係数データに戻される。このウェーブレット係数データは量子化・逆量子化部４で逆量子化されてから３次元ウェーブレット変換・逆変換部２に入力され、３次元の逆ウェーブレット変換を適用される。３次元ウェーブレット変換・逆変換部２は係数補正手段２を備えており、時間方向の逆ウェーブレット変換の過程で、係数補正手段２によりＧＯＦ境界付近のハイパス係数に対しＧＯＦ境界歪みを抑制するための係数補正処理を施す。このような時間方向の逆ウェーブレット変換の際の係数補正処理が本発明の最大の特徴部分である。

以下、本発明の２つの実施形態について、より具体的に説明する。ここでは、ウェーブレット変換として、ＪＰＥＧ２０００標準の５×３変換又は９×７変換が用いられるものとして説明する。

［実施形態１］
本実施形態について、まず圧縮処理時の３次元ウェーブレット変換・逆変換部２の処理を説明する。

図１６は、３次元ウェーブレット変換・逆変換部２の圧縮処理時の機能的構成を示すブロック図であり、２１はフレーム内２次元順ウェーブレット変換手段、２２は時間方向順ウェーブレット変換手段である。

圧縮処理時には、図１７に模式的に示すような動画像のフレームデータ（色変換後）がフレーム内２次元順ウェーブレット変換手段２１に順次入力し、各フレームデータに２次元順ウェーブレット変換が適用される。２階層（デコンポジションレベル２）までの２次元順ウェーブレット変換の結果を図１８に模式的に示す。このような２次元順ウェーブレット変換の結果は時間方向順ウェーブレット変換手段２２に入力し、連続した所定数のフレームの集まり（ＧＯＦ）を単位として、時間方向に順ウェーブレット変換が適用される。２階層（デコンポジションレベル２）までの時間方向順ウェーブレット変換の結果を図１９に模式的に示す。

図２０は、このような３次元順ウェーブレット変換処理のフローチャートである。フレーム内２次元順ウェーブレット変換手段２１において、ｓｔｅｐ１，２，３，４，５，６の処理ループで、ＧＯＦの先頭フレームから最終フレームまで、１フレーム単位で２次元（縦方向、横方向）の順ウェーブレット変換が行われる。すなわち、ｓｔｅｐ１で垂直方向の順ウェーブレット変換が行われ、次にｓｔｅｐ２で水平方向の順ウェーブレット変換が行われることにより、デコンポジションレベル１のウェーブレット係数データが生成される。２階層以上の順ウェーブレット変換が適用される場合には、デコンポジションレベル１のウェーブレット係数データのＬＬ係数データに対しｓｔｅｐ１，２による２次元順ウェーブレット変換が行われ、デコンポジションレベル２のウェーブレット係数データが生成される。所定の階層までの変換が終わると（ｓｔｅｐ３，Ｙｅｓ）、次のフレームに対し同様の２次元順ウェーブレット変換が行われる。

ＧＯＦの最終フレームに対する所定階層までの２次元ウェーブレット変換が終了すると（ｓｔｅｐ５，Ｙｅｓ）、時間方向順ウェーブレット変換手段２２において、ｓｔｅｐ７，８，９の処理ループで、ＧＯＦの先頭フレームから最終フレームまでの対応した係数列に対し時間方向の１次元順ウェーブレット変換が行われる（ウェーブレット係数は時間方向にＬ，Ｈ，Ｌ，Ｈ．．．の順になる）。２階層以上の時間方向順ウェーブレット変換が適用される場合には、ウェーブレット係数をデインターリーブし（Ｌ係数とＨ係数をまとめること）、Ｌ係数データに対しフレームの同じ位置の係数を用いて時間方向の順ウェーブレット変換が繰り返される。所定階層まで変換が終了すると（ｓｔｅｐ７，Ｙｅｓ）、１つのＧＯＦに対する３次元順ウェーブレット変換が完了する。

次に、本実施形態における伸長処理時の３次元ウェーブレット変換部２の処理について説明する。

図２１は、３次元ウェーブレット変換・逆変換部２の伸長処理時の機能的構成を示すブロック図であり、３は係数補正手段、３１は時間方向逆ウェーブレット変換手段、３２はフレーム内２次元逆ウェーブレット変換手段である。

伸長処理時には、エントロピー符号化・復号化部５で復号され、量子化・逆量子化部４で逆量子化されたウェーブレット係数データが３次元ウェーブレット変換・逆変換部２に入力し、最高階層（最も高いデコンポジションレベル）より下位階層へ向かって３次元逆ウェーブレット変換が実行される。本実施形態では、まず時間方向逆ウェーブレット変換手段３１で各ＧＯＦのウェーブレット係数データに対し時間方向の逆ウェーブレット変換が行われるが、その各階層の逆ウェーブレット変換に先立ってＧＯＦ境界歪みを抑制するための係数補正が係数補正手段３によって行われる。このような係数補正及び時間方向の逆ウェーブレット変換が最下階層まで繰り返された結果（各フレーム毎のウェーブレット係数データ）に対し、フレーム内２次元逆ウェーブレット変換手段３２によって、最高階層から下位階層へ向かって２次元逆ウェーブレット変換が行われ、ＧＯＦ境界歪みが抑制されたフレームデータが生成される。このフレームデータは色変換されたものであるので、色変換・逆色変換部１で逆色変換されることにより元の表色系のフレームデータに戻される。

図２３は、このような２次元逆ウェーブレット変換手段３２による処理フローを示すフローチャートである。この処理は、時間方向逆ウェーブレット変換及び係数補正が終わったＧＯＦの先頭フレームから最終フレームへ向かって、フレーム毎に実行される。ｓｔｅｐ２１で、最高階層のウェーブレット係数データに対し２次元逆ウェーブレット変換が適用され、次位階層のＬＬ係数データが生成される。圧縮時の順ウェーブレット変換は垂直方向、水平方向の順に変換が行われたため、伸長時の逆ウェーブレット変換は水平方向、垂直方向の順に行われる。生成されたＬＬ係数データを含む次位階層のウェーブレット係数データに対し、同様の２次元逆ウェーブレット変換が適用される。最低階層まで２次元逆ウェーブレット変換が行われてフレームデータに戻されたならば（ｓｔｅｐ２２，Ｙｅｓ）、処理の対象を次フレームに進め（ｓｔｅｐ２５）、同様の２次元逆ウェーブレット変換が行われる。このような２次元逆ウェーブレットがＧＯＦの最終フレームまで終了すると（ｓｔｅｐ２４，Ｙｅｓ）、１つのＧＯＦの全フレームのデータが復元されたことになる。

以上に説明した、以下にさらに詳細に説明する本実施形態に係る画像処理装置は、例えば図４４に示すようなＣＰＵ１０００、メモリ１００１、ハードディスク装置１００２、ディスプレイ装置１００４、キーボードやマウスのようなポインティングデバイス等のユーザ入力装置１００３、ネットワーク経由の通信のための通信インターフェース１００５などをバス１００６で接続したようなコンピュータの資源を利用して実現することができる。すなわち、このようなコンピュータを、図１５に示す各部１，２，４，５，６として機能させるプログラムをメモリ１００１にロードし、ＣＰＵ１０００に実行させることにより、本実施形態に係る画像処理装置としてコンピュータを動作させることができる。このようなプログラム、及び、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含される。コンピュータ上では、圧縮処理と伸長処理は例えば次のような流れで実行される。

圧縮処理の場合、動画像のフレームデータは例えばハードディスク装置１００２よりメモリ１００１に読み込まれる。このフレームデータに対し、前述のような色変換、３次元順ウェーブレット変換、量子化、エントロピー符号化、符号形成の各処理が実行される。生成された動画像の符号はハードディスク装置１００２に保存され、あるいは、通信インターフェース１００５より外部装置へ送信される。

伸長処理の場合、動画像の符号は例えばハードディスク装置１００２よりメモリ１００１に読み込まれ、あるいは、通信インターフェース１００５からネットワーク経由で受信されてメモリ１００１に読み込まれる。この符号に対し、エントロピー復号、逆量子化、係数補正を含む時間方向逆ウェーブレット変換とフレーム内２次元逆ウェーブレット変換、逆色変換の各処理が実行される。復元された動画像のフレームデータは、ハードディスク装置１００２に保存され、あるいはディスプレイ装置１００４に表示される。

次に、伸長処理時における係数補正手段３及び時間方向逆ウェーブレット変換手段３１の処理に関し、５つの実施例を挙げてさらに説明する。なお、説明の便宜上、特に断らない限り、圧縮時におけるフレーム内順ウェーブレット変換と時間方向順ウェーブレット変換はそれぞれ２階層（デコンポジションレベル２）まで行われたものとする。

（実施形態１の実施例１）
本実施形態に係る実施例１について図２２、図２４〜図２７により説明する。図２２は、係数補正及び時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。時間方向の最高階層のウェーブレット係数データに関し、ＧＯＦ境界歪みを抑制するために、ＧＯＦ境界に隣接したハイパス係数と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数の補正を係数補正手段３で行う（ｓｔｅｐ１１，ｓｔｅｐ１２）。この係数補正後の最高階層の係数データに対し時間方向の逆ウェーブレット変換を時間方向逆ウェーブレット変換手段３１で行う（ｓｔｅｐ１３）。階層を１つ下げ（ｓｔｅｐ１５）、その階層のウェーブレット係数に対し同様の係数補正を行い（ｓｔｅｐ１１，ｓｔｅｐ１２）、この補正後の係数データに対し時間方向の逆ウェーブレット変換を行う（ｓｔｅｐ１３）。時間方向のデコンポジションレベル１のウェーブレット係数まで上記処理が繰り返され、ＧＯＦ内の各フレームの２次元ウェーブレット係数データに戻ると（ｓｔｅｐ１４，Ｙｅｓ）、係数補正と時間方向逆ウェーブレット変換の処理は終了する。

このような処理の内容を、図２４の（ａ）に示すような３次元ウェーブレット係数データを例にして説明する。なお、ここではウェーブレット変換としてＪＰＥＧ２０００の５×３変換が用いられるものとするが、９×７変換が用いられる場合も、係数補正式が異なる以外は同様である。また、ここでは、フレーム内２ＬＬサブバンド係数に対応した時間方向ウェーブレット係数の補正及び逆ウェーブレット変換を例にして説明するが、フレーム内の他のサブバンド係数に対応した時間方向ウェーブレット係数についても同様に考えればよい。

まず、時間方向のデコンポジションレベル２の係数２Ｌ，２Ｈをインターリーブする（2L同士、2H同士まとまっていたものを2L,2H,2L,2H…の順に配置しなおす）。インターリーブ後の係数２Ｌ，２Ｈに関し、図２４の（ｂ）に点線で示すＧＯＦ境界に隣接するハイパス係数（２ＬＬ２Ｈ(t6)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（２ＬＬ２Ｈ(t10)）を補正する。ハイパス係数の補正式は図２６に示す通りである。

なお、９×７変換の場合の補正式は
2LL2H(t6)=(-0.0535x2LL2H(t2)+0.15644x2LL2H(t2)+0.09127x2LL2L(t0)
-0.59127x2LL2L(t4)+0.591272x2LL2L(t8)-0.09127x2LL2L(t10))/0.60295
2LL2H(t10)=(0.05754x2LL2L(t4)-0.05754x2LL2L(t8)+0.03372x2LL2H(t14))/0.53372
となる。

フレーム内の２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨサブバンド係数に対応した時間方向のデコンポジションレベル２のウェーブレット係数に対しても同様の係数補正がなされる。補正式も同様である。

このような係数補正後のデコンポジションレベル２のウェーブレット係数に対し、時間方向の逆ウェーブレット変換を行う。図２４（ｂ）のデコンポジションレベル２のウェーブレット係数の場合、その逆ウェーブレット変換により図２４（ｃ）に示すようなデコンポジションレベル１の係数（２ＬＬ１Ｌ）が生成される。

次に、時間方向のデコンポジションレベル１のウェーブレット係数に対する係数補正と逆ウェーブレット変換を行う。図２５はその説明のための図である。図２５（ａ）に示すのデコンポジションレベル１の係数１Ｌ，１Ｈをインターリーブし、図２５（ｂ）に示すＧＯＦ境界に隣接したハイパス係数（２ＬＬ１Ｈ(t7)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（２ＬＬ１Ｈ(t9)）を補正する。係数補正式は図２７に示す通りである。５×３変換の場合、デコンポジションレベル１のＧＯＦ境界に隣接しないハイパス係数（２ＬＬ１Ｈ(t9)）はミラリングの影響を受けていないので補正しない。ただし、９×７変換ではＧＯＦ境界に隣接しないハイパス係数（２ＬＬ１Ｈ(t9)）もミラリングの影響を受けているので補正する。

９×７変換の場合の補正式は
2LL1H(t7)=(-0.0535x2LL1H(t3)+0.15644x2LL1H(t5)+0.09127x2LL1L(t4)
-0.59127x2LL1L(t6)+0.591272x2LL1L(t9)-0.09127x2LL1L(t11))/0.60295
2LL1H(t9)=(0.05754x2LL1L(t6)-0.05754x2LL1L(t8)+0.03372x2LL1H(t11))/0.53372
となる。

フレーム内の２ＬＨ，２ＨＬ，２ＨＨ，１ＬＨ，１ＨＬ，１ＨＨサブバンド係数に対応した時間方向のデコンポジションレベル１のウェーブレット係数に対しても同様の係数補正がなされる。補正式も同様である。

このような係数補正後のデコンポジションレベル１のウェーブレット係数に対し、時間方向の逆ウェーブレット変換を行う。図２５（ｂ）のデコンポジションレベル１のウェーブレット係数の場合、その逆ウェーブレット変換により、図２５（ｃ）に示すようなデコンポジションレベル０のデータ、つまり、フレーム内２次元ウェーブレット係数に戻ることになる。

なお、前記補正式は一例であり、動画におけるGOF境界歪みの抑制に寄与するのであれば他の補正式を用いてもよい。また、本実施例では、ＧＯＦ境界近傍のＧＯＦ境界に隣接しないハイパス係数も補正の対象としたが、その補正によるＧＯＦ境界歪みの抑制効果はＧＯＦ境界に隣接するハイパス係数の補正による効果に比べると小さいため、ＧＯＦ境界に隣接しないハイパス係数を補正の対象から外すことも可能である。

また、ＧＯＦ境界近傍のフレームの動き量を推定し、その動き量が所定値より小さいときにＧＯＦ境界歪み抑制のための係数補正を行い、その動き量が所定値より大きいときにＧＯＦ境界歪み抑制のための係数補正を行わないような制御を行ってもよい。なお、フレームの動き量の推定には、公知の方法を用いればよい。

また、ＧＯＦ境界近傍のフレームの動き量に応じて、ＧＯＧ境界近傍の係数に対する補正の度合いを段階的にまたは連続的に制御するようにしてもよい。例えば、ＧＯＦ境界近傍のフレームの動き量をｋとして、補正前の係数の値をx0、その補正後の係数の値をx1とするとき、ＧＯＦ境界近傍のフレームの動き量を考慮した係数の値をxとすると、
ｘ＝（1-k)・x0＋k・x1
とするなどが考えられる（動き量kを線形補間のパラメータとする）。

以上の変形態様は、後記各実施例につても同様である。

（実施形態１の実施例２）
本実施形態に係る実施例２について図２８と図２９により説明する。図２８は、係数補正及び時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。図２８と図２２を比較すれば明らかなように、ｓｔｅｐ１１，１２により補正されたハイパス係数に対するクリッピング処理のステップ（ｓｔｅｐ３１，３２）が追加されることが、本実施形態に係る前記実施例１と相違する点である。このクリッピング処理は係数補正手段３により実行される。

図２９はクリッピング処理の説明図である。このクリッピング処理では、ＧＯＦ境界抑制による係数の補正値が、その係数の量子化区間をはみ出た場合に、係数値を量子化区間の近い方の端の値に戻す。図２９の例の場合、逆量子化後の係数値（補正前）は量子化区間[Q,2Q]の中にあり、当該係数の補正値が０であるので、そのクリップ値は量子区間の近い方のＱとなる。

（実施形態１に係る実施例３）
本実施形態に係る実施例３について図３０〜３２により説明する。図３２は、係数補正及び時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。図３２と図２８を比較すれば明らかなように、係数の量子化ステップ数と閾値thＱの比較判定ステップｓｔｅｐ４１が追加され、量子化ステップ数＞閾値thＱと判定された場合にのみ係数補正が行われるが、そうでない場合にはｓｔｅｐ１１，３１，１２，３２はスキップされることが本実施形態に係る前記実施例２と相違する。

量子化ステップ数＞閾値thＱ以下の場合に係数補正（したがって補正値のクリッピング処理も）を行わない理由は次の通りである。

図３０は圧縮率が小さい場合のクリッピング処理の説明図面である。一般に圧縮率が小さいときには量子化ステップ数が小さい。よって、図３０の例は量子化ステップ数が小さい例と考えることができる。

図３０のように量子化前の係数値（原信号）が2Qと3Qの間にあるとき（Ｑは量子化ステップ数）、この係数は2Q+(3/8)Qの値に逆量子化される（リコンストラクションパラメータが3/8の場合）。５×３変換の場合（ウェーブレットの基底関数がR5x3の場合）を例にとると、前記のように2Q+(3/8)Qの位置に逆量子化された係数は０に補正され（ＧＯＦ境界に隣接しない係数の場合）、次にクリッピングにより2Qの位置に戻される。量子化ステップ数Ｑの値が小さいと、補正前の値とクリップ後の値の差は(3/8)Qである。よって、量子化ステップ数Ｑが十分小さければ補正前の値とクリップ後の値の差(3/8)Qは、さほど目立たないような微小な値になる。すなわち、量子化ステップ数Ｑが所定閾値thＱ以下の場合には、ＧＯＦ境界歪み抑制のための係数補正を行っても効果は小さいので、本実施例では係数補正とクリッピング処理を行わないようにすることにより、ＧＯＦ境界歪み抑制のための処理量の削減を図っている。

図３１は圧縮率が大きい場合のクリッピング処理の説明図である。一般に圧縮率が大きいときには量子化ステップ数が大きい。よって、図の例は量子化ステップ数が大きい例と考えることができる。図のように量子化前の係数値（原信号）がQと2Qの間にあるとき、この係数はQ+(3/8)Qの位置に逆量子化される（リコンストラクションパラメータが3/8の場合）。ウェーブレットの基底関数がR5x3の場合を例にとると、前記のようにQ+(3/8)Qの位置に逆量子化された係数は０に補正され（ＧＯＦ境界に隣接しない係数の場合）、次にクリッピングによりＱの位置に戻される。補正前の値とクリップ後の値の差は(3/8)Qである。量子化ステップ数Ｑが大きければ、補正前の値とクリップ後の値の差(3/8)Qはかなり大きな値になる。よって、本実施例では、量子化ステップ数Ｑが所定の閾値thＱより大きい場合には、ＧＯＦ境界歪み抑制のための係数補正を行うわけである。

（実施形態１に係る実施例４）
図３３は、本実施形態に係る実施例４における係数補正及び時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。図３３と図２８を比較すれば明らかなように、デコンポジションレベル（階層数）と所定の閾値thlevの比較判定ステップｓｔｅｐ５１が追加され、閾値thlev以下のデコンポジションレベルの係数に対してのみＧＯＦ境界歪み抑制のための係数補正とその補正値のクリッピング処理（ｓｔｅｐ１１，３１，１２，３２）を行うことが、本実施形態に係る前記実施例２と相違する。

閾値thlevより高いデコンポジションレベルで係数補正を行わない理由は次の通りである。一つは、高いデコンポジションレベルの低周波係数はローパス処理を繰り返しかけられているので、もともと補正されているような状態であり、その係数をさらに補正してもＧＯＦ境界歪みを抑制する効果は少ないので、所定の閾値thlevより高いデコンポジションレベルを係数補正の対象外とすることにより、ＧＯＦ境界歪み抑制を効率的に実現しようとするものである。もう一つは、高いデコンポジションレベルの係数補正の副作用は多くのフレームに及ぶため、所定の閾値より高いデコンポジションレベルを係数補正の対象から外すことにより、係数補正の副作用が及ぶ範囲を限定しようとするものである。もう一つは、高いデコンポジションレベルにおいては、画像によっては係数の数が足りなくなり、そもそも係数補正そのものが不可能である場合があるからである。

なお、閾値thlev以下のデコンポジションレベルに関し、前記実施例３と同様に量子化ステップ数に応じて係数補正を制御するようにしてもよく、かかる態様も本実施例に包含される。

（実施形態１に係る実施例５）
図３４は、本実施形態に係る実施例５における係数補正及び時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。図３４と図２８を比較すれば明らかなように、利用者からの補正指定の有無を判定するステップｓｔｅｐ６１が追加され、補正指定が有る場合にのみＧＯＦ境界歪み抑制のための係数補正とその補正値のクリッピング処理（ｓｔｅｐ１１，３１，１２，３２）を行うようにしたことが、本実施形態に係る前記実施例２と相違する。このようにするのは、利用者によってはＧＯＦ境界歪み抑制のための処理時間の増加を望まない場合もあるため、そのような場合にはＧＯＦ境界歪み抑制のための処理をスキップして処理を高速化するほうが合理的であるからである。

図３５により、利用者による補正指定の方法の一例を説明する。ここでは、本実施形態に係る画像処理装置をコンピュータを利用し実現する場合を想定している。

図３５の上側の図に示すように、圧縮された動画像を伸長して表示したり編集したい場合には、「ファイル」メニューの「開く」を選択してファイルを指定することにより、当該動画像の圧縮ファイルを開くことができる。このようにしてファイルを開く前に、例えば「プロパティ」を選択することにより、下側の図に示すようにＧＯＦ境界歪み抑制機能の有無を指定できるようにすることができる。ここで「有り」が選択された場合には、開いた圧縮ファイルの伸長処理においてＧＯＦ境界歪み抑制のための処理を実行し、「無し」が選択された場合には圧縮ファイルの伸長処理においてＧＯＦ境界歪み抑制のための処理を実行しない。

なお、ファイルを開く方法には各種のパラメータを指定できる構成になっていることが望ましい。例えば、デコードする階層数、コンポーネント、画質、位置などをタブ設定してそれを選び設定することができる。そのタブの一つに「GOF境界歪み抑制処理」を含めるようにしてもよい。タブの「GOF境界歪み処理」を選ぶと、下側の図のように、ＧＯＦ境界抑制機能の「有り」「無し」を選択できるようにし、「有り」を選択すると「高品質モード（または高画質モード）」と「高速モード」を選択することができるというような構成にしてもよい。この場合、例えば、高速モードならばＧＯＦ境界に隣接するハイパス係数のみを補正し、高画質モードならばＧＯＦ境界に隣接するハイパス係数とＧＯＦ境界近傍のＧＯＦ境界に隣接しないハイパス係数の両方について補正するというような構成にしてもよい。

なお、本実施例においても、前記実施例３，４と同様に量子化ステップ数及び／又はデコンポジションレベルに応じて係数補正を制御するようにしてもよく、かかる態様も本実施例に包含される。

［実施形態２］
本実施形態について、まず圧縮処理時の３次元ウェーブレット変換・逆変換部２の処理を説明する。

図３６は、３次元ウェーブレット変換・逆変換部２の圧縮処理時の機能的構成を示すブロック図であり、２１はフレーム内２次元順ウェーブレット変換手段、２２は時間方向順ウェーブレット変換手段である。

圧縮処理時には、図１７に模式的に示すような動画像のフレームデータ（色変換後）が時間方向順ウェーブレット変換手段２２に入力し、連続した所定数のフレームの集まり（ＧＯＦ）を単位として、時間方向に順ウェーブレット変換が適用される。２階層（デコンポジションレベル２）までの時間方向順ウェーブレット変換の結果を図３８に模式的に示す。このような時間方向順ウェーブレット変換の結果がフレーム内２次元順ウェーブレット変換手段２１に入力され、それぞれのフレーム（時間方向ウェーブレット係数データ）について垂直方向・水平方向の順に順ウェーブレット変換が施される。

図３７は、このような順ウェーブレット変換処理の流れを示すフローチャートである。ｓｔｅｐ１０１，１０２，１０３は時間方向の順ウェーブレット変換の処理ループを構成している。ｓｔｅｐ１０４，１０５，１０６，１０７は１つのフレーム内の２次元順ウェーブレット変換の処理ループを構成している。この処理ループがＧＯＦの最後のフレームまで実行されると（ｓｔｅｐ１０８，Ｙｅｓ）、１つのＧＯＦに対する３次元順ウェーブレット変換処理を終了する。

次に、本実施形態における伸長処理時の３次元ウェーブレット変換・逆変換部２の処理について説明する。

図３９は、３次元ウェーブレット変換・逆変換部２の伸長処理時の機能的構成を示すブロック図であり、３は係数補正手段、３１は時間方向逆ウェーブレット変換手段、３２はフレーム内２次元逆ウェーブレット変換手段である。

伸長処理時には、エントロピー符号化・復号化部５で復号され、量子化・逆量子化部４で逆量子化されたウェーブレット係数データが３次元ウェーブレット変換・逆変換部２に入力し、最高階層（最も高いデコンポジションレベル）より下位階層へ向かって３次元逆ウェーブレット変換が実行される。

本実施形態では、まずフレーム内２次元逆ウェーブレット変換手段３２によって、それぞれのフレームに対し最高階層から下位階層へ向かって２次元逆ウェーブレット変換が行われる。このフレーム内２次元逆ウェーブレット変換の処理フローは図２３に示す通りである。次に、時間方向逆ウェーブレット変換手段３１で最高階層から下位階層へ向かって時間方向の逆ウェーブレット変換が行われるが、その各階層の逆ウェーブレット変換に先立ってＧＯＦ境界歪みを抑制するための係数補正が係数補正手段３によって行われることにより、ＧＯＦ境界歪みが抑制されたフレームデータが再生される。このフレームデータは色変換されたものであるので、色変換・逆色変換部１で逆色変換されることにより元の表色系のフレームデータに戻される。

以上に説明した、以下にさらに詳細に説明する本実施形態に係る画像処理装置は、例えば図４４に示すようなコンピュータの資源を利用して実現することができる。すなわち、このようなコンピュータを、図１５に示す各部１，２，４，５，６として機能させるプログラムをメモリ１００１にロードし、ＣＰＵ１０００に実行させることにより、本実施形態に係る画像処理装置としてコンピュータを動作させることができる。このようなプログラム、及び、それが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などのコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含される。コンピュータ上では、圧縮処理と伸長処理は例えば次のような流れで実行される。

圧縮処理の場合、動画像のフレームデータは例えばハードディスク装置１００２よりメモリ１００１に読み込まれる。このフレームデータに対し、前述のような色変換、３次元順ウェーブレット変換、量子化、エントロピー符号化、符号形成の各処理が実行される。生成された動画像の符号はハードディスク装置１００２に保存され、あるいは、通信インターフェース１００５より外部装置へ送信される。

伸長処理の場合、動画像の符号は例えばハードディスク装置１００２よりメモリ１００１に読み込まれ、あるいは、通信インターフェース１００５からネットワーク経由で受信されてメモリ１００１に読み込まれる。この符号に対し、エントロピー復号、逆量子化、フレーム内２次元逆ウェーブレット変換と係数補正を含む時間方向逆ウェーブレット変換逆色変換の各処理が実行される。復元された動画像のフレームデータは、ハードディスク装置１００２に保存され、あるいはディスプレイ装置１００４に表示される。

次に、伸長処理時における係数補正手段３及び時間方向逆ウェーブレット変換手段３１の処理に関し、５つの実施例を挙げてさらに説明する。なお、説明の便宜上、特に断らない限り、時間方向順ウェーブレット変換は２階層（デコンポジションレベル２）まで行われたものとする。

（実施形態２の実施例１）
本実施形態に係る実施例１における係数補正及び時間方向逆ウェーブレット変換の処理フローは図２２に示す通りであり、これは前記実施形態１に係る実施例１に関連して説明済みであるので、その説明は繰り返さない。

この処理の内容を、図４０の（ａ）に模式的に示す時間方向ウェーブレット係数データを例にして説明する。なお、ここではウェーブレット変換としてＪＰＥＧ２０００の５×３変換が用いられるものとするが、９×７変換が用いられる場合も、係数補正式が異なる以外は同様である。

まず、時間方向のデコンポジションレベル２の係数２Ｌ，２Ｈをインターリーブする（2L同士、2H同士まとまっていたものを2L,2H,2L,2H…の順に配置しなおす）。インターリーブ後の係数２Ｌ，２Ｈに関し、図４０の（ｂ）に点線で示すＧＯＦ境界に隣接するハイパス係数（ｆ６２Ｈ(t6)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（ｆ10２Ｈ(t10)）を補正する。ハイパス係数の補正式は図４２に示す通りである。

なお、９×７変換の場合の補正式は
f62H(t6)=(-0.0535xf22H(t2)+0.15644xf22H(t2)+0.09127xf02L(t0)
-0.59127xf42L(t4)+0.591272xf82L(t8)-0.09127xf102L(t10))/0.60295
f102H(t10)=(0.05754xf42L(t4)-0.05754xf82L(t8)+0.03372xf142H(t14))/0.53372
となる。

このような係数補正後のデコンポジションレベル２のウェーブレット係数に対し、時間方向の逆ウェーブレット変換を行う。図４０（ｂ）のデコンポジションレベル２のウェーブレット係数の場合、その逆ウェーブレット変換により図４０（ｃ）に示すようなデコンポジションレベル１の係数（１Ｌ）が生成される。

次に、時間方向のデコンポジションレベル１のウェーブレット係数に対する係数補正と逆ウェーブレット変換を行う。図４１はその説明のための図である。図４１（ａ）に示すのデコンポジションレベル１の係数１Ｌ，１Ｈをインターリーブし、図４１（ｂ）に示すＧＯＦ境界に隣接したハイパス係数（ｆ７１Ｈ(t7)）と、ＧＯＦ境界近傍の境界に隣接しないハイパス係数（ｆ９１Ｈ(t9)）を補正する。係数補正式は図４３に示す通りである。５×３変換の場合、デコンポジションレベル１のＧＯＦ境界に隣接しないハイパス係数（ｆ９１Ｈ(t9)）はミラリングの影響を受けていないので補正しない。ただし、９×７変換ではＧＯＦ境界に隣接しないハイパス係数（ｆ９１Ｈ(t9)）もミラリングの影響を受けているので補正する。

９×７変換の場合の補正式は
f71H(t7)=(-0.0535xf31H(t3)+0.15644xf51H(t5)+0.09127xf41L(t4)
-0.59127xf61L(t6)+0.591272xf91L(t9)-0.09127xf111L(t11))/0.60295
f91H(t9)=(0.05754xf61L(t6)-0.05754xf81L(t8)+0.03372xf111H(t11))/0.53372
となる。

このような係数補正後のデコンポジションレベル１のウェーブレット係数に対し、時間方向の逆ウェーブレット変換を行う。図４１（ｂ）のデコンポジションレベル１のウェーブレット係数の場合、その逆ウェーブレット変換により、図４１（ｃ）に示すようなデコンポジションレベル０のデータ、つまり、フレームデータに戻ることになる。

なお、前記補正式は一例であり、動画におけるGOF境界歪みの抑制に寄与するのであれば他の補正式を用いてもよい。また、本実施例では、ＧＯＦ境界近傍のＧＯＦ境界に隣接しないハイパス係数も補正の対象としたが、その補正によるＧＯＦ境界歪みの抑制効果はＧＯＦ境界に隣接するハイパス係数の補正による効果に比べると小さいため、ＧＯＦ境界に隣接しないハイパス係数を補正の対象から外すことも可能である。

また、ＧＯＦ境界近傍のフレームの動き量を推定し、その動き量が所定値より小さいときにＧＯＦ境界歪み抑制のための係数補正を行い、その動き量が所定値より大きいときにＧＯＦ境界歪み抑制のための係数補正を行わないような制御を行ってもよい。なお、フレームの動き量の推定には、公知の方法を用いればよい。

また、ＧＯＦ境界近傍のフレームの動き量に応じて、ＧＯＧ境界近傍の係数に対する補正の度合いを段階的にまたは連続的に制御するようにしてもよい。例えば、ＧＯＦ境界近傍のフレームの動き量をｋとして、補正前の係数の値をx0、その補正後の係数の値をx1とするとき、ＧＯＦ境界近傍のフレームの動き量を考慮した係数の値をxとすると、
ｘ＝（1-k)・x0＋k・x1
とするなどが考えられる（動き量kを線形補間のパラメータとする）。

以上の変形態様は、後記各実施例につても同様である。

（実施形態２に係る実施例２）
本実施形態に係る実施例２における係数補正及び時間方向逆ウェーブレット変換の処理フローは図２８示す通りである。すなわち、本実施例では、前記実施形態１に係る実施例２と同様に、係数補正手段３はハイパス係数の補正値に対しクリッピング処理を行う。

（実施形態２に係る実施例３）
本実施形態に係る実施例３における係数補正及び時間方向逆ウェーブレット変換の処理フローは図３２に示す通りである。すなわち、本実施例では、前記実施形態１に係る実施例３と同様に、量子化ステップ数が所定の閾値thＱを越えるか否かの判定を行い、量子化ステップ数が閾値thＱを越える場合にのみ係数補正を行う。

（実施形態２に係る実施例４）
本実施形態に係る実施例４における係数補正及び時間方向逆ウェーブレット変換の処理フローは図３３に示す通りである。すなわち、本実施例では、前記実施形態１に係る実施例４と同様に、デコンポジションレベルが所定の閾値thlevを越えるか否かの判定を行い、閾値thlev以下のデコンポジションレベルについてのみ係数補正を行う。

なお、本実施例においても、量子化ステップ数に応じて係数補正を制御するようにしてもよく、かかる態様も本実施例に包含される。

（実施形態２に係る実施例５）
本実施形態に係る実施例５における係数補正及び時間方向逆ウェーブレット変換の処理フローは図３４に示す通りである。すなわち、本実施例では、前記実施形態１に係る実施例５と同様に、利用者からのＧＯＦ境界歪み抑制のための係数補正指示の有無を判定し、係数補正指示がある場合にのみＧＯＦ境界歪み抑制のための係数補正を行う。

利用者が指示を与える方法については、前記実施形態１に係る実施例５に関連して説明したので、その説明は繰り返さない。なお、本実施例においても、ＧＯＦ境界抑制機能の「有り」「無し」を選択できるようにし、「有り」を選択すると「高品質モード（または高画質モード）」と「高速モード」を選択することができるというような構成にしてもよい。この場合、例えば、高速モードならばＧＯＦ境界に隣接するハイパス係数のみを補正し、高画質モードならばＧＯＦ境界に隣接するハイパス係数とＧＯＦ境界近傍のＧＯＦ境界に隣接しないハイパス係数の両方について補正するというような構成にしてもよい。

なお、本実施例においても、前記実施例３，４と同様にデコンポジションレベル及び／又は量子化ステップ数に応じて係数補正を制御するようにしてもよく、かかる態様も本実施例に包含される。

以上、本発明に係る画像処理装置について説明したが、以上の説明は本発明に係る画像処理方法の説明でもあることは明らかである。よって、本発明に係る画像処理方法の説明は繰り返さない。

以上の説明においては時間方向の周波数変換としてウェーブレット変換が用いられたが、ウェーブレット変換以外の周波数変換を用いる場合にも本発明は適用し得るものである。また、以上の説明においてはフレーム内ウェーブレット変換（一般的には周波数変換）は２次元について行われたが、１次元に行う場合にも本発明を適用可能である。さらには、フレーム内ウェーブレット変換（一般的には周波数変換）を行わず、ＧＯＦ単位の時間方向ウェーブレット変換（一般的には周波数変換）のみを行う場合にも本発明を適用可能である。

ウェーブレット変換を説明するための原画像と座標系を示す図である。 垂直方向への順ウェーブレット変換後の係数配列を示す図である。 水平方向への順ウェーブレット変換後の係数配列を示す図である。 デコンポジションレベル１のデインターリーブした状態の係数配列を示す図である。 デコンポジションレベル２のデインターリーブした状態の係数配列を示す図である。 ミラリングの説明図である。 ４タイルについてデコンポジションレベル２のインターリーブした状態の係数を示す図である。 デコンポジションレベル２において水平方向のデタイルのために補正すべきハイパス係数を示す図である。 係数補正、水平方向逆ウェーブレット変換後の係数を示す図である。 デコンポジションレベル２において垂直方向のデタイルのために補正すべきハイパス係数を示す図である。 係数補正、垂直方向逆ウェーブレット変換後の係数（デインターリーブ状態を示す図である。 インターリーブしたデコンポジションレベル１の係数を示す図である。 デコンポジションレベル１において水平方向デタイルのために補正すべき係数を示す図である。 デコンポジションレベル１において垂直方向デタイルのために補正すべき係数を示す図である。 本発明の実施形態に係る画像処理装置のブロック図である。 実施形態１における圧縮処理時の３次元ウェーブレット変換・逆変換部の機能的構成を示すブロック図である。 動画像のフレームデータとＧＯＦを示す模式図である。 フレーム内２次元順ウェーブレット変換後のフレーム構成を示す模式図である。 実施形態１におけるＧＯＦ単位の時間方向順ウェーブレット変換を示す模式図である。 実施形態１における順ウェーブレット変換の処理フローを示すフローチャートである。 実施形態１における伸長処理時の３次元ウェーブレット変換・逆変換部の機能的構成を示すブロック図である。 実施形態１，２に係る実施例１における係数補正と時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。 実施形態１，２におけるフレーム内２次元順ウェーブレット変換の処理フローを示すフローチャートである。 実施形態１におけるデコンポジションレベル２の係数補正と時間方向逆ウェーブレット変換の説明のための模式図である。 実施形態１におけるデコンポジションレベル１の係数補正と時間方向逆ウェーブレット変換の説明のための模式図である。 デコンポジションレベル２における係数補正式を示す図である。 デコンポジションレベル１における係数補正式を示す図である。 実施形態１，２に係る実施例２における係数補正と時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。 クリッピングの説明図である。 クリッピングの説明図である。 クリッピングの説明図である。 実施形態１，２に係る実施例３における係数補正と時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。 実施形態１，２に係る実施例４における係数補正と時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。 実施形態１，２に係る実施例５における係数補正と時間方向逆ウェーブレット変換の処理フローを示すフローチャートである。 利用者によるＧＯＦ境界歪み抑制の有無を指定する方法を説明するための図である。 実施形態２における圧縮処理時の３次元ウェーブレット変換・逆変換部の機能的構成を示すブロック図である。 実施形態２における順ウェーブレット変換の処理フローを示すフローチャートである。 実施形態２におけるＧＯＦ単位の時間方向順ウェーブレット変換を示す模式図である。 実施形態２における伸長処理時の３次元ウェーブレット変換・逆変換部の機能的構成を示すブロック図である。 実施形態２におけるデコンポジションレベル２の係数補正と時間方向逆ウェーブレット変換の説明のための模式図である。 実施形態２におけるデコンポジションレベル２の係数補正と時間方向逆ウェーブレット変換の説明のための模式図である。 デコンポジションレベル２における係数補正式を示す図である。 デコンポジションレベル１における係数補正式を示す図である。 本発明に係る画像処理装置の実現に利用し得るコンピュータの構成例を示すブロック図である。

符号の説明

１ 色変換・逆色変換部
２ ３次元ウェーブレット変換・逆変換部
３ 係数補正手段
４ 量子化・逆量子化部
５ エントロピー符号化・復号化部
６ 符号形成・タグ処理部
２１ フレーム内２次元順ウェーブレット変換手段
２２ 時間方向順ウェーブレット変換手段
３１ 時間方向逆ウェーブレット変換手段
３２ フレーム内２次元逆ウェーブレット変換手段

Claims (17)

1. 動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に周波数変換することにより生成された周波数係数に対し時間方向の逆周波数変換を行う逆周波数変換手段、
   前記逆周波数変換手段により逆周波数変換される周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段、
   を有することを特徴とする画像処理装置。
2. 動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に階層的に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換手段、
   前記逆周波数変換手段により逆周波数変換される特定階層以下の周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段、
   を有することを特徴とする画像処理装置。
3. 前記係数補正手段による高周波係数の補正は、量子化ステップ数が所定値より小さい場合にのみ施されることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記係数補正手段による高周波係数の補正は、利用者によりＧＯＦ境界歪み抑制が指定された場合にのみ施されることを特徴とする請求項１，２又は３記載の画像処理装置。
5. 前記係数補正手段は補正した高周波数係数のクリッピング処理を行うことを特徴とする請求項１，２，３又は４記載の画像処理装置。
6. 前記周波数変換はウェーブレット変換であり、前記逆周波数変換は逆ウェーブレット変換であることを特徴とする請求項１，２，３，４又は５記載の画像処理装置。
7. 動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換工程、
   前記逆周波数変換工程により逆周波数変換される周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正工程、
   を有することを特徴とする画像処理方法。
8. 動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に階層的に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換工程、
   前記逆周波数変換工程により逆周波数変換される特定階層以下の周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正工程、
   を有することを特徴とする画像処理方法。
9. 前記係数補正工程による高周波係数の補正は、量子化ステップ数が所定値より小さい場合にのみ施されることを特徴とする請求項７又は８記載の画像処理方法。
10. 前記係数補正工程による高周波係数の補正は、利用者によりＧＯＦ境界歪み抑制が指定された場合にのみ施されることを特徴とする請求項７，８又は９記載の画像処理方法。
11. 前記係数補正工程は補正した高周波数係数のクリッピング処理を行うことを特徴とする請求項７，８，９又は１０記載の画像処理方法。
12. 動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換手段、
    前記逆周波数変換手段により逆周波数変換される周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段としてコンピュータを機能させるプログラム。
13. 動画像のフレームの集まり（以下、ＧＯＦ）毎に時間方向に階層的に周波数変換することにより生成された周波数係数に対し、時間方向の逆周波数変換を行う逆周波数変換手段、
    前記逆周波数変換手段により逆周波数変換される特定階層以下の周波数係数中のＧＯＦ境界近傍の高周波係数に対し、その逆周波数変換に先だって、ＧＯＦ境界歪みを抑制するための補正を施す係数補正手段としてコンピュータを機能させるプログラム。
14. 前記係数補正手段による高周波係数の補正は、量子化ステップ数が所定値より小さい場合にのみ施されることを特徴とする請求項１２又は１３記載のプログラム。
15. 前記係数補正手段による高周波係数の補正は、利用者によりＧＯＦ境界歪み抑制が指定された場合にのみ施されることを特徴とする請求項１２，１３又は１４記載のプログラム。
16. 前記係数補正手段は補正した高周波数係数のクリッピング処理を行うことを特徴とする請求項１２，１３，１４又は１５記載のプログラム。
17. 請求項１２，１３，１４，１５又は１６記載のプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images