JP2006222975A - 画像シーケンスを符号化する前に事前処理する装置及び方法 - Google Patents

Abstract

【課題】従来の画像シーケンスの事前処理における分解能の低さ、オブジェクトに対するぼやけ効果、輪郭の劣化等の問題を解決すること。
【解決手段】画像シーケンスを符号化する前に事前処理する装置であって、現在フレームと少なくとも２つの先行フレームとを格納する手段と、現在フレームの各点と２つの先行フレームにおける対応する各点とに対して近傍を定義する手段と、２つの先行フレームにおける現在点の位置に対する現在点の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出する手段を有している形式の装置において、現在点が動いている場合に現在点に空間平滑化を行う手段と、現在点が静止領域内にある場合に時空間平滑化を行う手段を有していることを特徴とする装置。
【選択図】図３

Description

本発明はビデオ画像シーケンスを符号化する前に事前処理する装置及び方法に関する。

画像符号化装置は、符号化する画像の時間又は空間エントロピーが低ければ、ますます効率的である。

それゆえ、画像符号化装置は、よりよい符号化が得られるように画像を処理する事前処理装置に接続されていることが多い。

周知のように、ビデオシーケンスの時間エントロピーを低減させるよう設計された事前処理装置は、予測又は補間画像の符号化コスト低減のために、画像ごとに時間的冗長性を増大させる線形又は非線形フィルタを使用する。

これらの方法の主な欠点は次の通りである：
−時間分解能が低く、そのことが一様なエリアにおける平滑化効果として反映される、
−オブジェクトに対するぼやけ効果、
−動きが激しいときに輪郭が二重になる。

動き補償フィルタはある程度の改善をもたらすが、動き推定の質が低い場合にはアーチファクトの危険性がある。

同じように、ビデオシーケンスの空間エントロピーを低減させるよう設計された事前処理装置は、主にイントラモードでの画像符号化コストの原因である高周波成分を低減あるいは除去する線形又は非線形フィルタを使用する。多くのフィルタが存在するが、その中でも、１次元又は２次元ローパスフィルタ、ナガオフィルタ、平均化フィルタ、及びメジアンフィルタがある。

これらの方法の主な欠点は次の通りである：
−インタレースビデオの各フレームの垂直解像度が１つの画像の垂直解像度の半分しかないため、特に垂直軸において、空間分解能の低下が顕著である、
−オブジェクトに対するぼやけ効果、
−輪郭の劣化。

本発明は上記の欠点のうちの少なくとも１つを克服することである。

上記課題は、画像シーケンスを符号化する前に事前処理する装置であって、現在フレームと少なくとも２つの先行フレームとを格納する手段と、現在フレームの各点と２つの先行フレームにおける対応する各点とに関して近傍を定義する手段と、２つの先行フレームにおける現在点の位置に対する現在点の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出する手段を有している形式の装置において、現在点が動いている場合に現在点に空間平滑化を行う手段と、現在点が静止領域内にある場合に時空間平滑化を行う手段を有していることを特徴とする装置により解決される。

同様に、上記課題は、画像シーケンスを符号化する前に事前処理する方法であって、現在フレームと少なくとも２つの先行フレームとを格納するステップと、現在フレームの各点と２つの先行フレームにおける対応する各点とに関して近傍を定義するステップと、２つの先行フレームにおける現在点の位置に対する現在点の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出するステップを有している形式の方法において、現在点が動いている場合に現在点に空間平滑化を行うステップと、現在点が静止領域内にある場合に時空間平滑化を行うステップを有していることを特徴とする方法により解決される。

本発明は、画像シーケンスを符号化する前に事前処理する装置であって、現在フレームと少なくとも２つの先行フレームとを格納する手段と、現在フレームの各点と２つの先行フレームにおける対応する各点とに対して近傍を定義する手段と、２つの先行フレームにおける現在点の位置に対する現在点の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出する手段を有する装置を提供する。
本発明によれば、この装置は、現在点が動いている場合に現在点に空間平滑化を行う手段と、現在点が静止領域内にある場合に時空間平滑化を行う手段を有する。

有利には、装置は現在点の近傍の輝度の振幅に応じて平滑化の強さを増大させる手段を有する。

好適には、装置は、
−現在フレームにおける現在点の近傍の平均輝度を計算する手段、
−現在フレームと前フレームとにおける現在点の近傍の累積平均輝度を計算する手段、
−現在フレームと前フレームに先行するフレームとにおける現在点の近傍の累積平均輝度を計算する手段、
−現在フレームと前フレームと前フレームに先行するフレームとにおける現在点の近傍の累積平均輝度を計算する手段、
−現在点の動きの測定値に応じて前記平均値のうちの１つを選択する手段
を有する。

好適な実施形態によれば、装置は前記選択された平均値と現在フレームの現在点の輝度値を所定の閾値と比較する手段を有する。

好適には、平滑化の強さを増大させる前記手段は、前記選択された平均値及び現在フレームの現在点の値と所定の閾値との比較に依存した係数に応じて、現在点の輝度値を変更する。

好適な実施形態によれば、フィルタリングの強さを増大させる前記手段は、現在点の輝度値と前記係数と前記選択された平均値とに依存した新たな輝度値を現在点に割り当てる。

本発明はまた、画像シーケンスを符号化する前に事前処理する方法であって、現在フレームと少なくとも２つの先行フレームとを格納するステップと、現在フレームの各点と２つの先行フレームにおける対応する各点とに対して近傍を定義するステップと、２つの先行フレームにおける現在点の位置に対する現在点の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出するステップを有する方法に関する。
本発明によれば、この方法は、現在点が動いている場合に現在点に空間平滑化を行うステップと、現在点が静止領域内にある場合に時空間平滑化を行うステップを有する。

本発明は、添付図面を参照した限定的でない例示的な実施形態及び有利な実施形態により、より良く理解される。

図１には、静止領域検出装置が示されている。
静止領域の検出は輝度情報に基づいて行われる。
装置はインタレース解除器１を有している。インタレース解除器１は、連続する３つのフレームに依存した公知のインタレース解除システムを使用して１フレーム当たりの走査線数を２倍することにより、入力側のビデオ信号をプログレッシブ信号に変換する。これは、有利には、それぞれ１画像の完全な垂直解像度を有するプログレッシブフレームを取得するために用いられる。連続する２つのフレームの各走査線は今や空間的に同じ位置にあるので、フレームごとの比較を考えることが可能である。

連続するフレームは後で静止領域を求めるのに使用するためメモリ２に格納される。メモリ２はフレームを次々に格納し、インタレース解除器１から受信した最後の少なくとも２つのフレームをつねに保持する。
つぎに、現在フレームＴ、直前のフレームＴ−１、及びフレームＴ−２の各点について、それぞれの手段３、４、及び５が現在点を中心とした窓を計算する。
窓のサイズは３つのフレームすべてについて水平方向に３ピクセル、垂直方向に３ピクセルである。これら３つの窓は図２に示されている。Ｐは現在フレームＴの現在点を表している。Ｐ’及びＰ’’はそれぞれフレームＴ−１及びＴ−２において現在点と同じ座標の点を表している。

現在フレームの窓Ｆ（Ｔ）は以下の点から成る：
−現在点よりも上の走査線では、左から右へ、点Ａ，Ｂ，Ｃ、
−現在点の走査線上では、現在点の左にＤ、現在点の右にＥ、
−現在点よりも下の走査線では、左から右へ、点Ｆ，Ｇ，Ｈ。
Ｆ（Ｔ−１）と呼ばれるフレームＴ−１の窓は空間的に点Ａ，Ｂ，Ｃ，Ｄ，Ｐ，Ｅ，Ｆ，Ｇ，Ｈにそれぞれ対応する点Ａ’，Ｂ’，Ｃ’，Ｄ’，Ｐ’，Ｅ’，Ｆ’，Ｇ’，Ｈ’から成る。
Ｆ（Ｔ−２）と呼ばれるフレームＴ−２の窓は空間的に点Ａ，Ｂ，Ｃ，Ｄ，Ｐ，Ｅ，Ｆ，Ｇ，Ｈにそれぞれ対応する点Ａ’’，Ｂ’’，Ｃ’’，Ｄ’’，Ｐ’’，Ｅ’’，Ｆ’’，Ｇ’’，Ｈ’’から成る。

モジュール６はＺＦ（Ｔ−１）を計算する。これはフレームＴ−１とフレームＴの間の静止領域を求めることに相当する。
モジュール７はＺＦ（Ｔ−２）を計算する。これはフレームＴ−２とフレームＴの間の静止領域を求めることに相当する。
ＺＦ（Ｔ−１）とＺＦ（Ｔ−２）を得るには、次の演算が行われる：

Ｒ１＜ThresholdＳ１ならば、ＺＦ（Ｔ−１）＝１であり、現在点ＰはＴ−１に対する静止領域内にある。そうでなければ、ＺＦ（Ｔ−１）＝０。
Ｒ２＜ThresholdＳ２ならば、ＺＦ（Ｔ−２）＝１であり、現在点ＰはＴ−２に対する静止領域内にある。そうでなければ、ＺＦ（Ｔ−２）＝０。
好適には、以下を採用してよい：
Threshold１＝Threshold２＝８
つぎに、ＺＦ（Ｔ−１）とＺＦ（Ｔ−２）の値が現在点Ｐの新たな値の計算に使用される。
このために、図３には現在点Ｐの新たな値を計算するための装置が示されている。
手段８は現在点Ｐを囲む窓Ｆ（Ｔ）の点を入力として受け取り、現在点以外のこれらの点の輝度値に基づいて値ＡＶＧ８を計算する：

手段９は現在フレームＴの現在点Ｐを囲む窓Ｆ（Ｔ）の点と窓Ｆ（Ｔ−１）内の前フレームＴ−１の対応する点とを入力として受け取る。手段９はこれらの値から平均値ＡＶＧ（Ｔ−１）１７を計算する：

手段１０は現在フレームＴの現在点Ｐを囲む窓Ｆ（Ｔ）の点と窓Ｆ（Ｔ−２）内の対応する点とを入力として受け取る。手段１０はこれらの値から平均値ＡＶＧ（Ｔ−２）１７を計算する：

手段１１は現在フレームＴの現在点Ｐを囲む窓Ｆ（Ｔ）の点と窓Ｆ（Ｔ−１）及び窓Ｆ（Ｔ−２）の対応する点を入力として受け取る。手段１１はこれらの値から平均値ＡＶＧ（Ｔ−１−２）２６を計算する：

得られた結果は決定手段１２に送られる。決定手段１２は入力として静止領域ＺＦ（Ｔ−１）とＺＦ（Ｔ−２）を受け取り、出力として信号Ａｖｇを生成する。

決定手段は、図４に示されているアルゴリズムに従って静止領域値に応じて様々な平均値を多重化する。

ステップＥ１では、ＺＦ（Ｔ−１）の値に対してテストが行われる。
ＺＦ（Ｔ−１）が“１”ならば、手続きはステップＥ３に進む。このステップＥ３では、ＺＦ（Ｔ−２）がテストされる。ＺＦ（Ｔ−２）が“１”ならば、手続きはステップＥ７に進み、Ａｖｇに値ＡＶＧ（Ｔ−１−２）２６が割り当てられる。そうでなく、ＺＦ（Ｔ−２）が“０”ならば、手続きはステップＥ６に進み、Ａｖｇに値ＡＶＧ（Ｔ−２）１７が割り当てられる。

ステップＥ１においてＺＦ（Ｔ−１）が“０”ならば、手続きはステップＥ２に進み、ＺＦ（Ｔ−２）がテストされる。ＺＦ（Ｔ−２）が“１”ならば、手続きはステップＥ５に進み、Ａｖｇに値ＡＶＧ（Ｔ−１）１７が割り当てられる。そうでなく、ＺＦ（Ｔ−２）が“０”ならば、手続きはステップＥ４に進み、Ａｖｇに値ＡＶＧ８が割り当てられる。

図３を参照すると、決定手段１２の出力はコンパレータ１３に送られる。コンパレータ１３は入力として閾値Ｓ３、Ｓ４、Ｓ５、及びＳ６も受け取る。
現在点の値と閾値との比較及び平均値と閾値との比較に依存して、以下の表で定義される係数αがこの比較から導出される。

閾値は好適には次のように定められる：
Ｓ３＝６０
Ｓ４＝１２０
Ｓ５＝１８０
Ｓ６＝２４０

手段１４はつぎにαと選択された平均値とに応じて現在点の値を変更する。Ｐ_ｎｅｗで表されるＰの新たな値は次のように決められる：
Ｐ_ｎｅｗ＝α×Ｐ＋（１−α）Ａｖｇ
したがって、点Ｐが先行する２つのフレームＴ−１及びＴ−２に対して動いている場合、つまり、先行フレームに対して静止領域内にあるとは見なされない（ＺＦ（Ｔ−１）＝０及びＺＦ（Ｔ−２）＝０）の場合には、現在点Ｐの値を変更し、現在点Ｐの近傍の点の値を考慮した新たな値（ＡＶＧ８）を現在点Ｐに割り当てることにより空間平滑化が行われる。

現在点Ｐが前フレームＴ−１に対してのみ動いている場合、つまり、Ｔ−１に対しては動いていると見なされるが、Ｔ−２に対しては動いていると見なされない場合には、現在点の値を変更し、現在点Ｐの近傍Ｆ（Ｔ）の点の値と前フレームにおける現在点Ｐ’の近傍Ｆ（Ｔ−１）の点の値とを考慮した新たな値（ＡＶＧ（Ｔ−１）１７）を現在点Ｐに割り当てることにより時空間平滑化が行われる。

現在点Ｐが前フレームＴ−１に対しては動いていないが、前フレームに先行するフレームＴ−２に対しては動いている場合には、現在点Ｐの値を変更し、現在点Ｐの近傍Ｆ（Ｔ）の点の値とフレームＴ−２における現在点Ｐ’’の近傍Ｆ（Ｔ−２）の点の値とを考慮した新たな値（ＡＶＧ（Ｔ−２）１７）を現在点Ｐに割り当てることにより時空間平滑化が行われる。

現在点Ｐが前フレームＴ−１に対しても前フレームに先行するフレームＴ−２に対しても動いていない場合には、現在点Ｐの値を変更し、現在点Ｐの近傍Ｆ（Ｔ）の点の値とフレームにおける現在点Ｐ’の近傍Ｆ（Ｔ−１）の点の値とフレームＴ−２における現在点Ｐ’’の近傍Ｆ（Ｔ−２）の点の値とを考慮した新たな値（ＡＶＧ（Ｔ−１−２）２６）を現在点Ｐに割り当てることにより時空間平滑化が行われる。

つぎに、平滑化は平均値に応じて係数αにより重み付けされる。実際には、心理視覚的な特徴が用いられる。この特徴によれば、オブジェクトの平滑化はオブジェクトの輝度が弱いため目では知覚しづらくなる。このように、平滑化の強さはこの平均輝度値に依存する。
インタレースモジュール１５はインタレース形式で処理されたビデオフレームを回復するために使用される。そして、しかるべく処理されたビデオフレームは符号化のために符号化装置に送られる。

静止領域を検出する装置を示す。 現在点の値を求めるために現在フレームと先行フレームとにおいて使用される窓を示す。 本発明の好適な実施形態の装置を示す。 多重化モジュールの動作フローチャートを示す。

符号の説明

１ インタレース解除器
２ メモリ
３ 窓を定義する手段
４ 窓を定義する手段
５ 窓を定義する手段
６ 現在点が動いているのか又は静止領域内にあるのかを検出する手段
７ 現在点が動いているのか又は静止領域内にあるのかを検出する手段
８ 現在フレームにおける現在点の近傍の平均輝度を計算する手段
９ 現在フレームと前フレームとにおける現在点の近傍の累積平均輝度を計算する手段
１０ 現在フレームと前フレームに先行するフレームとにおける現在点の近傍の累積平均輝度を計算する手段
１１ 現在フレームと前フレームと前フレームに先行するフレームとにおける現在点の近傍の累積平均輝度を計算する手段
１２ マルチプレクサ
１３ コンパレータ
１４ 空間平滑化を行う手段
１５ インタレース器

Claims (7)

1. 画像シーケンスを符号化する前に事前処理する装置であって、
   現在フレーム（Ｔ）と少なくとも２つの先行フレーム（Ｔ−１，Ｔ−２）とを格納する手段（２）と、
   現在フレーム（Ｔ）の各点（Ｐ）と２つの先行フレーム（Ｔ−１，Ｔ−２）における対応する各点（Ｐ’，Ｐ’’）とに対して近傍（Ｆ（Ｔ），Ｆ（Ｔ−１），Ｆ（Ｔ−２））を定義する手段（３，４，５）と、
   ２つの先行フレーム（Ｔ−１，Ｔ−２）における現在点（Ｐ）の位置に対する現在点（Ｐ）の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出する手段（６，７）を有している形式の装置において、
   現在点が動いている場合に現在点に空間平滑化を行う手段（１４）と、
   現在点が静止領域内にある場合に時空間平滑化を行う手段（１２，１４）を有していることを特徴とする、画像シーケンスを符号化する前に事前処理する装置。
2. 現在点（Ｐ）の近傍の輝度の振幅に応じて平滑化の強さを増大させる手段（１３）を有する、請求項１記載の装置。
3. 現在フレーム（Ｔ）における現在点（Ｐ）の近傍（Ｆ（Ｔ））の平均輝度を計算する手段（８）と、
   現在フレーム（Ｔ）と前フレーム（Ｔ１）とにおける現在点（Ｐ）の近傍（Ｆ（Ｔ），Ｆ（Ｔ−１））の累積平均輝度を計算する手段（９）と、
   現在フレーム（Ｔ）と前フレーム（Ｔ１）に先行するフレーム（Ｔ−２）とにおける現在点（Ｐ）の近傍（Ｆ（Ｔ），Ｆ（Ｔ−１），Ｆ（Ｔ−２））の累積平均輝度を計算する手段（１０）と、
   現在フレーム（Ｔ）と前フレーム（Ｔ１）と前フレーム（Ｔ−１）に先行するフレーム（Ｔ−２）とにおける現在点（Ｐ）の近傍（Ｆ（Ｔ），Ｆ（Ｔ−２））の累積平均輝度を計算する手段（１１）と、
   現在点（Ｐ）の動き（ＺＦ（Ｔ−１），ＺＦ（Ｔ−２））の測定値に応じて前記平均値のうちの１つを選択する手段（１２）を有する、
   請求項１又は２記載の装置。
4. 前記選択された平均値と現在フレーム（Ｔ）の現在点（Ｐ）の輝度値を所定の閾値（Ｓ３，Ｓ４，Ｓ５，Ｓ６）と比較する手段（１３）を有する、請求項３記載の装置。
5. 平滑化の強さを増大させる前記手段（１３）は、前記選択された平均値及び現在フレーム（Ｔ）の現在点（Ｐ）の輝度値の所定の閾値（Ｓ３，Ｓ４，Ｓ５，Ｓ６）との比較に依存した係数（α）に応じて、現在点（Ｐ）の輝度値を変更する、請求項３又は４記載の装置。
6. フィルタリングの強さを増大させる前記手段（１３）は、現在点（Ｐ）の輝度値と前記係数（α）と前記選択された平均値とに依存した新たな輝度値を現在点（Ｐ）に割り当てる、請求項５記載の装置。
7. 画像シーケンスを符号化する前に事前処理する方法であって、
   現在フレーム（Ｔ）と少なくとも２つの先行フレーム（Ｔ−１，Ｔ−２）とを格納するステップと、
   現在フレーム（Ｔ）の各点（Ｐ）と２つの先行フレーム（Ｔ−１，Ｔ−２）における対応する各点（Ｐ’，Ｐ’’）とに対して近傍（Ｆ（Ｔ），Ｆ（Ｔ−１），Ｆ（Ｔ−２））を定義するステップと、
   ２つの先行フレーム（Ｔ−１，Ｔ−２）における現在点（Ｐ）の位置に対する現在点（Ｐ）の相対的動きを測定し、現在点が動いているのか又は静止領域内にあるのかを検出するステップを有している形式の方法において、
   現在点が動いている場合に現在点に空間平滑化を行うステップと、
   現在点が静止領域内にある場合に時空間平滑化を行うステップを有していることを特徴とする、画像シーケンスを符号化する前に事前処理する方法。

Images