JP2006067634A - ブロッキングアーティファクトを除去する方法及び装置ならびにブロッキングアーティファクトを除去する方法をディジタルテレビジョン受信機に使用する方法 - Google Patents

Abstract

【課題】ブロッキングアーティファクトを除去する、信頼性があり効率的なフィルタリング構成を実現する。
【解決手段】ブロックで符号化されその後復号化されたフレームからブロッキングアーティファクトを除くために、ある数の画素（ｎ）をブロック境界（３０）の両側から検査のために選択する。検査のために選択される画素の数は、ブロック境界周囲のフレームの画像内容、特にブロック境界（３０）を渡る画素の値の差と、ブロックの変換符号化に使用される変換係数の量子化ステップの大きさとに依存する。
【選択図】図４

Description

本発明は、一般にディジタルビデオ画像の処理に関する。特に、本発明は符号化ビデオ画像の復号化に関連してブロック境界によって生じる画像の誤りを除去することに関する。

数の対［Δｘ（ｘ，ｙ），Δｙ（ｘ，ｙ）］は、位置（ｘ，ｙ）での画素の動きベクトルと呼ばれ、数Δｘ（ｘ，ｙ）及びΔｙ（ｘ，ｙ）は、画素の水平及び垂直変化である。それらは動き推定ブロック１８と動き情報符号化ブロック１９とで計算される。圧縮されるフレームの画素に関係した全ての動きベクトルからなる動きベクトルの集合［Δｘ（・），Δｙ（・）］がマルチプレクサ１３にも向けられ、マルチプレクサ１３は、この動きベクトルのセットを、受信機に送るため、符号化された差分フレームと共に同じデータの流れに多重化する。幾つかのフレームは、部分的又は全体的に予測することが非常に困難なため、それらを符号化する場合、予測を用いることは実際的ではない。このようなフレーム又はフレーム部分は、予測なしでいわゆるイントラコーディングを用いて符号化され、それらに関する動きベクトル情報は受信機に送られない。

差分フレームの符号化又は予測なしに送られるフレームあるいはフレーム部分をイントラコーディングすることに、ブロック１２で適用される符号化方法は、一般に変換に基づくものであり、その中で最も一般的なものは、離散コサイン変換ＤＣＴである。フレームは例えば８ｘ８画素の大きさの隣接するブロックに分割される。符号化及び復号化する場合、ブロックは互いに独立して処理される。変換は、符号化されるブロックに対し計算され、その結果、ある変数に依存した一連の項が生じる。これらの項の係数は、ディジタルで処理できるために離散的基準化で量子化される。量子化によって誤差が丸められるが、ブロックから再構成された画像において目に見えることがあり、その結果、２つの隣接したブロックの境界で画素値に不連続性が存在する。ある復号化されたフレームが次のフレームの予測フレームを計算するために使用されるので、誤りはシーケンシャルフレームで繰り返されることがあり、従って、受信機で再生された画像において目に見えるエッジが生じる。このような画像の誤りはブロッキングアーティファクト（blocking artefact)と呼ばれる。

このブロッキングアーティファクトを除くための幾つかの先行技術の方法が知られている。これらの方法は次の特色、すなわち
ブロッキングアーティファクトを除くためにどの画素が値の修正を必要としているかを決定し、
修正される各画素に適切な低域フィルタリングを、画素の周囲に置かれた、フィルタリングウィンドウに含まれる他の画素の値に基づいて決定し、
修正される画素に対し新しい値を計算し、及び
その新しい値を最も近いディジタル化された階調値に丸めることを特徴とする。
フィルタの選択及びフィルタを導入する決定に影響する因子は、例えば、ブロック境界を渡る画素の値の差、変換の結果受け取られた係数の量子化ステップの大きさ、及び、処理されている画素とは別の側での画素値の差であろう。

これらの先行技術の方法は、実際には画像の一部となるべき画像の線までも除去する傾向にある。他方、先行技術の方法はすべてのブロッキングアーティファクトを常に除去できるとは限らない。

本発明の目的は、ブロッキングアーティファクトを除去する新しい種類のフィルタリング構成を提供することにある。また本発明は該本発明による方法及び装置が先行技術の解決策よりもより信頼でき又効率的に作用するという目的を持つ。

本発明のこれらの目的は、フィルタリングする画素の選択とフィルタリングプロセスとを、フレームの特色及びフィルタリング点の周囲に、前よりも柔軟に適応させることによって達成される。

検査するためある数の画素がブロック境界の両側から選択される、ブロックで符号化されその後復号化されたフレームからブロッキングアーティファクトを除去する本発明の方法は、検査のために選択された画素の数が、ブロック境界周囲のフレームの画像内容に依存することを特徴とする。

本発明は、本発明の方法を実現する装置にも関する。本発明による装置は、検査及びフィルタリングのため画素を選択するためのフレームの画像内容に従って適応可能に作用する手段を備えることを特徴とする。

ブロッキングアーティファクトはブロック境界でだけで生じるので、本発明によるフィルタリングは、ブロック境界とそのすぐ近くの画素にのみ集中される。画像の一部であるエッジが、画像領域のどこにでもあり得る。修正のためにブロッキングアーティファクトを含む画素だけが選択され、画像の一部であるエッジの品質がフィルタリングの間、損なわれないために、本発明をもたらした研究において次の仮定がなされた。すなわち、
画像の一部であるエッジにおいては、階調値の変化は一般にブロッキングアーティファクトにおけるものよりも大きいこと、及び
階調値の変化が小さい実際の画像のエッジは、フィルタリングにより階調値の差を丸めることで著しくは損傷を受けないことである。

符号化される画像は、一般に垂直及び水平にブロックに分割されるので、画像は垂直及び水平のブロック境界の両方を含む。垂直ブロック境界に関しては、境界の左右に画素が存在し、水平ブロック境界に関しては、境界の上下に画素が存在する。一般に、画素の位置は、ブロック境界の第１の側及び第２の側に存在するとして説明できる。本発明によるフィルタリングの場合、修正される画素の数、使用されるフィルタの特徴的な特色、及びフィルタリングウインドウのサイズは、次の因子に依存する。

ａ）ブロック境界を渡る画素値の差Δは、多くの方法で定義できる。ある定義としては、Δ＝｜ｒ１−ｌ１｜（式中、ｒ１はブロック境界の第１の側の、境界に最も近い画素の値であり、ｌ１はブロック境界の第２の側の、境界に最も近い画素の値である）である。

ｂ）符号化で使用された変換の結果受け取られた係数の量子化ステップＱＰの大きさ。

ｃ）ブロック境界の第１の側の画素間の画素値の差、及び対応したブロック境界の第２の側の画素間の画素値の差。

本発明による方法及び装置において、フィルタリングのため選択される画素の数は変えることができ、ブロック境界の異なった側で必ずしも同じではない。画素の数は上記の因子に従って、問題の領域のフレームによって含まれる画像情報の一般的な特徴に適応されるので、本方法は先行技術の方法よりもより信頼できる。実際の画像エッジを不適切に弱めることなく、多数のブロッキングアーティファクトが除去できる。

次に、本発明を好ましい実施態様及び添付図面を参照してより詳細に説明する。

上記中、先行技術の説明に関連して図１を参照したが、本発明及び好適な実施態様の以下の説明ではだいたい図２ないし5 を参照する。これらの図の対応する部分には同じ参照数字を用いる。

図２は垂直ブロック境界３０に関連した画素ｒ１〜ｒ６とｌ１〜ｌ６の位置を示す。本発明による方法を実現するため、まず、あるパラメータを指定しなければならない。パラメータｎはブロック境界から一方向へ検査される画素の最大数であり、その値は図２の場合６である。パラメータｎの値を、ブロック境界を渡る画素の値の差Δと、符号化の結果受けた取られた係数の量子化ステップの大きさＱＰとの両方にある関係を持つように選択することが実際的である。ここで使用するために次の定義が推奨される。

式中、α＝ＱＰ・ｌｏｇ（ＱＰ）である。ＱＰがブロック境界の異なる側のブロック内で異なった値をもつ場合、定義にはただ１つだけのQP値の参照を含む以下に示す全ての場合と同様に、ＱＰのより小さい値が計算に使用される。本発明はパラメータｎの値の決定を限定するものではないが、定義（２）のガイドラインによると、符号化変換の結果受け取られた係数の量子化ステップの大きさＱＰに比較して、ブロック境界を渡る画素値の差Δが小さい場合、パラメータｎの値が一般に大きいことは有利である。画素値の差Δが、非常に大きい場合、おそらくブロック境界に実際の画像エッジが存在するであろうし、このフィルタリングの時点ではそれらの画素は全く検査されない（ｎ＝０）。

次のステップは、ブロック境界の一方の側の画素間のアクティビティ（activity）、すなわち画素値の差を示すパラメータｄｌ及びｄｒを決定することである。パラメータｄｒに関して好ましい定義（３）は次の通りである。

ここで、補助パラメータβ＝４・ｌｏｇ（ＱＰ）である。パラメータｄｌの値は、全てのｒをＩに置きかえることを別にすれば、同様に決定される。定義（３）で生じる数６は、定義（２）に従ってｎの可能な最も高い値が６であるという事実の結果である。ｎがそれとは異なって定義されれば、パラメータｄｒとｄｌは定義（３）に従って定義され、数６はこの新しい定義に従ってｎの可能な限り高い値に置きかえられなければならない。

本発明に関して、フレームに含まれる画像情報がブロック境界の異なる側で異なることがあるので、パラメータｄｒ及びｄｌの値が互いに独立して計算されることは有利である。本発明はパラメータｄｒ及びｄｌの定義を限定するものではなく、定義（３）のガイドラインによると、実際の画像エッジがブロック境界に並んで存在すれば、これらのパラメータがブロック境界に比較的近いブロッキングアーティファクト処理を制限するために使用されることは有利である。この定義（３）の本質的な特色は、パラメータｄｒの値（及び対応してパラメータｄｌの値）が、ブロックエッジから数えられたどれほどの数の画素がブロックエッジでの画素と近似的に同じ値をもつかを知らせるように記述できる。

パラメータｎの値が高いということ（例えば、６）は、ブロック境界での画素値の差が、そのブロック領域での画素値の一般的な変動に比べて比較的小さいことを示している。この場合、実際の画像エッジが丁度ブロック境界に並んで存在する可能性がある。パラメータｄｒ（又はｄｌ）の充分小さい値を選択することによって、ブロック境界に近い実際の画像エッジを損傷する作用を持たないよう、ブロッキングアーティファクトを修正する目的にフィルタリングを制限することが可能である。ある状況のもとでは、ブロックエッジから数えられた多数の画素が、ブロックエッジでの画素と近似的に同じ値をもつ。この場合、定義（３）はパラメータｄｒ又は（ｄＩ）に比較的大きい値を与えるが、ブロックの間に画素値の明確な飛躍があれば、これに起因したパラメータｎの値が小さいこと及び定義（３）でn の値を考慮することによって、パラメータｄｒ（又はｄｌ）の値として、不必要なフィルタリングを生じる不適切に高い値が選択されていないことが確認される。

更に、フィルタリングされるべき可能な限り多数の画素が決定されなければならない。これは図２でそれ自体の表記を持たないが、例えば３であり、これは、画素ｒ１，ｒ２，ｒ３，ｌ１，ｌ２，及びｌ３の値を修正するためにだけフィルタリングが使用できることを意味する。

これらのパラメータｎ，ｄｒ，及びｄｌの値が決定されると、適切なフィルタを使用してフィルタリングが実行される。本発明は、使用されるフィルタの種類に制限を置くものではなく、好ましいと見出されたフィルタリング構成を次に説明する。フィルタリングに選択された画素の新しい値を決定するためにフィルタリングが使用される。所定の瞬間にフィルタリングされる画素の新しい値に関して、フィルタリングウインドウに現れる画素の平均値が計算される。この場合、フィルタリングウインドウはフィルタリングされる画素に関して対称であり、フィルタリングされる画素に加えて以下に説明するようにパラメータｄｒ及びｄｌの値に依存して、その両側から１，２又は３つの画素を含む。計算された平均値は、ディジタル化された最も近い階調値に丸められ、それがフィルタリングされた画素の新しい値になる。

次の表は、パラメータｄｒの値に従って画素ｒ１，ｒ２及びｒ３に関するフィルタリングウインドウの幅の決定を示す。画素ｌ１，ｌ２及びｌ３の値は、パラメータｄｌの値に従い同じ方法で決定される。表においてＸは問題の画素が全くフィルタリングされないことを意味し、数はフィルタリングウインドウが検査されている画素のそれぞれの側からその数で示された量の画素を含むことを意味する。特に、フィルタリングがどの画素に対しても集中されるためには、パラメータｄｒとｄｌの両方が１より大きい値を持たなければならないことを表が示している。

^* ピクセルｒ₂ のフィルタリングに対してピクセルｒ₁ のフィルタされた値が使われる。
^** ピクセルｒ₃ のフィルタリングに対してピクセルｒ₁ 及びｒ₂ のフィルタされた値が使われる。
^*** ｄ₁ ＞２ならば３、そうでなければ２。

上記の説明は、長さが12画素で、垂直ブロック境界の両側に対称に置かれた画素列の水平部分のフィルタリングの実行に関するものである。この説明は水平ブロック境界の両側に対称に置かれた画素行の垂直部分に関連して容易に一般化できる。図２は反時計回りで９０°回転でき、それによって、ブロック境界３０は水平になり、図に示された画素は，垂直画素行の部分を形成し、画素ｒ１〜ｒ６は上側画素になり、画素Ｉ１〜Ｉ６は下側画素になる。本発明の方法でフレーム全体をフィルタリングするためには、フレームの全ての垂直ブロック境界が列毎に調べられ、全ての水平ブロック境界は行毎に調べられる。その順序はそれほど重要ではなく、従って、まずフレームの全ての水平ブロック境界を行毎に調べ、その後全ての水平ブロック境界を列毎に調べてもよい。

図３は、先行技術の画像伝送構成のどの点が本発明のフィルタリングにより改良できるかを示す。第１の代替例は、参照数字３１に例示された受信機のデコーダの出力に、本発明によるフィルタリングを実行するブロックを置くことである。この場合、復号化されている間、外部に向けられているビデオ画像だけがフィルタリングされる。他の代替例は、復号化されたフレームが、参照数字３２に示されているように、予測フレームを形成するためフレームメモリ２５に向けられる点の前に、本発明によるフィルタリングを受信機で実行するブロックを置くことである。この代替例は、ブロッキングアーティファクトを除去することが、予測フレームの形成に対しても効果をもち、ブロッキングアーティファクトによって生じ裸眼で見られるであろう線が予測フレームを介して次のフレームに２重にされないという利点を有する。最後に言及した効果を達成するために、本発明によるフィルタリングを実行するブロックは、フレームメモリ２５の前か又は後にも置くことができるが、参照数字３２で示された位置が好ましく、この段階でなされた場合、フィルタリングは外部に向けられるフレームと、メモリにセーブされるフレームとに同時に影響するからである。送信機において、送信端で修正された予測フレームを生成することにも本発明を適用することが望ましい場合、本発明によるフィルタリングを実行するブロックを参照数字３３及び３４に示されているようにフレームメモリ１６の前又は後に置くことができる。

本発明によるフィルタリングを実行するブロックは、ディジタル信号プロセッサ又はディジタル信号を処理するのに適合した対応する装置で実現することが特に有利であり、それは入力データとして受け取った信号に所定の処理機能を集中させるようプログラムできるからである。ディジタル信号プロセッサのプログラミング段階で、定義３５〜３８は、フィルタリングを制御するパラメータを計算するため、図４に従ってセーブされる。図５による演算ステップで、信号プロセッサで画素毎に処理できるように、フレームはレジスタ４０に一時的にセーブされる。パラメータｎで示される多数の画素が、ある所定の瞬間、あるブロック境界のある点のそれぞれの側から、検査される画素４１としてフレームから選択され、ｄ−パラメータ４２が計算され、フィルタリング４３が行われ、及びこれらの処置が全てのブロックの全ての境界が完了するまで繰り返され、その後、フレームはレジスタ４０から送られ、新しいフレームが処理のためにセーブされることができる。図４及び５による処置は、個別の信号プロセッサで実行でき、又は信号処理の他の構成も含むような信号プロセッサの演算の一部となすこともできる。

本発明は次の請求の範囲から逸脱することなく、実際的な進歩性なく当業者の能力を用いて変更できる。例えば、パラメータΔは、式Δ＝｜（ｒ１＋ｒ２）−（I １＋Ｉ２）｜又は適切とみなされる他の式を用いて計算できる。上記の他のパラメータの定義は、例としてのみ意図されたものである。本発明は、ディジタルテレビジョン受信機及びディジタルビデオ画像を受信し復号化する他の装置に特に有利に使用される。

先行技術のビデオ画像伝送構成を示す。 本発明による方法でのブロック境界に関連した画素の位置を示す。 ビデオ画像伝送構成において本発明によるフィルタリングを設けるための代替例を示す。 本発明による方法を実現する装置の概略図を示す。 演算中の図４の装置を示す。

符号の説明

１２ 符号化ブロック
１４ デコーダ
１６ フレームメモリ
１７ 予測ブロック
１８ 動き推定ブロック
１９ 動き情報符号化ブロック
２１ デマルチプレクス
２２ デコーダ
２５ フレームメモリ
２６ 予測ブロック

Claims (12)

1. ブロックで符号化されその後復号化されたディジタルビデオ信号のフレームからブロッキングアーティファクトを除去する方法であって、ある数の画素（ｎ）が検査のためにブロック境界（３０）の両側から選択され、検査のために選択された前記画素の値がフィルタリングによって修正されるブロッキングアーティファクトを除去する方法において、前記検査のために選択された画素の数（ｎ）が、前記ブロック境界（３０）の周囲のフレームの画像内容に依存することを特徴とするブロッキングアーティファクトを除去する方法。
2. 前記検査のために選択される画素の数（ｎ）が、前記ブロック境界（３０）を渡る画素の値の差に依存することを特徴とする請求項１に記載の方法。
3. ｒ１がブロック境界の第１の側の、前記ブロック境界に最も近い画素の値であり、ｌ１がブロック境界の第２の側の、前記ブロック境界に最も近い画素の値であるとき、前記画素の値の差が値Δ＝｜ｒ１−ｌ１｜によって示されることを特徴とする請求項２に記載の方法。
4. 前記検査のために選択された画素の数が、前記ブロックの変換符号化に使用される変換係数の量子化ステップの大きさにも依存することを特徴とする請求項２に記載の方法。
5. α＝ＱＰ・ｌｏｇ（ＱＰ）、及びＱＰが前記ブロックの変換符号化に使用される前記変換係数の量子化ステップの大きさであるとき、前記検査のために選択された画素の数が、式
   

   

   によって決定されることを特徴とする請求項４に記載の方法。
6. フィルタリングされる画素が、前記検査のために選択された画素から選択され、フィルタリングされる各画素に対して、前記画素の周囲に置かれたフィルタリングウインドウに現れる画素に基づき新しい値が決定されることを特徴とする請求項１に記載の方法。
7. 前記フィルタリングされる画素の新しい値が、前記フィルタリングウインドウに現れる画素の平均値であることを特徴とする請求項６に記載の方法。
8. 整数パラメータｄｒが前記ブロック境界の第１の側のアクティビティを示し、整数パラメータｄｌが前記ブロック境界の第２の側のアクティビティを示し、ｒ１，ｒ２及びｒ３が前記ブロック境界の第１の側の、前記ブロック境界にこの順序で最も近い３つの画素であり、X は前記画素がフィルタリングされないことを意味し、数は前記フィルタリングされる画素に加えて、前記数で示された量の画素が、前記フィルタリングされる画素の両側から前記フィルタリングウインドウに移されることを意味し、「３又は２」は、「ｄ１＞２であれば３、そうでなければ２」を意味し、前記ブロック境界の他方の側で前記フィルタリングされる画素の新しい値を決定するために、全てのｒをＩに及びその逆に置き換えることを除いて、同様に定義されたフィルタリングウインドウが使用されるとき、前記ブロック境界の第１の側で前記フィルタリングされる画素の新しい値を決定するために、フィルタリングウインドウが使用され、前記ウインドウの大きさが、表
   

   

   によって決定されることを特徴とする請求項６に記載の方法。
9. 補助パラメータβ＝４・ｌｏｇ（ＱＰ）であり、ＱＰは前記ブロックの変換符号化に使用される前記変換係数の量子化ステップの大きさであり、パラメータｄ１の値は、全てのｒをＩに置きかえることを除いて同様に決定され、
   

   

   であることを特徴とする請求項８に記載の方法。
10. 請求項１に記載の方法をディジタルテレビジョン受信機に使用する方法。
11. ブロックで符号化されその後復号化されたディジタルビデオ信号のフレームからブロッキングアーティファクトを除去する装置であって、検査するために選択された画素の値を修正するフィルタからなるブロッキングアーティファクトを除去する装置において、検査しフィルタリングする画素を選択するため、前記フレームの画像内容に従って適応して作用する手段（４１）を備えることを特徴とするブロッキングアーティファクトを除去する装置。
12. 検査される画素としてセーブされたフレームから画素を選択するプログラム可能な手段（４１）と、前記検査される画素の中からフィルタリングされる画素を選択するプログラム可能な手段（４４）と、前記フィルタリングされる画素の新しい値を決定するプログラム可能な手段（４３）とを備えることを特徴とする請求項１１に記載の装置。
    

Images