JP2005521310A - ビデオ信号後処理方法 - Google Patents

Abstract

本発明はデジタル画像のシーケンスに含まれるピクセルを後処理する方法に関する。この方法は、画像内の自然輪郭（２０）に属するピクセルを検出するステップ（２００）を含む。また、符号化ブロックに対応する調査ゾーン（２１）を検出するステップ（２１０）も含む。さらに、カレントピクセルが自然輪郭ピクセル（２０）であるとして検出されなく、少なくとも１つの自然輪郭ピクセル（２０）を含む調査ゾーン（２１）にぞくしているときフィルタされるフィルタリング決定ステップ（２２０）を含む。最後に、フィルタされるべきピクセルのメディアンフィルタリングタイプのピクセルフィルタリングステップ（２３０）を含む。

Description

本発明はデジタル画像のシーケンスに含まれるピクセルを後処理する方法に関する。この方法は、画像内の自然輪郭に属するピクセルを検出するステップと、ピクセルフィルタリングステップとを有する。

また本発明は上記後処理方法を実施するデバイスにも関する。

本発明は特にビデオの符号化の分野に応用できる。符号化方法は例えばMPEG（英語のMoving Picture Expert Groutにちなむ）標準またはこれと同等の標準に基づく。これらの標準によって、デジタル画像のシーケンスを符号化し、その後データブロックとして復号する。ブロックベースの符号化技術により生じる視覚的アーティファクト（artifact）を減らすために、復号されたデジタル画像のシーケンスに含まれるデータを本発明により修正することができる。よって本発明はビデオデコーダやテレビレシーバに組み込むことができる。

低ビットレートの画像シーケンスの符号化は、MPEG符号化技術や同等の技術を使用すると、復号された画像に視覚的アーティファクトが入ってしまう。良くあるアーティファクトのうち最初に挙げられるのはブロック化によるものであり、このブロック化により画像がブロック（一般的には８×８ピクセル）に視覚的に分かれてしまう。２つめのタイプのアーティファクトはリンギングによるものである。自然輪郭に複数のエコーが現れるもので、この視覚的欠陥はギブズ現象と呼ばれている。これらのアーティファクトは非常に不快なので、修正する必要がある。

ブロック化によるアーティファクトを修正する方法はたくさんあるが、リンギングによるアーティファクトを修正する方法は非常に少ない。国際特許出願WO 2001/24115（内部参照番号PHF99584）には、リンギングによるアーティファクトを減らすためのデジタル画像のシーケンスに含まれたピクセルを後処理する方法が記載されている。この後処理方法は、例えばソーベルフィルターを用いて画像内の自然輪郭に属するピクセルを検出するステップを有する。

この後処理方法は、カレントピクセルのフィルタリングをそのピクセルの周囲により決定するステップを有する。この目的のため、画像を４×４ピクセルのゾーンに分けることができる。カレントピクセルは中央ゾーンに属し、中央ゾーンに隣接する東・北・西・南ゾーンを考慮に入れる。よって、以下の３つの累積的条件が満たされるとき、中央ゾーンのカレントピクセルがフィルターされる：
−カレントピクセルが自然輪郭に属さない、
−５つのゾーンにある自然輪郭ピクセルの数が第１の所定値Nmaxより小さい、
−各ゾーンにある自然輪郭ピクセルの数が第２の所定値Nminより大きい。

最後に、この後処理方法は、このように決定されたフィルターされるピクセルを当該ピクセルの周囲からメディアンフィルタリングするステップを有する。カレントピクセルの周囲は、前記カレントピクセルとそれに隣接する東・北・西・南ピクセルを含む集合中のあるピクセルを含み、前記隣接するピクセルの一部が自然輪郭ピクセルであるかないかによる。

しかし上記の後処理方法は、５つの異なるゾーンに属するピクセルの値が必要なので、その実施は比較的複雑になってしまう。

本発明の目的は、デジタル画像のシーケンスに含まれるピクセルを後処理する方法であってより簡単に実施できるものを提案することである。

そのため、本発明による後処理方法は、符号化ブロックに対応する調査ゾーンを検出するステップをさらに有し、カレントピクセルが自然輪郭ピクセルとして検出されておらず、少なくとも１つの自然輪郭ピクセルを含む調査ゾーンに属しているとき、前記カレントピクセルがフィルターされることを特徴とする。

よって、本発明では、４ライン、４ピクセルの５つの異なったゾーンに属するピクセルの値よりも、一般的には８ライン、８ピクセルである符号化ブロックに属するピクセルの値を考慮する。本発明では、ピクセルが１２ではなく８ラインに分布しているので、より少ない数のピクセルからのフィルタリング決定をより容易にアクセス可能とできる。これにより後処理方法の実施が、メモリアクセスの観点から、より簡単になる。

また、本発明は次の分析から生ずる。リンギングアーティファクトは符号化ブロック内の変換されたDCT（離散コサイン変換）係数の数量化の結果である。この仮定から始めて、リンギングアーティファクトは前に見たように自然輪郭のエコーであり、少なくとも自然輪郭がある符号化ブロックに対応する調査ゾーンにおいてのみ見つけることができることが分かる。この分析の結果として、自然輪郭を含まない調査ゾーンはフィルタされない。しかし、フィルタリング決定が符号化ブロックを考慮にいれない、技術水準の方法ではフィルターされてしまう。本発明による後処理方法は、自然輪郭を含まない調査ゾーン中のピクセルすべてを削除することにより、より少ないピクセルを処理するので、さらに簡単化される。ブロックベースの符号化技術を考慮するので、本発明による後処理方法はより効果的でもある。

本発明は、前記後処理方法を実施するデバイスにも関する。

図面に示した実施形態の例を参照して本発明をさらに説明するが、本発明はこの実施形態の例に限定されない。

本発明は、デジタル画像のシーケンスに含まれるピクセルを後処理する方法に関する。この方法は、ブロックベースの符号化技術によりデジタル画像が符号化され、その後復号されたときに、そのデジタル画像の視覚的品質を向上することを意図している。

この後処理方法は、MPEG-2またはMPEG-4標準に基づく符号化技術のために特に開発された。それにもかかわらず、この後処理方法は、他のブロックベースの符号化技術、例えばH.261、H.263、H.26Lにも適用可能である。

図１は、符号化されたデジタル画像（１０）を含むデジタルビデオ信号を処理する一連の手段の機能を示す図である。この一連の手段はビデオデコーダ（１１）を含む。このビデオデコーダ（１１）は復号モジュール（１２）を含み、復号された画像（１４）をチャンネル（１３）を介してテレビレシーバ（１５）に送信するよう意図されている。このテレビレシーバ（１５）は復号されたデジタル画像を表示するように意図されている。修正若しくは後処理デバイス（１６）は、信号の符号化前に行われる信号の前処理とは対象区別して、画面（１７）上の表示に関してデジタル画像の視覚的品質を向上する。後処理デバイスは、点線で描いたようにビデオデコーダの出力または実線で描いたようにテレビレシーバの入力のいずれかに置かれる。

第１の実施形態において、後処理方法はテレビレシーバに実装されている。よって、図２に示したピクセル後処理方法は次のステップを有する：
−最初に、復号された画像（１４）内の自然輪郭に属するピクセルを検出するステップ（２００）。この目的のため、検出ステップは、好ましくは二次元ソーベルフィルター（横方向フィルターShおよび縦方向フィルターSv）を用いたグラディエントフィルタリングGF（２０１）に基づく。しかし当業者には、自然輪郭を検出するために他のグラディエントフィルターを用いることができることは明らかであろう。使用するソーベルフィルターは以下の通りである。

ソーベルフィルターは画像のピクセルの輝度成分Yに適用される。検出ステップの結果、横方向のフィルターがかけられたデータGh=Y*Sh、および縦方向のフィルターがかけられたデータGv=Y*Svが得られる。

次に、閾値THR（２０２）をフィルターされたピクセルの２つのマップの各々に適用する。フィルターされた輝度値の合計G(i, j)＝Gh(i, j)²+Gv(i, j)²が所定の閾値T1より大きいピクセルp(i, j)は、最終値１をもつ。すなわち、自然輪郭ピクセル（２０）であるとして検出される。他のピクセルは値０をもつ。所定の閾値T1は好ましくはテストされたある数のデジタル画像のシーケンスから絶対的なやり方で決められた経験値であり、０と２５５の間の輝度値に対し例えば１２０００である。この閾値は次のようにさらに精密にすることができる。

であるとき、ピクセルを自然輪郭ピクセルとして検出する。

所定の閾値は、相対的なやり方で、計算方法がより複雑なT2に等しいと決定することができる。

ここで、ｎは画像のライン数、ｍは画像の列数である。

また、検出ステップで、このように検出された自然輪郭ピクセルの環境を考慮することができる。よって、もし上記のピクセルを囲む８つのピクセルを含む近傍が他の自然輪郭ピクセルを含まないとき、上記ピクセルは自然輪郭ピクセルであるとされないような、精密化サブステップを有する。よって、孤立した自然輪郭ピクセルは真の自然輪郭ピクセル（２０）であるとは考えない。

−後処理方法は、符号化ブロックに対応する調査ゾーン（２１）を検出するステップ（２１０）も有している。テレビレシーバにおいて、復号に関する情報にアクセスすることはできない。それゆえ、符号化ブロックに対応する調査ゾーンの位置とサイズを決定するため、少なくとも１つの画像のコンテントを分析する必要がある。MPEG標準の場合、上記のブロックは一般的に８ライン・８ピクセルを含むが、MPEG標準により許容されている主要な再サンプリングフォーマットによる８ラインに１０・１２・１６ピクセルのサイズをとると仮定して、復号中に再サンプリングした後に調査ゾーンのサイズを変えても良い。他のフォーマットを斟酌するためには、以下に説明する方法を簡単な修正を加えればよい。

調査ゾーンを検出するステップは、好ましくは国際特許出願WO 01/20912（内部参照番号：PHF99579）に記載した方法に基づく。調査ゾーンを検出するステップは、シーケンス中のデジタル画像またはその一部の輝度ピクセルy(i, j)の横方向および縦方向グラディエントフィルタリングサブステップGF（２１１）を有する。ここで、iとjは画像中のピクセルの位置に対応する。グラディエントフィルタリングステップでは、例えば前述のソーベルフィルターを使用する。横方向にフィルターをかけたピクセルのテーブルxh(i, j)と縦方向にフィルターをかけたピクセルのテーブルxv(i, j)が得られる。この絶対値ABS（２１２）を取ってxah(i, j)とxav(i, j)を得る。

調査ゾーン検出ステップは、ブロック化アーティファクトBAD（２１３）を検出するサブステップも有する。

であるとき、縦方向ブロック化アーティファクトが検出される。

同様に、

であるとき、横方向ブロック化アーティファクトが検出される。

分析ステップSCAN（２１４）において、符号化ブロックに対応する調査ゾーンのサイズと位置が決定される。

この目的のため、コラムjで縦方向のブロック化アーティファクトが検出されたとき、8・10・12値を含む３つのベクトルvTab8・vTab10・vTab12の値vTab8(j%8)、vTab10(j%10)、vTab12(j%12)はインクリメントされる。ここで、a%bまたはa modulo bはaをbで割った余りをその結果として与える演算である。同様に、ラインiで横方向のブロック化アーティファクトが検出されたとき、８値を含むベクトルhTabの値hTab(i%8)がインクリメントされる。

並行して調査ゾーンのサイズを決めるために、一般カウンタが作られ、画像またはその一部の各ピクセルの読みでインクリメントされる。縦方向ブロック化アーティファクトが検出されたとき、そのカウンタは０に設定される。決定の原理は、カレントの縦方向ブロック化アーティファクトが8・10・12ピクセルの最後のブロック化アーティファクトから離れているかどうかを知ることである。よって、２つの縦方向ブロック化アーティファクトの間の一般カウンタの値が8・10・12と等しいとき、8・10・12ピクセルの調査ゾーンの幅にそれぞれ関係するカウンタgrid8、grid10、grid12のうち１つがインクリメントされる。調査ゾーンの幅kは最大値をもつカウンタに対応する。

この表示は３つの可能なベクトルの中から考慮すべきベクトルvTabk（k=8、10、12）を与え、調査ゾーンの原点はベクトルhTabとvTabの最大値を求めることにより決定される。

調査ゾーンを検出する他の方法には、例えば欧州特許出願n⁰ 1202577（内部参照番号：PHFR000106）に記載したものがある。

−後処理方法はフィルタリング決定ステップ（２２０）を有する：カレントピクセルが自然輪郭ピクセルであるとして検出されなかったときにのみ、そして少なくとも１つの自然輪郭ピクセルを含む調査ゾーンに属するとき、そのカレントピクセルはフィルターされる。

−最後に、当該後処理方法はフィルタリングステップ（２３０）を含む：上記の基準を満たすピクセルがフィルタリングされる。このフィルタリングは好ましくはメディアンフィルタリングである。平均フィルタリングを使用することも可能である。

このメディアンフィルタリングはカレントピクセルをその周囲のピクセルと置き換えることができる。カレントピクセルの周辺には、図３に示した一組のピクセルの中のあるピクセルを含み、当該カレントピクセル（３０）と、それに隣接する東（３１）・北（３２）・西（３３）・南（３４）のピクセルを含む。

もし、この周辺のピクセルのいずれもが自然輪郭ピクセルでないとき、カレントピクセルの値Y0は、その値が周辺に含まれる当該カレントピクセル・東・北・西・南の５つの輝度値のメディアンMEDであるピクセルと置き換えられる。

しかし、このメディアン値MEDがカレントピクセルの値Y0と所定の閾値より小さい値Dmaxだけ異なるときにしか、上記の置き換えはなされない。その所定の閾値は、例えば、輝度値が0と255の間であるとき、言い換えると
Abs(MED-Y0)<Dmax、Abs(x)はxの絶対値を与える関数
であるとき、４０に等しい。上記のフィルタリングにより、間違った修正がされることを防げる。

逆の場合、カレントピクセルの値Y0は、方法の複雑性を減らすため好ましくは変更されない。それにもかかわらず、国際特許出願WO 2001/24115に説明されているように、カレントピクセルに隣接する東・北・西・南ピクセルが自然輪郭ピクセルであるか否かにより、カレントピクセルとそれに隣接する東・北・西・南ピクセルのいくつかの集合のメディアンフィルタリングを選ぶことを考えることもできる。

第２の実施形態において、後処理方法はビデオデコーダに実装される。前述したテレビレシーバにおける実施形態と比較して、デコーダでアクセス可能な復号情報を用いることにより向上および単純化可能である。当該後処理方法は以下のステップを含む：
−画像内部の自然輪郭に属するピクセルを検出するステップ（２００）。第１の実施形態と同様に、この自然輪郭検出ステップは、ソーベルフィルターShおよびSvの使用に基づく。この第２の実施形態において、テストしたある数のデジタル画像のシーケンスから絶対的なやり方で決定された所定の閾値T1は20000に等しい。

また、ピクセルの色差成分は輝度成分に加えて考慮される。この目的のため、自然輪郭検出は画像のピクセルの色差値に直接適用されるが、輝度値から次のように求められる。図４には、４つの輝度サンプルYに対して色差サンプルUとVがある4:2:0の画像フォーマットの場合が示されている。よって、色差UまたはV（４２）の値A（４７）は、輝度（４１）に適用されたピクセル検出ステップ（２００）から求められる対応する４つの最終値a（４３）、b（４４）、c（４５）、d（４６）から次のように導き出される：
A=aORbORcORd
ここで、自然輪郭のピクセルについてa、b、c、d=1、それ以外のとき0である。

対応する４つの輝度サンプルの少なくとも１つが自然輪郭ピクセルであるとき、色差サンプルは自然輪郭に属するサンプルである。

以下のステップは輝度成分と色差成分とに共通である：
−符号化ブロックに対応する調査ゾーン（２１）を検出するステップ（２１０）。ビデオデコーダ側においては、符号化ブロックに直接アクセス可能なので、このステップは容易に実行される。それゆえ、グラディエントフィルタリングGF（２１１）、絶対値の計算（２１２）、ブロック化アーティファクトの検出（２１３）、および分析（２１４）のステップはもはや必要ない。

−フィルタリング決定ステップ（２２０）：少なくとも１つの自然輪郭ピクセルを含む調査ゾーンに属するが、自然輪郭ピクセルではないすべてのピクセルがフィルターされることを意図している。

−フィルタリングステップ（２３０）：フィルタされるべきピクセルがフィルタリングされる。好ましくはメディアンフィルタリングである。このフィルタリングはフィルタされるべきピクセルが属する符号化ブロックの数量化ステップQPに依存する。

数量化ステップQPが第１の所定値Q1より小さければ、フィルタリングは実行されず、符号化の品質は十分であると判断される。

数量化ステップQPが第１の所定値Q1以上であり、第２の所定値Q2以下であるとき、第１の実施形態で説明したものと同じメディアンフィルタリングが適用される。

数量化ステップQPが第２の所定値Q2より厳密に大きければ、強い訂正を適用しなければならない。この目的のため、カレントピクセルとそれに隣接した東・北・西・南ピクセルを含む１組のピクセルの値を用いて、平均フィルタリングを適用する。

それゆえ、そのピクセルが自然輪郭ピクセルでないとき、その輝度値Y0は平均値Ymean：
Ymean=1/5*(Y0+Y1+Y2+Y3+Y4)
で置き換えられる。ここで、
−東ピクセルが輪郭ピクセルでないときY1=Y（東）、それ以外のときY1=Y0、
−北ピクセルが輪郭ピクセルでないときY2=Y（北）、それ以外のときY2=Y0、
−西ピクセルが輪郭ピクセルでないときY3=Y（西）、それ以外のときY3=Y0、
−南ピクセルが輪郭ピクセルでないときY4=Y（南）、それ以外のときY4=Y0、
MPEG-4標準の場合、数量化ステップが１と３１の間のとき、Q1とQ2はそれぞれ５から２０の間で経験的にあらかじめ決定される値である。

本発明による後処理方法を好適にプログラムされたビデオデコーダ回路またはテレビレシーバ回路により実施することが可能である。プログラムメモリに入れられたコンピュータプログラムは、前記回路に図２を参照して説明した様々な動作を実行させることができる。前記コンピュータプログラムは、プログラムが入ったディスク等のデータ媒体を読むことにより、プログラムメモリにロードすることができる。インターネット等の通信ネットワークによっても読み出すことができる。この場合、サービスプロバイダがコンピュータプログラムをダウンロード可能な信号の形態で需要者に利用可能とする。

この説明中の括弧内の参照符号は限定的に解釈してはいけない。動詞「有する」とその変化形は広く解釈すべきである。すなわち、この動詞の前にリストされた構成要素またはステップ以外の構成要素またはステップだけでなく、この動詞の前にリストされ「１つの」という言葉がふされた構成要素またはステップが複数あることも排除するものではない。

デジタルビデオ信号を処理する一連の手段の機能を示す図である。 本発明によるピクセル後処理方法の模式図である。 フィルターされるカレントピクセルの周囲を示す図である。 自然輪郭に属する色調サンプルの輝度サンプルからの検出を示す図である。

Claims (11)

1. 画像内の自然輪郭線に属するピクセルを検出するステップと、
   ピクセルフィルタリングステップと
   を有する、デジタル画像のシーケンス中のピクセルを後処理する方法であって、
   符号化ブロックに対応する調査ゾーンを検出するステップをさらに有し、カレントピクセルが自然輪郭ピクセルとして検出されておらず、少なくとも１つの自然輪郭ピクセルを含む調査ゾーンに属しているとき、前記カレントピクセルがフィルターされることを特徴とする方法。
2. 請求項１に記載の後処理方法であって、
   前記フィルタリングステップはカレントピクセルを前記カレントピクセルおよび前記カレントピクセルを囲むピクセルを含む集合からとった１つのピクセルで代替可能なメディアンフィルタを使用可能であることを特徴とする方法。
3. 請求項２に記載の後処理方法であって、
   前記ピクセルの集合のメディアン値が前記カレントピクセルの値と所定の閾値より小さい値だけ異なるときにのみ代替することを特徴とする方法。
4. 請求項１に記載の後処理方法であって、
   前記検出ステップは、ソーベルタイプのフィルターを用いたグラディエントフィルタリングに基づくことを特徴とする方法。
5. 請求項１に記載の後処理方法であって、
   前記自然輪郭検出ステップは、自然輪郭ピクセルであるとして検出されたピクセルを囲むピクセルを含む周囲が他の自然輪郭ピクセルを含まないとき、前記ピクセルが自然輪郭ピクセルであるとされないような精密化ステップを有することを特徴とする方法。
6. 請求項１に記載の後処理方法であって、
   前記対応する符号化ブロックの数量化ステップが所定値より大きいときにのみ、前記フィルタリングステップが調査ゾーン中のピクセルに適用されることを特徴とする方法。
7. 復号デジタル画像を提供することを意図した復号方法であって、
   後処理されたデジタル画像を提供するように復号デジタル画像を後処理するための請求項１に記載された後処理方法を有する方法。
8. 画像内の自然輪郭に属するピクセルを検出する手段と、
   ピクセルフィルタリング手段とを有する、
   デジタル画像のシーケンス中のピクセルを後処理するデバイスであって、
   符号化ブロックに対応する調査ゾーンを検出する手段をさらに有し、カレントピクセルが自然輪郭ピクセルとして検出されておらず、少なくとも１つの自然輪郭ピクセルを含む調査ゾーンに属しているとき、前記カレントピクセルがフィルターされるように前記フィルタリング手段が構成されていることを特徴とする方法。
9. 復号デジタル画像を提供できるビデオデコーダであって、
   後処理されたデジタル画像を提供するように復号デジタル画像を後処理できる、請求項８に記載の後処理デバイスを含むことを特徴とするビデオデコーダ。
10. デジタル画像を受信できるテレビレシーバであって、
    当該テレビレシーバの画面に後処理されたデジタル画像を表示するようにデジタル画像を後処理できる、請求項８に記載の後処理デバイスを含むことを特徴とするテレビレシーバ。
11. 回路にロードされた時、請求項１に記載のデジタル画像後処理方法を前記回路に実行させる一組の命令を含むコンピュータプログラム。

Images