JP2004531161A - ディジタルビデオ信号を処理する方法及び復号器 - Google Patents

Abstract

本発明は、ディジタルビデオ信号を処理する方法に関連し、前記ビデオ信号は画像のシーケンスを表す。これは、：−現在の画像（Ｉ（ｔ））内の動き画素を検出するステップと、−第１の組の係数（Ｍｃｓ，Ｍｕ，Ｍｄ）を空間メディアンフィルタリングするサブステップと第２の組の係数（Ｍｃｔ，Ｍｐ，Ｍｎ）を時間メディアンフィルタリングするサブステップを通して、現在の画像の変換されたブロック（Ｂｃ）をメディアンフィルタリングするステップと、−フィルタされたブロックから逆変換されたブロックを計算するステップと、−前記検出された動き画素により逆変換されたブロック内の画素を置き換えるステップと、を有することを特徴とする。

Description

【０００１】
発明の分野
本発明は、ディジタルビデオ信号を処理する方法に関連し、前記ビデオ信号は画像のシーケンスを表す。本発明は、復号器にも関連し、前記復号器は、前記方法を実行する。
【０００２】
そのような方法は、例えば、ビデオ通信システムで使用され得る。
【０００３】
発明の背景
例えば、テレビジョン通信システムのようなビデオ通信システムは、典型的には、符号化器、伝送媒体及び復号器を有する。そのようなシステムは、入力ビデオ信号を受信し、符号化器により前記信号を符号化し、符号化された信号を伝送媒体を介して伝送し、そして、復号器により伝送された信号を復号し又は再構成し、出力ビデオ信号となる。ビデオ信号は所定の数の画像を表し、１つの画像は時間スロットｔに関連している。
【０００４】
ビデオ信号を伝送する前に、ビデオ通信システムは、ビデオ圧縮処理を含む。そのようなビデオ圧縮処理は、しばしば、より多くのビデオ信号を伝送するために低ビットレートで実行される。それは、ビデオ信号の画像に大きな歪み、特に、ブロッキング効果（タイル化効果の状況）、リンギング（ゴーストの状況）又は、モスキート雑音（飛んでいる蚊の群れの状況、即ち、フリッカリング効果）のような視覚アーティファクトを、を発生する。Ｆ．Ｘ Ｃｏｕｄｏｕｘ，Ｍ．Ｇａｚａｌｅｔ及びＰ．Ｃｏｒｌａｙにより書かれた、２００１年4月２３−２７の画像符号化シンポジウムでの、”低ビットレートビデオで時間的な仕事を減少させる適応ポストプロセッサ（Ａｄａｐｔｉｖｅ Ｐｏｓｔｐｒｏｃｅｓｓｏｒ ｔｏ ｒｅｄｕｃｅ Ｔｅｍｐｏｒａｌ Ｂｕｓｉｎｅｓｓ ｉｎ Ｌｏｗ Ｂｉｔ Ｒａｔｅ Ｖｉｄｅｏ）”に記載のように、モスキート雑音を減少させる解決方法は、前記伝送されたビデオ信号に対応する画像内で、エッジブロックから非エッジブロックを分離することであり、前記画像は、当業者には良く知られた、ＤＣＴブロックと呼ばれるブロックを有する。この解決方法は、非エッジブロックに、時間ＤＣＴメディアンフィルタリングを適用する。前記時間メディアンフィルタリングは、
− 前記画像内の不連続性を捜すために、それぞれ、３つの連続する画像の３つのＤＣＴブロックのＡＣ係数間の時間グラディエントを計算するステップと、
− しきい値により、速い動きの物体のような、突然の時間的な変化を捜すステップと、
− 局所的な不連続性があり且つ突然の変化ない場合には、前記ブロックに時間メディアンフィルタリングを適用するステップと、
を有する。
【０００５】
この解決方法の1つの問題は、前記伝送されたビデオ信号の画像内の非エッジブロックに関するモスキート雑音のみを減少し、一方、モスキート雑音は、エッジブロックにも出現するということである。
【０００６】
本発明の目的と概要
従って、本発明の目的は、ディジタルビデオ信号を処理する方法及び復号器を提供することであり、前記ビデオ信号は画像のシーケンスを表し、これは、前記ビデオ信号に対応する全体画像内のモスキート雑音をより良く減少させることを可能とする。
【０００７】
このために、本発明は、
− 現在の画像内の動き画素を検出するステップを有し、
− 変換されたブロックを提供するために、前記現在の画像のブロックについて離散周波数変換を計算するステップを有し、
− 現在の変換されたブロックをメディアンフィルタリングするステップを有し、前記フィルタリングは、
− 現在の変換されたブロックと隣接する変換ブロックに属する第１の組の係数を空間メディアンフィルタリングするサブステップと、
− 現在の変換されたブロックと前及び後続の画像の対応するブロックに属する第２の組の係数を時間メディアンフィルタリングするサブステップと、
を有し、
− 逆変換ブロックを供給するために、フィルタされた変換されたブロックについて逆離散周波数変換を計算するステップを有し、
− 前記検出された動き画素により前記逆変換されたブロック内の画素を置き換えるステップと、
を有する方法を提供する。
【０００８】
更に、本発明は、
− 現在の画像内の動き画素を検出するように適応される動き検出手段を有し、
− 変換されたブロックを提供するために、前記現在の画像のブロックについて離散周波数変換を計算するように適応される離散周波数計算手段を有し、
− 変換されたブロックをフィルタするように適応されるメディアンフィルタ手段を有し、前記フィルタは、
− 現在の変換ブロックと隣接する変換ブロックに属する第１の組の係数をフィルタするように適応される空間メディアンサブフィルタと、
− 現在の変換されたブロックと前及び後続の画像の対応するブロックに属する第２の組の係数をフィルタするように適応される時間メディアンサブフィルタと、
を有し、
− フィルタされた変換されたブロックについて逆周波数変換を計算し、且つ、逆変換されたブロックを供給するように適応される、逆周波数計算手段を有し、
− 前記検出された動き画素により前記逆変換されたブロック内の画素を置き換えるように適応される置き換え手段と、
を有する復号器を提供する。
【０００９】
以下に詳細に説明するように、そのような方法は、一方では、モスキート雑音の効率的な減少を、そして他方では、特に空間フィルタリングと時間フィルタリングにより、時間的な一貫性と呼ばれる同質の画像を可能とする。更に、これは不鮮明な画像を導くので、フィルタリングが、ビデオ信号に対応する画像の動き画素に行われない。
【００１０】
本発明の追加の目的、特徴及び利点は、添付の図面を参照して、以下の詳細な説明を読めば、明らかとなろう。
【００１１】
発明の詳細な説明
以下の記載では、当業者に良く知られた機能と構成は、不必要に詳細に本発明を曖昧にするので、詳細には記載されない。
【００１２】
本発明は、ビデオ信号内の歪みを減少させる方法に関連し、前記ビデオ信号は画像のシーケンスを表し、画像Ｉ（ｔ）は時間スロットｔに関連している。そのようなビデオ信号ＶＳは、例えば、テレビジョンに供給される。前記方法は、特に、図１に示されたように、ビデオ通信システムＳＹＳ内の、復号器Ｓ＿ＤＥＣで、使用される。
【００１３】
伝送媒体ＣＨを通してあるビデオ信号を効率的に伝送するために、前記ビデオ通信システムＳＹＳは、ビデオ圧縮処理を有し、これは、符号化器Ｓ＿ＥＮＣを通してビデオ信号ＶＳを符号化する間にそして、復号器Ｓ＿ＤＥＣを介してを復号する間に適用される。圧縮システムによって、ブロッキング効果、リンギング又はモスキート雑音のような歪みは、ビデオ信号の画像内に現れる。
【００１４】
これらの歪みをそして、特にモスキート雑音を減少させるために、図２に示された復号器Ｓ＿ＤＥＣは、
− 現在の画像Ｉ（ｔ）内の動き画素を検出するように適応される動き検出手段ＭＶＴ＿Ｄを有し、
− 変換されたブロックを提供するために、前記現在の画像Ｉ（ｔ）のブロックについて離散周波数変換を計算するように適応される離散周波数計算手段ＤＣＴ＿Ｔを有し、
− 変換されたブロックＢｃをフィルタするように適応されるメディアンフィルタ手段ＤＣＴ＿Ｆを有し、前記フィルタは、
− 現在の変換ブロックＢｃと隣接する変換ブロックＢｕ，Ｂｄに属する第１の組の係数Ｍｃｓ，Ｍｕ，Ｍｄをフィルタするように適応される空間メディアンサブフィルタＳＰＡＴＩＡＬ＿Ｆと、
− 現在の変換されたブロックＢｃと前及び後続の画像Ｂｐ，Ｂｎの対応するブロックに属する第２の組の係数Ｍｃｔ，Ｍｐ，Ｍｎをフィルタするように適応される時間メディアンサブフィルタＴＥＭＰ＿Ｆと、
を有し、
− フィルタされた変換されたブロックについて逆周波数変換を計算し、且つ、逆変換されたブロックを供給するように適応される、逆周波数計算手段ＩＤＣＴ＿Ｔを有し、
− 前記検出された動き画素により前記逆変換されたブロック内の画素を置き換えるように適応される置き換え手段ＲＥＰＬ＿Ｍと、
を有する。
【００１５】
このために、復号後に且つ対応する画像をスクリーン上に丁度表示する前に、以下の処理が、ビデオ信号ＶＳの画像に適用される。
【００１６】
画像は１フィールド又は２フィールドを含むことに注意する。後者の場合には、各フィールドは、一般的には、欧州テレビジョン解像度フルフォーマットでは、Ｎ＝２０７３６０画素を有し、これは、５０Ｈｚに対応する７２０画素／ライン＊５７６ラインの半分に等しい。
【００１７】
時間スロットｔでの画像Ｉ（ｔ）は、現在の画像と呼ばれる。
【００１８】
時間スロットｔで、ビデオ信号ＶＳの現在の画像Ｉ（ｔ）内の動き画素を検出する第１のステップ１）が、実行される。このステップは、画像の画素の動きと非動き領域の間の区別を可能とする。
【００１９】
図３に示されているように、動き画素の検出は、２つのフィールドの画像差に基づいている。第１の画像差は、それぞれ、現在の画像Ｉ（ｔ）と前の画像Ｉ（ｔ−１）に属する、現在のフィールドＣＵＲ＿Ｆ（ｋ）（ｔ）と前のフィールドＰＲＥＶ＿Ｆ（ｋ）（ｔ−１）の間で計算される。２つの画像は連続している。２つのフィールドを含む画像の場合には、現在と前のフィールドは、同じパリティｋ（即ち、トップ又はボトム）を有する。第２の画像差は、それぞれ、現在の画像Ｉ（ｔ）と後続の画像Ｉ（ｔ＋１）に属する、現在のフィールドＣＵＲ＿Ｆ（ｋ）（ｔ）と後続フィールドＮＥＸＴ＿Ｆ（ｋ）（ｔ＋１）の間で計算される。２つの画像は連続している。２つのフィールドを含む画像の場合には、現在と後続のフィールドは、同じパリティｋを有する。
【００２０】
画像差は、動き画像を与え、その画素は輝度及びクロミナンス成分により特徴化される。前記画像差の前記画素成分へのフィルタリングが、実行される。前記フィルタリングは、第１の平均フィルタリングと第２の低域通過フィルタリングより構成されるのが好ましい。
【００２１】
従って、第１の非限定的な実施例では、第１の平均フィルタＬＰＦ１は、前記動き画像に適用される。それは、動き画像の輝度成分とクロミナンス成分に別々に適用されるのが好ましい。前記第１のフィルタＬＰＦ１は、輝度とクロミナンス成分について次のように定義されるのが好ましい。
【００２２】
輝度
１ １ １
１ １ １
クロミナンス
１ ０ １
１ ０ １
第１のフィルタＬＰＦ１は、輝度成分のみに適用されるが、しかしより低い性能を達成することに注意する。
【００２３】
この第１のフィルタＬＰＦ１は、高雑音低減を達成する利点を有する、確かに、それは、雑音が動き領域として間違って解釈されうる、動き検出手段ＭＶＴ＿Ｄの雑音感度を減少させる。
【００２４】
動き検出手段は画像差のみに依存するので、各輝度及びクロミナンス成分の絶対値ＡＢＳが計算される。
【００２５】
ｂ）続いて、第２の低域通過フィルタＬＰＦ２が、現在と前の又は後続の画像の間の、（第１のフィルタＬＰＦ１のみでは動きから区別できない雑音より構成される）スイッチングアーティファクトを抑圧するために使用される。更に、これらの画像間の滑らかなフェーディングを保証する。
【００２６】
それは動き画像の輝度及びクロミナンス成分の絶対値ＡＢＳの両方にすぐに適用されるのが好ましい。前記第２のフィルタは、輝度及びクロミナンス成分について次のように定義されるのが好ましい。
【００２７】
１ ２ １
１ ２ １
この第２のフィルタＬＰＦ２は、特に平均フィルタ以上のものであることに注意する。
【００２８】
これらの２つのフィルタは、フィルタされた値ＶＦ＿ＰＩＸが、動き画像の画素の各輝度及びクロミナンス成分について得られることを可能とする。動き及び非動き画素は、しきい値ＴＨにより区別又は識別され：画素の１つのフィルタ値ＶＦ＿ＰＩＸがしきい値ＴＨよりも大きいときに、画素は動き画素ＭＶＴ＿ＰＩＸであると考えられる。他の場合には、画素は、非動き画素ＮＯ＿ＭＶＴ＿ＰＩＸであると考えられる。しきい値ＴＨは、２００に設定されるそして少なくとも２５０までに設定されうるのが好ましく、これは、同種の性能がそれらの値に対して達成されるためである。
【００２９】
動きＭＶＴ＿ＰＩＸと非動きＮＯ＿ＭＶＴ＿ＰＩＸ画素は、更なる処理のために、動き検出器ＭＶＴ＿ＤのメモリＭＥＭに記憶される。
【００３０】
上述の全てのフィルタリング動作は、前のＰＲＥＶ＿ＦＩＥＬＤ（ｋ）（ｔ−１）と後続のＮＥＸＴ＿ＦＩＥＬＤ（ｋ）（ｔ＋１）とともに計算された２つの画像差に関して実行されるのが好ましいことに注意する。２つの画像差の１つの画素のフィルタされた値ＶＦ＿ＰＸの少なくとも１つが、しきい値ＴＨよりも大きい場合には、対応する画素は、動き画素であると考えられる。
【００３１】
好ましくは、８＊８ブロック内の動き画素ＭＶＴ＿ＰＩＸの数はカウントされる。この数が第２のしきい値ＴＨ２よりも大きい場合には、このブロックは、”動きブロック”でありそして、メディアンフィルタリングをそれに実行する価値はない。従って、離散周波数変換とメディアンフィルタリングは、これらの”動きブロック”には行われない。第２のしきい値ＴＨ２は、５に設定されるのが好ましい。
【００３２】
動き検出器ＭＶＴ＿Ｄは、シーンが連続する画面である、シーンの突然の時間変化の検出も可能とすることに注意する。この場合には、フィルタリングは実行されない。
【００３３】
好ましい第２の非限定的な実施例では、低域通過フィルタＬＰＦ１とＬＰＦ２は連続して適用される。この結果、それらの係数は１つの２次元フィルタのみとなるように結合されることが可能である。このアプローチでは、メモリ容量とメモリ帯域幅が節約される。その後に、輝度及びクロミナンス成分の絶対値ＡＢＳが計算される。最後に絶対値を計算することにより、それは全ての計算の複雑さを減少するという利点を与える。
【００３４】
第２のステップ２）では、変換されたブロックを供給するために、ビデオ信号ＶＳの前記現在の画像Ｉ（ｔ）について離散周波数変換が計算される。ＤＣＴと呼ばれる前記離散周波数変換は、周波数領域で動作することを可能とする。それは、当業者には良く知られており、そして、従って、ここでは説明しない。
【００３５】
通常は、画像のフィールドは、例えば、ＭＰＥＧフォーマットについての８＊８画素のブロックに分割される。離散周波数変換は、これらのブロックの各々に適用される。前記変換は、６４の係数の変換されたブロックを供給し、１つはＤＣ係数と呼ばれそして、６３個はＡＣ係数と呼ばれ、１つの係数ＡＣは１つの周波数を表す。
【００３６】
画像は、２つのサブ画像：輝度サブ画像及びクロミナンスサブ画像より構成されることに注意する。好ましい実施例では、第２のステップと後続のステップは、輝度サブ画像について実行され、それにより、この実施例では、係数ＤＣは、ブロックの平均の輝度を示す。この実施例は、フィルタリングに関してよりよい性能の利点を有する。
【００３７】
他の実施例では、第２のステップと後続のステップは、２つのサブ画像又は、クロミナンスサブ画像のみについて実行されることに注意する。
【００３８】
第３のステップ３）では、前記変換されたブロックに関して、次のように、メディアンフィルタリングが実行される。
【００３９】
フィルタリングステップは、空間メディアンフィルタリングの第１のサブステップと、時間メディアンフィルタリングの第２のサブステップを有する。前記フィルタリングは、現在の画像Ｉ（ｔ）の現在のフィールドＣＵＲ＿Ｆ（ｋ）（ｔ）と、この現在のフィールド内の現在のブロックＢｃと呼ばれる第１の変換されたブロックに次のように適用される。
【００４０】
図４ａに示されたように、現在の変換されたブロックＢｃと隣接するブロックＢｕ，Ｂｄに属する第１の組の係数が、空間メディアンサブステップ３ａ）でフィルタされる。空間メディアンＭ１’は、前記第１の組の係数から計算される。
【００４１】
好ましい実施例では、３つの係数Ｍｃｓ，Ｍｕ，Ｍｄが空間メディアンＭ１’を計算するのに使用され、これらの係数は、それぞれ、現在の変換されたブロックＢｃ、現在のブロックＢｃの丁度下のブロックＢｄと丁度上のブロックＢｕに属する。性能とコストの間の効率的なトレードオフが、達成される。
【００４２】
隣接するブロックは、左のブロックＢｌと右のブロックＢｒでもよいが、しかし効率的でないことに注意する。
【００４３】
更に多くの係数とブロックが使用されることが可能であるが、しかし計算コストは、特に３つの係数より増加することに注意する。
【００４４】
この第１の組の係数の全ての係数は、それぞれの変換されたブロック内で同じ位置を有することに注意する。
【００４５】
続いて、現在のブロックＢｃに属する現在の空間係数Ｍｃｓは、現在の変換されたブロックＢｃの空間メディアンＭ１’により置きかえられる。空間メディアンフィルタリングは、同質の隣接ブロックを与えるという優位点を有する。確かに、この空間フィルタリング無しでは、２つの隣接するブロックは、例えば、これは画像内の空であるが、２つの異なる色を有しうる。これゆえに、空は、不均一である。更に、前記空間フィルタリングは、画像に影響する多くの雑音を取り除くことを可能とする。
【００４６】
図４ｂに示されたように、現在の変換されたブロックＢｃと、前及び後続の画像の対応するブロックＢｐ，Ｂｎに属する第２の組の係数は、第２の時間サブステップ３ｂ）でフィルタされる。時間メディアンＭ１”は、前記第２の組の係数から最初に計算される。
【００４７】
好ましい実施例では、３つの係数Ｍｃｔ，Ｍｐ，Ｍｎは、時間メディアンＭ１”を計算するのに使用され、これらの係数は、それぞれ、現在の変換されたブロックＢｃ、前の変換されたブロックＢｐ及び後続の変換されたブロックＢｎに属し、これらのブロックＢｐ及びＢｎは丁度前のＩ（ｔ−１）と丁度後続のＩ（ｔ＋１）画像に属する。
【００４８】
性能とコストの効果的なトレードオフが達成される。
【００４９】
全ての係数は、それぞれの変換されたブロック内で同じ位置を有することに注意する。このようでない場合には、画像は不鮮明となる。
【００５０】
続いて、現在のブロックの現在の時間係数Ｍｃｔは、現在の変換ブロックの時間メディアンＭ１”により置きかえられる。
【００５１】
時間フィルタリングは、２つの時間スロットｔ内の２つの連続するブロックの間のフリッカリング効果を避ける利点を有する。確かに、このフィルタリング無しでは、２つの連続するブロックは、例えばこれは画像内の空を表すが、２つの異なる色を有しうる。それゆえ空はちらつく。
【００５２】
２つのフィールドを含む画像Ｉ（ｔ）の場合には、第１、前及び後続の変換されたブロックは、３つのフィールド（現在ＣＵＲ＿Ｆ（ｋ）（ｔ），前ＰＲＥＶ＿Ｆ（ｋ）（ｔ−１），及び後続ＮＥＸＴ＿Ｆ（ｋ）（ｔ＋１））にそれぞれ属し、これは、同じパリティｋを有する。それゆえに、同じ位置の画素が、選択される。例えば、フィルタリングは、トップパリティフィールドで開始する。他の場合には、画像は、不鮮明になる。
【００５３】
このメディアンフィルタリングについて使用される係数Ｍは、ＤＣ係数とＡＣ係数である。
【００５４】
第１の実施例では、時間メディアンフィルタリングのサブステップは、空間メディアンフィルタリングのサブステップの前に実行され、前記空間サブステップの現在の空間係数Ｍｃｓは、前記時間サブステップで計算された時間メディアンＭ１”となる。この第１の実施例では、以下の式：
Ｍ１’＝ｍｅｄｉａｎ（ｍｅｄｉａｎ（Ｍｃｔ，Ｍｐ，Ｍｎ），Ｍｕ，Ｍｄ）
を有する。
【００５５】
図５に示されたように、例えば、Ｍｕ＝１５，Ｍｄ＝１６及びＭｃｔ＝１９，Ｍｐ＝１２及びＭｎ＝１７である。従って、時間メディアンＭ１”は、Ｍ１”＝ｍｅｄｉａｎ（１９，１２，１７）＝１７である。現在の時間係数Ｍｃｔは、時間メディアンＭ１”となる。そして、第１のメディアンＭ１’が計算される。Ｍ１’＝ｍｅｄｉａｎ（１７，１５，１６）＝１６である。
【００５６】
好ましい第２の実施例の場合には、空間フィルタリングのサブステップは、時間フィルタリングのサブステップの前に実行されそして、前記時間サブステップの現在の時間係数Ｍｃｔは、前記空間サブステップで計算される空間メディアンＭ１’となる。従って、以下の式を有する：Ｍ１”＝ｍｅｄｉａｎ（ｍｅｄｉａｎ（Ｍｃｓ，Ｍｕ，Ｍｄ），Ｍｐ，Ｍｎ）。図６に示されたように、例えば、Ｍｃｓ＝１０，Ｍｕ＝１６，Ｍｄ＝１５及びＭｐ＝１２及びＭｎ＝１１である。従って、空間メディアンＭ１’は最初に計算される。Ｍ１’＝ｍｅｄｉａｎ（１０，１６，１５）＝１５である。現在の時間係数Ｍｃｔは、空間メディアンＭ１’となる。そして、時間メディアンＭ１”が計算される。Ｍ１”＝ｍｅｄｉａｎ（１５，１２，１１）＝１２である。
【００５７】
第２の実施例は、時間フィルタリングに関して、第１の実施例よりも、よりよい性能を達成し、そして、画像のシーケンス内で、よりよい時間的な一貫性を有する。
【００５８】
空間サブステップと時間サブステップは、現在のフィールドＣＵＲ＿Ｆ（ｋ）（ｔ）の左から右へそしてトップからボトムへ変換されたブロック内で各係数Ｍについて実行される。２つのフィールドを有する画像の場合には、それはトップフィールドに対して実行されそして、ボトムフィールドに対して又は逆に実行される。
【００５９】
全ての係数Ｍが１つの画像から他（”時間”又は”空間”画像）へ等しいときに、即ち、１つの画像から他への不連続がない場合にさえも、メディアンは常に計算されることに注意する。確かに、この場合には、メディアンは計算されるときには、係数Ｍは更に変更されずに残る。この結果、変化が無いので、不連続を捜す前の試験を行う必要がない。
【００６０】
メディアン計算の後に、係数Ｍが変更されずに残るかどうかを試験しそして、それが正しい場合には、置き換えを行わないか又は、現在の係数の置き換えを常に行うことができることに注意する。
【００６１】
係数Ｍは、前述のように、ＤＣ係数か又はＡＣ係数のいずれかであることに注意する。画像の平均の輝度を表す、ＤＣ係数のフィルタリングは、例えば、同じシーンの３つの時間画像についての平均の輝度の変化が避けられるという利点を有し、一方、ＡＣ係数のフィルタリングは、強いスパイク雑音をフィルタリングするという利点を有する。
【００６２】
本発明に従った方法は、使用するときの画像の１つの読出し、各画素に対する、空間フィルタリングサブステップとそのすぐ後に続く時間フィルタリングサブステップ及び、第１の実施例についてはその逆、のみを必要とすることに注意する。従って、本発明に従った前記方法は、他の方法よりも高速であり、これは、画像の全ての画素へ空間フィルタリングサブステップと全ての画像へ時間フィルタリングステップを適用することから構成され、前記方法は画像の２つの読出しを必要とする。
【００６３】
第４のステップ４）では、逆変換ブロックを供給するために、前記フィルタされた変換されたブロックＢｃについて逆逆離散周波数変換が計算される。ＩＤＣＴと呼ばれる逆離散周波数変換は、”画素”領域に戻すことを可能とする。前記ＩＤＣＴ変換は、当業者に良く知られており、そして従って、ここでは説明しない。
【００６４】
第５のステップ５）では、前記逆変換されたブロックの画素は、フィルタリングステップを通過しており、メモリＭＥＭに記憶されていた、検出された動き画素ＭＶＴ＿ＰＩＸにより置きかえられる。後者のステップは、対応する画像Ｉ（ｔ）内の動き領域の回復を可能とする。それは、動き画素の時間フィルタリングを避ける。確かに、移動する領域に時間フィルタリングを実行する関心は無く、これは、不鮮明化効果を導くためである。
【００６５】
移動する領域にフィルタリングすることを避ける他の解決方法は、画像の全ての画素にフィルタリングステップを実行する代わりに、非動き画素ＮＯ＿ＭＶＴ＿ＰＩＸにのみフィルタリングステップを実行することあることに注意する。しかしながら、この解決方法は、実行するのが非常に複雑である。
【００６６】
最後に、ビデオ信号ＶＳの画像は、特に符号化前に使用されたビデオ信号に近いビデオ信号を回復するために、後処理される。テレビジョン応用の場合には、対応する画像のシーケンスは、テレビジョンスクリーンに表示される。
【００６７】
結論として、フィルタリングステップにより、本発明に従った方法は、エッジの周りとともに一様な領域の輝度／クロミナンスの変動を減少させる利点を有し画像内のエッジ領域と非エッジ領域の間を区別する必要はない。
【００６８】
更に、例えば、ＭＰＥＧ４又はＭＰＥＧ２ビデオのような低ビットレートについて特に効率的であるが、しかし、任意のビットレートで使用され得る。
【００６９】
本発明に従った方法は、輝度／クロミナンスレベルの完全な離散周波数変換ブロックはちらつきそして、従って、時間フィルタリングはこのフリッカリング効果を減少させる、という認識に基づいていること注意する。これゆえに、前述の画像のシーケンスの時間的な一貫性がある。
【００７０】
本発明は、前述の実施例に限定されず、そして、変形及び修正は添付の請求項に記載の本発明の精神と範囲から離れること無しになされうることに注意する。
【００７１】
本発明は、前述のテレビジョン応用に限定されないことに注意する。本発明は、任意のビットレートの移動又はインターネットを通した、テレビ電話、ビデオ通信のような広範囲のビデオ応用内で使用され得る。
【００７２】
単一のハードウェア又はソフトウェアが幾つかの機能を実行できるとすれば、ハードウェア又はソフトウェア又はその両方のものにより本発明に従った方法の機能を実行する多くの方法があることに注意する。ハードウェア又はソフトウェア又はその両方のものの集合体が機能を実行するということを除外しない。例えば、動き検出ステップは、フィルタリングステップと結合されることが可能であり、これにより、本発明に従った復号方法を修正すること無しに、単一の機能を形成する。
【００７３】
前記ハードウェア又はソフトウェアのものは、例えば、有線電子回路により又は適するプログラムされた集積回路により、幾つかの方法で実行されうる。集積回路は、コンピュータ内又は復号器内に存在しうる。後者の場合には、復号器は、前述のように、動き検出ステップ１）を実行するように適応された動き検出手段ＭＶＴ＿Ｄ、メディアンフィルタリングステップ３）を実行するように適応されたフィルタリング手段ＤＣＴ＿Ｆを有し、前記手段は、第１又は第２の実施例に従ったサブステップ３ａ）を実行するように適応された空間メディアンサブフィルタリング手段ＳＰＡＴＩＡＬ＿Ｆとサブステップ３ｂ）を実行するように適応された時間メディアンサブフィルタリング手段ＴＥＭＰ＿Ｆを有し、それぞれステップ２）と４）を実行するように適応された離散周波数及び逆離散周波数変換手段ＤＣＴ＿Ｔ，ＩＤＣＴ＿Ｔ、及びステップ５）を実行するように適応された置き換え手段ＲＥＰＬ＿Ｍを有し、前記手段は、前述の様にハードウェア又はソフトウェアである。
【００７４】
集積回路は、命令の組を含む。従って、例えば、コンピュータプログラミングメモリ又は復号器メモリ内の、命令の前記組は、コンピュータ又は他の復号器に、ディジタルビデオ信号処理方法の異なるステップを実行させうる。
【００７５】
命令の組は、例えば、ディスクのようなデータ担体を読み出すことによりプログラミングメモリへロードされうる。サービス提供者は、例えばインターネットのような通信ネットワークを介して命令の組を利用できるようにもしうる。
【００７６】
本発明は、実時間で且つ低コストで前に記載の処理方法を実行するために、メモリの帯域幅と実行の複雑さを最小化するデータ処理装置にも関連する。
【００７７】
そのようなビデオデータ処理装置は，図７に示されている。それは、動き検出モジュールＭＤを有し、これは、１つは輝度成分Ｙについてそして、１つはクロミナンス成分Ｃｒについての、２つのフィルタを、同じパリティの２つの連続するフィールドＩ１とＩ２からの画像差に、適用する。システムメモリＭＥＭは、３つの連続するフィールドＩ０，Ｉ１及びＩ２を含む。動き検出モジュールＭＤからシステムメモリＭＥＭへの転送を減少させそしてメモリ帯域幅を減少させるために、動き検出モジュールＭＤは、中間データブロックを記憶するように適応された埋め込まれたメモリを有する。第１のＢＦ１と第２のＢＦ２の埋め込みメモリは、Ｉ１とＩ２のデータブロックがロードされる。減算モジュールは、ＢＦ１とＢＦ２埋め込みメモリの内容の間の差を与え、そして、結果を第３の埋め込みメモリＢＦ３に記憶する。好ましい実施例では、２次元フィルタは、２つの単一次元フィルタに分解される。各単一次元フィルタは、水平及び垂直方向にそれぞれ、５及び３輝度サンプルと４及び３クロミナンス成分について、適用される。このように、フィルタリングに関係する動作の数は、減少され、そして、埋め込まれたメモリに対するアクセスは、単純化される。最初に適用される、水平フィルタＨ＿ＦＩＬＴの結果は、第４の埋め込みメモリＢＦ４に記憶され、これに垂直フィルタＶ＿ＦＩＬＴが適用される。絶対値ＡＢＳは、そして進行中に、各フィルタされた画素差に適用されそして、後に、各画素はしきい値モジュールＴＨＲによりしきい値と比較される。比較の結果は、画素が動き画素であるかを決定しそして、第５の埋め込みメモリＭＢに記憶される。
【００７８】
ビデオデータ処理装置は、メディアンフィルタリングモジュールＭＦを有し、これは、ＤＣＴ−変換された領域で空間及び時間メディアンフィルタを適用する。最初に、メディアンフィルタは、現在のフィールドの３つのＤＣＴブロックに画素ごとに適用される。次に、メディアンフィルタが、３つの連続するフィールドのＤＣＴブロックに、画素ごとに適応される。それにより、５つのＤＣＴ変換がフィルタされるブロックごとに計算される。メディアンフィルタリングモジュールＭＦとシステムメモリの間のメモリ帯域幅を最小化するために、５つのＤＣＴ変換は、それぞれ、現在のブロックと現在のフィールドＩ１から空間的に隣接する２つのブロック、次のフィールドＩ２から時間的に隣接するブロック、及び、過去のフィールドＩ０から時間的に隣接するブロックを、記憶するように適応される、３つの埋め込みメモリＢＰ２，ＢＰ１及びＢＰからＤＣＴ計算モジュールにより並列に計算される。中間結果は、５つの他の埋め込みメモリＢＣ１からＢＣ５に記憶される。空間領域でのメディアンフィルタＳＰＡＴＭは、ＢＣ２，ＢＣ３及びＢＣ４埋め込みメモリ内に記憶されたブロックに実行されそして、時間メディアンフィルタＴＥＭＰＭは、進行中に結果のフィルタされたブロックとＢＣ１とＢＣ５埋め込みメモリに適用される。ＩＤＣＴ変換は、後処理された輝度を得るために、フィルタされたデータに適用される。置き換え手段ＳＥＬＥＣＴは、逆変換されたブロック内の画素が、検出された動き画素により置きかえられることを可能とし、最終結果は、システムメモリに記憶される。
【００７９】
請求項の括弧の間の参照符号は、請求項を制限すると解釈されるべきではない。動詞”有する、含む”の使用とその語形変化は、請求項に記載された以外のステップ又は構成要素の存在を除外しない。構成要素又はステップの前の冠詞”ａ”又は”ａｎ”は、そのような複数の構成要素又はステップの存在を除外しない。
【図面の簡単な説明】
【００８０】
【図１】本発明に従った復号器を含むビデオ通信システムを示す図である。
【図２】図１の復号器で実行される、本発明に従った方法の概略図である。
【図３】図２の本発明に従った方法の動き検出ステップを示す図である。
【図４ａ】図２の本発明に従った方法の空間メディアンフィルタリングのサブステップを示す図である。
【図４ｂ】図２の本発明に従った方法の時間メディアンフィルタリングのサブステップを示す図である。
【図５】図２の本発明に従った方法の第１の実施例を示す図である。
【図６】図２の本発明に従った方法の第２の実施例を示す図である。
【図７】本発明に従った方法を実行する処理装置の概略図を示す。

Claims (8)

1. ディジタルビデオ信号を処理する方法であって、前記ビデオ信号は画像のシーケンスを表し、
   − 現在の画像内の動き画素を検出するステップを有し、
   − 変換されたブロックを提供するために、前記現在の画像のブロックについて離散周波数変換を計算するステップを有し、
   − 現在の変換されたブロックをメディアンフィルタリングするステップを有し、前記フィルタリングは、
   − 現在の変換されたブロックと隣接する変換ブロックに属する第１の組の係数を空間メディアンフィルタリングするサブステップと、
   − 現在の変換されたブロックと前及び後続の画像の対応するブロックに属する第２の組の係数を時間メディアンフィルタリングするサブステップと、
   を有し、
   − 逆変換ブロックを供給するために、フィルタされた変換されたブロックについて逆離散周波数変換を計算するステップを有し、
   − 前記検出された動き画素により前記逆変換されたブロック内の画素を置き換えるステップと、
   を有することを特徴とする、ディジタルビデオ信号を処理する方法。
2. 前記空間メディアンフィルタリングするサブステップは、前記時間メディアンフィルタリングするサブステップよりも前に実行されることを特徴とする、請求項１に記載のディジタルビデオ信号を処理する方法。
3. 前記検出するステップは、
   − 画像差の画素成分をフィルタリングするサブステップと、
   − しきい値により、動きと非動き画素を区別するサブステップと、
   を有することを特徴とする、請求項１に記載のディジタルビデオ信号を処理する方法。
4. 命令の組を有する、復号器のためのコンピュータプログラムプロダクトであって、前記復号器にロードされたときに、前記復号器に、請求項１乃至３のうちいずれか１項に記載の方法を実行させる、コンピュータプログラムプロダクト。
5. 命令の組を有する、コンピュータのためのコンピュータプログラムプロダクトであって、前記コンピュータにロードされたときに、前記コンピュータに、請求項１乃至３のうちいずれか１項に記載の方法を実行させる、コンピュータプログラムプロダクト。
6. ディジタルビデオ信号を処理する復号器であって、前記ビデオ信号は画像のシーケンスを表し、
   − 現在の画像内の動き画素を検出するように適応される動き検出手段を有し、
   − 変換されたブロックを提供するために、前記現在の画像のブロックについて離散周波数変換を計算するように適応される離散周波数計算手段を有し、
   − 変換されたブロックをフィルタするように適応されるメディアンフィルタ手段を有し、前記フィルタは、
   − 現在の変換ブロックと隣接する変換ブロックに属する第１の組の係数をフィルタするように適応される空間メディアンサブフィルタと、
   − 現在の変換されたブロックと前及び後続の画像の対応するブロックに属する第２の組の係数をフィルタするように適応される時間メディアンサブフィルタと、
   を有し、
   − フィルタされた変換されたブロックについて逆周波数変換を計算し、且つ、逆変換されたブロックを供給するように適応される、逆周波数計算手段を有し、
   − 前記検出された動き画素により前記逆変換されたブロック内の画素を置き換えるように適応される置き換え手段と、
   を有することを特徴とする、ディジタルビデオ信号を処理する復号器。
7. 前記空間メディアンブフィルタリング手段は、前記時間メディアンフィルタリング手段の前に実行されることを特徴とする、請求項６に記載の、ディジタルビデオ信号を処理する復号器。
8. 前記動き検出手段は、
   − 画像差の画素成分をフィルタするように適応されるフィルタリング手段と、
   − しきい値により、動きと非動き画素を区別するように適応される区別手段と、
   を有することを特徴とする、請求項６に記載の、ディジタルビデオ信号を処理する復号器。