JP2009531933A

JP2009531933A - 画像信号の表示品位を改善するための方法及びシステム

Info

Publication number: JP2009531933A
Application number: JP2009502312A
Authority: JP
Inventors: ヴィルヘルムスエイチエイブルルス; ラデュエスジェイスィンスキー
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2006-03-29
Filing date: 2007-03-28
Publication date: 2009-09-03
Also published as: WO2007110844A2; WO2007110844A3; EP2002396A2; CN101416218A; US20090263039A1

Abstract

本発明は、少なくとも第１のレイヤ及び第２のレイヤにおいて入力画像信号１０１を処理するために用いられる処理モジュールをそなえた画像処理システムに関し、この処理は、少なくとも第１及び第２の処理画像信号を生じさせる。信号解析部１１１は、入力画像信号から１又はそれ以上の画像制御パラメータ１２１，１２２を決定し、処理画像信号を出力画像信号へと組み合わせる組み合わせ回路１２０を操作するために制御パラメータを用いる。

Description

本発明は、少なくとも第１及び第２のレイヤにおいて画像信号をそれぞれ処理し、その次に、処理画像信号を単一の出力画像信号（single image-out signal）へと組み合わせることにより、画像信号の表示品位を改善するための方法及びシステムに関する。

低ビットレートで圧縮されたビデオストリームは、多くの場合、特に高性能ＴＶ（high TV）においては見苦しく、ブロッキング及びいわゆるモスキートのアーチファクトが最も阻害するアーチファクト（artifacts）である。一般に、或る種類のアーチファクトを除去するために、オリジナルの入力画像信号は、或る種類のアーチファクトを除去する、即ち、或る種類のアーチファクトが除去される場所でフィルタリングプロセスのような処理が実行されることによって処理される。当然、これは、処理信号が、オリジナル信号と比較してデータを欠くことを意味し、例えば、シャープネス等の重要な特性が大幅に消えているＹ，Ｕ，及び／又はＶ成分の画素となる。

モスキートアーチファクト及びブロッキングアーチファクトの削減アルゴリズムは、ブロッキング及びモスキートのアーチファクトを除去することで開発されてきた。これらの２つのアルゴリズムのうちいずれか１つのみを入力画像信号に適用することにより、２つのアーチファクトのうちいずれか１つのみ、即ち、ブロッキングアーチファクト又はモスキートアーチファクトのいずれかを削減することができる。カスケード（縦列）の態様で２つのアルゴリズムをオリジナルの入力画像信号に適用することにより、これらの種類のアーチファクトの双方を除去するための試みが行われてきた。即ち、先ず、第１の種類のアーチファクト（例えば、モスキートアーチファクト）を除去するために、第１のアルゴリズムを適用し、その次に、第２の種類のアーチファクト（例えば、ブロッキングアーチファクト）を除去するために、第２のアルゴリズムを既に処理されている信号に適用する。

しかしながら、カスケードの手法のようなアルゴリズムの適用は、第１のアルゴリズムを適用した後に、次のアルゴリズムに有益なデータ、即ち次のアルゴリズムのために必要不可欠なデータが除去されるかもしれないという欠点を有している。これは、次のアルゴリズムからの出力画像信号がオリジナルの入力画像信号よりも低品質になる、即ち、処理画像がオリジナル画像よりも悪くなるという結果を明らかにもたらしやすい。

本発明の目的は、各処理ステップがオリジナルの入力画像信号に対して実行される多重処理ステップを可能とし、最も適切な態様で処理結果の画像信号を単一の出力画像信号へと組み合わせる画像処理の方法及びシステムを提供することにより上記の問題を克服することである。

一の態様によれば、本発明は、（ａ）少なくとも第１のレイヤ及び第２のレイヤにおいて入力画像信号を処理して少なくとも第１及び第２の処理画像信号をそれぞれ生じさせるステップと、（ｂ）１又はそれ以上の前記信号から１又はそれ以上の画像制御パラメータを決定するステップと、（ｃ）前記１又はそれ以上の画像制御パラメータを動作パラメータとして用いて、前記少なくとも第１及び第２の処理画像信号を出力画像信号へと組み合わせるステップとを有する画像処理方法に関する。

従って、上記の処理ステップは、カスケードの手法ではなく、並列の手法で実行されるので、各処理ステップにおいてオリジナルの入力画像信号が処理されるのであって、カスケードの手法で処理する場合のような、特性（例えば、輝度又は／及び明度）が変えられた処理画像信号が処理されるのではないことを保証する。各処理ステップが処理された信号ではなく、オリジナルの入力画像信号を処理するので、これにより、各処理ステップの結果が最適化される。更に、前記１又はそれ以上の動作パラメータが、最も適切な態様で処理画像信号を単一の出力画像信号へと組み合わせ可能な重要なツールを提供する。この結果は、オリジナルの画像よりも高品質の出力画像であることは明らかである。

一の実施形態においては、前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記入力画像信号から前記画像制御パラメータを決定することを有する。他の実施形態においては、前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記処理画像信号から前記画像制御パラメータを決定することを有する。更に他の実施形態においては、前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記入力画像信号及び前記処理画像信号から前記画像制御パラメータを決定することを有する。このように、いくつかのシナリオにおいては入力画像信号から画像制御パラメータを決定することが好ましく、いくつかのシナリオにおいては出力画像信号から画像制御パラメータを決定することが好ましく、いくつかのシナリオにおいては入力画像信号及び出力画像信号から決定された"組み合わせ"の画像制御パラメータを用いることが好ましいので、画像制御信号の決定についての異なる可能性が提供される。

実施形態においては、前記少なくとも第１及び第２のレイヤにおいて前記入力画像信号を処理するステップは、更に、前記処理画像信号を単一の出力画像信号へと組み合わせるための追加の動作パラメータとして用いられる統計データを前記処理画像信号から決定することを有する。この統計データの例は、"weak"，"medium"，及び"strong"等のような、ブロックアーチファクトの存在である。

実施形態においては、前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記１又はそれ以上の前記信号の画像のテクスチャ成分の空間画像勾配を決定することを有する。

実施形態においては、前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記１又はそれ以上の前記信号の画像のテクスチャ成分の画像勾配の平均エネルギを表す、画像ブロックの範囲内の画素当たりの重み付けされた画像勾配値を決定することを有する。

実施形態においては、前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記１又はそれ以上の前記信号の画像のテクスチャ成分の画像勾配の平均エネルギを表す、画像ブロック当たりの平均値及び分散値を決定することを有する。

実施形態においては、前記少なくとも第１及び第２のレイヤにおいて前記入力画像信号を処理するステップは、更に、前記少なくとも第１及び第２のレイヤのうちの少なくとも１つにおいて処理画像信号を追加的に処理することを有する。従って、これは、例えば、同一レイヤ内で、ブロッキング除去アルゴリズム（de-blocking algorithm）を適用した後にモスキート除去アルゴリズム（de-mosquito algorithm）を適用するか、又はその逆のような、１又はそれ以上のレイヤにおいてカスケード処理を可能にする。

他の態様によれば、本発明は、前記方法を処理ユニットに実行可能にさせるための命令を格納するコンピュータ読み取り可能な媒体に関する。

更なる他の態様によれば、本発明は、（ａ）少なくとも第１のレイヤ及び第２のレイヤにおいて入力画像信号を処理して少なくとも第１及び第２の処理画像信号をそれぞれ生じさせる処理モジュールと、（ｂ）１又はそれ以上の前記信号から１又はそれ以上の画像制御パラメータを決定する信号解析部と、（ｃ）前記１又はそれ以上の画像制御パラメータの動作パラメータとしての使用に基づいて、前記信号解析部により操作されて、前記処理画像信号を出力画像信号へと組み合わせる組み合わせ回路とを有する画像処理システムに関する。

本発明の実施形態は、図面を参照しながら、単なる一例として記述される。

図１は、本発明による画像処理システム１００を示し、このシステムは、処理モジュール１０３，１０５，１０７，１０９，信号解析部１１１，及び組み合わせ回路１２０を有する。システム１００は、ＨＤＴＶの主流，ハイエンドＴＶ及びＤＶＤ+ＲＷプレイヤ等のような、複数の種々異なる電子デバイスのビデオレシーバコンポーネント（video receiver component）である。特に、システム１００においては、入力画像信号（image-in signal; incoming image-in signal）１０１が、ビデオデコーダ、例えば、ＭＰＥＧ−２デコーダの出力であってもよい。選択的に、ＰＣＩ又はイーサネット（登録商標）接続からのような混合信号（mixed signal）を受信する場合には、オプショナルのデジタルデコードモジュールであってもよい。

この図に示すように、入力画像信号１０１は、オリジナルの入力画像信号１０１を独立して処理する処理モジュール１０３，１０５，１０７，１０９により、複数のレイヤ１１２，１１３，１１４，１１５において"並列の態様（parallel way fashion）"で処理され、この処理によって処理画像信号（processed image signal）１１６，１１７，１１８，１１９が生じる。"処理"という用語は、特定の不所望な特性及び／又はアーチファクトを除去するためにオリジナルの入力画像信号１０１に適用されるフィルタリングプロセスに関する。例えば、この処理は、ブロッキングアーチファクトを除去するためのブロッキング除去アルゴリズム（de-blocking algorithm），又はモスキートアーチファクトを除去するためのモスキート除去アルゴリズム（de-mosquito algorithm）のような、あらゆる種類のポスト処理アルゴリズムに関する。従って、処理画像信号１１６〜１１９は、オリジナルの入力画像信号１０１と比較していくつかの特徴（feature）が不足する画像信号である。それぞれに対応する処理モジュールにより実行される処理ステップは、システムのハードウェアに組み込まれた又はシステムに内蔵されたコンピュータプログラム，又は外部のコンピュータプログラムにおいて予め規定された命令に従う。

信号解析部１１１は、オリジナルの入力画像信号１０１から、１又はそれ以上の画像制御パラメータ１２１を決定し、更に、処理画像信号１１６〜１１９が単一の出力画像信号（single image-out signal）１０２へと組み合わせられる組み合わせ回路１２０を操作する。信号解析部１１１は、更に、１又はそれ以上の画像制御パラメータ１２２を処理画像信号１１６〜１１９から決定し、加えて又は代わりに、オリジナルの入力画像信号１０１から取得した画像制御パラメータ１２１を決定する。これは、例えば、コーディングアーチファクト（coding artifact）が誤った判断（wrong decision）を誘発する場合に有効であろう。

有利な実施形態においては、１又はそれ以上の画像制御パラメータ１２１，１２２は、前記入力画像信号１０１及び／又は処理画像信号１１６〜１１９の画像のテクスチャ成分（texture component）の空間画像勾配（spatial image gradient）を有する。これらは、例えば、種々異なる方向（縦方向，横方向及び２つの斜め方向（４５°及び１３５°））についての方向画像勾配群を有する。４つの異なる方向、即ち、（i）北−南（north-south; NS），（ii）東−西（east-west; EW），（iii）北西−南東（northwest-southeast; NWSE），及び（iv）北東−南西（northeast-southwest; NESW）に沿った勾配が図２に示される。更に、空間微分係数（spatial derivative）は、これらの４つの方向に沿った以下のマスク、即ち、

を用いる。

これらの４つのマスクを用いることで、画像の空間画像勾配は、I（x, y）を空間画像勾配として、

で計算される。

実施形態においては、１又はそれ以上の画像制御パラメータ１２１，１２２は、入力画像信号１０１及び／又は処理画像信号１１６〜１１９の画像のテクスチャ成分の画像勾配の平均エネルギを表す、画像ブロックの範囲内の画素当たりの重み付けされた画像勾配値（weighted image gradient value per pixel）を決定して有する。これは、画素ベースの画像勾配を二乗し、全ての方向（４つに分割された方向）にわたって合計し、正規化し、平方根を求めることにより行われる。このように、

となり、ここで、

等であり、P(x, y)は、画素当たりの平均画像勾配（average image gradient per pixel）を表す。実際には、P(x, y)は、画像勾配エネルギの正規化された平方根を表す。画素当たりの重み付けされた画像勾配P(x, y)が与えられた場合に、所与の四角のブロック（given square block）当たりの一次統計が計算される。平均の計算は、一次統計の計算である。これは、Ｎ×Ｎブロックのそれぞれに対する平均の計算について、

に応じて実現されてもよい。

実施形態においては、１又はそれ以上の画像制御パラメータ１２１，１２２は、入力画像信号１０１及び／又は処理画像信号１１６〜１１９の画像のテクスチャ成分の画像勾配の平均エネルギを表す、画像ブロックの範囲内の画素当たりの重み付けされた画像勾配値を有する。画像画素当たりの重み付けされた画像勾配P(x, y)が与えられた場合に、所与の四角のブロック当たりの二次統計が計算されて、分散を与える。このように、Ｎ×Ｎブロックの範囲内の分散は、

により計算される。しかしながら、三次統計以上の計算のような、他の種類の計算を用いることも可能である。

実施形態においては、前記少なくとも第１及び第２のレイヤにおける入力画像信号１０１の処理は、更に、処理画像信号１１６〜１１９を前記単一の出力画像信号１０２へと組み合わせるための追加の動作パラメータとして用いられる統計データ１２３〜１２６に関する。これらの統計データは、例えば、処理ステップの順位付け（ranking）において有用である。

図３は、２レイヤ１１２，１１３システムの実施形態を示し、各レイヤは、入力画像信号１０１をそれぞれ処理するための単一の処理モジュール１０３，１０５を有する。この処理は、例えば、それぞれに対応するレイヤにおいてブロッキング除去及びモスキート除去アルゴリズムを適用することができ、結果として生じる処理信号（resulting processed signal）１１６，１１７は、ブロッキング及びモスキートアーチファクトに関するデータが除去された信号である。

この実施形態においては、信号解析部１１１は、最初に、入力画像信号１０１からメトリック（metric）信号ｍ（２０５）（例えば、前記空間画像勾配，画像ブロックの範囲内の画素当たりの重み付けされた画像勾配値，並びに／又は画像ブロック当たりの分散値及び平均値）を計算することにより、画像制御パラメータ２０１を決定し、１又はそれ以上の画像制御パラメータ２０１を決定するためのテーブル索引手法（table look-up technique）２０４を実行する。ここで図示されるように、画像制御パラメータ２０１は、入力画像信号１０１から決定される単一の制御パラメータαを有し、（それぞれ、α及び１−αによる）２つの乗算部２０２，２０３を含む組み合わせ回路１２０に送信される。一例として、０≦α≦１は、処理信号の好ましい組み合わせの一種の重み値を表すことができる。例えば、α＝０．５の場合には、処理画像信号が均等に組み合わせられる。これに対し、α＝０．８の場合には、処理画像信号１１６は、処理画像信号１１７よりも大きな関連性を持つ。即ち、処理画像信号１１６が８０％の関連性を持ち、画像信号１１７が２０％の関連性を持つ。以下の例は、制御パラメータαがメトリック信号（ｍ）から決定される手法を示す。
m1=10; g1=0.25,
m2=15; g2=0,5,
m3=20; g3=0,75,
m4=30, g4=1.0.
gainmin=0.0
gain=0.0;
if (m > m1) {gain=g1;}
if (m > m2) {gain=g2;}
if (m > m3) {gain=g3;}
if (m > m4) {gain=g4;}
if (gain<gainmin) {gain=gainmin;}
α=gain.

図４は、画像処理の本発明よる方法を示し、入力画像信号は、少なくとも第１及び第２のレイヤにおいて処理され、この処理よって少なくとも第１及び第２の処理画像信号を生じさせる（Ｓ１；４００）。

最も適切な態様において処理画像信号を出力画像信号へと組み合わせるために、１又はそれ以上の画像制御パラメータが入力画像信号から決定される（Ｓ２；４０１）。これらは、例えば、入力画像信号の及び／若しくは処理画像信号からの画像のテクスチャ成分の空間画像勾配，入力画像信号の及び／若しくは処理画像信号からの画像のテクスチャ成分の画像勾配の平均エネルギを表す画像ブロックの範囲内の画素当たりの重み付けされた画像勾配値，又は入力画像信号の及び／若しくは処理画像信号からの画像のテクスチャ成分の画像勾配の平均エネルギを表す画像ブロック当たりの平均値及び分散値を有する。

最後に、処理画像信号は、１又はそれ以上の画像制御パラメータを動作パラメータとして用いて、処理画像信号が出力画像信号に組み合わせられる（Ｓ３；４０２）。

実施形態において、入力画像信号を処理するステップは、"並列の手法"で各レイヤにおいて多様なポスト処理アルゴリズムを適用する。一例として、レイヤの数が２つである場合に、これらのレイヤのうちの一のレイヤにモスキートアーチファクトを除去するためのモスキートアーチファクト除去アルゴリズムを適用し、他のレイヤにブロッキングアーチファクトを除去するためのブロッキングアーチファクトアルゴリズムを適用することができる（図２参照）。

他の実施形態において、１又はそれ以上のレイヤについての処理ステップは、更に、例えば、カスケードの手法で処理を組み合わせるように、少なくとも第２の処理ステップを追加するように構成する。例えば、第１のレイヤにおいて、モスキートアーチファクト除去が入力画像信号に対して適用されて、その次に、同じレイヤにおいて、ブロッキングアーチファクトアルゴリズムが処理済みの信号に対して適用される。

上述の説明において、"画像"という用語は広い意味で理解すべきである。この用語は、フレーム（frame），フィールド（field），及び全体又は部分的に像（picture）を構成可能なその他の構成要素を含む。更に、ハードウェア，ソフトウェア，又はこれらの双方のアイテムの手段によって機能を実装する数多くの態様がある。この観点において、図は、非常に概略的であり、本発明の単なる取り得る実施形態を表しているだけである。このように、図は、異なるブロックについて異なる機能を示しているが、これは、ハードウェア又はソフトウェアの一のアイテムが数個の機能を実行する手段を除くものではない。ハードウェア，ソフトウェア，又はこれらの双方のアイテムのアセンブリが一の機能を実行することを除くものでもない。

図を参照した詳細な説明は、本発明を限定するよりはむしろ例示するものであることに注意されたい。添付の特許請求の範囲の範囲内に収まる数多くの代替手法がある。特許請求の範囲における如何なる参照符号も、特許請求の範囲の限定するものとして解釈されるべきではない。"有する"という用語は、特許請求の範囲に記載されている要素又はステップ以外の要素又はステップの存在を除外しない。要素又はステップの単数形表記は、これらの要素又はステップの複数の存在を除外しない。

本発明による画像処理システムを示す図である。制御パラメータとして用いられるべき画像勾配を計算するために用いられる方向を示す図である。本発明による２レイヤシステムの実施形態を示す図である。本発明による画像処理の方法を示す図である。

Claims

（ａ）少なくとも第１のレイヤ及び第２のレイヤにおいて入力画像信号を処理して少なくとも第１及び第２の処理画像信号をそれぞれ生じさせるステップと、
（ｂ）１又はそれ以上の前記信号から１又はそれ以上の画像制御パラメータを決定するステップと、
（ｃ）前記１又はそれ以上の画像制御パラメータを動作パラメータとして用いて、前記少なくとも第１及び第２の処理画像信号を出力画像信号へと組み合わせるステップとを有する、画像処理方法。
前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記入力画像信号から前記画像制御パラメータを決定することを有する、請求項１に記載の画像処理方法。
前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記処理画像信号から前記画像制御パラメータを決定することを有する、請求項１に記載の画像処理方法。
前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記入力画像信号及び前記処理画像信号から前記画像制御パラメータを決定することを有する、請求項１に記載の画像処理方法。
前記少なくとも第１及び第２のレイヤにおいて前記入力画像信号を処理するステップは、更に、前記処理画像信号を単一の出力画像信号へと組み合わせるための追加の動作パラメータとして用いられる統計データを決定することを有する、請求項１に記載の画像処理方法。
前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記１又はそれ以上の前記信号の画像のテクスチャ成分の空間画像勾配を決定することを有する、請求項１に記載の画像処理方法。
前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記１又はそれ以上の前記信号の画像のテクスチャ成分の画像勾配の平均エネルギを表す、画像ブロックの範囲内の画素当たりの重み付けされた画像勾配値を決定することを有する、請求項１に記載の画像処理方法。
前記１又はそれ以上の前記信号から前記１又はそれ以上の画像制御パラメータを決定するステップは、前記１又はそれ以上の前記信号の画像のテクスチャ成分の画像勾配の平均エネルギを表す、画像ブロック当たりの平均値及び分散値を決定することを有する、請求項１に記載の画像処理方法。
前記少なくとも第１及び第２のレイヤにおいて前記入力画像信号を処理するステップは、更に、前記少なくとも第１及び第２のレイヤのうちの少なくとも１つにおいて処理画像信号を追加的に処理することを有する、請求項１に記載の画像処理方法。
請求項１の画像処理方法を処理ユニットに実行可能にさせるための命令を格納する、コンピュータ読み取り可能な媒体。
（ａ）少なくとも第１のレイヤ及び第２のレイヤにおいて入力画像信号を処理して少なくとも第１及び第２の処理画像信号をそれぞれ生じさせる処理モジュールと、
（ｂ）１又はそれ以上の前記信号から１又はそれ以上の画像制御パラメータを決定する信号解析部と、
（ｃ）前記１又はそれ以上の画像制御パラメータの動作パラメータとしての使用に基づいて、前記信号解析部により操作されて、前記処理画像信号を出力画像信号へと組み合わせる組み合わせ回路とを有する、画像処理システム。