JP2005115384A - 偽輪郭およびディザリングノイズ補償用ビデオ画像処理法 - Google Patents

Abstract

【課題】本発明はビデオ画像処理用の方法および装置に関し、特に動的偽輪郭効果およびディザリングノイズ補償用の方法および装置に関する。
【解決手段】本発明の主な提案は、少なくとも2つの形式の領域、例えば低いビデオ階調度領域と高いビデオ階調度領域、に表示される画像を分割し、領域の各形式に異なる組のGCC（重心符号化の）符号語を割り当てるものであり、領域の1つの形式に割り当てられた組は、この形式の領域における偽輪郭およびディザリングノイズを抑制し、割り当てられたGCC符号語の組で表示される画像の各領域のビデオレベルを符号化する役割を担う。この方法では偽輪郭効果およびディザリングノイズの抑制が領域毎に最適化される。
【選択図】図13

Description

本発明はビデオ画像処理用の方法および装置に関し、特に動的偽輪郭効果およびディザリングノイズ補償用の方法および装置に関する。

プラズマディスプレイ技術では現在、いかなる視角制限も受けない大型でかつ限られた厚さの薄型カラーパネルの実現が可能となっている。ディスプレイのサイズは、旧式のCRT画像管でこれまで成し得なかった以上の大型化も可能であろう。

プラズマディスプレイパネル（またはPDP）では、「オン」または「オフ」のみが可能な放電セルのマトリックス列を利用する。従って、発光のアナログ制御によって階調を表現するブラウン管または液晶ディスプレイとは異なり、PDPでは階調は各セルのパルス幅変調によって制御する。この時間変調は、視覚の時間応答に対応した期間にわたり目で統合化される。所与の時間のフレームにおいてセルのスイッチオンが頻繁になると、フレームの輝度または明度はより高くなる。8ビットの輝度レベル、すなわち1色あたり255のレベルの配列が必要であると仮定してみる。その場合、各レベルは以下の重量での8ビットの組み合わせによって表すことができる。

1-2-4-8-16-32-64-128
そのような符号化を実現するため、フレーム周期はサブフィールドと呼ばれる、8つの発光用のサブ周期に分割される。各々のサブ周期は1ビットおよび1明度レベルに対応する。ビット「2」の発光パルス数はビット「1」の2倍であり、ビット「4」の発光パルス数はビット「2」の2倍であり、以下同様である。これらの8つのサブ周期の組み合わせを通じて256の階調を作り出すことが可能となる。観者の視覚はフレーム周期全体にわたってこれらのサブ周期を統合し、正しい階調表現を感知する。図1にはそのような8つのサブフィールドを有するフレームを示す。

発光パターンは、階調および色彩障害による画質劣化の新しい形態をもたらす。これは「動的偽輪郭効果」と定義される。PDP画面で観測地点が移動するとき、画像においては色端の幻影という形で階調および色彩障害として現れるからである。そのような画像劣化は均一な領域においては外観上、輪郭が強調された印象を与える。画像が例えば肌のような平滑な階調を有するとき、また発光周期が数ミリ秒を超えるときには劣化は強調される。

PDP画面で観測地点が移動するとき、視覚はこの動きに追随する。結果として、視覚はもはや1フレームにわたって同じセルを統合化せず（静的統合）、移動軌道上に置かれた異なるセルからの情報を統合し、これらの発光パルス全てが混ざり合うため、欠陥のある単一情報が得られることになる。

基本的に偽輪郭効果は、完全に異なる符号であるレベルから別のレベルへの遷移があるときに生じる。欧州特許出願EP1256924には、典型的にはp=256であるが、p階調の実現を可能にするn個のサブフィールドを有する符号が提案されている。さらにこれには、符号として動作するときの2ⁿ通りの考えられるサブフィールドの配列の中から、またはビデオレベルとして動作するときのp通りの階調の中から、m＜pのmの階調を選定することを可能にする、n個のサブフィールドを有するコードが提案されており、この結果、近いレベルが近いサブフィールド配列を有することとなる。問題は「近接符号」の意味をどのように定めるかにある。異なる定義を採用することも可能ではあるが、これらの大部分は同じ結果につながる。その他、良好なビデオ品質を得るためにレベルを最大に維持することが重要である。選択されたレベルの最小値はサブフィールド数の2倍でなければならない。

先に示したように、人間の視覚はパルス幅変調によって放出された光を統合する。従って、基本符号で符号化された全てのビデオレベルを考慮した場合、サブフィールド符号の発光の一時的重心はビデオレベルとともに増大はしない。これは図2に示されている。ビデオレベル2に対応するサブフィールド符号の一時的重心CG2は、3が2よりも明るい場合であっても、ビデオレベル3に対応するサブフィールド符号の一時的重心CG3よりも明るい。この発光パターンにおける不連続性（成長レベルは成長重心を有さないこと）は偽輪郭を生み出す。重心は、その保持重量によって重量「オン」されるサブフィールドの重心として定義される。

ここでsfW_iはi番目のサブフィールドのサブフィールド重量であり、
δ_iはi番目のサブフィールドが選択符号に対して「オン」であるときは1であり、それ以外のときは0であり、
SfCG_iはi番目のサブフィールドの重心、すなわちその時間位置である。

図1の7つのフレームの最初のサブフィールドの重心SfCG_iの中心は図3に示されている。

この定義を用いて、以下の重量、1 2 3 5 8 12 18 27 41 58 80、を有する11のサブフィールド符号に対する256のビデオレベルの一時的重心を、図4に示すように表すことができる。これから明らかなように、この曲線は単調ではなく多数のジャンプを示している。これらのジャンプは偽輪郭に対応する。特許出願EP1256924の案ではこれらのジャンプは、重心が連続的に増大するように、いくつかのレベルのみを選択することによって抑制される。これは前述のグラフのようなジャンプのない単調な曲線を描くこと、および最近接の点を選定することによって可能となる。そのような単調な曲線を図5に示す。低いレベルに対して増大する重心を有するレベルを選定することは容易ではない。大多数のレベルは低く、人間の視覚は黒レベルには非常に敏感であるため、増大する重心レベルのみが選定される場合には、黒レベルにおいて良好なビデオ品質が得られるほど十分なレベルにはないからである。さらに、暗い領域での偽輪郭は無視できる。高いレベルにおいては、重心の減少がある。従って、選択されたレベルにおいても減少があるが、人間の視覚は高いレベルでは敏感ではないためこれは重要ではない。これらの領域において視覚では異なるレベルを区別することはできず、偽輪郭レベルはビデオレベルに関しては無視できる（ウェバーフェヒナーの法則によれば視覚は比較的大きいものにのみ敏感である）。これらの理由から曲線の単調性は、最大ビデオレベルの10%から80%の間のビデオレベルに対してのみ必要である。

この場合、例えば256の可能性の中から40レベル（m=40）が選定される。この40レベルは良好なビデオ品質（階調描画）を維持することを可能にする。これはビデオレベルでの動作のときに行うことのできる選択である。わずかのレベル、典型的には256レベルのみしか利用できないからである。しかし、この選択が符号でされたときには、2ⁿ通りの異なるサブフィールド配列があり、そのため図6に示すように、より多くのレベルが選択できる。図5において各点はサブフィールド配列に対応する（同じビデオレベルが与えられたとき異なるサブフィールド配列がある）。

このGCCと呼ばれる重心符号化の主な狙いは、偽輪郭の影響の抑制（極めて少ない符号語）とディザリングノイズの抑制（より少ないディザリングノイズのためのより多くの符号語）との間で適切な妥協点を形成するため、ある量の符号語を選定することである。

問題は、画像全体がその内容に応じて異なる挙動を示すことである。実際に、肌のような平滑な階調の領域では、ディザリングノイズを抑制するためできるだけ多くの符号語を有することが重要となる。さらにその領域は主として、近接レベルと連続的な階調となることを基本としており、図7に示すようなGCCの一般的概念とうまく調和している。この図には肌の領域のビデオレベルが示されている。レベル全体が相互に近接して、表示されたGCC曲線上に表されていることが容易に把握できる。図8には女性の額の平滑な肌色の段階的変化を再現する赤、青および緑の必須色のビデオレベル範囲を示す。この例ではGCCは40の符号語を基にしている。図から明らかなように、1つの色要素からの全レベルは相互に極めて接近しており、これはGCCの構想と極めて良好に合致する。この場合、符号語が十分であれば、例えば符号語が40あれば、この領域では極めて良好なディザリングノイズ挙動を有し、偽輪郭の影響をほとんど受けないことになる。

しかしながら、ここで図9に示されたような額と髪の間の境界での状況を分析してみる必要がある。この場合は、両者間に大きな遷移のある2つの平滑な領域（肌と髪）がある。2つの平滑な領域がある場合も前述の状況と同様である。この場合40の符号語が使用されているが、GCCを用いることで、良好なディザリングノイズ挙動と組み合わされ、ほとんど偽輪郭効果は現れない。遷移部の挙動は大きく異なる。実際、遷移を生じさせるのに必要なレベルは、肌のレベルから髪のレベルまでの著しく離れたレベルである。言い換えると、レベルはもはや平滑に変化することはないが、赤の成分の場合として図10に示すように、極めて大きなジャンプを伴っている。

図10において赤の成分が86から53へジャンプしていることがわかる。この間のレベルは使用されていない。この場合、発光の重心における変化を制限するという、GCCの主要な狙いは直接適用することはできない。実際、レベルは相互に大きく離れており、この場合には、重心の発想はもはや有益ではない。言い換えると、遷移領域においては偽輪郭は再び感知されるようになる。さらに、大きな階調変化領域でディザリングノイズがあまり感知されなくなるような措置を追加する必要があり、これらの領域で、偽輪郭に適合させる以上の符号語であって、より少ないGCC符号語の使用が可能となるようにしなければならない。
欧州特許出願公開第1256924号明細書

本発明の課題は画像の内容によらず、偽輪郭効果およびディザリングノイズを抑制することの可能なビデオ画像処理の方法および装置を提供することである。

この課題は特許請求の範囲の独立項1および10に示す解決策によって達成することができる。

本発明の主な提案は、表示される画像を、少なくとも2つの形式の領域、例えば低いビデオ階調度領域と高いビデオ階調度領域に分割し、領域の各形式に異なる組のGCC符号語を割り当てるものであり、領域の1つの形式に割り当てられた組は、この形式の領域における偽輪郭およびディザリングノイズを抑制し、割り当てられたGCC符号語の組で表示される画像の各領域のビデオレベルを符号化する役割を担う。

この方法では偽輪郭効果およびディザリングノイズの抑制が領域毎に最適化される。

本発明の実施例は図面に示されており、以下に詳細に記載される。

本発明では画像の符号化のため、複数のGCC符号語の組を使用する。特定のGCC符号語の組は画像領域の各形式に割り当てられる。例えば、第1の組は画像において低いビデオ階調度を有する平滑な領域に割り当てられ、第2の組は画像において高いビデオ階調度の領域に割り当てられる。各組におけるサブフィールド符号語の値および数は対応する領域において偽輪郭およびディザリングノイズを抑制するように選択される。

GCC符号語の第1の組はqの異なるビデオレベルに対応したqの異なる符号語を有し、第2の組はより少ない符号語、例えばr＜q＜nに相当するrの符号語を有する。1つの符号化と別の符号化の間に目に見えるいかなる変化も生じないようにするため、第2の組は第1の組サブセットの1つであることが好ましい。

第1の組は、ディザリングノイズの抑制と偽輪郭の抑制の間で適切な妥協がされるように選択される。第2の組は第1の組の1サブセットであって、偽輪郭に対してよりロバスト性を有するように選択される。

11のサブフィールド、1 2 3 5 8 12 18 27 41 58 80、を有するフレームに基づく例として2つの組が以下に示されている。

低いビデオレベル解像度領域に使用される第1の組は、例えば以下の38の符号語を有する。重心のこれらの値は以下の表の右側に示されている。

これらの符号語の一時的重心は図11に示されている。

高いビデオレベル解像度領域に使用される第2の組は、以下の11の符号語を有する。

これらの符号語の一時的重心は図12に示されている。

これらの11の符号語は第1の組に属している。第1の組において、標準的なGCC手法と一致する第1の組の38の符号語から11の符号語を保持する。しかしながら、いかなる偽輪郭レベルをも確実に保持しないようにするため、これらの11の符号語はビット構造の点からは同じ骨子を基にしている。

この骨子を選定すると以下のようになる。

レベル1および4はこれらの間に全く偽輪郭を生じさせない。コード1（1 0 0 0 0 0 0 0 0 0 0）はコード4（1 0 1 0 0 0 0 0 0 0 0）に含まれるからである。レベル1と9およびレベル1と17に対しても同様である。9および17はいずれも1 0で始まるからである。レベル4と9およびレベル4と17についても同様である。9と17はいずれもレベル4で表される1 0 1で始まるからである。実際にこれら1、4、9、および17の全レベルを比較すると、これらの間の偽輪郭は完全に除去されることがわかる。実際にレベルMがレベルNよりも大きいとき、レベルNのコードに関して1への最終ビットまでのレベルNの最初のビット部は、先述の例のようにレベルMに含まれる。

この規則はレベル37のレベル163までの関係においても成立する。この規則を外れる第1の時間はレベル1から17までのグループとレベル37から163までのグループの間にある。事実、最初のグループにおいては、第2ビットは0であるのに対して、第2のグループでは第2ビットは1である。17から37への遷移の場合、値2（第2ビットに対応する）の偽輪郭効果が現れる。これは37の大きさに比べて無視できる。

第2のグループ（37から163）と第1ビットの異なる242の間の遷移の場合、並びに第1および第6ビットの異なる242と255の間でも同様である。

以下に示す2組は2つの極端な場合であって、一方は理想的な平滑領域の場合、他方は高いビデオ階調度での極めて大きな遷移の場合である。しかし図13に示すように、表示される画像の階調度レベルに応じて符号化GCCの3以上のサブセットを定めることも可能である。この例においては、異なる6のGCC符号語のサブセットが定義され、それらは低い解像度に対する標準的な手法（レベル1）から始まり、極めて高いコントラスト(レベル6)に対する著しく抑制された符号語の組に至る。階調度レベルが増大する度にGCC符号語の数は低減し、この例では40（レベル1）から11（レベル6）になる。

GCC符号語の組およびサブセットの定義に加えて、本考えの主な提案は、適切な符号化手法を選定するため、現時点での周囲の画素のビデオ階調度を解析することである。

現時点でのビデオ階調度値を抽出するための標準的なフィルタ処理を以下に示す。

上述の3つのフィルタは階調度抽出の例に過ぎない。そのような階調度抽出の結果は図14に示されている。黒領域は低い階調度領域を示す。この領域では標準的なGCC手法が利用可能であり、例えばこの例では38の符号語の組が使用されている。一方明るい領域は、より少ないGCC符号語の組が使用される領域に一致する。符号語のサブセットは各ビデオ階調度範囲と相関がある。本例では、6の重複しないビデオ階調度範囲を定めている。

多くの他のタイプのフィルタを用いることが可能である。本考えの主な提案は、画素のビデオレベルを符号化するに際してどの符号語の組を使用すべきかを決定するため、局部階調度値を抽出することのみにある。

水平階調度はより重要である。ビデオ列には垂直方向より水平方向の動きの方が多いためである。従って、水平方向において増大する階調度抽出フィルタを使用することが有益である。垂直係数のみが高価であり（ラインメモリが必要となるため）、オンチップの要求に関してはそのようなフィルタは現在でも極めて安価である。そのような拡張フィルタの例を以下に示す。

この場合、各符号の組に対して階調度の限界が定められ、現在の画素の階調度がある範囲に含まれるときに適切な符号化の組が用いられることになる。

本発明を実施する装置は図15に示されている。入力R、G、B画像はガンマブロック1に進み、以下の式の二次関数計算が実行される。

出力=4095×（入力／MAX）^γ
ここでγは2.2近傍のより大きなまたは小さな値、MAXは最大入力値を表す。このブロックの出力信号は、低いビデオレベルを正確に表現することができるよう12ビットより大きいことが好ましい。次に出力信号は、先に示したフィルタの1つである階調度抽出ブロック2に進む。理論上はガンマ補正の前に階調度抽出を行うことが可能である。階調度抽出そのものは、入力信号のうち最上位ビット（MSB）のみを用いて単純化することができる（例えば6の最大ビット）。抽出された階調度レベルは符号化選択ブロック3に送られ、使用される適切なGCC符号化組が選定される。この選定された形式に基づいて、再設計LUT4および符号化LUT6が更新される。これらの間にあるディザリングブロック7はビデオ信号を正確に再現するため、4より多くのビットのディザリングを加える。再設計ブロック4の出力は、pを用いられるGCC符号語の全量としたとき（本例では40から11）、p×8ビットであることに留意する必要がある。8の追加のビットはディザリング用に使用され、ディザリング後には符号化ブロック用のpのレベルのみを有するようになる。

8のサブフィールドを有するビデオフレームのサブフィールドの構成を示す図である。 異なる符号語の一時的重心を示す図である。 図1のサブフィールド構成における各サブフィールドの一時的重心を示す図である。 1 2 3 5 8 12 18 27 41 58 80の重量で符号化する11のサブフィールドに対するビデオレベルの一時的重心を示す図である。 ビデオレベルとともに連続的に増大する一時的重心の一連の符号語の選択を示す図である。 nのサブフィールドを有するフレームに対する2ⁿの異なるサブフィールド配列の一時的重心を示す図である。 画像およびこの画像の一部のビデオレベルを示す図である。 画像のこの部分の再現に用いられるビデオレベル範囲を示す図である。 図7の画像および画像の他の部分のビデオレベルを示す図である。 図9の画像の一部の再現のための実行されるビデオレベルのジャンプを示す図である。 低い階調領域を再現するために用いられる第1組の符号語の重心を示す図である。 高い階調領域を再現するために用いられる第2組の符号語の重心を示す図である。 表示される画像領域の階調に従って選択された符号語の複数の可能な組を示す図である。 画像における階調の抽出結果を示す図である。 本発明の装置の機能図を示す図である。

符号の説明

1 ガンマブロック
2 階調度抽出ブロック
3 符号化選択ブロック
4 再設計LUTブロック
5 ディザリングブロック
6 符号化LUTブロック

Claims (12)

1. 特に動的偽輪郭効果およびディザリングノイズの補償に用いるビデオ画像処理方法であって、
   各ビデオ画像は少なくとも1の色成分（RGB）を有する画素で構成され、色成分値は、デジタル符号語（以下サブフィールド符号語という）でデジタル符号化され、サブフィールド符号語の各ビットに割り当てられた期間（以下サブフィールドという）、画素の色成分は発光のために活性化され、
   画像のビデオ階調度に従って、各ビデオ画像を少なくとも2つの形式の領域に分割するステップであって、特定のビデオ階調度範囲は領域の各形式に割り当てられるステップと、
   領域の各形式に対して、前記形式の領域における偽輪郭効果およびディザリングノイズの両方またはいずれかを抑制する役割を担うサブフィールド符号語の特定の組を定めるステップと、
   前記サブフィールド符号語の組と一致するように、画像の各領域の画素を符号化するステップと、
   を有することを特徴とする方法。
2. 前記サブフィールド符号語の各組において、サブフィールド符号語の発光のための一時的重心（CGi）は、第1の所定の限度よりも低いビデオレベル範囲、および第2の所定の限度よりも高いビデオレベル範囲の双方またはいずれか一方を除き、ビデオレベルと対応して連続的に増大することを特徴とする請求項1に記載の方法。
3. 前記ビデオ階調度範囲は重複せず、前記サブフィールド符号語の組における符号の数は、対応する前記ビデオ階調度範囲の平均階調度が高くなるにつれて減少することを特徴とする請求項2に記載の方法。
4. 第1の組はビデオ階調度範囲が最大の階調度値を有するように定義され、他の組はこの第1の組のサブセットであることを特徴とする請求項3に記載の方法。
5. 特定のビデオ階調度範囲に対して定められた組は、より低い階調度値を有する近接のビデオ階調度範囲に対して定められた組のサブセットであることを特徴とする請求項4に記載の方法。
6. 最大のビデオ階調度を有するビデオ階調度範囲に割り当てられた組のサブフィールド符号語は、前記組の連続したビデオレベルの少なくとも1つのサブセットにおいて、ビデオレベルのサブフィールド符号語が、前記組において隣接するより低いビデオレベルのサブフィールド符号語の「1」までのビット部を少なくとも含むように定められることを特徴とする請求項2ないし5のいずれかに記載の方法。
7. ビデオ画像を画像のビデオ階調度に対応した領域に分割するため、前記画像は階調度抽出フィルタでフィルタ処理されることを特徴とする請求項2ないし6のいずれかに記載の方法。
8. 前記階調度抽出フィルタは水平フィルタであることを特徴とする請求項7に記載の方法。
9. 前記第1の所定の限度は最大ビデオレベルの約10％であって、前記第2の所定の限度は最大ビデオレベルの約80％であること、またはそのいずれか一方であることを特徴とする請求項2ないし8のいずれかに記載の方法。
10. 特に動的偽輪郭効果の補償に用いるビデオ画像処理装置であって、各ビデオ画像は少なくとも1の色成分（RGB）を有する画素で構成され、さらに
    デジタル符号語（以下サブフィールド符号語という）で少なくとも1つの色成分値をデジタル符号化する第1の手段（1、4）であって、サブフィールド符号語の各ビットに割り当てられた期間（以下サブフィールドという）、画素の色成分は発光のために活性化される、第1の手段と、
    各ビデオ画像を、画像のビデオ階調度に応じて少なくとも２つの形式の領域に分解する階調度抽出ブロック（2）であって、特定のビデオ階調度範囲は領域の各形式に割り当てられる、階調度抽出ブロックと、
    少なくとも1の色成分に対し、p通りの可能なサブフィールド符号語の中から、iを整数として領域の各形式Tiに対し、この形式の領域の少なくとも1の色成分を符号化するmiのサブフィールド符号語の組Siを選定する第2の手段（3）であって、各組Siは、対応領域において偽輪郭効果およびディザリングノイズの両方またはいずれかを抑制する役割を担うために用いられる、第2の手段と、
    各ビデオ画像の異なる領域を、関連するサブフィールド符号語の組で符号化する第3の手段（4、6）と、
    を有することを特徴とする装置。
11. 前記第1の手段は、階調描画を増大するため少なくとも1の色成分に対して、ディザリング値がビデオ画像の符号語に付加されるディザリングブロック（5）を有することを特徴とする請求項10に記載の装置。
12. 前記第1の手段は、画像の入力ビデオレベルがビデオソースにおけるガンマ補正を補償して増幅される非ガンマ化ブロック（1）を有することを特徴とする請求項10または11に記載の装置。

Images