JP2009521168A - 表示画像における圧縮アーチファクトの低減 - Google Patents

表示画像における圧縮アーチファクトの低減 Download PDF

Info

Publication number
JP2009521168A
JP2009521168A JP2008546725A JP2008546725A JP2009521168A JP 2009521168 A JP2009521168 A JP 2009521168A JP 2008546725 A JP2008546725 A JP 2008546725A JP 2008546725 A JP2008546725 A JP 2008546725A JP 2009521168 A JP2009521168 A JP 2009521168A
Authority
JP
Japan
Prior art keywords
pixel value
area
threshold
ringing
maximum pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008546725A
Other languages
English (en)
Inventor
オー キレンコ,イーホル
Original Assignee
ペイス マイクロ テクノロジィ ピーエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペイス マイクロ テクノロジィ ピーエルシー filed Critical ペイス マイクロ テクノロジィ ピーエルシー
Publication of JP2009521168A publication Critical patent/JP2009521168A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

方法、受信機及び表示装置において、圧縮されたデータストリームが伸張される。伸張は、リンギング効果をもたらしうる。リンギング効果を低減するため、解析ウィンドウ(AWH,AWV)が利用され、それが分割線dに沿って2つのサブエリア(AWH1,AWH2,AWV1,AWV2)に分割される。各サブエリアについて、最大ピクセル値勾配(MAXD1,MAXD2)が決定され、勾配は2つの方向で決定される。すべての勾配の最大値(max(MAXD1,MAXD2))が閾値を超えた場合(max(MAXD1,MAXD2)>Tmax)、各エリアの最大勾配の間の差分が閾値を超えると(|MAXD2−MAXD1|>T1)、ローパスフィルタリングが適用される。ローパスフィルタリングの方向は、サブエリアの最大ピクセル値勾配の間の差分の符号によって決定される。

Description

本発明は、メソッドリンギング(method ringing)が低減される圧縮された画像データストリームの処理方法に関する。
本発明はまた、画像を表示するための圧縮データストリームを受け付けるよう構成された受信機であって、表示された伸張された画像におけるリンギングアーチファクトを低減するリンギング低減手段を有する受信機を有する表示装置に関する。
本発明はまた、画像を表示するための圧縮データストリームを受け付けるよう構成された受信機であって、表示された伸張された画像におけるリンギングアーチファクトを低減するリンギング低減手段を有する受信機に関する。
画像表示システムは、しばしば圧縮データストリームを受け付ける。格納又は送信される必要がある画像データのデータ量を減少させるための各種“非可逆”ビデオ圧縮技術が知られている。JPEG、MPEG又はウェーブレットベースなどの高度な圧縮方式が、閲覧者の知覚に重要でない空間周波数情報を切り捨てることを試みる。高圧縮レートでは、伸張画像に画像アーチファクトが出現するかもしれない。このようなアーチファクトの1つはリンギング(ringing)であり、不要なリプルがエッジ又は急激にコントラストが変化したところに出現する。
リンギングアーチファクトは、エッジを正確に表現するのに必要とされる高空間周波数情報の欠落から生じるものである。人間の視覚系は、ブロッキングアーチファクトと同程度でリンギングアーチファクトに敏感であることが知られている。
従来、伸張されたピクチャからリンギングアーチファクトを除去するため、ローパスフィルタリングが利用されてきた。しかしながら、ローパスフィルタはまた、ピクチャの詳細をも除去し、ぼやけのアーチファクトを生じさせる。このため、伸張されたピクチャに通常生じるリンギングアーチファクトを抑制する適応的方法が必要とされる。伸張画像におけるリンギングアーチファクトを抑制するためのいくつかの方法が知られている。
US6,668,097は、エッジを検出するアルゴリズムを利用して、オブジェクトのエッジを特定し、検出されたエッジに沿ってスムージングを適用するシステムについて記載している。このようなアプローチの問題点は、エッジを検出及び分類するのに高い計算コンプレクシティを要することと、処理の逐次的性質(まずオブジェクトが検出され、その後で適応的フィルタリングが適用される)とである。しかしながら、アルゴリズムの主要な問題点は、アルゴリズムの全体の基礎となるエッジ検出機構のロウバスト性が低いことにより生じるものである。テクスチャ、ノイズ又はリンギングリプルからオブジェクトのエッジを識別するため、解析ウィンドウは十分大きなものであるべきである。大きなサイズの解析ウィンドウは、アルゴリズムの実現のための遅延、コンプレクシティ及びメモリ要求を増大させる(特にハードウェアによる実現の場合)。さらに、解析ウィンドウのサイズより小さな長さの短く強力なエッジは、エッジとしては検出されず、それらは依然としてリンギングを生成するかもしれないが、フィルタリングに対して選択されない。
US特許出願2004/012582は、ピクチャにおけるリンギング状のエリアが検出され、ローパスフィルタリングが当該エリアに適用される異なるアプローチについて記載している。この検出は、解析ウィンドウにおける近傍ピクセルに基づき画像の各ピクセルのローカルな分散/偏差を計算することによって実現される。当該エリアは、解析ウィンドウ内のピクセルの分散が所定の閾値より大きい場合、リンギングを有しているとみなされる。このようなアプローチのボトルネックは、ノイズ又は画像テクスチャを有するエリアからの“リンギング状”エリア間のロウバストな識別である。なぜなら、これらすべてのエリアは、同じレベルの空間アクティビティ(同一のピクセル分散)を有するためである。
本発明の課題は、導入部に記載されるような、ピクチャの精細な詳細部が過度にぼやけることを防止しながら、相対的にシンプルでロウバストなリンギング低減方法が適用されるシステム、表示装置及び方法を提供することである。
このため、本方法は、画像のエリアが選択され、分割線に沿って実質的に等しいサイズの2つのサブエリアに分割され、隣接ピクセル間の第1最大ピクセル値勾配が前記サブエリアの1つについて確定され、第2最大ピクセル値勾配が他方のサブエリアについて確定され、前記第1及び第2最大ピクセル値勾配の最大値が第1閾値を上回り、前記第1及び第2最大ピクセル値勾配の間の関係が第2閾値を充足する場合、ローパスフィルタリングが適用され、前記ローパスフィルタリングは、前記分割線に直交して実行され、前記ローパスフィルタリングは、前記第1及び第2最大ピクセル値勾配の間の差分の符号化に応じて適用されるという特徴を有する。
解析エリア内の最大ピクセル値勾配が閾値を上回る場合に限って、ローパスフィルタリングが適用される。すなわち、第1及び第2最大ピクセル値勾配の最大値が第1閾値を上回るときに限って、ローパスフィルタリングが適用される。これは、フィルタリングが強力なエッジ又は急激に値が変化する場所の近傍でのみ適用されるという効果を提供する。
さらに、サブエリアの最大ピクセル値勾配の間の関係が第2閾値を満たす場合に限って、ローパスフィルタリングが適用される。典型的には、サブエリにおいて、強力なエッジ又は大きな変化が相対的に穏やかなサブエリアの隣にあるとき、リンギングが生じる。これら2つのサブエリアが同様の最大ピクセル差を有する場合、例えば、テクスチャにおける場合、リンギング低減は適用されない。その関係は、最大ピクセル値勾配の間の絶対差が第2閾値より大きいというものとすることができる。この関係はまた、最大ピクセル値勾配の間のレシオとすることも可能であり、この場合、当該レシオは、選択されるレシオに応じて第2閾値を上下する。
典型的には、リンギングは、変化から離れる変化に直交する方向において強力なエッジ又は急激な変化に隣り合って発生する。第1及び第2最大ピクセル値差分の間の差分の符号は、2つのサブエリアの何れにおいて急激な変化又はエッジが生じるか示す。ローパスフィルタリングは1次元的に適用され、固定された方向において、すなわち、差分に応じた分割線に直交して適用される。本方法は、テクスチャに影響を与えないリンギングを低減するシンプルでロウバストな方法を提供する。
複雑なエッジ判定やエッジ方向判定などを必要としないシンプルな計算とシンプルな解析ウィンドウしか必要としないアルゴリズムの簡略さは、本方法に大きなロウバスト性とスピードとを提供する。エッジ方向の検出はされず、ローパスフィルタリングは、分割線dに直交した方向1において1次元的にしか実行されず、大変シンプルなアルゴリズムが使用される。さらに、テクスチャなどの画像特徴に対する過度にネガティブな効果を与えることなく、リンギングが効果的に低減されるという実験結果が示されている。エッジに係るものでなく、例えば、DCTブロックサイズよりはるかに小さなサイズの大変小さな特徴に係るリンギング効果がまた効果的に低減される一方、エッジ方向の判定に基づき反リンギング方法は、本当のエッジを識別できないため、しばしばこのような状況においてリンギングを低減しない。
本発明による表示装置及び受信機は、本発明によるアルゴリズムを実行するリンギング低減手段を有する。
本発明による方法は、好ましくは、最初に水平方向のフィルタリングが行われ、その後に垂直方向のフィルタリングが行われるなど、2つの直交した方向により実行される。
エリアは、典型的には、n*mピクセルのエリアであり、nは分割線に直交するピクセルの個数であり、好ましくは、nは偶数で、mは奇数である。好ましくは、nは6で、mは3である。各サブエリアが3×3のピクセルしかないこのような小さなウィンドウでさえ、大変良好な結果が得られる。
第1閾値は、固定された閾値であってもよい。このような実施例では、最大勾配が固定値を超えた場合に限って、ローパスフィルタリングが適用される。
実施例では、第1閾値はエリア内のピクセル値の値に依存する。このため、例えば、エリアの平均ピクセル値が大きくなるに従って、第1閾値は大きくなる。このとき、第1閾値は相対的な閾値となる。
第2閾値がまた、固定され、又はエリア内のピクセル値に依存するかもしれない。
図面はスケーリングして描画されていない。全体的に、同一のコンポーネントは、図の同一の参照番号により示される。
本発明は、添付された図面を参照して以降においてより詳細に説明される。図面には、本発明の好適な実施例が示される。しかしながら、本発明は、異なる多数の形式により実現可能であり、ここに与えられる実施例に限定されると解釈されるべきでなく、むしろ、本開示が完全なものになるようにこれらの実施例は提供され、本発明の範囲を当業者に十分に伝えるものである。全体を通じて、同様の番号は同様の要素を参照する。
データストリームを圧縮する、すなわち、データストリーム内のデータ量を減少させるための圧縮技術がしばしば利用される。特に、消費者記録装置(DVDレコーダ、ハードディスクレコーダなど)は、デジタル圧縮アルゴリズムを利用して、MPEG2ストリームなどのデジタル圧縮ストリームを提供する。このような圧縮技術は、可逆的なものであるかもしれないが、しばしばかなりの量の圧縮が利用されるとき、データの損失は受け入れられるものと考えられる。典型的には、データの損失が相対的に小さく維持されるように、データ圧縮技術は構成され、これにより、伸張された表示画像におおいてデータ圧縮の視覚的効果は大きくは認識されない。しかしながら、特に高い圧縮レシオでは、伸張画像に画像アーチファクトが出現するかもしれない。このようなアーチファクトの1つはリンギングであり、エッジ又は急激にコントラストが変化した部分に不要なリプルが出現する。
リンギングアーチファクトは、エッジを正確に表現するのに必要な高空間周波数情報の損失から生じる。人間の視覚系は、ブロッキングアーチファクトと同程度にリンギングアーチファクトに敏感であることが知られている。
図1は、リンギングの視覚的効果を概略的に示す。画像では、オブジェクト1はエッジ2を有している、エッジ2の近傍では、かすかなリプル3が見える。同様の効果5が、シャープなポイントや小さなオブジェクト4の近傍に見える。
図2は、本発明による方法を概略的に示す。ビデオでありうるが、またテキスト及び/又は静止画でありうる圧縮画像データストリーム21が、伸張方法ステップ21において伸張される。伸張後、伸張されたデータストリーム23は、ディスプレイの表示画面に直接送信される場合、リンギングを示すであろう。リンギングを低減するため、データストリームにはリンギング低減方法ステップ24が実行される。これは、ハードウェア又はソフトウェア形式により実行可能である。結果として得られるデータストリーム25は、表示用の表示画面26に送信される。
図3は、本発明による装置30を概略的に示す。ビデオでありうるが、またテキスト及び/又は静止画でありうる圧縮された画像データストリーム21は、装置30の入力31に対する入力となる。データストリームは、伸張手段32において伸張方法ステップ21により伸張される。伸張後、伸張されたデータストリーム33は、ディスプレイの表示画面に直接送信される場合、リンギングを示すであろう。リンギングを低減するため、リンギング低減手段34において、データストリームについてリンギング低減方法ステップが実行される。これは、ハードウェア又はソフトウェア形式により実行可能である。結果として得られるデータストリーム35は、装置30の出力36における出力であり、表示用の表示画面26に送信されるかもしれない。
この例では、装置は、入力31において受け付けた圧縮された入力データストリーム21を、装置の出力35において伸張された出力データストリーム35に変換する。このような装置は、例えば、ケーブルなどの入力信号とテレビなどの表示装置との間に接続される受信機であるかもしれない。
図4は、本発明による表示装置を示す。この装置は、表示画面38が装置に構成されるという事実を除き、図3に示される受信機と同様である。
表示装置は、限定されるものでないが、テレビのモニタ、ラップトップなどの携帯装置、携帯電話の1つでありうる。
図5は、本発明による方法を示す。
本発明は、ローカルな空間解析に基づく適応的処理によりリンギングアーチファクトを低減する方法を提供する。アルゴリズムは、画像テクスチャやエッジをぼやかすことなく、強力なエッジの周囲の可視的なリンギングのみを除去することを目的とする。このアルゴリズムは、シンプルなハードウェア又はソフトウェアによる実現を可能にする。
提案されるアルゴリズムは、2つの部分から構成される。アルゴリズムはラスタースキャン順に画像に適用される。
本発明によるアルゴリズム及び方法の第1部分は、リンギングアーチファクトの位置を有するエリアの検出である。これらのエリアを検出するため、ピクセルの空間空き席エリアAWH(水平方向の解析ウィンドウ)が解析される。当該エリアは、グレイのドットYp1,YP2などにより図5に概略的に示される。このm*nの解析エリア、本例では6×3の解析エリアは、ラインdをm/2*nのサイズ、本例では3×3の2つのサブエリアAWH1,AWH2に分割することによって分割される。取得したサブエリアのそれぞれについて、隣接するピクセルペアの間の最大勾配(MAXD1又はMAXD2)が求められる。
Figure 2009521168
本例では、最大勾配は、単なるピクセル値の差分である。
解析ウィンドウのサイズは、より大きなものであるかもしれないが、好ましくは、8×8などのブロックサイズより大きくはない。
デリンギング(de−ringing)が、強力なエッジの周囲のピクセルにのみ適用される。これは、max(MAXD1,MAXD2)>Tmax(ただし、Tmaxはデリンギングの適用するための第1閾値である)が成り立つ場合に限って、フィルタリングが実行されることを意味する。これは、フィルタリングが強力なエッジ又は急激な値の変化の近傍にのみ適用されるという効果を提供する。
第1閾値は、固定された閾値であるかもしれない。このような実施例では、最大勾配が固定された値を上回る場合に限って、ローパスフィルタリングが適用される。
実施例では、第1閾値は当該エリアのピクセルアクティビティの値に依存する。このため、例えば、エリア内のピクセルペアの平均勾配が高くなるに従って、第1閾値は大きくなる。このとき、第1閾値は相対的な閾値となる。
実験では、Tmaxは、Tmax=40となるよう設定された。このようなTmaxの大きな値は、テクスチャもブロッキングエッジもリンギングアーチファクトのソースとして検出されないことを保証する。
第2閾値は、MAXD1とMAXD2の差分が第2閾値T2を超えるという事実により与えられる。典型的には、サブエリアにおいて強力なエッジ又は大きな変化があるとき、相対的に小さなMAXD2又はMAXD1を有するエリアである相対的に静かなサブエリアの隣の相対的に大きなMAXD1又はMAXD2を有するエリアにおいて、リンギングが生じ、最もよく見える。これら2つのサブエリアが同様の最大ピクセル差を有する場合、例えば、テクスチャにおける場合には、リンギング低減は適用されない。このため、本例では、フィルタリングは、第1最大ピクセル値の勾配と第1最大ピクセル値の勾配との間の絶対的な差分が第2閾値より多くなる、すなわち、|MAXD1−MAXD2|>T1となるようなMAXD1とMAXD2との間の関係が存在する場合に限って、フィルタリングが適用される。
第3に、取得された最大勾配値MAXD1及びMAXD2は、適応的ローパスフィルタリングの方向を規定するのに利用される。
すなわち、MAXD1−MAXD2>T1である場合(従って、MAXD1がMAXD2より大きい場合)、フィルタリングは、ピクセルY4−Y6からY1−Y3の方向で行われる。
MAXD2−MAXD1>T1である場合(従って、MAXD2がMAXD1より大きい場合)、フィルタリングは、ピクセルY1−Y3からピクセルY4−Y6の方向で行われる。
2次元空間ウィンドウが解析に利用されるが、アルゴリズムの次のステップにおける適応的ローパスフィルタリングは、ピクセルY1,Y2上の水平線1に沿って1次元的にのみ実現される。画像全体において検出されたエリアにおける水平方向のフィルタリングがまず実行され、その後に垂直方向のフィルタリングが実行される。
複雑なエッジ判定やエッジ方向判定などを必要としないシンプルな計算とシンプルな解析ウィンドウしか必要としないアルゴリズムの簡略さは、本方法に大きなロウバスト性とスピードとを提供する。エッジ方向の検出はされず、ローパスフィルタリングは、分割線dに直交した方向1において1次元的にしか実行されず、大変シンプルなアルゴリズムが使用される。さらに、テクスチャなどの画像特徴に対する過度にネガティブな効果を与えることなく、リンギングが効果的に低減されるという実験結果が示されている。エッジに係るものでなく、例えば、DCTブロックサイズよりはるかに小さなサイズの大変小さな特徴に係るリンギング効果がまた効果的に低減される一方、エッジ方向の判定に基づき反リンギング方法は、本当のエッジを識別できないため、しばしばこのような状況においてリンギングを低減しない。
以下のコードは、提案されたフィルタリング方法を説明している。
Figure 2009521168
ここで、Y2’−Y5’は、フィルタリングされたルミナンスコンポーネントの出力値である。
本発明によると、最大勾配を有するサブウィンドウに直交して、ローパスフィルタリングが適用される。上記の式における閾値T2及びT3は、強力なオブジェクトエッジの周囲にある画像テクスチャがフィルタリングされることをプロテクトするのに利用される。ピクセルペア勾配値(Y3−Y2又はY2−Y2)が閾値T2又はT3より小さい場合、エッジの周囲にはテクスチャは存在しないと仮定され、このため、ローパスフィルタリングが適用されるかもしれない。テクスチャの可視性及びリンギングの重大性は画像のグローバルなクオリティに依存するため、閾値T2及びT3は、好ましくは、画質又は圧縮レシオ(ビットレート)に依存する。T2及びT3の大きな値は、より高い圧縮が利用され(より低いビットレート)、この結果、画像が低クオリティを有する場合に選択されるべきである。
上記アルゴリズムの条件(MAXD2−MAXD1)>T1はまた、MAXD1又はMAXD2が最大であるか否かに応じて、(MAXD2/MAXD1)>T1又は(MAXD2/MAXD1)<1/T1などによって、MAXD1とMAXD2の各値の間のレシオ又は一般的な関係の形式により表現することが可能である。差分を利用することは、大変シンプルで直接的な方法を提供する。レシオを利用することは、ピクセル値に大きな相違があるか、又はピクセル値の範囲が事前に知られていない画像に対してより効果的であるかもしれない。差分MAXD2−MAXD1の符号は、レシオMAXD2/MAXD1により決定される。この結果、当該符号に関する何れの条件も、レシオMAXD2/MAXD1に関して、すなわち、当該レシオが1より大きいか又は小さいかに関係なく表現可能である。
図6は、垂直方向の次元における解析に適用されるときの本方法を示す。解析エリア又はウィンドウAWV(垂直方向解析ウィンドウ)は、直線dを2つのサブエリアAWV1及びAWV2に分割される。このとき、MAXD1及びMAXD2の計算は、
Figure 2009521168
となる。
当該アルゴリズムは、Y1,Y2などがV1,V2などに置き換えられていることを除いて、上述したアルゴリズムと同様である。
上記の図は、固定された解析ウィンドウに関する本方法を示す。解析ウィンドウは、本発明による方法では、画像全体又は一部においてスキャンされる。図7Aは、垂直方向の解析において、垂直方向の解析ウィンドウAWHが、ラインY1,Y2,Y3などが完全にカバーされるまで、ただし、解析ウィンドウAWHが図7Bに概略的に示されるようなラインだけ下方にシフトされた後に、垂直ラインに沿ってシフトされる。
図8A及び8Bは、垂直方向の解析ウィンドウAWVを利用した垂直方向の解析を除き同一である。この解析ウィンドウは、近傍の垂直ラインに沿ったスキャンを行うため、解析ウィンドウが水平方向にシフトされた後(図8Bを参照)、解析が完全な垂直ラインV1,V2などに適用されるまで(図8Aを参照)、垂直ラインに沿ってスキャンされる。
閾値Tmax,T1と、おそらくT2,T3などは垂直方向の解析と水平方向の解析について同じであってもよいが、異なっていてもよい。例えば、オリジナルデータがインタレースされている場合、これらの閾値は、好ましくは、水平方向の解析より垂直方向の解析についてより大きなものとなる。
本発明による方法は、エッジの方向の正確な規定を必要としないことに留意されたい。US2004/0184669に記載されるものなどの既知の方法は、エッジの方向の正確な規定を要求する。支配的なエッジが真っ直ぐな水平又は垂直方向を有する場合、このようなエッジを検出することは比較的簡単である。しかしながら、エッジが弧や非線形な形状を有する場合、又はオブジェクトのエッジに90°の角度がある場合、簡単ではない。このようなエッジは、複雑な2次元フィルタリング機構を必要とする。
本発明は、最大のローカル勾配を有するサブウィンドウに直交した方向に水平に、その後好ましくは垂直に1次元フィルタリングを逐次的に行うことを利用する。エッジの正確な方向を規定し、フィルタリングウィンドウを変更することは要求されない。サブウィンドウの最大勾配MAXD1及びMAXD2の計算中、両方向のローカル勾配が解析されるため、任意の形状及び方向の支配的なオブジェクトエッジが検出される。
本方法は画像全体又は一部に適用可能であることに留意されたい。
要約すると、本発明は以下のように記載されるかもしれない。
方法、受信機及び表示装置において、圧縮されたデータストリームが伸張される。伸張は、リンギング効果をもたらしうる。リンギング効果を低減するため、解析ウィンドウ(AWH,AWV)が利用され、それが分割線dに沿って2つのサブエリア(AWH1,AWH2,AWV1,AWV2)に分割される。各サブエリアについて、最大ピクセル値勾配(MAXD1,MAXD2)が決定され、勾配は2つの方向で決定される。すべての勾配の最大値(max(MAXD1,MAXD2))が閾値を超えた場合(max(MAXD1,MAXD2)>Tmax)、各エリアの最大勾配の間の差分が閾値を超えると(|MAXD2−MAXD1|>T1)、ローパスフィルタリングが適用される。ローパスフィルタリングの方向は、サブエリアの最大ピクセル値勾配の間の差分の符号によって決定される。
本発明はまた、本発明による方法又は装置のための何れかのコンピュータプログラムプロダクトにより実現される。コンピュータプログラムプロダクトは、汎用プロセッサ又は特定用途向けプロセッサがロードステップ系列後(中間言語への変換などの中間変換ステップと最終的なプロセッサ言語を含む)、プロセッサにコマンドを提供し、本発明の特徴的な機能の何れかを実行することを可能にするコマンド群の何れかの物理的実現と理解されるべきである。特に、コンピュータプログラムプロダクトは、ディスクやテープなどのキャリア上のデータ、メモリにあるデータ、有線若しくは無線ネットワーク接続を介し伝送されるデータ、又は紙の上のプログラムコードとして実現されるかもしれない。プログラムコードとは別に、プログラムに必要とされる特徴的なデータはまた、コンピュータプログラムプロダクトとして実現されるかもしれない。
本方法を動作させるのに必要とされるステップのいくつかは、データ入出力ステップなど、コンピュータプログラムプロダクトに記述される代わりに、プロセッサの機能にすでに存在するかもしれない。
上述した実施例は本発明を限定するものでなく説明するものであり、当業者添付した請求項の範囲から逸脱することなく他の多数の実施例を構成することが可能であることに留意すべきである。
請求項において、括弧内に置かれた参照符号は、請求項を限定するものとして解釈されるべきでない。
“有する”という用語は、請求項に列記された以外の要素又はステップの存在を排除するものでない。本発明は、複数の要素を有するハードウェアと、適切にプログラムされたコンピュータによって実現可能である。複数の手段を列記した装置クレームでは、これらの手段のいくつかは単一のハードウェアアイテムにより実現可能である。本発明は、上述された各種好適な実施例の特徴の何れかの組み合わせにより実現可能である。
図1は、リンギングを概略的に示す。 図2は、本発明による方法を概略的に示す。 図3は、本発明による装置を概略的に示す。 図4は、本発明による表示装置を概略的に示す。 図5は、水平方向の解析のため、本発明による方法及び装置に利用されるアルゴリズムの詳細を概略的に示す。 図6は、垂直方向の解析のため、本発明による方法及び装置に利用されるアルゴリズムの詳細を概略的に示す。 図7A及び7Bは、画像における解析ウィンドウのスキャンを概略的に示す。 図8A及び8Bは、画像における解析ウィンドウのスキャンを概略的に示す。

Claims (16)

  1. メソッドリンギングを低減する圧縮された画像データストリームを処理する方法であって、
    画像のエリアが選択され、分割線に沿って実質的に等しいサイズの2つのサブエリアに分割され、
    隣接ピクセル間の第1最大ピクセル値勾配が前記サブエリアの1つについて確定され、
    第2最大ピクセル値勾配が他方のサブエリアについて確定され、
    前記第1及び第2最大ピクセル値勾配の最大値が第1閾値を上回り、前記第1及び第2最大ピクセル値勾配の間の関係が第2閾値を充足する場合、ローパスフィルタリングが適用され、
    前記ローパスフィルタリングは、前記分割線に直交して実行され、
    前記ローパスフィルタリングは、前記第1及び第2最大ピクセル値勾配の間の差分の符号化に応じて適用される方法。
  2. 前記第1閾値は、固定された数である、請求項1記載の方法。
  3. 前記第1閾値は、前記エリアにおけるピクセル値に依存する、請求項1記載の方法。
  4. 前記エリアは、n*mピクセルを有し、
    nは、前記分割線に直交するピクセルの個数であり、
    nは偶数で、mは奇数である、請求項1記載の方法。
  5. m=6、n=3である、請求項4記載の方法。
  6. 画像を表示するための圧縮された画像データストリームを受け付ける受信機と、
    表示される伸張された画像におけるリンギングアーチファクトを低減するリンギング低減手段と、
    を有する表示装置であって、
    前記リンギング低減手段は、
    画像のエリアを選択し、それを分割線に沿って実質的に等しいサイズの2つのサブエリアに分割し、
    前記サブエリアの1つについて隣接ピクセルの間の第1最大ピクセル値勾配と、他方のサブエリアについて第2最大ピクセル値勾配とを確定し、
    前記第1及び第2最大ピクセル値勾配の最大値が第1閾値を上回り、前記第1及び第2最大ピクセル値勾配の間の関係が第2閾値を充足する場合、ローパスフィルタリングを適用し、
    前記リンギング低減手段は、前記分割線に直交して前記ローパスフィルタリングを実行し、前記第1及び第2最大ピクセル値勾配の間の差分の符号に応じて前記ローパスフィルタリングを適用するよう構成される表示装置。
  7. 前記第1閾値は、固定された数である、請求項6記載の装置。
  8. 前記第1閾値は、前記エリアにおけるピクセル値に依存する、請求項6記載の装置。
  9. 前記エリアは、n*mピクセルを有し、
    nは、前記分割線に直交するピクセルの個数であり、
    nは偶数で、mは奇数である、請求項6記載の装置。
  10. m=6、n=3である、請求項9記載の装置。
  11. 画像を表示するため圧縮された画像データストリームを受け付ける受信機であって、
    当該受信機は、表示される伸張された画像におけるリンギングアーチファクトを低減するリンギング低減手段を有し、
    前記リンギング低減手段は、
    画像のエリアを選択し、それを分割線に沿って実質的に等しいサイズの2つのサブエリアに分割し、
    前記サブエリアの1つについて隣接ピクセルの間の第1最大ピクセル値勾配と、他方のサブエリアについて第2最大ピクセル値勾配とを確定し、
    前記第1及び第2最大ピクセル値勾配の最大値が第1閾値を上回り、前記第1及び第2最大ピクセル値勾配の間の関係が第2閾値を充足する場合、ローパスフィルタリングを適用し、
    前記リンギング低減手段は、前記分割線に直交して前記ローパスフィルタリングを実行し、前記第1及び第2最大ピクセル値勾配の間の差分の符号に応じて前記ローパスフィルタリングを適用するよう構成される受信機。
  12. 前記第1閾値は、固定された数である、請求項11記載の受信機。
  13. 前記第1閾値は、前記エリアにおけるピクセル値に依存する、請求項11記載の受信機。
  14. 前記エリアは、n*mピクセルを有し、
    nは、前記分割線に直交するピクセルの個数であり、
    nは偶数で、mは奇数である、請求項11記載の受信機。
  15. m=6、n=3である、請求項14記載の受信機。
  16. 処理手段を有するコンピュータ装置によりロードされコンピュータプログラムであって、
    コンピュータ上で実行されると、請求項1乃至5何れか一項記載の方法について圧縮されたデータストリームを処理する命令を有するコンピュータプログラム。
JP2008546725A 2005-12-21 2006-12-12 表示画像における圧縮アーチファクトの低減 Pending JP2009521168A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05112598 2005-12-21
PCT/IB2006/054774 WO2007072301A2 (en) 2005-12-21 2006-12-12 Reduction of compression artefacts in displayed images

Publications (1)

Publication Number Publication Date
JP2009521168A true JP2009521168A (ja) 2009-05-28

Family

ID=38057265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008546725A Pending JP2009521168A (ja) 2005-12-21 2006-12-12 表示画像における圧縮アーチファクトの低減

Country Status (5)

Country Link
US (1) US20090123079A1 (ja)
EP (1) EP1964058A2 (ja)
JP (1) JP2009521168A (ja)
CN (1) CN101346742A (ja)
WO (1) WO2007072301A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012502540A (ja) * 2008-09-09 2012-01-26 マーベル ワールド トレード リミテッド デジタル画像ノイズの低減

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588544B2 (en) * 2009-10-13 2013-11-19 Sony Corporation Method and system for reducing ringing artifacts of image deconvolution
EP2599311B1 (en) 2010-07-28 2020-02-05 Synaptics Incorporated Block compression artifact detection in digital video signals

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7031552B2 (en) * 2002-04-05 2006-04-18 Seiko Epson Corporation Adaptive post-filtering for reducing noise in highly compressed image/video coding
US7339601B2 (en) * 2003-07-10 2008-03-04 Samsung Electronics Co., Ltd. Methods of suppressing ringing artifact of decompressed images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012502540A (ja) * 2008-09-09 2012-01-26 マーベル ワールド トレード リミテッド デジタル画像ノイズの低減

Also Published As

Publication number Publication date
WO2007072301A2 (en) 2007-06-28
CN101346742A (zh) 2009-01-14
WO2007072301A3 (en) 2007-11-15
EP1964058A2 (en) 2008-09-03
US20090123079A1 (en) 2009-05-14

Similar Documents

Publication Publication Date Title
US8553783B2 (en) Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences
US7570833B2 (en) Removal of poisson false color noise in low-light images usng time-domain mean and variance measurements
US7203234B1 (en) Method of directional filtering for post-processing compressed video
US7706446B2 (en) Image-data processing apparatus
US20040120597A1 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US20050100235A1 (en) System and method for classifying and filtering pixels
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
KR20060124502A (ko) 의사윤곽 제거 방법 및 이 방법이 적용되는 디스플레이장치
JP2004326770A (ja) エイリアジングアーチファクトを自動的に減少させるための方法およびシステム
JPWO2002093935A1 (ja) 画像処理装置
US6611295B1 (en) MPEG block detector
JP2009527175A (ja) 表示される画像における圧縮アーティファクトの低減、エンコードパラメータの解析
TWI477153B (zh) 辨識區塊效應之技術
EP2052350B1 (en) Method and system for reducing mosquito noise in a digital image
JP2009521168A (ja) 表示画像における圧縮アーチファクトの低減
US8831354B1 (en) System and method for edge-adaptive and recursive non-linear filtering of ringing effect
US20120128076A1 (en) Apparatus and method for reducing blocking artifacts
JP4065287B2 (ja) 画像データのノイズ除去方法及びその装置
Kirenko Reduction of coding artifacts using chrominance and luminance spatial analysis
US7474800B2 (en) Method and apparatus for removing image compression artifacts
JP5413122B2 (ja) 画像処理方法および画像処理装置
CN111476803B (zh) 视频处理方法及相关设备
JP2007074051A (ja) 走査変換装置及びプログラム並びに走査変換装置を有するシステム
US20090129473A1 (en) System and method for adjusting compression noise reduction based on global and local motion detection
KR20220158525A (ko) 전자 장치 및 그 영상 처리 방법