JP2010141883A - 画像データの測定ベースのスケーラブルデブロックフィルタリング - Google Patents

画像データの測定ベースのスケーラブルデブロックフィルタリング Download PDF

Info

Publication number
JP2010141883A
JP2010141883A JP2009266424A JP2009266424A JP2010141883A JP 2010141883 A JP2010141883 A JP 2010141883A JP 2009266424 A JP2009266424 A JP 2009266424A JP 2009266424 A JP2009266424 A JP 2009266424A JP 2010141883 A JP2010141883 A JP 2010141883A
Authority
JP
Japan
Prior art keywords
value
block
pixels
pixel
pixel values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009266424A
Other languages
English (en)
Other versions
JP5131864B2 (ja
Inventor
Rochelle Pereira
ペレイラ ロチェール
Santanu Dutta
ドゥッタ サンタヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nvidia Corp
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of JP2010141883A publication Critical patent/JP2010141883A/ja
Application granted granted Critical
Publication of JP5131864B2 publication Critical patent/JP5131864B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 画像データのデブロッキングにおいて、ブロッキングアーチファクトを排除する必要性と、ディテールを満足なレベルに維持する必要性との間の許容できるバランスを取り決めること。
【解決手段】 デブロッキング動作において、ピクセルの第1のブロック内のピクセル値が比較され、また、前記第1のブロックにおけるピクセル値が前記第1のブロックに隣接するピクセルの第2のブロックにおけるピクセル値と比較される。前記比較の結果に基づいて、デジタルデブロッキングフィルタ及び対象領域が選択され、前記対象領域は、前記選択されたフィルタが適用されるべき、前記第1のブロックにおけるピクセルの数及び第2のブロックにおけるピクセルの数を識別するものである。
【選択図】 図3

Description

[0001]本発明による実施形態は、一般的に、データ処理に関し、より詳細には、ビデオデコーディング及びデブロッキングに関する。
[0002]ビデオは、各々がピクセルの2次元アレイより成る一連のピクチャー(又はフレーム)を含む。これらピクセルは、ブロックに分割される(例えば、ピクセルの8x8アレイ)。ビデオは、総ビットレートを減少させるようにエンコード(圧縮)され、このビデオが別の装置へとより効率的に送信されるようにし、その別の装置において、デコード(解凍)され、再構成され、表示されるようにすることができる。
[0003]現在のビデオ及び画像圧縮技法は、ブロック変換係数の知覚量子化の如き非可逆処理を含む。ビデオフレーム内の独立ブロックを非可逆エンコーディングすると、デコードされ再構成された画像のブロックエッジにブロッキングアーチファクトとして知られる急な移行が生じてしまうことがあり、レンダリングされた画像が比較的に塊状の外観を呈してしまうことがある。
[0004]ブロッキングアーチファクトの出現を排除又は減少させるため、デコーディング装置は、デブロッキング動作を行う。デブロッキングにおいては、隣接ブロックの間の移行を滑らかなものとし、表示されるビデオの知覚品質を改善するため、デブロックフィルタ(例えば、ローパスデジタルフィルタ)がブロック境界に亘って適用される。
[0005]しかしながら、適切な強度のデブロックフィルタを選択するのに問題がある。もし、選択されたフィルタが弱過ぎる場合には、ブロッキングアーチファクトの出現を効果的に減少させることができない。他方では、もし、選択されたフィルタが強すぎる場合には、多くのディテールが除去され過ぎてしまうことがある。
[0006]デブロックフィルタを適用するピクセルの数を選択するのにも問題がある。一方の極端な場合として、もし、ブロック境界に直ぐ隣接するピクセルのみにフィルタを適用する場合には、ブロッキングアーチファクトは、効果的に減少又は排除されないことがある。他方の極端な場合として、もし、フィルタがブロックにおけるピクセルの全てに亘って適用される場合には、幾つかのピクセル値が不必要に変更されてしまい、そのブロック内のディテールが失われてしまうことがある。
[0007]従って、ブロッキングアーチファクトを減少又は排除する必要性と、ディテールを満足なレベルに維持する必要性との間の許容できるバランスを取り決めるできるデブロックフィルタを選択できることが重要である。また、画像データのオーバーフィルタリング及び画像ディテールの付随的ロスを避けるために、選択されたデブロックフィルタが適用されるべきピクセルの数を決定できることも重要である。
[0008]本発明の実施形態によれば、デブロッキングするため、ピクセルの第1のブロック内のピクセル値が比較され、また、前記第1のブロックにおけるピクセル値が前記第1のブロックに隣接するピクセルの第2のブロックにおけるピクセル値と比較される。前記比較の結果に基づいて、デジタルデブロッキングフィルタ及び「対象領域」が選択され、前記対象領域は、前記選択されたフィルタが適用されるべき、前記第1のブロックにおけるピクセルの数及び第2のブロックにおけるピクセルの数を識別するものである。
[0009]より特定すると、1つの実施形態では、ピクセルの第1のブロックに対して第1の値が計算され、ピクセルの第2のブロックに対して第2の値が計算され、前記第2のブロックは、前記第1のブロックに隣接するものである。1つの実施形態では、前記第1の値は、前記第1のブロックに対する「アーチファクトカウント」及び前記第1のブロック内の「アクティビティ」に基づいている。前記アーチファクトカウントは、前記第1のブロックに関連するブロッキングアーチファクトの数の尺度を与える。前記アクティビティは、前記第1のブロックでの変動量の尺度を与えており、より特定すると、アクティビティは、選択されたピクセル値の平均又は重み付け平均の如き中間値からの前記選択されたピクセル値の偏差量の尺度を与える。同様の形式において、前記第2の値は、前記第2のブロックに対するアーチファクトカウント及び前記第2のブロック内のアクティビティに基づいている。このような実施形態では、前記第1の値及び前記第2の値は、各々前記アーチファクトカウントに比例しており且つ前記第1のブロック及び前記第2のブロック内の前記アクティビティにそれぞれ反比例している。
[0010]1つの実施形態では、前記アーチファクトカウントは、前記第1のブロックと前記第2のブロックとの間の境界に亘るピクセル値の差を計算し、それらの差を2つのしきい値と比較することにより、決定される。2つのしきい値の使用により、前記アーチファクトの視覚感度をより正確に評価することができ、適切な強度のデブロックフィルタを選択することが容易となる。このような実施形態では、ユーザー(例えば、視聴者)は、個々の好みに基づいて、前記しきい値のうちの少なくとも1つを選択する。
[0011]1つの実施形態では、前述の第1の値及び第2の値のうちの1つが、フィルタのバンクの中からデジタルデブロックフィルタを選択するためのインデックスとして使用され、前記バンクのフィルタは、前記インデックスの値が増大するにつれて、次第に強度が増大していくものである。このような実施形態では、前記第1の値及び前記第2の値のうちの最小のものが、デブロックフィルタを選択するのに使用される。異なる強度のフィルタを有するフィルタバンクの使用により、固定フィルタリング及びフィルタリング判断の間のハードスイッチングに伴う欠点を排除することができる。更にまた、前記フィルタバンクにおけるフィルタの数は、本発明を実施するのに使用されるグラフィック処理装置(GPU)のタイプに従って特定することができる。例えば、ロアーエンド又はベースラインGPUに使用する場合には、より少ないタップを有するより少ない数のフィルタを選択することができる。一般的には、計算処理能力の異なるレベルを有する異なる実施を支援するため、フィルタリングの全体の複雑さを縮小又は拡張することができる。
[0012]それから、前記選択されたデブロックフィルタが、前記第1のブロックと前記第2のブロックとの間の境界に亘って、前記境界の一方の側における特定の数のピクセル及び前記境界の他方の側における特定の数のピクセルに対して適用され、前記ブロック境界に亘る移行を滑らかなものとする前記第1のブロック及び前記第2のブロックに対する新しいピクセル値を生成することができる。より特定すると、前記選択されたデブロックフィルタは、前記第1のブロックにおける第1の数のピクセル値及び前記第2のブロックにおける第2の数のピクセル値に対して適用される。1つの実施形態では、前記ピクセル値の第1の数は、前述した第1の値に対応し、前記ピクセル値の第2の数は、前述の第2の値に対応する。従って、前記第1の値及び前記第2の値は、デブロックフィルタを選択すること及び対象領域を定めることの両者のために使用される。
[0013]要するに、本発明の実施形態によれば、デブロックフィルタリングは、適応性(例えば、ブロック当たりのアーチファクトカウント及びアクティビティによって測定されるようなピクセル値の品質に対して)があり、スケーラブル(例えば、グラフィックスカードの能力に対して)であり、且つユーザーにより制御できるものとなる。本発明による実施形態は、広範囲の処理能力に対して十分に適合できるばかりでなく、広範囲のビデオ品質及び低ビットレートビデオ(例えば、インターネットビデオ)の増強の如きアプリケーションに対しても十分に適合できるものである。
[0014]本発明の種々な実施形態のこれらの目的及び他の目的及び効果については、当業者であれば、種々な図面に例示されている実施形態の以下の詳細な説明を読んだ後、認識できよう。
[0015]本発明は、添付図面の各図に、これに限定するものとしてではなく、単なる例示として示されており、これら図において、同様の参照符号は、同様の要素を指している。
本発明の実施形態によるデコーダを実施することができるシステムの一例のブロック図である。 本発明の1つの実施形態によるデコーディング及び後処理パイプラインの一例の要素を示すブロック図である。 本発明の一実施形態による画像データをデブロッキングするためのコンピュータ実施方法のフローチャートである。 本発明の一実施形態による画像フレームにおけるブロックのアレイの一例を示している。 本発明の一実施形態によるブロッキングアーチファクトを計数するのに使用されるしきい値を例示している。 (A)は、本発明の一実施形態によるブロックにおけるピクセルの行の一例を示している。(B)は、本発明の一実施形態によるピクセル値の分布の一例を示している。 本発明の一実施形態による対象領域の一例を示している。 本発明の一実施形態による画像データを処理するためのコンピュータ実施方法の一例のフローチャートである。
[0025]幾つかの実施形態が添付図面に例示されている、本発明による実施形態について、以下詳細に説明する。これら実施形態に関連して本発明を説明するのであるが、これら説明は、本発明をこれらの実施形態に限定しようとしているものではないことは、理解されよう。反対に、本発明は、特許請求の範囲により定められるような本発明の精神及び範囲内に含まれる代替物、変形物及び均等物を包含しようとしているものである。更にまた、本発明の実施形態の以下の詳細な説明においては、本発明を完全に理解できるようにするため、多くの特定の細部について説明している。しかしながら、本発明は、これらの特定の細部を伴わずとも実施できるものであることは、当業者には認識されよう。一方では、よく知られた方法、手順、構成部分及び回路については、本発明の実施形態の態様を不必要に不明瞭なものとしてしまわないように、詳述していない。
[0026]以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関するオペレーションの手順、ステップ、ロジックブロック、処理及びその他の記号表現の形にてなされている。これらの説明及び表現は、自分の業績の実体を他の当業者に対して最も効果的に伝えるため当業者により使用される手段である。手順、コンピュータ実行ステップ、ロジックブロック、プロセス等は、ここで、且つ一般的に、希望の結果に至る自己矛盾のない一連のステップ又は命令であると考えられている。これらステップは、物理量の物理的操作を必要とするものである。通常、必ずしもそうではないが、これらの量は、コンピュータシステムにおいて記憶されたり、転送されたり、結合されたり、比較されたり、その他の形にて操作されることのできる電気的又は磁気的信号の形を取っている。これらの信号を、ビット、値、要素、記号、文字、用語、数字等として記載するのが、時には、また、主として慣用されているという理由で、便宜的であることが分かっている。
[0027]しかしながら、これらの及び同様の用語の全ては、適当な物理量に関連付けられるものであり、これらの量に適用される単なる便宜的なラベルに過ぎないことを、念頭におかれたい。前述したことから明らかなように、特に断らない限り、本発明を通じて、「エンコーディング」、「デコーディング」、「デブロッキング」、「受け取る」、「送る」、「使用する」、「適用する」、「計算する」、「増分する」、「比較する」、「選択する」、「加算する」、「重み付けする」、「コンピューティング又は算出する」、「アクセスする」等の如き用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理(電子的)量として表されているデータを操作して、コンピュータシステムのメモリ又はレジスタ又は他の同様の情報記憶、送信又はディスプレイ装置内の物理量として同様に表される他のデータへと変換するコンピュータシステム又は同様の電子的コンピューティング装置の動作及び処理を指していることを、理解されたい。
[0028]図3及び図8は、本発明の実施形態によるデータを処理するためのコンピュータ実施方法の一例のフローチャートである。これらフローチャートでは、特定のステップが示されているが、このようなステップは、典型的な例示である。即ち、本発明の実施形態は、種々な他のステップ又はこれらフローチャートに示されているステップの変形を行うため十分に適合されるものである。
[0029]図3及び図8のフローチャートは、1つ以上のコンピュータ又は他の装置により実行される、プログラムモジュールの如きある形式のコンピュータ使用可能な媒体に存在するコンピュータ実行可能な命令として実施することができる。一般的に、プログラムモジュールは、特定のタスクを行い又は特定の抽象データタイプを実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。プログラムモジュールの機能は、種々な実施形態において望まれるように組み合わされ又は分散させることができる。
[0030]一例として、これに限定するものではないが、コンピュータ使用可能な媒体は、コンピュータ記憶媒体及び通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール又は他のデータの如き情報を記憶するための任意の方法又は技法において実施される揮発性及び不揮発性、リムーバブル及びノンリムーバブル媒体を含む。コンピュータ記憶媒体は、これらに限定されないが、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、電気的に消去可能なプログラマブルROM(EEPROM)、フラッシュメモリ又は他のメモリ技法、コンパクトディスクROM(CD-ROM)、デジタルバーサタイルディスク(DVD)又は他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は希望の情報を記憶するのに使用される任意の他の媒体を含む。
[0031]通信媒体は、搬送波又は他のトランスポート機構の如き変調データ信号におけるコンピュータ読み取り可能な命令、データ構造、プログラムモジュール又は他のデータを実施することができ、任意の情報配信媒体を含む。用語「変調データ信号」は、信号のもつ諸特性のうちの1つ以上のものが、その信号における情報をエンコードするような仕方にて設定され又は変更されているような信号を意味している。一例として、これに限定するものではないが、通信媒体は、ワイヤードネットワーク又はダイレクトワイヤード接続の如きワイヤード媒体、及び音響、無線周波数(RF)、赤外線及び他のワイヤレス媒体の如きワイヤード媒体を含む。前述したものの任意のものの組合せも、コンピュータ読み取り可能な媒体の範囲内に含まれるものである。
[0032]以下の説明において、そうではないと言わない限り、「デコーダ」は、デコーディング及びデブロッキングの両方を行う要素(例えば、スタンドアロン又は周辺装置又は統合システム)を指している。「デコーディング」は、そうではないと言わない限り、基本デコーディング動作(例えば、可変長デコーディング、逆量子化、逆変換及びモーション補償)を指しており、一方、「デブロッキング」は、デコーディング結果に対してデブロックフィルタを適用することを指している。「ブロック」は、ピクセルのアレイ(例えば、NxNアレイ)を指している。用語「ピクセル」は、2次元スクリーンスペースにおける位置を指しており、一方、用語「ピクセル値」は、ピクセルに関連したデータ(例えば、ルマ値、クロマ値等)を指している。
[0033]図1は、本発明によるデコーダを実施することができるシステム10の一例のブロック図である。図1の実施形態では、このシステムは、バス15を介してグラフィック処理装置(GPU)12に結合されたホスト中央処理装置(CPU)11を含む。このGPUは、媒体処理装置(MPU)とも称される。
[0034]これらCPU及びGPUは、共に、メモリ14に結合されている。図1の実施形態では、そのメモリは、共有メモリであり、このメモリは、CPU及びGPUの両方のための命令及びデータを記憶する。別の仕方として、CPU及びGPUのそれぞれに専用の別々のメモリを設けることができる。このメモリは、結合されるディスプレイ(スクリーン)13を駆動するピクセルデータを記憶するためのビデオバッファを含むこともできる。
[0035]このシステム10は、1つの実施では、オンスクリーンカーソル制御装置を含むユーザーインターフェース16をも含む。このユーザーインターフェースは、キーボード、マウス及び/又はタッチスクリーン装置(タッチパッド)を含むことができる。
[0036]一般的に言うと、このシステム10は、本発明の実施形態による機能を実施するコンピュータシステムプラットフォームの基本構成部分を含む。このシステム10は、例えば、多数の異なるタイプのコンピュータシステム(例えば、サーバー、ラップトップ、デスクトップ及びノートブック)のうちの任意のもの、並びに、セットトップボックス又はデジタルテレビジョンの如き家庭用娯楽システム(例えば、DVDプレーヤー)、又は携帯用又は手持ち型電子装置(例えば、携帯電話、携帯情報端末又は手持ち型ゲーム装置)として実施される。
[0037]図2は、本発明の1つの実施形態によるデコーダ20の要素を示すブロック図である。一般に、このデコーダは、エンコードされたビットストリーム21を受け取り、そのビットストリームにおけるデータをデコードし、表示可能な画像データ24を生成する。
[0038]1つの実施形態では、生の画像データ(例えば、ビデオデータ)は、エムペグフォー(MPEG−4)パート10又はMPEG−4アドバンスドビデオコーディング(AVC)としても知られている、H.264の如き圧縮スキームを使用して圧縮(エンコード)される。従って、これらに限定されないが、フレームタイプ(例えば、イントラコードI−フレーム、予測P−フレーム又は双予測B−フレーム)、マクロブロック予測モード(例えば、インターブロック対イントラブロック)、変換(例えば、離散コサイン変換)係数、テクスチャ係数及びモーションベクトル情報の如きエンコーディングパラメータのセットが生成される。それから、これらエンコーディングパラメータは、例えば、ハフマンコーディングを使用して、可変長コード(VLC)へと変換される。そのエンコードされたビットストリームは、そのVLCを含む直列化ビットストリームである。
[0039]デコーダは、本質的には、画像データを再構成するように、エンコーディング処理の逆を行うものである。図2の実施形態では、デコーダは、デコーディングステージ22及びデブロッキングステージ23を含むデコーディングパイプライン26を含む。
[0040]デコーディングステージは、可変長デコーディング、逆量子化、逆変換及びモーション補償の如き基本デコーディング(解凍)動作を行う。一般的に、デコーディングステージは、VLCを抽出するためエンコーダされたビットストリームを構文解析し、それから、前述したエンコーディングパラメータを再生するようにそのVLCを変換する。次いで、それらエンコーディングパラメータは、元のビデオデータを再構成するのに使用される(より特定すると、元のビデオデータのある変形が構成される)。
[0041]デブロッキングステージにおいては、再構成された画像がレンダリングされる(表示される)ときに、隣接ブロックの間の境界を滑らかなものとするため、デジタルデブロックフィルタが、デコードされるブロックに適用される。図2の実施形態では、デブロッキングステージは、デコーディングステージにおいて行われるデコーディングのタイプとは無関係であり、従って、ループ外デブロッカーとして類別することができる。
[0042]図3は、本発明の一実施形態によるコンピュータ実施デブロッキング方法の概観を与えるフローチャート30である。ステップ31において、図4も参照するに、第1のブロックB0及び第2のブロックB1に対するデコードされるデータ(ピクセル値)にアクセスする。1つの実施形態では、ここで説明しようとしているデブロッキング方法に対しては、計算の数及び複雑さを減少させるために、ルマ平面のみが使用される。主観テストによれば、ブロッキングアーチファクトの知覚に関しては、クロマ値は、ルマ値程には重要ではなく、従って、デブロックフィルタリングの強度を確立するのに、ルマ値のみを使用することができることが示されている。しかしながら、本発明は、ルマ値のみを使用することに限定されない。
[0043]図3のステップ32において、ブロックB0及びB1の各々について、「アーチファクトカウント」が決定される。一般的に言って、アーチファクトカウントは、各ブロックに関連したブロッキングアーチファクトの数の尺度である。更なる情報については、図4の説明に関連して与えられる。
[0044]図3のステップ33において、ブロックB0及びB1の各々について、「アクティビティ」が決定される。一般的に言って、アクティビティは、ブロック内のピクセル値の偏差の尺度である。更なる情報については、図6の(A)及び(B)の説明に関連して与えられる。
[0045]図3のステップ34において、フィルタバンクからデブロックフィルタを選択するのに、両ブロックについてのアーチファクトカウント及びアクティビティが一緒に使用される。より特定すると、1つの実施形態では、第1のブロックについての第1の値N0が、第1のブロックについてのアーチファクトカウント及びアーチファクトに基づいて計算され、同様にして、第2のブロックについての第2の値N1が計算される。これら値N0及びN1は、インデックス値Nを設定するのに使用され、そのインデックス値は、次いで、フィルタバンクからデブロックフィルタを選択するのに使用される。更なる情報については、図7の説明に関連して与えられる。
[0046]図3のステップ35において、アーチファクトカウント及びアクティビティは、選択されたデブロックフィルタが適用されるべきブロックB0及びB1におけるピクセル値の数を選択するための基礎としても使用される。より特定すると、1つの実施形態では、値N0及びN1は、ブロックB0及びB1の境界に亘って延長し且つ選択されたデブロックフィルタが適用されるべきピクセルの数を定める「対象領域」を特定するのに使用される。更なる情報については、図7の説明に関連して与えられる。
[0047]図3のステップ36において、選択されたデブロックフィルタは、対象領域に対してブロックB0及びB1の間の境界に亘って適用される。即ち、選択されたデブロックフィルタは、それらブロックの各々における対応する数の新しい(変更された)ピクセル値を生成するように、ブロックB0における特定された数のピクセル値及びブロックB1における特定された数のピクセル値に対して適用される。更なる情報については、図7の説明に関連して与えられる。
[0048]1つの実施形態では、前述したような方法が2つのパス、即ち、垂直境界が処理される水平パス及び水平境界が処理される垂直パスにおいて、画像フレームにおけるブロックの全ての水平境界及び垂直境界に対して適用される。これら2つのパスは、順次行われ、この場合には、第1のパスの結果(変更されたピクセル値)は、記憶されて、第2のパスのための入力として使用される。
アーチファクトカウント
[0049]ここで図4を参照するに、画像フレーム40は、ブロックB0及びB1を含むブロックのアレイを含む。このフレーム40は、あるビデオにおけるように、このようなフレームのシーケンスにおける1つのフレームであってよい。
[0050]図4においては、8つ(8)のブロックのみが表されているが、実際には、画像フレームは、このような多数のブロックを含むものである。ブロックB0及びB1は、互いに隣接しており、即ち、ブロックB0及びB1は、エッジ又は境界41を共有している。ブロックB1に加えて、ブロックB0に隣接する多数の他のブロックがあり、同様に、ブロックB0に加えて、ブロックB1に隣接する多数の他のブロックがある。
[0051]図4の実施形態例では、各ブロックは、8x8のピクセルのアレイを含む。しかしながら、本発明は、これに限定されるものでなく、他のブロックサイズでも使用できるものである。ここでの説明のため、ブロック境界は、ピクセルの間に入るものとして定義されていることに注意されたい。ピクセルの全てが図4に例示されているのではなく、ブロックB0及びB1の境界に隣接するピクセルのみが示されている。
[0052]前述したように、本発明の一実施形態によれば、画像フレームにおけるブロックの各々に対して、アーチファクトカウントが決定される。一般的に言って、1つのブロックに対するアーチファクトカウントは、そのブロックと隣接ブロック(その対象ブロックとエッジを共有する4つのブロック)との間の境界に亘る選択されたピクセル値(例えば、ルマ値)の間の差をしきい値処理することにより、決定される。各ブロックに対する測定は、そのブロックの境界の4つ全てに亘って行われる。ブロック当たりのアーチファクトカウントは、記憶され、その後、デブロックフィルタを選択し且つそのフィルタが適用されるピクセルの数を選択するのに、アクティビティ尺度と共に使用される。
[0053]より特定すると、1つの実施形態では、隣接ピクセルの各対について、ピクセル値の減算がなされ、ここで、各対は、ブロック境界の一方の側の1つのピクセルと、そのブロック境界の他方の側の直ぐ隣接するピクセルとからなるものである。ブロックB0及びB1を例として使用すると、ピクセルp0に対するピクセル値とピクセルq0に対するピクセル値との間の減算がなされる。同様に、ピクセルp1に対するピクセル値とピクセルq1に対するピクセル値との間の減算がなされ、そして、ブロックB0の4つのエッジの各々の周りについて全てそのような減算がなされる。即ち、ブロックB0に対するアーチファクトカウントは、ブロックB0とブロックB1との間の境界、ブロックB0とブロックB2との間の境界、ブロックB0とブロックB3との間の境界及びブロックB0とブロックB4との間の境界に亘るピクセル値の差に基づいている。
[0054]このような処理は、ブロックB1の4つのエッジの各々に沿う各ピクセルに対して繰り返され、最終的には、そのフレームにおける各ブロックに対して繰り返される。2つのピクセル値の間の差の絶対値は、その差が常に正の数であるように、使用される。
[0055]従って、任意のブロックBNに対して、
diff(BN,i)=
|[p(i)に対するピクセル値]−[q(i)に対するピクセル値]| (1)
ここで、ピクセルp(i)は、ブロックBNのエッジに位置しており、q(i)は、ピクセルp(i)からのブロック境界に亘る、直ぐそれに隣接したピクセルである。隅部のピクセルに対するピクセル値は、水平パスにおいて1回、垂直パスにおいて1回の合計2回使用される。従って、図4の実施形態では、i=1,2,………,32である。
[0056]1つの実施形態では、図5を参照するに、差diff(BN,i)の各々は、それから、第1のしきい値thr1及び第2のしきい値thr2の両者と比較され、ここでは、第2のしきい値は、第1のしきい値より大きい。このような実施形態では、第2のしきい値は、第1のしきい値の定数倍であり、即ち、thr2=n*thr1であり、ここで、n>1である。従って、もし、第1のしきい値が増大される場合には、第2のしきい値も増大される。第1のしきい値と第2のしきい値との間のこのような関係のため、第1のしきい値と第2のしきい値との間の範囲は、第1のしきい値が増大される場合には、増大される。
[0057]これらブロックの各々に、カウンタが関連付けられており、例えば、第1のカウンタがブロックB0に関連付けられており、第2のカウンタがブロックB1に関連付けられている。図5の実施形態では、「i」の各値に対して、もし、diff(BN,i)の値が第1のしきい値thr1以上である場合には、ブロックBNに関連付けられたカウンタは増分される(例えば、1の値だけ増大される)。もし、diff(BN,i)の値が第1のしきい値thr1より小さい場合には、ブロックBNに関連付けられたカウンタは、diff(BN,i)とthr1との比だけ増大される。もし、diff(BN,i)の値が第2のしきい値thr2以上である場合には、ブロックBNに関連付けられたカウンタは再び増分される(例えば、更に1の値だけ増大される)。もし、diff(BN,i)の値が第2のしきい値thr2より小さいが第1のしきい値thr1より大きい場合には、ブロックBNに関連付けられたカウンタは、diff(BN,i)とthr2との比だけ増大される。この実施形態では、カウンタ値は、第2のしきい値thr2が越えられるとしても、2より多い増分だけ増大されることはないことに注意されたい。
[0058]従って、例えば、ブロックB0に対して、
Artifactcount(B0,i)=
min(1,[diff(B0,i)/thr1])+min[1,diff(B0,i)/thr2]) (2)
Artifactcount B0=Σ(Artifact count(B0,i)) (3)
ここで、Artifact count(B0,i)は、ブロックB0に対するカウンタ値がdiff(B0,i)の各値に対して増大される量であり、Artifact count B0は、ブロックB0に対するカウンタの最終値である。このようにして、ブロックB0に対するアーチファクトカウントが累積され、同様にして、ブロックB1及びフレームにおける各ブロックに対してアーチファクトカウントが累積される。
[0059]ブロッキングアーチファクトに対する可視感度をより良く評価するため、2つの別々のしきい値が使用される。もし、例えば、あるブロック境界に亘るピクセル値の差が相当に大きく、且つ、もし、そのブロック境界を取り巻く区域が比較的に低い周波数のコンテンツ(低アクティビティ)を有する場合には、そのアーチファクトは、より可視的に気になるものとなろう。このような情況においては、その境界でのブロックエッジは、そのアーチファクトを許容できる程度まで減少させるため、増大長さ(より多くのタップ)を有する強いローパスフィルタを使用すると、より良好に処理されるであろう。こうするために、両しきい値を越えるに十分に大きな各差は、そのカウンタ値に加えられる増分量を2倍とする。もし、アクティビティが低い場合には、増大したローパスフィルタリング能力を有する強いフィルタを選択することで、その代わりとすることができる。
[0060]1つの実施形態では、しきい値は、ユーザーにより制御される。即ち、ユーザーは、例えば、第1のしきい値thr1を特定することができる。何故ならば、第2のしきい値thr2は、第1のしきい値の倍数であり、第2のしきい値もまた、ある意味では、ユーザーにより制御される値であるからである。フィルタの強度は、しきい値thr1を減少することにより増大され、また、その逆とすることもできる。従って、ユーザーは、例えば、自分の個人的好み又はユーザーの装置の表示能力に基づいて、デブロックフィルタリングの強度を確立することができる。ループ外デブロッキングはデコーディングとは無関係であるので、デコードされたコンテンツの同じインスタンスを、一方では、より大きなスクリーンサイズ又はより高い解像度のディスプレイのためにフィルタリングすることができ、また、他方では、より小さなスクリーンサイズ又はより低い解像度のディスプレイのためにフィルタリングすることができる。
[0061]1つの実施においては、ユーザーには、そのユーザーが任意の値の範囲内(例えば、0から100まで)に位置させることのできるスライダーの如きグラフィックユーザーインターフェース(GUI)が与えられる。従って、ユーザーは、必ずしも特定のデブロックフィルタを選択する必要がなく、その代わりに、ユーザーにとって満足な画像品質に対応するセッティングを選択することができ、そして、そのセッティングは、希望の画像品質を生じさせるようなデブロックフィルタにマッピングされているものである。従って、そのGUIは、フィルタバンクにおけるフィルタの数とは無関係であり、異なるタイプのGPUに対する本発明のスケーラビリティを容易なものとしている。
アクティビティの計算
[0062]図6の(A)は、2つの隣接するブロックB0及びB1及びブロックB0におけるピクセルp0、p1、………、p7の行を例示しており、一方、図6の(B)は、これらのピクセルの相対値の一例を例示している。これらの例は、行当たり8つのピクセルを示しているが、本発明は、これに限定されるものではない。
[0063]前述したように、本発明の一実施形態によれば、アクティビティの尺度は、これらブロックの各々に対して決定される。より特定すると、1つの実施形態では、アクティビティの尺度は、各ブロックの各行及び各ブロックの各列に対して決定される。
[0064]一般に、アクティビティは、選択されたピクセル値から導出された中間値からのそれら選択されたピクセル値の偏差の関数として決定される。特に、1つの実施形態では、その中間値は、選択されたピクセル値の重み付け平均である。このような1つの実施形態では、選択されたピクセル値の各々とその重み付け平均との間の差もまた重み付けされる。従って、1つの実施形態では、アクティビティは、選択されたピクセル値の重み付け平均からのそれら選択されたピクセル値の偏差の重み付け関数として決定される。
[0065]前述したように、デブロックフィルタリングは、2つのパス、即ち、水平パスと垂直パスとを使用して達成される。水平パス中では、ピクセルの各行が処理され、即ち、前述した選択されたピクセル値は、ピクセルの行に対応している。垂直パス中では、ピクセルの各列が処理され、即ち、前述した選択されたピクセル値は、ピクセルの列に対応している。
[0066]1つの実施形態では、ピクセルp0、p1、………、p7の重み付け平均(WM)は、次のように決定される。
WM=(w0*p0+w1*p1+………+w7*p7)>>5 (4)
ここで、w0、w1、……w7は、w0>w1>……>w7及びw0+w1+……+w7=32であるように選択された重みであり、また、表現を簡単化するため、p0、p1、………、p7は、ピクセル値を表している。一般に、重み付けファクタは、ピクセルが対象境界に近い程より大きくなる。従って、図6の(A)の例では、ピクセルp0がブロックB0及びブロックB1の間の境界により近いので、そのピクセルは、他のピクセルより大きく重み付けされ、以下同様とされる。
[0067]1つの実施形態では、ピクセルp0、p1、………、p7に関連するアクティビティは、次のように決定される。
アクティビティ=a*(p0−WM)+b*(p1−WM)+c*(p2−WM)
+d*(p3−WM)+e*(p4−WM)+f*(p5−WM)
+g*(p6−WM)+h*(p7−WM) (5)
ここで、a、b、……、hは、a>b>……>hである固定重みである。前述したのと同様に、これら重み付けファクタは、ピクセルが対象境界に近い程より大きくなる。この実施形態では、それら重みは、ブロック境界からのピクセルのマンハッタン距離が増大するにつれて減少する、重み付け平均からの偏差の関連性を示唆するのに使用される。
フィルタ及び対象領域の選択
[0068]この点を要約するに、前述した実施形態によれば、アーチファクトカウントは、各ブロックに対して決定され、アクティビティは、各ブロックの各行及び各列に対して決定される。この情報は、メモリに記憶されたフィルタバンクからデブロックフィルタを選択するのに、且つその選択されたフィルタが適用されるべきピクセルの数(対象領域)を識別するのに使用することができる。
[0069]1つの実施形態では、ブロック当たりのアーチファクトカウント及び行又は列当たりのアクティビティは、第1のブロック(例えば、ブロックB0)の各行及び各列に対する第1の値N0及び第2のブロック(例えば、ブロックB1)の各行及び各列に対する第2の値N1を決定するのに使用される。説明を簡単とするため、ブロックB0の単一行及びブロックB1の対応する行について、以下説明する。
[0070]図7は、ブロックB0の行R0及びブロックB1の対応する行R1を例示しており、即ち、行R0及び行R1は、同じ水平ラインに沿って存在しているものである。
[0071]行R0に対する第1の値N0は、次のように決定される。
N0=exp(-[Activity R0]/[Artifact count B0)) (6)
ここで、Activity R0は、行R0に関連したアクティビティを表しており、Artifact count B0は、ブロックB0に対するアーチファクトカウントを表している。同様に、第2の値N1は、次のように決定される。
N1=exp(-[Activity R1]/[Artifact count B1)) (7)
[0072]値N0及びN1は、アーチファクトカウントに比例していることに注意されたい。他方、値N0及びN1は、ブロック境界に亘るアクティビティに逆比例している。
[0073]本発明の実施形態によれば、値N0及びN1のうちの1つが、予め選択されたフィルタのバンクからデブロックフィルタを選択するのに使用される。1つの実施形態では、値N0及びN1のうちの最小のものが、フィルタバンクからデブロックフィルタを選択するのに使用される。N0及びN1のうちの最小のものを使用することにより、画像ディテールの連続性を保証することができる。即ち、N0及びN1のうちの最小のものを使用することにより、選択されたフィルタは、最大値の方を使用したとした場合に選択されたであろうフィルタよりも弱いものとなる。従って、この実施形態では、ブロッキングアーチファクトの除去よりも、画像ディテールの方が重んじられることとなる。しかしながら、もし、アーチファクトの除去をより重要であると考える場合には、それに代えて、N0及びN1のうちの最大のものを使用することができる。
[0074]1つの実施形態では、フィルタバンクは、異なる強度の7つ(7)のフィルタを含む。異なる強度のフィルタを有するフィルタバンクを使用することにより、固定フィルタリング及びフィルタリング判断の間のハードスイッチングに伴う欠点を排除することができる。
[0075]1つの実施では、フィルタバンクは、次のようなフィルタ(H)を含み、ここで、インデックスN=0,1,……,6である。

表1−典型的なフィルタバンク
H[N]={0 0 0 0 128 0 0 0 0}
{0 0 0 26 76 26 0 0 0}
{0 0 −5 42 54 42 −5 0 0}
{0 1 7 33 46 33 7 1 0}
{−2 2 15 30 38 30 15 2 −2}
{8 8 16 16 32 16 16 8 8}
{8 16 16 16 16 16 16 16 8}
[0076]前述の例では、フィルタバンクにおけるフィルタは、インデックスNの値が(より高いアーチファクトカウントに対するように)増大するにつれて、そのフィルタの強度が増大するような順序に配列されている。表1におけるフィルタ係数は例である。異なる仕様を有する異なるフィルタを設計し使用することもできる。
[0077]前述したように、値N0及びN1は、アーチファクトカウントに比例している。前述したように2つのしきい値thr1及びthr2を使用する場合には、アーチファクトカウントは、ブロック境界に亘るピクセル値の間の差が比較的に大きいときには、2倍増分される。従って、もしアーチファクトカウントのみを考慮する(即ち、アクティビティを無視する)場合には、アーチファクトカウントが高い程、N0及びN1の値がより高くなり、それにより、ローパスフィルタリングがより強くなり、ブロッキングアーチファクトをより効果的に排除又は減少させることになる。他方では、値N0及びN1は、ブロック境界に亘るアクティビティに逆比例している。従って、もしアクティビティのみを考慮する(即ち、アーチファクトカウントを無視する)場合には、アクティビティが高い程、N0及びN1の値がより低くなり、それにより、ローパスフィルタリングがより弱くなり、ブロック境界に隣接する区域におけるディテールが失われないようにすることができる。
[0078]1つの実施形態では、N0及びN1のうちの選択された値(例えば、最小のもの)は、最も近い整数へと丸められ、フィルタの1つを選択するためのインデックスNとして使用される。即ち、N=min(N0,N1)である。 例えば、もし、N0及びN1が、それぞれ3及び4であることが見出される場合には、Nは、3であり、次のフィルタが対象領域に対して適用される。
H[3]={0 1 7 33 46 33 7 1 0}
[0079]N0及びN1の値は、対象領域(選択されたフィルタが適用されるピクセルの数)を定めるのにも使用される。一般に、選択されたフィルタは、ブロックB0におけるN0個のピクセル及びブロックB1におけるN1個のピクセルに対して適用される。従って、前述の例では、図7に示されるように、フィルタH[3]は、ブロックB0における3つのピクセル及びブロックB1における4つのピクセルに対して適用される。対象領域は、ブロック境界の各側において異なる数のピクセルを含むことができ、従って、対象領域に対して相当程度の融通性が与えられることに注意されたい。
[0080]本発明による実施形態は、フィルタバンクに7個のフィルタを含むことに限定されない。計算の複雑さを減少させるため、フィルタバンクのフィルタの個数をより少なくすることができる。前述の表で示したような典型的なフィルタよりもより少ないタップを使用しているようなフィルタを使用することもできる。例えば、ロアーエンド又はベースラインGPUに使用するため、多分より少ないタップを有するより少ない数のフィルタを選択することができる。このようにして、GPUの処理能力に従って異なるGPU実施を支援するため、フィルタリングの全体の複雑さをスケーラブルなものとすることができる。
[0081]フィルタバンクは、8個以上のフィルタを含むこともできる。フィルタバンクにおけるフィルタの数は、フィルタ及び対象領域の両方を選択するため同じ数Nを使用しない実施において増大することができる。例えば、ここで前述したように、N0及びN1の値は、対象領域を定める目的で最も近い整数へと丸めることができるのであるが、それらの実際の値を使用して、8個以上のエントリを含むフィルタバンクを割り出すようにすることもできる。
[0082]N0及びN1の計算される値を、行又は列におけるピクセルの数より大きく、また、Nの値及びフィルタバンクにおけるフィルタの数を、行又は列におけるピクセルの数より大きくすることもできることに注意されたい。このような実施においては、対象領域のサイズを決定するため、N0及びN1の値を、行又は列におけるピクセルの数に対応する値へ規制する(例えば、縮小又は拡張する)ことができ、また、フィルタバンクからフィルタを選択するため、スケーラブルでない値を使用することができ、また、必要であるならば、対象領域のサイズを決定するのに使用されるものと同じ又は異なるスケーリングファクタを使用して、それら値をスケーラブルとすることもできる。
[0083]図8は、本発明の一実施形態によるデータを処理するためのコンピュータ実施方法の一例のフローチャート80である。ステップ81において、ピクセルの第1のブロック(ブロックB0)に対する第1の値(N0)及びピクセルの第2のブロック(ブロックB1)に対する第2の値(N1)が計算される。第1の値N0は、ブロックB0に対する選択されたピクセル値とブロックB1を含むブロックB0に隣接するブロックに対する選択されたピクセル値との間の差の尺度に基づく。1つの実施形態では、これらの差は、各々がブロックB0におけるピクセル及び隣接ブロックにおける隣接ピクセルに関連した対である隣接ピクセル対に対するピクセル値の減算により得られる(前述の式(1)におけるように)。このような1つの実施形態では、ブロックB0に関連したカウンタ値は、これらの差の各々が第1のしきい値(例えば、しきい値thr1)を越える毎に増分され、また、これらの差の各々が第2のしきい値(例えば、しきい値thr2)を越える毎に再び増分される。カウンタ値は、もし、これらの差が第1のしきい値より小さいく又は第1のしきい値と第2のしきい値との間に入る場合には、ある同等量だけ増大されもすることができる(前述の式(2)におけるように)。一般的に言って、第1の値N0は、ブロックB0に対するアーチファクトカウントに基づく。
[0084]第1の値N0は、ブロックB0に対するピクセル値のサブセット(例えば、行R0)における偏差の尺度にも基づく。1つの実施形態では、このピクセル値のサブセット(行R0)に対して重み付け平均が計算され、それから、このサブセットにおける各ピクセル値とその重み付け平均との間の差が決定される。このような1つの実施形態では、これらピクセル値と重み付け平均との間の差も重み付けされる(前述の式(5)におけるように)。一般的に言って、第1の値N0は、ブロックB0内のアクティビティにも基づく。
[0085]第2の値N1は、同様に、ブロックB1に対するアーチファクトカウント及びブロックB1内のアクティビティに基づく。
[0086]ステップ82において、第1の値N0及び第2の値N1のうちの1つ(N0又はN1)が、フィルタバンク(例えば、表1)からデジタルデブロックフィルタ(H)を選択するためのインデックス(N)として使用される。
[0087]ステップ83において、第1の値N0及び第2の値N1が、選択されたデブロックフィルタを適用すべきピクセル値の数(例えば、ブロックB0の行R0及びブロックB1の対応する行におけるピクセルの数)を特定するのに使用される。即ち、第1の値N0及び第2の値N1は、対象領域(前述の図7の例におけるように)を定めるのに使用される。
[0088]図8のステップ84において、選択されたデブロックフィルタが、ブロックB0におけるピクセル値及びブロックB1におけるピクセル値に適用され、新しいピクセル値が生成される。即ち、選択されたデブロックフィルタは、ブロッキングアーチファクトを排除又は減少させるため、対象領域に適用される。
[0089]要するに、本発明の実施形態によれば、ブロッキングアーチファクトの処理と、満足なレベルのディテールの維持との間の許容できるバランスを取り決めるデブロックフィルタが選択される。更に、選択されたデブロックフィルタが適用されるべきピクセルの数を、画像ディテールのオーバーフィルタリングを避けるため、適当に決定することができる。その上、本発明によるデブロックフィルタリングは、適応性があり(例えば、ブロック当たりのアーチファクトカウント及びアクティビティにより測定されるようなピクセル値の品質に対して)、スケーラブルであり(例えば、グラフィックカードの能力に対して)、ユーザーが制御できるものであり、且つ広範囲に亘るビデオ品質及び低ビットレートビデオ(例えば、インターネットビデオ)の増強の如きアプリケーションに対して十分に適合できるものである。
[0090]本発明の特定の実施形態の前述の説明は、例示のための説明として提示されたものである。これら説明は、これが全てであるというものでなく、また、本発明を、ここで開示した形そのものに限定しようとするものでなく、前述したことを考慮するならば、多くの変更及び変形が可能であるものである。これら実施形態は、本発明の原理及びその実際の応用について最良な説明をなし、それにより、他の当業者が、本発明及び種々な実施形態を、意図するような特定の用途に適合するように種々な変更を加えて最良に利用できるようにするために、選択され説明されているのである。本発明の範囲は、特許請求の範囲及びそれらの均等物により定められるものとせんとするものである。
10・・・システム、11・・・ホスト中央処理装置(CPU)、12・・・グラフィック処理装置(GPU)、13・・・ディスプレイ(スクリーン)、14・・・メモリ、15・・・バス、16・・・ユーザーインターフェース、20・・・デコーダ、21・・・エンコードされたビットストリーム、22・・・デコーディングステージ、23・・・デブロッキングステージ、24・・・表示可能な画像データ、26・・・デコーディングパイプライン、30・・・フローチャート、40・・・画像フレーム、41・・・エッジ又は境界、80・・・フローチャート、B0〜B4、BN・・・ブロック、p0〜p7・・・ピクセル、q0〜q7・・・ピクセル、R0、R1・・・行、N0・・・第1の値、N1・・・第2の値、N・・・インデックス、WM・・・重み付け平均、w0〜w7・・・重み

Claims (15)

  1. 画像データをデブロッキングする方法を行うためのコンピュータ実施可能な命令を有するコンピュータ読み取り可能な媒体において、
    前記方法は、
    ピクセルの第1のブロック内のピクセル値の比較を行い、前記第1のブロックにおけるピクセル値を、前記第1のブロックに隣接するピクセルの第2のブロックにおけるピクセル値と比較するステップと、
    前記比較の結果に基づいて、複数のフィルタからデジタルデブロッキングフィルタを選択し、前記デブロッキングフィルタが適用されるべき対象領域を選択するステップであって、前記対象領域は、前記第1のブロックにおける第1の数のピクセル及び前記第2のブロックにおける第2の数のピクセルを含む、ステップと、
    前記デブロックフィルタを前記対象領域に適用して前記第1のブロック及び第2のブロックに対する新しいピクセル値を生成するようにするステップと、
    を含む、コンピュータ読み取り可能な媒体。
  2. 前記方法は、更に、
    前記ピクセルの第1のブロックに対する第1の値及び前記ピクセルの第2のブロックに対する第2の値を計算するステップであって、前記第1の値は、前記第1のブロックに対する選択されたピクセル値と、前記第1のブロックに隣接し且つ前記第2のブロックを含む第1の複数のブロックに対する選択されたピクセル値との間の差の尺度に基づいており、前記第1の値は、前記第1のブロックに対する第1の複数のピクセル値における偏差の尺度にも基づいており、前記第2の値は、前記第2のブロックに対する選択されたピクセル値と、前記第2のブロックに隣接し且つ前記第1のブロックを含む第2の複数のブロックに対する選択されたピクセル値との間の差の尺度に基づいており、前記第2の値は、前記第2のブロックに対する第2の複数のピクセル値における偏差の尺度にも基づいている、ステップと、
    前記複数のフィルタから前記デブロックフィルタを選択するためのインデックスとして前記第1の値及び第2の値のうちの1つを使用するステップと、
    を含む、請求項1に記載のコンピュータ読み取り可能な媒体。
  3. 前記方法は、更に、
    隣接するピクセルの第1の対についてピクセル値の減算を行うことにより、前記第1のブロックに対する前記選択されたピクセル値と前記第1の複数のブロックに対する前記選択されたピクセル値との間の差を計算するステップであって、前記第1の対の各々は、前記第1のブロックにおけるピクセル及び前記第1の複数のブロックにおけるピクセルに関連付けられている、ステップと、
    隣接するピクセルの第2の対についてピクセル値の減算を行うことにより、前記第2のブロックにおける前記選択されたピクセル値と前記第2の複数のブロックにおける前記選択されたピクセル値との間の差を計算するステップであって、前記第2の対の各々は、前記第2のブロックにおけるピクセル及び前記第2の複数のブロックにおけるピクセルに関連付けられている、ステップと、
    を含む、請求項2に記載のコンピュータ読み取り可能な媒体。
  4. 前記方法は、更に、
    前記第1のブロックに対する前記選択されたピクセル値と前記第1の複数のブロックに対する前記選択されたピクセル値との間の差の各々が第1のしきい値を越える毎に、第1のカウンタ値を増分し、且つ、前記第1のブロックに対する前記選択されたピクセル値と前記第1の複数のブロックに対する前記選択されたピクセル値との間の差の各々が前記第1のしきい値及び第2のしきい値の両方を越える毎に、前記第1のカウンタ値を再び増分するステップであって、前記第1の値は、前記第1のカウンタ値に基づいている、ステップと、
    前記第2のブロックに対する前記選択されたピクセル値と前記第2の複数のブロックに対する前記選択されたピクセル値との間の差の各々が前記第1のしきい値を越える毎に、第2のカウンタ値を増分し、且つ、前記第2のブロックに対する前記選択されたピクセル値と前記第2の複数のブロックに対する前記選択されたピクセル値との間の差の各々が前記第1のしきい値及び前記第2のしきい値の両方を越える毎に、前記第2のカウンタ値を再び増分するステップであって、前記第2の値は、前記第2のカウンタ値に基づいている、ステップと、
    を含む、請求項2に記載のコンピュータ読み取り可能な媒体。
  5. 前記方法は、更に、
    前記第1の複数のピクセル値についての第1の重み付け平均を計算するステップと、
    前記第2の複数のピクセル値について第2の重み付け平均を計算するステップと、
    前記第1の複数のピクセル値と前記第1の重み付け平均との間の差を加算して、前記第1の複数のピクセル値における偏差を決定するステップと、
    前記第2の複数のピクセル値と前記第2の重み付け平均との間の差を加算して、前記第2の複数のピクセル値における偏差を決定するステップと、
    を含む、請求項2に記載のコンピュータ読み取り可能な媒体。
  6. 前記第1の値は、前記第1のブロックに対する前記選択されたピクセル値と前記第1の複数のブロックに対する前記選択されたピクセル値との間の差に比例しており且つ前記第1の複数のピクセル値における偏差に逆比例しており、更に、前記第2の値は、前記第2のブロックに対する前記選択されたピクセル値と前記第2の複数のブロックに対する前記選択されたピクセル値との間の差に比例しており且つ前記第2の複数のピクセル値における偏差に逆比例している、請求項2に記載のコンピュータ読み取り可能な媒体。
  7. 前記第1の値及び前記第2の値のうち最小のものが、前記デブロックフィルタを選択するためのインデックスとして使用される、請求項2に記載のコンピュータ読み取り可能な媒体。
  8. 画像データをデブロッキングするコンピュータ実施方法において、
    画像データの第1のブロックにおける第1の複数のピクセルに対するピクセル値と画像データの他のブロックの第1のセットにおける第2の複数のピクセルに対するピクセル値との間の差に基づいて第1のメトリックを算出するステップであって、前記第1のブロック及び前記他のブロックの第1のセットは、共通のエッジを有しており、更に、前記第1の複数のピクセル及び前記第2の複数のピクセルは、前記エッジに隣接している、ステップと、
    前記第1のブロックにおける第3の複数のピクセルに対するピクセル値と前記第3の複数のピクセルに対する前記ピクセル値から導出される中間値との間の差に基づいて第2のメトリックを算出するステップと、
    前記第1のブロックに対する第1の値を計算するステップであって、前記第1の値は、前記第1のメトリック及び前記第2のメトリックの関数である、ステップと、
    前記第3の複数のピクセルについて第1の数のピクセル値にデブロックフィルタを適用して、新しいピクセル値を生成するステップであって、前記第1の数は、前記第1の値に基づく、ステップと、
    を含む、コンピュータ実施方法。
  9. 第2のブロックにおける第4の複数のピクセルに対するピクセル値と他のブロックの第2のセットにおける第5の複数のピクセルに対するピクセル値との間の差に基づいて第3のメトリックを算出するステップであって、前記第2のブロック及び前記他のブロックの第2のセットは、共通のエッジを有しており、更に、前記第4の複数のピクセル及び前記第5の複数のピクセルは、前記エッジに隣接している、ステップと、
    前記第2のブロックにおける第6の複数のピクセルに対するピクセル値と前記第6の複数のピクセルに対するピクセル値から導出される中間値との間の差に基づいて第4のメトリックを算出するステップと、
    前記第2のブロックに対する第2の値を計算するステップであって、前記第2の値は、前記第3のメトリック及び前記第4のメトリックの関数である、ステップと、
    複数のフィルタから、前記第1の値及び前記第2の値のうちの1つでもって前記複数のフィルタを割り出すことにより、前記デブロックフィルタを選択するステップと、
    前記第6の複数のピクセルにおける第2の数のピクセル値に前記デブロックフィルタを適用して、新しいピクセル値を生成するステップであって、前記第2の数は、前記第2の値に基づいている、ステップと、
    を更に含む、請求項8に記載のコンピュータ実施方法。
  10. 前記第1の複数のピクセルに対するピクセル値と前記第2の複数のピクセルに対するピクセル値との間の差の各々を2つのしきい値と比較するステップと、
    1つのしきい値を越える場合にカウンタ値を1回増分し、両方のしきい値を越える場合にカウンタ値を2回増分するステップであって、前記第1のメトリックは、前記カウンタ値に対応している、ステップと、
    を更に含む、請求項8に記載のコンピュータ実施方法。
  11. 前記第2のメトリックを算出するステップは、
    前記第3の複数のピクセルに対するピクセル値についての重み付け平均を計算する工程と、
    前記第3の複数のピクセルに対するピクセル値と前記重み付け平均との間の偏差を計算する工程と、
    前記第3の複数のピクセルと前記第1のブロックのエッジとの間の距離に基づいて前記偏差を重み付けして、重み付けされた偏差を生成する工程と、
    前記重み付けされた偏差を加算する工程であって、前記第2のメトリックは、前記重み付けされた偏差の和に対応する、工程と、
    を含む、請求項8に記載のコンピュータ実施方法。
  12. 前記第1の値は、前記第1のメトリックに比例しており、且つ前記第2のメトリックに逆比例している、請求項8に記載のコンピュータ実施方法。
  13. 画像データをデコーディングしデブロッキングするためのシステムにおいて、
    第1のピクセル値を有するピクセルを含む第1のブロックと、前記第1のブロックに隣接し且つ第2のピクセル値を有するピクセルを含む第2のブロックとを含むデコードされた画像データを記憶するよう動作するコンピュータ読み取り可能なメモリと、
    前記メモリに接続され、且つ複数のデブロックフィルタからデジタルデブロックフィルタを選択し、前記第1のピクセル値のうちの第1の数及び前記第2のピクセル値のうちの第2の数に対して前記デブロックフィルタを適用するよう動作するデブロッカーであって、前記第1の数は、前記第1のブロックに対する選択されたピクセル値と前記第2のブロックを含む第1の複数のブロックに対する選択されたピクセル値との間の差に基づいており、前記第1の数は、前記第1のピクセル値の間の偏差にも基づいており、更に、前記第2の数は、前記第2のブロックに対する選択されたピクセル値と前記第1のブロックを含む第2の複数のブロックに対する選択されたピクセル値との間の差に基づいており、前記第2の数は、前記第2のピクセル値の間の偏差にも基づいており、前記デブロックフィルタは、前記第1の数及び前記第2の数のうちの1つでもって前記複数のフィルタを割り出すことにより選択される、デブロッカーと、
    を備えるシステム。
  14. 前記デブロッカーは、更に、前記第1のブロックに対する選択されたピクセル値と前記第1の複数のブロックに対する選択されたピクセル値との間の差の各々を第1のしきい値及び第2のしきい値と比較し且つそれに応じて第1のカウンタ値を増分するように動作するものであり、前記第1の数は、前記第1のカウンタ値の関数であり、更に、前記デブロッカーは、前記第2のブロックに対する選択されたピクセル値と前記第2の複数のブロックに対する選択されたピクセル値との間の差の各々を前記第1のしきい値及び前記第2のしきい値と比較し且つそれに応じて第2のカウンタ値を増分するように動作し、前記第2の数は、前記第2のカウンタ値の関数である、請求項13に記載のシステム。
  15. 前記デブロッカーは、更に、前記第1のピクセル値について第1の重み付け平均を計算し、それから、前記第1のピクセル値と前記第1の重み付け平均との間の差を加算して、前記第1のピクセル値の間の偏差を決定するように動作し、更に、前記デブロッカーは、前記第2のピクセル値について第2の重み付け平均を計算し、次いで前記第2のピクセル値と前記第2の重み付け平均との間の差を加算して、前記第2のピクセル値の間の偏差を決定するように動作する、請求項13に記載のシステム。
JP2009266424A 2008-12-10 2009-11-24 画像データの測定ベースのスケーラブルデブロックフィルタリング Active JP5131864B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/332,240 2008-12-10
US12/332,240 US8761538B2 (en) 2008-12-10 2008-12-10 Measurement-based and scalable deblock filtering of image data

Publications (2)

Publication Number Publication Date
JP2010141883A true JP2010141883A (ja) 2010-06-24
JP5131864B2 JP5131864B2 (ja) 2013-01-30

Family

ID=42231142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009266424A Active JP5131864B2 (ja) 2008-12-10 2009-11-24 画像データの測定ベースのスケーラブルデブロックフィルタリング

Country Status (5)

Country Link
US (1) US8761538B2 (ja)
JP (1) JP5131864B2 (ja)
KR (1) KR101082179B1 (ja)
CN (1) CN101754015B (ja)
TW (1) TWI432030B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945281A (zh) * 2010-09-10 2011-01-12 中兴通讯股份有限公司 视频编码的滤波方法及装置
JP2014511632A (ja) * 2011-03-01 2014-05-15 テレフオンアクチーボラゲット エル エム エリクソン(パブル) デブロッキング・フィルタリング制御
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2018123800A1 (ja) * 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10123050B2 (en) 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US9179166B2 (en) 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US8891609B2 (en) * 2009-03-24 2014-11-18 Samsung Electronics Co., Ltd. System and method for measuring blockiness level in compressed digital video
TWI389577B (zh) * 2009-12-31 2013-03-11 Via Tech Inc 視訊解碼解塊之裝置與方法
US9819966B2 (en) 2010-09-01 2017-11-14 Qualcomm Incorporated Filter description signaling for multi-filter adaptive filtering
US9247265B2 (en) * 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
CN103109531B (zh) * 2010-09-17 2016-06-01 日本电气株式会社 视频编码设备和视频解码设备
BR112013006832A2 (pt) 2010-09-28 2017-05-23 Samsung Electronics Co Ltd método de filtragem adaptativa, e aparelho de filtragem adaptativa
US9930366B2 (en) * 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US8964852B2 (en) 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
US20120230423A1 (en) * 2011-03-10 2012-09-13 Esenlik Semih Line memory reduction for video coding and decoding
TWI519139B (zh) * 2011-04-14 2016-01-21 聯詠科技股份有限公司 資料處理方法及數位影像處理裝置
DK3313074T3 (da) * 2011-06-28 2021-10-25 Sony Group Corp Anordning til billedbehandling, fremgangsmåde til billedbehandling
CN107295341B (zh) * 2011-07-22 2020-02-28 Sk电信有限公司 视频编码方法
CN107197254B (zh) * 2011-09-09 2020-03-03 太阳专利托管公司 解码方法及解码装置
US20140254938A1 (en) * 2011-11-24 2014-09-11 Thomson Licensing Methods and apparatus for an artifact detection scheme based on image content
CN104272738A (zh) * 2012-06-15 2015-01-07 英特尔公司 用于可扩展视频编码的自适应滤波
US20140056363A1 (en) * 2012-08-23 2014-02-27 Yedong He Method and system for deblock filtering coded macroblocks
CN106470341B (zh) 2015-08-17 2020-10-02 恩智浦美国有限公司 媒体显示系统
WO2019009748A1 (en) * 2017-07-05 2019-01-10 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR VIDEO CODING
CN117956191A (zh) * 2018-01-08 2024-04-30 三星电子株式会社 编码方法及其设备以及解码方法及其设备
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
US10708592B2 (en) * 2018-04-02 2020-07-07 Qualcomm Incorporated Deblocking filter for video coding and processing
JP7348269B2 (ja) * 2018-08-10 2023-09-20 華為技術有限公司 デブロッキングを実行するための装置及び方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205792A (ja) * 1998-01-14 1999-07-30 Sony Corp ブロック歪低減方法及び装置
JP2002501691A (ja) * 1997-03-13 2002-01-15 ノキア モービル フォーンズ リミティド 適応フィルタ
JP2002232890A (ja) * 2001-02-01 2002-08-16 Sony Corp ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法
JP2007228519A (ja) * 2006-02-27 2007-09-06 Renesas Technology Corp 画像符号化装置及び画像符号化方法
JP2007251881A (ja) * 2006-03-20 2007-09-27 Funai Electric Co Ltd ブロックノイズ除去装置及び電子機器
JP2008533863A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100359208B1 (ko) 2000-12-27 2002-11-04 주식회사 팬택앤큐리텔 고속 디블럭킹 필터 장치
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
CN1767656B (zh) * 2001-11-29 2013-02-20 松下电器产业株式会社 编码失真消除方法、视频编码方法、视频解码方法、装置
US6907079B2 (en) 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
AU2003244072B2 (en) 2002-07-11 2007-08-16 Godo Kaisha Ip Bridge 1 Filtering Strength Determination Method, Moving Picture Coding Method and Moving Picture Decoding Method
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
US6917310B2 (en) 2003-06-25 2005-07-12 Lsi Logic Corporation Video decoder and encoder transcoder to and from re-orderable format
CN100493205C (zh) * 2003-08-19 2009-05-27 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US7590059B2 (en) 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
JPWO2006013854A1 (ja) 2004-08-05 2008-05-01 松下電器産業株式会社 画像復号化装置および画像符号化装置
US8116379B2 (en) 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
KR20060060919A (ko) 2004-12-01 2006-06-07 삼성전자주식회사 H.264/mpeg-4 에서의 블록킹 효과를 제거하기 위한디블록 필터 및 필터링 방법
JP4270125B2 (ja) 2004-12-16 2009-05-27 ソニー株式会社 データ処理装置、画像処理装置、それらの方法およびプログラム
US7796792B2 (en) 2005-06-29 2010-09-14 Agfa Healthcare, N.V. Method of identifying disturbing frequencies originating from the presence of an anti-scatter grid during acquisition of a radiation image
US7796692B1 (en) 2005-11-23 2010-09-14 Nvidia Corporation Avoiding stalls to accelerate decoding pixel data depending on in-loop operations
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
US20080056350A1 (en) 2006-08-31 2008-03-06 Ati Technologies, Inc. Method and system for deblocking in decoding of video data
TW200820783A (en) 2006-10-25 2008-05-01 Realtek Semiconductor Corp Apparatus and method for deblock filtering
US20080123750A1 (en) 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
US20080159407A1 (en) 2006-12-28 2008-07-03 Yang Nick Y Mechanism for a parallel processing in-loop deblock filter
KR100843100B1 (ko) 2007-02-07 2008-07-03 삼성전자주식회사 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
US8369411B2 (en) 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US8861591B2 (en) 2007-05-11 2014-10-14 Advanced Micro Devices, Inc. Software video encoder with GPU acceleration
US20080298473A1 (en) 2007-06-01 2008-12-04 Augusta Technology, Inc. Methods for Parallel Deblocking of Macroblocks of a Compressed Media Frame
US8265144B2 (en) 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US20090010326A1 (en) 2007-07-05 2009-01-08 Andreas Rossholm Method and apparatus for parallel video decoding
ATE526788T1 (de) 2007-11-16 2011-10-15 St Microelectronics Sa Deblockierungsfilter
US20090304085A1 (en) 2008-06-04 2009-12-10 Novafora, Inc. Adaptive Deblocking Complexity Control Apparatus and Method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002501691A (ja) * 1997-03-13 2002-01-15 ノキア モービル フォーンズ リミティド 適応フィルタ
JPH11205792A (ja) * 1998-01-14 1999-07-30 Sony Corp ブロック歪低減方法及び装置
JP2002232890A (ja) * 2001-02-01 2002-08-16 Sony Corp ブロック歪低減回路、再生装置、受信装置、ブロック歪低減方法
JP2008533863A (ja) * 2005-03-10 2008-08-21 クゥアルコム・インコーポレイテッド フレームレートアップ変換アプリケーションにおける補間されたフレームデブロッキング動作
JP2007228519A (ja) * 2006-02-27 2007-09-06 Renesas Technology Corp 画像符号化装置及び画像符号化方法
JP2007251881A (ja) * 2006-03-20 2007-09-27 Funai Electric Co Ltd ブロックノイズ除去装置及び電子機器

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945281A (zh) * 2010-09-10 2011-01-12 中兴通讯股份有限公司 视频编码的滤波方法及装置
JP2014511632A (ja) * 2011-03-01 2014-05-15 テレフオンアクチーボラゲット エル エム エリクソン(パブル) デブロッキング・フィルタリング制御
US9641841B2 (en) 2011-03-01 2017-05-02 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
US9955188B2 (en) 2011-03-01 2018-04-24 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
US11575945B2 (en) 2011-03-01 2023-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking filtering control
US11134277B2 (en) 2011-03-01 2021-09-28 Velos Media, Llc Deblocking filtering control
US10623780B2 (en) 2011-03-01 2020-04-14 Velos Media, Llc Deblocking filtering control
JPWO2018123800A1 (ja) * 2016-12-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN114173117A (zh) * 2016-12-27 2022-03-11 松下电器(美国)知识产权公司 编码方法、解码方法及发送方法
JP2020202595A (ja) * 2016-12-27 2020-12-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 符号化装置、復号装置、符号化方法及び復号方法
US10917641B2 (en) 2016-12-27 2021-02-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
JP7373596B2 (ja) 2016-12-27 2023-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法及び復号方法
WO2018123800A1 (ja) * 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
JP7013537B2 (ja) 2016-12-27 2022-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
CN114157865A (zh) * 2016-12-27 2022-03-08 松下电器(美国)知识产权公司 编码装置、解码装置及非暂时性的存储介质
CN114157866A (zh) * 2016-12-27 2022-03-08 松下电器(美国)知识产权公司 编码装置、解码装置及非暂时性的存储介质
CN114173119A (zh) * 2016-12-27 2022-03-11 松下电器(美国)知识产权公司 解码装置及非暂时性的存储介质
CN114173118A (zh) * 2016-12-27 2022-03-11 松下电器(美国)知识产权公司 编码方法、解码方法及发送方法
CN114157866B (zh) * 2016-12-27 2023-10-20 松下电器(美国)知识产权公司 编码装置、解码装置及非暂时性的存储介质
JP2022066194A (ja) * 2016-12-27 2022-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法及び復号方法
US11570432B2 (en) 2016-12-27 2023-01-31 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN114173117B (zh) * 2016-12-27 2023-10-20 松下电器(美国)知识产权公司 编码方法、解码方法及发送方法
CN114173118B (zh) * 2016-12-27 2023-10-20 松下电器(美国)知识产权公司 编码方法、解码方法及发送方法
CN114173119B (zh) * 2016-12-27 2023-10-20 松下电器(美国)知识产权公司 解码装置及非暂时性的存储介质
CN114157865B (zh) * 2016-12-27 2023-10-20 松下电器(美国)知识产权公司 编码装置、解码装置及非暂时性的存储介质
JP7310139B2 (ja) 2016-12-28 2023-07-19 ソニーグループ株式会社 画像処理装置及び画像処理方法
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
JPWO2018123423A1 (ja) * 2016-12-28 2019-10-31 ソニー株式会社 画像処理装置及び画像処理方法
US10965943B2 (en) 2016-12-28 2021-03-30 Sony Corporation Image processing apparatus and image processing method
JP7435862B2 (ja) 2016-12-28 2024-02-21 ソニーグループ株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CN101754015B (zh) 2013-06-05
KR101082179B1 (ko) 2011-11-09
TWI432030B (zh) 2014-03-21
TW201026074A (en) 2010-07-01
US8761538B2 (en) 2014-06-24
JP5131864B2 (ja) 2013-01-30
CN101754015A (zh) 2010-06-23
KR20100067059A (ko) 2010-06-18
US20100142844A1 (en) 2010-06-10

Similar Documents

Publication Publication Date Title
JP5131864B2 (ja) 画像データの測定ベースのスケーラブルデブロックフィルタリング
US20210185339A1 (en) Content adaptive deblocking during video encoding and decoding
TWI519136B (zh) 一種用以移除編碼視頻數據中的編碼瑕疵之自適應過濾機構的方法、資料處理裝置及系統
EP2327219B1 (en) Reducing digital image noise
US10182244B2 (en) Fast encoding loss metric
JP2019526195A (ja) 改良情報を用いてダウンサンプリング/アップサンプリングすることによるデジタルフレームの符号化/復号化
JP2007060164A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2001522172A (ja) 量子化効果減少のための映像データ後処理方法、装置及びこれを記録した記録媒体
Meardi et al. MPEG-5 part 2: Low complexity enhancement video coding (LCEVC): Overview and performance evaluation
US20140369617A1 (en) Image encoding apparatus, image encoding method, and program
KR102276914B1 (ko) 비디오 인코딩 장치 그리고 이의 구동 방법
CN113906762B (zh) 用于视频压缩的预处理
US10506233B2 (en) Encoder for determining quantization parameter adaptively and application processor having the same
Kaur et al. Adaptive deblocking technique based on separate modes for removing compression effects in JPEG coded images
Kim et al. Reduction of blocking artifacts for HDTV using offset-and-shift technique
US8811766B2 (en) Perceptual block masking estimation system
CN106664387B9 (zh) 一种对视频图像帧进行后处理的计算机装置和方法,以及计算机可读介质
JP5593468B1 (ja) 画像符号化装置及び画像符号化方法
Miao et al. Layered screen video coding leveraging hardware video codec
US10015506B2 (en) Frequency reduction and restoration system and method in video and image compression
JP2005176337A (ja) 画像信号処理方法、画像信号処理装置、画像信号処理プログラムおよび集積回路装置
Rădescu An efficient solution for video compression using an original modified algorithm applied to improve the 3D Discrete Cosine Transform
JP2007300557A (ja) 画像符号化装置及び画像符号化方法
JP2015061113A (ja) 画像処理装置、画像表示装置、プログラムおよび記録媒体
JP2009232360A (ja) 情報処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121101

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5131864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250