JP2006510272A - 符号化デジタルビデオのための解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同化 - Google Patents

符号化デジタルビデオのための解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同化 Download PDF

Info

Publication number
JP2006510272A
JP2006510272A JP2004558918A JP2004558918A JP2006510272A JP 2006510272 A JP2006510272 A JP 2006510272A JP 2004558918 A JP2004558918 A JP 2004558918A JP 2004558918 A JP2004558918 A JP 2004558918A JP 2006510272 A JP2006510272 A JP 2006510272A
Authority
JP
Japan
Prior art keywords
metric
algorithm
value
post
umdvp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004558918A
Other languages
English (en)
Other versions
JP2006510272A5 (ja
Inventor
ボロツキー，リラ
ヤン，イビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006510272A publication Critical patent/JP2006510272A/ja
Publication of JP2006510272A5 publication Critical patent/JP2006510272A5/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明は、符号化されたデジタルビデオのピクチャ品質を向上するための、解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同制御のための新しいアプローチである。本出願は、測定基準に基づく共同制御を提供する。その測定基準は、どのピクセルをどのくらいエンハンスするかを決定し、どのピクセルにどの程度のアーティファクト低減を実行するかを決定するために用いられる。

Description

本発明は、符号化されたデジタルビデオの最適ピクチャ品質を達成するための、ビデオエンハンスメントおよびアーティファクト低減の共同化のための新しいアプローチである。ビデオエンハンスメントには、解像度エンハンスメントとシャープネスエンハンスメントが含まれる。より具体的には、本発明は、シャープネスエンハンスメントまたは解像度エンハンスメント、アーティファクト低減、および両後処理部を駆動する共同制御を含むシステムおよび方法である。最も具体的には、本発明は、測定基準に基づく共同制御を提供する。その測定基準は、本発明者の同時係属中の特許出願「デジタルビデオ処理に対する統一測定基準（A Unified Metric For Digital Video Processing(UMDVP)）」で提供された測定基準である。この出願は、ここにすべて記載したものとして、ここに参照により援用されている。この測定基準は、どのピクセルをどのくらいエンハンスすべきかを決定するため、およびどのピクセルにどの程度アーティファクト低減を実施するかを決定するために用いられる。
従来技術
MPEG（Moving Picture Expert Group）ビデオ圧縮技術は、必要とする記憶容量と帯域幅を削減することにより、例えばDVDプレーヤ、高精細度テレビジョンデコーダ、ビデオ会議など現在市場に出回っている製品や今後市場に投入される製品を実現している。圧縮はアーティファクトが入り込むことによるピクチャ品質の低下という代償で手に入る。このようなロッシー（lossy）圧縮技術（MPEG-1、MPEG-2、MPEG-4、H.26x等）により符号化アーティファクトが入り込み、復号されたビデオのピクチャ品質を低下させる。ブロックベースの符号化技術においては、最も頻繁に発生するアーティファクトはブロック歪みとリンギングであり、これらのアーティファクトを低減するアルゴリズムが多数開発されている。これらのアルゴリズムの共通の目的は、シーンコンテント（例えば、画像シャープネスおよびファインディテール）の望ましい他の特徴（feature）を何も減じることなく、アーティファクトを低減することである。実際には、従来のシャープネスエンハンスメントアルゴリズムは、符号化されたデジタルビデオには次善最適であり、すでに存在する符号化アーティファクトをエンハンスすることが多い。本発明者の同時継続中の特許出願「符号化デジタルビデオのためのシャープネスエンハンスメントのシステムおよび方法（System and Method of Sharpness Enhancement for Coded Digital Video）」を参照されたい。この出願は、ここにすべて記載したものとして、ここに参照により援用されている。
本発明者の同時係属中の特許出願「デジタルビデオ処理に対する統一測定基準（A Unified Metric For Digital Video Processing(UMDVP)）」において、デジタルビデオ処理の測定基準はMPEG符号化情報および局所空間的特徴（feature）に基づき定義されている。この測定基準は、符号化アーティファクトを増大することなく、どのくらいピクセルをエンハンスできるかを決定する。実験によると、シャープネス・エンハンスメント・アルゴリズムをこの測定基準と組み合わせると、この測定基準を使用しない場合と比較してピクチャ品質がよくなる。しかし、ビデオにはまだ符号化アーティファクトが含まれているので、最適なピクチャ品質を達成するためにはこのアーティファクトを無くさなければならない。
通常、デブロッキングおよびデリンギング・アルゴリズムでは、最初のステップでアーティファクトを検出し、次のステップでアーティファクトを有する画像の局所化されたエリアにアーティファクト低減を適用する。アーティファクト低減ステップが正しくないとき、結果として得られるピクチャ品質は、アーティファクト低減をする前より悪くなる。それゆえ、符号化アーティファクトの信頼性の高い検出が非常に重要である。
解像度またはシャープネス・エンハンスメント・アルゴリズムと、アーティファクト低減アルゴリズムとが、例えばMPEG符号化ビデオ等のアプリオリに符号化されたデジタルビデオを受信、格納、処理するシステム内に共存することが非常に多いと思われる。シャープネス・エンハンスメントおよびアーティファクト低減に対する現在のアプローチでは、これらは互いに独立に実施され、一方の結果として得られる改善が他方には否定的なインパクトを与えてしまい、そのためにピクチャ品質が低下してしまう。
このように、符号化アーティファクトと局所ファインディテールとを特定し区別する、解像度またはシャープネス・エンハンスメント（SE）およびアーティファクト低減（AR）の共同アプローチが必要とされている。解像度エンハンスメントはスケーリング機能とシャープネス・エンハンスメント・アルゴリズムにより構成されている。本発明は、解像度エンハンスメントのシャープネス・エンハンスメントの部分のみを取り扱う。本発明は、符号化デジタルビデオにとって最適なピクチャ品質を達成する、シャープネスエンハンスメントおよびアーティファクト低減に対する統一的アプローチである。
どのピクセルがエンハンスメントの候補であり、どのピクセルにアーティファクト低減を適用しなければならないかを、例えばUMDVP等の測定基準が一旦特定したら、本発明はSEとARの両方を効率的かつ信頼性高く駆動するように制御する。一実施形態において、本発明はブロック歪みやリンギング等の符号化アーティファクトを含むピクセルを特徴付ける測定基準を使用する。そして、その測定基準に基づき、オリジナルピクセルの周囲のエッジやファインディテール等の関連性のある特徴（feature）を不鮮明にすることなく、隣接するどのピクセルがどのくらい多くARを適用されるべきかを決定する。また、その測定基準に基づき、一定の領域や個々のピクセルにどれほど「積極的に」ARを適用すべきかを決定する。
「アーティファクトの無い」エリアにおいては、統一的測定基準に基づく本発明の共同制御により、最適ピクチャ品質を達成するために、適用するエンハンスメント量を制御できるように、本発明はこれらのエリアのエッジやテクスチャがエンハンスさせるようSEを駆動する。
図１を参照して、MPEG-2デコーダ１０は入力ビデオ信号を復号し、復号されたビデオ信号１１は後処理部１８に入力される。後処理部１８はシャープネス・エンハンスメント・モジュール１２または解像度エンハンスメント・モジュール１２ａ、およびアーティファクト低減モジュール１３を有する。
アーティファクト低減モジュール１３は、例えば、デブロッキング、デリンギング等を有するグループから選択された少なくとも１つのアルゴリズムを有する。
制御モジュール１７は、シャープネス・エンハンスメント・モジュール１２およびアーティファクト低減モジュール１３による復号されたビデオ信号１１への後処理の適用を共同制御するために、測定基準１９を用いる。制御モジュール１７は測定基準計算モジュール１６から測定基準１９を受信する。ＭＰＥＧ−２デコーダ１０は、復号されたビデオ信号１１のみでなく符号化情報１５を測定基準計算モジュール１６に送る。システムの出力は後処理されたビデオ１４である。
デジタルビデオ処理に対する統一測定基準
好ましい実施形態において、同じ発明の名称を付けた本発明者の同時係属中の出願で説明したように、測定基準計算モジュール１６は「デジタルビデオ処理に対する統一測定基準（UMDVP）」を計算する。UMDVPは、ブロックベースの符号化情報１５に基づき計算され、MPEG-2符号化されたビデオの局所的ピクチャ品質を反映する。UMDVPは、量子化スケール、ブロックを符号化するために費やしたビット数、ピクチャタイプ（I、P、またはB）等のブロックベースの符号化情報に基づき決定される。このような符号化情報はMPEG-2ビットストリームから得られ、計算負荷は小さい。符号化情報はデコーダにより測定基準計算モジュールに送られる。測定基準計算モジュール１６は、局所的分散等の局所空間的特徴（feature）をもちいて、UMDVPを局所シーンコンテンツに適応させる。共同後処理部１８の性能をさらに向上させるために、測定基準をピクセルベースの値に精密化するため、空間的特徴（feature）が用いられる。
UMDVP測定基準の値は[-1,1]の範囲にある。UMDVP値が低ければ低いほど、ピクセルには符号化アーティファクトが生じやすい。一般に、正の大きいUMDVP値は、ピクセルをシャープにすべきであり、アーティファクト低減から除外すべきであることを示す。制御モジュール１７はUMDVP測定基準１９を受け取り、後処理部１８のシャープネス・エンハンスメント・モジュール１２とアーティファクト低減モジュール１３を共同制御するためにこの測定基準１９を用いる。測定基準１９の値は、後処理モジュールのどれをどういう順序でオンするか決定する。例えば、UMDVP測定基準１９が所定の閾値であるVP_THREDより小さいとき、シャープネスエンハンスメントモジュール１２はオフされ、アーティファクト低減モジュール１３がオンされる。UMDVP測定基準１９が所定の閾値であるVP_THRED以上のとき、アーティファクト低減モジュール１３はオフされ、シャープネスエンハンスメントモジュール１２がオンされる。１つの機能を完全にオフしてしまう必要はない。例えば、ARがアーティファクトを有する領域でうまく機能したと判断したときは、その領域においてシャープネスをよくするためにSEをイネーブルすることができる。
UMDVPはピクセルにアーティファクト低減をかけるかどうか、またはどのくらいかけるかを示すことはできるが、この測定基準はブロッキングやリンギング等の異なる符号化アーティファクトを区別する手段を提供するものではない。このように、アーティファクト低減モジュール１３が制御モジュールにより一旦起動されれば、より高い性能を達成するためにUMDVP測定基準をどのように使用するかを決めるのは、アーティファクト低減モジュール１３しだいである。例えば、UMDVP測定基準１９の値は、アーティファクト低減やシャープネスエンハンスメントをどのくらい「積極的に」実行するかを決定する。UMDVPの値がVP_THREDの値より低ければ低いほど、制御部１７はアーティファクト低減部１３に、より大きなアーティファクト低減を命令する。UMDVPの値がVP_THREDより大きければ大きいほど、シャープネス・エンハンスメント・モジュール１２はより大きなエンハンスメントをするように制御部１７により命令される。
VP_THREDと併せて測定基準を使用することを図２に示した。ステップ２０において、ブロックベースの符号化情報に基づいて測定基準M=UMDVPが計算される。ステップ２１において、所定の閾値であるVP_THREDと計算された測定基準Mとの間の差を、式
AMT=M-VP_THRED
を用いて決定する。AMTの値は後処理をどのくらい積極的に適用すべきかを示す。すなわち、後処理をどのくらい積極的に適用すべきかはAMTの絶対値に比例する。AMTが正のとき、ステップ２４においてアーティファクト低減はオフされ、ステップ２５においてエンハンスメントはオンされる。ベースレベルの上に適用されるエンハンスメントの量はAMT、すなわちエンハンスメントの積極性に比例する。AMTが正でないとき、すなわちゼロか負であるとき、ステップ２２においてエンハンスメントはオフされ、ステップ２３においてアーティファクト低減がオンされる。あるブロックについてMの値が低ければ低いほど、そのブロックはアーティファクトを有していることが多いので、AMTの絶対値に比例してアーティファクト低減を実行するとき、より積極的なアーティファクト低減が実行される。
アーティファクト低減アルゴリズム
多数のタイプのアーティファクトがビデオ信号のロッシー（lossy）符号化により入り込む可能性があり、対応するアルゴリズムを用いて後処理部１８による後処理で低減されうる。例えばUMDVP等の測定基準を用いて、これらのアルゴリズムにより後処理がいつ、どこで、どのくらい達成するかを制御することができる。
符号化ビデオストリームでよく発生するアーティファクトにはブロック歪みとリンギングの２タイプがある。ブロック歪みは、隣接するブロックが独立して符号化されるので、ブロックの境界に不連続性が現れる現象である。リンギングは、一般的にはスムースなテクスチャのエリアにおけるコントラストが高いエッジに沿ってはっきり分かり、エッジから外に向かって伸びるリップルのように見える。リンギングは、エッジを表現するのに重要な役割を果たす高周波数のDCT成分の急なトランケーション（truncation）により起こる。
ブロック歪みとそれを修正するデブロッキングは幅広く研究されており、多数のデブロッキング・アルゴリズムが開発された。リンギングはあまり注目されていない。特に、大きな高コントラスト・高解像度ディスプレイのための満足のいくデリンギング・アルゴリズムは従来技術にはなく、既存の方法は単に空間的フィルタリングに基づきピクチャ品質については妥協するものであるか、または計算が複雑なため近い将来には実施できないものである。しかし、リンギングアーティファクトは、ビットレートが高くても見ることができ、高品位モニター等のディスプレイでは誇張され、非常に煩わしい。
デブロッキング・アルゴリズムもデリンギング・アルゴリズムもともに本発明のシステムおよび方法で制御することができる。
UMDVP制御デリンギング
限定ではなく例示のために、アーティファクト低減モジュールのデリンギングアルゴリズムは、適当な測定基準を後処理アルゴリズムを制御するためにどのように用いることができるかを示すために提示されている。このデリンギング・アルゴリズムは適応空間フィルタリングに基づいており、フィルタリング（検知）の位置、フィルタのサイズ、フィルタウィンドウにどのピクセルが含まれまたは除外されるかを決定するために、測定基準計算部１６により計算されたUMDVP等の測定基準を利用する。さらに、測定基準の値に基づき、デリンギング・アルゴリズムはフィルタされたピクセルがその元の値からどれだけ違うかを決定するので、元の圧縮の強さに応じて変位を制御する。
リンギング・アーティファクトはクロミナンス成分に発生し、色が周囲のエリアと異なることがあり、色のサブサンプリングによりマクロブロック全体に広がる。この問題は色のミスマッチを防止するために注意深く制御してクロミナンス・フィルタリングを適用することにより軽減される。
ａ．ルミナンス成分のデリンギング
限定ではなく例示のために、ルミナンス信号のＵＭＤＶＰ制御デリンギングの処理ステップのフローを図３に示した。位置(i,j)にあるピクセルを考える。位置(i,j)の近傍は図４に示したように定義する。ステップ３１において、UMDVP値が「１」の近傍に孤立したUMDVP値が「０」があるかどうか判断し、もしあるときは、ステップ３２において位置(i,j)のピクセルについてUMDVP(i,j)を１に設定する。近傍サイズが選択され、好ましい実施形態においては、3x3の近傍のピクセルがデリンギングされ、ステップ３３において、この近傍のUMDVP値がすべて「０」以下かどうか、または近傍は均一ではないが負のUMDVP値であるかどうかを判断する。ステップ３３でテストした条件は、例えばテクスチャエリアとうの過剰にぼけた点のみでなく、孤立した点にデリンギングを適用することを防止する。テクスチャエリアではUMDVP値は「１」と「０」が混ざっている。
ステップ３３の条件が満たされると、ステップ３５において、ピクセルのルミナンス値が第１のフィルタリングIによりフィルタされる。第１のフィルタリングIは、例えば、選択されたウィンドウ・サイズを用いるローパスフィルタであり、デリンギングされるピクセルのルミナンス値から所定量、例えば１０％より大きく異なるピクセルを排除する。このように、ルミナンス値が大幅に異なるピクセルは除外され、アーティファクトではないファインディテールはフィルターで除外されない。ローパスフィルタ以外の他のタイプのフィルタを用いてもよい。以下のフィルタリングIIの説明を参照されたい。
ステップ３３の条件が満足されなかったら、ステップ３４において、ピクセルのルミナンス値が第２のフィルタリングIIによりフィルタされる。これもローパスフィルタとして実施される：
Y_filt(i,j)=Y(i,j)-f(UMDVP(i,j))*hp(i,j)
ここでY(i,j)は元のルミナンス値であり、f(UMDVP(i,j))はUMDVP(i,j)の関数であり、hp(i,j)はハイパス信号である。限定としてではなく例示として、
f(UMDVP(i,j))=(1-UMDVP(i,j))/a
であり、「a」は例えば２、４、８、．．．であってもよい。「a」=4とすると、hp(i,j)の計算は次のフィルタカーネルを用いて達成することができる：
０ −１ ０
−１ ４ −１
０ −１ ０
そして、ローパスフィルタが強すぎないように、フィルターカーネルの出力は0.5倍される。
フィルタの後、ステップ３６において、例えば、最大変位の以下の定義に基づき元の値をフィルタ後の値に置き換える：
Max_displ=PAR1+PAR2 ピクセル(i,j)が均一エリアに属するとき
Max_displ=abs(UMDVP)*PAR1+PAR2 ピクセル(i,j)が均一エリアでなく、
UMDVP(i,j)<=0であるとき
Max_displ=PAR2 上記以外のとき
ここで、例えば、PAR1=30、PAR2=10である。
元のルミナンス値とフィルタ後の値の差の絶対値が上で計算したMax_displより大きいとき、ステップ３６において、元の値のままとするか、またはMax_displだけシフトされる。すなわち、f(Y(i,j),Y_filt(i,j),Max_displ)に設定される。
ｂ．クロミナンス成分のデリンギング
限定ではなく例示として、クロミナンス信号のUMDVP制御デリンギングの処理ステップの流れを図５に示した。位置(i,j)にあるピクセルを考える。ステップ５１において、UMDVP値が「１」である近傍に孤立したUMDVP値「０」があるかどうかを判断し、ある場合、ステップ５２において位置(i,j)のピクセルについてUMDVP(i,j)を１に設定する。好ましい実施形態において、近傍サイズはデリンギングされるピクセルの7x7近傍を選択する。ステップ５３において、ピクセル(i,j)は均一なエリアにあるかどうかを判断する。大きなウィンドウ・サイズを選択する理由は、一般のデジタルビデオシステムでは、クロミナンス信号はルミナンス信号に対してサブサンプルされるからである。例えば、４２２カラーフォーマットにおいて、クロミナンス信号は水平に２だけサブサンプルされる。
ステップ５３において条件が満たされると、ステップ５４において、４２２サブサンプリングにマッチする3x5ウィンドウで元のクロミナンス値にローパスフィルタが適用される。フィルタリングでは、デリンギングされるピクセルのクロミナンス値から所定量（例えば10％）よりクロミナンス値が大きく異なるピクセルを排除する。このように、大幅にクロミナンス値が異なるピクセルは除外され、カラーミスマッチを防止する。
フィルタリング後、ステップ５５において、クロミナンス成分の最大変位の以下の定義に基づき、元の値をフィルタ後の値に置き換える：
Max_displ_chrom=(PAR1+PAR2)/4 ピクセル(i,j)が均一エリアに属するとき
Max_displ_chrom=(abs(UMDVP)*PAR1+PAR2)/4 ピクセル(i,j)が均一エリアで
なく、UMDVP(i,j)<=0であるとき
Max_displ_chrom=PAR2/4 上記以外のとき
ここで、例えば、PAR1=30、PAR2=10である。
クロミナンス成分の最大変位は、カラーミスマッチを防ぐため４だけスケールダウンされている以外は、ルミナンスに用いた最大変位と同じである。除数は経験的に決めたものである。元のクロミナンス値とフィルタ後の値の差の絶対値が上で計算したMax_displ_chromより大きいとき、ステップ５５において、元の値のままとするか、またはMax_displ_chromだけシフトされる。すなわち、f(U(i,j),Max_displ_chrom)およびf(V(i,j),V_filt(i,j),Max_displ_chrom)に設定される。
後処理の順次制御
他の好ましい実施形態において、測定基準を用いる後処理は順次実行される。測定基準制御デリンギング（AR）の後に測定基準制御解像度またはシャープネスエンハンスメント（SE）は、制御１７を用いて可能となる順次制御の１つである。本開示を考慮して、ここに説明した様々なユニットやモジュールは、ソフトウェア、ハードウェア、または所望の性能レベルを達成するソフトウェアとハードウェアとの組み合わせのいずれかにより実施することができる。さらに、後処理アルゴリズムとそのパラメータは、限定的な意味ではなく例示として示したものである。それゆえ、説明した実施形態は、符号化されたデジタルビデオに適用される複数の後処理アルゴリズムの共同制御への測定基準の使用についての本発明の原理を示す。本開示を考慮して、当業者は、復号されたデジタルビデオに適用する後処理アルゴリズムのタイプ、積極性、適用の順序を様々な方法で決定することにより、復号されたデジタルビデオに対して後処理部を制御するために測定基準を使用する制御部を有する装置を実施することができる。さらに、後処理アルゴリズムのタイプは例として開示したものに限定されず、後処理アルゴリズム自体が測定基準を用いて復号されたデジタルビデオの処理を決定することができる。
符号化ビデオの解像度またはシャープネスエンハンスメント（SE）およびアーティファクト低減を共同制御する後処理システムを示す機能図である。 本発明の後処理方法の制御レベルを示すフロー図である。 ルミナンス信号のアルゴリズムレベルのUMDVP制御デリンギングを示すフロー図である。 点(i,j)のUMDVP値の近傍を示す図である。 クロミナンス信号のアルゴリズムレベルのUMDVP制御デリンギングを示すフロー図である。

Claims (25)

  1. 復号されたデジタルビデオの後処理システムであって、
    複数の後処理モジュールのタイプ、積極性（aggressiveness）、前記復号されたデジタルビデオへの適用順序を決定するために、前記復号されたデジタルビデオから取得したブロックベースの符号化情報に基づく測定基準Mを計算する測定基準計算部と、
    前記測定基準Mに基づき前記復号されたデジタルビデオの品質を向上する、前記複数の後処理モジュールを有する後処理部と、
    前記測定基準Mに基づき、前記後処理部の前記複数の後処理モジュールのうち少なくとも１つの後処理モジュールの起動を制御する制御部とを有し、
    前記復号されたデジタルビデオの品質は、前記複数の後処理モジュールの少なくとも１つを順番に起動する前記制御部により向上され、前記起動された少なくとも１つの後処理モジュールは前記測定基準Mに基づき前記デジタルビデオを処理することを特徴とするシステム。
  2. 請求項１に記載のシステムであって、前記複数の後処理モジュールは、アーティファクト低減、シャープネスエンハンスメント、解像度エンハンスメントよりなる一群のタイプから選択した各タイプの少なくとも１つのアルゴリズムを有することを特徴とするシステム。
  3. 請求項２に記載のシステムであって、前記少なくとも１つのアーティファクト低減アルゴリズムは、前記測定基準Mに基づくルミナンス・デリンギング・アルゴリズムと前記測定基準Mに基づくクロミナンス・デリンギング・アルゴリズムとのうち少なくとも１つを有することを特徴とするシステム。
  4. 請求項２に記載のシステムであって、前記制御部は、式
    M<VP_THRED
    により、前記少なくとも１つのアーティファクト低減アルゴリズムを起動し、前記少なくとも１つのシャープネスエンハンスメントアルゴリズムをオフし、
    前記式が成り立たないとき、前記少なくとも１つのアーティファクト低減アルゴリズムをオフし、前記少なくとも１つのシャープネスエンハンスメントアルゴリズムを起動する第１のメカニズムをさらに有し、
    VP_THREDは所定の閾値であり、前記アルゴリズムは、一旦起動されると、前記測定基準Mの値に基づいてどのくらい「積極的に」実行するかを決定することを特徴とするシステム。
  5. 請求項２に記載のシステムであって、前記制御部は、前記起動されたアルゴリズムがうまくいったかどうかを判断し、うまくいったときには前記オフされたアルゴリズムを起動する第２のメカニズムをさらに有することを特徴とするシステム。
  6. 請求項４に記載のシステムであって、前記少なくとも１つのアーティファクト低減アルゴリズムは、前記測定基準Mに基づくルミナンス・デリンギング・アルゴリズムおよび前記測定基準Mに基づくクロミナンス・デリンギング・アルゴリズムのうち少なくとも１つを有することを特徴とするシステム。
  7. 請求項４に記載のシステムであって、前記計算された測定基準Mはデジタルビデオ処理のための統一測定基準（UMDVP）であり、UMDVPの値は[-1,1]の範囲にあることを特徴とするシステム。
  8. 請求項７に記載のシステムであって、前記少なくとも１つのアーティファクト低減アルゴリズムは、前記測定基準UMDVPに基づく少なくとも１つのデリンギング・アルゴリズムを有することを特徴とするシステム。
  9. 請求項８に記載のシステムであって、
    UMDVP値が１である位置（i,j）にあるピクセルの近傍にある、孤立した０のUMDVP値は、UMDVP値が１と０が混ざっている近傍の過剰なぼやけだけでなく、孤立したピクセルにデリンギング・アルゴリズムを実行することを防止するため１に置き換えられ、前記近傍はデリンギングされるピクセルを取り囲むnxn個のピクセルであることを特徴とするシステム。
  10. 請求項９に記載のシステムであって、
    前記デリンギングアルゴリズムは少なくとも１つのフィルターを有するルミナンス・デリンギング・アルゴリズムであり、
    前記少なくとも１つのフィルターは、
    ａ．前記UMDVP値が、前記位置(i,j)にあるピクセルの3x3の近傍が均一であり、前記位置(i,j)にあるピクセルが負のUMDVP値を有することを示すかどうかに従って、3x3の近傍サイズを用いて位置(i,j)にあるピクセルのルミナンスフィルタを選択し、
    ｂ．前記位置(i,j)のUMDVP値に基づきピクセル(i,j)のルミナンスに対するフィルター後の値を前記選択されたフィルタを用いて計算し、
    ｃ．位置(i,j)のUMDVP値に少なくとも部分的に基づき位置(i,j)の元のルミナンス値から位置(i,j)のフィルター後のルミナンス値の最大変位を計算し、
    ｄ．前記元の値からの前記フィルター後の値の前記計算された最大変位の関数に基づき、前記位置(i,j)の元のルミナンス値を前記フィルター後の値で置き換えるように構成されていることを特徴とするシステム。
  11. 請求項１０に記載のシステムであって、前記ピクセル(i,j)のルミナンスのフィルター値は、
    Y_filt(i,j)=Y(i,j)-f(UMDVP(i,j))*hp(i,j)
    であり、
    Y(i,j)は前記元のルミナンス値であり、前記f(UMDVP(i,j))はUMDVP(i,j)の関数であり、hp(i,j)はハイパス信号であることを特徴とするシステム。
  12. 請求項１１に記載のシステムであって、
    f(UMDVP(i,j))=(1-UMDVP(i,j))/a
    「a」はnを正の整数としてシーケンス2n=2、4、8、．．．から選択されることを特徴とするシステム。
  13. 請求項１２に記載のシステムであって、「a」=4であるとき、hp(i,j)の計算は次のフィルターカーネル：
    ０ −１ ０
    −１ ４ −１
    ０ −１ ０
    を用いてなされ、
    ローパスフィルタが強すぎないように前記フィルタカーネルの出力に0.5をかけることを特徴とするシステム。
  14. 請求項１０に記載のシステムであって、前記計算された最大変位の関数は、PAR1とPAR2を所定のパラメータとして、
    a. Max_displ=PAR1+PAR2 ピクセル(i,j)が均一エリアに属するとき
    b. Max_displ=abs(UMDVP)*PAR1+PAR2 ピクセル(i,j)が均一エリアでなく、
    UMDVP(i,j)<=0であるとき
    c. Max_displ=PAR2 上記以外のとき
    d. 前記元のルミナンス値と前記フィルタ後の値の差の絶対値が前記計算されたMax_displより大きいとき、前記元の値がそのまま使用されるか、または前記Max_displだけシフトされ
    Y_filt(i,j)=Y、
    Y_filt=Y+Max_displ、または
    Y_filt=Y-Max_displ
    であることを特徴とするシステム。
  15. 請求項１５に記載のシステムであって、前記PAR1=30であり、PAR2=10であることを特徴とするシステム。
  16. 請求項９に記載のシステムであって、
    前記デリンギングアルゴリズムはフィルタを有するクロミナンスデリンギングアルゴリズムであり、前記フィルタは、
    a. 前記ピクセル(i,j)の7x7近傍が均一であることを前記UMDVP値が示しているとき、3x5近傍サイズを用いてピクセル(i,j)のクロミナンス値をフィルタし、
    b. ローパスフィルタリングに基づき、ピクセル(i,j)のクロミナンスをフィルター後の値を計算し、
    c. (i,j)における前記UMDVP値に少なくとも部分的に基づき位置(i,j)の前記元のクロミナンス値から位置(i,j)のフィルター後のクロミナンス値の最大変位を計算し、
    d. 前記元の値から前記フィルター後の前記計算された最大変位の関数に基づき前記フィルターされたクロミナンス値により位置(i,j)の前記元のクロミナンス値を置き換えるように構成されたことを特徴とするシステム。
  17. 請求項１に記載のシステムであって、前記制御部は、前記測定基準に基づき、前記後処理部の前記複数の後処理モジュールの前記後処理モジュールを順次起動することを特徴とするシステム。
  18. 請求項１７に記載のシステムであって、前記後処理モジュールは、少なくとも１つのアーティファクト低減アルゴリズムと少なくとも1つのシャープネスおよび解像度エンハンスメント・アルゴリズムを有することを特徴とするシステム。
  19. 復号されたデジタルビデオの品質を向上するための、復号されたデジタルビデオの後処理方法であって、
    複数の後処理モジュールのタイプ、積極性、前記復号されたデジタルビデオへの適用順序を決定するために、取得したブロックベースの符号化情報に基づく測定基準Mを計算するメカニズムを備えるステップと、
    前記測定基準に基づき前記復号されたデジタルビデオの品質を向上するために、前記復号されたデジタルビデオを後処理する複数の後処理モジュールを有するメカニズムを備えるステップと、
    前記測定基準に基づき、前記後処理部の前記複数の後処理モジュールのうち少なくとも１つの後処理モジュールの起動するための制御部を備えるステップと、
    前記測定基準に基づき前記ブロックの各ピクセルの後処理を制御する測定基準Mを計算するステップと、
    選択と処理が前記復号されたデジタルビデオの品質を向上するために前記計算された測定基準Mに基づくところの備えられた前記複数の後処理モジュールの少なくとも１つを起動するステップとを有することを特徴とする方法。
  20. 請求項１９に記載の方法であって、前記複数の後処理部を備えるステップは、少なくとも１つのアーティファクト低減アルゴリズムと少なくとも１つのシャープネスおよび解像度エンハンスメント・アルゴリズムを備えるステップを有することを特徴とする方法。
  21. 請求項２０に記載の方法であって、前記少なくとも１つのアーティファクト低減アルゴリズムを備えるステップは、前記測定基準Mに基づく少なくとも１つのルミナンス・デリンギング・アルゴリズムと、前記測定基準Mに基づく少なくとも１つのクロミナンス・デリンギング・アルゴリズムとを備えるステップをさらに有することを特徴とする方法。
  22. 請求項２０に記載の方法であって、前記起動するステップは、
    所定の閾値VP_THREDを備えるステップと、
    M<VP_THREDであるとき、
    ａ．前記少なくとも1つのシャープネスエンハンスメントアルゴリズムをオフするサブステップと、
    ｂ．前記少なくとも１つのアーティファクト低減アルゴリズムを起動するサブステップとを実行するステップと、
    M>=VP_THREDであるとき、
    ｃ．前記少なくとも１つのアーティファクト低減アルゴリズムをオフするサブステップと、
    ｄ．前記少なくとも１つのシャープネスエンハンスメントアルゴリズムを起動するサブステップとを実行するステップと、
    前記測定基準Mの値に基づき、どのくらい積極的に前記アルゴリズムを実行するかを前記起動されたアルゴリズムにより決定するステップとを有することを特徴とする方法。
  23. 請求項２２に記載の方法であって、前記少なくとも１つのアーティファクト低減アルゴリズムを備えるステップは、前記測定基準Mに基づく少なくとも１つのルミナンス・デリンギング・アルゴリズムと前記測定基準Mに基づく少なくとも１つのクロミナンス・デリンギング・アルゴリズムとを備えるステップを有することを特徴とする方法。
  24. 請求項２３に記載の方法であって、
    前記測定基準Mを計算するステップは、デジタルビデオ処理のための統一的測定基準（UMDVP）としてMを計算するメカニズムにさらに基づき、
    前記UMDVP測定基準の値は[-1,1]の範囲にあることを特徴とする方法。
  25. 復号されたデジタルビデオの後処理を実行する記録可能媒体に格納されたプログラムプロダクトであって、
    計算された測定基準に基づき前記復号されたデジタルビデオを後処理する手段と、
    前記復号されたデジタルビデオから得たブロックベースの符号化情報に基づき、前記後処理手段のタイプ、積極性、および前記復号されたデジタルビデオへの適用の順序を決定するために、測定基準を計算する手段と、
    前記計算された測定基準を用いて前記後処理手段の起動および起動の順序を制御する手段とを有することを特徴とするプログラムプロダクト。
JP2004558918A 2002-12-10 2003-11-28 符号化デジタルビデオのための解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同化 Withdrawn JP2006510272A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43230102P 2002-12-10 2002-12-10
PCT/IB2003/005536 WO2004054269A1 (en) 2002-12-10 2003-11-28 Joint resolution or sharpness enhancement and artifact reduction for coded digital video

Publications (2)

Publication Number Publication Date
JP2006510272A true JP2006510272A (ja) 2006-03-23
JP2006510272A5 JP2006510272A5 (ja) 2007-02-01

Family

ID=32507890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004558918A Withdrawn JP2006510272A (ja) 2002-12-10 2003-11-28 符号化デジタルビデオのための解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同化

Country Status (7)

Country Link
US (1) US20060050795A1 (ja)
EP (1) EP1574069A1 (ja)
JP (1) JP2006510272A (ja)
KR (1) KR20050085554A (ja)
CN (1) CN1723712A (ja)
AU (1) AU2003282296A1 (ja)
WO (1) WO2004054269A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003283723A1 (en) * 2002-12-10 2004-06-30 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
US20070133896A1 (en) * 2004-02-27 2007-06-14 Koninklijke Philips Electronics N.V. Ringing artifact reduction for compressed video applications
US20070159556A1 (en) * 2004-03-25 2007-07-12 Koninklijke Philips Electronics N.V. Luminance transient improvemet using video encoding metric for digital video processing
US7136536B2 (en) 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
CN101491102B (zh) * 2006-07-20 2011-06-08 高通股份有限公司 将后处理视为在解码器中执行的视频编码
US8553758B2 (en) * 2007-03-02 2013-10-08 Sony Corporation Motion parameter engine for true motion
US8363728B2 (en) * 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
US20100067818A1 (en) * 2008-09-15 2010-03-18 Sony Corporation, A Japanese Corporation System and method for high quality image and video upscaling
WO2010107411A1 (en) 2009-03-17 2010-09-23 Utc Fire & Security Corporation Region-of-interest video quality enhancement for object recognition
CN101902558B (zh) * 2009-06-01 2012-06-13 联咏科技股份有限公司 图像处理电路及其图像处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177993A (ja) * 1997-12-12 1999-07-02 Nec Corp 動画像符号化装置
US7161633B2 (en) * 2001-01-10 2007-01-09 Koninklijke Philips Electronics N.V. Apparatus and method for providing a usefulness metric based on coding information for video enhancement
US7003173B2 (en) * 2001-06-12 2006-02-21 Sharp Laboratories Of America, Inc. Filter for combined de-ringing and edge sharpening
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding

Also Published As

Publication number Publication date
US20060050795A1 (en) 2006-03-09
WO2004054269A1 (en) 2004-06-24
AU2003282296A1 (en) 2004-06-30
KR20050085554A (ko) 2005-08-29
CN1723712A (zh) 2006-01-18
EP1574069A1 (en) 2005-09-14

Similar Documents

Publication Publication Date Title
EP1500197B1 (en) Chroma deblocking filter
JP5290171B2 (ja) 符号器によって補助された後処理に関する方法及び装置
JP5868925B2 (ja) 符号器によって補助された後処理に関する方法及び装置
JP4455487B2 (ja) 復号化装置及び復号化方法及びプログラム
JP4004089B2 (ja) ビデオ信号復号化システムおよびノイズ抑圧方法
US6281942B1 (en) Spatial and temporal filtering mechanism for digital motion video signals
US7561752B2 (en) Image processing apparatus
US7463688B2 (en) Methods and apparatus for removing blocking artifacts of MPEG signals in real-time video reception
JP2006510272A (ja) 符号化デジタルビデオのための解像度またはシャープネスエンハンスメントおよびアーティファクト低減の共同化
Chen et al. Design a deblocking filter with three separate modes in DCT-based coding
WO2002096117A1 (en) Deblocking block-based video data
WO2005086490A1 (en) Ringing artifact reduction for compressed video applications
JP4380498B2 (ja) ブロック歪み低減装置
US20080187237A1 (en) Method, medium, and system reducing image block noise
Basavaraju et al. Modified pre and post processing methods for optimizing and improving the quality of VP8 video codec
Hermant et al. A DCT-domain filtering algorithm for MPEG-4 encoding
Kim et al. Adaptive deblocking algorithm based on image characteristics for low bit-rate video
Boroczky et al. Post-processing of compressed video using a unified metric for digital video processing
Yang et al. UMDVP-controlled post-processing system for compressed video

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061127

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070611