JP2007159155A - ブロッキング効果を除去するためのフィルタリング方法及びその装置 - Google Patents

ブロッキング効果を除去するためのフィルタリング方法及びその装置 Download PDF

Info

Publication number
JP2007159155A
JP2007159155A JP2007000191A JP2007000191A JP2007159155A JP 2007159155 A JP2007159155 A JP 2007159155A JP 2007000191 A JP2007000191 A JP 2007000191A JP 2007000191 A JP2007000191 A JP 2007000191A JP 2007159155 A JP2007159155 A JP 2007159155A
Authority
JP
Japan
Prior art keywords
value
filter
pixel
block
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007000191A
Other languages
English (en)
Inventor
Jeong-Hoon Park
朴 正▲ホン▼
Yong-Je Kim
金 容帝
Yung-Lyul Lee
李 英烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR20020052457A external-priority patent/KR100584549B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2007159155A publication Critical patent/JP2007159155A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/38Circuits or arrangements for blanking or otherwise eliminating unwanted parts of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise

Abstract

【課題】ブロッキング効果を除去するためのフィルタリング方法及びその装置を提供する。
【解決手段】ブロッキング効果を除去するためのフィルタリング方法において、現在ブロックと隣接ブロックのピクセルのうち境界領域に位置したピクセル値を含むビデオデータを入力される段階と、前記境界領域に位置するピクセル値に対してディブロッキングフィルタリングを行ってピクセル値を変更する段階を含み、前記変更されるピクセル値の数は、前記ディブロッキングフィルタリングのフィルタリング特性によって違ってくることを特徴とするフィルタリング方法。
【選択図】図4

Description

本発明は、ブロッキング効果及びリンギング雑音の除去に係り、より詳細には、ビデオフレームをブロック単位で処理することにより引き起こされるブロッキング効果及びリンギング雑音を除去するためのフィルタリング方法及びその装置に関する。
従来、ほとんどのビデオデータの符号化方法は、イメージフレームをブロック単位で処理する。特に、MPEG(Moving Picture Experts Group)、H.263など、ビデオデータに関する符号化標準によれば、ブロック単位で離散コサイン変換(DCT:Discrete Cosine Transform)を行った後に量子化する過程を経てイメージフレームを符号化する。
しかし、イメージフレームをブロック単位で符号化する方法は、ブロッキング効果及びリンギング雑音を引き起こす。ブロッキング効果は、再現されたイメージフレームに元のフレームには存在しなかったエッジ領域を発生させるなど、隣接ピクセル間の連続性を破壊する。リンギング雑音は、再現されたイメージフレームに存在するオブジェクトの境界線が滑らかに表示できず、デコボコになる現象を引き起こす。圧縮率が高い場合、再現されたイメージフレームにおいて、ブロッキング効果及びリンギング雑音による画質の低下は一層目立つ。
ブロッキング効果及びリンギング雑音を除去するためのフィルタリングを行うためには、まず、ブロッキング効果及びリンギング雑音が生じた領域を正確に把握することが重要である。そうでない場合、元のビデオフレームに存在するエッジ領域をブロッキング効果により生じたと誤った判断して無くすことにより、フィルタリング後に画質がむしろ劣化してしまう結果となる。
ブロッキング効果及び/またはリンギング雑音を除去するための従来のフィルタリング方法において、再現されたピクセルブロックにブロッキング効果及び/またはリンギング雑音により生じたエッジ領域を区別するためにエッジ領域を検査する代表的な方式は、下記の通りである。すなわち、複数の8×8ピクセルブロックまたは4×4ピクセルブロックよりなる再現されたビデオフレームにおいて、8×8ピクセルブロックまたは4×4ピクセルブロックの境界に存在するピクセルの値(明るさ、輝度、色合い)の分布を測定した後、所定の臨界値と比較してエッジ領域を検出する。臨界値は、8×8ピクセルブロックまたは4×4ピクセルブロックの境界に存在するピクセルの値(明るさ、輝度、色合い)の分布を測定した後、測定された値の分布とエッジ領域の存否との相関関係を調べて実験的に決定される。
ピクセル値の分布を調べるためには、隣り合うブロック間の境界領域に存在するピクセル値を垂直方向または水平方向に検査しなければならない。しかし、ピクセル値を一々検査するためには、少なくない計算量が必要である。特に、ピクセル値は水平方向に順次にメモリに貯蔵されるため、垂直方向にピクセル値を調べるためには連続的なメモリへのアクセスが不可避であるものの、メモリへのアクセスは容易ではない。
そこで、本発明の目的は、エッジ領域をより効率よく検出できるフィルタリング方法及びその装置を提供するところにある。
本発明の他の目的は、より少ない計算量にてエッジ領域をより効率良く検出できるフィルタリング方法及びその装置を提供するところにある。
前記目的は、本発明によって、ブロッキング効果を除去するためのフィルタリング方法において、(a)ビデオデータをブロック単位で変換する段階と、(b)変換により得られた値の分布に基づきエッジ領域の存否を検査する段階と、を含むことを特徴とするフィルタリング方法により達成される。
また、前記目的は、ブロッキング効果を除去するためのフィルタリング方法において、(a)ビデオデータをブロック単位で変換して量子化する段階と、(b)量子化された値の分布に基づきフィルタ情報を生成する段階と、(c)生成されたフィルタ情報に基づきフィルタリングを行う段階と、を含むことを特徴とするフィルタリング方法によっても達成される。
前記(a)段階は、(a1)ビデオデータをブロック単位でDCTしてDCT係数を得る段階と、(a2)得られたDCT係数を量子化する段階と、を含み、特に、4×4ピクセルブロックをDCT且つ量子化し、量子化された4×4DCTブロックを得る段階であることが好ましい。
前記(b)段階は、前記量子化されたDCT係数に基づき、ブロッキング効果及び/またはリンギング雑音の発生の度合いを知らせるフィルタ情報を生成する段階であり、特に、(b1)量子化されたDCTブロックの最上位行において、DC成分Aを除いた値Bを検査して対応ピクセルブロックの垂直方向に対するエッジ領域の存否を知らせるフィルタ情報を生成する段階であることが好ましい。
また、前記(b)段階は、(b2)量子化されたDCTブロックの最左側列においてDC成分Aを除いた値Cを検査して対応ピクセルブロックの水平方向に対するエッジ領域の存否を知らせるフィルタ情報を生成する段階を含むか、あるいは、(b3)量子化されたDCTブロックにおいて、最上位行及び最左側列を除いた残りの値を検査して対応ピクセルブロックの対角線方向に対するエッジ領域の存否を知らせるフィルタ情報を生成する段階を含むことが好ましい。
前記DC成分Aのみが所定値を有する場合、水平方向及び垂直方向のブロッキングフラグ(HVF,VBF)を共に1に設定し、前記HBF及びVBFが共に1に設定された場合、垂直方向及び水平方向により強くディブロッキングフィルタリングを行うことが好ましい。
前記DC成分A及び前記DCTブロックの最上位行においてDC成分Aを除いた値Bのみが所定値を有する場合、垂直方向のブロッキングフラグ(VBF)を1に設定し、前記VBFが1に設定された場合、垂直方向により強くディブロッキングフィルタリングを行うことが好ましい。
前記DC成分A及び前記DCTブロックの最左側列においてDC成分Aを除いた値Cのみが所定値を有する場合、水平方向のブロッキングフラグ(HBF)を1に設定し、前記HBFが1に設定された場合、水平方向により強くディブロッキングフィルタリングを行うことが好ましい。
前記DC成分A、DCTブロックの最上位行においてDC成分Aを除いた値B及びDCTブロックの最左側列においてDC成分Aを除いた値C以外で所定値を有する場合、前記フィルタ情報としてリンギングフラグ(RF)を1に設定し、前記RFが1に設定された場合、より強くディリンギングフィルタリングを行うことが好ましい。
また、前記目的は、ブロッキング効果を除去するためのフィルタリング方法において、(a)ビデオデータよりなるブロックをピクセル単位に変換して量子化した後、量子化された値を検査してフィルタ情報のための値が得られればフィルタ情報を生成する段階と、(b)生成されたフィルタ情報に基づきフィルタリングを行う段階と、を含むことを特徴とするフィルタリング方法によっても達成される。
前記(a)段階は、(a1)前記ブロックの最上位行及び最左側列のうちDC成分に対応するピクセルを除いた残りのピクセルのうちいずれか一つをDCTして量子化する段階と、(a2)量子化された変換値を検査して0ではなければ、この値に基づき前記フィルタ情報を生成して対応するピクセルが属する前記最上位行または最左側列に対するDCT及び量子化を終える段階と、を含むことが好ましい。
前記(a)段階は、(a3)前記量子化された変換値を検査して0であれば、前記ブロックの最上位行及び最左側列のうちDC成分に対応するピクセルを除いた残りのピクセルのうち他の一つをDCTして量子化する段階と、(a4)前記(a2)段階及び(a3)段階を前記最上位行または最左側列のうちDC成分に対応するピクセルを除いた残りの全てのピクセルに対して繰り返して行う段階と、(a5)前記最上位行または最左側列の全てのピクセルに対してDCT及び量子化を行って得られた量子化された変換値が0であれば、その結果に基づきフィルタ情報を生成する段階と、を含むことが一層好ましい。
一方、本発明の他の分野によれば、前記目的は、ビデオデータの符号化装置において、ピクセルブロックを変換及び量子化して得られた値の分布に基づきフィルタ情報を生成するフィルタ情報生成部と、生成されたフィルタ情報に基づきフィルタ特性値を決定するフィルタ特性値決定部と、決定された特性値に基づきディブロッキングフィルタリングを行うディブロッキングフィルタと、を備えるループフィルタを備えることを特徴とする符号化装置によっても達成される。
前記ループフィルタは、インターフレームに対してブロック単位でピクセル値を変換するためのループ変換部と、前記ループ変換部により変換された値を量子化するためのループ量子化部と、をさらに備えることが好ましい。
上述したように、本発明によれば、より効率よくエッジ領域を検出することによりブロッキング効果及び/またはリンギング雑音をより効果的に除去できるフィルタリング方法及びその装置が提供される。
以下、添付した図面に基づき、本発明の好ましい実施の形態について詳細に説明する。
まず、ビデオデータの符号化に関する概要を説明すれば、下記の通りである。ビデオデータは、複数のイメージフレームよりなる。イメージフレームは、イントラフレーム及びインタフレームに符号化されて伝送される。イントラフレームは、他のイメージの参照なしに符号化されたものであるため、独立的に復号化可能である。これに対し、インターフレームは、以前及び/または以降のイメージを参照してその差分値のみを符号化したものであるため、復号化時に以前及び/または以降のフレームが必要である。各イメージフレームは複数のマクロブロックよりなり、マクロブロックには複数のピクセルブロックが存在する。
本発明によるフィルタリング方法及びその符号化装置は、エッジ領域を判別するに当たって、マクロブロックまたはピクセルブロックを変換させて得られた変換値の分布または変換されて量子化された値の分布に基づく。その具体的な方法及びこれを採用した符号化装置は、下記の通りである。
図1は、本発明の好ましい実施の形態による符号化装置のブロック図である。
図1を参照すれば、符号化装置は、動き推定部1、変換部2、量子化部3、逆量子化部4、逆変換部5、動き補償部6、及びループフィルタ7を備える。また、符号化装置は、制御部(図示せず)をさらに有し、制御部により制御される第1のスイッチ10、第2のスイッチ20、及び第3のスイッチ30を備える。
制御部は、ビデオデータが入力されれば第1のスイッチ10を制御し、イントラフレームである場合には直ちに変換部2に入力させ、その一方、インターフレームである場合には動き推定部1に入力させる。動き推定部1は、ピクセルブロック単位で以前のイメージフレームとピクセル値とを比較し、その差分値(動きベクトル)を変換部2に出力する。
変換部2は、イントラフレームの場合には該当イメージフレームに存在するピクセル値を、インターフレームの場合には差分値(動きベクトル)のデータの表現方式を変えて再び表現、すなわち、変換する。本実施の形態において用いられる変換方式は、DCTである。適用可能な他の変換方式、例えば、離散ウェーブレット変換(DWT:Discrete Wavelet Transform)を用いることも可能である。
量子化部3は、変換された値(DCT係数)を所定の量子化ステップによって量子化する。量子化ステップは、各ブロック単位で適応的に決定できる。量子化ステップが大きいほど量子化ノイズは増える。DCTされて量子化された値は、例えば、可変長符号化(VLC:Variable Length Coding)により符号化されて受信端に伝送される。
一方、DCTされて量子化された値は、さらに逆量子化部4またはループフィルタ7に入力される。また、制御部は、第2のスイッチ20を制御してイントラフレームの場合にはループフィルタ7にも入力させる。インターフレームの場合には逆量子化部4にのみ入力させる。
イントラフレームの場合には、量子化部3から出力された値がエッジ領域を判断するために必要な値、すなわち、ブロック単位のピクセル値がDCTされて量子化された値であるため、さらなる処理過程が不要であるため、直ちにループフィルタ7に入力される。
インターフレームの場合には、量子化部3から出力された値は差分値(動きベクトル)に対してDCTされて量子化された値であるため、ブロック単位のピクセル値がDCTされて量子化された値を得るために逆量子化部4に入力される。これは、窮極的に、ブロック単位のピクセル値を復元するための過程である。
逆量子化部4は、入力された値を所定の量子化ステップに基づき逆量子化し、逆変換部5は逆変換を行う。本実施の形態では、逆離散コサイン変換(IDCT:Inverse Discrete Cosine Transform)による。変換部2が別の変換方式による場合、逆変換部5もまたそれによる逆変換方式に従う。
例えば、変換部2がDWTによる場合、逆変換部5もまた逆離散ウェーブレット変換(IDWT:Inverse Discrete Wavelet Transform)による。イントラフレームの場合、逆変換部5から出力された値はフィルタリングの対象となる値、すなわち、現在のイメージフレームに関するピクセル値であるため、ループフィルタ7に入力される。インターフレームは、現在のイメージフレームに関するピクセル値を得るためには動き補償の過程がさらに必要であるため、動き補償部6に入力される。
制御部は、第3のスイッチ30を制御してイントラフレームの場合には逆変換部5の出力値をループフィルタ7に入力させ、その一方、インターフレームの場合には動き補償部6に入力させる。動き補償部6は、差分値をブロック単位で以前のイメージフレームに加えて現在のイメージフレームを復元し、ループフィルタ7に出力する。
ループフィルタ7は、本発明によるフィルタリングを行う。第1の実施の形態により、各ブロックに対してDCT及び量子化の行われた値の分布に基づきエッジ領域を判別し、その結果に基づき適応的にフィルタリングを行うか、あるいは、第2の実施の形態により、各ブロックの最左側列及び最上位行のピクセル値の各々に対して順次にDCT及び量子化の行われた値を得た後、この値を検査してエッジ領域を判別し、その結果に基づき適応的にフィルタリングを行う。ループフィルタ7の動作の詳細については、後述する。
図2は、本発明の第1の実施の形態によるループフィルタ7の詳細ブロック図である。
図2を参照すれば、ループフィルタ7は、ループ変換部71、ループ量子化部72、フィルタ情報生成部73、フィルタ特性値決定部74、ディブロッキングフィルタ75及びディリンギングフィルタ76を備える。
ループフィルタ7に入力される値は、大きく2種に分けられる。一つはフィルタリングのための対象データ(1)であり、もう一つはフィルタ情報を生成するためのフィルタ情報抽出データ(2)、(3)である。対象データ(1)は、イメージフレームに関するブロック単位のピクセル値であって、イントラフレームの場合に第3のスイッチ30から伝達され、インターフレームの場合に動き補償部6から入力される。
第1の実施の形態において、フィルタ情報抽出データは、所定のブロックに対してDCT及び量子化の行われた値を言う。イントラフレームの場合、フィルタ情報抽出データである、ブロック単位のピクセル値に対してDCT及び量子化の行われた値(2)が第2のスイッチ20から伝達されるため、さらなる計算過程を必要とせずに直ちにフィルタ情報を生成できるものの、インターフレームの場合、動き補償部6からピクセル値(3)が入力されるため、フィルタ情報抽出データを得るために、ループフィルタ7内においてピクセル値を変換して量子化する過程が必要となる。従って、第2のスイッチ20から入力された値(2)はフィルタ情報生成部73に入力され、動き補償部6から入力された値(3)、すなわち、インターフレームに関するブロック単位のピクセル値はループ変換部71に入力される。
ループ変換部71及びループ量子化部72は、インターフレームに対してブロック単位でピクセル値を各々変換して量子化する。但し、ループ変換部71及びループ量子化部72の変換及び量子化は、図1に基づき説明した変換部2及び量子化部3による変換及び量子化とその機能は同じであるが、その精度は必ずしも同じである必要はない。なぜならば、ループ変換部71及びループ量子化部72により最終的に生成される値は、エッジ領域を判別するために用いられれば良いので、ビデオデータの符号化中に行われる変換及び量子化より低い精度を有しても構わないからである。
従って、ループ変換部71及びループ量子化部72は、変換及び量子化を行うに当たって、小数点演算の代わりに整数演算を行うか、量子化ステップを大きくするか、あるいは、FASTモードのDCTを行うなど、その精度を低めて計算量を軽減させることができる。例えば、ループ量子化部72において行われる簡略化した量子化アルゴリズムは、下記の通りである。
Figure 2007159155
ここで、LEVELは量子化された係数であり、K量子化されるピクセルのDCTされた係数であり、A(QP)はマッピングテーブルによる定数値であり、そしてfは目標とする圧縮効率によって定まる定数値である。量子化係数は、以下の数式(2)である場合に0と決定され、その他の場合には所定の値と決定される。
Figure 2007159155
フィルタ情報生成部73は、ブロック単位のピクセル値に対してDCT及び量子化の行われた値に基づきフィルタ情報を生成する。これについての詳細は、後述する。フィルタ特性値決定部74は、フィルタ情報に基づきフィルタ特性値を決定して出力する。ディブロッキングフィルタ75及びディリンギングフィルタ76は、決定された特性値によるフィルタリングを行う。
図3及び図4は、本発明の第1の実施の形態によりフィルタ情報生成部3がフィルタ情報を生成する過程を説明するための参考図である。
図3を参照すれば、本実施の形態において、基本単位である4×4ピクセルブロックをDCTして量子化すれば、4×4の量子化されたDCTブロックが得られる。DCTブロックのaはDC成分を表わす。
DCTブロックの最上位行において、成分aを除いた値bは4×4ピクセルブロックの垂直方向に対するエッジ領域の存否を知らせ、最左側列においてDC成分aを除いた値cは4×4ピクセルブロックの水平方向に対するエッジ領域の存否を知らせる。DCTブロックにおいて、A、B及びCを除いた残りの値dは、4×4ピクセルブロックに全ての方向にエッジ領域を有するオブジェクトが存在するため、リンギング雑音が発生するということを知らせる。
フィルタ情報を生成するために必要な値は、本発明の好ましい実施の形態により、図4に示されたように、A、B及びCが用いられる。A、B及びCからブロッキング効果の度合いを判断し、対応するフィルタ情報を生成する。
1)Aのみが0ではない所定値を有する場合
すなわち、B及びCの値は0である場合には、受信端において再現されるピクセルブロックの全てのピクセル値は同じ値を有する。この場合には、元のピクセルブロックの水平方向及び垂直方向にエッジ領域が存在する可能性が極めて低いことを意味する。従って、再現されたピクセルブロックにエッジ領域が存在すれば、これはブロッキング効果によるものであると見るのである。フィルタ情報としてHVF,VBFが共に1に設定される。
2)A及びBのみが0ではない所定値を有する場合
この場合には、受信端において再現されたピクセルブロックの垂直方向のピクセル値が一定範囲の同値を有する。この場合には、元のピクセルブロックの水平方向にはエッジ領域が存在する可能性があるものの、垂直方向にはエッジ領域が存在する可能性が極めて低いことを意味する。従って、再現されたピクセルブロックの垂直方向にエッジ領域が存在する。これはブロッキング効果によるものであると見るのである。フィルタ情報としてVBFが1に設定される。
3)A及びCのみが0ではない所定値を有する場合
この場合には、受信端において再現されたピクセルブロックの水平方向のピクセル値が一定範囲の同値を有する。この場合には、元のピクセルブロックの垂直方向にはエッジ領域が存在する可能性があるものの、水平方向にはエッジ領域が存在する可能性が極めて低いことを意味する。従って、再現されたピクセルブロックの水平方向にエッジ領域が存在すれば、これはブロッキング効果によるものであると見るのである。フィルタ情報としてHBFが1に設定される。
4)A、B及びCの以外で0ではない所定値を有する場合
そして、A及びBが属する列と、A及びCが属する行とを除いた領域において0ではない値を有すれば、フィルタ情報としてRFが1に設定される。これは、再現されたピクセルブロックにリンギング雑音が発生したことを意味する。
HBF及び/またはVBF、さらには、RFがフィルタ特性値決定部74に伝達されれば、フィルタ特性値決定部74は、これに基づきフィルタ特性値を決定する。換言すれば、HBFが設定されれば、ディブロッキングフィルタ75を水平方向により強くかける。VBFが設定されれば、ディブロッキングフィルタ75を垂直方向により強くかける。RFが設定されれば、ディリンギングフィルタ76をより強くかける。これにより、フィルタリングがブロッキング効果及び/またはリンギング雑音の発生の度合いに応じて適応的に行われる。
但し、第1の実施の形態では、A、B及びCに基づきブロッキング効果を除去するためのフィルタ情報を生成したものの、アプリケーションに要求される精度、迅速性などのスペックに応じて、フィルタ情報を生成するために検査すべき値として最上位行及び最左側列の値のうち少なくとも一つを除外できる。
図5は、本発明の第1の実施の形態の変形例によって生成されたフィルタ情報を説明するための参考図である。ループフィルタ7は、図2に基づき説明したそれと同じである。
但し、図5を参照すれば、変形例では、第1の実施の形態のDCTに代えて、DWT変換を用いる。DWT変換を用いて量子化すれば、4×4のピクセルブロックから2×2の量子化されたDWTブロックが4つ得られる。
ローパスフィルタを通させて得られたブロックeは4×4の量子化されたDCTブロックのDC成分に対応し、ブロックfは4×4の量子化されたDCTブロックのBに対応し(水平方向のエッジ領域の存否を表わす。)、ブロックgは4×4の量子化されたDCTブロックのCに対応し(垂直方向のエッジ領域の存否を表わす。)、ブロックhは4×4の量子化されたDCTブロックにおいて、A及びBが属する列と、A及びCが属する行とを除いた領域に対応する(リンギング雑音の発生有無を表わす。)
従って、第1の実施の形態において、A、B及びCに基づきフィルタ情報を生成した方式と同様にして、変形例においてもブロックe、f、g及びhに基づきブロッキング効果及び/リンギング雑音の発生有無を知らせるフィルタ情報を生成できる。
前記のように、第1の実施の形態による構成に基づき本発明によるフィルタリング方法を説明すれば、下記の通りである。
図6は、本発明の第1の実施の形態にフィルタリング方法を説明するためのフローチャートである。
図6を参照すれば、符号化装置は、入力されたビデオデータをブロック単位でDCTし(第601段階)、変換された係数を所定の量子化ステップにより量子化して量子化された変換ブロックを得る(第602段階)。次に、符号化装置は、量子化されたDCTブロックの値の分布を検査し(第603段階)、検査の結果に基づきフィルタ情報を生成する(第604段階)。フィルタ情報は、ブロッキング効果及び/またはリンギング雑音の発生の度合いを知らせる。次に、符号化装置は、生成されたフィルタ情報に基づきフィルタ特性値を決定して適応的なフィルタリングを行う(第605段階)。
図7は、本発明の第1の実施の形態による他のフィルタリング方法を説明するためのフローチャートである。
図7を参照すれば、フィルタ情報生成部73は、量子化されたDCTブロックの値の分布をチェックしてHBF、VBF、及びRFを1または0に設定する(第701段階)。HBFが1に設定された場合(第702段階)、フィルタ特性値決定部74は、垂直方向にディブロッキングフィルタ75がより強くかかるように特性値を決定し(第703段階)、VBFが1に設定された場合(第704段階)、水平方向にディブロッキングフィルタ75がより強くかかるように特性値を決定して出力する(第705段階)。
HBF及びVBFが共に1に設定された場合(第706段階)、フィルタ特性値決定部74は垂直方向及び水平方向にディブロッキングフィルタ75がより強くかかるように特性値を決定して出力する(第707段階)。RFが1に設定された場合(第708段階)、フィルタ特性値決定部74はディリンギングフィルタ76が強くかかるように特性値を決定して出力する(第709段階)。ディブロッキングフィルタ75及びディリンギングフィルタ76は、設定された特性値に応じて適応的フィルタリングを行う(第710段階)。
ディブロッキングフィルタリングは、ブロック単位に行われるが、実際に入力されるデータは現在のブロックのみならず、隣接したブロックの境界領域に位置したピクセル値が共に入力され、入力された値はディブロッキングフィルタリングにより変更された値として出力される。例えば、現在ブロックのピクセル値1、2、3、4及び隣接したブロックのピクセル値5、6、7、8に対してディブロッキングフィルタが強くかかれば隣接した3、4、5、6が変更され、弱くかかれば4、5のみが変更される。従って、共に入力される隣接したブロックの対応フラグ値を共に比較し、隣接したブロックの対応フラグ値が現在ブロックの対応フラグ値と同じであればディブロッキングフィルタの特性値を強く決定し、異なれば弱く決定することにより、特性値の決定の質を高めることができる。
他の例として、フィルタ情報生成部73は、隣接ブロックのフラグ値VBF、HBF、RFと現在のブロックのフラグ値VBF、HBF、RFとを比較してフィルタ情報を生成できる。この時に生成されるフィルタ情報は、現在ブロックに関するフラグ値のみを用いて生成されたものより細かい値で表現され、これにより、フィルタの特性値もまたより高精度に決定できる。
図8は、本発明の第2の実施の形態によるループフィルタ7の詳細ブロック図である。
図8を参照すれば、ループフィルタ7は、ループ変換部81、ループ量子化部82、フィルタ情報生成部83、フィルタ特性値決定部74、ディブロッキングフィルタ75及びディリンギングフィルタ76を備える。
ループフィルタ7に入力される値は、大きく2種に分けられる。一つはフィルタリングのための対象データ(1)であり、もう一つはフィルタ情報を生成するためのフィルタ情報抽出データ(2)、(3)である。対象データ(1)はイメージフレームに対するブロック単位のピクセル値であって、イントラフレームの場合に第3のスイッチ30から伝達され、インターフレームの場合に動き補償部6から入力される。
第1の実施の形態において、フィルタ情報抽出データは、所定のブロックに対してDCT及び量子化の行われた値を言う。イントラフレームの場合、フィルタ情報抽出データである、ブロック単位のピクセル値に対してDCT及び量子化の行われた値(2)が第2のスイッチ20から伝達されるため、別途の計算過程が必要なく直ちにフィルタ情報を生成できるものの、インターフレームの場合、ピクセル値が動き補償部6から入力されるため、フィルタ情報抽出データを得るために、ループフィルタ7内においてピクセル値を変換して量子化する過程が必要となる。従って、第2のスイッチ20から入力された値(2)はフィルタ情報生成部83に入力され、動き補償部6から入力された値(3)、すなわち、インターフレームに対するブロック単位のピクセル値はループ変換部81に入力される。
ループ変換部81は、入力されたインターフレームを構成する所定の大きさを有するブロックの最左側列及び最上位行の最初のピクセル値及び2番目のピクセル値の各々に対してDCTまたはDWT変換を行う。その順序は、最左側列の場合に上から下に、最上位行の場合に左側から右側に付けられる。ループ量子化部82は、ループ変換部81からのDCTまたはDWT変換値を量子化する。
但し、ループ変換部81及びループ量子化部82の変換及び量子化は、図1に基づき説明した変換部2及び量子化部3が行う変換及び量子化とその機能は同じであるものの、その精度は必ずしも同じである必要はない。なぜならば、ループ変換部81及びループ量子化部82により最終的に得られる値は、エッジ領域を判別するために用いられれば良いため、ビデオデータの符号化中に行われる変換及び量子化より低い精度を有しても構わないからである。
従って、ループ変換部81及びループ量子化部82は、変換及び量子化を行うに当たって、小数点演算の代わりに整数演算を行うか、量子化ステップを大きくするか、あるいはFASTモードのDCTまたはDWTを行うなど、その精度を低めて計算量を軽減させることができる。例えば、ループ量子化部82において行われる簡略化した量子化アルゴリズムの一例は、下記の通りである。
Figure 2007159155
ここで、LEVELは量子化された係数であり、Kは量子化されるピクセルのDCTされた係数であり、A(QP)はマッピングテーブルによる定数値であり、そしてfは目標とする圧縮効率によって定まる定数値である。量子化係数は、以下の数式(4)である場合に0と決定され、その他の場合には所定の値と決定される。
Figure 2007159155
フィルタ情報生成部83は、最左側列の最初及び2番目のピクセル値及び最上位行の最初及び2番目のピクセル値に対してDCTまたはDWTの行われた量子化された値を検査し、0ではない所定値を有するか否かを確かめる。最左側列の2番目のピクセル値または最上位行の2番目のピクセル値に対応する値(DCTまたはDWT及び量子化の行われた値)が0であれば、フィルタ情報生成部83はループ変換部81及びループ量子化部82に次の順序でピクセル値を変換して量子化することを指示する。次に、ピクセル値に対する値が入力されれば、フィルタ情報生成部83はさらに0ではない値を有するか否かを確かめて前述した手順を繰り返す。
最左側列の2番目のピクセル値または最上位行の2番目のピクセル値に対応する値(DCTまたはDWT及び量子化の行われた値)が0ではない所定値を有すれば、それによるフィルタ情報を生成する。フィルタ情報の生成方法は、第1の実施の形態におけるそれと同じである。さらには、フィルタ情報生成部83は、ループ変換部81及びループ量子化部82に変換及び量子化を止めることを指示する。すなわち、0ではない値が見つかれば、該当する最左側列または最上位行に対する変換及び量子化はそれ以上行われずに終わる。この詳細については後述する。
フィルタ特性値決定部74は、フィルタ情報に基づきフィルタ特性値を決定して出力する。ディブロッキングフィルタ75及びディリンギングフィルタ76は、決定された特性値によるフィルタリングを行う。フィルタ特性値決定部74、ディブロッキングフィルタ75及びディリンギングフィルタ76の動作は、第1の実施の形態におけるそれと実質的に同一なため、ここでは同じ参照番号を付して繰り返される説明は省く。
図9は、本発明の第2の実施の形態によりフィルタ情報生成部83がフィルタ情報抽出データを得る過程及び得られたフィルタ情報抽出データからフィルタ情報を生成する過程を説明するための参考図である。
図9を参照すれば、フィルタリング方法は、本実施の形態によるフィルタリングの基本単位である4×4ピクセルブロックのうち、(a)の灰色にて示されたように、最左側列においてDC成分Aに隣接した最初のピクセルCをDCTして量子化して得られた値を検査する。検査の結果、その値が0ではない所定値を有すると確認されれば、DCT及び量子化をそれ以上行わずに終え、その結果に基づきフィルタ情報を生成する。
検査の結果、その値が0であると確認されれば、(b)に灰色にて示されたように、2番目のピクセルCをDCTして量子化して得られた値を検査する。検査の結果、その値が0ではない所定値を有すると確認されれば、DCT及び量子化をそれ以上行わずに終え、その結果に基づきフィルタ情報を生成する。0であれば、(c)のように3番目のピクセルCをDCTして量子化して得られた値を検査する。
同様に、検査の結果、その値が0ではない所定値を有すると確認されれば、DCT及び量子化を終えてその結果に基づきフィルタ情報を生成する。0であるものの、最左側列にそれ以上ピクセルが存在しなければ、今までの結果に基づきフィルタ情報を生成する。フィルタ情報を生成する方法は、第1の実施の形態におけるそれと同じである。
一方、(d)に灰色にて示されたように、最上位列においてDC成分Aに隣接した最初のピクセルBをDCTして量子化して得られた値を検査する。検査の結果、その値が0ではない所定値を有すると確認されれば、DCT及び量子化をそれ以上行わずに終え、その結果に基づきフィルタ情報を生成する。
検査の結果、その値が0であると確認されれば、(e)のように2番目のピクセルBをDCTして量子化して得られた値を検査する。検査の結果、その値が0ではない所定値を有すると確認されれば、DCT及び量子化をそれ以上行わずに終え、その結果に基づきフィルタ情報を生成する。0であれば、(f)のように3番目のピクセルをDCTして量子化して得られた値を検査する。
同様に、検査の結果、その値が0ではない所定値を有すると確認されれば、DCT及び量子化を終え、その結果に基づきフィルタ情報を生成する。0であるものの、最上位列にそれ以上ピクセルが存在しなければ、今までの結果に基づきフィルタ情報を生成する。フィルタ情報を生成する方法は、第1の実施の形態におけるそれと同じである。
A、B及びCを除いた残りの値に対してもまたピクセル単位でDCT及び量子化を行った後、その値を検査してリンギング雑音の発生有無を判断する。リンギング雑音の発生有無に対する判断の基準及びリンギング雑音の発生結果に基づきフィルタ情報を生成する方法もまた第1の実施の形態におけるそれと同じである。
図10は、本発明の第2の実施の形態によるフィルタリング方法を説明するためのフローチャートである。
図10を参照すれば、ブロックの最左側列のDC成分に隣接した最初のピクセルに対してDCTを行い、変換されたDCT係数を量子化して量子化係数を計算する(第1001段階)。次に、計算された量子化係数を検査し(第1002段階)、量子化係数が0であれば、次のピクセルに対してDCT及び量子化を行い(第1003段階)、第1002段階へ戻る。
量子化係数が0ではない所定値を有するか、あるいは、対応するピクセルが最左側列の最後のピクセルであればDCT及び量子化を終え、得られた結果に基づきフィルタ情報を生成する(第1004段階)。すなわち、最左側列の量子化係数のうち0ではない所定値が存在すれば、フィルタ情報としてHBFを1に設定する。
次に、ブロックの最上位行のDC成分に隣接した最初のピクセルに対してDCTを行い、得られたDCT係数を量子化する(第1005段階)。計算された量子化係数を検査し(第1006段階)、量子化係数が0であれば、次のピクセルに対してDCT及び量子化を行い(第1007段階)、第1006段階へ戻る。
量子化係数が0ではない所定値を有するか、あるいは、対応するピクセルが最上位行の最後のピクセルであれば、DCT及び量子化を終え、得られた結果に基づきフィルタ情報を生成する(第1008段階)。すなわち、最上位行の量子化係数のうち0ではない所定値が存在すれば、フィルタ情報としてVBFを1に設定する。
次に、ブロックの最上位行及び最左側列を除いたピクセルのうち、DC成分に隣接したピクセルに対してDCTを行い、DCT係数を量子化する(第1009段階)。計算された量子化係数を検査し(第1010段階)、量子化係数が0であれば次のピクセルに対してDCT及び量子化を行い(第1011段階)、第1010段階へ戻る。
量子化係数が0ではない所定値を有するか、あるいは、対応するピクセルが最左側列及び最上位行を除いたピクセルのうち最後のピクセルであれば、DCT及び量子化を終え、得られた結果に基づきフィルタ情報を生成する(第1012段階)。すなわち、最左側列及び最上位行を除いたピクセルの量子化係数のうち0ではない所定値が存在すれば、フィルタ情報としてRFを1に設定する。
生成されたフィルタ情報に基づきフィルタ特性値を決定して適応的なフィルタリングを行う(第1013段階)。特性値の決定は、図7に基づき説明した通りである。すなわち、HBFが1に設定された場合、フィルタ特性値決定部74は垂直方向にディブロッキングフィルタ75がより強くかかるように特性値を決定し、VBFが1に設定された場合、水平方向にディブロッキングフィルタ75がより強くかかるように特性値を決定して出力する。
HBF及びVBFが共に1に設定された場合、フィルタ特性値決定部74は、垂直方向及び水平方向にディブロッキングフィルタ75がより強くかかるように特性値を決定して出力する。RFが1に設定された場合、フィルタ特性値決定部74はディリンギングフィルタ76が強くかかるように特性値を決定して出力する。
ディブロッキングフィルタ75及びディリンギングフィルタ76は、設定された特性値に応じて適応的なフィルタリングを行う。
ディブロッキングフィルタリングはブロック単位で行われるが、実際に入力されるデータは現在のブロックのみならず、隣接したブロックの境界領域に位置したピクセル値が共に入力され、入力された値はディブロッキングフィルタリングにより変更された値として出力される。例えば、現在のブロックのピクセル値1、2、3、4と隣接したブロックのピクセル値5、6、7、8に対してディブロッキングフィルタが強くかかれば隣接した3、4、5、6が変更され、弱くかかれば4、5のみが変更される。
従って、共に入力される隣接したブロックの対応フラグ値を共に比較し、隣接したブロックの対応フラグ値が現在ブロックの対応フラグ値と同じであればディブロッキングフィルタの特性値を強く決定し、異なれば弱く決定することにより、特性値の決定の質を高めることができる。
他の例として、フィルタ情報生成部83は、隣接ブロックのフラグ値VBF、HBF、RFと現在ブロックのフラグ値VBF、HBF、RFとを比較してフィルタ情報を生成できる。この時に生成されるフィルタ情報は、現在ブロックに対するフラグ値のみを用いて生成されたものより細かく表わされ、これにより、フィルタの特性値もまたより高精度に決定できる。
図10の実施の形態では、最左側列のDC成分を除いた複数のピクセル、最上位行のDC成分を除いた複数のピクセル、最左側列及び最上位行を除いた複数のピクセルのうちDC成分に隣接したピクセルに対して優先的にDCT及び量子化を行ったものの、選択的に、これら複数のピクセルよりなるグループのうち任意の一つに対して優先的にDCT及び量子化を行うことも可能である。
第2の実施の形態は、第1の実施の形態と比較した時、ピクセル単位で変換及び量子化を行うことにより計算量が一層減るといった長所がある。また、第2の実施の形態においても、第1の実施の形態と同様に、DCTに代えてDWTを適用することができる。
一方、前述した第1及び第2の実施の形態では、本発明によるフィルタリング方法及びそのフィルタを符号化装置におけるループフィルタとして具現したが、復号化装置において用いられるポストフィルタとして具現可能なのはもちろんである。
一方、本発明によるフィルタリング方法を具現したソースコードの一例は、下記の通りである。
Figure 2007159155
前記のようなソースコードのアルゴリズムによれば、本発明により所定のブロックに対するエッジ領域を判別することはもとより、隣接ブロック間のフィルタ情報を比較してより高精度にエッジ領域を判別できる。
本発明による符号化装置のブロック図である。 本発明の第1の実施の形態によるループフィルタ7の詳細ブロック図である。 本発明の第1の実施の形態によりフィルタ情報生成部3がフィルタ情報を生成する過程を説明するための参考図である。 本発明の第1の実施の形態によりフィルタ情報生成部3がフィルタ情報を生成する過程を説明するための参考図である。 本発明の第1の実施の形態の変形例により生成されたフィルタ情報を説明するための参考図である。 本発明の第1の実施の形態によるフィルタリング方法を説明するためのフローチャートである。 本発明の第1の実施の形態による他のフィルタリング方法を説明するためのフローチャートである。 本発明の第2の実施の形態によるループフィルタ7の詳細ブロック図である。 本発明の第2の実施の形態によりフィルタ情報生成部83がフィルタ情報抽出データを得る過程及び得られたフィルタ情報抽出データからフィルタ情報を生成する過程を説明するための参考図である。 本発明の第2の実施の形態によるフィルタリング方法を説明するためのフローチャートである。
符号の説明
1 動き動作部
2 変換部
3 量子化部
4 逆量子化部
5 逆変換部
6 動き補償部
7 ループフィルタ
71 ループ変換部
72 ループ量子化部
73 フィルタ情報生成部
74 フィルタ特性値決定部
75 ディブロッキングフィルタ
76 ディリンギングフィルタ

Claims (1)

  1. ブロッキング効果を除去するためのフィルタリング方法において、
    (a)現在ブロックと隣接ブロックのピクセルのうち境界領域に位置したピクセル値を含むビデオデータを入力される段階と、
    (b)前記現在ブロックの境界領域の量子化された変換係数が0でない値を有するか否かと、前記隣接ブロックの境界領域の量子化された変換係数が0でない値を有するか否かを検出し、前記検出結果に基づいてフィルタリング情報を生成する段階と、
    (c)前記生成されたフィルタリング情報に基づき、前記現在ブロックと隣接ブロックの境界領域に位置したピクセル値のうちディブロッキングフィルタリングされるピクセルを選択する段階と、
    前記選択されたピクセルに対してディブロッキングフィルタリングを行う段階を含み、
    前記ディブロッキングフィルタリングが行われてピクセル値が変更されたピクセルの個数は前記選択されたピクセルの個数と相違であることを特徴とするフィルタリング方法。
JP2007000191A 2002-01-31 2007-01-04 ブロッキング効果を除去するためのフィルタリング方法及びその装置 Pending JP2007159155A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20020005742 2002-01-31
KR20020052457A KR100584549B1 (ko) 2002-01-31 2002-09-02 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003024833A Division JP2003244702A (ja) 2002-01-31 2003-01-31 ブロッキング効果を除去するためのフィルタリング方法及びその装置

Publications (1)

Publication Number Publication Date
JP2007159155A true JP2007159155A (ja) 2007-06-21

Family

ID=36635558

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2003024833A Withdrawn JP2003244702A (ja) 2002-01-31 2003-01-31 ブロッキング効果を除去するためのフィルタリング方法及びその装置
JP2005339381A Withdrawn JP2006157910A (ja) 2002-01-31 2005-11-24 ブロッキング効果を除去するためのフィルタリング方法及びその装置
JP2007000191A Pending JP2007159155A (ja) 2002-01-31 2007-01-04 ブロッキング効果を除去するためのフィルタリング方法及びその装置
JP2008162510A Pending JP2008228355A (ja) 2002-01-31 2008-06-20 ブロッキング効果を除去するためのフィルタリング方法及びその装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2003024833A Withdrawn JP2003244702A (ja) 2002-01-31 2003-01-31 ブロッキング効果を除去するためのフィルタリング方法及びその装置
JP2005339381A Withdrawn JP2006157910A (ja) 2002-01-31 2005-11-24 ブロッキング効果を除去するためのフィルタリング方法及びその装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2008162510A Pending JP2008228355A (ja) 2002-01-31 2008-06-20 ブロッキング効果を除去するためのフィルタリング方法及びその装置

Country Status (4)

Country Link
US (21) US7561623B2 (ja)
EP (3) EP2894856A1 (ja)
JP (4) JP2003244702A (ja)
CN (2) CN101568034B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548128B2 (en) 2009-03-09 2013-10-01 Brother Kogyo Kabushiki Kaisha Telephone apparatus, image display method and image display processing program

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
KR100846774B1 (ko) * 2002-05-03 2008-07-16 삼성전자주식회사 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
US7339601B2 (en) 2003-07-10 2008-03-04 Samsung Electronics Co., Ltd. Methods of suppressing ringing artifact of decompressed images
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8094711B2 (en) 2003-09-17 2012-01-10 Thomson Licensing Adaptive reference picture generation
US20070127575A1 (en) * 2003-11-11 2007-06-07 Cheng-Tsai Ho Method and related apparatus for motion estimation
TWI227641B (en) * 2003-11-11 2005-02-01 Mediatek Inc Method and related apparatus for motion estimation
US7496141B2 (en) * 2004-04-29 2009-02-24 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7397853B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
US7397854B2 (en) * 2004-04-29 2008-07-08 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7738563B2 (en) * 2004-07-08 2010-06-15 Freescale Semiconductor, Inc. Method and system for performing deblocking filtering
US7697782B2 (en) 2004-09-16 2010-04-13 Sharp Laboratories Of America, Inc. System for reducing ringing artifacts
US7136536B2 (en) * 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
US9154808B2 (en) * 2005-01-14 2015-10-06 Thomson Licensing Method and apparatus for INTRA prediction for RRU
KR101120092B1 (ko) * 2005-06-04 2012-03-23 삼성전자주식회사 복합 영상 신호의 화질 개선 방법, 그 장치 및 복합 영상신호의 디코딩 방법 및 장치
US7957467B2 (en) * 2005-09-15 2011-06-07 Samsung Electronics Co., Ltd. Content-adaptive block artifact removal in spatial domain
US8532424B2 (en) * 2005-11-22 2013-09-10 Freescale Semiconductor, Inc. Method and system for filtering image data
US7590298B2 (en) * 2006-04-12 2009-09-15 Xerox Corporation Decompression with reduced ringing artifacts
CN101123677B (zh) * 2006-08-11 2011-03-02 松下电器产业株式会社 改善图像锐度的方法、装置及集成电路
US20080084932A1 (en) * 2006-10-06 2008-04-10 Microsoft Corporation Controlling loop filtering for interlaced video frames
KR100864238B1 (ko) 2006-12-01 2008-10-17 한양대학교 산학협력단 압축 영상의 블록킹 현상 제거 방법
US20090060368A1 (en) * 2007-08-27 2009-03-05 David Drezner Method and System for an Adaptive HVS Filter
KR20100103822A (ko) * 2008-01-14 2010-09-28 톰슨 라이센싱 다중 격자 성김-기반의 필터링을 사용하는 아티팩트 제거 필터링 방법 및 장치
JP4544336B2 (ja) 2008-04-17 2010-09-15 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US8031782B2 (en) * 2008-08-29 2011-10-04 ADC2 Technologies LLC Systems and methods for compression, transmission and decompression of video codecs
CN101742085B (zh) * 2008-11-07 2012-05-16 晨星软件研发(深圳)有限公司 去涟波装置及方法
US8611435B2 (en) * 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US8724713B2 (en) * 2009-02-27 2014-05-13 Vixs Systems, Inc Deblocking filter with mode control and methods for use therewith
US8380001B2 (en) * 2009-02-27 2013-02-19 Vixs Systems, Inc. Edge adaptive deblocking filter and methods for use therewith
CN101854536A (zh) * 2009-04-01 2010-10-06 深圳市融创天下科技发展有限公司 一种视频编解码的图像视觉效果提升方法
JP2011030177A (ja) * 2009-06-29 2011-02-10 Sony Corp 復号装置、復号制御装置、復号方法およびそのプログラム
US20110110650A1 (en) * 2009-10-06 2011-05-12 Ipera Technology, Inc. Method and system for real-time video playback
US20110116545A1 (en) * 2009-11-17 2011-05-19 Jinwen Zan Methods and devices for in-loop video deblocking
JP5875979B2 (ja) * 2010-06-03 2016-03-02 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
CN103119937B (zh) * 2010-07-20 2016-02-10 Sk电信有限公司 用于解块滤波的方法和装置以及利用该方法和装置进行编码和解码的方法和装置
CN107087180B (zh) * 2010-10-05 2019-10-29 寰发股份有限公司 基于分区基础的自适应环路滤波方法和装置
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US8964852B2 (en) * 2011-02-23 2015-02-24 Qualcomm Incorporated Multi-metric filtering
CN102170569B (zh) * 2011-03-24 2016-01-06 深圳市云宙多媒体技术有限公司 一种振铃效应去噪方法、装置
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
US8908979B2 (en) * 2011-06-16 2014-12-09 Samsung Electronics Co., Ltd. Shape and symmetry design for filters in video/image coding
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
WO2014021566A1 (en) * 2012-08-02 2014-02-06 Samsung Electronics Co., Ltd. Display apparatus, image post-processing apparatus and method for image post-processing of contents
KR102160123B1 (ko) 2012-08-02 2020-09-25 삼성전자주식회사 컨텐츠에 대한 영상 후처리를 위한 디스플레이 장치, 영상 후처리 장치 및 방법
CN103888764B (zh) * 2014-03-14 2017-02-15 西安交通大学 一种自适应补偿视频压缩失真的系统及方法
US20170370661A1 (en) 2014-12-12 2017-12-28 Carrier Corporation Heat transfer system with coated fluid conduit
CN107370534A (zh) * 2016-05-13 2017-11-21 中兴通讯股份有限公司 信道状态信息的测量方法及装置
US10645408B2 (en) 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
US11457239B2 (en) 2017-11-09 2022-09-27 Google Llc Block artefact reduction
TWI701946B (zh) * 2018-03-30 2020-08-11 香港商科科串流股份有限公司 影片優化處理系統及方法
CN109640086B (zh) * 2018-12-13 2021-07-02 北京三快在线科技有限公司 图像压缩方法、装置、电子设备和计算机可读存储介质

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4941043A (en) 1988-06-14 1990-07-10 Siemens Aktiengesellschaft Method for reducing blocking artifacts in video scene coding with discrete cosine transformation (DCT) at a low data rate
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
US5128757A (en) * 1990-06-18 1992-07-07 Zenith Electronics Corporation Video transmission system using adaptive sub-band coding
US5787207A (en) * 1991-12-30 1998-07-28 Golin; Stuart J. Method and apparatus for minimizing blockiness in reconstructed images
US6215425B1 (en) * 1992-02-19 2001-04-10 Netergy Networks, Inc. Deblocking filter for encoder/decoder arrangement and method with divergence reduction
US6160503A (en) * 1992-02-19 2000-12-12 8×8, Inc. Deblocking filter for encoder/decoder arrangement and method with divergence reduction
KR970009302B1 (en) * 1993-08-17 1997-06-10 Lg Electronics Inc Block effect reducing apparatus for hdtv
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
KR0174453B1 (ko) * 1995-02-28 1999-03-20 배순훈 디지털 영상 복호화 방법
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
KR100242636B1 (ko) * 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
KR100242637B1 (ko) 1996-07-06 2000-02-01 윤종용 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법
KR100213089B1 (ko) * 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
US6188799B1 (en) * 1997-02-07 2001-02-13 Matsushita Electric Industrial Co., Ltd. Method and apparatus for removing noise in still and moving pictures
KR100219628B1 (ko) * 1997-02-15 1999-09-01 윤종용 루프필터링 방법 및 루프필터
KR100243225B1 (ko) 1997-07-16 2000-02-01 윤종용 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터
KR100226722B1 (ko) * 1997-07-30 1999-10-15 구자홍 동영상 움직임 벡터 추정 방법
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
KR100269125B1 (ko) 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
JP2972171B2 (ja) 1998-02-03 1999-11-08 株式会社リコー 網点領域検出方法
US6292512B1 (en) * 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6535643B1 (en) * 1998-11-03 2003-03-18 Lg Electronics Inc. Method for recovering compressed motion picture for eliminating blocking artifacts and ring effects and apparatus therefor
US6434197B1 (en) * 1999-01-07 2002-08-13 General Instrument Corporation Multi-functional transcoder for compressed bit streams
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
KR100335055B1 (ko) * 1999-12-08 2002-05-02 구자홍 압축 영상신호의 블럭현상 및 링현상 제거방법
US6973221B1 (en) * 1999-12-14 2005-12-06 Lsi Logic Corporation Method and apparatus for reducing block related artifacts in video
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
CN1169303C (zh) * 2000-05-09 2004-09-29 索尼公司 数据处理装置和方法以及记录介质
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US7003174B2 (en) * 2001-07-02 2006-02-21 Corel Corporation Removal of block encoding artifacts
US7027654B1 (en) * 2001-08-16 2006-04-11 On2 Technologies Video compression system
WO2003021936A2 (en) * 2001-09-05 2003-03-13 Emblaze Semi Conductor Ltd Method for reducing blocking artifacts
US6983079B2 (en) * 2001-09-20 2006-01-03 Seiko Epson Corporation Reducing blocking and ringing artifacts in low-bit-rate coding
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100411348B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 에지 검출 방법과 장치
EP2894856A1 (en) * 2002-01-31 2015-07-15 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US7319415B2 (en) * 2002-05-01 2008-01-15 Thomson Licensing Chroma deblocking filter
KR100846774B1 (ko) * 2002-05-03 2008-07-16 삼성전자주식회사 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
US7616829B1 (en) * 2003-10-29 2009-11-10 Apple Inc. Reducing undesirable block based image processing artifacts by DC image filtering
US7957467B2 (en) * 2005-09-15 2011-06-07 Samsung Electronics Co., Ltd. Content-adaptive block artifact removal in spatial domain
CN101123682B (zh) * 2006-08-11 2011-06-22 松下电器产业株式会社 可减少图像振铃噪声的方法、装置及集成电路
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
MA34906B1 (fr) * 2011-01-14 2014-02-01 Ericsson Telefon Ab L M Filtrage de déblocage

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8548128B2 (en) 2009-03-09 2013-10-01 Brother Kogyo Kabushiki Kaisha Telephone apparatus, image display method and image display processing program

Also Published As

Publication number Publication date
US20150181243A1 (en) 2015-06-25
US9538202B2 (en) 2017-01-03
US9467715B2 (en) 2016-10-11
JP2006157910A (ja) 2006-06-15
US20150146106A1 (en) 2015-05-28
US9538201B2 (en) 2017-01-03
EP2894856A1 (en) 2015-07-15
US20120170669A1 (en) 2012-07-05
US20150181246A1 (en) 2015-06-25
US9538203B2 (en) 2017-01-03
CN1436006A (zh) 2003-08-13
US9538204B2 (en) 2017-01-03
US9532079B2 (en) 2016-12-27
US20070223833A1 (en) 2007-09-27
CN100518317C (zh) 2009-07-22
US9532077B2 (en) 2016-12-27
JP2008228355A (ja) 2008-09-25
US20030219074A1 (en) 2003-11-27
US7561623B2 (en) 2009-07-14
US7630437B2 (en) 2009-12-08
US9161059B2 (en) 2015-10-13
US20120236948A1 (en) 2012-09-20
US9532078B2 (en) 2016-12-27
US9467716B2 (en) 2016-10-11
US8699568B2 (en) 2014-04-15
US8290039B2 (en) 2012-10-16
US20130265497A1 (en) 2013-10-10
US9258574B2 (en) 2016-02-09
US20150181242A1 (en) 2015-06-25
US8160138B2 (en) 2012-04-17
US9060105B2 (en) 2015-06-16
US20090190657A1 (en) 2009-07-30
US8457438B2 (en) 2013-06-04
US20150181247A1 (en) 2015-06-25
CN101568034A (zh) 2009-10-28
US20150181250A1 (en) 2015-06-25
US9467714B2 (en) 2016-10-11
US20120189050A1 (en) 2012-07-26
US9467717B2 (en) 2016-10-11
US20150181245A1 (en) 2015-06-25
US20070269128A1 (en) 2007-11-22
US8208749B2 (en) 2012-06-26
JP2003244702A (ja) 2003-08-29
CN101568034B (zh) 2013-02-20
US20150181248A1 (en) 2015-06-25
EP2899977A1 (en) 2015-07-29
US20150139565A1 (en) 2015-05-21
EP1333681A3 (en) 2004-12-08
US20150181241A1 (en) 2015-06-25
EP1333681A2 (en) 2003-08-06
US20150146105A1 (en) 2015-05-28
US20150181244A1 (en) 2015-06-25
US20150181249A1 (en) 2015-06-25

Similar Documents

Publication Publication Date Title
JP2007159155A (ja) ブロッキング効果を除去するためのフィルタリング方法及びその装置
KR100846774B1 (ko) 블록킹 효과를 제거하기 위한 필터링 방법 및 그 장치
KR100708202B1 (ko) 블록킹 효과를 제거하기 위한 필터링 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071003

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080304