JP2001320586A - 伸張画像の後処理方法及びインタレース動画の後処理方法 - Google Patents

伸張画像の後処理方法及びインタレース動画の後処理方法

Info

Publication number
JP2001320586A
JP2001320586A JP2001092839A JP2001092839A JP2001320586A JP 2001320586 A JP2001320586 A JP 2001320586A JP 2001092839 A JP2001092839 A JP 2001092839A JP 2001092839 A JP2001092839 A JP 2001092839A JP 2001320586 A JP2001320586 A JP 2001320586A
Authority
JP
Japan
Prior art keywords
pixels
block
pixel
filtering
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001092839A
Other languages
English (en)
Inventor
Jun Zen Wen
ゼン ウェンジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2001320586A publication Critical patent/JP2001320586A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 【課題】 伸張デジタル画像の後処理において、ブロッ
ク化とリンギングのアーチファクトを減少又は除去しな
がらエッジの鮮鋭度を維持する。 【解決手段】 画像10の画素ブロック12内の画像エ
ッジ22の方向を検出し、検出画像エッジにほぼ平行な
方向のブロック境界に沿ってフィルタ処理する。フィル
タ処理する画素は、画素が属するブロックの量子化パラ
メータと、ブロック境界に隣接する画素間の相対差と、
フィルタ処理するセグメント内の画素値の有意の変化に
基いて選択する。検出されたエッジ22に平行にフィル
タ処理し、フィールドの個別圧縮に起因する複雑さを除
去する。インタレース動画のフィールドを個別に後処理
する方法も開示されている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、伸張ディジタル画
像の後処理に関し、より詳細には、伸張画像の方向選択
フィルタ処理方法に関する。
【0002】
【従来の技術】変換符号化はディジタル画像を圧縮する
共通の方法である。例えば変換符号化は、静止画像に関
するJPEG(ISO10918)規格及び動画に関す
るMPEG−2(ISO/IEC13818)規格に記
述されている。一般に、変換符号化は、画像をより小さ
いブロック即ち画素群にサブ分割(小区分)し、(離散
余弦変換(DCT)のような)可逆的変換をブロック毎
の画素に適用し、変換により生じた周波数係数を量子化
し、その結果を符号化することを含む。変換符号化は高
い圧縮比を達成できるが、原画像内の情報を圧伸プロセ
スにおいて破棄するので、特にかなりの動きを有する動
画シーケンスの場合伸張画像を劣化させる。
【0003】伸張させた変換符号化画像は、圧伸プロセ
スによって目に見えるアーチファクトを含むことがあ
る。通常のアーチファクトは“ブロック化”の影響であ
り、“グリッドノイズ”としても知られている。このブ
ロック化の影響(blocking effect)
は、量子化ステップ中に変換により生じた各周波数係数
を限られた数の許容値の各1つに近似処理するプロセス
の結果生じたものである。符号化器は順次許容値(su
ccesive permitted values)
間の差を定める量子化パラメータを選択して各周波数係
数を最も近似する許容値に割り当てる。量子化期間の
“丸め(rounding off)”の結果として、
隣接画素は、原画像においてはほぼ同色であったとして
も異なる量子化値を持つことがあり、伸張画像内の個々
のブロックを目で見分けることができる場合がある。こ
れは、均一な色領域と色境界に特有の問題である。さら
に、伸張画像は“階段状ノイズ(staircase
noise)”を示すことがある。この用語はその画像
中のエッジの外観を表わしている。階段形状は1画像内
の1つのエッジを横切るブロックについてブロック化の
影響が強調された結果である。伸張画像内の第3の関連
アーチファクトは、鋭端(シャープエッジ)の近傍にぎ
ざぎざの即ち曖昧な線(jugged or fuzz
y lines)が現れる所謂“リンギングアーチファ
クト”である。これらのアーチファクトは全て、画像を
見る者を不快にさせる。従って、画像を伸張後に処理
(即ち後処理)してこれらのアーチファクトの若干又は
全てを減少させるかもしくは取り除く必要がある。
【0004】伸張画像内の不快なアーチファクトを除去
又は減少させるために幾つかの方法が用いられてきた。
幾つかの方法では、圧縮前の画像の平滑特性情報を用い
伸張後の画像から原画像を回復すること及び圧縮前の平
滑特性の知識について試みている。概して、これらの方
法は複雑であり、リアルタイムの動画用途においては反
復使用が制限されることが多い。
【0005】フィルタ(ろ波)処理を画像の画素に適用
して圧縮プロセスのアーチファクトを減少させることも
可能である。例えば、ブロックの境界線に垂直な画素セ
グメント列又は行をフィルタ処理して境界を横切る色又
はグレースケールの遷移を平滑化することによりブロッ
ク化の影響を低減させることができる。ブロック近傍を
分類し、その分類に基いてフィルタ処理することは、フ
ィルタ処理プロセスの1部分であり得る。ブロックの境
界線に垂直な画素セグメントのフィルタ処理はブロック
化の影響(場所)を特定するのには有効であるが、リン
ギングアーチファクトを必ずしも指摘するものではな
い。さらに、エッジはフィルタ処理でき、対角エッジの
若干部分も反復フィルタ処理できるが、副次的に、伸張
画像の鮮鋭さに悪影響を与える。
【0006】
【発明が解決しようとする課題】従って求められている
のは、ブロック化とリンギングの両アーチファクトを有
効に特定でき、同時に画像内エッジの鮮鋭さを維持でき
る、計算量の少ない伸張画像の後処理方法である。
【0007】
【課題を解決するための手段】第1の技術手段は、画像
画素の1ブロック中の1画像エッジに平行なフィルタ軸
を確立するステップと、前記フィルタ軸に平行な複数の
画素を選択的にフィルタ処理するステップとを含んでな
ることを特徴としたものである。
【0008】第2の技術手段は、第1の技術手段におい
て、前記フィルタ軸を確立するステップは、1候補軸に
平行な1投影線上にあって前記ブロックの第1境界線近
傍にある第1画素と第2境界線近傍にある第2画素とを
特定する特定ステップと、前記第1画素と前記第2画素
とを比較する比較ステップと、複数の前記候補軸に対し
前記特定ステップと前記比較ステップとを反復するステ
ップと、他の候補軸に対する前記第1と第2の画素の前
記比較ステップの対応比較結果に基づいて前記候補軸を
前記フィルタ軸として指定するステップとを含んでなる
ことを特徴としたものである。
【0009】第3の技術手段は、第2の技術手段におい
て、前記対応比較結果は、1候補軸に関して特定された
複数の前記第1画素と前記第2画素間の差の平均最小値
であることを特徴としたものである。
【0010】第4の技術手段は、第1の技術手段におい
て、前記フィルタ軸に平行な複数の画素を選択的にフィ
ルタ処理する前記ステップは、前記ブロックの1境界線
に直に隣接するセグメントの画素のペアの比較が所定の
関係を満足する場合に、フィルタ処理する隣接する画素
の前記セグメントを指定するステップと、前記セグメン
トの前記画素を選択的にフィルタ処理するステップとを
含んでなることを特徴としたものである。
【0011】第5の技術手段は、第4の技術手段におい
て、前記境界線に隣接する前記画素のペアを比較するた
めの前記所定の関係は、前記画素のペア間の差に対する
上限閾値を含んでなることを特徴としたものである。
【0012】第6の技術手段は、第4の技術手段におい
て、前記境界線に隣接する前記画素のペアを比較するた
めの前記所定の関係は、前記画素のペア間の差に対する
下限閾値を含んでなることを特徴としたものである。
【0013】第7の技術手段は、第6の技術手段におい
て、前記下限閾値は、前記ブロックに適用できる量子化
パラメータの関数を含んでなることを特徴としたもので
ある。
【0014】第8の技術手段は、第1の技術手段におい
て、前記フィルタ軸に平行な複数の画素を選択的にフィ
ルタ処理する前記ステップは、前記ブロックの1つの境
界線に直に隣接するセグメントの画素のペアの比較が所
定の関係を満足した場合に、フィルタ処理する隣接画素
の前記セグメントを指定するステップと、前記境界線か
ら更に離れた隣接する画素のペアを連続性閾値と順次比
較することにより前記境界線の各側の少なくとも1つの
画素をフィルタ処理範囲として指定するステップと、前
記フィルタ処理範囲の前記画素をフィルタ処理するステ
ップとを含んでなることを特徴としたものである。
【0015】第9の技術手段は、伸張画像の後処理方法
において、量子化パラメータの関数としてフィルタ処理
する画像画素のブロックと量子化パラメータの閾値を選
択するステップと、前記ブロック内の画像エッジに平行
なフィルタ軸を確立するステップと、前記ブロックの1
つの境界線と交差し前記フィルタ軸に平行な複数の隣接
画素を含んでなる1つのフィルタ処理セグメントを特定
するステップと、前記フィルタ処理セグメントの前記画
像を選択的にフィルタ処理するステップとを含んでなる
ことを特徴としたものである。
【0016】第10の技術手段は、第9の技術手段にお
いて、前記ブロック内の画像エッジに平行なフィルタ軸
を確立する前記ステップは、複数の候補軸を指定するス
テップと、1つの候補軸に平行な1つの投影線上におい
て、前記ブロックの第1境界線近傍に位置する第1画素
と第2境界線近傍にある第2画素を特定する特定ステッ
プと、前記第1画素と前記第2画素間の差を決定する決
定ステップと、複数の前記候補軸に対して前記特定ステ
ップと前記決定ステップとを反復するステップと、前記
第1画素と前記第2画素間の最小差の関数に対応する前
記候補軸を前記フィルタ軸として特定するステップを含
んでなることを特徴としたものである。
【0017】第11の技術手段は、第9の技術手段にお
いて、前記境界線に隣接する前記フィルタ処理セグメン
トの画素のペアが閾値に対する所定の関係を満足する場
合に、フィルタ処理する前記フィルタ処理セグメントを
指定するステップをさらに含むことを特徴としたもので
ある。
【0018】第12の技術手段は、第11の技術手段に
おいて、前記ブロックの前記境界線に隣接する前記フィ
ルタ処理セグメントの画素のペアが閾値に対する所定の
関係を満足する場合に、フィルタ処理する前記フィルタ
処理セグメントを指定する前記ステップは、前記画素の
ペア間の差を上限閾値と比較するステップと、前記画素
のペア間の差を下限閾値と比較するステップを含んでな
ることを特徴としたものである。
【0019】第13の技術手段は、第12の技術手段に
おいて、前記下限閾値が前記ブロックに対する量子化パ
ラメータの関数であることを特徴としたものである。
【0020】第14の技術手段は、第9の技術手段にお
いて、1つのフィルタ処理範囲として前記境界線の各側
の少なくとも1つの画素を指定するステップと、前記フ
ィルタ処理範囲の前記画素をフィルタ処理するステップ
をさらに含むことを特徴としたものである。
【0021】第15の技術手段は、第14の技術手段に
おいて、1つのフィルタ処理範囲として前記境界線の各
側の少なくとも1つの画素を指定する前記ステップは、
前記フィルタ処理範囲に含まれる前記境界線に隣接する
前記フィルタ処理セグメントの1つの画素を選択するス
テップと、前記フィルタ処理範囲に含まれている最後の
画素と前記次の隣接画素間の差が連続性閾値を超えるま
で前記フィルタ処理範囲に次の隣接画素を逐次含めるス
テップを含むことを特徴としたものである。
【0022】第16の技術手段は、第15の技術手段に
おいて、前記連続性閾値は、前記ブロックに対する量子
化パラメータの関数であることを特徴としたものであ
る。
【0023】第17の技術手段は、第15の技術手段に
おいて、前記連続性閾値は、前記ブロックの第1境界線
近傍に位置する第1画素と前記ブロックの対向する第2
境界線近傍に位置する第2画素との間の差の関数である
ことを特徴としたものである。
【0024】第18の技術手段は、伸張画像の後処理方
法において、1つのブロック境界線により規定される画
像画素の1つのブロックを特定するステップと、前記ブ
ロックに適用可能な量子化パラメータを閾値量子化パラ
メータと比較するステップと、複数の候補フィルタ軸に
平行な複数の投影線の各々に整列した画素のペアを、前
記ブロック量子化パラメータが前記閾値量子化パラメー
タを超える場合に選択するステップと、前記候補フィル
タ軸の各々に対する前記複数の投影先の各々に対する前
記画素のペアの画素間の平均差の和を計算するステップ
と、前記画素のペアの画素間の前記差の和の最小に対応
する前記候補フィルタ軸を1つのフィルタ軸として選択
するステップと、前記フィルタ軸に平行な方向に整列し
た複数のフィルタ処理セグメントを含んでなる1つのフ
ィルタ処理セグメントを特定するステップと、前記ブロ
ック境界線の各側にある少なくとも1つのフィルタ処理
セグメント画素を含んでなるフィルタ処理範囲を特定す
るステップと、前記伸張画像を平滑にするために前記フ
ィルタ処理範囲の前記フィルタ処理セグメント画素をフ
ィルタ処理するステップとを含んでなることを特徴とし
たものである。
【0025】第19の技術手段は、第18の技術手段に
おいて、隣接フィルタ処理セグメント画素のペアの画素
間の差を連続性閾値と比較する比較ステップと、前記差
が前記連続性閾値を超えるまで前記ブロック境界線から
さらに離れて順次位置するセグメント画素のペアをフィ
ルタ処理するために前記比較ステップを反復するステッ
プと、前記ブロック境界線の各側に順次遠くに位置する
フィルタ処理セグメントの各々が前記連続性閾値より小
さい差を特徴とするフィルタ処理セグメント画素のペア
のメンバーである画素のアレイに前記フィルタ処理範囲
を制限するステップをさらに含んでなることを特徴とし
たものである。
【0026】第20の技術手段は、インタレース動画の
後処理方法において、第1インタレースフィールドの画
素ブロック内の1エッジに平行なフィルタ軸を確立する
ステップと、前記フィルタ軸に平行な複数画素であっ
て、前記第1インタレースフィールドの前記ブロックの
該複数画素を選択的にフィルタ処理するステップと、第
2インタレースフィールドの画素ブロック内の1エッジ
に平行なフィルタ軸を確立するステップと、前記フィル
タ軸に平行な前記第2インタレースフィールドの前記ブ
ロックの複数画素を選択的にフィルタ処理するステップ
とを含んでなることを特徴としたものである。
【0027】第21の技術手段は、第20の技術手段に
おいて、第1インタレースフィールドの画素ブロック内
の1エッジに平行なフィルタ軸を確立する前記ステップ
は、1つの候補軸に平行な投影線上に位置し、1つのブ
ロックの第1境界線近傍に位置する第1画素と前記ブロ
ックの第2境界線近傍に位置する第2画素を特定する特
定ステップと、前記第1画素と前記第2画素を比較する
比較ステップと、複数の前記候補軸に対して前記特定ス
テップと前記比較ステップとを反復するステップと、他
の前記候補軸に対する前記第1画素と前記第2画素の前
記比較ステップの対応比較結果に基づいて前記候補軸を
前記フィルタ軸として指定するステップを含むことを特
徴としたものである。
【0028】第22の技術手段は、第21の技術手段に
おいて、前記対応比較結果は、前記第1画素と前記第2
画素間の差の最小値であることを特徴としたものであ
る。
【0029】第23の技術手段は、第20の技術手段に
おいて、前記フィルタ軸に平行な複数の画素を選択的に
フィルタ処理するステップは、前記ブロックの1つの境
界線に直に隣接するセグメント画素のペアの比較が所定
の関係を満足している場合に、フィルタ処理する隣接画
素の前記セグメントを指定するステップと、前記セグメ
ントの前記画素を選択的にフィルタ処理するステップを
含むことを特徴としたものである。
【0030】第24の技術手段は、第23の技術手段に
おいて、前記境界線に隣接する前記画素のペアを比較す
るための前記所定の関係が前記画素対間の差に対する上
限閾値を含んでなることを特徴としたものある。
【0031】第25の技術手段は、第23の技術手段に
おいて、前記境界線に隣接する前記画素のペアを比較す
るための前記所定の関係が前記画素のペアの間の差に対
する下限閾値を含んでなることを特徴としたものであ
る。
【0032】第26の技術手段は、第25の技術手段に
おいて、前記境界線に隣接する前記画素のペアを比較す
るための前記所定の関係が前記画素のペアの間の差に対
する下限閾値を含んでなることを特徴としたものであ
る。
【0033】第27の技術手段は、第23の技術手段に
おいて、前記フィルタ軸に平行な前記第1インタレース
フィールドの前記ブロックの複数の画素を選択的にフィ
ルタ処理するステップは、前記ブロックに直に隣接する
前記セグメント画素のペアの比較が前記所定の関係を満
足する場合にフィルタ処理する隣接画素の1セグメント
を指定するステップと、前記境界線から更に離れた隣接
画素のペアを連続性閾値と順次比較することにより前記
境界線の各側の少なくとも1つの画素を1つのフィルタ
処理範囲として特定するステップと、前記フィルタ処理
範囲の前記画素をフィルタ処理するステップとを含んで
なることを特徴としたものである。
【0034】
【発明の実施の形態】本発明は、画像画素の1ブロック
内の1画像エッジに比較的平行に配置されたフィルタ軸
を確立するステップと同フィルタ軸にほぼ平行に配置さ
れた複数の画素を選択的にフィルタ処理するステップを
含んでなる伸張画像の後処理方法を提供することによ
り、先行技術の前述の欠点を克服する。ブロック内の1
画像エッジにほぼ平行な1方向で1ブロックの画素をフ
ィルタ処理することによりエッジの鮮鋭度に対する影響
を最少にする。さらに、この方法は、目に見えるアーチ
ファクトを生じそうな隣接画素との差異を示す画素をフ
ィルタ処理のために選択することにより計算資源を節約
する。ブロック化の影響を示しそうにないブロックに属
する画素はフィルタ処理しない。さらに、気付く程度の
アーチファクトは生じない十分に近似の値を持つブロッ
ク境界線の画素及び細部を示す画素はフィルタ処理しな
い。この方法は、インタレースされた動画の個々のフィ
ールドに含まれている画像に個別に適用でき、圧縮を含
むフィールドの個別処理から生じる画像の複雑化を避け
ることができる。
【0035】図1は、伸張画像の領域例の画素を示す概
略図である。変換符号化プロセスにおいて、N個の画素
×N個の画素を有する画像をn×nのサブ画像即ちブロ
ックにサブ分割し、ブロック単位で個別の画素を変換す
る。例えば、JPEG(ISO10918)及びMPE
G−2(ISO/IEC13818)規格による画像圧
縮プロセスが用いる離散余弦変換(DCT)の場合、画
像を各8×8のブロックにサブ分割する。図1は、ブロ
ック境界線14,16,18及び20により囲まれた、
ブロック12のようなブロックに分割された、より大き
い画像10の一部分を示している。ブロック境界線に囲
まれた領域の外側にある画素は隣接ブロックに含まれて
いる。第1色24(右下がり斜線)と第2色26(白ぬ
き)の画素の境界線により形成された画像エッジ22
は、ブロック12を斜めに分割する。図示のように、画
素の1ブロックは任意パターンの範囲を定める任意数の
画素を含むことができることが理解できる。
【0036】伸張画像は圧伸プロセスの幾つかのアーチ
ファクトを示すことがある。最も一般的な圧縮アーチフ
ァクトは、画像圧縮のために生成したブロックが伸張画
像においてブロック化の影響により視覚的に認知可能に
なることである。DCT変換符号化において、1ブロッ
クの空間ドメイン信号を周波数ドメイン内係数の1ブロ
ックに該変換法を用いて変換する。得られた周波数係数
を符号化器が許容する限定数の離散値の1つとして量子
化又は近似化する。原画像の大きな領域は比較的均一な
色又はグレースケールであるので、符号化器により実行
される“丸め”プロセスによって、視覚的にはかなり異
なる量子化値が、ほぼ同一の原画色の画素に割り当てら
れる結果になる。画像伸張時、このような画素の色又は
グレースケールの差は十分に認知可能である。これは、
比較的均一な色領域の場合、隣接ブロックの境界におい
て特に問題となる。ブロック化の影響の重大さは、符号
化器が選択した量子化パラメータ又は順次ポテンシャル
量子化値間の距離の関数である。ブロック境界線を横切
る変化を平滑化してブロック化の影響又はグリッドノイ
ズを低減もしくは除去するために後処理(フィルタ処理
によることが多い)を適用する。
【0037】画像の各ブロックの各境界線に沿った画素
の水平行又は垂直列のセグメントのフィルタ処理は、計
算資源を集中的に使用するプロセスである。加えて、ブ
ロック12の中心に延伸する画像行又は列をフィルタ処
理することは、画像エッジ22をフィルタ処理する結果
になる。エッジ22のような斜め画像エッジの幾つかの
部分は1回以上フィルタ処理され、その結果、伸張画像
内のエッジの鮮鋭度が劣化する。本発明の発明者は、ア
ーチファクトが問題になる画像に関し、選択ブロック内
の画像を選択的にフィルタ処理することにより計算資源
を節減できることを知見した。さらに、発明者は、画像
エッジの方向に概ね平行に整列させた軸に沿って画素を
選択的にフィルタ処理することにより、エッジの鮮鋭
度、従って、伸張画像の画質を改善できることを知見し
た。本発明においては、画像エッジの方向を検知し、1
ブロック内の画像エッジの方向に比較的平行なフィルタ
軸に沿って整列する画素に対し選択的なフィルタ処理を
適用する。
【0038】ブロック化の影響に加え、伸張画像はリン
ギングアーチファクトを示すことがあり、このアーチフ
ァクトは、しばしば、画像エッジ付近にほぼ平行なノイ
ズラインとして現れる。図1において、リンギングアー
チファクトは、エッジ22の近傍に第3色28(左下が
り斜線)の画素として図示されている。伸張画像に“階
段状ノイズ”(この用語は画像中のエッジの外観を示
す)が現れることがある。この階段形状は、画像内のエ
ッジ22を横切って配置されたブロックに対するブロッ
ク化の影響が強調された結果である。
【0039】図2は、本発明による後処理方法のフロー
チャート図である。画像の過度の平滑化を避け、計算機
資源を節減するために、画像の選択ブロックの画素に対
してフィルタ処理を実行する。ブロック選択ステップに
おいて、各ブロックに対する量子化パラメータ(QP)
をデータストリームから抽出し、予め定められた量子化
パラメータの閾値(QP_THR)(ステップ102)
と比較する。量子化パラメータの閾値は、ブロックの境
界線を横切っても視覚的に許容できる遷移しか生成しな
い量子化パラメータ間の選択された最大距離である。量
子化パラメータが閾値より小さい場合は、量子化誤差に
より有意のグリッドノイズと好ましくないブロック化ア
ーチファクトを生じることはない。この場合、本方法は
現ブロックをフィルタ処理することなく次の調べるべき
ブロックを選択する(ステップ104)。量子化パラメ
ータが閾値を超える場合は、そのブロックをフィルタ処
理すべきブロックとして指定する。
【0040】画素ブロックをフィルタ処理する場合、ブ
ロック内の画像エッジの最も優勢な方向を決定する(ス
テップ106)。エッジの方向は、ブロックの対向境界
線の近傍にあって候補フィルタ軸の投影線に位置する画
素を比較することにより決定する。図1を参照する。エ
ッジ方向の検査は、4つの候補軸の方向、即ち、水平線
(k=0)30,垂直線(k=2)32,45°対角線
(k=3)34と(k=1)36の各方向において実施
し、ブロック12内エッジ例22の優先方向を決定す
る。この検査では異なる追加又は中間候補軸(例えば、
22.5゜)に沿っても進行できたが、所要の追加計算
量が多い割には伸張画像の画質の改善の効果は少なく妥
当ではない。
【0041】ブロックは圧縮プロセスにおいて高周波情
報の多くを失うので、そのブロック範囲内の画素から画
像エッジの方向を推論することが困難な場合もあり得
る。ブロックの境界線14,16,18及び20に隣り
合っている、隣接ブロックのメンバーである画素を調べ
ることにより、検討する領域を拡大し、検討結果の精度
を改善できる。比較する画素の対応ペアは、対向ブロッ
ク境界線付近にあって各候補軸30,32,34及び3
6に平行な投影線に沿い位置決めする。例えば、候補軸
36に平行な投影線38と40を用い、比較するブロッ
ク境界線14と18の近傍画素(1,0)42と(0,
1)44と(3,0)46と(0,3)48を特定す
る。因数2のサブサンプリングにより優勢エッジ方向を
特定するに十分なデータポイントを生成し、計算要求量
を減少させ得ることが判明した。その結果、水平軸(k
=0)30と垂直軸(k=2)32につき5対の画素を
検査し、対角軸(k=1)36と(k=3)34につい
て9対の画素を検査する。因数2のサブサンプリングに
より生成される8×8画素の1ブロックに対するデータ
セットの1例を次表に示す。表中のPk 1とPk 2は、対抗
するブロック境界線上の対応するペアの画素である。
【0042】
【表1】
【0043】1画素ブロック内の画像エッジの優勢方向
は、検査のために選択した複数の対応画素の各々に対す
る画素値の平均絶対差の最小和に該当する候補軸によっ
て特定する。言い換えれば、Kmin=argMIN
(0<=k<=3)|Pk 1−Pk 2|/DIM(Pk 1)であり、こ
こで、|Pk 1−Pk 2|/DIM(Pk 1)は軸kの方向の
投影データセット内で対応する画素の平均絶対差であ
り、Kminは最小引数に対応する候補軸である。
【0044】エッジ22に平行な投影線上の対向境界線
にある画素間の差は、エッジ22のようなエッジを特徴
付ける有意の色又はグレースケールの差に対向する候補
軸30、32及び34の方向で抽出した画素間の差より
小さいと推定する。ブロック12の画素をフィルタ処理
するフィルタ軸を方向付けるために、最小和を生じる候
補軸をブロック12内エッジ22の優勢方向とする。
【0045】画像エッジの優勢方向の決定に続き、ブロ
ックの境界線14で二等分され、特定エッジ方向又はフ
ィルタ軸に平行な隣接画素群49(V0…,V9)(フィ
ルタ処理セグメント)(括弧で示す)を選択的にローパ
スフィルタ処理するために特定する(ステップ10
8)。
【0046】画像の過度の平滑化を避けるために、ブロ
ックの境界線に隣接するフィルタ処理セグメントの2つ
の画素(V4とV5)50と52を2つの閾値110で試
験する。最初に、ブロックの境界線14に隣接する画素
(V4とV5)50と52が量子化パラメータ(QP)の
2倍を超える場合、それらの画素は画像エッジを表わす
ことがあり、エッジの鮮鋭度が低下するのを避けるため
にフィルタ処理は行わない。他方、ブロックの境界線1
4に隣接する画素50と52の差の絶対値が予め規定し
た境界閾値(BD_THR)より小さければ、それらの
画素の色又はグレースケール間の差は、見分けができる
程度のブロック化アーチファクトを生じるには不十分で
あるので、フィルタ処理は行わない。もし、ブロック境
界線に隣接する画素50と52間の差が試験用に設定し
た上限及び下限の外であれば、現セグメントのフィルタ
処理をせずに次のフィルタ処理セグメントを選択する
(ステップ112)。
【0047】ブロック境界線に隣接する画素50と52
間の差が前記上限及び下限の閾値範囲内であれば、その
セグメントのフィルタ処理を確実に行って、同フィルタ
処理セグメントに沿った色又はグレースケールの連続性
を調べる(ステップ114)。ブロック境界線での画素
を除くフィルタ処理セグメント内の隣接画素の有意差
は、ブロック内の詳細部を表わしている可能性が高い。
ステップ114の不連続性検査の目的は、かような変動
を検出し、詳細部を表現する画素をフィルタ処理しない
ように、セグメント内の画素のある範囲にフィルタ処理
を制限することである。画素V450から開始し、画素
4の値(Vi)と境界から更に離れる次の隣接画素(V
3)54との差を閾値(THRED)と比較する。同様
にして、画素V354と画素V256及び境界14から更
に離れる画素の順次ペア(successive pa
ir)の差を閾値(THRED)と比較する。1対の画
素間の差が閾値(THRED)を超えるならば、ブロッ
ク境界線14により近い画素をフィルタ処理するセグメ
ント49に対する下限として選択する。同様に、不連続
性試験を画素V552から実施し、セグメントに対する
上限を定める。不連続性試験(VLB…VUB)により生成
された上限と下限間の画素を含み、境界線の各側の少な
くとも1個の画素を含むフィルタ処理セグメント49の
部分を含んでなるフィルタ処理範囲をフィルタ処理す
る。閾値は、量子化パラメータ(QP)の関数であり、
境界隣接画素間の差の絶対値(|V4-5|)であって
よい。この閾値は、又、特性の異なるブロック毎に異な
ってよい。例えば、ブロックは、画像エッジの方向特定
ステップ108において特定されたように、ブロックの
対向境界線上の画素間の平均差に基いて特徴付けること
ができる。例えば、1つのブロックを次のように特徴例
示することができる。
【0048】(a)Min_dif<THR_edge
1であり、Max_dif−Min_dif>THR
_edge 2であれば、単純で強いエッジタイプ、
(b)Max_dif<THR_smoothであれ
ば、円滑なエッジタイプで、(c)Min_dif と
Max_difの関係が上記のいずれでもなければ、複
雑なエッジタイプである。ここで、Min_dif は
minに対応する値の平均絶対差、Max_difは
maxに対応する値の平均絶対差、THR_edge
1は閾値エッジ 1、THR_edge 2は閾値エッ
ジ2、THR_smoothは平滑遷移の閾値である。
min=argMIN(0<=k<=3)|Pk 1−Pk 2|/DIM
(Pk 1)であり、kmax=argMAX(0<=k<=3)|Pk 1
−Pk 2|/DIM(Pk 1)である。|Pk 1−Pk 2|/D
IM(Pk 1)は軸kの方向の投影データセット内の対応
画素の平均絶対差であり、kminは最小引数を生じる軸
であり、kmaxは最大引数を生じる軸である。
【0049】例えば、閾値(THRED)を増大し、単
純で強いエッジ処理として分類されたブロック内フィル
タ処理セグメントを容易によりアグレッシブにフィルタ
処理することができる。閾値(THRED)を、リンギ
ングアーチファクト画素28のフィルタ処理は許すが、
ブロック内細部のフィルタ処理を避けられるような十分
なレベルに設定することができる。セグメント境界線付
近の画素(VLB…VUB)をフィルタ処理するために画素
の反復又は対称拡大を用いてもよい。
【0050】フィルタ処理範囲の決定に続き、フィルタ
処理範囲(VLB…VUB)の画素をフィルタ処理し(ステ
ップ116)、フィルタ処理するセグメントを選択する
(ステップ112)。フィルタ処理は通常ラスタ走査の
方向で実施されるので、ここでは、ブロック12の左垂
直境界線14と下水平境界線20に沿ってのみフィルタ
処理の実行を要し、残りの境界線16と18は隣接ブロ
ックをフィルタ処理する時にフィルタ処理される。フィ
ルタ処理範囲のフィルタ処理には任意の低域フィルタを
用いることができる。許容できる画質を生成することが
実証されている7タップフィルタを表Aに記述するよう
に実装することができる。
【0051】
【表2】
【0052】さらに、本発明の方法においては、ショー
トフィルタモードを設けて使用することができる。フィ
ルタ処理セグメント49の画素の場合の輝度の大きな変
動は、そのセグメントが高レベルの詳細テクスチャを有
する画像10の領域内にあることを示している。この場
合、ショートフィルタモードを選択することができ、境
界線14に隣接する2つの画素50と52の値を平均値
に置換えてブロック化の影響を低減させる。
【0053】本発明の方法は、インタレース動画フィー
ルドの画像の後処理にも有効である。2枚のフィールド
は圧縮時に異なる処理(例えば、動き予測又は圧縮及び
離散余弦変換符号化)を受けることが多いので、個々の
フィールドが表現する画像を個別に後処理することは有
利である。フィールドの後処理ステップにより、ブロッ
ク分類の複雑化を避けられ、フィールド間の輝度変化を
画像エッジと取り違えることが避けられる。フィールド
間の輝度変化(フィールドの撮像又は圧縮に起因する)
を画像エッジとして特定することは、動くオブジェクト
の境界線において特に問題となる。各マクロブロックの
圧縮モード(フィールド又はフレームの動き補償)に基
き適応分離されるならば、性能を若干改善できる。
【0054】本明細書に引用した全ての資料は、参考の
ために記述したものである。本明細書に使用してきた用
語と表現は、限定を目的とするものではなく説明のため
に使用したものであり、用語及び表現の使用にあたっ
て、図示又は記述した特徴又は部分の同等な用語と表現
を排除する意図は全くなかった。本発明の範囲は、特許
請求範囲によってのみ規定され限定されることを理解す
べきである。
【図面の簡単な説明】
【図1】伸張画像の領域例の画素を示す概略図である。
【図2】本発明による後処理方法のフローチャートであ
る。
【符号の説明】
10…画像、12…ブロック、14,16,18,20
…ブロック境界線、22…画像エッジ、24…第1色画
素、26…第2色画素、28…リンギングアーチファク
ト画素、30…水平線、32…垂直線、34,36…対
角線、38,40…投影線、49…セグメント、50,
52,54,56…隣接する画素。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/14 H04N 1/40 101D 7/30 7/133 Z

Claims (27)

    【特許請求の範囲】
  1. 【請求項1】 画像画素の1ブロック中の1画像エッジ
    に平行なフィルタ軸を確立するステップと、 前記フィルタ軸に平行な複数の画素を選択的にフィルタ
    処理するステップとを含んでなることを特徴とする伸張
    画像の後処理方法。
  2. 【請求項2】 前記フィルタ軸を確立するステップは、 1候補軸に平行な1投影線上にあって前記ブロックの第
    1境界線近傍にある第1画素と第2境界線近傍にある第
    2画素とを特定する特定ステップと、 前記第1画素と前記第2画素とを比較する比較ステップ
    と、 複数の前記候補軸に対し前記特定ステップと前記比較ス
    テップとを反復するステップと、 他の候補軸に対する前記第1と第2の画素の前記比較ス
    テップの対応比較結果に基づいて前記候補軸を前記フィ
    ルタ軸として指定するステップとを含んでなることを特
    徴とする請求項1に記載の伸張画像の後処理方法。
  3. 【請求項3】 前記対応比較結果は、1候補軸に関して
    特定された複数の前記第1画素と前記第2画素間の差の
    平均最小値であることを特徴とする請求項2に記載の伸
    張画像の後処理方法。
  4. 【請求項4】 前記フィルタ軸に平行な複数の画素を選
    択的にフィルタ処理する前記ステップは、 前記ブロックの1境界線に直に隣接するセグメントの画
    素のペアの比較が所定の関係を満足する場合に、フィル
    タ処理する隣接する画素の前記セグメントを指定するス
    テップと、 前記セグメントの前記画素を選択的にフィルタ処理する
    ステップとを含んでなることを特徴とする請求項1に記
    載の伸張画像の後処理方法。
  5. 【請求項5】 前記境界線に隣接する前記画素のペアを
    比較するための前記所定の関係は、前記画素のペア間の
    差に対する上限閾値を含んでなることを特徴とする請求
    項4に記載の伸張画像の後処理方法。
  6. 【請求項6】 前記境界線に隣接する前記画素のペアを
    比較するための前記所定の関係は、前記画素のペア間の
    差に対する下限閾値を含んでなることを特徴とする請求
    項4に記載の伸張画像の後処理方法。
  7. 【請求項7】 前記下限閾値は、前記ブロックに適用で
    きる量子化パラメータの関数を含んでなることを特徴と
    する請求項6に記載の伸張画像の後処理方法。
  8. 【請求項8】 前記フィルタ軸に平行な複数の画素を選
    択的にフィルタ処理する前記ステップは、 前記ブロックの1つの境界線に直に隣接するセグメント
    の画素のペアの比較が所定の関係を満足した場合に、フ
    ィルタ処理する隣接する画素の前記セグメントを指定す
    るステップと、 前記境界線から更に離れた隣接する画素のペアを連続性
    閾値と順次比較することにより前記境界線の各側の少な
    くとも1つの画素をフィルタ処理範囲として指定するス
    テップと、 前記フィルタ処理範囲の前記画素をフィルタ処理するス
    テップとを含んでなることを特徴とする請求項1に記載
    の伸張画像の後処理方法。
  9. 【請求項9】 量子化パラメータの関数としてフィルタ
    処理する画像画素のブロックと量子化パラメータの閾値
    を選択するステップと、 前記ブロック内の画像エッジに平行なフィルタ軸を確立
    するステップと、 前記ブロックの1つの境界線と交差し前記フィルタ軸に
    平行な複数の隣接画素を含んでなる1つのフィルタ処理
    セグメントを特定するステップと、 前記フィルタ処理セグメントの前記画像を選択的にフィ
    ルタ処理するステップとを含んでなることを特徴とする
    伸張画像の後処理方法。
  10. 【請求項10】 前記ブロック内の画像エッジに平行な
    フィルタ軸を確立する前記ステップは、 複数の候補軸を指定するステップと、 1つの候補軸に平行な1つの投影線上において、前記ブ
    ロックの第1境界線近傍に位置する第1画素と第2境界
    線近傍にある第2画素を特定する特定ステップと、 前記第1画素と前記第2画素間の差を決定する決定ステ
    ップと、 複数の前記候補軸に対して前記特定ステップと前記決定
    ステップとを反復するステップと、 前記第1画素と前記第2画素間の最小差の関数に対応す
    る前記候補軸を前記フィルタ軸として特定するステップ
    を含んでなることを特徴とする請求項9に記載の伸張画
    像の後処理方法。
  11. 【請求項11】 前記境界線に隣接する前記フィルタ処
    理セグメントの画素のペアが閾値に対する所定の関係を
    満足する場合に、フィルタ処理する前記フィルタ処理セ
    グメントを指定するステップをさらに含むことを特徴と
    する請求項9に記載の伸張画像の後処理方法。
  12. 【請求項12】 前記ブロックの前記境界線に隣接する
    前記フィルタ処理セグメントの画素のペアが閾値に対す
    る所定の関係を満足する場合に、フィルタ処理する前記
    フィルタ処理セグメントを指定する前記ステップは、 前記画素のペア間の差を上限閾値と比較するステップ
    と、 前記画素のペア間の差を下限閾値と比較するステップを
    含んでなることを特徴とする請求項11に記載の伸張画
    像の後処理方法。
  13. 【請求項13】 前記下限閾値が前記ブロックに対する
    量子化パラメータの関数であることを特徴とする請求項
    12に記載の伸張画像の後処理方法。
  14. 【請求項14】 1つのフィルタ処理範囲として前記境
    界線の各側の少なくとも1つの画素を指定するステップ
    と、 前記フィルタ処理範囲の前記画素をフィルタ処理するス
    テップをさらに含むことを特徴とする請求項9に記載の
    伸張画像の後処理方法。
  15. 【請求項15】 1つのフィルタ処理範囲として前記境
    界線の各側の少なくとも1つの画素を指定する前記ステ
    ップは、 前記フィルタ処理範囲に含まれる前記境界線に隣接する
    前記フィルタ処理セグメントの1つの画素を選択するス
    テップと、 前記フィルタ処理範囲に含まれている最後の画素と前記
    次の隣接画素間の差が連続性閾値を超えるまで前記フィ
    ルタ処理範囲に次の隣接画素を逐次含めるステップを含
    むことを特徴とする請求項14に記載の伸張画像の後処
    理方法。
  16. 【請求項16】 前記連続性閾値は、前記ブロックに対
    する量子化パラメータの関数であることを特徴とする請
    求項15に記載の伸張画像の後処理方法。
  17. 【請求項17】 前記連続性閾値は、前記ブロックの第
    1境界線近傍に位置する第1画素と前記ブロックの対向
    する第2境界線近傍に位置する第2画素との間の差の関
    数であることを特徴とする請求項15に記載の伸張画像
    の後処理方法。
  18. 【請求項18】 1つのブロック境界線により規定され
    る画像画素の1つのブロックを特定するステップと、 前記ブロックに適用可能な量子化パラメータを閾値量子
    化パラメータと比較するステップと、 複数の候補フィルタ軸に平行な複数の投影線の各々に整
    列した画素のペアを、前記ブロック量子化パラメータが
    前記閾値量子化パラメータを超える場合に選択するステ
    ップと、 前記候補フィルタ軸の各々に対する前記複数の投影先の
    各々に対する前記画素のペアの画素間の平均差の和を計
    算するステップと、 前記画素のペアの画素間の前記差の和の最小に対応する
    前記候補フィルタ軸を1つのフィルタ軸として選択する
    ステップと、 前記フィルタ軸に平行な方向に整列した複数のフィルタ
    処理セグメントを含んでなる1つのフィルタ処理セグメ
    ントを特定するステップと、 前記ブロック境界線の各側にある少なくとも1つのフィ
    ルタ処理セグメント画素を含んでなるフィルタ処理範囲
    を特定するステップと、 前記伸張画像を平滑にするために前記フィルタ処理範囲
    の前記フィルタ処理セグメント画素をフィルタ処理する
    ステップとを含んでなることを特徴とする伸張画像の後
    処理方法。
  19. 【請求項19】 隣接フィルタ処理セグメント画素のペ
    アの画素間の差を連続性閾値と比較する比較ステップ
    と、 前記差が前記連続性閾値を超えるまで前記ブロック境界
    線からさらに離れて順次位置するセグメント画素のペア
    をフィルタ処理するために前記比較ステップを反復する
    ステップと、 前記ブロック境界線の各側に順次遠くに位置するフィル
    タ処理セグメントの各々が前記連続性閾値より小さい差
    を特徴とするフィルタ処理セグメント画素のペアのメン
    バーである画素のアレイに前記フィルタ処理範囲を制限
    するステップをさらに含んでなることを特徴とする請求
    項18に記載の伸張画像の後処理方法。
  20. 【請求項20】 第1インタレースフィールドの画素ブ
    ロック内の1エッジに平行なフィルタ軸を確立するステ
    ップと、 前記フィルタ軸に平行な複数画素であって、前記第1イ
    ンタレースフィールドの前記ブロックの該複数画素を選
    択的にフィルタ処理するステップと、 第2インタレースフィールドの画素ブロック内の1エッ
    ジに平行なフィルタ軸を確立するステップと、 前記フィルタ軸に平行な前記第2インタレースフィール
    ドの前記ブロックの複数画素を選択的にフィルタ処理す
    るステップとを含んでなることを特徴とするインタレー
    ス動画の後処理方法。
  21. 【請求項21】 第1インタレースフィールドの画素ブ
    ロック内の1エッジに平行なフィルタ軸を確立する前記
    ステップは、 1つの候補軸に平行な投影線上に位置し、1つのブロッ
    クの第1境界線近傍に位置する第1画素と前記ブロック
    の第2境界線近傍に位置する第2画素を特定する特定ス
    テップと、 前記第1画素と前記第2画素とを比較する比較ステップ
    と、 複数の前記候補軸に対して前記特定ステップと前記比較
    ステップとを反復するステップと、 他の前記候補軸に対する前記第1画素と前記第2画素の
    前記比較ステップの対応比較結果に基づいて前記候補軸
    を前記フィルタ軸として指定するステップを含むことを
    特徴とする請求項20に記載のインタレース動画の後処
    理方法。
  22. 【請求項22】 前記対応比較結果は、前記第1画素と
    前記第2画素間の差の最小値であることを特徴とする請
    求項21に記載のインタレース動画の後処理方法。
  23. 【請求項23】 前記フィルタ軸に平行な複数の画素を
    選択的にフィルタ処理するステップは、 前記ブロックの1つの境界線に直に隣接するセグメント
    画素のペアの比較が所定の関係を満足している場合に、
    フィルタ処理する隣接する画素の前記セグメントを指定
    するステップと、 前記セグメントの前記画素を選択的にフィルタ処理する
    ステップを含むことを特徴とする請求項20に記載のイ
    ンタレース動画の後処理方法。
  24. 【請求項24】 前記境界線に隣接する前記画素のペア
    を比較するための前記所定の関係が前記画素対間の差に
    対する上限閾値を含んでなることを特徴とする請求項2
    1に記載のインタレース動画の後処理方法。
  25. 【請求項25】 前記境界線に隣接する前記画素のペア
    を比較するための前記所定の関係が前記画素のペアの間
    の差に対する下限閾値を含んでなることを特徴とする請
    求項21に記載のインタレース動画の後処理方法。
  26. 【請求項26】 前記境界線に隣接する前記画素のペア
    を比較するための前記所定の関係が前記画素のペアの間
    の差に対する下限閾値を含んでなることを特徴とする請
    求項25に記載のインタレース動画の後処理方法。
  27. 【請求項27】 前記フィルタ軸に平行な前記第1イン
    タレースフィールドの前記ブロックの複数の画素を選択
    的にフィルタ処理するステップは、 前記ブロックに直に隣接する前記セグメント画素のペア
    の比較が前記所定の関係を満足する場合にフィルタ処理
    する隣接画素の1セグメントを指定するステップと、 前記境界線から更に離れた隣接画素のペアを連続性閾値
    と順次比較することにより前記境界線の各側の少なくと
    も1つの画素を1つのフィルタ処理範囲として特定する
    ステップと、 前記フィルタ処理範囲の前記画素をフィルタ処理するス
    テップとを含んでなることを特徴とする請求項21に記
    載のインタレース動画の後処理方法。
JP2001092839A 2000-03-31 2001-03-28 伸張画像の後処理方法及びインタレース動画の後処理方法 Pending JP2001320586A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/541,141 US7203234B1 (en) 2000-03-31 2000-03-31 Method of directional filtering for post-processing compressed video
US09/541141 2000-03-31

Publications (1)

Publication Number Publication Date
JP2001320586A true JP2001320586A (ja) 2001-11-16

Family

ID=24158338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001092839A Pending JP2001320586A (ja) 2000-03-31 2001-03-28 伸張画像の後処理方法及びインタレース動画の後処理方法

Country Status (4)

Country Link
US (1) US7203234B1 (ja)
EP (1) EP1146748B1 (ja)
JP (1) JP2001320586A (ja)
DE (1) DE60128421T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003047267A1 (en) * 2001-11-29 2003-06-05 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
JP2008271472A (ja) * 2007-04-25 2008-11-06 Nec Electronics Corp ビデオ再生装置、ビデオ再生方法、及びプログラム
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
US7697782B2 (en) 2004-09-16 2010-04-13 Sharp Laboratories Of America, Inc. System for reducing ringing artifacts
WO2010047104A1 (ja) * 2008-10-22 2010-04-29 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US7742531B2 (en) 2001-11-29 2010-06-22 Panasonic Corporation Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
JP2011530857A (ja) * 2008-08-08 2011-12-22 トムソン ライセンシング バンディング・アーチファクトを検出する方法および装置

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203234B1 (en) * 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
GB2378072B (en) * 2001-07-24 2003-10-15 Motorola Inc Image and video coding arrangement and method
DE10158658A1 (de) 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US7463688B2 (en) * 2003-01-16 2008-12-09 Samsung Electronics Co., Ltd. Methods and apparatus for removing blocking artifacts of MPEG signals in real-time video reception
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
JP2005167399A (ja) * 2003-11-28 2005-06-23 Noritsu Koki Co Ltd 画像ノイズ除去方法
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
US7965770B2 (en) * 2004-03-31 2011-06-21 Intel Corporation Shared logic for decoding and deinterlacing of compressed video
US20050243914A1 (en) * 2004-04-29 2005-11-03 Do-Kyoung Kwon Adaptive de-blocking filtering apparatus and method for mpeg video decoder
KR100555866B1 (ko) * 2004-06-08 2006-03-03 삼성전자주식회사 패턴 적응형 필터링에 의한 영상신호의 평활화 장치 및 그평활화 방법
US7778480B2 (en) 2004-11-23 2010-08-17 Stmicroelectronics Asia Pacific Pte. Ltd. Block filtering system for reducing artifacts and method
US7620261B2 (en) 2004-11-23 2009-11-17 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
EP1817913A1 (en) * 2004-11-25 2007-08-15 Koninklijke Philips Electronics N.V. Reduction of compression artifacts in displayed images
US7136536B2 (en) 2004-12-22 2006-11-14 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter
US7551795B2 (en) * 2005-11-01 2009-06-23 Samsung Electronics Co., Ltd. Method and system for quantization artifact removal using super precision
US8090210B2 (en) 2006-03-30 2012-01-03 Samsung Electronics Co., Ltd. Recursive 3D super precision method for smoothly changing area
WO2008021633A2 (en) * 2006-08-17 2008-02-21 Caridianbct, Inc. Blood processing apparatus with robust outflow process control
CA2657229A1 (en) * 2006-08-17 2008-02-21 Caridianbct, Inc. Blood processing apparatus with robust automated process control
US7796834B2 (en) * 2006-11-16 2010-09-14 Texas Instruments Incorporated Post-processing technique for noise reduction of DCT-based compressed images
US7925086B2 (en) * 2007-01-18 2011-04-12 Samsung Electronics Co, Ltd. Method and system for adaptive quantization layer reduction in image processing applications
US20100272191A1 (en) * 2008-01-14 2010-10-28 Camilo Chang Dorea Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
US8588539B2 (en) 2008-02-20 2013-11-19 Canon Kabushiki Kaisha Methods and devices for filtering and coding a digital signal
FR2927744B1 (fr) * 2008-02-20 2012-09-21 Canon Kk Procede et dispositif de filtrage d'un signal numerique.
FR2927745B1 (fr) * 2008-02-20 2010-06-18 Canon Kk Procede et dispositif de codage d'un signal numerique.
US8363728B2 (en) * 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
CN101605254B (zh) * 2008-06-13 2011-09-07 深圳Tcl新技术有限公司 减少视频区块效应的系统和方法
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
KR20100050655A (ko) * 2008-11-06 2010-05-14 삼성전자주식회사 블록 노이즈 감소 시스템 및 방법
US9143803B2 (en) * 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
JP5562408B2 (ja) 2009-04-20 2014-07-30 ドルビー ラボラトリーズ ライセンシング コーポレイション 指揮された補間およびデータの後処理
US8682094B2 (en) * 2009-05-12 2014-03-25 Dynamic Invention Llc Adaptive subpixel-based downsampling and filtering using edge detection
EP2254338B1 (en) * 2009-05-20 2018-10-17 Canon Kabushiki Kaisha Coding and decoding methods and devices, computer program and information carrier enabling the implementation of such methods
EP2486731B1 (en) * 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
US8743957B2 (en) * 2010-04-12 2014-06-03 Sony Corporation Context adaptive directional intra prediction
KR20120017521A (ko) * 2010-08-19 2012-02-29 삼성전자주식회사 영상 고정밀화를 위한 고속 처리 필터링 장치 및 방법
US8787443B2 (en) 2010-10-05 2014-07-22 Microsoft Corporation Content adaptive deblocking during video encoding and decoding
US8982960B2 (en) 2011-02-23 2015-03-17 Qualcomm Incorporated Multi-metric filtering
US9042458B2 (en) 2011-04-01 2015-05-26 Microsoft Technology Licensing, Llc Multi-threaded implementations of deblock filtering
EP2724316B1 (en) * 2011-06-24 2019-06-19 InterDigital Madison Patent Holdings Method and device for processing of an image
EP3122465B1 (en) 2014-03-28 2018-06-20 Terumo BCT, Inc. Gain in separation processes with control loop
US10057601B2 (en) * 2015-06-22 2018-08-21 Integrated Device Technology, Inc. Methods and apparatuses for filtering of ringing artifacts post decoding
EP3543791A1 (en) * 2018-03-23 2019-09-25 ASML Netherlands B.V. Method of metrology and associated apparatuses

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3976361A (en) 1974-11-18 1976-08-24 Hughes Aircraft Company Charge storage diode with graded defect density photocapacitive layer
GB1536851A (en) 1975-03-10 1978-12-20 Rca Corp Video carrier wave defect detection and compensation
US4871257A (en) 1982-12-01 1989-10-03 Canon Kabushiki Kaisha Optical apparatus for observing patterned article
US4921241A (en) 1984-07-06 1990-05-01 Benzion Landa Copy sheet registration assembly for electrophotographic copier
US4620699A (en) 1984-07-06 1986-11-04 Savin Corporation Copy sheet registration assembly for electrophotographic copier
US4921344A (en) 1985-06-12 1990-05-01 Duplantis Shannon S Apparatus and method for enhancing the images of intra-oral photography
JPH01129670A (ja) 1987-11-16 1989-05-22 Matsushita Electric Ind Co Ltd 位相調整回路
US4873135A (en) 1988-01-29 1989-10-10 Minnesota Mining And Manufacturing Company Preframed transparency film having improved feeding reliability
US5488651A (en) 1989-05-08 1996-01-30 Brooktrout Technology, Inc. Fax message system
US5644513A (en) 1989-12-22 1997-07-01 Rudin; Leonid I. System incorporating feature-oriented signal enhancement using shock filters
JP2519815B2 (ja) 1990-03-01 1996-07-31 三菱電機株式会社 フォトマスク及びその製造方法
AU7480691A (en) 1990-03-15 1991-10-10 Thomson Consumer Electronics S.A. Digital image processing including block edges filtering
JP3001246B2 (ja) 1990-09-29 2000-01-24 株式会社トプコン 眼屈折力測定装置
US5625714A (en) * 1991-01-10 1997-04-29 Olympus Optical Co., Ltd. Image signal decoding device capable of removing block distortion with simple structure
US5367385A (en) * 1992-05-07 1994-11-22 Picturetel Corporation Method and apparatus for processing block coded image data to reduce boundary artifacts between adjacent image blocks
JP2621747B2 (ja) 1992-10-06 1997-06-18 富士ゼロックス株式会社 画像処理装置
US5903317A (en) 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
EP0627633A1 (en) 1993-05-18 1994-12-07 Koninklijke Philips Electronics N.V. Method and apparatus for magnetic resonance imaging
US5359676A (en) 1993-07-19 1994-10-25 Xerox Corporation Decompression of standard ADCT-compressed document images
KR970009302B1 (en) * 1993-08-17 1997-06-10 Lg Electronics Inc Block effect reducing apparatus for hdtv
US5512956A (en) 1994-02-04 1996-04-30 At&T Corp. Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences
EP0691366B1 (en) 1994-07-08 1999-03-10 Tokuyama Corporation Stretched polypropylene film
US5590064A (en) * 1994-10-26 1996-12-31 Intel Corporation Post-filtering for decoded video signals
US5754702A (en) * 1994-12-02 1998-05-19 Allied Signal Inc. Scale oriented interband prediction method for image data compression and reconstruction
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
DK0824828T3 (da) * 1995-05-02 1999-08-30 Innovision Ltd Bevægelseskompenseret filtrering
US5852475A (en) 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US5819035A (en) 1995-10-20 1998-10-06 Matsushita Electric Industrial Co., Ltd. Post-filter for removing ringing artifacts of DCT coding
US5850294A (en) 1995-12-18 1998-12-15 Lucent Technologies Inc. Method and apparatus for post-processing images
US5974196A (en) * 1996-03-15 1999-10-26 Sony Corporation Method and apparatus for blocking effect reduction in images
KR100242636B1 (ko) 1996-03-23 2000-02-01 윤종용 블록화효과 및 링잉노이즈 감소를 위한 신호적응후처리시스템
US5729242A (en) 1996-05-08 1998-03-17 Hughes Electronics Dual PDLC-projection head-up display
KR100242637B1 (ko) 1996-07-06 2000-02-01 윤종용 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법
US5796875A (en) 1996-08-13 1998-08-18 Sony Electronics, Inc. Selective de-blocking filter for DCT compressed images
US5852498A (en) 1997-04-04 1998-12-22 Kairos Scientific Inc. Optical instrument having a variable optical filter
KR100234316B1 (ko) * 1997-04-04 1999-12-15 윤종용 링잉노이즈 감소를 위한 신호적응 필터링 방법 및 신호적응필터
FI103003B (fi) * 1997-06-13 1999-03-31 Nokia Corp Suodatusmenetelmä, suodatin ja kannettava päätelaite
KR100308016B1 (ko) * 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
US7203234B1 (en) * 2000-03-31 2007-04-10 Sharp Laboratories Of America, Inc. Method of directional filtering for post-processing compressed video
US6707952B1 (en) * 2000-05-30 2004-03-16 Sharp Laboratories Of America, Inc. Method for removing ringing artifacts from locations near dominant edges of an image reconstructed after compression

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345770B2 (en) 2001-11-29 2013-01-01 Panasonic Corporation Video coding and decoding method for selective coding distortion removal using a filter
US9900614B2 (en) 2001-11-29 2018-02-20 Godo Kaisha Ip Bridge 1 Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
WO2003047267A1 (en) * 2001-11-29 2003-06-05 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
US10992962B2 (en) 2001-11-29 2021-04-27 Godo Kaisha Ip Bridge 1 Image coding and decoding method for removal of coding distortion by comparing pixel difference values with threshold
US8369421B2 (en) 2001-11-29 2013-02-05 Panasonic Corporation Coding distortion removal method by selectively filtering based on a pixel difference
US10965954B2 (en) 2001-11-29 2021-03-30 Godo Kaisha Ip Bridge 1 Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
US7742531B2 (en) 2001-11-29 2010-06-22 Panasonic Corporation Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7782962B2 (en) 2001-11-29 2010-08-24 Panasonic Corporation Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7792195B2 (en) 2001-11-29 2010-09-07 Panasonic Corporation Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
JP2010259097A (ja) * 2001-11-29 2010-11-11 Panasonic Corp 画像符号化復号化装置
JP4621810B2 (ja) * 2001-11-29 2011-01-26 パナソニック株式会社 画像符号化復号化装置
US10958940B2 (en) 2001-11-29 2021-03-23 Godo Kaisha Ip Bridge 1 Image decoding apparatus for removal of coding distortion by comparing pixel difference value with threshold
US10939134B2 (en) 2001-11-29 2021-03-02 Godo Kaisha Ip Bridge 1 Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
US8254468B2 (en) 2001-11-29 2012-08-28 Panasonic Corporation Video coding distortion removal method and apparatus using a filter
US10511857B2 (en) 2001-11-29 2019-12-17 Godo Kaisha Ip Bridge 1 Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
US10015517B2 (en) 2001-11-29 2018-07-03 Godo Kaisha Ip Bridge 1 Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
US7899123B2 (en) 2001-11-29 2011-03-01 Panasonic Corporation Coding distortion removal method, video encoding method, video decoding method, and apparatus and program for the same
US7095787B2 (en) 2001-11-29 2006-08-22 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
US8488683B2 (en) 2001-11-29 2013-07-16 Panasonic Corporation Selective filtering based on the motion compensation error of two adjacent transform blocks
US9888258B2 (en) 2001-11-29 2018-02-06 Godo Kaisha Ip Bridge 1 Image coding and decoding system for removal of coding distortion by comparing pixel difference values with thresholds
US9118899B2 (en) 2001-11-29 2015-08-25 Panasonic Intellectual Property Corporation Of America Selective coding distortion removal between two adjacent transform blocks based on their locations
US7697782B2 (en) 2004-09-16 2010-04-13 Sharp Laboratories Of America, Inc. System for reducing ringing artifacts
JP2008271472A (ja) * 2007-04-25 2008-11-06 Nec Electronics Corp ビデオ再生装置、ビデオ再生方法、及びプログラム
JP2011530857A (ja) * 2008-08-08 2011-12-22 トムソン ライセンシング バンディング・アーチファクトを検出する方法および装置
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法
JP5503548B2 (ja) * 2008-10-22 2014-05-28 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101252704B1 (ko) * 2008-10-22 2013-04-09 니폰덴신뎅와 가부시키가이샤 디블로킹 처리 방법, 디블로킹 처리 장치, 디블로킹 처리 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
WO2010047104A1 (ja) * 2008-10-22 2010-04-29 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
DE60128421T2 (de) 2008-02-14
US7203234B1 (en) 2007-04-10
EP1146748B1 (en) 2007-05-16
EP1146748A3 (en) 2004-04-21
EP1146748A2 (en) 2001-10-17
DE60128421D1 (de) 2007-06-28

Similar Documents

Publication Publication Date Title
JP2001320586A (ja) 伸張画像の後処理方法及びインタレース動画の後処理方法
JP4145665B2 (ja) 画像処理装置及び画像処理方法
US7076113B2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
EP2327219B1 (en) Reducing digital image noise
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
KR101112139B1 (ko) 부호화된 영상의 확대비 및 노이즈 강도 추정장치 및 방법
JPH10327334A (ja) リンギングノイズの減少のための信号適応フィルタリング方法及び信号適応フィルター
US20080292201A1 (en) Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
JPH08186714A (ja) 画像データのノイズ除去方法及びその装置
KR20090101911A (ko) 코딩된 화상 및 영상에서 블록 아티팩트 검출
JP2006507775A (ja) 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
US20020131647A1 (en) Predicting ringing artifacts in digital images
JP2005166021A (ja) 画像中の画素を分類する方法
KR100553886B1 (ko) 실시간 비디오 수신시 엠펙 신호의 블로킹 인조물을 제거하는 방법 및 장치
EP2171683A1 (en) Apparatus and method for reducing artifacts in images
US20130022288A1 (en) Image processing apparatus and method for reducing edge-induced artefacts
WO2017004889A1 (zh) 基于jnd因子的超像素高斯滤波预处理方法
CN108521575B (zh) 图像噪声的降噪方法及装置
Kim et al. Reduction of blocking artifacts for HDTV using offset-and-shift technique
JP4033292B2 (ja) 動画像符号化のための量子化制御方式
JP2006060841A (ja) 画像データのノイズ除去方法及びその装置
KR100772402B1 (ko) 공간 영역에서의 내용 적응성 블로킹 아티팩트 제거기
CN113556545A (zh) 图像处理方法及图像处理电路
JPH04311195A (ja) 画像信号符号化装置及び画像信号復号化装置
EP1182885A2 (en) Method and apparatus for image quality enhancement

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060908