JP2002101425A - ディジタル画像のノイズ及びブロッキング・アーティファクトの除去方法 - Google Patents

ディジタル画像のノイズ及びブロッキング・アーティファクトの除去方法

Info

Publication number
JP2002101425A
JP2002101425A JP2001196642A JP2001196642A JP2002101425A JP 2002101425 A JP2002101425 A JP 2002101425A JP 2001196642 A JP2001196642 A JP 2001196642A JP 2001196642 A JP2001196642 A JP 2001196642A JP 2002101425 A JP2002101425 A JP 2002101425A
Authority
JP
Japan
Prior art keywords
image
noise
component
components
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001196642A
Other languages
English (en)
Inventor
Qing Yu
ユィ チン
Jiebo Luo
ルオ ジエボ
Rajan L Joshi
エル ジョシー ラジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Co
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of JP2002101425A publication Critical patent/JP2002101425A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

(57)【要約】 【課題】 ディジタル画像のノイズ及びブロッキング・
アーティファクトを除去するディジタル画像処理方法の
提供を目的とする。 【解決手段】 本発明は、ディジタル画像の画素のRG
B値をY−Cb−Cr成分に変換し、Y−Cb−Cr画
像成分のブロック境界を検出し、Y−Cb−Cr画像成
分のノイズを推定し、Y−Cb−Cr画像成分に対し一
つ以上のノイズ・テーブルを作成し、フィルタ処理され
たY−Cb−Cr画像成分を得るため、検出されたブロ
ック境界及びノイズ・テーブルを利用する適応フーバー
・マルコフ・ランダム場モデルベースフィルタ(HMR
F)をY−Cb−Cr画像成分に適用し、フィルタ処理
されたY−Cb−Cr画像成分をRGB成分へ変換す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ディジタル画像処
理の分野に係り、特に、ディジタル画像のノイズ及びブ
ロッキング・アーティファクトを除去する方法に関す
る。
【0002】
【従来の技術】ディジタル画像は画像通信の分野で普及
している。画像通信チェーンには、ディジタル画像に適
用される種々の画像処理方法と共に、種々のコンポーネ
ントが存在するので、ディジタル画像には、映像ノイズ
と、(画像がJPEGフォーマットで高度に圧縮された
場合の)JPEGブロッキング・アーティファクトのよ
うなある種のアーティファクトが含まれる。かくして、
改良された画質が得られるようにディジタル画像を処理
するために効率的な画像強調技術が必要とされる。
【0003】従来技術における画像強調用の典型的な手
法は、以下の1.〜3.のような順次的な手順の系列に
より構成される。
【0004】手順1. 画像フィルタリングによる輝度
チャネルのノイズ除去(たとえば、2000年3月10日にE.
B.Gindele と J.Luoによって出願された、発明の名称
が"Noise reduction method utilizing statistical we
ighting, apparatus, and program for digital image
processing"である米国特許出願第09/522,742号に記載
されている)。
【0005】手順2. 画像フィルタリングによるクロ
ミナンスチャネルのノイズ除去(たとえば、1999年10月
8日にJ.E.Adams, Jr と J.F.Hamilton, Jr.によって出
願された、発明の名称が"Removing chroma noise from
digital images by variableshape pixel neighborhood
regions"である米国特許出願第09/415,374号に記載さ
れている)。
【0006】手順3. 画像フィルタリングによるJP
EG逆ブロッキング(たとえば、H.C.Reeve III と J.
S.Limによる"Reduction of blocking effect in image
coding,"ICASSP, pp.1212-1215, 1983に記載されてい
る)。
【0007】このような順次処理には、以下の主要な欠
点1.及び2.が伴う。
【0008】欠点1. 出力画像は、連続的なフィルタ
リング演算(すなわち、本質的に平滑化)のためディテ
ールが著しく失われたソフト画像である。
【0009】欠点2. 実行速度が遅く、時間的制約の
厳しいアプリケーションには不適である。
【0010】文献:J.Luo 外, "Artifact Reduction in
Low Bit Rate DCT-based Image Compression", IEEE T
ransaction on Image Processing, vol.5, No.9, Septe
mber, 1996には、フーバー・マルコフ(Huber-Markov)ラ
ンダム・フィールド・モデルベースのフィルタリング技
術を用いて、JPEG圧縮画像のアーディファクトを除
去する方法が開示されている。このフィルタリング技術
は、画像ディテールからのアーティファクト(たとえ
ば、ノイズ及びJPEGブロック境界)を区別し、ブロ
ック境界と非ブロック境界を区別して取り扱うフィルタ
リングを適用する。
【0011】このJ.Luo 外による文献に記載されたアー
ティファクト除去方法は、以下の1.〜3.のような多
数の前提条件に基づいている。
【0012】前提条件1. 画像ノイズは明暗度依存性
がない。
【0013】前提条件2. JPEGブロック境界の位
置は、予めわかっている。
【0014】前提条件3. 入力信号は濃淡階調ディジ
タル画像である。
【0015】しかし、これらの前提条件は、ある種の画
像アプリケーションについては成立しない。たとえば、
殆どのディジタルカメラからの画像は、3チャネル
(R,G,B)を有するカラー画像である。また、殆ど
のディジタルカメラの場合に、ノイズレベルは、明暗度
依存性が強い。その上、JPEG圧縮画像上でクロッピ
ング(切り取り)操作が行なわれた場合、ブロック境界
が存在する場所に関する事前知識は得られない。
【0016】
【発明が解決しようとする課題】したがって、ノイズと
JPEGブロッキング・アーティファクトを同時に適応
的に除去する効率的なアルゴリズムを開発することが強
く望まれる。そのため、ノイズ及びブロッキング・アー
ティファクトを低減するため画像を処理する改良された
効率的な方法が必要である。
【0017】本発明は、上記の一つ以上の問題点の解決
を目的とする。
【0018】
【課題を解決するための手段】本発明の一局面によれ
ば、RGB値を表現する画素を有するディジタル画像の
ノイズ及びブロッキング・アーティファクトを除去する
ディジタル画像処理方法は、ディジタル画像の画素をX
1成分、X2成分及びX3成分に変換し、X1画像成
分、X2画像成分及びX3画像成分におけるブロック境
界を検出し、X1画像成分、X2画像成分及びX3画像
成分におけるノイズを推定し、X1画像成分、X2画像
成分及びX3画像成分に対し一つ以上のノイズ・テーブ
ルを作成し、フィルタ処理されたX1画像成分、X2画
像成分及びX3画像成分を生成するため、検出されたブ
ロック境界及びノイズ・テーブルを利用する適応フーバ
ー・マルコフ・ランダム場モデルベースフィルタ(HM
RF)をX1画像成分、X2画像成分及びX3画像成分
に適用し、フィルタ処理されたX1画像成分、X2画像
成分及びX3画像成分をRGB成分に変換する。
【0019】
【発明の実施の形態】以下の説明では、本発明の好まし
い一実施例が通常ソフトウエアプログラムとして実現さ
れる画像処理方法として記載される。当業者は、このよ
うなソフトウエアの均等物がハードウエアによって製作
可能であることを容易に認めるであろう。このようなア
ルゴリズムを動かすための画像操作アルゴリズム及びシ
ステムは周知であるため、本明細書の説明は、特に、本
発明による方法の一部を形成し、或いは、本発明による
方法と非常に直接的に協働するアルゴリズム及びシステ
ムに向けられる。このようなアルゴリズム及びシステム
のその他の局面と、関連した画像信号を生成若しくは処
理するハードウエア及び/又はソフトウエアは、明示、
記載若しくは示唆されていない場合であっても、従来技
術においてよく知られたシステム、アルゴリズム、部品
及び素子から選択される。以下に説明された本発明によ
る方法の場合に、具体的に提示若しくは示唆されていな
いが本発明を実施するため有用なソフトウエアは、この
技術分野において通例的であり、通常の技術である。
【0020】更に、コンピュータプログラムは、たとえ
ば、磁気ディスク(フロッピー(登録商標)ディスク或
いはハードディスクなど)若しくは磁気テープのような
磁気記憶媒体、又は、光ディスク、光テープ、若しく
は、機械読取可能なバーコードのような光記憶媒体、ラ
ンダムアクセスメモリ(RAM)若しくはリードオンリ
メモリ(ROM)のような固体電子記憶装置、又は、コ
ンピュータプログラムを記録するため利用される他の物
理的装置若しくは媒体などを含むコンピュータ読取可能
記録媒体に格納される。
【0021】本発明は、ディジタル画像のノイズ及びブ
ロッキング・アーティファクトを除去する方法に関す
る。図1を参照するに、本発明を実施するため好適な典
型的な画像処理システムが示されている。入力ディジタ
ル画像は、入力源10、たとえば、ディジタルカメラ若
しくはスキャナ、インターネット・コネクション、別の
記憶装置などから到来する。コンピュータ12は、本発
明に従って入力ディジタル画像を処理し、出力画像を生
成する。出力画像は、出力装置14、たとえば、ディジ
タルプリンタ、表示装置、インテーネット・コネクショ
ン、別の記憶装置などへ送られる。
【0022】図3は、以下で詳述する本発明による画像
処理方法の実施例のフローチャートである。RGB値を
表現する画素を有するディジタル画像は、最初に、ステ
ップ32で、3個の画像成分X1、X2及びX3に変換
される。これらの3個の画像成分は、好ましい一実施例
によれば、Y画像成分、Cb画像成分及びCr画像成分
である。カラー画像の場合、ヒトの視覚系の色認知にお
ける冗長性を利用するため、画像圧縮前に、色変換が典
型的に行なわれる。たとえば、JPEG圧縮の場合、カ
ラー画像は、最初に、以下の式: Y=16+65.481*R+128.533*G+2
4.966*B Cb=128−37.797*R−74.203*G+
112*B Cr=128+112*R−93.786*G−18.
214*B に従って、RGBからYCbCr色空間へ変換される。
ここで、Yは明暗度成分であり、Cb及びCrは二つの
クロミナンス成分である。R、G及びBは、全て1に正
規化される。
【0023】ブロック境界検出ステップ34は、次に、
Y成分、Cb成分及びCr成分に対し個々に実行され、
ブロック境界推定値がステップ36において、ブロック
境界位置を確認するため互いに比較される。
【0024】ノイズ評価ステップ38も、Y成分、Cb
成分及びCr成分の成分毎に実行され、そこから、ステ
ップ40において、3個のノイズ・テーブルが生成され
る。
【0025】次のステップ42において、適応HMRF
フィルタがY成分、Cb成分及びCr成分の成分毎に適
用され、フィルタ処理されたY画像成分、Cb画像成分
及びCr画像成分が生成される。フィルタパラメータT
(HMRFフィルタのポテンシャル関数に関連する)
は、対応したノイズ・テーブル及びブロック境界位置に
適応する。一般的に、ブロック境界において、フィルタ
パラメータTは、入力ディジタル画像の圧縮比の逆関数
であり、その他の場所で、フィルタパラメータTは、ノ
イズ・テーブルによって表現されるようにノイズの関数
である。本実施例の場合に、フィルタパラメータTはノ
イズ推定値と一致する。最終的に、フィルタ処理された
Y画像成分、Cb画像成分及びCr画像成分は、ステッ
プ44で元のRGB成分へ変換される。
【0026】図3に概略的に示されるように、本発明の
画像処理方法は、以下で概略的に説明する三つのモジュ
ール、すなわち、 モジュール1. ノイズ推定モジュール モジュール2. JPEGブロック境界検出モジュール モジュール3. 適応フーバー・マルコフ・ランダム場
モデルベース(HMRF)フィルタを備えた画像平滑化
モジュール を含む。
【0027】以下、ノイズ推定モジュール、JPEGブ
ロック境界検出モジュール、及び、適応HMRFフィル
タを備えた画像平滑化モジュールを個別に詳述する。
【0028】[ノイズ推定]ノイズ推定は、ディジタル
画像の個々の成分に対して独立に実施される。平均推定
器及びメジアン推定器の二つのノイズ推定器を使用す
る。これらの二つの推定器は、ノイズ・テーブルを生成
するため好ましい実施例において使用されるが、当業者
は、多数の他の既存のノイズ推定器がノイズ・テーブル
を生成するため使用できることを認めるであろう。
【0029】第1の推定器、すなわち、平均推定器は、
現在画素が中心に置かれている局所窓の平均を計算し、
現在画素に対し1個のノイズ推定値として、平均値と現
在画素値の絶対的な差を通知する。画像エッジが推定値
に寄与することを防止するため、現在画素の明暗度勾配
の大きさが所定の閾値Aよりも大きい場合、ノイズ寄与
は無視される。ゾーベル(Sobel)演算子が明暗度
勾配演算子として使用され、明暗度勾配が水平ゾーベル
演算子と垂直ゾーベル演算子からの絶対値の合計と一致
する明暗度勾配画像を生成する。本発明の本実施例の場
合に、明暗度勾配画像の標準偏差(SD)が計算され、
閾値AはこのSDの2倍にセットされる。
【0030】第2の推定器、すなわち、メジアン推定器
は、現在画素が中心に置かれている局所窓のメジアンを
計算し、現在画素に対する別のノイズ推定値として、メ
ジアン値と現在画素値の絶対的な差を通知する。
【0031】二つのノイズ推定器からの値のうち小さい
方の値が、現在画素に対する最終的なノイズ推定値とし
て選択される。
【0032】入力ディジタル画像の画像成分毎に、明暗
度範囲は、N個の区間に分割され、同じ区間内の画素に
対するノイズ推定値は、その明暗度区間に対するノイズ
を生成するため平均化される。画像エッジが推定値に寄
与することを避けるため、画素の明暗度勾配の大きさが
所定の閾値Aよりも大きい場合に、ノイズ寄与がされ
る。これは、平均値推定に関して説明した手続と同じ手
続に従う。本実施例の場合、8ビット入力画像に対し、
各画像成分の明暗度範囲は、16個の区間(0−15、
16−31、...、240−255)へ均等に分割さ
れる。2列のノイズ・テーブルは、一方の画像成分に対
するノイズ推定が終了したときに生成される。第1列
は、明暗度区間を表し、第2列は明暗度区間に対するノ
イズ推定値を表す。入力画像が多数の画像成分を有する
場合、多数のノイズ・テーブルが対応して生成される。
【0033】[JPEGブロック境界検出]JPEGブ
ロック境界検出は、画像成分毎に独立に行なわれる。各
画像成分に対し、入力画像の隣接する2列の間の絶対差
を計算することにより、列差画像が最初に生成される。
たとえば、この処理は、画像の第2列の画素値を、画像
の第1列の画素値から減算することにより、差の値の列
を生成し、列差画像の第1列の画素値を差の値の列の絶
対値と一致させる。同じ手続が、全ての値に零が設定さ
れた最後の列を除いて、列差画像の残りの列を設定する
ため繰り返される。
【0034】列差画像は、1次元列差アレイVAを生成
するため、垂直方向に平均化される。原画像がM行、N
列の画像データをもつとすると、列差アレイVAは、N
個のエントリーをもつ必要がある。画像エッジが検出に
寄与することを防ぐため、原画像成分の対応した画素の
明暗度勾配の大きさが閾値Aよりも大きい場合に、列差
画像内の画素の寄与は無視される。これは、ノイズ推定
手続に関して説明した手続と同じ手続に従う。
【0035】列差アレイVAは、JPEGブロック幅の
周期性(たとえば、8画素)を使用して平均化され、ブ
ロック平均化された8個のエントリーを有する列差アレ
イVAAを獲得する。換言すると、列差アレイVAの8
個のエントリー毎に平均化され、平均化の結果がブロッ
ク平均化された列差アレイVAAの8個のエントリーを
設定するため使用される。
【0036】最終的に、ブロック平均化された列差アレ
イVAAの最大値を探し、対応した最大値のアレイ指標
は、画像成分に対する水平方向での最終的なJPEGブ
ロック境界位置である。たとえば、ブロック平均化され
た列差アレイVAAにおける最大値に対する指標が4で
ある場合、JPEGブロック境界は、原画像成分の列
4、12、...に現れる。画像成分の列に対する指標
は、ブロック平均化された列差アレイVAAに対する指
標と同様に、本実施例の場合に零から始まることに注意
する必要がある。
【0037】垂直方向でのブロック境界位置は、水平方
向でのブロック境界位置と同様に推定される。
【0038】JPEGブロック境界推定は、全ての画像
チャネルに対し実行される。この推定値は、さらに、相
互に比較される。推定値が互いに一致する場合、この推
定値は後続のフィルタリング処理で使用される。さもな
ければ、原画像にはそれほど多数のアーティファクトが
存在しないであろうと考えられ、ブロッキング・アーテ
ィファクトを除去するための特別の動作は行われない。
【0039】[適応HMRFフィルタによる画像平滑
化]低ビットレートの場合、再生画像は、量子化の際に
かなりの量の情報が失われるため、画像のディテール及
び鮮明さの損失と、符号化アーティファクトの影響を受
ける。一般的に、情報損失を回復することは実際的では
ないが、ある種の符号化アーティファクトは、適切な画
像事前モデルを使用する画像平滑化の制約の組み込みに
よって緩和され得る。
【0040】これに対し、変換符号化からの制約は、残
存画像ディテールの過剰平滑化のような更なる画像劣化
を防止するため利用され得る。変換符号化からの再生画
像の強調は、画像に加えられた劣化処理が既知である場
合、画像復元問題として定式化される。画像復元問題を
構成することにより、認知に関する単なる強調の代わり
に、信号忠実度に関する画像の復元を試みる。したがっ
て、主観的規準及び客観的規準の両方の規準は、復元結
果を推定するため使用される。JPEGブロッキング・
アーティファクトの除去のため画像復元を使用する技術
に関しては、上述のLuo外による文献を参照のこと。
【0041】計算の効率に関心がある場合、本発明の好
ましい実施例において、画像復元ではなく、画像強調を
実行する。ノイズ推定及びブロック境界位置推定は、デ
ィテール保存性画像強調用のパラメータを設定するため
利用される。
【0042】画像平滑化制約を強制的に課するため使用
される幾つかの凸ポテンシャル関数が存在する。これら
の関数は図2に示されている。屡々、望ましい関数は、
凸関数である。なぜならば、凸制約問題の収束性は、解
が存在するならば、常に保証され、かつ、凸制約問題
は、その高速収束性のため効率的に最適化され得るから
である。さらに重要な点は、変数が近傍画素の間で相異
するため、滑らかな推移、すなわち、良好な連続性の性
質を備えた凸ポテンシャル関数は、画像に望ましい連続
性を生じることである。
【0043】ガウス・マルコフ・ランダム場(GMR
F)は、解析的に有利であるため、普及している。しか
し、GMRFの線形ローパスフィルタリング性は、画像
エッジ及びその他のディテールを過剰かつ無差別に不鮮
明化する傾向がある。その理由は、ガウシアン関数の指
数部の二次項が、画素値間の差の増加と共に急激に増大
し、エッジに対し過剰なペナルティを課すからである。
提案された一般化ガウス・マルコフ・ランダム場(GG
MRF)モデルは、本質的に非線形フィルタリングを伴
うので、ノイズ抑制性とディテール保存性を兼ね備え得
ることが判明した。パラメータpは、GMRFに対応し
た値2から、1.0から2.0の範囲の実数に一般化さ
れる。圧縮画像の復元の際に、フーバー・マルコフ・ラ
ンダム場(HMRF)と称される特定のギブス・ランダ
ム場を使用する。このランダム場のポテンシャル関数V
c,T(x)は以下の式(1)の形式である。この関数
は、DCTベース符号化におけるブロッキング効果を除
去する際に画像強調に適用され良い結果が得られた。
【0044】
【数1】 式中、Tは閾値を表す。現在画素xm,nと、その近傍
m,n内の画素との階調レベル差を、 k,l∈Nm,nに対し、{xm,n−xk,l} のように定義すると、この階調レベル差は、フーバー・
ミニマックス関数の変数の代わりに使用できる。フーバ
ー・ミニマックス関数の優れた特性は、ある種のアーテ
ィファクトを平滑化し、同時に、エッジ及びテキスチャ
の領域のような画像ディテールを保存する能力を備えて
いる点である。この関数の二次セグメントは、局所変動
が閾値Tよりも小さい場合に、アーティファクトの最小
自乗平均平滑化をもたらす。これに対し、関数の一次セ
グメントは、非常に軽いペナルティを用いて画像内で大
きい不連続性を許容することにより、画像ディテールを
保存することができる。
【0045】HMRFモデルが他のタイプのGRFモデ
ルよりも画像復元に有利である主要な点は、現在画素と
近傍画素の間の階調レベルの差に応じて不連続性に関す
るペナルティを切換える能力を備えていることである。
実装上、HMRFモデルは、グラディエントが通常利用
される最適化の際に線形演算だけを含むので、計算がよ
り効率的に実行される。これは、HMRFモデルがGG
MRFモデルよりも優先される別の理由である。
【0046】ブロックベースの離散コサイン変換は、多
様な画像及び映像圧縮アプリケーションにおける最も普
及している変換である。低ビットレートのアプリケーシ
ョンの場合に、高圧縮比が望ましく、通常、視覚的に重
要ではないと考えられる高周波係数の粗い量子化及び切
り捨てによって実現される。したがって、「ブロッキン
グ効果」及び「リンギング効果」として知られている二
つの主要なアーティファクトが生成され、伸張された画
像の品質を著しく低下させる。ブロッキング効果は、再
生画像中に、認識可能な矩形ブロック構造として現れる
主要なアーティファクトである。この問題を取り扱う多
数のフィルタリング技術は、本質的に線形フィルタリン
グを伸張されたブロック状画像に適用するので、原画像
のディテールも平滑化する。線形フィルタリングは、残
存画像ディテールを十分に保存しなければならないと
き、低ビットレートの場合に望ましくない。リンギング
効果は、再生画像内の鮮明なエッジの周りにリンギング
パターンとして現れる。リンギング効果を除去する際に
画像を不鮮明化しないように、エッジ保存性非線形フィ
ルタリングが望ましい。
【0047】HMRFモデルのスイッチング性能は、異
なる性質の不連続性を識別するために非常に重要であ
る。しかし、このスイッチング特性は、アーティファク
トから画像ディテールを識別する必要がある場合には、
依然として不適切である。意味論を用いない場合、閾値
Tの単一の値は、全ての不連続性を正確に記述し得ず、
画像アーティファクトから本当のエッジを見分けるため
には不十分である。幸運に、アーティファクトを生成す
る画像劣化のメカニズム、及び、これらのアーティファ
クトの位置は、DCTベースの符号化において既知であ
るか、或いは、推定可能である。このような情報は、特
定のアプリケーション用にHMRFモデルの変形を開発
するために使用できる。各画像ブロック内の不連続性
は、ブロック境界領域に沿った不連続性から種々の方法
で生成される。ブロックの内側で、不連続性は、高周波
成分の量子化及び切り捨てから生じる。ブロック境界を
超えて確立される相関は存在しないため、ブロック境界
に沿って、更なる不連続性が取り込まれる。人工的なブ
ロック境界は、特定の既知の場所における超高周波エネ
ルギーであるとみなすことができ、付加的な平滑化を必
要とする。したがって、これらの2種類の不連続性は、
別々に取り扱われるべきである。HMRFモデルの場
合、ブロック境界領域内の画素に対し、アーティファク
トを平滑化するため、より大きい閾値Tの値T1が選択
され、適当な閾値Tの値T2が内側ブロック領域に適用
される。
【0048】ノイズ推定と、推定されたブロック境界位
置は、より多くの画像ディテールを保存し、より多くの
アーティファクトを除去する目的のため有利に利用され
る。一般的に、ブロッキング・アーティファクトは、J
PEGによって作成されたブロック境界の周辺に集中す
る。したがって、推定されたブロック境界の周辺でアー
ティファクトの除去を増加させるため、より大きい閾値
Tが使用される。ブロック境界から離れた画素の場合、
使用される閾値Tはより小さくなり、アーティファクト
が除去される量を減少させ、ノイズ除去を実現するた
め、より小さい閾値Tが使用される。
【0049】フーバー・ミニマックス関数の凸状性のた
め、画像強調は、反復的な形式で勾配降下最適化技術を
使用することにより効率的に実行され得る。特に、局所
近傍において、フーバー関数の勾配が計算され、ディテ
ール保存性平滑化を実行するため、ステップサイズと組
み合わせて使用される。ステップサイズは、フーバー関
数の勾配で乗算され、画素値の変化の量を決定する。こ
の局所勾配降下処理は、1回の反復中に画像の全ての局
所近傍領域に対し繰り返される。反復毎に、ステップサ
イズを半分に減少させることにより、「クーリングダウ
ン」法を使用する。
【0050】画像はHMRFモデルの制約下だけで平滑
化されるので、得られる結果は、閾値Tの選択による影
響を受け易い。一般的に、小さい閾値Tは、ある明暗度
で激しいノイズを除去するためには不十分であるが、閾
値Tを不必要に大きくすると、画像は過剰に平滑化され
る。閾値Tを巧く選択することにより、アーティファク
ト平滑化とディテール保存との間で最良の妥協点が得ら
れる。適切な閾値Tを選択するため、種々の明暗度レベ
ルに対するノイズ推定量を使用する。一般的に、閾値T
はノイズ推定量に比例する。本実施例の場合、特定の明
暗度レベルに対する閾値Tは、その明暗度レベルが属す
る明暗度範囲に対するノイズ推定量として設定される。
【0051】上述の通り、本発明は好ましい実施例に関
して説明した。しかし、当業者は、本発明の範囲を逸脱
することなく、種々の変形及び変更をなし得ることが認
められよう。
【0052】
【発明の効果】本発明は、ディジタル画像の局所明暗度
及びノイズ統計量に適応したノイズ低減の量が適用さ
れ、見かけ上一貫性のある画像が得られる効果を奏す
る。また、本発明は、JPEGブロック境界が存在する
場所についての事前知識を必要としない点が有利であ
る。
【図面の簡単な説明】
【図1】本発明による画像処理方法を実施するため適当
な画像処理システムを示すブロック図である。
【図2】強制的に画像平滑化制約を実施するため従来技
術において使用される凸ポテンシャル関数を示すグラフ
である。
【図3】本発明による画像処理方法の一実施例を表すフ
ローチャートである。
【符号の説明】
10 入力源 12 コンピュータ 14 出力装置 32 RGBからYCbCrへの変換 34 ブロック境界検出 36 ブロック境界確認 40 ノイズ・テーブル作成 42 適応HMRFフィルタリング 44 YCbCrからRGBへの変換
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/60 H04N 1/40 D 7/30 1/46 Z (72)発明者 ジエボ ルオ アメリカ合衆国 ニューヨーク 14620 ロチェスター ユニヴァーシティー・パー ク 805 (72)発明者 ラジャン エル ジョシー アメリカ合衆国 ニューヨーク 14612 ロチェスター スパニッシュ・トレイル 24 Fターム(参考) 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE02 CE05 CE06 CH07 CH09 5C057 AA11 BA00 DC11 EA01 EA02 EA07 EL01 EM09 GD04 GH03 GH07 GJ01 GJ02 GJ09 5C059 KK03 LA00 MA00 MA23 PP01 PP15 PP16 SS06 SS26 TA69 TB08 TC00 TC02 TC33 TC38 TD03 TD05 TD08 TD09 TD12 TD14 TD15 TD16 TD18 UA05 5C077 LL02 MP01 MP08 PP02 PP34 PP46 PQ18 PQ22 TT02 5C079 HB04 HB11 LA14 LA26 NA01

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 RGB値を表現する画素を有するディジ
    タル画像のノイズ及びブロッキング・アーティファクト
    を除去するディジタル画像処理方法であって、 ディジタル画像の画素をX1成分、X2成分及びX3成
    分に変換し、 X1画像成分、X2画像成分及びX3画像成分における
    ブロック境界を検出し、 X1画像成分、X2画像成分及びX3画像成分における
    ノイズを推定し、 X1画像成分、X2画像成分及びX3画像成分に対し一
    つ以上のノイズ・テーブルを作成し、 フィルタ処理されたX1画像成分、X2画像成分及びX
    3画像成分を生成するため、検出されたブロック境界及
    びノイズ・テーブルを利用する適応平滑化フィルタをX
    1画像成分、X2画像成分及びX3画像成分に適用し、 フィルタ処理されたX1画像成分、X2画像成分及びX
    3画像成分をRGB成分へ変換する、ディジタル画像処
    理方法。
JP2001196642A 2000-06-29 2001-06-28 ディジタル画像のノイズ及びブロッキング・アーティファクトの除去方法 Pending JP2002101425A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/606,700 US6636645B1 (en) 2000-06-29 2000-06-29 Image processing method for reducing noise and blocking artifact in a digital image
US606700 2000-06-29

Publications (1)

Publication Number Publication Date
JP2002101425A true JP2002101425A (ja) 2002-04-05

Family

ID=24429090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001196642A Pending JP2002101425A (ja) 2000-06-29 2001-06-28 ディジタル画像のノイズ及びブロッキング・アーティファクトの除去方法

Country Status (3)

Country Link
US (1) US6636645B1 (ja)
EP (1) EP1168824A3 (ja)
JP (1) JP2002101425A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522555A (ja) * 2004-12-01 2008-06-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. デジタル映像のアーティファクト削減
JP2008522508A (ja) * 2004-11-30 2008-06-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. デジタル映像のアーティファクト削減
JP2009530975A (ja) * 2006-03-21 2009-08-27 イーストマン コダック カンパニー 以前に圧縮された画像における合成の検出
WO2012035796A1 (en) * 2010-09-15 2012-03-22 Sharp Kabushiki Kaisha Methods and systems for noise reduction and image enhancement
JP2015500048A (ja) * 2011-11-23 2015-01-05 コーニンクレッカ フィリップス エヌ ヴェ イメージ領域のノイズ除去
JP2017513326A (ja) * 2014-03-14 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ピクセル距離を使用したデブロックフィルタ処理

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023915A1 (fr) * 2000-09-12 2002-03-21 Matsushita Electric Industrial Co., Ltd. Procede de reduction du bruit, dispositif de reduction du bruit, support et programme
US6731821B1 (en) * 2000-09-29 2004-05-04 Hewlett-Packard Development Company, L.P. Method for enhancing compressibility and visual quality of scanned document images
US7161633B2 (en) * 2001-01-10 2007-01-09 Koninklijke Philips Electronics N.V. Apparatus and method for providing a usefulness metric based on coding information for video enhancement
US6845180B2 (en) * 2001-03-16 2005-01-18 Sharp Laboratories Of America, Inc. Predicting ringing artifacts in digital images
JP2002300459A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 反復法による画像復元装置、画像復元方法、プログラム及び記録媒体
US6856702B2 (en) * 2001-06-28 2005-02-15 Andrew C. Gallagher System and method for selecting an image processing path using estimated appearance of noise
US7440504B2 (en) * 2001-09-24 2008-10-21 Broadcom Corporation Method and apparatus for performing deblocking filtering with interlace capability
US9042445B2 (en) 2001-09-24 2015-05-26 Broadcom Corporation Method for deblocking field-frame video
US7031548B2 (en) * 2001-10-04 2006-04-18 Hewlett-Packard Development Company, L.P. Method and apparatus for filtering noise from a digital image
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
EP1359547A3 (fr) * 2002-03-29 2006-05-24 Koninklijke Philips Electronics N.V. Procédé de traitement d'images numériques pour applications bas débit
JP4306229B2 (ja) 2002-04-03 2009-07-29 タカタ株式会社 衝突検出装置及び安全装置
FR2841423A1 (fr) * 2002-06-25 2003-12-26 Koninkl Philips Electronics Nv Procede de detection d'artefacts de bloc
FR2841424A1 (fr) * 2002-06-25 2003-12-26 Koninkl Philips Electronics Nv Procede de detection d'artefacts de bloc
AU2003247030A1 (en) * 2002-07-31 2004-02-23 Koninklijke Philips Electronics N.V. Dynamic detection of blocking artefacts
US7162381B2 (en) 2002-12-13 2007-01-09 Knowles Electronics, Llc System and method for facilitating listening
US6922492B2 (en) * 2002-12-27 2005-07-26 Motorola, Inc. Video deblocking method and apparatus
KR20060028645A (ko) * 2003-07-02 2006-03-30 소니 가부시끼 가이샤 블록왜곡 검출장치 및 블록왜곡 검출방법과 영상신호처리장치
US7430334B2 (en) * 2003-07-31 2008-09-30 Hewlett Packard Development Company, L.P. Digital imaging systems, articles of manufacture, and digital image processing methods
US7907987B2 (en) 2004-02-20 2011-03-15 University Of Florida Research Foundation, Inc. System for delivering conformal radiation therapy while simultaneously imaging soft tissue
US7570831B2 (en) 2004-04-29 2009-08-04 Hewlett-Packard Development Company, L.P. System and method for estimating image noise
US7266246B2 (en) 2004-04-29 2007-09-04 Hewlett-Packard Development Company, L.P. System and method for estimating compression noise in images
US7356195B2 (en) 2004-04-29 2008-04-08 Hewlett-Packard Development Company, L.P. System and method for estimating image sharpness
US20070223815A1 (en) * 2004-09-02 2007-09-27 Koninklijke Philips Electronics N.V. Feature Weighted Medical Object Contouring Using Distance Coordinates
JP2006098217A (ja) * 2004-09-29 2006-04-13 Fujitsu Ltd 画像検査装置、画像検査方法及び画像検査プログラム
JP2006129236A (ja) * 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
US20060092440A1 (en) * 2004-11-01 2006-05-04 Bagai Farhan A Human visual system based design of color signal transformation in a color imaging system
ZA200704141B (en) * 2004-11-23 2008-08-27 Thomson Licensing Low-complexity film grain simulation technique
DE602006021728D1 (de) * 2005-03-31 2011-06-16 Nippon Kogaku Kk Bildverarbeitungsverfahren
JP4302661B2 (ja) * 2005-05-02 2009-07-29 富士通マイクロエレクトロニクス株式会社 画像処理システム
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
JP4943721B2 (ja) * 2006-03-20 2012-05-30 株式会社リコー 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
US8036481B2 (en) * 2006-07-14 2011-10-11 Eastman Kodak Company Image processing apparatus and image restoration method and program
US7961975B2 (en) * 2006-07-31 2011-06-14 Stc. Unm System and method for reduction of speckle noise in an image
US8184927B2 (en) * 2006-07-31 2012-05-22 Stc.Unm System and method for reduction of speckle noise in an image
JP4440286B2 (ja) * 2007-06-11 2010-03-24 三菱電機株式会社 ブロックノイズ除去装置
WO2009120830A1 (en) * 2008-03-27 2009-10-01 Tufts University Methods and apparatus for visual sub-band decomposition of signals
US8285070B2 (en) * 2008-04-07 2012-10-09 The Trustees Of Tufts College Methods and apparatus for image restoration
JPWO2010001911A1 (ja) * 2008-07-03 2011-12-22 シャープ株式会社 フィルタ装置
JP5552290B2 (ja) * 2008-11-04 2014-07-16 キヤノン株式会社 画像処理装置、画像処理方法、フィルタ装置、その制御方法及びプログラム
JP5869476B2 (ja) * 2009-06-19 2016-02-24 ヴューレイ インコーポレイテッド 断層撮影画像の取得および再構成を実行するシステムおよび方法
JP5515032B2 (ja) * 2009-06-24 2014-06-11 国立大学法人京都大学 雑音検出方法、雑音検出装置、シミュレーション方法、シミュレーション装置、及び通信システム
US8457430B2 (en) * 2009-08-02 2013-06-04 Mediatek Inc. Region-based method for iterative regularization image enhancement, and associated region-based apparatus and associated processing circuit
KR101073938B1 (ko) * 2009-12-31 2011-10-17 전자부품연구원 색차공간 예측을 이용한 영상부호화방법
US8588535B2 (en) 2010-09-15 2013-11-19 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
US8532429B2 (en) 2010-09-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for noise reduction and image enhancement involving selection of noise-control parameter
US8538193B2 (en) 2010-09-28 2013-09-17 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement and estimation of compression noise
US8175411B2 (en) 2010-09-28 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for estimation of compression noise
CN102014240B (zh) * 2010-12-01 2013-07-31 深圳市蓝韵实业有限公司 一种实时医学视频图像去噪方法
US9018582B2 (en) 2011-01-11 2015-04-28 Sony Corporation Passive radiometric imaging device and method
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
US9446263B2 (en) 2013-03-15 2016-09-20 Viewray Technologies, Inc. Systems and methods for linear accelerator radiotherapy with magnetic resonance imaging
US8953877B2 (en) * 2013-05-14 2015-02-10 Google Inc. Noise estimation for images
CN110136176B (zh) 2013-12-03 2022-12-09 优瑞技术公司 确定与医学图像的位移的系统
US9330340B1 (en) 2014-05-06 2016-05-03 Google Inc. Noise estimation for images using polynomial relationship for pixel values of image features
US9859879B2 (en) 2015-09-11 2018-01-02 Knowles Electronics, Llc Method and apparatus to clip incoming signals in opposing directions when in an off state
AU2017227590A1 (en) 2016-03-02 2018-08-30 Viewray Technologies, Inc. Particle therapy with magnetic resonance imaging
CA3028716C (en) 2016-06-22 2024-02-13 Viewray Technologies, Inc. Magnetic resonance imaging at low field strength
US11284811B2 (en) 2016-06-22 2022-03-29 Viewray Technologies, Inc. Magnetic resonance volumetric imaging
US10083499B1 (en) 2016-10-11 2018-09-25 Google Llc Methods and apparatus to reduce compression artifacts in images
KR20190092530A (ko) 2016-12-13 2019-08-07 뷰레이 테크놀로지스 인크. 방사선 치료 시스템 및 방법
CN107705315B (zh) * 2017-08-18 2020-03-17 中国科学院深圳先进技术研究院 脑组织结构提取方法、装置、设备及存储介质
US11033758B2 (en) 2017-12-06 2021-06-15 Viewray Technologies, Inc. Radiotherapy systems, methods and software
US11209509B2 (en) 2018-05-16 2021-12-28 Viewray Technologies, Inc. Resistive electromagnet systems and methods
CN111524085B (zh) * 2020-07-02 2020-10-23 北京大成国测科技有限公司 自适应图像处理方法、装置、电子设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU658432B2 (en) * 1991-06-04 1995-04-13 Qualcomm Incorporated Adaptive block size image compression method and system
JP3356516B2 (ja) * 1993-12-28 2002-12-16 シャープ株式会社 動画像符号化装置
US5966465A (en) * 1994-09-21 1999-10-12 Ricoh Corporation Compression/decompression using reversible embedded wavelets
US6040876A (en) * 1995-10-13 2000-03-21 Texas Instruments Incorporated Low intensity contouring and color shift reduction using dither
US6151420A (en) * 1995-12-15 2000-11-21 Polaroid Corporation Minimizing blocking artifacts in a filtered image
US6463182B1 (en) * 1995-12-28 2002-10-08 Canon Kabushiki Kaisha Image processing apparatus and method for removing noise near an edge of an image
US5923775A (en) * 1996-04-04 1999-07-13 Eastman Kodak Company Apparatus and method for signal dependent noise estimation and reduction in digital images
US5799112A (en) * 1996-08-30 1998-08-25 Xerox Corporation Method and apparatus for wavelet-based universal halftone image unscreening
EP2190205A3 (en) * 1997-05-28 2010-10-06 Sony Corporation Method and apparatus for reducing block distortion and method and apparatus for encoding data
US6198842B1 (en) * 1997-06-19 2001-03-06 International Business Machines Corporation Multi-spectral image compression with bounded loss
US6226410B1 (en) * 1997-06-30 2001-05-01 Intel Corporation Method and apparatus for providing image and video coding with iterative post-processing using transmitted step size information
US6285801B1 (en) * 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
US6510242B1 (en) * 1999-10-26 2003-01-21 Sharp Laboratories Of America, Inc. Color image enhancement during YCbCr to RGB color conversion
US6885775B2 (en) * 2000-01-21 2005-04-26 Matsushita Electric Industrial Co., Ltd. Image processing method and image processing apparatus
US6993191B2 (en) * 2001-05-04 2006-01-31 Pts Corporation Methods and apparatus for removing compression artifacts in video sequences
JP2003061105A (ja) * 2001-06-07 2003-02-28 Seiko Epson Corp 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008522508A (ja) * 2004-11-30 2008-06-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. デジタル映像のアーティファクト削減
JP2008522555A (ja) * 2004-12-01 2008-06-26 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. デジタル映像のアーティファクト削減
JP2009530975A (ja) * 2006-03-21 2009-08-27 イーストマン コダック カンパニー 以前に圧縮された画像における合成の検出
WO2012035796A1 (en) * 2010-09-15 2012-03-22 Sharp Kabushiki Kaisha Methods and systems for noise reduction and image enhancement
JP2015500048A (ja) * 2011-11-23 2015-01-05 コーニンクレッカ フィリップス エヌ ヴェ イメージ領域のノイズ除去
JP2017513326A (ja) * 2014-03-14 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ピクセル距離を使用したデブロックフィルタ処理

Also Published As

Publication number Publication date
EP1168824A3 (en) 2004-08-25
US6636645B1 (en) 2003-10-21
EP1168824A2 (en) 2002-01-02

Similar Documents

Publication Publication Date Title
JP2002101425A (ja) ディジタル画像のノイズ及びブロッキング・アーティファクトの除去方法
JP4431362B2 (ja) 圧縮画像中のアーティファクトを除去する方法及びシステム
KR100405150B1 (ko) 시공간 적응적 잡음 제거/고화질 복원 방법 및 이를응용한 고화질 영상 입력 장치
US5479211A (en) Image-signal decoding apparatus
JP4145665B2 (ja) 画像処理装置及び画像処理方法
KR100624421B1 (ko) 디지탈 영상 신호 필터링 장치 및 방법
JP3308921B2 (ja) 映像データループフィルタリング方法及び装置
KR100721543B1 (ko) 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
WO2002102086A2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
KR20060114609A (ko) 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치
JP3392307B2 (ja) 画像信号平滑化装置および画像信号平滑化方法
JP2007166522A (ja) 復号化装置及び復号化方法及びプログラム
JP2002535896A (ja) 鮮明度を向上させる方法および装置
US10013772B2 (en) Method of controlling a quality measure and system thereof
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
JP2002077629A (ja) ディジタル画像中のブロック化アーティファクトの範囲を決定する方法
JP2004159311A (ja) 画像処理装置および画像処理方法
US8135231B2 (en) Image processing method and device for performing mosquito noise reduction
Nakajima et al. A pel adaptive reduction of coding artifacts for MPEG video signals
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
JP4618218B2 (ja) 画像処理装置および画像処理方法
KR100839922B1 (ko) 적응적 평균값 필터를 이용한 컬러 잡음 제거 장치 및 방법
RU2402070C2 (ru) Способ удаления искажений на цифровых изображениях
JP3736291B2 (ja) 画像信号復号化装置および方法
KR100628839B1 (ko) 모서리 잡음 검출 및 보상방법