JP2008508750A - 適応性3dノイズ減少装置及び方法 - Google Patents

適応性3dノイズ減少装置及び方法 Download PDF

Info

Publication number
JP2008508750A
JP2008508750A JP2007522890A JP2007522890A JP2008508750A JP 2008508750 A JP2008508750 A JP 2008508750A JP 2007522890 A JP2007522890 A JP 2007522890A JP 2007522890 A JP2007522890 A JP 2007522890A JP 2008508750 A JP2008508750 A JP 2008508750A
Authority
JP
Japan
Prior art keywords
signal
noise
noise variance
variance
video input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007522890A
Other languages
English (en)
Other versions
JP4733127B2 (ja
Inventor
デュオン テュアン ニュエン
サン ヒエン ニュエン シ
チョン タム レ ディン
Original Assignee
アルゴリス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルゴリス インコーポレイテッド filed Critical アルゴリス インコーポレイテッド
Publication of JP2008508750A publication Critical patent/JP2008508750A/ja
Application granted granted Critical
Publication of JP4733127B2 publication Critical patent/JP4733127B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise

Abstract

一般的なノイズ減少のための非リカーシブ3D処理方法及びシステムが開示される。3Dノイズ減少器は、5つの形式のノイズを、変化する統計値の等価加法性ノイズに簡単に変換することをベースとする。ここに提案する技術は、出力ノイズ分散の最小化(MNV)及び埋め込まれたモーション推定(EME)を結合する効率的な時間的フィルタリング技術も含む。ここに提案する時間的フィルタリング技術は、より効率的なノイズ減少器のために古典的なモーション推定及びモーション補償と更に結合されてもよい。又、ここに提案する技術は、健全で且つ効率的な形状適応性ウインドウ動作(SAW)を伴う最小平均二乗エラー(MMSE)を結合する空間的ノイズ減少器も備え、これは、全イメージ、特に、縁部分に対してランダムノイズを平滑化するのに使用される。ゆっくり変化する領域において最終的な過剰フィルタリングに対してバンディング作用を取り扱うためのMMSEに対する別の変更も導入される。
【選択図】図1

Description

本発明は、イメージ又はイメージシーケンスにおいて主としてリアルタイムで動作し得るイメージの3Dノイズの減少技術に係る。より詳細には、本発明は、イメージ用途において多数の形式のノイズに適した適応性空間−時間フィルタリング技術に係る。
関連出願の相互参照:本出願は、引用としてここに組み入れる2004年7月30日に出願の“Apparatus and method for adaptive 3D artifact reducing for encoded image signal”と題する米国仮特許出願第60/592,339号の優先権を主張する。
ノイズ減少の技術に関する既存の文献及び/又は特許は多数存在する。イメージのノイズ除去技術は、空間的なもの又は時間的なもの、或いはそれらを組み合せたものに分類できる。空間的な技術は、一般に、考慮されるイメージの高周波数部分に適用される幾つかのコア技術に係る。時間的なノイズ除去技術は、画像の検出又は推定される静止部分に主として適用される時間的コア技術に係る。イメージのノイズ除去技術は、空間的なもの又は時間的なものに分類できる。真の3D処理よって容易になし得る空間的及び時間的技術の一連の組み合せが考えられ、有益なものとなり得る。以下、この主題の一般的な傾向を再検討し、そして特定の空間的又は時間的な出口ノイズ減少器について、ある程度詳細に考える。
空間的ノイズ減少技術は、静止画像又はイメージシーケンスに適用することができる。一般に、空間的ノイズ減少技術は、更に3つのカテゴリーに分けることができる。
第1カテゴリーの空間的な非直線的フィルタは、局所(局所)オーダー(local order)の統計値に基づくものである。これらの技術は、例えば、A. R. Weeks、二世の“Fundamentals of Electronic Image Processing”、SPIE Optical Engineering Press、Bellingham、ワシントン州、1996年、又はI. Pitas、及びA. N. Venetsapoulos氏の“Nonlinear Digital Filters: Principles and Applications”、Kluwer Academic Publishers、ボストン、1990年、に見ることができる。考慮されるピクセルの周りに局所(局所)ウインドウを使用して、これらのフィルタは、今や最小値から最大値まで順序付けされたピクセルのこのセットに作用する。このカテゴリーでは、中間フィルタ、最小/最大フィルタ、アルファ−トリミング(alpha-trimmed)の平均フィルタ、及びそれらの各々の変形を分類することができる。これらのフィルタは、インパルス状の霜降り(salt-and-pepper)ノイズを除去するように充分機能する。小振幅のノイズに対し、これらのフィルタは、ある細部や小さな縁をぼかすことがある。
第2カテゴリーのコア技術は、オリジナルイメージの空間的ドメインとは異なる別のドメインに適用される。選択されるドメインは、ノイズの性質に一部分依存する。米国特許第4,163,258号は、ウォルシュ−アダマール(Walsh-Hadamard)変換ドメインを使用し、一方、米国特許第4,523,230号は、あるサブバンド分解を示唆する。最終的に、対数ドメインで機能する異体同形(homomorphism)フィルタは、乗法性ノイズを除去し且つイメージからイメージシェーディング(image shading)するための古典的フィルタである。
第3カテゴリーのフィルタは、局所(局所)適応のもので、ノイズ除去容量は、同質(homogenous)領域から縁(edge)領域へと変化する。
このカテゴリーの良く知られたフィルタは、J. S. Lee氏により“Digital image enhancement and noise filtering by use of local statistics”、IEEE Trans. On PAMI-2、1980年3月、第165−168ページにおいて最初に提案された最小平均二乗エラー(MMSE)フィルタである。フィルタリングされたピクセル出力は、局所(局所)平均値、及びノイズピクセルと局所平均強度値との熟考された差で加算的に構成される。一種のコア技術に対応する最適な重みを、真のきれいなイメージとノイズ性イメージとの局所(局所)分散(variance)比により加法性ノイズに対して決定することができる。最小平均二乗エラーフィルタは、同質領域に対してノイズを良好に除去し、イメージの縁を確保する。しかしながら、ノイズは、縁又は縁付近の領域に本質的に残留する。更に、他の形式のノイズに対して最適な重みが変化する。
Lee氏のフィルタ及び最近の非等方性拡散技術の関係が、Y. Yu及びS.T. Acton氏により“Speckle Reducing Anisotropic Diffusion”、IEEE Trans. on Image Processing、第11巻、2002年11月、第1260−1270ページに示されている。
P. Chan及びJ. S. Lim氏の“One dimensional processing for adaptive image restoration”、IEEE Trans. on ASSP-33、1985年2月、第117−126ページには、縁領域においてノイズを減少するための方法が記載されている。著者は、4つの一次元最小平均二乗エラーフィルタを各々0°、45°、90°及び135°の方向に沿ってシリーズに使用することを提案している。得られる結果は、大きな分散のノイズに対しては印象的なものである。しかしながら、小さなノイズについては、フィルタがイメージの縁をぼかすことがある。更に、各フィルタ段におけるノイズ分散出力を、コストを掛けて推定しなければならない。
同じ目的で、J. S. Lee氏の“Digital image smoothing and the Sigma filter”、Computer Vision、Graphics、and Image Processing-24、1983年、第255−269ページにおいて、著者は、シグマフィルタを提案している。ノイズ除去のために、フィルタは、大きさが5x5の局所ウインドウにおいて、考慮される中心ピクセルの値に対する同様のピクセル強度の平均値を計算する。小さなノイズの場合に、シグマフィルタは、小さなイメージの細部や、鋭いスポットノイズを伴うあるピクセルを除いて、充分に機能する。後者の場合に、J. S. Lee氏は、最終的にある程度ぼける画像の縁を犠牲にして、すぐ近隣の平均値を使用することも、発見的に示唆している。
米国特許第4,573,070号は、3x3ウインドウのためのシグマフィルタを開示している。著者は、シグマフィルタと、次数統計学的フィルタと、強力インパルスノイズ減少フィルタとを単一の構成で結合している。
米国特許第6,633,683号には、最小平均二乗エラーフィルタ及びシグマフィルタ技術を結合した形状適応性ウインドウ動作が開示されている。しかしながら、ゆっくり変化する領域に導入されるバンディング(banding)欠陥作用及びある通常形式のノイズに対する一般的な最小平均二乗エラー構造が考慮されていない。
時間的フィルタは、一般に、2つ又は多数の次々のイメージ間でノイズ成分が非相関であると推測されるイメージのシーケンスに対して適用される。時間的フィルタリング技術は、本質的に、モーション検出(MD)又はモーション補償(MC)に基づくものである。フィルタの構造は、IIR(無限インパルス応答)フィルタでもよいし、又はフレーム遅延素子を伴うFIR(限定インパルス応答)フィルタでもよい。一般に、時間的技術は、空間的技術より良好に機能する。システムコストは、本質的に、フレームメモリ及びモーション推定による。時間的ノイズ除去技術は、例えば、米国特許第5,161,018号、第5,191,419号、第5,260,775号、第5,404,179号、第5,442,407号、第6,061,100号、並びにG. Wischerman氏の“The Digital Wetgate: A Third-Generation Noise Reducer”、SMPTE Journal、1996年2月、第95−100ページに見ることができる。
理論的な観点から、充分に確立されたMCカルマンフィルタリングをベースとするこれらのノイズフィルタリング技術の1つの種類が、Kim及びWoods氏の“Spatio-temporal adaptive 3-D Kalman Filter for Video”、IEEE Transaction on Image Processing、第6巻、第3号、1997年3月において、空間−時間ドメインに対して提案されている。しかしながら、3Dカルマンフィルタは、高速での実施や急激なシーンの変化には便利でない。Katsaggelos氏等は、“Adaptive Image Sequence Noise Filtering Method”、SPIE、第1606巻、Visual Communication and Image Processing、1991年、第716−727ページにおいて、イメージシーケンスの非固定フィルタリングのための2つの解決策、即ち3つの結合された1−D推定器で構成される分離可能な適応性リカーシブモーション補償フィルタと、モーション推定を伴わない時間的な非直線的フィルタリング解決策とを提案している。また、M. K. Ozkan氏等は、“Adaptive Motion Compensated Filtering of Noisy Image Sequences”、IEEE Trans. on Circuit and Systems for Video Technology、第3巻、第4号、1993年8月、第277−290ページにおいて、縁の存在、不正確なモーション推定、及びシーンの変化を克服することを請求するために適応性重み付け平均化フィルタの使用を示唆している。Boo及びBose氏は、“A motion-compensated spatio-temporal filter for image sequences with signal dependent noise”、IEEE Trans. on Circuit and Systems for Video Technology、第8巻、第3号、1998年6月、第287−298ページにおいて、変換ドメインにフレーム及びLMMSEのグループを使用したMC空間的−時間的フィルタを提案している。
本発明にとって最も関心があるのは、Katsaggelos氏等の第2の解決策、即ち明確なモーション検出又は推定を伴わない時間的な非直線的フィルタリング解決策である。しかしながら、この解決策は、5つのフレームメモリ及びマトリクスの反転を伴うことからコストがかかる。
また、米国特許出願第2001/0019633号は、ノイズの形式を推定するためのメトリックとしてノイズの尖度を使用し、そしてノイズ弁別の機能に中間フィルタ又は空間的−時間的フィルタのいずれかが適用されることを開示している。
本発明は、イメージ信号におけるノイズを効率的に減少するための装置及び方法を提供する。
本発明の1つの態様によれば、少なくとも5つの形式のノイズを減少するための装置及び方法が提供される。考慮されるノイズの5つの形式は、a)加法性ノイズ、b)負のガンマγの写真密度を伴う乗法性ノイズ、c)正のガンマγの写真密度を伴う乗法性ノイズ、d)加法的及び乗法的なスペックル(speckle)又は合成ノイズ(γ<0)、及びe)加法的及び乗法的なスペックル又は合成ノイズ(γ>0)である。この装置及び方法は、前記5つの種々のノイズ形式を、同等の、信号依存の加法性ノイズへ変換するためのノイズ電力コンバータを備えている。未知のノイズ形式を取り扱うときには、加法性ノイズモードを選択しなければならない。
本発明の更に別の態様によれば、時間リカーシブフィルタリングのための装置及び方法が提供される。より詳細には、この時間的フィルタリングは、出力ノイズ分散(MNV)を最小にするための基準、及び埋め込まれたモーション推定(EME)の技術を導入する。前者は、高速実施に適したノイズ減少を遂行する。後者は、縁の存在、不正確なモーション推定及びシーンの変化を克服するための効率的な技術を提供する。
本発明の更に別の態様によれば、古典的なモーション推定及び補償と相補的である時間リカーシブフィルタリングのための装置及び方法が提供される。
最小平均二乗エラー技術を実世界に効率的に使用するための形状適応性ウインドウ動作(SAW)を導入する空間的フィルタリングのための装置及び方法が提供される。形状適応性ウインドウ動作は、ウインドウ内のピクセルを、考慮されるピクセルに関して同質の又はそうでない2つのクラスへと、ノイズに対して健全に局所的に分類する。
本発明の更に別の態様によれば、ゆっくり変化するイメージ領域において最終的な過剰フィルタリングのために導入されるバンディング(banding)作用欠陥を取り扱うことのできる空間的ノイズ減少装置及び方法が提供される。
また、本発明の別の広い態様から、局所(局所)ノイズ電力が既知であるときにノイズを減少するための適応性装置及び方法も提供される。
また、本発明の別の広い態様から、3つのビデオ成分、即ちルミナンス成分及び2つのクロミナンス成分に対してノイズを減少するための適応性装置及び方法も提供される。
ここでの説明は、ビデオ入力信号における複数のノイズ形式を減少するための装置において、ビデオ入力信号、加法性ノイズ分散、乗法性ノイズ分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ分散信号を推定するためのノイズ電力コンバータと、等価加法性ノイズ分散及びビデオ入力信号を使用して、時間的にフィルタリングされたビデオ信号及び残留ノイズ分散の信号を発生するための時間リカーシブフィルタと、その残留ノイズ分散の信号及び時間的にフィルタリングされたビデオ信号を使用して、ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を与えるための空間的ノイズ減少器と、を備えた装置を開示する。
更に、ここでの説明は、ビデオ入力信号における複数のノイズ形式を減少するための方法において、ビデオ入力信号、加法性ノイズ分散、乗法性ノイズ分散、及びノイズの形式の指示を使用して、等価加法性ノイズ分散信号を推定するステップと、ビデオ入力信号のビデオ信号を時間的にフィルタリングするステップと、等価加法性ノイズ分散及びビデオ入力信号を使用して、残留ノイズ分散の信号を発生するステップと、その残留ノイズ分散の信号及びビデオ入力信号を使用して、時間的にフィルタリングされたビデオ信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を与えるステップと、を備えた方法を開示する。
また、ここでの説明は、ビデオ入力信号における複数のノイズ形式を減少するための装置において、ビデオ入力信号、加法性ノイズ分散、乗法性ノイズ分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ分散信号を推定するためのノイズ電力コンバータと、その等価加法性ノイズ分散信号及びビデオ入力信号を使用して、ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を与えるための空間的ノイズ減少器と、を備えた装置を開示する。
本発明の更に別の特徴及び効果は、添付図面を参照した以下の詳細な説明から明らかとなろう。
添付図面全体にわたり同様の部分が同じ参照番号で示されていることに注意されたい。
図1を参照すれば、複数ノイズ形式ノイズ減少(MTNR)装置の実施形態が示されている。
複数ノイズ形式ノイズ減少(MTNR)装置及び方法は、2つの主たるシステム入力情報形式でスタートする。第1のビデオ入力情報101は、ルミナンスY成分と、クロミナンスCr、Cb成分とで構成されたイメージビデオ信号である。当業者であれば、差別的に指示されたところを除いて、このようなシステム成分は、この技術で良く知られたように、時分割的に又はパラレルに実施できることが理解されよう。第2の情報は、入力102に印加される制御パラメータに対応する。
入力102の制御パラメータ信号は、5つの考えられるノイズ形式に対し、3つの付加的な情報形式、即ちノイズ形式(番号)、加法性ノイズ分散、及び乗法性ノイズ分散を表わす。ここに開示する実施形態では、この情報は、エンドユーザにより発見的に指定される。
複数ノイズ形式ノイズ減少(MTNR)装置は、ノイズ電力コンバータ(NPC)104と、埋め込まれたモーション推定の時間リカーシブフィルタ(EME−TRF)106と、形状適応性ウインドウ動作の空間的ノイズ減少器(SAW−SNR)109とを備えている。
ノイズ電力コンバータ(NPC)104は、図2を参照して以下に述べるように、ビデオ入力信号101及び制御パラメータ信号102を受け取り、そして考慮されるノイズの各形式に対して等価加法的局所ノイズ電力を推定する。その推定された局所ノイズ電力(分散)105及びノイズ形式番号110は、埋め込まれたモーション推定の時間リカーシブフィルタ106へ供給される。
埋め込まれたモーション推定の時間リカーシブフィルタ(EME−TRF)106は、ビデオ入力信号101及び局所(局所)ノイズ電力信号105を受け取り、時間的にフィルタリングされたビデオ信号及び残留ノイズ分散の信号に各々対応する出力107及び108を発生する。時間的にフィルタリングされたビデオ信号及び残留ノイズ分散の信号は、次いで、空間的ノイズ減少器109へ供給される。図3及び4を参照して以下に詳細に述べる時間リカーシブフィルタ技術は、埋め込まれたモーション推定(EME)及び残留ノイズ分散の最小化(MNV)をベースとしている。
図8を参照して以下に詳細に述べる空間的ノイズ減少器109は、時間的にフィルタリングされたイメージ信号107及びそれに対応する残留ノイズ分散の信号108を受け取って、バンディング作用を減少した空間的ノイズ減少のための最小平均二乗エラーフィルタリングを遂行する。最終的に得られるイメージ(ビデオ出力)が103で示されている。
時間的及び空間的ノイズフィルタリング技術は、本質的に、固定であるか又は空間的−時間的に変化し得る局所ノイズ分散の知識に基づくものであることを述べることに価値がある。
図2を参照すれば、本発明の一実施形態による5つの考えられるノイズ形式のためのノイズ電力コンバータがブロック図で示されている。
このノイズ電力コンバータ(NPC)104は、ビデオ入力信号101及び制御パラメータ信号102を受け取り、そして5つの形式の考えられるノイズの各々に対して等価ゼロ平均加法的局所ノイズ電力を推定する。
5つの考えられる形式のノイズは、加法性(N1とも称される)、負のガンマγ写真密度を伴う乗法性(N2とも称される)、正のγを伴う乗法性(N3とも称される)、負のγを伴うスペックル(N4とも称される)、及び正のγを伴うスペックル(N5とも称される)である。
5つの形式のノイズの信号モデル及び提案された等価加法性ノイズモデルは、テーブル1に要約される。ここで、
fは、局所平均μのオリジナルイメージであり、
gは、ノイズ性イメージであり、
uは、単位平均及びσ2 u分散の乗法性ノイズであり、
vは、ゼロ平均及びσ2 v分散の加法性ノイズであり、そして
Aは、振幅信号値である(即ち、8ビット表示の場合に、Aの考えられる値は、256である)。
乗法性ノイズu及び加法性ノイズvは、統計学的に独立していると仮定する。σ2 nは、等価加法性ノイズ分散である。
テーブル1−ノイズモデル及び等価加法性ノイズ分散
Figure 2008508750
例えば、N2の場合に、等価加法性ノイズをnとして、g=f.uであり且つg=f+nであれば、n=f.(u−1)となる。従って、真の等価加法性ノイズ分散は、σ2 n=(μ2+σ2 f).σ2 uとなる。しかしながら、簡単化のために、且つ直接最適化最小平均二乗エラー適合性のために、項σ2 fが無視され、σ2 n=μ2.σ2 uとなる。もちろん、μは未知であり、ある精度で推定されねばならない。
N4の場合には、等価加法性ノイズをnとして、g=f.u+vであり且つg=f+nであれば、n=f.(u−1)+vとなる。従って、σ2 n=μ2σ2 u+σ2 vとなる。
前記テーブルの最後の列は、等価加法性ノイズ計算に対して信号平均値μが必要とされることを示している。しかしながら、信号平均値μは、未知であり、推定されねばならない。ここに提案する推定は、図2に示された健全なスライディング(sliding)形状適応性ウインドウにより行うことができる。
ノイズ性のルミナンス成分Yは、ローパスフィルタ201及び平均推定器206へ供給されるビデオ入力信号101において考えられる。ローパスフィルタ201は、ノイズに対するある程度の健全さを与えるために要求される。その提案されるインパルス応答は、次のように与えられる。
Figure 2008508750
これは、良く知られたボックスカーフィルタ(box car filter)の乗算器を伴わない変更バージョンである。(c、r)は、現在ピクセル座標を表わす。
ローパスフィルタ201の出力は、ここで、スライディング局所形状適応性ウインドウ(SAW)202へ印加される。この形状適応性ウインドウ(SAW)202は、次いで、座標(c、r)を中心とするウインドウ内のピクセルを、2つのカテゴリー、即ち当該ピクセル(c、r)を伴う同様のもの(“1”)又はそうでないもの(“0”)へと分類する。
次の表示が定義される。
ij(c、r)=Y(c+i、r+j) (1)
形状適応性ウインドウ202は、その各々の出力204及び205に、次の信号を与える。
Figure 2008508750
及び
N(c、r)=ΣΣωij(c、r) (3)
ここで、lp(Y(c、r))は、(c、r)におけるルミナンス成分Yに対するローパスフィルタ201の出力であり、ωij(c、r)は、スレッシュホールド許容範囲203内の局所分類結果を表わす2進信号であり、そしてN(c、r)は、ウインドウにおける局所類似のピクセル番号である。
式(2)は、ここに提案する形状適応性ウインドウの健全な局所分類を記述する。もう一度、ローパスフィルタ201は、イメージ分類においてノイズに対する健全性を与えるために重要である。
形状適応性ウインドウの出力204及び205と、ノイズ性ルミナンス入力信号101は、形状適応性ウインドウ平均推定器206へ一緒に印加されて、局所推定平均信号値μY(c、r)出力207を与える。形状適応性ウインドウ平均推定器206は、次の計算を遂行する。
Figure 2008508750
局所推定平均信号値μY(c、r)出力207、加法性ノイズ分散σ2 v209、乗法性ノイズ分散σ2 u210、及びノイズ形式信号110は、等価加法性ノイズ分散計算器(EANVC)208へ一緒に印加される。前記テーブルの最後の列によれば、等価加法性ノイズ分散計算器208は、現在考慮するルミナンス成分に対して分散σ2 n信号105、即ちσ2 n=σ2 Yを与える。デフォールトにより、ノイズ形式が未知であるときには、ノイズは、ユーザにより加法的と考えられる。当業者にとって、必要な計算のハードウェア又はソフトウェア実施に対して図示されていない多数の可能性が存在する。
クロミナンス成分Cr及びCbの各々に対して、独立しているが同様の計算を実行する必要がある。しかしながら、簡単化のために、ルミナンス成分からの分割結果ωij(c、r)について何らかの考慮をなすことが予知される。実際に、4:4:4のサンプリングパターンの場合に、ルミナンスについての同じ結果ωij(c、r)を、Cr及びCbについても使用できる。4:2:2のサンプリングパターンの場合に、ルミナンス分類結果ωij(c、r)は、形状適応性ウインドウ平均推定器206へ印加する前に、Cr及びCbの両方に対してルミナンスの同一場所で(luminance co-sited)サンプル・ホールドされてもよい(図示せず)。4:4:4のR、G、Bサンプリングパターンでは、局所分類ωij(c、r)が成分ごとに独立して得られる。
各ビデオ成分に対して、等価加法性ノイズ分散計算器208は、それに対応する分散結果105を生じさせる。それらは、ルミナンス、クロミナンスCr及びクロミナンスCbに対して、各々、σ2 n=σ2 Y、σ2 n=σ2 Cr、及びσ2 n=σ2 Cbである。
別の広い見地に対して、ノイズ形式が5つの引用するケースとは異なるとき、及び等価加法性ノイズ分散計算が可能であるときには、等価加法性ノイズ分散計算器208を変更すべきであるが、形状適応性ウインドウ平均又は分散推定の原理はそのままとされる。
図3を参照すれば、埋め込まれたモーション推定の時間リカーシブフィルタ(EME−TRF)の一実施形態が示されている。
Figure 2008508750
Figure 2008508750
Figure 2008508750
埋め込まれたモーション推定及び時間フィルタ係数計算器315を説明する前に、ある理論的な背景を紹介することが重要である。以下、埋め込まれたモーション推定の概念及び最小ノイズ分散基準について説明する。
埋め込まれたモーション推定の概念
Figure 2008508750
更に、各フレームにおける入力ランダムノイズのゼロ平均成分がイメージ信号と独立していると仮定する。各ピクセル(c、r)において、モーション及びノイズ性イメージは次のように定義される。
Figure 2008508750
Figure 2008508750
Figure 2008508750
更に、式(5)におけるピクセルベースのモーション値mの定義は、実世界の用途に常に適するものではない通常のモーションモデルとは異なる。mについてここに提案するモーション値定義の使用は、シーンの変化が生じるときでも妥当と思われる。最終的に、イメージ比に対応する同様の乗法的モーション値定義を乗法性ノイズに対して使用することができる。
ノイズ減少器の開発には推定モーション値が要求されるので、ここに提案する技術は、「埋め込まれたモーション推定(Embedded Motion Estimation)」(EME)と称される。非直線的フィルタリングのためのコストのかかる時間的解決策とは異なり(A. K. Katsaggelos、R. P. Kleihorst、S. N. Efstratiadis、及びR. L. Lagendijk氏の“Adaptive Image Sequence Noise Filtering Methods”、SPIE、第1606巻、Visual Communication and Image Processing、1991年、第716−727ページ、参照)、本書におけるモーション情報は、主として、空間的ドメインにおいて抽出される。
当該ピクセルを取り巻くスライディングウインドウについて考えると、式(5)のモデルで、mの局所値を、処理ウインドウにおける差のイメージ(t−g)の平均により推定することができる。平均推定に対してある程度の精度を得るために、ウインドウにおける相対的座標(i、j)のピクセルを、2つのセット、即ち座標(c、r)の考えられるピクセルと同様のもの又はそうでないものに分類することができる。これは、基本的に、以前のモジュールの式(2)で既に表わされた形状適応性ウインドウ技術である。
Figure 2008508750
Figure 2008508750
g及びtの定義を式(5)に代入し、そしてウインドウ内の選択されたピクセルに対する定数値をmと仮定すれば、次の式が得られる。
Figure 2008508750

Figure 2008508750
最終的に、式(11)から、更に、次のように示すことができる。
Figure 2008508750
及び
Figure 2008508750
Figure 2008508750
時間リカーシブフィルタ及び最小残留ノイズ分散基準
時間的フィルタ出力における残留ノイズは、式(7)で与えられる。座標(c、r)の考えられるピクセルにおいて、等価ノイズn1が定義され、これは、過去のフィルタリングされたノイズと、モーション値の非バイアスの推定とで構成される。
Figure 2008508750
式(7)及び(14)から、フィルタリングされた残留ノイズ出力の分散は、次の式で計算することができる。
Figure 2008508750
性能を最適化するために、最小ノイズ分散基準が現在フィルタに使用される。フィルタ係数b0は、次のように決定されることが示される。
Figure 2008508750
但し、εは、最終的な過剰精度を克服するための1/8又は1/16のような小さなオフセット値である。この式において決定されるべき2つの残りの未知の値は、2つあり、即ち等価ノイズ分散σ2 n1と、分散covn,n1である。
covn,n1=E{n.n1}−E{n}.E{n1}の定義と、等価ノイズn1の次の式から、
Figure 2008508750
次のことが示される。
covn,n1=σ2 n/N (18)
等化ノイズ分散σ2 n1は、次のように定義された項hで計算される。
Figure 2008508750
項hは、ゼロ平均のランダムプロセスである。更なる計算で、次のものが得られる。
Figure 2008508750
又は
Figure 2008508750
Figure 2008508750
式(16)で与えられたフィルタ係数b0は、次のようになる。
Figure 2008508750
ここに提案する実施形態では、項(1/N)が省略され、即ちcovn,n1=0であり、σ2 hは、Y成分に対して0.75に等しく且つCr及びCb成分に対して1に等しいファクタCで重み付けされ、そしてεは、(1/8)にセットされる。
Figure 2008508750
更に、Cσ2 h<σ2 nのときには、過剰なフィルタリングを減少するために、フィルタ係数b0が実験値15/64に等しくセットされる。
Figure 2008508750
更なる空間的フィルタリングに必要な残留出力ノイズ分散は、次のものに等しい。
Figure 2008508750
但し、実験ファクタGは、次のものに等しい。
Figure 2008508750
局所入力ノイズ電力が既知であるときには最小ノイズ分散が常に可能であることを述べることに価値がある。換言すれば、最小ノイズ分散は、固定の又は変化する局所入力ノイズ電力に制限されない。
図4を参照すれば、埋め込まれたモーション推定及び時間リカーシブフィルタ係数計算器が示されている。図4は、前記理論的セクションのハードウェア又はソフトウェア実施形態を表わしている。
埋め込まれたモーション推定及び時間リカーシブフィルタ係数計算器351は、4つの信号、即ちノイズ性ビデオ入力信号g101、ノイズ性分散信号105、ノイズ形式信号110、及び場合に応じて、以前のフィルタリングされた信号t308又は古典的なモーション補償された以前の信号tc416を受信する。
Figure 2008508750
形状適応性ウインドウ技術の一部分であるローパスフィルタ503は、ノイズに対する健全さのために使用される。ここに提案するそのインパルス応答は、次のように与えられる。
Figure 2008508750
ローパスフィルタの出力504は、形状適応性ウインドウ506へ与えられ、これは、次いで、局所2進分類結果ωij(c、r)507及びそれに対応する合計数N(c、r)508を与える。ここに開示する実施形態では、ウインドウサイズが、5行x11列である。式(2)及び(3)により既に示されたこれら2つの信号は、形状適応性ウインドウ平均推定器509及び形状適応性ウインドウ分散推定器522に与えられる。
Figure 2008508750
信号hの分散σ2 hも、形状適応性ウインドウ技術により計算される。次いで、信号(−h)519が最初に二乗装置520に印加され、そこからの出力521と、形状適応性ウインドウパラメータ信号507及び508が、形状適応性ウインドウ分散計算器522に印加される。実際の目的として、形状適応性ウインドウ分散計算器522は、式(21)の変形バージョンを実施し、そしてビデオ成分の実験ファクタ関数をCとすれば、その出力523にCσ2 hを発生する。より正確には、出力523は、次の式で与えられる。
Figure 2008508750
上述したように、出力ノイズ分散を最小にするために必要な出力523は、入力ノイズ電力σ2 n105と共にMNVフィルタ係数計算器524へ与えられる。MNVフィルタ係数計算器524は、式(23)に基づいてフィルタ係数値b0を決定する。その決定されたb0信号525は、実際の精錬化装置526へ送られる。
この実際の精錬化装置526は、決定されたb0信号525、分散信号Cσ2 h523、及び入力ノイズ電力σ2 n105を受信し、そして式(24)で与えられたある特定の条件に対してフィルタ係数値b0を変更して、最終的な係数値信号b0312を発生する。この最終的な係数値信号b0312は、図3に示す時間リカーシブ一次フィルタ300又は図4に示す400のための最終的な係数であることが明らかであろう。
Figure 2008508750
Figure 2008508750
最終的に、ここに提案する埋め込まれたモーション推定、及び残留ノイズ減少器の最小化は、非リカーシブ構造に対して機能するものであることを述べることに価値がある。しかしながら、リカーシブノイズ減少器は、良好な結果を与えることが意図される。
図6を参照すれば、形状適応性ウインドウの空間的ノイズ減少器(SAW−SNR)の一実施形態が示されている。
形状適応ウインドウ空間的ノイズ減少器(SAW−SNR)は、米国特許第6,633,683号に開示されている。しかしながら、ゆっくり変化する領域に導入されるバンディング欠陥作用、及びある通常形式のノイズに対する一般的な最小平均二乗エラー構造は、考慮されていない。
空間的ノイズ減少器モジュールは、Lee氏のオリジナルの最小平均二乗エラー(MMSE)減少の変形態様であり(J. S. Lee氏の“Digital Image Enhancement and Noise filtering”、IEEE Trans. on Pattern Analysis and Machine Intelligence、第Pami-2巻、第2号、1980年3月)、これは、次のように表わすことができる。
オリジナルイメージをf(c、r)とし、ノイズ性イメージg(c、r)を入力とすると、g(c、r)=f(c、r)+n(c、r)となり、最終的に、y(c、r)がフィルタリングされたバージョンとなる。2つの一次局所統計値、即ちイメージの平均m(c、r)及び分散σ2 g(c、r)が既知である場合には、加法的ゼロ平均及び基地の分散σ2 n(c、r)ノイズに対して、フィルタリングされた信号出力は、次の式で与えられ、
y(c,r) = m(c,r) + K(c,r)[g(c,r)-m(c,r)] (27)
ここで、次のようになる。
K(c,r) = max [0, (σ2 g(c,r) - σ2 n(c,r))/σ2 g(c,r)] (28)
一方、エラー性能は、次のように書かれる。
Figure 2008508750
単一の直線的推定器の場合、Lee氏のアルゴリズムは、m(c、r)、σ2 g(c、r)が既知であり、且つσ2 g(c、r)>σ2 n(c、r)であるときに、完全である。しかしながら、実際の状況について、2つの一次局所統計値m(c、r)及びσ2 g(c、r)は未知であり、推定する必要がある。他方、σ2 g(c、r)<σ2 n(c、r)であるときには、K(c、r)=0を使用して、オリジナルイメージに含まれた小さな細部が、式(29)で示すように、破壊される。
SNRの以下の説明において、ここに提案する変形は、3つの主たる技術、即ち局所平均及び分散推定のための形状適応性ウインドウ動作(SAW)、小さな信号分散の場合のバンディング作用減少(BER)、及び一般的なノイズ減少構造のためのノイズ電力コンバータの合体を含む。
図1に示された空間的ノイズ減少器109は、3つの成分(Y、Cr、Cb)の時間的にフィルタリングされたビデオ信号107と、時間リカーシブノイズ減少器106により与えられる対応する推定残留ノイズ電力108とを受け取る。
図6において、ビデオ信号107は、4つのユニット又は装置、即ちローパスフィルタ601、形状適応性ウインドウ平均推定器607、形状適応性ウインドウ分散推定器608、及び減算演算子609の正の入力に供給される。
形状適応性ウインドウ技術の一部分であるローパスフィルタ601は、次のインパルス応答により与えられる。
Figure 2008508750
ローパスフィルタ601の出力は、形状適応性ウインドウ604に送られ、これは、次いで、局所2進分類結果ωij(c、r)605及びそれに対応する合計数N(c、r)606を発生する。
ここに開示する実施形態では、ウインドウサイズが5x5である。これら2つの信号は、形状適応性ウインドウ平均推定器607及び形状適応性ウインドウ分散推定器608に送られ、次の出力信号610及び612を各々発生する。
Figure 2008508750

Figure 2008508750
Figure 2008508750
図7を参照すれば、適応性利得計算器の実施形態が示されている。
適応性利得計算器は、入力イメージ107の局所分散612及びイメージ入力における残留ノイズ分散σ2 nS108を受け取る。
Figure 2008508750
Figure 2008508750
クロミナンスの場合には、小スレッシュホールド711値は、より限定的である。比較器714は、次のテストで、2進信号出力bsC(c、r)715を与える。
Figure 2008508750
前記2進信号の1つがセレクタ716により選択される。be(c、r)と示されるセレクタ出力117は、セレクタ709を制御するのに使用され、これは、最終的に、適応性利得K(c、r)614を与える。
Figure 2008508750
それ故、換言すれば、ノイズ性信号分散が非常に小さいときには、信号にフィルタを適用する必要がないことが明らかである。
局所適応性利得K(c、r)信号614は、最小平均二乗エラーフィルタリングを完了するために乗算器615に送られる。
図8を参照すれば、領域適応性正面ベースの空間的ノイズ減少器(RAFB−SNR)の一実施形態が示されている。
上述したように、空間的フィルタリングにMMSE基準を利用するために、局所信号の平均及び分散値をある精度で知ることが必要である。平均及び分散推定に対して提案されたSAWは、オリジナル信号が一定でなくゆっくり変化しそして傾斜した小面(断片的一次モデル)又は断片的二次モデルとして局所的に表わされるときには、必ずしも正確でない。一次対二次モデルを選択するためには、簡単なイメージセグメント化が要求される。断片的一次モデルは、フラットな領域に対して適用され、それ以外は、断片的二次モデルが適用される。従って、イメージセグメント化は、小面モデルの次数決定を適応させるのに有用である。
推定された平均値は、ノイズ除去信号値として使用される。以下の説明では、領域適応性小面ベースの空間的ノイズ減少器(RAFB−SNR)が提案される。この空間的ノイズ減少器は、2つの異なる革新、即ち、(a)MMSEノイズ除去技術、(b)セグメント化領域に基づく小面モデル(断片的一次又は断片的二次)適応を備えている。
図8に示すRAFB−SNR111は、TF106から与えられる残留ノイズ性3成分(Y、Cr、Cb)ビデオ107、及びそれらに対応する推定ノイズ電力108を受け取る。
受け取ったビデオ107は、適応性小面パラメータ計算器803、加算器810、小面ベースの局所分散推定器806、及びイメージセグメント化モジュール801へ印加される。
イメージセグメント化モジュール801は、2進信号出力802に、フラット領域/非フラット領域を与える。当業者であれば、フラット/非フラットセグメント化は、複数の考えられる処理技術により行うことができよう。フラット/非フラット領域信号802は、適応性小面パラメータ計算器803へ送られる。
本発明に使用される小面パラメータは、最小二乗適合において、座標(c、r)を中心とするウインドウ内で到来信号y(i、j;c、r)を近似する係数b0(c、r)、b1(c、r)、・・・b5(c、r)である。
Figure 2008508750
この式は、中心ピクセルが非フラット領域に属すると分類されたときに使用される。推定フラット領域信号については、係数b3、b4及びb5がゼロに等しくセットされる。
係数b0(c、r)は、更に、局所信号の平均信号1004に対応する。
平均(c、r)=b0(c、r)
6個の係数bk(c、r)804及び805が、小面ベースの局所分散推定器1006へ送られ、これは、次いで、次の式により分散信号807を与える。
Figure 2008508750
局所分散信号807及び残留ノイズ電力σ2 nS108は、適応性利得計算器808により一緒に使用され、この計算器は、次いで、利得信号K809を発生する。MMSE基準に基づく適応性利得K計算器は、既に説明した。
加算器810、乗算器812及び加算器814は、MMSEノイズ除去信号出力103を形成するのに使用される。
図9を参照すれば、複数ノイズ形式空間的ノイズ減少(MT−SNR)装置の第2実施形態が示されている。
経済的な目的で、又は単一イメージの場合には、時間的フィルタが除去されてもよい。従って、このような用途では、一般的な空間的ノイズ減少器が必要とされるだけである。図9に示す複数ノイズ形式の空間的ノイズ減少(MT−SNR)は、所与の5つの形式のノイズに対して提案されたものである。
複数ノイズ形式の空間的ノイズ減少(MT−SNR)は、2つのメインブロック、即ちノイズ電力コンバータ104及び空間的ノイズ減少器(SNR)109を備えている。既に述べたノイズ電力コンバータ104は、不変のままである。SAW−SNR又はRAFB−SNRのいずれかで実現されるSNR109も不変であるが、その入力(107)及び(108)は、ここでは、ビデオ入力信号101及び推定等価加法性ノイズ電力信号105を各々受け容れる。
例えば、提案された等価加法性ノイズ電力がσ2 n=μ2.σ2 uであるような乗法性ノイズN2の場合を考える。その結果を、式(28)の最小平均二乗エラーに対して基本的な基礎部分に代入すると、次のようになる。
Figure 2008508750

Figure 2008508750
σ2 uは、一般に、1に比して非常に小さいので、その結果は、線形一次の最小平均二乗エラーの最適なものに匹敵する。
Figure 2008508750
個別のデータ信号接続を経て互いに通信する個別コンポーネントのグループとしてブロック図で示されたが、当業者であれば、好ましい実施形態は、ハードウェア及びソフトウェアコンポーネントの組み合せにより設けられ、あるコンポーネントは、ハードウェア又はソフトウェアシステムの所与のファンクション又はオペレーションにより実施され、そしてここに示すデータ経路の多くは、コンピュータアプリケーション又はオペレーティングシステム内のデータ通信により実施されることが理解されよう。従って、ここに示す構造は、本発明の好ましい実施形態を効率的に教示するために設けられたものである。
本発明は、方法として実施することもできるし、システムで実施することもできるし、コンピュータ読み取り可能な媒体、或いは電気的又は電磁信号で実施することもできることに注意されたい。
上述した本発明の実施形態は、単なる例示に過ぎない。それ故、本発明の範囲は、特許請求の範囲のみによって限定されるものとする。
複数ノイズ形式のノイズ減少(MTNR)装置の好ましい実施形態を示すブロック図である。 本発明により5つの所与の形式のノイズのノイズ電力変換の一実施形態を示すブロック図である。 埋め込まれたモーション推定の時間リカーシブフィルタの一実施形態のブロック図である。 古典的モーション補償を伴う埋め込まれたモーション推定の時間リカーシブフィルタの一実施形態のブロック図である。 埋め込まれたモーション推定の時間フィルタの係数計算器の一実施形態のブロック図である。 形状適応性ウインドウ動作の空間的ノイズ減少器の一実施形態のブロック図である。 適応性利得K計算器の一実施形態のブロック図である。 領域適応性小面ベースの空間的ノイズ減少器の一実施形態のブロック図である。 複数ノイズ形式の空間的ノイズ減少(MT−SNR)装置の別の実施形態のブロック図である。

Claims (15)

  1. ビデオ入力信号における複数のノイズ形式を減少するための装置であって、
    前記ビデオ入力信号、加法性ノイズ(additive noise)分散、乗法性ノイズ(multiplicative noise)分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ(equivalent additive noise)分散信号を推定するためのノイズ電力コンバータと、
    前記等価加法性ノイズ分散及び前記ビデオ入力信号を使用して、時間的にフィルタリングされたビデオ信号及び残留ノイズ分散信号を発生するための時間リカーシブフィルタ(temporal recursive filter)と、
    前記残留ノイズ分散信号及び前記時間的にフィルタリングされたビデオ信号を使用して、前記ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を発生するための空間ノイズ減少器と、
    を備えた装置。
  2. 前記複数のノイズ形式は、加法性(N1)、負のガンマγ写真密度を伴う乗法性(N2)、正のガンマγ写真密度を伴う乗法性(N3)、負のガンマγ写真密度を伴うスペックル(N4)、及び正のガンマγ写真密度を伴うスペックル(N5)を含む、請求項1に記載の装置。
  3. 前記ノイズ電力コンバータは、
    前記ビデオ入力信号をフィルタリングして、ローパスフィルタリングされた信号を与えるローパスフィルタと、
    前記ローパスフィルタリングされた信号及び所与のスレッシュホールド許容範囲を受け取って使用し、前記スレッシュホールド許容範囲内の局所(ローカル)分類結果を表わす2進信号ωij(c、r)、及びウインドウ内の同様のピクセルを表わす信号N(c、r)を計算するための形状適応ウインドウと、
    前記2進信号ωij(c、r)、前記N(c、r)信号、及び前記ビデオ入力信号を使用して、局所(ローカル)推定平均信号値μY(c、r)を計算するための形状適応ウインドウ平均推定器と、
    前記局所推定平均信号値μY(c、r)、前記加法性ノイズ分散、前記乗法性ノイズ分散、及び前記ノイズの形式の指示を使用して、前記等価加法性ノイズ分散信号を計算するための等価加法性ノイズ分散計算器と、
    を備えた請求項1に記載の装置。
  4. 前記ローパスフィルタは、次のような入力応答を有する、
    Figure 2008508750
    請求項3に記載の装置。
  5. 前記2進信号ωij(c、r)は、次の式で与えられ、
    Figure 2008508750
    但し、lp(Y(c、r))は、(c、r)におけるルミナンス(luminance)成分Yに対して前記ローパスフィルタリングされた信号を含む、請求項3に記載の装置。
  6. 前記ウインドウにおける同様のピクセルを表わす信号N(c、r)は、次の式で与えられる、
    N(c、r)=ΣΣωij(c、r)
    請求項3に記載の装置。
  7. 前記局所推定平均信号値μY(c、r)は、次の式で与えられる、
    Figure 2008508750
    請求項3に記載の装置。
  8. Figure 2008508750
  9. Figure 2008508750
  10. ビデオ入力信号における複数のノイズ形式を減少するための方法であって、
    前記ビデオ入力信号、加法性ノイズの分散、乗法性ノイズの分散、及びノイズの形式の指示を使用して、等価加法性ノイズ分散信号を推定するステップと、
    前記ビデオ入力信号のビデオ信号を時間的にフィルタリングするステップと、
    前記等価加法性ノイズ分散及び前記ビデオ入力信号を使用して、残留ノイズ分散信号を発生するステップと、
    前記残留ノイズ分散信号及び前記ビデオ入力信号を使用して、前記時間的にフィルタリングされたビデオ信号を空間フィルタリングし、ノイズの減少されたビデオ出力信号を与えるステップと、
    を備えた方法。
  11. 前記複数のノイズ形式は、加法性(N1)、負のガンマγ写真密度を伴う乗法性(N2)、正のガンマγ写真密度を伴う乗法性(N3)、負のガンマγ写真密度を伴うスペックル(N4)、及び正のガンマγ写真密度を伴うスペックル(N5)を含む、請求項10に記載の方法。
  12. 前記等価加法性ノイズ分散信号を推定するステップは、
    前記ビデオ入力信号をローパスフィルタリングして、ローパスフィルタリングされた信号を与える段階と、
    前記ローパスフィルタリングされた信号及び所与のスレッシュホールド許容範囲を使用して、前記スレッシュホールド許容範囲内の局所(ローカル)分類結果を表わす2進信号ωij(c、r)、及びウインドウ内の同様のピクセルを表わす信号N(c、r)を計算する段階と、
    前記2進信号ωij(c、r)、前記N(c、r)信号、及び前記ビデオ入力信号を使用して、局所(ローカル)推定平均信号値μY(c、r)を計算する段階と、
    前記局所推定平均信号値μY(c、r)、前記加法性ノイズの分散、前記乗法性ノイズの分散、及び前記ノイズの形式の指示を使用して、前記等価加法性ノイズ分散信号を計算する段階と、
    を含む請求項10に記載の方法。
  13. Figure 2008508750
  14. ビデオ入力信号における複数のノイズ形式を減少するための装置であって、
    前記ビデオ入力信号、加法性ノイズ(additive noise)分散、乗法性ノイズ(multiplicative noise)分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ(equivalent additive noise)分散信号を推定するためのノイズ電力コンバータと、
    前記等価加法性ノイズ分散信号及び前記ビデオ入力信号を使用して、前記ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を発生するための空間ノイズ減少器と、
    を備えた装置。
  15. 前記複数のノイズ形式は、加法性(N1)、負のガンマγ写真密度を伴う乗法性(N2)、正のガンマγ写真密度を伴う乗法性(N3)、負のガンマγ写真密度を伴うスペックル(N4)、及び正のガンマγ写真密度を伴うスペックル(N5)を含む、請求項14に記載の装置。
JP2007522890A 2004-07-30 2005-07-29 適応性3dノイズ減少装置及び方法 Expired - Fee Related JP4733127B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US59233904P 2004-07-30 2004-07-30
US60/592,339 2004-07-30
PCT/CA2005/001194 WO2006010275A2 (en) 2004-07-30 2005-07-29 Apparatus and method for adaptive 3d noise reduction

Publications (2)

Publication Number Publication Date
JP2008508750A true JP2008508750A (ja) 2008-03-21
JP4733127B2 JP4733127B2 (ja) 2011-07-27

Family

ID=35786551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007522890A Expired - Fee Related JP4733127B2 (ja) 2004-07-30 2005-07-29 適応性3dノイズ減少装置及び方法

Country Status (5)

Country Link
US (1) US7418149B2 (ja)
EP (1) EP1779653A4 (ja)
JP (1) JP4733127B2 (ja)
CA (1) CA2616871A1 (ja)
WO (1) WO2006010275A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011072A (ja) * 2008-06-26 2010-01-14 Olympus Corp 撮像システム、画像処理方法および画像処理プログラム

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004039345A1 (de) * 2004-08-12 2006-02-23 Micronas Gmbh Verfahren und Vorrichtung zur Rauschunterdrückung in einer Datenverarbeitungseinrichtung
KR100643230B1 (ko) * 2004-08-30 2006-11-10 삼성전자주식회사 디스플레이장치의 제어방법
US7663701B2 (en) * 2005-04-11 2010-02-16 Ati Technologies, Inc. Systems, methods, and apparatus for noise reduction
US20070098086A1 (en) * 2005-10-28 2007-05-03 Vasudev Bhaskaran Spatio-temporal noise filter for digital video
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
WO2008073416A1 (en) * 2006-12-11 2008-06-19 Cinnafilm, Inc. Real-time film effects processing for digital video
TWI361618B (en) * 2006-12-26 2012-04-01 Realtek Semiconductor Corp Method and device for estimating noise
US7952646B2 (en) * 2006-12-27 2011-05-31 Intel Corporation Method and apparatus for content adaptive spatial-temporal motion adaptive noise reduction
WO2008119480A2 (en) * 2007-03-31 2008-10-09 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
JP5052319B2 (ja) * 2007-12-17 2012-10-17 オリンパス株式会社 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法
US20090161756A1 (en) * 2007-12-19 2009-06-25 Micron Technology, Inc. Method and apparatus for motion adaptive pre-filtering
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US8208065B2 (en) * 2008-07-30 2012-06-26 Cinnafilm, Inc. Method, apparatus, and computer software for digital video scan rate conversions with minimization of artifacts
JP4358283B1 (ja) * 2008-08-04 2009-11-04 株式会社東芝 ノイズ低減装置及びノイズ低減方法
US8693542B2 (en) * 2008-11-12 2014-04-08 Cyberlink Corp. Method and device for estimating video noise
US8237868B2 (en) 2009-03-30 2012-08-07 Sharp Laboratories Of America, Inc. Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
US8711140B1 (en) 2009-06-01 2014-04-29 Paradigm Sciences Ltd. Systems and methods for building axes, co-axes and paleo-geographic coordinates related to a stratified geological volume
US8600708B1 (en) 2009-06-01 2013-12-03 Paradigm Sciences Ltd. Systems and processes for building multiple equiprobable coherent geometrical models of the subsurface
US9418182B2 (en) 2009-06-01 2016-08-16 Paradigm Sciences Ltd. Systems and methods for building axes, co-axes and paleo-geographic coordinates related to a stratified geological volume
US9536022B1 (en) 2009-06-01 2017-01-03 Paradigm Sciences Ltd. Systems and methods for modeling faults in the subsurface
US8615044B2 (en) * 2009-06-05 2013-12-24 Cisco Technology, Inc. Adaptive thresholding of 3D transform coefficients for video denoising
US8571117B2 (en) * 2009-06-05 2013-10-29 Cisco Technology, Inc. Out of loop frame matching in 3D-based video denoising
US8638395B2 (en) * 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US8520731B2 (en) * 2009-06-05 2013-08-27 Cisco Technology, Inc. Motion estimation for noisy frames based on block matching of filtered blocks
US8358380B2 (en) * 2009-06-05 2013-01-22 Cisco Technology, Inc. Efficient spatial and temporal transform-based video preprocessing
US8619881B2 (en) * 2009-06-05 2013-12-31 Cisco Technology, Inc. Estimation of temporal depth of 3D overlapped transforms in video denoising
US8363974B2 (en) * 2009-07-21 2013-01-29 Qualcomm Incorporated Block artifact reducer
US8279345B2 (en) 2009-07-21 2012-10-02 Qualcomm Incorporated System and method for random noise estimation in a sequence of images
JP4844657B2 (ja) * 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
US8743115B1 (en) 2009-10-23 2014-06-03 Paradigm Sciences Ltd. Systems and methods for coordinated editing of seismic data in dual model
US8339481B2 (en) * 2009-12-14 2012-12-25 Samsung Electronics Co., Ltd. Image restoration devices adapted to remove artifacts from a restored image and associated image restoration methods
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US9635308B2 (en) 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
EP2413586B1 (en) 2010-07-26 2014-12-03 Sony Corporation Method and device for adaptive noise measurement of a video signal
US9024951B2 (en) * 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
JP2013059016A (ja) * 2011-08-12 2013-03-28 Sony Corp 画像処理装置および方法、並びにプログラム
US8824753B2 (en) * 2011-10-06 2014-09-02 Carestream Health, Inc. Task oriented noise suppression in medical images
US8731323B2 (en) * 2011-11-23 2014-05-20 Stmicroelectronics Asia Pacific Pte Ltd. General banding and codec banding artifact removal
CN102611830A (zh) * 2012-01-13 2012-07-25 深圳市黄河数字技术有限公司 图像降噪方法及系统
US10114134B2 (en) 2012-03-02 2018-10-30 Emerson Paradigm Holding Llc Systems and methods for generating a geological model honoring horizons and faults
US9759826B2 (en) 2012-04-03 2017-09-12 Paradigm Sciences Ltd. System and method for generating an implicit model of geological horizons
US9477010B2 (en) 2013-03-15 2016-10-25 Paradigm Sciences Ltd. Systems and methods to build sedimentary attributes
US20150023436A1 (en) * 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
EP2869096B1 (en) 2013-10-29 2019-12-04 Emerson Paradigm Holding LLC Systems and methods of multi-scale meshing for geologic time modeling
US9183453B2 (en) * 2013-10-31 2015-11-10 Stmicroelectronics Asia Pacific Pte. Ltd. Banding noise detector for digital images
FR3018147B1 (fr) * 2014-03-03 2016-03-04 Sagem Defense Securite Debruitage video optimise pour systeme multicapteur heterogene
US10422923B2 (en) 2014-03-28 2019-09-24 Emerson Paradigm Holding Llc Systems and methods for modeling fracture networks in reservoir volumes from microseismic events
WO2015172235A1 (en) * 2014-05-15 2015-11-19 Tandemlaunch Technologies Inc. Time-space methods and systems for the reduction of video noise
US9690002B2 (en) 2015-06-18 2017-06-27 Paradigm Sciences Ltd. Device, system and method for geological-time refinement
CN106441288B (zh) * 2016-08-31 2019-12-20 北斗时空信息技术(北京)有限公司 一种加速度计的自适应小波降噪方法
US10466388B2 (en) 2016-09-07 2019-11-05 Emerson Paradigm Holding Llc System and method for editing geological models by switching between volume-based models and surface-based structural models augmented with stratigraphic fiber bundles
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms
US10911698B2 (en) * 2016-09-30 2021-02-02 Huddly As ISP bias-compensating noise reduction systems and methods
US10438326B2 (en) * 2017-07-21 2019-10-08 The Boeing Company Recursive suppression of clutter in video imagery
FR3083415B1 (fr) * 2018-06-29 2020-09-04 Electricite De France Traitement d'un bruit impulsionnel dans une sequence video
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems
US11156744B2 (en) 2019-01-10 2021-10-26 Emerson Paradigm Holding Llc Imaging a subsurface geological model at a past intermediate restoration time
US10520644B1 (en) 2019-01-10 2019-12-31 Emerson Paradigm Holding Llc Imaging a subsurface geological model at a past intermediate restoration time
CN109859126B (zh) * 2019-01-17 2021-02-02 浙江大华技术股份有限公司 一种视频降噪方法、装置、电子设备及存储介质
CN113709324A (zh) * 2020-05-21 2021-11-26 武汉Tcl集团工业研究院有限公司 一种视频降噪方法、视频降噪装置及视频降噪终端
CN111754432B (zh) * 2020-06-22 2023-12-29 成都国科微电子有限公司 一种帧间差分运动检测方法及装置
CN111754437B (zh) * 2020-06-24 2023-07-14 成都国科微电子有限公司 一种基于运动强度的3d降噪方法及装置
CN111915520B (zh) * 2020-07-30 2023-11-10 黑芝麻智能科技(上海)有限公司 用于改善拼接图像的亮度的方法、装置和计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187441A (ja) * 1992-09-14 1994-07-08 Thomson Consumer Electron Sa ノイズ低減方法及び装置
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2003520506A (ja) * 2000-01-13 2003-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズリダクション

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5279747A (en) * 1975-12-26 1977-07-05 Sony Corp Noise removal circuit
US4573070A (en) * 1977-01-31 1986-02-25 Cooper J Carl Noise reduction system for video signals
US4503461A (en) * 1983-02-22 1985-03-05 The Board Of Trustees Of The Leland, Stanford Junior University Multiple measurement noise reducing system using space-variant filters
GB8329109D0 (en) * 1983-11-01 1983-12-07 Rca Corp Perceived signal-to-noise ratio of displayed images
US5260775A (en) * 1990-03-30 1993-11-09 Farouda Yves C Time domain television noise reduction system
DE4013474C2 (de) * 1990-04-27 1995-10-12 Broadcast Television Syst Anordnung zur Reduktion von Rauschen in einem Videosignal
JPH0411466A (ja) * 1990-04-28 1992-01-16 Sony Corp ノイズリデューサ
JP2524023B2 (ja) * 1991-09-13 1996-08-14 松下電器産業株式会社 ノイズ低減装置
US5499057A (en) * 1993-08-27 1996-03-12 Sony Corporation Apparatus for producing a noise-reducded image signal from an input image signal
US5442407A (en) * 1994-03-22 1995-08-15 Matsushita Electric Corporation Of America Video signal noise reduction system using time-varying filter coefficients
GB9607668D0 (en) * 1996-04-12 1996-06-12 Snell & Wilcox Ltd Video noise reducer
US5936676A (en) * 1997-08-21 1999-08-10 Miranda Technologies Inc. Apparatus and method for line interpolating an interlaced video signal
US6067125A (en) * 1997-05-15 2000-05-23 Minerva Systems Structure and method for film grain noise reduction
US6281942B1 (en) * 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
US6061100A (en) * 1997-09-30 2000-05-09 The University Of British Columbia Noise reduction for video signals
JP2002535895A (ja) * 1999-01-15 2002-10-22 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像シーケンスの符号化及びノイズフィルタリング
US6633683B1 (en) * 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
KR20020086937A (ko) * 2001-01-26 2002-11-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 시공간 필터 유닛 및 이러한 시공간 필터 유닛을 포함하는영상 디스플레이 장치
WO2002102086A2 (en) * 2001-06-12 2002-12-19 Miranda Technologies Inc. Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187441A (ja) * 1992-09-14 1994-07-08 Thomson Consumer Electron Sa ノイズ低減方法及び装置
JP2003520506A (ja) * 2000-01-13 2003-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ノイズリダクション
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010011072A (ja) * 2008-06-26 2010-01-14 Olympus Corp 撮像システム、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
WO2006010275A3 (en) 2006-03-30
WO2006010275A2 (en) 2006-02-02
EP1779653A2 (en) 2007-05-02
CA2616871A1 (en) 2006-02-02
US7418149B2 (en) 2008-08-26
US20060056724A1 (en) 2006-03-16
JP4733127B2 (ja) 2011-07-27
EP1779653A4 (en) 2011-09-14

Similar Documents

Publication Publication Date Title
JP4733127B2 (ja) 適応性3dノイズ減少装置及び方法
US6633683B1 (en) Apparatus and method for adaptively reducing noise in a noisy input image signal
Zhang et al. Adaptive bilateral filter for sharpness enhancement and noise removal
Yu et al. Image denoising using trivariate shrinkage filter in the wavelet domain and joint bilateral filter in the spatial domain
Schulte et al. A fuzzy noise reduction method for color images
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
EP2164040B1 (en) System and method for high quality image and video upscaling
KR100695067B1 (ko) 블록분류를 이용한 시공간 노이즈 제거 방법 및 이 방법이적용되는 디스플레이장치
Boo et al. A motion-compensated spatio-temporal filter for image sequences with signal-dependent noise
TW200535717A (en) Directional video filters for locally adaptive spatial noise reduction
JP2003018403A (ja) 画像処理装置
JP2008518318A (ja) ボケた画像部分の画質を向上する方法
Ponomaryov Real-time 2D–3D filtering using order statistics based algorithms
JP2009271725A (ja) 画像復元装置、画像復元方法及び画像復元プログラム
JP4456096B2 (ja) ノイズ除去方法および装置並びにプログラム
Jung et al. Kernel design for real-time denoising implementation in low-resolution images
CN111417015A (zh) 一种计算机视频合成的方法
JP4030655B2 (ja) 階調変換方法および装置
CN113393408A (zh) 一种基于双树复数小波和卷积神经网络的多聚焦图像处理方法
Sadaka et al. Efficient perceptual attentive super-resolution
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
Tenze et al. Design and real-time implementation of a low-cost noise reduction system for video applications
JP2008021219A (ja) 画像処理装置及び方法
Gupta et al. Blind restoration method for satellite images using memetic algorithm
Ishii et al. Denoising via nonlinear image decomposition for a digital color camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101025

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110117

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees