JP2005176388A - 動画データのノイズ除去方法 - Google Patents

動画データのノイズ除去方法 Download PDF

Info

Publication number
JP2005176388A
JP2005176388A JP2004360468A JP2004360468A JP2005176388A JP 2005176388 A JP2005176388 A JP 2005176388A JP 2004360468 A JP2004360468 A JP 2004360468A JP 2004360468 A JP2004360468 A JP 2004360468A JP 2005176388 A JP2005176388 A JP 2005176388A
Authority
JP
Japan
Prior art keywords
value
noise
motion
pixel
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004360468A
Other languages
English (en)
Other versions
JP4887544B2 (ja
Inventor
Moon-Gi Kang
姜文基
Sung-Cheol Park
朴成哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Yonsei University
Original Assignee
Samsung Electronics Co Ltd
Yonsei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Yonsei University filed Critical Samsung Electronics Co Ltd
Publication of JP2005176388A publication Critical patent/JP2005176388A/ja
Application granted granted Critical
Publication of JP4887544B2 publication Critical patent/JP4887544B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/06—Continuously compensating for, or preventing, undesired influence of physical parameters
    • H03M1/08—Continuously compensating for, or preventing, undesired influence of physical parameters of noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Abstract

【課題】動画データのノイズ除去方法を提供する。
【解決手段】動画デジタルデータのノイズ除去方法は、空間領域フィルタリング方法、時間領域フィルタリング方法及び該空間領域フィルタリング方法及び時間領域フィルタリング方法を順次に行う方法を含み、空間領域フィルタリング方法は、ＹＣｂＣｒ領域で、輪郭線を区分するためのノイズに適応する加重値を導入し、該時間領域フィルタリング方法は全体的な動きが補償された動き／シーンチェンジ検出ベースの時間領域フィルタリング、時間領域フィルタリングで動きの輝度／色相差を同時に考慮した動き検出及び時間領域フィルタリングで動き検出のためのノイズに適応する加重値を導入し、該空間領域フィルタリング方法及び時間領域フィルタリング方法の実行は、該空間領域フィルタリング方法を先に実行し、その実行結果を利用して該時間領域フィルタリングを行う。
【選択図】図１

Description

本発明は動画に関連し、特に動画データのノイズ除去方法に関連する。
動画デジタルデータは、その量が膨大であるために、これらの効率的な伝送及び貯蔵のために必ずデータの圧縮過程を経る。ビデオ信号の再生画質の改善及びデータ圧縮率の向上に関する技術は関連商品の競争力の向上のための必須要素となる。最近、ＨＤＴＶ及びＤＶＤのような比較的高画質が要求されるデジタルマルチメディア商品にＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮アルゴリズムが標準で採択されたのもこのような理由を反映したものである。
一方、動画を取り扱う映像入力システム、伝送チャンネル及び送受信端に内在する技術的限界によって、映像を獲得して送受信する過程でノイズが必然的に発生する。動画デジタルデータである映像シーケンスに含まれたノイズは、再生画質を低下させるだけではなく、信号の高周波成分として認識されて圧縮率を低下させる原因となる。言い換えれば、ノイズもデータとして認識されるために、定められたビット率を合わせるために元の信号をより多く圧縮させねばならないので、ｂｌｏｃｋｉｎｇ ａｒｔｉｆａｃｔのようなｃｏｄｉｎｇ ａｒｔｉｆａｃｔが生じる。
このような問題を克服するために、効率的なノイズ除去アルゴリズムを利用してノイズをあらかじめ除去した後でＭＰＥＧ−２を適用してデータを圧縮すれば、映像シーケンスの圧縮率を大幅に向上することができ、結果的に画質を向上できる。従来使用されてきた一般的なノイズ除去アルゴリズムは、空間領域フィルタリング、時間領域フィルタリング及び時空間領域フィルタリングに大別することができる。
一般的な空間領域でのノイズ除去アルゴリズム（Ｓｐａｔｉａｌ Ｆｉｌｔｅｒｉｎｇ、空間領域フィルタリング）は静的映像モデルに基づくために、ノイズが除去された後、再生された映像が輪郭線を保存できないという問題がある。それを克服するために、輪郭線の適応フィルタを追加で使用するとしても、輪郭線を区分するための臨界値をノイズの程度に関係なく定数で固定した場合やカラースポットが生じた場合にはそれほど有効な方法にならない。ここで、カラースポットとは、ＣＣＤセンサー上のＣｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ（ＣＦＡ）を構成する各チャンネルが照度によって示す相異なる特性を、照度と関係なく同様に処理した場合に現れる現象をいう。
また、空間領域でのフィルタリングは静止画像１枚を処理する時は効率的であるが、映像シーケンスをフィルタリングする時はフレーム毎にノイズが除去される程度が異なるので、このような差分がデータ再生時に点滅現象として現れる。したがって、既存の空間領域フィルタリングの性能を改善するためには、ノイズエネルギー（正確には、ノイズエネルギー分散）によって輪郭線を決定するための臨界値を適応的に変えねばならず、カラースポット及び点滅現象を除去するためには空間領域フィルタリングのみでは不足であり、時間領域フィルタリングを効率的に付加しなければならない。
一方、時間領域でのノイズ除去アルゴリズム（Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒｉｎｇ、時間領域フィルタリング）の場合、動きによる映像の歪曲を防止するために動き補償の概念を利用する。しかし、動き補償を考慮するためには物体の動きを各フレーム毎に推定し、その動き軌跡に沿ってフィルタリングせねばならず、動き推定をするために相当な計算を追加的に行わねばならない。
最近、動き補償による誤差及び計算量の負担を減らすために動き検出アルゴリズムに基づいた新たな時間領域ノイズ除去のアルゴリズムが使われている。動き検出アルゴリズムに基づいた新たな時間領域ノイズ除去のアルゴリズムの効率性は、動き検出アルゴリズムの正確性に大きく依存する。一般的な動き検出アルゴリズムは、カラー映像の動きを輝度差でのみ区分するために色相差による動きは区分できない。したがって、物体と背景との輝度差が大きくない場合には物体の動きは輝度差よりは色相差で区分しなければならないために問題が発生する。
これを解決するための方法としては、カラー映像のベクトル特性を考慮してＲＧＢベクトル間のサイズ（輝度）及び角度（色相）の差分を同時に反映して動きを検出する方法がある。この方法は、システムの入力信号がＲＧＢ信号であるか、またはアルゴリズムがソフトウェアによって実行される時には演算量及びメモリの容量に関係なく利用できるが、アルゴリズムをハードウェアで具現しようとする時には制約が生じる。なぜなら、ほとんどの入力信号はＹＣｂＣｒのような変換された形態の信号であるので、ＲＧＢベクトル演算をするためにはＹＣｂＣｒ形態の入力信号をＲＧＢ領域に変換しなければならず、ＲＧＢベクトルの角度（色相）の差分を計算するためにはコサインあるいはサイン関数の逆関数計算のための非線形的演算が必要であるために、それをハードウェアで実現しようとすれば、ハードウェアの規模が極めて大きくなる。
ＲＧＢベクトルの角度（色相）差を利用した動き検出では、検出された信号を区別するための基準となる臨界値を定める点にも困難性がある。なぜなら、臨界値の決定はフィルタリングの性能に多大な影響を及ぼすが、臨界値が大き過ぎれば、動き残像のような加工物が生じ、小さ過ぎれば、ノイズが除去されないためである。例えば、ＲＧＢベクトル間の角度（色相）を利用した動き検出ではコサイン関数の入力値が０に近い時は、出力値間の差分が小さいために、臨界値を少数点以下に精密に定めることによって動きを効率的に検出できる。このような臨界値決定の難しさを克服し、加工物なしにノイズを効率的に除去するためには、相対的に多くのフレームの処理が必要となり、それをハードウェアで実現するためには相当な容量のメモリを確保しなければならず、それはハードウェアの規模が大きくなることを意味する。
このような問題の他に、一般的な動き検出ベースの時間領域フィルタリングで追加的に考慮されねばならない点は、シーンチェンジ検出とシーケンスに属したノイズのエネルギーに応じて動き検出臨界値が適応的に変化されねばならない点である。すなわち、頻繁に起きるシーンチェンジデータを含む一般的なシーケンスを処理する場合に動き検出のみに依存するならば、シーンが変化したフレームに属する画素間の輝度、あるいは色相が類似している場合、これら変化したシーンが一緒にフィルタリングされるので、フィルタリングされたフレームに相異なるシーンが混ざりうる。また、加工物に強いながらも効率的にノイズを除去するためには、ノイズのエネルギーが小さい時には小さな臨界値が、大きい時には大きい臨界値が動き検出アルゴリズムに適応的に使われねばならない。
したがって、既存の動きベースの時間領域フィルタリングの性能を改善するためには、シーンチェンジ検出アルゴリズムを追加しなければならず、ＹＣｂＣｒ領域で輝度／色相動き臨界値を演算量の負担なしにノイズのエネルギーに適応的に決定してフィルタリングに必要なフレーム数を減らさねばならない。
上記の２つの方法を組合わせて使用する従来の時空間領域でのノイズ除去アルゴリズムは、ほとんど空間フィルタリングを時間領域に拡張したものであって、ノイズをより効率的に除去できるが、上述した時間領域、あるいは空間領域フィルタリングの限界をそのまま維持している。
本発明が解決しようとする技術的課題は、時間領域フィルタリングで使われるフレーム数を減らすと同時に、動き検出を容易にする動画データのノイズ除去方法を提供するところにある。
上記技術的課題を解決するための本発明の第１の側面に対応する動画データのノイズ除去方法は、動画の色相成分に対してはＳＭＯ（Ｓａｍｐｌｅ Ｍｅａｎ Ｏｐｅｒａｔｏｒ）に基づいた空間領域フィルタリングを行う工程、動画の輝度成分に対してはＭＭＳＥ（Ｍｉｎｉｍｕｍ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）フィルタに基づいた空間領域フィルタリングを行う工程を含む。
上記技術的課題を解決するための本発明の第２の側面に対応する動画データのノイズ除去方法は、空間領域フィルタリングを経たフレーム（例えば、１個の輝度成分及び２個の色相成分）、全体的な動き推定ベクトル及び動画内のノイズの量に応じて設計者が任意に定めうる臨界値によって決定される所定の基準値を利用して、時間領域でのノイズの相対的サイズ（例えば、エネルギー）を推定し、推定されたノイズの相対的サイズ及び前記空間領域フィルタリングを経たフレームを利用して推定された相対的ノイズの相対的サイズによって動き検出に使われる輝度成分に対する加重値及び色相成分に対する加重値を適応的に変換させ、シーンチェンジ検出の結果、前記変換された輝度成分及び色相成分に対する加重値及び前記空間領域フィルタリングを経たフレームを利用して全体的な動きが補償された時間領域フィルタリングを行う。
上記技術的課題を解決するための本発明の第３の側面に対応する動画データのノイズ除去方法は、動画デジタルデータの色相成分をＳＭＯに基づいた空間領域フィルタリングを行った空間領域フィルタリングによって得た色相成分に対する２個のデータ及び動画デジタルデータの輝度成分に対してＭＭＳＥに基づいた空間領域フィルタリングを行って得た１個の輝度成分データに対して相対的サイズに適応された加重値を適用して全体的な動きが補償された時間領域フィルタリングを行う。
本発明に対応する動画デジタルデータのノイズ除去方法は、時間領域フィルタリングで使われるフレーム数を減らすと同時に動き検出を容易にできるので、ＣＣＤ／ＣＭＯＳなどの各種イメージセンサーに直接適用されて高解像度の映像を獲得し易くなる。特に、画質の改善及びデータ圧縮率の向上のための圧縮アルゴリズムでの前処理及び保存された映像の画質改善のための後処理に使われうる。
本発明と本発明の動作上の利点及び本発明の実施によって解決される目的を十分に理解するためには、本発明の望ましい実施例を例示する図面及び図面に記載された内容を参照せねばならない。
以下、図面を参照して本発明の望ましい実施例を説明することによって、本発明を詳細に説明する。各図面に提示された同じ参照番号は同一の要素を示す。
提案に係るアルゴリズムは空間領域フィルタと時間領域フィルタとに大別され、まず空間領域フィルタを先に適用した後、その結果に対して時間領域フィルタを適用することが望ましい。
図１は、本発明に対応する動画デジタルデータのノイズ除去方法を示す信号フローチャートである。
図１を参照すれば、本発明に対応する動画デジタルデータのノイズ除去方法は、第１実施例としての空間領域フィルタリング工程（Ｓ１１０）及び第２実施例としての時間領域フィルタリング工程（Ｓ１５０）を具備する。第３実施例では、当該２つの工程（Ｓ１１０及びＳ１５０）を連続的に利用する。
本願の技術的課題を解決するための第１実施例に対応する動画デジタルデータのノイズ除去方法（Ｓ１１０）は、ＹＣｂＣｒフォーマットの入力信号に対して輝度成分Ｙにはエッジ保存のためのＬＭＭＳＥ（Ｌｉｎｅａｒ Ｍｉｎｉｍｕｍ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）ベースのフィルタを、色相成分ＣｂＣｒには映像の安定感を高めるために低域通過フィルタを行う。
色相成分の代表値を求める（Ｓ１１１）ということは、色相成分の平均値、または中央値を求めることを意味するが、色相成分に低域通過フィルタを適用するということは特定マスク内で平均を求めることと同じである。
輝度成分に対してＬＭＭＳＥベースのフィルタを適用（Ｓ１１２）するためには、全部で５つの工程を経ねばならない。
第１に、所定のノイズ適応的なエッジ臨界値を利用して各画素の輝度成分に対するエッジに適応的な代表値を求める（Ｓ１１３）。ここで、代表値は各画素の平均値、または中央値を意味するが、エッジに適応的な代表値はローカルマスク内でエッジのある面に位置した画素を利用して求める。
該所定のノイズ適応的なエッジ臨界値は、従来の場合のように一定値に固定されることなく、ノイズの量に応じて適応的に変化する値であることが本発明に含まれた幾つかの特徴のうち１つである。
第２に、該ノイズ適応的な臨界値を利用した所定のエッジ適応的な加重値及び該エッジ適応的な代表値を利用して各画素の散布度値を推定する（Ｓ１１４）。該散布度値は分散または標準偏差を意味するが、画素の分散とは、映像の変化度、または映像のエッジ程度を意味する。
第３に、入力映像と該映像の代表値との差分映像を求める（Ｓ１１５）。求められた差分映像には入力映像のノイズ成分とエッジ成分とが両方とも含まれている。
第４に、該映像の散布度値とノイズ散布度値とを比較して加重値を求める（Ｓ１１６）。
第５に、前記差分映像で映像のエッジ成分には大きい加重値を付与し、ノイズ成分には小さな加重値を付与し、該エッジ適応的な代表値に該加重値が適用された差分映像を加算する（Ｓ１１７）。ノイズ散布度値とは、ノイズ分散とノイズ標準偏差とを意味し、ノイズ分散はノイズの激しさを示す。
該５つの工程（Ｓ１１３ないしＳ１１７）を全て経れば、映像の平坦な領域では該差分映像に少ない加重値が付与されるので、フィルタの結果が該エッジ適応的な代表値と同じであり、映像のエッジ部分では該差分映像に大きい加重値が付与されるので、フィルタの結果が該エッジ適応的な代表値に映像のエッジを加算した結果となる。
本願の上記技術的課題を解決するための第２実施例に対応する動画デジタルデータのノイズ除去方法は（Ｓ１５０）、全部で４つの工程（Ｓ１５１ないしＳ１５４）で構成される。
第１に、フレーム間にシーンチェンジがあるか否かを検出する（Ｓ１５１）。
第２に、フレーム間の全体的な動きを推定し、各画素に対して全体的な動き軌跡に沿って時間領域でのノイズの相対的サイズを推定する（Ｓ１５２）。
第３に、各画素に対して全体的な動き軌跡に沿って動きを検出する。映像の輝度成分Ｙと色相成分ＣｂＣｒとを同時に利用し、ノイズの程度に適応的な動き臨界値を使用する。最終的に映像の輝度成分の動き検出を示す加重値及び映像の色相成分の動き検出を示す加重値を求める（Ｓ１５３）。
第４に、シーンチェンジが起きない範囲内でフィルタリングするための加重値、該ノイズの相対的サイズ、該映像の輝度成分の動き検出のための加重値、該映像の色相成分の動き検出のための加重値及び正規化のための定数の全部、または一部を利用して全体的な動きが補償されたシーンチェンジ／動き検出ベースのフィルタリングを行う（Ｓ１５４）。
該技術的課題を解決するための第３実施例に対応する動画デジタルデータのノイズ除去方法は、該空間領域フィルタリング（Ｓ１１０）を行い、該空間領域フィルタリングを行った結果として生成したフレーム（例えば、３個のフレーム）に対して全体的な動きが補償されたシーンチェンジ及び動き検出ベースの時間領域フィルタリング（Ｓ１５０）を行うことである。第３実施例では空間領域フィルタリングを先に適用することによってノイズがある程度除去されたので、時間領域フィルタに必要な動き検出が容易であるためにノイズの除去のために第３実施例を使用することが望ましい。
本発明の第１実施例に対応する動画デジタルデータのノイズ除去方法は、動画の輝度成分のエッジを保存することによって、映像の鮮明度を高め、映像の輪郭線を保存しながらノイズを除去し、色相成分を平滑化させることによって映像の安定感を高める。
映像の輝度成分Ｙ及び色相成分Ｃｂ及びＣｒに対する空間領域フィルタリングされた値をそれぞれxY(i,j,n), xCb(i,j,n)及びxCr(i,j,n)とすれば、それぞれ数式１ないし数式３のように表現することができる。
Figure 2005176388
Figure 2005176388
Figure 2005176388
ここで、Ｎはローカルマスクのサイズであり、ｉ及びｊは画素の２次元座標を示し、ｎはフレームを意味し、yY(i,j,n)は入力映像として劣化した映像のＹ成分、
Figure 2005176388
はyY(i,j,n)の平均、
Figure 2005176388
はyY(i,j,n)の分散、σn(i,j,n)2はノイズの分散、yCb(k,l,n)は劣化した映像のＣｂ成分、yCr(k,l,n)は劣化した映像のＣｒ成分をそれぞれ示す。
数式１の輝度成分Ｙに対する空間領域フィルタリングを説明すれば、劣化した映像の平坦な部分では
Figure 2005176388
≒σn(i,j,n)2になるので、フィルタの出力が劣化した映像の平均値（代表値）
Figure 2005176388
になり、劣化した映像の高周波成分に対しては
Figure 2005176388
≒σn(i,j,n)2になるので、劣化した映像の平均値（代表値）に一定の加重値成分
Figure 2005176388
を加算して映像の高周波成分を保存させる。
数式１に映像の微細な成分にも効力を発揮させるために、動画の非静的特性を反映する。このために、劣化した映像の平均及び分散は、（２Ｎ＋１）×（２Ｎ＋１）ローカルマスク内で映像の輪郭線を横切らない範囲内で、次の数式４及び数式５のように計算される（この時、数式１のノイズ分散エネルギーは推定されたか、既知と仮定する）。
Figure 2005176388
Figure 2005176388
ここで、W(k,l,n)はフィルタリングされる中心画素と周辺画素とがエッジを基準として相互同じ領域にあるか否かを判断するエッジ適応的な加重値であり、中心画素と周辺画素との輝度差に反比例する特性を有さねばならない。すなわち、W(k,l,n)は周辺画素がエッジと同じ面にあれば、大きい値（≒1）を有し、他の面にあれば、小さな値（≒０）を有さねばならない。
該エッジ適応的な加重値W(k,l,n)は数式６のように表現される。
Figure 2005176388
 輝度差を示すΔは、Δ＝ｇ（|yY(i,j,n)- yY(I+k,j+l,n)|）であり、g(・)は一次関数、指数関数、またはログ関数などの単調増加関数、Ｃは１より大きいか、または同じ定数であり、ノイズ適応的なエッジ臨界値f(・)は一次関数、指数関数、またはログ関数などの単調増加関数として次のように定義することができる。
事前知識によって、該ノイズ適応的なエッジ臨界値f(・)が有さねばならない下限値（ノイズが少ない場合に有さねばならない望ましい値）と上限値（ノイズが多い場合に有さねばならない望ましい値）とをあらかじめ定義できるので、該ノイズ適応的なエッジ臨界値f(・)は該上限値と下限値間でノイズ分散のサイズに比例するように定義される。
図２は、エッジ適応的な加重値W(k,l,n)の特性（Ｃ＝１）を示すグラフである。図３は、エッジ適応的な加重値W(k,l,n)の特性（Ｃ≠１）を示すグラフである。
図２及び図３を参照すれば、Ｃが１である場合、加重値W(k,l,n)は単純に"１"または"０"の形態を示し、Ｃが１ではない場合としてＣが１より大きい場合、加重値関数は周辺画素との差分をさらに細分して線形的に考慮できることが分かる。また、数式６の特性を示した図３の区間f(σn 2)/C及びf(σn 2)間の線形関数は場合によって他の形態の単調減少関数が使われうる。f(σn 2)/C及びf(σn 2)はノイズ適応的なエッジ臨界値を示す。
数式４ないし６及び図２ないし図３を参照すれば、中心画素と隣接画素との差分Δがノイズ適応的な臨界値f(σn 2)より大きいか、または同じ場合、該当画素は平均及び分散計算時に除外される（W(k,l,n)）ことが分かる。このような加重値W(k,l,n)を導入して局所的平均／分散を推定するようになれば、フィルタリング時に次のような適応的特性を示すようになる。
局所的平均推定時に平均を求める中心画素と相関関係の少ない（すなわち、中心画素と隣接画素との差分Δがノイズ適応的なエッジ臨界値f(σn 2)より大きい場合）輪郭線を基準として反対側の画素は使用せず、相関関係の大きい周囲画素（輪郭線を基準として同じ側に位置した画素）のみを使用するようになるので、結果的に輪郭線で色ぶれ現象を防止することができる。同様に、局所的分散推定時に相対的にΔ値が極めて大きい輪郭線に位置したノイズ成分を計算から除外するので、再生された映像で輪郭線に位置したノイズ成分が大きく目につかない。
数式６で留意しなければならない点は、輪郭線が定数臨界値により決定されるものではなく、ノイズ分散の関数により推定される点である。本発明に対応するノイズ適応的なエッジ臨界値f(・)を任意の定数に固定する従来の方法で輪郭線を判別するならば、臨界値が極めて小さく設定された時にはノイズが多い場合、それを効率的に除去できないことがあり、逆に臨界値が極めて大きく設定された時には映像の微細成分がよく保存されない限界がある。しかし、本発明に対応するデジタルデータのノイズ除去方法では、エッジ臨界値f(・)がノイズの分散からノイズの有効範囲を判別して適応的に決定されるために、多様な環境でさらに充実な結果を得られる。
一般的に、実際映像に対するノイズ分散推定アルゴリズムは誤差を有するので、推定されたノイズ分散値や標準偏差値をそのまま臨界値として使用する場合、臨界値が望ましく設定されない場合が発生する。しかし、ノイズ分散推定アルゴリズムが誤差を有してもノイズの相対的なサイズに対しては正確に判別できるので、本発明のようにノイズ分散の相対的なサイズによって上限値及び下限値が定められた関数に新たにマッピングさせれば、臨界値が不安定に設定されることを防止できる。
すなわち、本発明ではノイズ適応的なエッジ臨界値を特定区間内でノイズ分散の関数と定義するので、ノイズの分散値、または標準偏差値自体を直接利用して臨界値を定める従来の場合より、ノイズ分散推定アルゴリズムのエラーにさらに効果的である。
図４は、本発明の第１実施例に対応する動画デジタルデータのノイズ除去方法のそれぞれの工程を示すダイヤグラムである。
本発明の第１実施例に対応する動画デジタルデータのノイズ除去方法を構成するそれぞれの工程は、図４を通じてより正確に理解される。
図４を参照すれば、本発明の第１実施例に対応する動画デジタルデータのノイズ除去方法は、劣化した映像のＹ成分yY(i,j,n)に対してノイズ分散σn(i,j,n)2を求める工程（Ｓ４１０）、劣化した映像のＹ成分yY(i,j,n)に対して任意の定数Ｃを導入してフィルタリングされる中心画素と周辺画素が同じ領域にあるか否かを判断する加重値W(k,l,n)を得る工程（Ｓ４２０）、該加重値W(k,l,n)及びyY(i,j,n)を利用して
Figure 2005176388
を求める工程（Ｓ４３０）、該加重値W(k,l,n)、該yY(i,j,n)及び該
Figure 2005176388
を利用して分散
Figure 2005176388
を求める工程（Ｓ４４０）及び該yY(i,j,n)、σn(i,j,n)2、
Figure 2005176388
及び
Figure 2005176388
を利用して動画の輝度成分Ｙに対する空間領域フィルタリングされた値xY(i,j,n)を求める工程（Ｓ４５０）を具備する。
本発明の第２実施例に対応するデジタルデータのノイズ除去方法は、全体的な動きが補償されたＹＣｂＣｒ領域での動き／シーンチェンジの検出ベースの時間領域フィルタリングであって、空間領域フィルタリングを行ったフレーム（例えば、３個のフレーム）を利用して次のような時間領域フィルタリングを行う。その実行過程を要約すれば、次のようになる。
第１に、時間領域フィルタリングされるフレーム内にシーンチェンジがあるか否かを検出して、シーンチェンジの検出結果をフィルタリング動作に反映する。第２に、各フレーム間の全体的な動きを推定する。第３に、全体的な動き軌跡に沿って各画素間の動きを検出する。第４に、シーンチェンジが生じていないフレームの全体的な動きの軌跡に沿って動き検出ベースの時間領域フィルタリングを行う。
ここでは、シーンチェンジの検出及び全体的な動きの推定が先に行われたと仮定し、本発明で提案するデジタルデータのノイズ除去方法の核心部分であるＹＣｂＣｒ領域での動き検出及び時間領域フィルタリングについて記載する。
まず、ノイズエネルギーに適応的なＹＣｂＣｒ領域での動き検出について説明する。既存の動き検出アルゴリズムでは、動きによる画素間の輝度／色相差を決定する臨界値がノイズの量に関係なく固定されていた。すなわち、臨界値が固定されているならば、ノイズの量が少ない時には、臨界値が必要以上に大きい値を有する場合が発生して動き残像のような加工物を生成させることとなり、逆に、ノイズの量が多い時には、臨界値がノイズのサイズに比べて相対的に小さな値を有する場合が発生してノイズ除去が効果的ではない場合を生ずることとなる。
したがって、本発明に対応するデジタルデータのノイズ除去方法では、時間領域でのノイズの量を推定してノイズのエネルギーに応じて動き検出に使われる輝度／色相加重値を適応的に変化させて使用することによって、従来の方法の短所を解決するものである。
フィルタリングされる中心フレームの輝度成分ＹをxY(i,j,n)とし、全体的な動き推定により推定された前フレームまたは次フレームとの動きベクトルをｍv及びｍhとすれば、時間領域でのノイズの相対的サイズは、前フレームと比較して計算でき、前フレームと比較する場合、数式７のように計算することができる。
Figure 2005176388
 ここで、g[・]は任意の単調増加関数であり、Ｎijは
Figure 2005176388
の値が設計者が任意に設定できる臨界値ｎＴより小さければ、１、大きければ、０の値を有する。すなわち、数式７は映像内の動きがほとんど臨界値ｎＴより大きいという仮定の下で、臨界値ｎＴより小さな差分値（差分映像から動きを除外した画素）のみを有してエネルギーを求めたものであって、映像内のノイズの量が少ない場合、小さな値を有し、ノイズの量が多い場合、臨界値ｎＴより小さなノイズ画素のサイズが相対的に大きくなるので、ノイズのエネルギーＶａｒnTが大きい値を有するようになる。
映像の輝度成分の動き検出のための加重値は、中心フレームの画素とフィルタリングされる他のフレームの画素間での動きが輝度領域で発生したか否かを判断する基準値となる。映像の輝度成分の動き検出のための加重値は、画素間の輝度差に反比例し、該画素間の輝度差が所定の輝度動き臨界値より大きければ、０の値を有し、該輝度動き臨界値は輝度領域の動きを区分するために有さねばならない望ましい範囲内でノイズのサイズに比例する関数によって決定される。
映像の色相成分の動き検出のための加重値は中心フレームの画素とフィルタリングされる他のフレームの画素間の動きが色相領域で発生したか否かを判断する基準値となる。該映像の色相成分の動き検出のための加重値は、画素間の色相差が所定の色相動き臨界値より大きければ、０の値を有し、該色相動き臨界値は色相領域の動きを区分するために有さねばならない望ましい範囲内でノイズのサイズに比例する関数によって決定される。
輝度領域での動き検出加重値WI(i,j,k)は数式８のように決定される。
Figure 2005176388
 ここで、動きによる輝度差を示すΔIは、
Figure 2005176388
g(・)は一次関数、指数関数、またはログ関数などの単調増加関数、CIは１より大きい定数であり、輝度臨界値fI (・)は単調増加関数である。数式８で適応的な輝度領域での動き検出加重値WI (i,j,k)の値が０であれば、該当画素の輝度成分Ｙで動きが検出されたことを意味する。
一方、色相領域での動き検出加重値Wc(i,j,k)は数式９のように表すことができる。
Figure 2005176388
 ここで、動きによる色相差を示すΔｃは、
Figure 2005176388
であり、g(・)は一次関数、指数関数、またはログ関数などの単調増加関数、Ccは１より大きい定数であり、色相臨界値fc(・)は単調増加関数である。数式９で色相領域での動き検出加重値Wc(i,j,k)の値が０であれば、該当画素の色相成分Ｃｂ及びＣｒで動きが検出されたことを意味する。
数式８及び９の加重値関数の形態は、基本的に図２に示された波形と同じ形態であり、空間領域フィルタリングでの輪郭線検出のような動き検出アルゴリズムもノイズのエネルギーに応じて適応的に変わることが分かる。また、従来のＲＧＢベクトル特性を利用して色相成分の差分を検出する時にはコサイン関数の入力であるベクトル間の内積及び分数演算をせねばならなかったが、提案するアルゴリズムでは色相成分の差分がΔcの形態で簡単に現れることが分かる。また、数式９のΔcの値は色相の差分によって線形的に変わるので、色相検出臨界値を定めるのが極めて容易になる。
全体的な動きが補償されたＹＣｂＣｒ領域での動き／シーンチェンジ検出ベースの時間領域フィルタリングについて説明する。従来の時間領域フィルタリングではほとんど映像の輝度成分のみをフィルタリングする。このような場合、ノイズの量が小さい時には効果的であるが、ノイズの量が多いか、または色相領域にカラースポットのようなノイズが混ざっている時にはノイズ除去の性能が極めて落ちる。
このような点を解決するために、本発明ではシーンチェンジ及び動き検出をベースとしてＹＣｂＣｒ領域を数式１０ないし１２のように同時にフィルタリングを行う。
Figure 2005176388
Figure 2005176388
Figure 2005176388
 ここで、
Figure 2005176388
は時間領域フィルタリングされた結果であり、Ｚは正規化のための定数である。また、ｍvk及びｍhkはｎ番目フレームとｋ番目フレーム間の全体的な動きベクトルを示す。数式１０でＷs(ｋ)はシーンチェンジが起きない範囲内でフィルタリングするための加重値であり、ＷI(ｉ,ｊ,ｋ)とＷc(ｉ,ｊ,ｋ)は数式８及び数式９で定義された動き検出加重値である。
該輝度成分の動き検出のための加重値ＷI (ｉ,ｊ,ｋ)は、フィルタリングされるフレームの特定画素と、前フレームあるいは次フレームの画素との間に輝度成分の動きが発生したか否かを判断する加重値であって、２つの画素の輝度差に反比例する値を有し、２つの画素の輝度差が輝度臨界値より大きければ、０の値を有する。
該輝度臨界値は輝度差による動きを区分するための臨界値が有さねばならない望ましい範囲内で時間領域のノイズサイズに比例する関数によって決定される。
該色相成分の動き検出のための加重値Ｗc(ｉ,ｊ,ｋ)は、フィルタリングされるフレームの特定画素と、前フレームあるいは次フレームの画素との間に色相成分の動きが発生したか否かを判断する加重値であって、２つの画素の色相差に反比例する値を有し、２つの画素の色相差が色相臨界値より大きければ、０の値を有する。
該色相臨界値は、色相差による動きを区分するための臨界値が有さねばならない望ましい範囲内で時間領域のノイズサイズに比例する関数によって決定される。
数式１０ないし数式１２で留意する点は、フィルタリングサポート内のあるフレームでシーンチェンジが検出された場合に、その後のフレームはフィルタリングから除外されねばならない点と、フレームのある画素で動きが検出された場合に、その後のフレームの同じ位置の画素もフィルタリングから除外されねばならない点である。また、場合によっては、数式１０ないし数式１２において、Ｗs(ｋ)と全体的な動きベクトルの使用を省略でき、ＷI及びＷcのうちの１つも省略した状態で使用することもできる。
図５は、本発明の第２実施例に対応する動画デジタルデータのノイズ除去方法のそれぞれの工程を示すダイヤグラムである。該本発明の第２実施例に対応する動画デジタルデータのノイズ除去方法を構成するそれぞれの工程は、図５を通じてより正確に理解される。
図５を参照すれば、本発明の第２実施例に対応する動画デジタルデータのノイズ除去方法は、中心画素の輝度成分Ｙを空間領域フィルタリングして求めたｘY(ｉ,ｊ,ｎ)、全体的な動き推定ベクトルｍv及びｍh及び動画内のノイズの量に応じて設計者が任意に定めうる臨界値ｎＴ（図示せず）によって決定される所定の基準値Ｎijを利用して時間領域でのノイズの相対的エネルギーＶａｒnTを推定する工程（Ｓ５１０）、ＶａｒnT、ｘY (ｉ,ｊ,ｎ)、ｍv、ｍh及び所定の定数値ＣIを利用して輝度成分の加重値ＷI (ｉ,ｊ,ｋ)を適応的に変換させる工程（Ｓ５２０）、中心画素の色相成分Ｃｂ及びＣｒを空間領域フィルタリングして求めたｘCb(ｉ,ｊ,ｎ)、ｘCr(ｉ,ｊ,ｎ)、ＶａｒnT、ｍv、ｍh及び所定の定数値Ｃcを利用して色相成分の加重値Ｗc(ｉ,ｊ,ｋ)を適応的に変換する工程（Ｓ５３０）及びｘY (ｉ,ｊ,ｎ)、ｘCb(ｉ,ｊ,ｎ)、ｘCr(ｉ,ｊ,ｎ)、Ｗc(ｉ,ｊ,ｋ)、ＷI (ｉ,ｊ,ｋ)、ｍv、ｍh及びシーンチェンジが起きない範囲内でフィルタリングするための加重値であるＷs(ｋ)を利用して全体的な動きが補償されたデータ
Figure 2005176388
を求める時間領域フィルタリングする工程（Ｓ５４０）を具備する。
該内容を要約すれば、本発明に対応する動画デジタルデータのノイズ除去方法は、第１に、ＹＣｂＣｒ領域での時空間領域フィルタリング、空間領域での映像の輪郭線の保存、空間領域フィルタリングで輪郭線を区分するためのノイズに適応する加重値を導入する空間領域フィルタリング方法を提案する。第２に、全体的な動きが補償された動き／シーンチェンジ検出ベースの時間領域フィルタリング、時間領域フィルタリングで動きの輝度／色相差を同時に考慮した動き検出及び時間領域フィルタリングで動き検出のためのノイズに適応する加重値を導入する時間領域フィルタリング方法を提案する。第３に、該第１と第２で提案する空間領域フィルタリングを先に行い、次いで、該空間領域フィルタリングを行った結果信号を利用して時間領域フィルタリング行うことである。
実際に、本願で提案する該空間領域フィルタリングまたは該時間領域フィルタリングを独立に使用してもノイズ除去に効果があるが、まず空間領域フィルタリングを行った後、結果データに時間領域フィルタリングを適用すれば、更に優れたノイズ除去効果を得られる。本発明の第３実施例に対応する動画デジタルデータのノイズ除去方法は、空間領域フィルタリング及び時間領域フィルタリングを順に行った場合を反映したものである。
以上のように、図面と明細書で最適の実施例が開示された。ここで、特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味の限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、本発明が属する技術分野の当業者であれば、これより多様な変形及び均等な他の実施例が可能である点が理解できる。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により定められねばならない。
本発明は動画データに含まれたノイズを除去する方法に係り、ＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ ＴＶ）及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）のような高画質が要求されるデジタルマルチメディアに必須的に適用される技術である。
本発明の一実施例に対応する、動画デジタルデータのノイズ除去方法を示す信号フローチャートである。 加重値Ｗ（ｋ,ｌ,ｎ）の特性（Ｃ＝１）を示すグラフである。 加重値Ｗ（ｋ,ｌ,ｎ）の特性（Ｃ≠１）を示すグラフである。 本発明の第１実施例に対応する動画デジタルデータのノイズ除去方法に含まれたそれぞれの工程を示すダイヤグラムである。 本発明の第２実施例に対応する動画デジタルデータのノイズ除去方法に含まれたそれぞれの工程を示すダイヤグラムである。

Claims (16)

  1. 空間領域フィルタリングを通じて動画デジタルデータに含まれたノイズを除去する動画デジタルデータのノイズ除去方法において、
    各画素の色相成分に対して空間領域フィルタリングを行って特定ローカルマスク内で代表値を求める工程と、
    各画素の輝度成分に対する空間領域フィルタリングを行ってエッジを保存する工程と、を具備し、
    前記エッジを保存する工程は、
    所定のノイズ適応的なエッジ臨界値を利用することを特徴とする動画デジタルデータのノイズ除去方法。
  2. 前記エッジを保存する工程は、
    前記ノイズ適応的なエッジ臨界値を利用して各画素のエッジ適応的な代表値を求める工程と、
    前記ノイズ適応的なエッジ臨界値を利用して生成した所定のノイズ適応的な加重値及び前記エッジ適応的な代表値を利用して各映像の散布度値を推定する工程と、
    入力映像（劣化した映像の輝度成分）と前記エッジ適応的な代表値との差分映像を求める工程と、
    前記映像の散布度値とノイズ成分に対する散布度値とを比較して加重値を求める工程と、
    前記差分映像で映像のエッジ成分には大きい加重値を付与し、ノイズ成分には小さな加重値を付与し、前記エッジ適応的な代表値に前記加重値が付与された差分映像を加算する工程と、を具備することを特徴とする請求項１に記載の動画デジタルデータのノイズ除去方法。
  3. 前記エッジ適応的な代表値は、
    各画素の平均値または中間値であり、
    前記散布度値は、
    各画素に対する分散または標準偏差であることを特徴とする請求項２に記載の動画デジタルデータのノイズ除去方法。
  4. 前記各画素の色相成分に対して特定ローカルマスク内で代表値を求める工程は、
    色相成分Ｃｂ及びＣｒに対する特定ローカルマスク内での代表値をそれぞれｘＣｂ(ｉ,ｊ,ｎ)及びｘＣｒ(ｉ,ｊ,ｎ)とすれば、
    Figure 2005176388
    Figure 2005176388
    を満足し、
    Ｎはローカルマスクのサイズであり、ｉ及びｊは画素の２次元座標を示し、ｎはフレームを意味し、ｙＣｂ(ｋ,ｌ,ｎ)は劣化した映像のＣｂ成分、ｙＣｒ(ｋ,ｌ,ｎ)は劣化した映像のＣｒ成分をそれぞれ示すことを特徴とする請求項１に記載の動画デジタルデータのノイズ除去方法。
  5. 前記各画素のエッジ適応的な代表値は、
    Figure 2005176388
    を満足し、Ｎはローカルマスクのサイズ、ｉ及びｊは画素の２次元座標、ｎはフレーム、ｙY(ｉ,ｊ,ｎ)は劣化した映像の輝度成分をそれぞれ示し、
    前記エッジ適応的な加重値Ｗ（ｋ,ｌ,ｎ）は、フィルタリングされる中心画素と周辺画素とがエッジを基準として同じ領域にあるか否かを判断する基準となる加重値として中心画素と周辺画素との輝度差に反比例し、前記中心画素と周辺画素との輝度差が前記ノイズ適応的なエッジ臨界値より大きければ、０の値を有し、前記ノイズ適応的なエッジ臨界値はエッジを区分するために有さねばならない望ましい範囲内でノイズのサイズに比例する関数によって決定されることを特徴とする請求項２に記載の動画デジタルデータのノイズ除去方法。
  6. 前記エッジ適応的な加重値は、
    Figure 2005176388
    を満足し、σn(i,j,n)2は劣化した映像の輝度成分であるyY(ｉ,ｊ,ｎ)のノイズの分散、Δは輝度差を示し、
    Figure 2005176388
    を満足し、Ｃは１より大きいか、同じ定数であり、g(・)は一次関数、指数関数及びログ関数などの単調増加関数であり、前記エッジ適応的な臨界値ｆ(・）は一次関数、指数関数及びログ関数などの単調増加関数であることを特徴とする請求項５に記載の動画データのノイズ除去方法。
  7. 前記推定された映像の散布度値は、
    Figure 2005176388
    を満足し、
    Ｎはローカルマスクのサイズ、ｉ及びｊは画素の２次元座標、ｎはフレーム、
    Figure 2005176388
    は劣化した映像の輝度成分である前記ｙY(ｉ,ｊ,ｎ)に対してエッジ適応的な加重値が適用された分散、Ｗ（ｋ,ｌ,ｎ）は前記エッジ適応的な加重値、
    Figure 2005176388
    は前記エッジ適応的な代表値であることを特徴とする請求項２または６に記載の動画デジタルデータのノイズ除去方法。
  8. 前記差分映像は、
    Figure 2005176388
    を満足することを特徴とする請求項２に記載の動画データのノイズ除去方法。
  9. 前記加重値は、
    Figure 2005176388
    を満足することを特徴とする請求項２に記載の動画デジタルデータのノイズ除去方法。
  10. 前記加重値を前記差分映像に付加する工程は、
    Figure 2005176388
    を満足し、
    前記エッジ適応的な代表値に前記加重値が付与された差分映像を加算する工程は、
    Figure 2005176388
    を満足することを特徴とする請求項２に記載の動画デジタルデータのノイズ除去方法。
  11. 映像の輝度成分Ｙ、色相成分Ｃｂ及びＣｒに対してそれぞれ空間領域フィルタリングされた値ｘＹ(ｉ,ｊ,ｎ)、ｘＣｂ(ｉ,ｊ,ｎ)及びｘＣｒ(ｉ,ｊ,ｎ）を時間領域フィルタリングする動画データのノイズ除去方法において、
    フレーム間でシーンチェンジがあるか否かを検出する工程と、
    フレーム間の全体的な動きを推定し、各画素に対して全体的な動き軌跡に沿って時間領域でのノイズの相対的サイズを推定する工程と、
    映像の輝度成分の動き検出のための加重値及び映像の色相成分の動き検出のための加重値を求める工程と、
    シーンチェンジが起きない範囲内でフィルタリングするための加重値、前記ノイズの相対的サイズ、前記映像の輝度成分の動き検出のための加重値、前記映像の色相成分の動き検出のための加重値及び正規化のための定数の全部または一部を利用して全体的な動きが補償されたシーンチェンジ／動き検出ベースフィルタリング工程と、を具備し、
    前記映像の輝度成分の動き検出のための加重値は、
    中心フレームの画素とフィルタリングされる他のフレームの画素間での動きが輝度領域で発生したか否かを判断する値であって、画素間の輝度差に反比例し、前記画素間の輝度差が所定の輝度動き臨界値より大きければ、０の値を有し、前記輝度動き臨界値は輝度領域の動きを区分するために有さねばならない望ましい範囲内でノイズのサイズに比例する関数によって決定され、
    前記映像の色相成分の動き検出のための加重値は、
    中心フレームの画素とフィルタリングされる他のフレームの画素間の動きが色相領域で発生したか否かを判断する値であって、画素間の色相差が所定の色相動き臨界値より大きければ、０の値を有し、前記色相動き臨界値は色相領域の動きを区分するために有さねばならない望ましい範囲内でノイズのサイズに比例する関数によって決定されることを特徴とする動画デジタルデータのノイズ除去方法。
  12. 前記ノイズの相対的サイズＶａｒｎＴは、
    Figure 2005176388
    を満足し、
    ｉ及びｊは２次元座標、
    ｎはフレーム、
    ｍv及びｍhは動きベクトル成分、
    ｇ(・)は任意の単調増加関数、
    Ｎｉｊは
    Figure 2005176388
    の値が臨界値ｎＴより小さければ、１、大きければ、０の値を有し、
    前記臨界値ｎＴは、最適のノイズの相対的サイズを求めるために設計者が任意に定めうる値であることを特徴とする請求項１１に記載の動画デジタルデータのノイズ除去方法。
  13. 前記映像の輝度成分の動き検出のための加重値ＷＩ(ｉ,ｊ,ｋ)は、
    Figure 2005176388
    を満足し、
    前記映像の色相成分の動き検出のための加重値ＷＣ(ｉ,ｊ,ｋ)は、
    Figure 2005176388
    を満足し、
    Figure 2005176388
    Figure 2005176388
    ＣI及びＣcはそれぞれ１より大きい定数、ｇ(・)は任意の単調増加関数、前記輝度臨界値ｆＩ(・)及び前記色相臨界値ｆｃ(・)はそれぞれ単調増加関数であることを特徴とする請求項１１に記載の動画データのノイズ除去方法。
  14. 前記全体的な動きが補償されたシーンチェンジ／動き検出ベースのフィルタリング工程は、
    Figure 2005176388
    Figure 2005176388
    Figure 2005176388
    を満足し、
    Figure 2005176388
    は時間領域フィルタリングされた結果であり、Ｗs(ｋ)はシーンチェンジが起きない範囲内でフィルタリングするための加重値であり、ｍvk及びｍhkはｎ番目フレームとｋ番目フレーム間の全体的な動きベクトルをそれぞれ示し、Ｚは正規化のための定数であることを特徴とする請求項１１に記載の動画データのノイズ除去方法。
  15. 動画デジタルデータに含まれたノイズを除去する動画デジタルデータのノイズ除去方法において、
    各画素の輝度成分及び色相成分に対して空間領域フィルタリングをする工程と、
    前記空間領域フィルタリングを行った結果、データに対して動き検出に基づいた時間領域フィルタリングを行う工程と、を具備し、
    前記空間領域フィルタリングを行う工程は、
    各画素の色相成分に対して空間領域フィルタリングを行って特定ローカルマスク内で代表値を求める工程及び各画素の輝度成分に対する空間領域フィルタリングを行ってエッジを保存する工程を具備し、
    前記時間領域フィルタリング工程は、
    フレームにシーンチェンジがあるか否かを検出する工程、フレーム間の全体的な動きを推定し、各画素に対して全体的な動き軌跡に沿って動きを検出して時間領域でのノイズの相対的サイズを推定する工程、映像の輝度成分の動き検出のための加重値及び映像の色相成分の動き検出のための加重値を求める工程及びシーンチェンジが起きない範囲内でフィルタリングするための加重値、前記ノイズの相対的サイズ、前記映像の輝度成分の動き検出のための加重値、前記映像の色相成分の動き検出のための加重値及び正規化のための定数の全部または一部を利用して全体的な動きが補償されたシーンチェンジ／動き検出ベースフィルタリング工程を具備することを特徴とする動画デジタルデータのノイズ除去方法。
  16. 前記エッジを保存する工程は、
    所定のノイズ適応的なエッジ臨界値を利用して各画素のエッジ適応的な代表値を求める工程と、
    前記ノイズ適応的なエッジ臨界値を利用して生成した所定のノイズ適応的な加重値及び前記エッジ適応的な代表値を利用して各映像の散布度値を推定する工程と、
    入力映像と前記エッジ適応的な代表値との差分映像を求める工程と、
    前記映像の散布度値とノイズ成分に対する散布度値とを比較して加重値を求めて前記差分映像に適用する工程と、
    前記エッジ適応的な代表値に前記加重値が適用された差分映像を加算する工程と、を具備し、
    前記代表値は、
    平均値または中間値であり、
    前記散布度値は、
    分散または標準偏差であることを特徴とする請求項１５に記載の動画デジタルデータのノイズ除去方法。
JP2004360468A 2003-12-11 2004-12-13 動画データのノイズ除去方法 Active JP4887544B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20030090032A KR100564592B1 (ko) 2003-12-11 2003-12-11 동영상 데이터 잡음제거방법
KR2003-090032 2003-12-11

Publications (2)

Publication Number Publication Date
JP2005176388A true JP2005176388A (ja) 2005-06-30
JP4887544B2 JP4887544B2 (ja) 2012-02-29

Family

ID=34651367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004360468A Active JP4887544B2 (ja) 2003-12-11 2004-12-13 動画データのノイズ除去方法

Country Status (5)

Country Link
US (1) US7369181B2 (ja)
JP (1) JP4887544B2 (ja)
KR (1) KR100564592B1 (ja)
CN (1) CN100539692C (ja)
TW (1) TWI275042B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102150421A (zh) * 2008-12-22 2011-08-10 松下电器产业株式会社 图像噪声去除装置及方法
US8335391B2 (en) 2006-11-15 2012-12-18 Fujitsu Semiconductor Limited Image processing apparatus and method for target pixel noise reduction
JP2014165874A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346226B2 (en) * 2003-12-16 2008-03-18 Genesis Microchip Inc. Method and apparatus for MPEG artifacts reduction
US7499494B2 (en) * 2003-12-23 2009-03-03 Genesis Microchip Inc. Vector selection decision for pixel interpolation
US7457438B2 (en) * 2003-12-23 2008-11-25 Genesis Microchip Inc. Robust camera pan vector estimation using iterative center of mass
US7480334B2 (en) * 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
US7724307B2 (en) * 2004-07-28 2010-05-25 Broadcom Corporation Method and system for noise reduction in digital video
US7643088B2 (en) * 2004-12-01 2010-01-05 Hewlett-Packard Development Company, L.P. Artifact reduction in a digital video
KR20060070400A (ko) * 2004-12-20 2006-06-23 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US7590303B2 (en) * 2005-09-29 2009-09-15 Samsung Electronics Co., Ltd. Image enhancement method using local illumination correction
KR101225056B1 (ko) * 2006-01-27 2013-01-23 삼성전자주식회사 이미지 센서 노이즈 저감 장치 및 방법
BRPI0707346A2 (pt) * 2006-01-31 2011-05-03 Thomson Licensing métodos e aparelho para filtração espaço-temporal baseada em borda
CN101379829B (zh) * 2006-02-02 2016-05-18 汤姆逊许可公司 用于运动补偿预测的自适应加权选择的方法和设备
TWI324013B (en) * 2006-02-22 2010-04-21 Huper Lab Co Ltd Video noise reduction method using adaptive spatial and motion-compensation temporal filters
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
TWI326189B (en) 2006-05-19 2010-06-11 Novatek Microelectronics Corp Method and apparatus for suppressing cross-color in a video display device
US20080099675A1 (en) * 2006-10-31 2008-05-01 Hitachi High-Technologies Corporation Inspection apparatus and an inspection method
US7653626B2 (en) * 2006-11-03 2010-01-26 Mediatek Inc. Method for detecting regularly appearing patterns
KR101298642B1 (ko) * 2006-11-21 2013-08-21 삼성전자주식회사 영상 잡음 제거 방법 및 장치
KR100856411B1 (ko) * 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
US9633426B2 (en) * 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
JP4850689B2 (ja) * 2006-12-22 2012-01-11 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体
US8339516B2 (en) * 2007-03-31 2012-12-25 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
KR20080095084A (ko) * 2007-04-23 2008-10-28 삼성전자주식회사 영상 잡음 제거 장치 및 방법
JP5050637B2 (ja) * 2007-05-11 2012-10-17 ソニー株式会社 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
US8031967B2 (en) * 2007-06-19 2011-10-04 Microsoft Corporation Video noise reduction
TWI466093B (zh) 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
TWI479891B (zh) 2007-06-26 2015-04-01 Apple Inc 動態背光調適
CN101335826B (zh) * 2007-06-28 2011-06-29 联詠科技股份有限公司 用于视讯处理系统的噪声消除装置
US9177509B2 (en) * 2007-11-30 2015-11-03 Sharp Laboratories Of America, Inc. Methods and systems for backlight modulation with scene-cut detection
CN101453559B (zh) * 2007-12-04 2010-12-08 瑞昱半导体股份有限公司 视频信号的噪声检测方法及装置
US8766902B2 (en) * 2007-12-21 2014-07-01 Apple Inc. Management techniques for video playback
US8447130B2 (en) * 2007-12-31 2013-05-21 Intel Corporation History-based spatio-temporal noise reduction
US20090268098A1 (en) * 2008-02-04 2009-10-29 Jean-Yves Babonneau Method for detection of scene changes in a video picture sequence
US8731062B2 (en) * 2008-02-05 2014-05-20 Ntt Docomo, Inc. Noise and/or flicker reduction in video sequences using spatial and temporal processing
CN101527035B (zh) * 2008-03-07 2012-06-27 瑞昱半导体股份有限公司 图像噪声的检测方法
FR2929737A1 (fr) * 2008-04-02 2009-10-09 Thomson Licensing Sas Procede de detection de changement de scene dans une sequence d'images video.
FR2929736A1 (fr) * 2008-04-02 2009-10-09 Thomson Licensing Sas Procede de detection de changement de scene dans une sequence d'images video.
EP2120448A1 (en) 2008-05-14 2009-11-18 Thomson Licensing Method of processing of a compressed image into a gamut mapped image using spatial frequency analysis
US20100158320A1 (en) * 2008-12-19 2010-06-24 Himax Technologies Limited Method of motion detection using content adaptive penalty function
CN101448077B (zh) * 2008-12-26 2010-06-23 四川虹微技术有限公司 一种自适应视频图像3d降噪方法
JP4640508B2 (ja) * 2009-01-09 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び撮像装置
CN101546425B (zh) * 2009-05-05 2011-04-13 广东工业大学 双阈值开关型彩色图像矢量滤波方法
KR101590767B1 (ko) * 2009-06-09 2016-02-03 삼성전자주식회사 영상 처리 장치 및 방법
US8345130B2 (en) * 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
KR101114698B1 (ko) * 2010-01-29 2012-02-29 삼성전자주식회사 이미지 특성에 따라 에지를 강조하기 위한 이미지 생성 장치 및 방법
EP2413586B1 (en) 2010-07-26 2014-12-03 Sony Corporation Method and device for adaptive noise measurement of a video signal
US9560372B2 (en) * 2010-12-27 2017-01-31 Stmicroelectronics, Inc. Directional motion vector filtering
TWI488494B (zh) 2011-04-28 2015-06-11 Altek Corp 多畫面的影像降噪方法
CN102256048B (zh) * 2011-07-19 2013-04-03 南京信息工程大学 一种自适应密度的图像椒盐噪声开关滤波方法
US9215355B2 (en) 2011-09-30 2015-12-15 Apple Inc. Scene adaptive temporal filtering
CN103051888B (zh) * 2011-10-14 2015-07-29 华晶科技股份有限公司 产生动态影像的影像处理方法及其影像获取装置
CN104246823A (zh) * 2011-11-24 2014-12-24 汤姆逊许可公司 基于图像内容的伪像检测方案的方法和装置
CN102629970B (zh) * 2012-03-31 2015-01-21 广东威创视讯科技股份有限公司 视频图像的噪点去除方法和系统
US9326008B2 (en) 2012-04-10 2016-04-26 Google Inc. Noise reduction for image sequences
KR101929494B1 (ko) 2012-07-10 2018-12-14 삼성전자주식회사 영상 처리 방법 및 장치
TWI536319B (zh) * 2014-06-24 2016-06-01 瑞昱半導體股份有限公司 去雜訊方法以及影像系統
KR20240017978A (ko) * 2016-01-29 2024-02-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 광 레벨 적응 필터 및 방법
US10043252B2 (en) * 2016-06-14 2018-08-07 Intel Corporation Adaptive filtering with weight analysis
CN108632502B (zh) * 2017-03-17 2021-04-30 深圳开阳电子股份有限公司 一种图像锐化的方法及装置
WO2019079398A1 (en) 2017-10-18 2019-04-25 Gopro, Inc. CHROMINANCE DENGING
KR102453392B1 (ko) * 2018-02-27 2022-10-07 에스케이텔레콤 주식회사 이동체를 고려한 영상 잡음 제거 방법 및 그를 위한 장치
CN108765322B (zh) * 2018-05-16 2021-04-27 上饶师范学院 图像去噪方法及装置
CN109767385B (zh) * 2018-12-20 2023-04-28 深圳市资福医疗技术有限公司 一种去除图像色度噪声的方法和装置
TWI735959B (zh) * 2019-09-26 2021-08-11 瑞昱半導體股份有限公司 影像處理電路與方法
CN113469889B (zh) * 2020-03-30 2023-08-25 杭州海康威视数字技术股份有限公司 一种图像降噪的方法及装置
CN111667422A (zh) * 2020-05-25 2020-09-15 东华大学 一种基于综合滤波器的图像/视频目标检测结果增强方法
CN113055669B (zh) * 2021-01-15 2023-01-17 北京博雅慧视智能技术研究院有限公司 一种编码前的图像滤波方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187441A (ja) * 1992-09-14 1994-07-08 Thomson Consumer Electron Sa ノイズ低減方法及び装置
JPH10262160A (ja) * 1997-03-18 1998-09-29 Nippon Hoso Kyokai <Nhk> Ｓｎ比検出装置および雑音低減装置
JPH11196295A (ja) * 1997-12-26 1999-07-21 Hitachi Ltd ノイズ低減回路
JP2000331152A (ja) * 1999-05-18 2000-11-30 Matsushita Electric Ind Co Ltd 画像処理装置
JP2001189944A (ja) * 1999-12-28 2001-07-10 Sony Corp 撮像装置
WO2003005705A1 (en) * 2001-06-29 2003-01-16 Sungjin C & C, Ltd.(Representative: Lim, Byeong-Jin) Method of adaptive noise smoothing/restoration in spatio-temporal domain and high-definition image capturing device thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4745458A (en) * 1984-11-21 1988-05-17 Hitachi, Ltd. Television signal processing system
US5585859A (en) * 1994-05-17 1996-12-17 The University Of British Columbia System for reducing beat type impairments in a TV signal
GB2303513B (en) 1995-07-21 1999-09-29 Innovision Res Ltd Improved correlation processing for motion estimation
US6281942B1 (en) 1997-08-11 2001-08-28 Microsoft Corporation Spatial and temporal filtering mechanism for digital motion video signals
JP3621288B2 (ja) * 1999-04-16 2005-02-16 シャープ株式会社 画像処理装置
US6697109B1 (en) * 1999-05-06 2004-02-24 Sharp Laboratories Of America, Inc. Method and system for field sequential color image capture
EP1209624A1 (en) 2000-11-27 2002-05-29 Sony International (Europe) GmbH Method for compressed imaging artefact reduction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187441A (ja) * 1992-09-14 1994-07-08 Thomson Consumer Electron Sa ノイズ低減方法及び装置
JPH10262160A (ja) * 1997-03-18 1998-09-29 Nippon Hoso Kyokai <Nhk> Ｓｎ比検出装置および雑音低減装置
JPH11196295A (ja) * 1997-12-26 1999-07-21 Hitachi Ltd ノイズ低減回路
JP2000331152A (ja) * 1999-05-18 2000-11-30 Matsushita Electric Ind Co Ltd 画像処理装置
JP2001189944A (ja) * 1999-12-28 2001-07-10 Sony Corp 撮像装置
WO2003005705A1 (en) * 2001-06-29 2003-01-16 Sungjin C & C, Ltd.(Representative: Lim, Byeong-Jin) Method of adaptive noise smoothing/restoration in spatio-temporal domain and high-definition image capturing device thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335391B2 (en) 2006-11-15 2012-12-18 Fujitsu Semiconductor Limited Image processing apparatus and method for target pixel noise reduction
CN102150421A (zh) * 2008-12-22 2011-08-10 松下电器产业株式会社 图像噪声去除装置及方法
JP2014165874A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
CN100539692C (zh) 2009-09-09
US20050128355A1 (en) 2005-06-16
TW200529101A (en) 2005-09-01
TWI275042B (en) 2007-03-01
KR20050057829A (ko) 2005-06-16
JP4887544B2 (ja) 2012-02-29
US7369181B2 (en) 2008-05-06
KR100564592B1 (ko) 2006-03-28
CN1665298A (zh) 2005-09-07

Similar Documents

Publication Publication Date Title
JP4887544B2 (ja) 動画データのノイズ除去方法
KR100754181B1 (ko) 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치
KR101350853B1 (ko) 이미지들에서 아티팩트들을 감소시키기 위한 장치 및 방법
US8553783B2 (en) Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences
US7668397B2 (en) Apparatus and method for objective assessment of DCT-coded video quality with or without an original video sequence
US7076113B2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
US6819804B2 (en) Noise reduction
KR100624421B1 (ko) 디지탈 영상 신호 필터링 장치 및 방법
JP3810392B2 (ja) 場面転換検出装置及びその方法
US6535254B1 (en) Method and device for noise reduction
JP4858609B2 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
US7046307B1 (en) Video signal noise level estimator
US9959599B2 (en) System for enhanced images
US20160343113A1 (en) System for enhanced images
US8184721B2 (en) Recursive filtering of a video image
Dai et al. Color video denoising based on combined interframe and intercolor prediction
Tenze et al. Design and real-time implementation of a low-cost noise reduction system for video applications
JP6797400B2 (ja) カラーデバンディング処理とその最適パラメータ学習方法
JP2009095004A (ja) 画像シーケンス中の画素をフィルタリングする方法
JP7004351B2 (ja) カラーデバンディング処理に関する装置と画像処理システムと処理プログラムと記憶媒体
JP2013500666A (ja) 信号フィルタリング方法及びフィルタ係数計算方法
RU2621635C1 (ru) Метод предварительной обработки потоковых видеоданных для повышения устойчивости интеллектуальной обработки
Zlokolica et al. Wavelet based motion compensated filtering of color video sequences
Ponomaryov et al. Order statistics vector directional filters to process multichannel images
WO1998046009A1 (en) Method and device for noise reduction

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071205

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101013

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101115

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111021

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111101

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

R150 Certificate of patent or registration of utility model

Ref document number: 4887544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250