JP2009077393A - ノイズ除去装置，ノイズ除去方法及びノイズ除去プログラム - Google Patents

Abstract

【課題】カラー信号に対するコアリング処理に際し，色信号間の相関を考慮して複数のコアリング幅を設定したコアリング処理を施すことで，不自然なアーティファクトの発生を防ぐことのできるノイズ除去装置を提供する。
【解決手段】本発明に係るノイズ除去装置は，映像信号を少なくとも2つ以上の帯域信号に分解する分解部１０９と，少なくとも１つ以上の前記帯域信号毎に複数のコアリング範囲を設定するパラメータ設定部１０７と，前記帯域信号毎に前記複数のコアリング範囲に基づきコアリング処理を行うコアリング部１０８を備える。
【選択図】図１

Description

本発明は画像処理に関し，特に画像のノイズを除去する技術に関する。

画像信号に含まれるノイズ信号を除去するノイズ除去装置において，多重解像度変換を用いたノイズ除去方法が広く知られている。多重解像度変換は画像信号をフィルタバンクやラプラシアンピラミッドの手法を用いて複数の周波数帯域の信号に分割するものであり，ノイズ除去においては分割した帯域それぞれに適した強度のノイズ除去処理を行うことができるという利点を有する。

特許文献１においては，多重解像度変換手法としてウェーブレット変換を用いたノイズ低減処理が開示されている。これは原画像データに対してウェーブレット変換を施し，複数の周波数帯域成分を得た後，帯域成分毎にコアリング処理を行うことでノイズ低減処理を施す。コアリング後の帯域成分は逆ウェーブレット変換により再合成し，ノイズ低減処理がなされた画像データを得る。
特開平9-212623号公報

上述の特開平9-212623号公報に記載されたものは，帯域成分に対するコアリングにより，信号値の絶対値が所定の閾値以下の場合，強制的に０とする。前記手法は放射線画像等の輝度信号に対するものであり，カラー信号に適用する場合は色信号毎に独立に処理がかかる。このため，色信号毎の相関性が考慮されず，コアリングにより相関が崩れる結果，エッジ部に偽色などの不自然なアーティファクトが発生しやすいという課題がある。

本発明は上記事情を鑑みてなされたものであり，カラー信号に対するコアリング処理に際し，色信号間の相関を考慮して複数のコアリング幅を設定したコアリング処理を施すことで，不自然なアーティファクトの発生を防ぐことのできるノイズ除去装置を提供することを目的としている。

本発明に係るノイズ除去装置，ノイズ除去方法及びノイズ除去プログラムは，映像信号を少なくとも2つ以上の帯域信号に分解し，少なくとも１つ以上の前記帯域信号に関して複数のコアリング範囲を設定し，前記複数のコアリング範囲に基づきコアリング処理を行う。

本発明によれば，多重解像度変換を用いたノイズ低減に際し，偽色などのアーティファクトの発生を抑制した高画質なノイズ除去処理が可能となる。

以下，添付図面を参照しながら本発明の実施形態について説明する。

図１は本発明に係る撮像装置のシステム構成図であり，光学系１０１，撮像素子１０２，A/D変換部（以下，A/D）１０３，信号処理部１０４，バッファ１０５，分解部１０９，バッファ１１０，ノイズ推定部１０６，パラメータ設定部１０７，コアリング部１０８，合成部１１３，出力部１１４，システムコントローラ１００からなる。

撮像素子１０２はA/D１０３を介して信号処理部１０４へ接続されている。信号処理部１０４はバッファ１０５へ接続されている。バッファ１０５は分解部１０９へ接続されている。分解部１０９はノイズ推定部１０６，バッファ１１０へ接続されている。ノイズ推定部１０６，バッファ１１０はパラメータ設定部１０７へ接続されている。パラメータ設定部１０７はコアリング部１０８に接続されている。バッファ１１０はコアリング部１０８に双方向に接続されている。バッファ１１０は合成部１１３を介して出力部１１４へ接続されている。

各処理部はシステムコントローラ１００に接続しており，システムコントローラ１００により動作を制御される。実線はデータ信号線，破線は制御信号線を表している。

撮像素子１０２は，システムコントローラ１００の制御に基づき，光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。前記アナログ画像信号はA/D１０３へ転送される。

なお，撮像素子１０２は色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子１０２は，単板方式，多板方式のいずれでも良い。

A/D１０３はアナログ画像信号をデジタル信号に変換し，信号処理部１０４へ転送する。

信号処理部１０４はデジタル信号に対し所定の信号処理を施し，所定の階調のカラー三板画像信号（以降，原画像信号I）を生成する。

原画像信号IはR，G，Bの各色信号により構成されている。各色信号は以降，Ir，Ig，Ibと呼称する。原画像信号Iはバッファ１０５へ一時的に記憶された後，分解部１０９へ転送される。

分解部１０９は，システムコントローラ１００の制御に基づき，バッファ１０５に記憶されている原画像信号Iを読み出して，各色信号Ir，Ig，Ibに対し所定のｎ段階（ｎは１以上の整数）の多重解像度分解を行い，分解の段階数ｉ（ｉは１以上ｎ以下の整数）の高周波成分，低周波成分を生成し，バッファ１１０，ノイズ推定部１０６へ記録する。多重解像度分解の詳細については後述する。

なお本実施形態における多重解像度分解は、Harr基底による直交ウェーブレット変換を行っているが、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。

ノイズ推定部１０６は，システムコントローラ１００の制御に基づき，分解部１０９から高周波成分、低周波成分を読み出し，あらかじめ設定したノイズ量のモデルを用いて，各色信号の高周波成分に対して画素毎にノイズ量を推定し，パラメータ設定部１０７へ転送する。ノイズ量推定の詳細については後述する。

パラメータ設定部１０７は，システムコントローラ１００の制御に基づき，ノイズ推定部１０６からノイズ量を，バッファ１１０から分解の段階数ｉ（ｉは１以上ｎ以下の整数）の高周波成分，低周波成分を読み込む。

読み込んだノイズ量，高周波成分，低周波成分に基づき，後述するコアリング部１０８でのコアリング処理において適用される種々のパラメータを設定し，これをコアリング部１０８へ転送する。

ここで，コアリング処理とは，典型的には，入力信号が下限閾値，上限閾値により設定されたコアリング範囲以内に属する場合に，その信号値を一律ゼロとし，コアリング範囲を外れる場合には閾値だけ減算，または加算した信号値とするような処理をさしている。

前述のパラメータは，後段のコアリング部１０８において，色信号Ir，Ig，Ibを分解した高周波成分に対するコアリング処理時に適用されるものであり，コアリング処理において入力される信号値を所定の値に変換する変換関数を規定するものである。

ただし，一般にコアリング範囲（すなわち下限閾値，上限閾値）は変換関数内に一つ設定されるが，本実施形態における変換関数は複数のコアリング範囲（複数の下限閾値，上限閾値の組，および各コアリング範囲に対応する出力値）を設ける構成となっている。またパラメータの設定は，各色信号独立に行われるわけではなく，コアリング処理対象の色信号とその他の色信号間の相関性を考慮した設定がなされる。

コアリング部１０８は，システムコントローラ１００の制御に基づき，バッファ１１０から分解の段階数iの高周波成分，パラメータ設定部１０７から各高周波成分に対応する前述の複数のコアリング範囲を有する変換関数を規定する種々のパラメータを読み込み，読み込んだ高周波成分に対し，特定の信号値を一定値に変換するコアリング処理を施すことでノイズ低減処理を実施する。

パラメータ設定方法，及びコアリング処理については後述する。なお，このコアリング部１０８にてノイズ低減された各高周波成分はバッファ１１０へ転送され，補正前の高周波成分に上書きされるようになっている。

合成部１１３は，システムコントローラ１００の制御に基づき，全ての分解の段階数の高周波成分に対するノイズ低減が完了した後に，バッファ１１０から上記低周波成分および上記各補正処理がなされた高周波成分を読み込んで，多重解像度合成処理を行うことで，補正された画像信号を合成する。

多重解像度合成処理の詳細については後述する。

合成した映像信号は，出力部１１４へ転送される。出力部１１４は合成した映像信号に対して公知の圧縮処理などを行った後，メモリカードなどの記録媒体へ記録して保存する。

［分解部］
次に，図２を参照して，分解部１０９の構成について説明する。

この分解部１０９は，データ読取部２００と，バッファ２０１と，水平ハイパスフィルタ２０２と，水平ローパスフィルタ２０３と，サブサンプラ２０４と，サブサンプラ２０５と，垂直ハイパスフィルタ２０６と，垂直ローパスフィルタ２０７と，垂直ハイパスフィルタ２０８と，垂直ローパスフィルタ２０９と，サブサンプラ２１０と，サブサンプラ２１１と，サブサンプラ２１２と，サブサンプラ２１３と，切換部２１４と，データ転送制御部２１５と，基底関数ＲＯＭ２１６と，フィルタ係数読取部２１７とを含んでいる。

バッファ１０５は，データ読取部２００を介して，バッファ２０１へ接続されている。バッファ２０１は，水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。水平ハイパスフィルタ２０２は，サブサンプラ２０４を介して，垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は，サブサンプラ２０５を介して，垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。垂直ハイパスフィルタ２０６はサブサンプラ２１０へ，垂直ローパスフィルタ２０７はサブサンプラ２１１へ，垂直ハイパスフィルタ２０８はサブサンプラ２１２へ，垂直ローパスフィルタ２０９はサブサンプラ２１３へ，それぞれ接続されている。サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２，サブサンプラ２１３は，切換部２１４へそれぞれ接続されている。サブサンプラ２１３は，さらに，データ転送制御部２１５へも接続されている。切換部２１４は，バッファ１１０へ接続されている。データ転送制御部２１５は，バッファ２０１へ接続されている。基底関数ＲＯＭ２１６は，フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は，水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９へそれぞれ接続されている。

基底関数ＲＯＭ２１６には，Harr関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の，例えば，Harr関数におけるハイパスフィルタの係数を式（１）に，ローパスフィルタの係数を式（２）に，それぞれ示す。

なお，これらのフィルタ係数は，水平方向と垂直方向とに共通して用いられる。

フィルタ係数読取部２１７は，基底関数ＲＯＭ２１６からフィルタ係数を読み込んで，水平ハイパスフィルタ２０２，垂直ハイパスフィルタ２０６，垂直ハイパスフィルタ２０８へハイパスフィルタ係数を，水平ローパスフィルタ２０３，垂直ローパスフィルタ２０７，垂直ローパスフィルタ２０９へローパスフィルタ係数を，それぞれ転送する。

こうして，各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に，データ読取部２００は，バッファ１０５から原画像信号Iを読み込んで，バッファ２０１へ転送する。

バッファ２０１上の原画像信号Iは，水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９によって水平および垂直方向のフィルタリング処理がなされる。

ここで，サブサンプラ２０４，サブサンプラ２０５は，入力映像信号を水平方向に１／２にサブサンプリングし，サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２，サブサンプラ２１３は入力映像信号を垂直方向に１／２にサブサンプリングする。

従って，サブサンプラ２１０の出力は水平垂直両方向の高周波成分ＨＨv１を，サブサンプラ２１１の出力は水平方向の高周波成分Ｈh１を，サブサンプラ２１２の出力は垂直方向の高周波成分Ｈv１を，サブサンプラ２１３の出力は低周波成分LL1を，それぞれ与えることになる。

切換部２１４は，上記３つの高周波成分ＨＨv１，Ｈh１，Ｈv１と低周波成分LL1とを，バッファ１１０へ順次転送する。

また，データ転送制御部２１５は，サブサンプラ２１３からの低周波成分LL1をバッファ２０１へ転送する。

こうしてバッファ２０１上に記憶された低周波成分LL1は，上述と同様のフィルタリング処理により２段階目の分解が行われて，３つの高周波成分ＨＨv2，Ｈh2，Ｈv2と低周波成分LL２とが出力される。

上述したような過程は，所定のｎ段階の分解が行われるまで反復されるように制御される。ｎ段階の分解が終了すると，バッファ１１０には，高周波成分ＨＨvi，Ｈhi，Ｈviおよび低周波成分LLi（ｉ＝１〜ｎ）が保存されることになる。

［ノイズ推定部］
次に，図３を参照して，ノイズ推定部１０６におけるノイズ量の推定方法について説明する。

ノイズ推定部１０６では，原画像信号Iに対し，あらかじめ実測に基づき測定された信号レベル−ノイズモデル（以降，ノイズモデル）が記録され，ノイズモデルを参照することで，原画像信号Iの信号値に対するノイズ量σを推定する。

以下ノイズモデルについて説明する。

ノイズ量σは，A/D１０３変換直後の信号レベルに対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと，式（３）が得られる。

ここで，α，β，γは定数項であり，L₀はA/D１０３変換直後の信号レベルを表す。しかしながら，ノイズ量σは信号レベルだけではなく，素子の温度やゲインによっても変化する。図３は，一例として，ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）１００，２００，４００に対するノイズ量σをプロットしている。個々の曲線は式（３）に示される形態をしているが，その係数はゲインに関連するISO感度により異なる。温度をt，ゲインをgとし，上記を考慮した形でノイズモデルの定式化を行うと式（４ａ）と表すことができる。

となる。ここで，α_gt，β_gt，γ_gtは温度t，ゲインgに応じて決まる定数項である。カラー映像信号の場合，このノイズモデルは各色信号に対して独立に適用する。

また，ウェーブレット変換により分解された各色信号それぞれに対する各高周波成分に関しても同様に，式（４ｂ）に示すようなノイズモデルを構築することが可能である。

ここでLLⁱは分解の段階iの低周波成分の信号値を表す。

ノイズ推定部１０６では，各色信号の低周波成分毎の信号値（通常は注目画素を含む近傍領域での信号値の平均）に基づいて，上述のノイズモデルを参照することで，ノイズ量σを推定し，パラメータ設定部１０７へ転送する。同時に対象としているノイズモデルが取るノイズ量σの最大値σmax（例えば図３においてはL=250付近で最大のノイズ量σの値をとり，この場合250をσmaxとする）もパラメータ設定部１０７へ転送する。

［パラメータ設定］
次に，図４を参照して，パラメータ設定部１０７の動作の詳細について説明する。

パラメータ設定部１０７はパラメータ算出部３００，色差・色和算出部３０１，変換関数規定部３０２を含んでいる。

バッファ１１０は色差・色和算出部３０１に接続されている。ノイズ推定部１０６，色差・色和算出部３０１はパラメータ算出部３００へ接続されている。パラメータ算出部３００は変換関数規定部３０２へ接続されている。変換関数規定部３０２はコアリング部１０８へ接続されている。

パラメータ設定部１０７では，ノイズ推定部１０６からノイズ量，およびノイズ量の最大値を，バッファ１１０から各色信号に対する高周波成分を取得する。はじめにノイズ量，ノイズ量最大値，高周波成分に基づきコアリング処理に用いるパラメータを設定する。設定したパラメータを用いて，高周波成分に対しコアリング処理を行う。

ここでは例として，色信号Igの高周波成分に対しパラメータを設定する場合について説明する。

まず，色差・色和算出部３０１はバッファ１１０から色信号Ir，Ig，Ibに対する高周波成分Hrⁱ，Hgⁱ，Hbⁱ（iは分解の段階数）を取得する。Hrⁱ，Hgⁱ，Hbⁱから注目画素を中心とする所定サイズの矩形領域（本実施例では周囲５×５近傍）の信号値ブロックを抽出する。

次に抽出したブロックに属する信号値を用いて，式（５）で定義される色差Cr，Cb，色和Ar，Abを算出する。

ここでHrⁱ _k，Hg^v _k，Hbⁱ _kは上記ブロック内に属するHrⁱ，Hgⁱ，Hbⁱの各信号値であり，Kは信号値の個数を示している。算出した色差Cr，Cb，色和Ar，Abはパラメータ算出部３００へ転送される。

パラメータ算出では色差CrとCbを比較し，大きい方の値を選択してCとする。Cに基づきコアリング位置設定用のパラメータα'をFc(C)（α'：０〜１）として設定する。

ここでFc()は，予め求め記録しておいた色差の最大値Cmaxに基づいて，入力値を０〜１の範囲に正規化する所定の関数である。

同様に，色和ArとAbを比較し，大きい方の値を選択してAとする。Aに基づきコアリング位置設定用のパラメータβ'をFa(A)（β'：０〜１）として設定する。

ここでFa()は，予め求め記録しておいた色和の最大値Amaxに基づいて，入力値を０〜１の範囲に正規化する所定の関数である。

また，パラメータ算出部３００はノイズ推定部１０６からノイズ量σ，及びノイズ量最大値σmaxを取得する。ノイズ量σ，及びノイズ量最大値σmaxに基づき，式（６）で定義されるコアリング幅調整のためのパラメータλを設定する。

ここでλcは所定の定数である。λはノイズレベルが高くなるほど，大きくなるように設定されている。

以上のように算出したパラメータα'，β'，λは変換関数規定部３０２へ転送される。

変換関数規定部３０２では，パラメータα'，β'，λ，及びHrⁱ，Hgⁱ，Hbⁱに基づきコアリングに適用される変換関数を規定する。

HrⁱとHbⁱの符号が一致し，Hrⁱ>0，Hbⁱ>0，Hrⁱ>Hbⁱの場合は，変換関数を，例えば式（７ａ）のような複数の区間W^j（j=0〜10）から構成される折線関数により規定する。

ここで，Tb^j，Tu^jは区間W^jの下限値，上限値を，Hgⁱ'^jは出力値を表しており，α'，β'，λ，及びHrⁱ，Hgⁱ，Hbⁱに基づいて算出される。

ここで，区間W¹，W³，W⁵，W⁷のように出力が一定値の区間をコアリング範囲区間と定義し，変換関数内には複数のコアリング範囲区間が設定されるものとする。

変換関数は連続しており，また非コアリング範囲区間における関数の傾きを１と固定しているため，コアリング範囲区間における下限値，上限値，及び出力値がわかれば，その他の非コアリング範囲区間における出力値も一意に算出することが可能である。

また，非コアリング範囲区間における変換関数と一次関数Hgⁱ'^j=Hgⁱとの差分は傾きがいずれも１であるため，区間内においては，一定値となる。

本実施例においては，コアリング部１０８における変換関数規定のため，コアリング範囲区間に関する下限値，上限値，及び出力値とともに，非コアリング範囲区間における下限値，上限値，及び，非コアリング範囲区間における変換関数と上記一次関数Hgⁱ'^j=Hgⁱとの差分値を，コアリング部１０８へ転送する。

図５（a）に式（７ａ）により規定される変換関数を示す。

また，Hrⁱ>0，Hbⁱ>0，Hrⁱ<Hbⁱの場合は，式（７ａ）において，HbⁱをHrⁱ，HrⁱをHbⁱに置換することにより，コアリング範囲区間，及び出力値を算出することができる。

Hrⁱ<0，Hbⁱ<0，|Hrⁱ|>|Hbⁱ|の場合は，式（７ａ）において，Hbⁱを-Hbⁱ，Hrⁱを-Hrⁱ，α'をβ'，β'をα'に置換することによりコアリング範囲区間，及び出力値を算出することができる。

Hrⁱ<0，Hbⁱ<0，|Hrⁱ|<|Hbⁱ|の場合は，式（７ａ）において，Hbⁱを-Hrⁱ，Hrⁱを-Hbⁱ，α'をβ'，β'をα'に置換することによりコアリング範囲区間，及び出力値を算出することができる。

HrⁱとHbⁱの符号が一致せず，Hrⁱ>0，Hbⁱ<0，|Hrⁱ|>|Hbⁱ|の場合は，変換関数を，例えば式（７ｂ）のように規定する。上述と同様にコアリング範囲区間に対する下限値，上限値，及び出力値とともに，非コアリング範囲区間に対する下限値，上限値，及び，非コアリング範囲区間における変換関数と一次関数Hgⁱ'^j=Hgⁱとの差分値をコアリング部へ転送する。

図５（b）に式（７ｂ）により規定される変換関数を示す。

また，Hrⁱ>0，Hbⁱ<0，|Hrⁱ|<|Hbⁱ|の場合は，式（７ｂ）において，Hrⁱを-Hbⁱ，-HbⁱをHrⁱ，α'をβ'，β'をα'に置換することによりコアリング範囲区間，及び出力値を算出することができる。

Hrⁱ<0，Hbⁱ>0，|Hrⁱ|>|Hbⁱ|の場合は，式（７ｂ）において，-HbⁱをHbⁱ，Hrⁱを-Hrⁱ，α'をβ'，β'をα'に置換することによりコアリング範囲区間，及び出力値を算出することができる。

Hrⁱ<0，Hbⁱ>0，|Hrⁱ|<|Hbⁱ|の場合は，式（７ｂ）において，HrⁱをHbⁱ，-Hbⁱを-Hrⁱに置換することによりコアリング範囲区間，及び出力値を算出することができる。

他のHrⁱ，Hbⁱに対するコアリングの変換関数については，Hgⁱの変換関数に対し，Hrⁱ，Hgⁱ，Hbⁱを入れ替えれば容易にHrⁱ，またはHbⁱに対する変換関数が算出可能でる。

また，上記の処理では色差，色和を考慮して変換関数を構成したが，色差のみを考慮する場合は式（７ａ），式（７ｂ）において，β'を０に置換したコアリング範囲区間，及び出力値を算出し，色和のみを考慮する場合は，α'を０に置換したコアリング範囲区間，及び出力値を算出し変換関数を規定すればよい。

以上のように，全てレベルの高周波成分に対して複数のコアリング範囲をもつ変換関数を算出し，これに基づくコアリングを行うことで，信号値の大きな（振幅の大きな）区間では，より強い平滑化がかかるようになり，また処理対象とする色信号値と，他の色信号値間の類似度が高い区間にコアリング範囲を設けることで，類似度の強い信号値を強制的に他の色信号値と置き換えるといった，色の相関性を考慮した平滑化が可能となる。

［コアリング部］
次に，図６を参照して，コアリング部１０８の動作の詳細について説明する。

コアリング部１０８は範囲特定部４００，加算・減算部４０１，置換部４０２を含んでいる。

パラメータ設定部１０７は範囲特定部４００，加算・減算部４０１，置換部４０２に接続されている。

バッファ１１０は範囲特定部４００に接続されている。範囲特定部４００は加算・減算部４０１，置換部４０２に接続されている。加算・減算部４０１，置換部４０２は合成部１１３へ接続されている。

まず，範囲特定部４００はパラメータ設定部１０７から前述のコアリング範囲区間に対する下限値，上限値を取得する。また，バッファ１１０から色信号毎の高周波成分を順次取得する。ここで高周波成分の信号値をコアリング範囲区間の下限値，上限値と比較し，コアリング範囲区間に属する場合は，高周波成分の信号値を置換部４０２へ転送する。コアリング範囲区間外に属する場合は，加算・減算部４０１へ転送する。

置換部４０２では，高周波成分の信号値が所属するコアリング範囲区間に対応する出力値をパラメータ設定部１０７から取得し，それを信号値として置換する。置換された信号値は合成部１１３へ転送される。

加算・減算部４０１ではパラメータ設定部１０７から上述の非コアリング範囲区間における変換関数と上記一次関数Hg'ⁿ=Hgとの差分値を取得し，それを高周波成分の信号値に対し，前述の差分値を加算し，これを合成部１１３へ転送する。

［合成部］
次に，図７を参照して，合成部１１３の作用について説明する。

合成部１１３は，データ読取部５００と，切換部５０１と，アップサンプラ５０２と，アップサンプラ５０３と，アップサンプラ５０４と，アップサンプラ５０５と，垂直ハイパスフィルタ５０６と，垂直ローパスフィルタ５０７と，垂直ハイパスフィルタ５０８と，垂直ローパスフィルタ５０９と，アップサンプラ５１０と，アップサンプラ５１１と，水平ハイパスフィルタ５１２と，水平ローパスフィルタ５１３と，バッファ５１４と，データ転送制御部５１５と，基底関数ＲＯＭ５１６と，フィルタ係数読取部５１７と，を含んでいる。

バッファ１１０は，データ読取部５００を介して切換部５０１へ接続されている。切換部５０１は，アップサンプラ５０２とアップサンプラ５０３とアップサンプラ５０４とアップサンプラ５０５とへそれぞれ接続されている。アップサンプラ５０２は垂直ハイパスフィルタ５０６へ，アップサンプラ５０３は垂直ローパスフィルタ５０７へ，アップサンプラ５０４は垂直ハイパスフィルタ５０８へ，アップサンプラ５０５は垂直ローパスフィルタ５０９へ，それぞれ接続されている。垂直ハイパスフィルタ５０６と垂直ローパスフィルタ５０７とは，アップサンプラ５１０へそれぞれ接続されている。垂直ハイパスフィルタ５０８と垂直ローパスフィルタ５０９とは，アップサンプラ５１１へそれぞれ接続されている。アップサンプラ５１０は水平ハイパスフィルタ５１２へ，アップサンプラ５１１は水平ローパスフィルタ５１３へ，それぞれ接続されている。水平ハイパスフィルタ５１２と水平ローパスフィルタ５１３とは，バッファ５１４へそれぞれ接続されている。バッファ５１４は，出力部１１４とデータ転送制御部５１５とへそれぞれ接続されている。データ転送制御部５１５は，切換部５０１へ接続されている。基底関数ＲＯＭ５１６は，フィルタ係数読取部５１７へ接続されている。フィルタ係数読取部５１７は，垂直ハイパスフィルタ５０６と垂直ローパスフィルタ５０７と垂直ハイパスフィルタ５０８と垂直ローパスフィルタ５０９と水平ハイパスフィルタ５１２と水平ローパスフィルタ５１３とへそれぞれ接続されている。

基底関数ＲＯＭ５１６には，Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。

フィルタ係数読取部５１７は，基底関数ＲＯＭ５１６からフィルタ係数を読み込んで，垂直ハイパスフィルタ５０６，垂直ハイパスフィルタ５０８，水平ハイパスフィルタ５１２へハイパスフィルタ係数を，垂直ローパスフィルタ５０７，垂直ローパスフィルタ５０９，水平ローパスフィルタ５１３へローパスフィルタ係数を，それぞれ転送する。

こうして，各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に，データ読取部５００は，バッファ１１０からコアリング処理がなされた三種類の高周波成分ＨＨv"n，Ｈh"n，Ｈv"nおよび低周波成分Ｌnを読み込んで，切換部５０１へ転送する。

切換部５０１は，高周波成分ＨＨv"nをアップサンプラ５０２を介して垂直ハイパスフィルタ５０６へ，高周波成分Ｈh"nをアップサンプラ５０３を介して垂直ローパスフィルタ５０７へ，高周波成分Ｈv"nをアップサンプラ５０４を介して垂直ハイパスフィルタ５０８へ，低周波成分Ｌnをアップサンプラ５０５を介して垂直ローパスフィルタ５０９へ，それぞれ転送し，垂直方向のフィルタリング処理を実行させる。

さらに，垂直ハイパスフィルタ５０６および垂直ローパスフィルタ５０７からの周波数成分はアップサンプラ５１０を介して水平ハイパスフィルタ５１２へ，垂直ハイパスフィルタ５０８および垂直ローパスフィルタ５０９からの周波数成分はアップサンプラ５１１を介して水平ローパスフィルタ５１３へ，それぞれ転送されて，水平方向のフィルタリング処理がなされる。水平ハイパスフィルタ５１２および水平ローパスフィルタ５１３からの周波数成分は，バッファ５１４へ転送されて一つに合成されることにより，補正処理がなされた低周波成分Ｌ"n-１が生成される。

ここで，アップサンプラ５０２，アップサンプラ５０３，アップサンプラ５０４，アップサンプラ５０５は入力周波数成分を垂直方向に２倍にアップサンプリングするものであり，アップサンプラ５１０，アップサンプラ５１１は入力周波数成分を水平方向に２倍にアップサンプリングするものである。

データ転送制御部５１５は，バッファ５１４から低周波成分Ｌ"n-１を読み出して，読み出した低周波成分Ｌ"n-１を切換部５０１へ転送する。

また，データ読取部５００は，バッファ１１０から補正処理がなされた三種類の高周波成分ＨＨv"n-１，Ｈh"n-１，Ｈv"n-１を読み込んで，切換部５０１へ転送する。

その後，分解の段階数ｎ−１の周波数成分に対して，上述と同様のフィルタリング処理がなされ，低周波成分Ｌ"n-2がバッファ５１４へ出力される。このような過程は，所定のｎ段階の合成が行われるまで反復される。こうしてバッファ５１４には，最終的に，補正処理がなされた低周波成分Ｌ”０が出力される。そしてバッファ５１４は，この低周波成分Ｌ”０を出力部１１４へ転送する。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。

例えば、本実施形態では、パラメータ設定部１０７において、コアリング幅調整のためのパラメータλをノイズ量σに基づく式（６）により設定したが、パラメータ設定部１０７を、図９に示すパラメータ設定部９００に置換することで、ML（Maximum Likelihood）推定によりλを設定する構成とすることもできる。

パラメータ設定部９００は、パラメータ設定部１０７からパラメータ算出部３００をパラメータ算出部９０１に置換した構成となっている。

バッファ１１０はパラメータ算出部９０１、色差・色和算出部３０１、変換関数規定部３０２に接続されている。ノイズ推定部１０６、色差・色和算出部３０１はパラメータ算出部９０１に接続されている。パラメータ算出部９０１は変換関数規定部３０２に接続されている。変換関数規定部３０２はコアリング部１０８に接続されている。

パラメータ算出部９０１は、ノイズ推定部１０６からノイズ量σ_nを、バッファ１１０から低周波成分、及び高周波成分を取得し、式（８）に基づきλを算出する。

ここでεは所定の係数（ε=1.0）を表す。

また、LLⁱ、Hⁱは色信号Ir,Ig,Ibに対する低周波成分LLrⁱ, LLgⁱ, LLbⁱ、高周波成分Hrⁱ,Hgⁱ,Hbⁱ（iは分解の段階数）を表す。

jは、注目画素を中心としてHⁱから抽出した所定サイズの矩形領域内に含まれるM個の画素を表しており、Hⁱ (j)はHⁱの画素jにおける高周波成分を表す。

本実施例においては５×５画素領域を抽出することとし、M=25としている。

max[]はML推定を表し、σ_s ²は注目画素に対して推定されたHⁱの実効値を表している。

パラメータλ、及び第１の実施形態と同様に算出したα、βは変換関数規定部３０２へ転送される。

ML推定により、ノイズ量に応じて精度良くλを設定することができるため、以降のノイズ低減処理において、効果的なノイズ低減が可能となる。

［フロー］
上述ではハードウェアによる処理を前提としていたが，このような構成に限定されるものでもない。例えば撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに，撮像条件などの付随情報（例えば，ISO感度などの撮像条件など）をヘッダ情報として記録媒体に記録しておく。そして，別途のソフトウェアである画像処理プログラムをコンピュータに実行させて，記録媒体の情報をコンピュータに読み取らせ，処理することも可能である。

なお，撮像部からコンピュータへの各種情報の伝送は，記録媒体を介して行うに限らず，通信回線等を介して行うようにしても構わない。

図８を参照して，画像処理プログラムによる処理のメインルーチンを説明する。

この処理を開始すると，まず，映像信号を読み込むとともに，撮像素子１０２の温度や露光条件，画像処理条件などのヘッダ情報を読み込む（ステップＳ０１）。

次に，分解の段階数を示す変数ｉを０に初期化する（ステップＳ０２）。

次に，分解の段階数ｉを１増分する（ステップＳ０３）。

次に，原画像信号を構成する色信号毎に，分解の段階数ｉの解像度分解を行い，高周波成分と低周波成分とを取得する（ステップＳ０４）。

次に，ノイズモデルに基づき，ノイズ量を推定する（ステップＳ０５）。

次に，色成分毎の高周波成分に基づき，色差，色和を算出する（ステップＳ０６）。

次に，Ｓ０５で推定したノイズ量からλ，Ｓ０６で算出した色差，色和からα'，β'を算出する（ステップＳ０７）。

続いて，分解の段階数ｉの高周波成分に対してＳ０７で算出したλ，α'，β'により規定される変換関数に基づくコアリング処理を行う（ステップＳ０８）。

その後，分解の段階数ｉが，規定のｎ以下であるか否かを判定し（ステップＳ０９），ｎ以下である場合には，上記ステップＳ０３へ戻って次の分解の段階数について上述したような処理を繰り返して行う。また，分解の段階数ｉが規定のｎを超えたと判定された場合には，低周波成分を出力する（ステップＳ０９）。

そして，補正処理がなされた高周波成分と低周波成分とを用いて，ｎ段階の多重解像度合成を行い，補正された映像信号を生成する（ステップＳ１０）。

最後に公知の圧縮処理などを行った後，処理後の映像信号を出力して（ステップＳ１１），一連の処理を終了する。

以上，本発明の実施形態について説明したが，上記実施形態は本発明の適用例の一つを示したに過ぎず，本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

本発明に係る撮像装置のシステム構成図である。 分解部の構成図である。 ノイズモデルを説明するための図である。 パラメータ設定部の構成図である。 コアリング処理の際の変換関数を示す図である。 コアリング部の構成図である。 合成部の構成図である。 画像処理プログラムによる処理のメインルーチンのフローチャートである。 パラメータ設定部の構成図である。

符号の説明

１０７ パラメータ設定部
１０８ コアリング部
１０９ 分解部

Claims (10)

1. 映像信号に対してノイズ除去を行うノイズ除去装置において，
   前記映像信号を少なくとも2つ以上の帯域信号に分解する分解手段と，
   少なくとも１つ以上の前記帯域信号に関して複数のコアリング範囲を設定する設定手段と，
   前記複数のコアリング範囲に基づきコアリング処理を行うコアリング手段と，
   を備えたことを特徴とするノイズ除去装置。
2. 請求項１に記載のノイズ除去装置において，
   前記設定手段は，前記コアリング範囲に対して固定の出力値を設定し，
   前記コアリング手段は，前記帯域信号内の前記コアリング範囲に属する信号値を前記出力値に変換し，前記コアリング範囲に属さない信号値を補正することを特徴とするノイズ除去装置。
3. 請求項２に記載のノイズ除去装置において，
   前記映像信号は複数の色成分から構成され，
   前記色成分毎に前記分解手段，前記設定手段，前記コアリング手段を適用することを特徴とするノイズ除去装置。
4. 請求項３に記載のノイズ除去装置において，
   前記設定手段は，複数の前記色成分間の信号値の演算値に基づき前記コアリング範囲を設定することを特徴とするノイズ除去装置。
5. 請求項４に記載のノイズ除去装置において，
   前記演算値は前記色成分間の信号値の減算値，加算値のうちの少なくとも１つ以上に基づく演算により算出されることを特徴とするノイズ除去装置。
6. 請求項２から５のいずれか１つに記載のノイズ除去装置において，
   前記設定手段は，前記映像信号，または前記帯域信号に対するノイズ量を推定するノイズ推定手段を備え，前記ノイズ量に基づき前記コアリング範囲を調整することを特徴とするノイズ除去装置。
7. 請求項１から６のいずれか１つに記載のノイズ除去装置において，
   前記分解手段は，ウェーブレット変換を用いるものであることを特徴とするノイズ除去装置。
8. 請求項１から７のいずれか１つに記載のノイズ除去装置において，
   前記コアリング処理後の複数の帯域信号を合成する合成手段を備えることを特徴とするノイズ除去装置。
9. 映像信号に対するノイズ除去方法において，
   前記映像信号を少なくとも2つ以上の帯域信号に分解することと，
   少なくとも１つ以上の前記帯域信号毎に複数のコアリング範囲を設定することと，
   前記帯域信号毎に前記複数のコアリング範囲に基づきコアリング処理を行うことと，
   を含むことを特徴とするノイズ除去方法。
10. 映像信号に対するノイズ除去を行うノイズ除去プログラムであって，
    前記映像信号を少なくとも2つ以上の帯域信号に分解するステップと，
    少なくとも１つ以上の前記帯域信号毎に複数のコアリング範囲を設定するステップと，
    前記帯域信号毎に前記複数のコアリング範囲に基づきコアリング処理を行うステップと，
    を含むことを特徴とするノイズ除去プログラム。