JP2023160661A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】ノイズムラを抑えつつ解像感を維持した合成画像を生成可能な画像処理装置を提供する。【解決手段】画像処理装置において、複数枚の画像を取得する取得手段と、前記複数枚の画像のうち、少なくとも２枚の間の相関量を算出する算出手段と、前記相関量に基づいて、前記複数枚の画像を合成し、合成画像を生成する合成手段と、前記複数枚の画像の枚数と前記相関量とに基づいて、前記合成画像のノイズを低減するノイズ処理手段と、を有することを特徴とする。【選択図】 図７

Description

本発明は、複数の画像を合成して、ノイズ低減を行う画像処理装置、画像処理方法、及びコンピュータプログラム等に関する。

ノイズの少ない画像を得るためには、十分な露光時間を確保することが有効である。しかしながら露光時間を長くすると、手ぶれによるカメラの動きや、被写体の動きにより画像にぶれが生じる問題がある。

そこで、このようなぶれに対処する方式として電子ぶれ補正方式が提案されている。例えば、特許文献１では、撮影がぶれの少ない短い露光時間で連続して複数回実施され、得られた複数枚の画像間の動きがキャンセルされるように位置合わせ処理を行う。その後、合成処理を行うことにより、ぶれが無く低ノイズの画像を得る方式が提案されている。しかしながら、特許文献１に記載の方式においては、画像間の相関の違いにより合成によるノイズ低減効果が変動する。

図１２は従来例を説明するための図であり、１２００、１２１０、１２２０が入力画像、１２３０が合成画像である。複数画像間で静止している（特許文献１に記載の位置合わせ処理を行った）被写体１２０２、１２１２、１２２２は、画像間の相関が高く、合成によるノイズ改善効果が高い。一方で、複数画像間で動いている被写体１２０１、１２１１、１２２１は画像間の相関が低いため、合成画像１２３０に示すように低ノイズの被写体１２３２と高ノイズの被写体１２３１が存在する。即ち、ノイズにばらつき（ノイズムラ）のある画像が生成されることとなる。

また特許文献２では、合成画像のノイズムラを低減する手法として以下の手法が記載されている。先ず、基準画像と基準画像以外の画像との相関量に基づき第１の合成比率を算出し、基準画像と基準画像以外の画像を合成する。次に、基準画像及び合成画像に対して所定のパラメータでノイズ低減を行う。最後に、合成枚数情報に応じて第２の合成比率を算出し、ノイズ低減した基準画像及び合成画像を更に合成する。

特開平９－２６１５２６号公報 特開２０１２－６８７３３号公報

しかしながら、特許文献１の構成では、入力枚数が多くなると合成枚数の多い領域と少ない領域の差が大きくなり合成画像１２３０のノイズムラの差も大きくなる。又、特許文献２の構成では、ノイズムラを低減するために基準画像に強いノイズ低減を行うことになる。そのため、合成画像１２４０のように、合成枚数の少ない被写体１２４１は、合成枚数の多い被写体１２４２に対して解像感が低下するという問題が生じる。

本発明は、このような状況に鑑みてなされたものであり、ノイズムラを抑えつつ解像感を維持した合成画像を生成可能な画像処理装置を提供することを目的とする。

そこで、本発明の画像処理装置は、
複数枚の画像を取得する取得手段と、
前記複数枚の画像のうち、少なくとも２枚の間の相関量を算出する算出手段と、
前記相関量に基づいて、前記複数枚の画像を合成し、合成画像を生成する合成手段と、
前記複数枚の画像の枚数と前記相関量とに基づいて、前記合成画像のノイズを低減するノイズ処理手段と、を有することを特徴とする。

本発明の画像処理装置により、ノイズムラを抑えつつ解像感を維持した合成画像を生成可能な画像処理装置を提供することが可能となる。

本発明の実施例１に係る画像処理装置のハードウェアブロック図である。 実施例１に係る画像処理装置の全体的な処理フローチャートである。 ステップＳ２０１を詳細に示すフローチャートである。 ステップＳ２０２を詳細に示すフローチャートである。 実施例１の画像処理部１０３の機能ブロック図である。 （Ａ）は相関量算出部５０２における差分量と相関量の関係の例を示した図、（Ｂ）は合成比率算出部５０４における相関量と合成比率の関係の例を示した図である。 ステップＳ２０３を詳細に示すフローチャートである。 ＮＲ処理部５０６の構成を示す機能ブロック図である。 （Ａ）は、閾値付きＬＰＦ８１３について説明するための図、（Ｂ）は、相関量とフィルタ閾値の関係の例を示す図、（Ｃ）は、相関量とフィルタ閾値の関係の他の例を示す図である。 相関量と加重加算係数αの関係の例を示す図である。 （Ａ）は、実施例２における着目画素を中心としたフィルタサイズ変更の例を示した図、（Ｂ）は、相関量に対するフィルタサイズの関係の例を示す図である。 従来例を説明するための図である。

以下、図面を参照して本発明の実施の形態を、実施例を用いて説明する。ただし、本発明は以下の実施例に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

尚、実施例においては、画像処理装置としてデジタルカメラに適用した例について説明する。しかし、画像処理装置はカメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラ、ネットワークカメラなどの撮像機能を有する電子機器等を含む。

尚、実施例１では、画像処理装置１００（デジタルカメラ）で複数枚撮影した画像を合成することでノイズ低減画像を生成する例を説明する。
図１は、本発明の実施例１に係る画像処理装置のハードウェアブロック図である。

１０１は光学系であり、被写体像を撮像部１０２に結像する。撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０１により撮像素子に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換処理して、得られたデジタル画像データをＲＡＭ１０４に出力して記憶させる。

制御部１０６は、コンピュータとしてのＣＰＵを含み、画像処理装置１００が備える各ブロックの動作プログラムを記憶媒体としてのＲＯＭ１０５より読み出し、ＲＡＭ１０４に展開して実行する。それにより画像処理装置１００が備える各ブロックの動作を制御する。又、制御部１０６が光学系１０１にレンズ駆動量を指示することで異なる合焦位置で撮影することが可能である。

又、ＲＯＭ１０５は、書き換え可能な不揮発性メモリであり、画像処理装置１００が備える各ブロックの動作を制御するためのコンピュータプログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０４は、書き換え可能な揮発性メモリであり、画像処理装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０３は、ＲＡＭ１０４に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタ処理など、様々な画像処理を適用する。又、後述する画像の合成も画像処理部１０３で実施される。

記録部１０７は、ＲＡＭ１０４に記憶され画像処理部１０３で処理された画像を、記録画像や合成画像として記録する。
表示部１０８は、例えば背面液晶であり、ＲＡＭ１０４に記録された画像を表示する。尚表示部１０８は画像処理装置とは別体であっても良い。

次に、図２～図１０を用いて実施例１の動作について説明する。
図２は実施例１に係る画像処理装置の全体的な処理フローチャート、図３はステップＳ２０１を詳細に示すフローチャート、図４はステップＳ２０２を詳細に示すフローチャート、図７はステップＳ２０３を詳細に示すフローチャートである。尚、制御部１０６内のコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図２～図４、図７のフローチャートの各ステップの動作が行われる。

図２では、画像処理装置において、複数枚の撮像画像を合成してノイズ低減画像を生成する一連の処理を示している。
ステップＳ２０１では、制御部１０６は撮像部１０２により複数の画像を撮像する。ステップＳ２０２では、制御部１０６は画像処理部１０３によって各画像を合成する。ステップＳ２０３では、制御部１０６は画像処理部１０３によって合成画像にノイズリダクション（ＮＲ）処理を行う。これらの各ステップについて、詳細に説明する。

ステップＳ２０１の画像撮像について図３を用いて説明する。
ステップＳ３０１において、制御部１０６は撮影条件を決定する。撮影条件はシャッタ速度、絞り値、ＩＳＯ感度等であり、画像処理装置１００の測光結果に基づき自動で決めるか、撮影者が、撮影する被写体に応じて任意に設定する。又、深度表現等に関わるシャッタ速度や絞り値は撮影者が決めて、ＩＳＯ感度は画像処理装置１００の測光結果により自動で決めても良い。

ステップＳ３０２において、制御部１０６は、撮影枚数（Ｎ）を決定する。この撮影枚数（Ｎ）は、例えば何段分のノイズ低減効果を行うかによって画像処理装置１００で枚数をセットするか、撮影者が撮影する被写体に応じて任意に設定することが可能である。尚、Ｎ枚の画像は全て同じ撮影条件で撮像するものとする。

ステップＳ３０３において、制御部１０６は、ステップＳ３０１で設定した撮影条件で撮像部１０２を動作させ画像を撮像する。
ステップＳ３０４において、制御部１０６は、撮像した枚数がステップＳ３０２で設定した撮影枚数（Ｎ）になれば画像撮像は終了する。撮影枚数（Ｎ）より少なければステップＳ３０３に戻り、ステップＳ３０３からステップＳ３０４の処理を繰り返す。ここで、ステップＳ３０３、Ｓ３０４は、複数枚の画像を取得する取得ステップ（取得手段）として機能している。

次に、図２のステップＳ２０２の画像合成処理について図４、図５を用いて説明する。図５は実施例１の画像処理部１０３の機能ブロック図である。
尚、図５に示される機能ブロックの一部は、画像処理装置の制御部１０６に含まれる不図示のコンピュータに、記憶媒体としてのＲＯＭ等に記憶されたコンピュータプログラムを実行させることによって実現されている。

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。
又、図１に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。尚、図５に関する上記の説明は、後述の図８についても同様に当てはまる。

ステップＳ４０１において、制御部１０６は、図５の入力５０１として、撮像画像の中から合成の基準となる基準画像を入力する。基準画像の選択は任意であるが、シャッタを押下したタイミングに近い先頭画像を選択しても良い。

ステップＳ４０２において、制御部１０６は、図５の入力５０１として、撮像画像の中から合成対象画像となる参照画像を入力する。参照画像は、ステップＳ４０１で決定した基準画像以外の画像である。
ステップＳ４０３において、制御部１０６は、参照画像を基準画像に位置合わせを行う。これは手振れや局所動体により基準画像と参照画像の位置がずれた状態で合成をしてもノイズ低減効果が低いためである。

手振れ等による画像間のずれを合わすには例えば以下の方法を用いることができる。
先ず、基準画像と参照画像間で複数の動きベクトルを算出する。動きベクトルの算出はテンプレートマッチング等の公知の技術を使えば良い。次に、算出した複数の動きベクトルを満たすアフィン変換もしくは射影変換の変換係数を算出し、更に変換係数による移動量と動きベクトルの誤差が最小となるように最小二乗法を用いて変換係数を最適化する。

これにより精度の高い変換係数を算出することができる。最後に、変換係数を用いて参照画像を変形することで基準画像に位置を合わすことが可能となる。又、局所動体も、なるべく位置を合わせて合成したいので、画像間の位置合わせを行った後に、更にテンプレートマッチング技術等を使用して局所動体の位置合わせを行っても良い。

ステップＳ４０４において、制御部１０６は、図５の相関量算出部５０２により、基準画像と参照画像間の相関量を算出する。ここで、ステップＳ４０４は、複数枚の画像のうち、少なくとも２枚の間の相関量を算出する算出ステップ（算出手段）として機能している。
相関量を算出するためには、例えば着目画素を中心とした所定範囲のブロックに対する差分や、当該ブロックを周波数空間上に変換した各周波数成分の差分値を算出する。図６（Ａ）は相関量算出部５０２における差分量と相関量の関係の例を示した図であり、差分が少ないと相関量が高く、差分が大きいと相関量が低い関係性となる。

又、差分量は入力信号のビット長に応じて値域が変わるため、図６（Ａ）で示すように１．０に正規化する。尚、図６（Ａ）の例では、６０１のように折れ線にすることで、差分に対する相関量の調整を行っているが、この例に限定されない。又、相関量は図５のＮＲ処理部５０６におけるフィルタ制御に使用するため、全参照画像で算出した相関量を参照画像の枚数で除算して１．０に正規化しておく。

ステップＳ４０５において、制御部１０６は、図５の合成比率算出部５０４で、相関量に基づき合成比率を算出する。図６（Ｂ）は合成比率算出部５０４における相関量と合成比率の関係の例を示した図であり、図６（Ｂ）の６１１の様に、相関が高いと合成比率（ｍｉｘ＿ｒａｔｉｏ）を高く設定してノイズ低減するため合成比率が１．０に近くなるようにする。

一方、相関が低いと合成比率を低く設定して被写体の多重像（アーティファクト）を抑制するため０に近づくように設定する。但し、図６（Ｂ）のような特性に限定されない。
ステップＳ４０６において、制御部１０６は、合成部５０３によって基準画像と参照画像を合成し積算する。ここで、ステップＳ４０６は、相関量に基づいて、複数枚の画像を合成し、合成画像を生成する合成ステップ（合成手段）として機能している。
合成比率はステップＳ４０５で算出した合成比率であり、合成は下記の式（１）、積算は下記の式（２）を用いて行われる。

尚、ここでは式（１）、（２）に基づき４枚（Ｎ＝４）の画像を合成する例を説明する。ここで、４枚の画像は、１枚の基準画像（Ｎ＝０）と、３枚の参照画像（Ｎ＝１、２、３）とする。
例えば基準画像と１枚目（Ｎ＝１）の参照画像を合成する際、相関量が低く合成比率（ｍｉｘ＿ｒａｔｉｏ）が０だとすると、合成画像［１］は基準画像が出力される。

同様に、２枚目、３枚目もｍｉｘ＿ｒａｔｉｏが０だとすると合成画像［２］、合成画像［３］も基準画像が出力される。そのため合成画像（積算画像）は基準画像を４枚積算したものになる。

逆に、全ての参照画像で相関量が高く合成比率（ｍｉｘ＿ｒａｔｉｏ）が１．０だとすると基準画像と３枚の参照画像からなる４枚の画像を加算した画像が出力される。このように、本実施例では、合成比率を相関量によって変えることで、合成によってノイズ低減される領域と、ノイズ低減されない領域（アーティファクトが発生しない領域）が生成される。

ステップＳ４０７において、制御部１０６は、すべての参照画像に対する合成と積算が行われたどうかを判定し、全ての画像に対して合成と積算が終了していればステップＳ４０９に移行する。ステップＳ４０７で、合成と積算を行っていない画像が存在すると判定すればステップＳ４０８に移行して、新たな参照画像を設定し、全ての画像に対して合成と積算が終了するまでステップＳ４０２からステップＳ４０６の処理を繰り返す。

ステップＳ４０９において、制御部１０６は、正規化部５０５で合成画像（積算画像）を下記式（３）で正規化する。
正規化画像＝積算画像／Ｎ・・・（３）
即ち、合成部５０３から出力される合成画像（積算画像）は、入力画像枚数分を積算しただけなので入力画像の枚数で除算することで最終的な正規化された合成画像を得ることができる。
以上が画像合成ステップＳ２０２の処理の詳細である。

次に、ステップＳ２０３のＮＲ（ノイズリダクション、ノイズ低減）処理について図７～図９を用いて説明する。尚、ＮＲ処理は図５のＮＲ処理部５０６で実行される。又、図８はＮＲ処理部５０６の構成を示す機能ブロック図である。又、図９（Ａ）、（Ｂ）はフィルタ閾値について説明するための図である。

ステップＳ７０１において、制御部１０６は、正規化部５０５から合成画像をＮＲ処理部５０６に入力する。
ステップＳ７０２において、閾値算出部８１２によって、相関量と入力枚数（Ｎ）からフィルタ処理時の閾値算出を行う。又、ステップＳ７０３において、合成画像を閾値付きＬＰＦ（ローパスフィルタ）８１３でローパスフィルタ処理（平滑化）する。これらの処理については、以下に図９（Ａ）、（Ｂ）を用いて詳細に説明する。尚、画素の信号値は８ビット（０～２５５）としている。

図９（Ａ）は、閾値付きＬＰＦ８１３について説明するための図である。
閾値付きＬＰＦ８１３は、図９（Ａ）に示すように、着目画素９０１を中心とした所定範囲、即ち所定のフィルタサイズ（例えば５画素×５画素）内の画素を用いてフィルタ処理を行う。その際、所定範囲内全ての画素を用いてフィルタ処理すると、エッジ成分等の解像感が失われてしまうので、着目画素９０１と参照画素の差分値をフィルタ閾値と比較して、差分が閾値以内の画素９０２を用いてフィルタ処理をする。即ち、着目画素と所定フィルタサイズ内にある各画素との差分が所定のフィルタ閾値以内の画素でフィルタ処理を行う。

例えば、ここでフィルタ閾値を高くすると多くの画素を用いてフィルタ処理することになりフィルタ強度が高まるためノイズは低減するが解像感も失いやすい。逆にフィルタ閾値を小さくするとフィルタ強度は弱まり解像感は向上するがノイズ低減効果は低下する。

次に上記のフィルタ閾値の決定方法について図９（Ｂ）を用いて説明する。図９（Ｂ）は、実施例１における相関量とフィルタ閾値の関係の例を示す図であり、横軸は、相関量算出部５０２で算出した相関量、縦軸はフィルタ閾値である。
相関量は前述のように、全参照画像で算出した相関量を積算して１．０に正規化したものであり、例えば全参照画像で算出した相関量を積算した値を参照画像の枚数（Ｎ－１）で除算する。

９１１は入力枚数が少ない場合、９１２は入力枚数が多い場合の特性を示している。相関量が高いと図６（Ｂ）に示すように合成比率を高くするので、フィルタを用いてＮＲ処理を行う必要が減る。従って相関量が高いほど、特性９１１、９１２共に、フィルタ閾値が０（即ちＮＲ処理を行わない）に近づくように設定され、相関量が低いほどフィルタ閾値が大きく（フィルタ強度が強く）なるように設定されている。

又、入力枚数が多くなるに連れて相関量の高い領域はより多くの画像が合成されるため、相関量の高い領域と低い領域のノイズムラ（ノイズ差）は大きくなる。そのため、同じ相関量でも、入力枚数が多い場合の特性９１２の方が特性９１１よりもフィルタ閾値が大きく（フィルタ強度を強く）なるようにすることでノイズムラを低減できるようにしている。

又、相関量とフィルタ閾値の関係は図９（Ｃ）のようにしても良い。図９（Ｃ）は、相関量とフィルタ閾値の関係の他の例を示す図である。縦軸、横軸は図９（Ｂ）と同じであり、特性９２１、９２２は特性９１１，９１２に夫々対応している。但し、図９（Ｃ）では、入力枚数が多い特性９２２の場合は、フィルタ閾値に上限を持たせている。これは、ノイズムラを低減しすぎると解像感が著しく低下する可能性があるためである。即ち、図９（Ｃ）では上限を持たせることで解像感低下を抑制している。

ステップＳ７０４において、全画素のフィルタ処理を行っていればステップＳ７０６に移行し、全画素行っていなければステップＳ７０５に移行して、新たな着目画素を設定した上でステップＳ７０２、ステップＳ７０３の処理を繰り返す。ここで、ステップＳ７０２～ステップＳ７０５は、複数枚の画像の枚数と相関量とに基づいて、合成画像のノイズを低減するノイズ処理ステップ（ノイズ処理手段）として機能している。

ステップＳ７０６において、加重加算係数算出部８１４により、相関量と入力枚数に加重加算係数αを算出する。ステップＳ７０７において、加重加算手段としての加重加算部８１５により、合成画像と閾値付きＬＰＦ画像を所定の比率である加重加算係数αで加重加算する。
即ち、加重加算部８１５は合成画像と、閾値付きＬＰＦ８１３の出力である閾値付きＬＰＦ画像とを、加重加算係数αを用いて下記式（４）で加重加算する。

出力画像＝α×合成画像＋（１．０－α）×閾値付きＬＰＦ画像・・・（４）
これは、閾値付きＬＰＦ画像でノイズムラを低減すると同時に、失われた解像感を、正規化部５０５からの合成画像を加重加算することで補うようにするためである。又、加重加算係数αは１．０に近づくほど合成画像が出力される割合が多くなるため、解像感を補うことができるようになる。

次に加重加算係数算出部８１４について図１０を用いて説明する。図１０は、相関量と加重加算係数αの関係の例を示す図であり、横軸は、相関量算出部５０２で算出した基準画像と参照画像の相関量、縦軸は加重加算係数αを示す。
１００１は入力枚数が少ない場合、１００２は入力枚数が多い場合の特性を示している。特性１００１、１００２共に、相関量が低くなるにつれて加重加算係数αが大きくなるため、合成画像の出力割合が大きくなる。

尚、上述したように、相関量が低い場合は閾値付きＬＰＦ画像のフィルタ閾値が高いため、ノイズ低減はできるが解像感も失うことになる。そこで、加重加算係数αを大きくすることで失われた解像感を補うことが可能となる。尚、相関量が高くなるにつれて閾値付きＬＰＦ画像の出力割合が大きくなるが、前述した様に閾値付きＬＰＦ８１３は相関量が高いと閾値付きＬＰＦのフィルタ強度が弱くなる。即ち解像感が維持できているので、合成画像によって解像度を補う量は少なくても良い。

尚、相関量が１．０になると加重加算係数が０になり、閾値付きＬＰＦ画像が１００％の割合で出力されるが、上述したように相関量が１．０の場合は閾値付きＬＰＦ処理がかからないため合成画像によって解像度を補う必要性はない。又、閾値付きＬＰＦ処理がかからないということは、結果的に合成画像と閾値付きＬＰＦ画像は同じ画像になるので、合成画像が１００％出力されることになる。

ステップＳ７０８において、制御部１０６は、全画素の加重加算処理を行っていると判定すればＮＲ処理を終了する。全画素行っていなければステップＳ７０９に移行して、新たな着目画素を設定した上でステップＳ７０６、ステップＳ７０７の処理を繰り返す。
このように、本実施例では、複数枚の画像の枚数が少ないほど、又、複数枚の画像の相関量が高いほど、ローパスフィルタにおけるフィルタ強度を弱くすると共に加重加算手段における合成画像の出力比率を低くしている。

以上がＮＲ処理ステップＳ２０３の詳細動作であり、全動作が終了すると図８における出力画像５０７が生成される。
尚、以上の説明では、画素単位の処理を例に説明したが、計算量削減のためにブロック単位の処理にしても良い。即ち、画像を所定サイズのブロックに分割するブロック分割手段を設けても良い。そして、算出手段としての相関量算出部５０２、合成手段としての合成部５０３、ノイズ処理手段としてのＮＲ処理部５０６が、前記ブロックの単位で処理を行うようにしても良い。

その際、隣接ブロック間で、各種情報（相関量、合成比率、閾値付きＬＰＦ強度、加重加算係数）が急激に変化することによる画質低下を抑制するために、隣接ブロック間で各種値を平滑化して使用することが望ましい。
尚、本実施例の画像処理装置への入力画像は現像前のＲＡＷ信号、現像処理後のＹＵＶ信号等であれば良く、フォーマット、色空間、信号のビット長等に限定されない。

実施例２では、図８における閾値付きＬＰＦ８１３のフィルタサイズを入力枚数と相関量に応じて変更する。又、図７の処理フローにおける、ステップＳ７０２、ステップＳ７０３の処理を変更する。
実施例２における制御について図１１を用いて以下に詳しく説明する。

図１１（Ａ）は、実施例２における着目画素を中心としたフィルタサイズ変更の例を示した図であり、１１０１は着目画素である。１１０２は着目画素１１０１を中心とした比較的小さいサイズのフィルタの例であり、ノイズ低減効果は小さくなるが解像感を維持できる。一方、１１０３は着目画素１１０１を中心とした比較的大きいサイズのフィルタの例であり、ノイズ低減効果は大きくなるが解像感を失いやすくなる。

図１１（Ｂ）は、相関量に対するフィルタサイズの関係の例を示す図であり、本実施例では、図１１（Ｂ）に示すような関係で、フィルタサイズを相関量と入力画像枚数に基づき制御する。横軸は、相関量算出部５０２で算出した基準画像と参照画像の相関量、縦軸はフィルタサイズの大きさである。１１１１は入力枚数が少ない場合、１１１２は入力枚数が多い場合の特性を示している。

１１１１、１１１２共に、相関量が高いと合成比率が高いためＮＲ処理を行う必要がなく、フィルタ閾値は０（即ちＮＲ処理を行わない）になるように設定されている。
尚、入力枚数が多いほど相関量の高い領域はより多くの画像で合成されるため、相関量の高い領域と低い領域のＳＮ差（ノイズムラ）は大きくなる。

そこで、本実施例では、相関量が低いほどフィルタサイズを大きくし、同じ相関量でも、１１１２の方が１１１１よりもフィルタサイズが大きくなるようにすることでノイズムラを低減できるようにする。

即ち、図７のフローチャートにおいて、ステップＳ７０２で、相関量と入力枚数からフィルタサイズを図１１のように変更すると共に、フィルタ処理時の閾値を算出する。それによって、相関量に応じたノイズムラを抑制できる。
このように、実施例２においては、相関量と入力枚数に応じてフィルタサイズを変更することによって、ノイズムラの少ない合成画像を得ることができる。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。又、以上の実施例を適宜組み合わせても良い。

尚、本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。
その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

１００・・・画像処理装置
１０１・・・光学系
１０２・・・撮像部
１０３・・・画像処理部
１０４・・・ＲＡＭ
１０５・・・ＲＯＭ
１０６・・・制御部
１０７・・・記録部
１０８・・・通信部
１０９・・・表示部
１１０・・・内部バス

Claims (12)

1. 複数枚の画像を取得する取得手段と、
   前記複数枚の画像のうち、少なくとも２枚の間の相関量を算出する算出手段と、
   前記相関量に基づいて、前記複数枚の画像を合成し、合成画像を生成する合成手段と、
   前記複数枚の画像の枚数と前記相関量とに基づいて、前記合成画像のノイズを低減するノイズ処理手段と、を有することを特徴とする画像処理装置。
2. 前記画像を所定サイズのブロックに分割するブロック分割手段を有し、
   前記算出手段、前記合成手段、前記ノイズ処理手段は、前記ブロックの単位で処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ処理手段は、
   前記合成画像を平滑化するローパスフィルタと、
   前記合成画像と前記ローパスフィルタの出力を所定の比率で加重加算する加重加算手段を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記ノイズ処理手段は、
   前記複数枚の画像の前記相関量が低いほど、前記ローパスフィルタのフィルタサイズを大きくすることを特徴とする請求項３に記載の画像処理装置。
5. 前記ノイズ処理手段は、
   前記複数枚の画像の枚数が多くなるほど、前記ローパスフィルタのフィルタサイズを大きくすることを特徴とする請求項３に記載の画像処理装置。
6. 前記ローパスフィルタは、
   着目画素と所定フィルタサイズ内にある各画素との差分が所定のフィルタ閾値以内の画素でフィルタ処理を行うことを特徴とする請求項３に記載の画像処理装置。
7. 前記ノイズ処理手段は、
   前記複数枚の画像の枚数が多くなるほど、前記ローパスフィルタにおける前記フィルタ閾値を高くすることを特徴とする請求項６に記載の画像処理装置。
8. 前記ノイズ処理手段は、
   更に、前記複数枚の画像の前記相関量が低いほど、前記ローパスフィルタにおける前記フィルタ閾値を高くすることを特徴とする請求項６に記載の画像処理装置。
9. 前記ノイズ処理手段は、
   前記複数枚の画像の前記相関量が低いほど、前記加重加算手段において前記合成画像の出力比率が高くなるように制御することを特徴とする請求項３に記載の画像処理装置。
10. 前記ノイズ処理手段は、
    前記複数枚の画像の枚数が少ないほど、又、前記複数枚の画像の前記相関量が高いほど、前記ローパスフィルタにおけるフィルタ強度を弱くすると共に前記加重加算手段における前記合成画像の出力比率を低くすることを特徴とする請求項８に記載の画像処理装置。
11. 複数枚の画像を取得する取得ステップと、
    前記複数枚の画像のうち、少なくとも２枚の間の相関量を算出する算出ステップと、
    前記相関量に基づいて、前記複数枚の画像を合成し、合成画像を生成する合成ステップと、
    前記複数枚の画像の枚数と前記相関量とに基づいて、前記合成画像のノイズを低減するノイズ処理ステップと、を有することを特徴とする画像処理方法。
12. 請求項１～１０のいずれか１項に記載の画像処理装置の各手段をコンピュータにより制御するためのコンピュータプログラム。
    
    
    

Images