JP2017076871A - 撮像装置、画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】移動被写体が存在する場合にも画質の良い比較明画像を得ることができる撮像装置等を提供する。
【解決手段】複数フレームの画像データから比較明画像を合成する比較明合成部３１と、比較明画像に対して、部分領域毎に、ＯＢ値減算部３３の黒レベル減算処理に対する、暗時ランダムノイズに起因する黒レベルのずれ補正と、画素ゲイン補正部３４による明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行うための置き換え対象フレーム数算出部３１ａ、暗時ランダムノイズ傾向判定部３２、および明時ランダムノイズ補正量算出部３４ａと、を備える撮像装置。
【選択図】図４

Description

本発明は、時系列的に撮像された複数フレームの画像データを比較明合成する撮像装置、画像処理装置、画像処理方法に関する。

近年、比較明合成処理機能が搭載されたデジタルカメラ等の撮像装置が提案されている。ここに比較明合成処理とは、時系列的に撮像された複数フレームの画像における同一画素位置の画素値を比較して、値が大きい方の画素値で該当画素位置の画素値を置き換える処理である。

この比較明合成処理は、比較的明るく小さい移動体を含む撮影シーンにおいて、必要十分な短い一定のシャッタ速度（従って、シャッタ速度は各画像で共通）で時系列的に撮像（いわゆる連続撮影）して得られた複数フレームの画像に対して用いられ、移動体の軌跡をＳ／Ｎ比の高い良好な画像として取得することができる。

適用される撮影シーンの幾つかの例を挙げれば、花火、天体撮影、夜間の車等のヘッドライトの移動軌跡の撮影、などである。

例えば花火撮影の場合、花火を構成する輝点の数秒の流れを、数秒よりも短いシャッタ速度で時系列的に撮像して複数フレームの画像を取得する。また、天体撮影の場合、天体を構成する星々の非常にスローな動きを、短いシャッタ速度で時系列的に撮像して複数フレームの画像を取得する。さらに、夜間の車等のヘッドライトの移動軌跡の場合にも、同様に、撮影しようとする移動軌跡の長さに対応するシャッタ速度よりも短いシャッタ速度で時系列的に撮像して複数フレームの画像を取得する。

そして、何れの場合にも、得られた複数フレームの画像を比較明合成することにより、長時間のシャッタ速度で撮影した場合のような暗電流による画質劣化を避けて、Ｓ／Ｎの良い画像を得ることができる。

ところで、画像ノイズは、画素毎の特性に起因する固定パターンノイズと、画素位置との相関を持たないランダムノイズと、に分けられる。これらの内のランダムノイズは、概略、画素において入射光に応じて光電変換により発生する信号とは無関係に発生する（従って、遮光された状態でも発生する）暗時ランダムノイズと、光電変換により発生する信号に応じて発生する（従って、遮光された状態では発生しない）明時ランダムノイズと、に大別される。

これら暗時ランダムノイズと明時ランダムノイズとの大小関係は、カメラの露出制御を通して、電気的ゲインに依存する。具体的に、電気的ゲインによる増幅量が、小さい場合（露光量が大きく、増幅する必要があまりない場合）には各画素において光電変換して得られる画素値が比較的大きいことに起因して明時ランダムノイズが大きくなって支配的となり、大きい場合（露光量が小さく、増幅する必要がある場合）には各画素において光電変換して得られる画素値が比較的小さいことに起因して、明時ランダムノイズが小さくなって暗時ランダムノイズが支配的となる。

暗時ランダムノイズは、画素のフォトダイオードの暗電流に起因したノイズとして、あるいは回路ノイズ等として発生し、有効画素から得られる画素値に含まれているだけでなく、撮像素子の撮像面上において光学的に遮光されたオプティカルブラック（ＯＢ）領域から得られるＯＢ成分にも含まれている。ＯＢ成分には入射光を光電変換することで発生する信号が含まれておらず、ひいては明時ランダムノイズも含まれていないために、有効画素から得られる画素値を用いるよりもＯＢ成分を用いる方が、暗時ランダムノイズを容易に精度良く検出することができる。

この暗時ランダムノイズは、フレーム毎に値がランダムに変動する。比較明合成処理を行うと、撮影して得られた複数のフレームにおいて最も大きい画素値が採用された１つの比較明画像が生成されるが、最も大きいランダムノイズを含む画素値が最も大きい画素値になる確率が高いために、フレーム数が大きい程、大きいランダムノイズの影響を受けた大きい値に置き換わってしまう。

これに対して、ＯＢ領域から得られるＯＢ成分に対しても、有効画素領域と同様に比較明合成処理を行えば、フレーム数の大きさに応じた大きさの画素値が採用されることになるために、比較明合成処理されたＯＢ成分を有効画素領域の比較明画像から減算処理することで、ランダムノイズの影響を有効にキャンセルすることが可能である。

例えば、特開２０１３−２４００２９号公報には、合成画像からオフセット成分を除去するデジタルクランプ処理において、デジタルクランプ量を撮影画像の合成枚数に基づいて制御することで、ＲＡＷ画像による比較明合成および比較暗合成のような画像合成おける合成枚数に応じた黒レベルの変動に対処して、合成画像の画質低下を抑制する技術が記載されている。該公報にはさらに、撮影感度、ホワイトバランス、露光時間、周辺光量の補正量、および環境温度の少なくとも１つに応じてデジタルクランプ量を制御することが記載されている。

特開２０１３−２４００２９号公報

ところで、画像中に移動被写体が存在する場合には、例えば、１００フレームの画像を撮像したとしても移動被写体がある画素位置に存在するのは５０フレームの画像のみである、といった状況が発生する。移動被写体が背景に比べて明るい場合には、移動被写体において比較明合成の対象として有効に使用されるのは５０フレームの画像となるが、この場合には、移動被写体と、１００フレームの画像を比較明合成して得られる背景とは、比較明画像の画素値がランダムノイズから影響を受ける程度が異なることになる。従って、５０フレームの画像を合成して得られた移動被写体の画像部分から、１００フレームの画像を合成して得られたＯＢ成分（暗時ランダムノイズを含む）を減算すると、減算量が過剰となって減算ノイズが発生することになってしまう。こうして、移動被写体に対してはＯＢ減算ずれ（黒レベルのオフセット補正ずれ）が発生するという課題がある。

また、暗時ランダムノイズを含むＯＢ成分を減算した後であっても画素値には明時ランダムノイズの影響が残っている。この明時ランダムノイズは、例えば、光ショットノイズなどが該当する。光ショットノイズは、１回の電荷蓄積時間（露光時間）にフォトダイオードに入射する光子数がいつも同じではなく平均値を基準とした正負の揺らぎ（例えばポアソン分布で近似される揺らぎ）をもつことに起因するランダムノイズであり、光ショットノイズの統計的な大きさ（標準偏差など）はフォトダイオードに入射する光子（平均値）によって光電変換作用により生成された電子の数の平方根に比例する。つまり、平均値の光子数の光子が画素に入射したときに光電変換で得られる信号値を真の画素値とすると、光ショットノイズの大きさ（標準偏差など）は、真の画素値の平方根に比例する。

こうして、光ショットノイズなどの明時ランダムノイズ量は真の画素値に比例していない（例えば、真の画素値が小さくなると、画素値に対する光ショットノイズの寄与は相対的に大きくなる）。そして、比較明合成処理を行った結果として明時ランダムノイズの影響が合わさった画素値は、入射光量に対する線形性が崩れたものとなる。比較明合成処理を行う前の、例えばＲ≠Ｇ≠ＢとなるあるＲ，Ｇ，Ｂの画素値の第１の被写体部分と、α×Ｒ，α×Ｇ，α×Ｂ（αはα≠１の係数）の画素値の第２の被写体部分と、を考えたときに、比較明合成処理を行った後の画像の第１の被写体部分においてホワイトバランスをとったとすると、第２の被写体部分では、明時ランダムノイズの影響の大きさが第１の被写体部分とは異なるために、同じホワイトバランス係数を掛けたとしても明るさだけが異なる白色にはならず、色付き（色ずれ）が起きたものとなる。

さらに、比較明合成を行った結果の画素値に含まれるランダムノイズの影響は、合成に用いられる有効な画像フレーム数に応じて異なるために、静止被写体と移動被写体とではランダムノイズの影響が異なってしまい、カラーバランスの崩れの程度が静止被写体と移動被写体とで異なることになる。具体的に、合成に用いられる有効な画像フレーム数が、少ないと明時ランダムノイズの影響度は小さく、多いと明時ランダムノイズの影響度は大きくなるために、比較的早く移動する被写体が存在する場合には、静止被写体と比較したときの色付きが異なることになる。

上記特開２０１３−２４００２９号公報では、こうした移動する被写体のオフセット補正ずれ（ＯＢ減算ずれ）や色付きについては記載がなく、考慮されていない。

本発明は上記事情に鑑みてなされたものであり、移動被写体が存在する場合にも画質の良い比較明画像を得ることができる撮像装置、画像処理装置、画像処理方法を提供することを目的としている。

本発明のある態様による撮像装置は、被写体を撮像して画像データを取得する撮像部と、前記撮像部に撮像を時系列的に行わせて複数フレームの画像データを取得させる制御部と、前記複数フレームの画像データに基づき、対応する画素毎に、より明るい画素の画素値に置き換えて比較明画像を合成する比較明合成部と、前記比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正部と、を具備している。

本発明のある態様による画像処理装置は、被写体を時系列的に撮像して取得された複数フレームの画像データに基づき、対応する画素毎に、より明るい画素の画素値に置き換えて比較明画像を合成する比較明合成部と、前記比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正部と、を具備している。

本発明のある態様による画像処理方法は、被写体を時系列的に撮像して取得された複数フレームの画像データに基づき、対応する画素毎に、より明るい画素の画素値に置き換えて比較明画像を合成する比較明合成ステップと、前記比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正ステップと、を有している。

本発明の撮像装置、画像処理装置、画像処理方法によれば、移動被写体が存在する場合にも画質の良い比較明画像を得ることができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成を示す図。 上記実施形態１の撮像素子の有効画素部における画素の配列を示す図。 上記実施形態１における画像処理部の構成を示すブロック図。 上記実施形態１の画像処理部により行われる比較明合成モード処理を示すフローチャート。 上記実施形態１の図５のステップＳ３における置き換え対象フレーム数算出の処理を示すフローチャート。 上記実施形態１において、ある画素ｉにおける画素値の複数フレーム間での暗時ランダムノイズによる画素値の揺らぎに起因した出現頻度のヒストグラムの例に、ｋ＝６のときの標準偏差σの範囲を示す線図。 上記実施形態１において、ある画素ｉに位置する被写体がＯＢＪ１からＯＢＪ２へ移行したときの、画素値の出現頻度のヒストグラムが変化する様子を示す図。 上記実施形態１において、１フレームの画像のＯＢ部中の複数画素における画素値の出現頻度のヒストグラムの例を示す線図。 上記実施形態１において、比較明合成における画素の置き換え対象フレーム数が変化したときに、比較明合成されたＯＢ部における複数画素の画素値の出現頻度のヒストグラムが変化する様子を示す線図。 上記実施形態１において、置き換え対象フレーム数に応じたＯＢ補正レベルを、ＯＢ部のある画素ｉにおける画素値の標準偏差σｄをパラメータとして示す線図。 上記実施形態１において、ゲインの設定値に応じた、１電子の量子化単位への変換係数の具体例を示す図表。 上記実施形態１において、平均画素値に応じた明時ランダムノイズ量の一例を示す図。 上記実施形態１において、置き換え対象フレーム数に応じた明時ランダムノイズ補正量を、暗時ランダムノイズ減算後の残存ノイズ量をパラメータとして示す線図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１４は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、以下に説明するように、撮像して得られた画像を処理する画像処理装置としての機能を備えたものとなっている。

この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、画像処理部３と、ＡＦ（オートフォーカス）評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。

レンズ１は、被写体の光学像を撮像素子２の撮像領域に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。

撮像素子２は、レンズ１により結像された被写体の光学像を光電変換して撮像を行い、画像データを取得して出力する撮像部である。なお、本実施形態においては、撮像素子２が原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子であるとして説明するが、もちろんその他の構成であっても構わない。また、撮像素子２は、レンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。さらに、本実施形態では、撮像素子２がデジタル撮像素子であって、内部でＡ／Ｄ変換を行い、例えば１２ビット（画素値０〜４０９５）のデジタル信号を出力する場合を例に挙げて説明する。

画像処理部３は、撮像素子２から出力される画像データに各種の画像処理を行い、表示用あるいは記録用の画像を作成する画像処理装置である。この画像処理部３は、比較明合成処理も行うようになっており、画像処理部３の構成については、後で図４を参照してより詳細に説明する。

ＡＦ評価値演算部４は、撮像素子２から出力された画像データに基づいてＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。例えば、ＡＦ評価値演算部４は、撮像素子２から出力された画像データに基づいてコントラスト値を算出し、ＡＦ評価値として出力する。

表示部５は、画像処理部３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部５は、ライブビュー表示や静止画像表示、動画再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。

メモリカード６は、画像処理部３により記録用に処理された画像データ（静止画像データ、動画像データなど）を保存するための記録媒体である。

手振検出部７は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。

手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２との少なくとも一方を移動させ、撮像素子２の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。

露光制御部９は、カメラ制御部１２の指令に基づいて、該カメラ制御部１２により決定されたシャッタ速度（露光時間）で撮像素子２の素子シャッタを制御し画像を取得させるものである。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。また、露光制御部９は、撮像素子２の駆動情報をカメラ制御部１２へ出力するようになっている。

フォーカス制御部１０は、焦点を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２に結像される被写体像が合焦に至るようにする。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。

カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モード（この静止画撮影モードは、より詳細なモードとして、比較明合成モードを含む）や動画撮影モード、ライブビューモードなどを設定するためのモードボタン等の操作部材が含まれている。

カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、露光制御部９からの駆動情報、画像処理部３からの処理情報、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、画像処理部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。

このカメラ制御部１２は、自動露出制御に基づき、あるいはカメラ操作部１１から入力された設定値に基づき、シャッタ速度（露光時間）および絞り値を決定して、決定したシャタ速度および絞り値の情報を露光制御部９へ出力する。

そして、カメラ制御部１２は、比較明合成モードが設定されているときには、露光制御部９を介して撮像素子２に撮像を時系列的に行わせて複数フレームの画像データを取得させる制御部として機能する。

次に、図２は撮像素子２の構成を示す図である。

撮像素子２は、レンズ１からの光を受光して光電変換を行う画素が垂直方向および水平方向に配列された有効画素部２１と、レンズ１からの光が遮光された画素が配列されたオプティカルブラック（ＯＢ）領域であるＯＢ部２２と、を備えている。ここにＯＢ部２２は、例えば、有効画素部２１の上部や左部などに、垂直ＯＢ領域や水平ＯＢ領域などとして設けられている。

図３は、撮像素子２の有効画素部２１における画素の配列を示す図である。

撮像素子２の有効画素部２１には、図３に示すように、原色ベイヤー配列のカラーフィルタが配置されている。ここに原色ベイヤー配列は、よく知られているように、２×２画素配列を基本配列として、この基本配列の対角位置に緑色画素Ｇｒ，Ｇｂを配置し、緑色画素Ｇｒと同一ライン上に赤色画素Ｒを、緑色画素Ｇｂと同一ライン上に青色画素Ｂを配置したものとなっている。

なお、原色ベイヤー配列のカラーフィルタは、有効画素部２１に配置するに限るものではなく、ＯＢ部２２を含む、撮像素子２の撮像面全体に配置するようにしても構わない。

図４は画像処理部３の構成を示すブロック図である。

画像合成部である画像処理部３は、比較明合成部３１と、ＯＢ補正レベル算出部３２と、ＯＢ値減算部３３と、画素ゲイン補正部３４と、標準画像処理部３５と、を備えている。

比較明合成部３１は、カメラ制御部１２の制御に基づき、比較明合成モードにおいて撮像素子２の有効画素部２１から取得された複数フレームの画像データに対して、対応する画素毎により明るい画素の画素値に置き換える比較明合成処理を行って比較明画像を作成する。さらに、比較明合成部３１は、ＯＢ部２２から取得された画素値に対しても、必要に応じて、比較明合成処理を行う。

ここに、比較明画像の各画素の画素値は、被写体からの（光ショットノイズの影響を除去した）平均値の光子数の光子が画素に入射したときに光電変換で得られる真の画素値と、真の画素値以外のノイズと、を含む。そして、本実施形態においては、画素毎に発生するノイズとして、後述するような明時ランダムノイズおよび暗時ランダムノイズを含むランダムノイズの影響を考えるものとする。

比較明合成部３１は、置き換え対象フレーム数算出部３１ａを備えている。この置き換え対象フレーム数算出部３１ａは、後で図６を参照して説明するように、各画素ｉ（ｉは、有効画素部２１から得られた画像の画素を、画素位置により区別するためのインデックスである）に対して、比較明合成部３１が画素値を置き換える対象として有効なフレーム数である置き換え対象フレーム数ｎ［ｉ］をカウントする。

ここに、一例を挙げれば、比較明合成用に１００フレームの画像が撮像された場合でも、ある画素位置において背景よりも明るい移動被写体が５０フレーム分しか存在しない場合には、この５０フレームが画素値を置き換える対象として有効なフレーム数となる。

そして、ランダムノイズの影響は、比較明合成処理において、画素値の実際の置き換え回数に応じて増加する傾向があるが、正確には置き換え対象フレーム数ｎ［ｉ］の増加に応じて確率的な作用を伴って増加すると考えて良い。そこで、本実施形態においては、後述するような、暗時ランダムノイズの影響を表すＯＢ補正レベルＣｏｂ［ｉ］と、明時ランダムノイズの影響を表す明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］と、を算出するためのパラメータとして、置き換え対象フレーム数ｎ［ｉ］をカウントするようにしている（ただし、画素ｉ毎に実際の置き換え回数をカウントするようにしても構わない）。

ここで得られる置き換え対象フレーム数ｎ［ｉ］は、後述するように、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正量と、明時ランダムノイズに起因する画素値のずれを補正する補正量と、を決定するのに用いられる。

ＯＢ補正レベル算出部３２は、暗時ランダムノイズ傾向判定部３２ａを備えている。この暗時ランダムノイズ傾向判定部３２ａは、例えば、ＯＢ部２２の各画素値の複数フレーム間での暗時ランダムノイズに起因する画素値のばらつきの度合いを示す標準偏差σｄの平均値を算出する。

そして、ＯＢ補正レベル算出部３２は、標準偏差σｄと、置き換え対象フレーム数算出部３１ａにより算出された置き換え対象フレーム数ｎ［ｉ］とに基づいてＯＢ補正レベルＣｏｂ［ｉ］を算出することを、有効画素部２１の各画素位置に対して行う。ここに、ＯＢ補正レベルＣｏｂ［ｉ］は、画素ｉの黒レベルに含まれる暗時ランダムノイズの影響を補正するための黒レベル補正量である。

ＯＢ値減算部３３は、比較明合成用として得られた複数フレームの撮像データの内の、任意の１フレームにおけるＯＢ部２２の画素値の平均値＜ＯＢ＞（例えば、図９に示した画素値の平均値）を、任意の画素ｉの黒レベルとして算出する。さらに、ＯＢ値減算部３３は、算出した平均値＜ＯＢ＞を、ＯＢ補正レベル算出部３２により算出された画素ｉ毎のＯＢ補正レベルＣｏｂ［ｉ］により補正して、画素ｉ毎の補正された黒レベルとしてのＯＢ値ＯＢ［ｉ］を算出する。その後、ＯＢ値減算部３３は、比較明画像における画素ｉの画素値ＰｅａｋＰ［ｉ］から、ＯＢ値ＯＢ［ｉ］を減算する処理を、黒レベル減算処理として行う。

画素ゲイン補正部３４は、明時ランダムノイズに起因する画素値のずれに対する補正を行うものであり、明時ランダムノイズ補正量算出部３４ａと、画素ゲイン算出部３４ｂと、を備えている。

明時ランダムノイズ補正量算出部３４ａは、比較明合成の対象として取得された全ての画像（後述するＮフレームの画像）についての処理を行った結果における画素ｉの平均画素値（後述するＰａｖｅ［ｉ］）に基づき明時ランダムノイズ量σｂ［ｉ］を推定し、推定した明時ランダムノイズ量σｂ［ｉ］および標準偏差σｄに応じて、置き換え対象フレーム数ｎ［ｉ］に依存する明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を算出する。この明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］は、明時ランダムノイズに起因する画素値のずれに対する補正量である。

画素ゲイン算出部３４ｂは、明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を用いて、画素ｉがＲ画素、Ｇ（ＧｒおよびＧｂ）画素、Ｂ画素の何れであるかに応じたゲインＰＧ＿Ｐ［ｉ］を算出することを、各画素位置に対して行う。

こうして、画素ゲイン補正部３４は、明時ランダムノイズに起因する画素ｉの画素値のずれに対する補正を、例えば、画素ｉに対して算出されたゲインＰＧ＿Ｐ［ｉ］を用いたゲイン補正として行う。

そして、上述した置き換え対象フレーム数算出部３１ａとＯＢ補正レベル算出部３２とＯＢ値減算部３３と画素ゲイン補正部３４とにより、比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正部が構成されている。

ここに、本実施形態では、部分領域が１画素で構成されているものとして説明するが、複数画素でなる部分領域（例えば、画素値がほぼ同一の複数画素でなる部分領域）毎に処理を行っても構わない。ある被写体の光学像は、一般的に複数画素に渡って結像されるために、複数画素でなる部分領域毎に処理を行うことで、全画素についての処理を行う場合よりも処理量を減らすことができ、処理負荷が軽減されて高速な処理が可能となる利点がある。

標準画像処理部３５は、比較明合成部３１〜画素ゲイン補正部３４により上述するように作成され補正された比較明画像に対して（あるいは通常の撮影モードにより得られた画像に対して）、表示用画像または記録用画像を作成するための標準画像処理、いわゆる現像処理を行うものである。この標準画像処理としては、例えば、デモザイキング処理、ホワイトバランス補正、カラーマトリクス処理、ガンマ変換処理などが含まれている。

次に、図５は、画像処理部３により行われる比較明合成モード処理を示すフローチャートである。なお、比較明合成モードが設定されている場合には、この処理を開始する前に、カメラ制御部１２の制御に基づき撮像処理が行われて、複数フレーム（Ｎフレームとする）の画像データが撮像素子２により取得され図示しない内部メモリに記憶されているものとする。ただし、これに限定されるものではなく、例えば撮像動作と並行して実行可能な処理については、撮像動作と並行して行っても構わない。

図示しないメイン処理からこの処理に入ると、比較明合成部３１により比較明合成処理を行って比較明画像を作成する（ステップＳ１）。この比較明画像は、１フレーム目からＮフレーム目の各画像における、画素ｉの画素値Ｐ［ｉ］（画素ｉが、Ｒ画素である場合にはＰ＝Ｒ（画素値Ｒ［ｉ］）、Ｇ画素である場合にはＰ＝Ｇ（画素値Ｇ［ｉ］）、Ｂ画素である場合にはＰ＝Ｂ（画素値Ｂ［ｉ］）となる、以下、同様）の中の、最大の画素値ＰｅａｋＰ［ｉ］で構成される画像となる。

次に、暗時ランダムノイズ傾向判定部３２ａが暗時ランダムノイズ傾向の判定を行う（ステップＳ２）。

具体的に、暗時ランダムノイズ傾向判定部３２ａは、ＯＢ部２２におけるある１つの画素の画素値（いわゆるＯＢ成分）の、複数フレーム間での暗時ランダムノイズに起因するばらつきの度合いを示す標準偏差σｄを算出する。ここに、図７は、複数フレーム間での暗時ランダムノイズによる画素値の揺らぎに起因した、ＯＢ部２２の各画素値の出現頻度のヒストグラムの例を示している。ただし、画素毎に暗電流レベルが異なり、暗電流は暗時ショットノイズとして暗時ランダムノイズに寄与するために、より正確には、標準偏差σｄは、画素毎に少し異なる値をとる。このために、複数画素において同じように標準偏差σｄを求めて、求めた複数の標準偏差σｄを平均化することで、暗電流のばらつきの影響を軽減すると良い。

なお、ここでは暗時ランダムノイズ傾向判定部３２ａは、例えば、複数フレーム間での暗時ランダムノイズに起因するばらつきの度合いを示す標準偏差σｄを算出することをＯＢ部２２の複数の画素で行い、算出した複数の標準偏差σｄの平均をとることで最終的な標準偏差σｄを算出しているが、これに限るものではない。

例えば、比較明合成部３１において、ＯＢ部２２から読み出された画素値に対して所望のフレーム数分の比較明合成処理を行い、比較明合成処理後におけるＯＢ部２２の適宜のエリア（複数画素でなるエリア）の各画素値の平均値を求めることにより、所望のフレーム数分のＯＢ補正レベルＣｏｂ［ｉ］を直接求めるようにしても良い。この方法は、図１１に示すグラフを直接求める方法である。

すなわち、図１１に示すように、ＯＢ補正レベルＣｏｂ［ｉ］は、所望のフレーム数（置き換え対象フレーム数）の対数に比例する傾向を示す。よって、比較的大きな値の置き換え対象フレーム数に対するＯＢ補正レベルＣｏｂ［ｉ］を、少なくとも２つの異なる置き換え対象フレーム数において取得しておけば、所望の置き換え対象フレーム数に対するＯＢ補正レベルＣｏｂ［ｉ］を求めるのに必要な近似直線を得ることができる。

このためには、少なくとも２つの異なる所望のフレーム数（置き換え対象フレーム数）分の比較明合成処理を、ＯＢ部２２の適宜のエリアから読み出された画素値に対して行えば良い。これにより、画素ｉ毎の置き換え対象フレーム数に応じた最適なＯＢ補正レベルＣｏｂ［ｉ］を求めることができる。

なお、この方法では、ＯＢ補正レベルＣｏｂ［ｉ］を求めるに際して、予め標準偏差σｄを求めておく必要がないが、標準偏差σｄは次のステップＳ３の処理を行う際に必要となる。そこで例えば、図１１に示す直線の傾きが標準偏差σｄ毎に異なることを利用して、ＯＢ補正レベルＣｏｂ［ｉ］を求めるのに用いる近似直線の傾きに基づいて、標準偏差σｄを逆算しても良い。

すなわち、図１１に示す直線は、後述するように、画像処理部３の図示しない記憶部に予め記憶されている。この記憶部に記憶されている各直線の傾き（σｄ＝５の直線の傾き、σｄ＝１０の直線の傾き、σｄ＝２０の直線の傾き）と、比較明合成処理結果から実際に求めた近似直線の傾きと、を比較することにより、標準偏差σｄを求めることができる。

ごくおおざっぱな値の一例を挙げれば、図１１に示すようなグラフにおけるσｄ＝５の直線の傾きが０．５、σｄ＝１０の直線の傾き１．０であり、比較明合成処理結果から実際に求めた近似直線の傾きが０．７５であるときに、標準偏差σｄ＝７．５とする、等である。

こうして暗時ランダムノイズ傾向判定部３２ａにより算出された標準偏差σｄは、比較明合成部３１の置き換え対象フレーム数算出部３１ａへ送信される。すると、置き換え対象フレーム数算出部３１ａは、受信した標準偏差σｄを用いて、置き換え対象フレーム数ｎ［ｉ］を算出する（ステップＳ３）。

なお、図５には、ステップＳ２の暗時ランダムノイズ傾向の判定、および、ステップＳ３の置き換え対象フレーム数算出部３１ａによる置き換え対象フレーム数ｎ［ｉ］の算出を、ステップＳ１の比較明合成処理の後に行う例を示しているが、これに限るものではなく、例えば比較明合成処理の中で行っても構わない。

ここで、図６は、図５のステップＳ３における置き換え対象フレーム数算出の処理を示すフローチャートである。

この処理を開始すると、Ｎフレームの画像の中から、適宜の順序に従って（例えば、撮影順序に従って）１フレームの画像を選択する（ステップＳ２１）。

そして、画素位置により画素を区別するためのインデックスｉに１を代入して初期化する（ステップＳ２２）。

続いて、現在処理している画像が、Ｎフレームの画像の中から１番目に選択された画像、つまり最初の画像であるか否かを判定する（ステップＳ２３）。

ここで、最初の画像であると判定された場合には、置き換え対象フレーム数ｎ［ｉ］に１を設定し（ステップＳ２４）、画素ｉの平均画素値を示すＰａｖｅ［ｉ］にＰ［ｉ］を設定する（ステップＳ２５）。

ステップＳ２３において最初の画像でないと判定された場合、またはステップＳ２５の処理を行った場合には、置き換え対象フレーム数算出部３１ａは、画素ｉの画素値に含まれるランダムノイズの影響を示すランダムノイズ量σｔｏｔａｌ［ｉ］を算出する（ステップＳ２６）。

ここで、ランダムノイズは、上述したように、概略、暗時ランダムノイズと明時ランダムノイズとに大別され、画素ｉのランダムノイズ量σｔｏｔａｌ［ｉ］は、暗時ランダムノイズ量を示す上述した標準偏差σｄの２乗と明時ランダムノイズ量σｂ［ｉ］の２乗との加算値の平方根として、次のように表される。
σｔｏｔａｌ［ｉ］＝（σｄ^2＋σｂ［ｉ］^2）^0.5
ここに、記号「^」はべき乗を表している。

暗時ランダムノイズ量は、露光時間や撮影時の撮像素子２の温度等に依存して値が変化する量であり、上述したように、ＯＢ部２２の画素値のランダムノイズに起因したばらつきの度合いを示す標準偏差σｄとして算出される（つまり、被写体からの入射光を光電変換して発生する信号には依存せず、ひいては画素ｉの真の画素値には依存しない）。

また、明時ランダムノイズ量σｂ［ｉ］は、撮像素子２の種類（あるいは、撮像素子２の特性）に応じて大きさが異なり、画素ｉに発生する真の画素値に応じた大きさとなる。ここで例えば、真の画素値が小さい場合には電気的ゲインによる増幅量が大きく設定され、真の画素値が大きい場合には電気的ゲインによる増幅量が小さく設定されるために、実用的には、明時ランダムノイズ量σｂ［ｉ］が、撮像装置の露出制御を通して決定される撮影時の撮影条件に依存するということができる。

具体的に、電気的ゲインによる増幅量が、小さい場合（露光量が大きく、増幅する必要があまりない場合）には各画素において光電変換して得られる画素値が比較的大きいことに起因して明時ランダムノイズ量σｂ［ｉ］が大きくなり、電気的ゲインによる増幅量が、大きい場合（露光量が小さく、増幅する必要がある場合）には各画素において光電変換して得られる画素値が比較的小さいことに起因して明時ランダムノイズ量σｂ［ｉ］が小さくなる。

そして、画素ｉに発生する真の画素値の近似値は、後述するステップＳ３０の処理を行うことにより、比較明合成部３１が画素値を置き換える対象として有効なフレームに係る平均画素値Ｐａｖｅ［ｉ］として得られる（平均画素値Ｐａｖｅ［ｉ］の初期値は、後述するステップＳ２５またはステップＳ３２により設定される）。

この平均画素値Ｐａｖｅ［ｉ］は、置き換え対象フレーム数ｎ［ｉ］が１よりも大きければ、画素ｉの画素値Ｐ［ｉ］と比べて、画素ｉの真の画素値に対するより精度の高い近似値となる。しかも、平均画素値Ｐａｖｅ［ｉ］は、置き換え対象フレーム数ｎ［ｉ］が大きくなればなる程、より高い精度で真の画素値に近付く。

従って、置き換え対象フレーム数算出部３１ａは、明時ランダムノイズ量σｂ［ｉ］を、平均画素値Ｐａｖｅ［ｉ］に基づき、図１３を参照することにより推定する。ここに、図１３に示すようなグラフ、あるいは平均画素値から明時ランダムノイズ量を決定する計算式は、後述するように、撮像装置内の図示しない記憶部に予め記憶されている。

こうして、置き換え対象フレーム数算出部３１ａは、得られた標準偏差σｄと明時ランダムノイズ量σｂ［ｉ］とに基づいて、上述した数式により画素ｉのランダムノイズ量σｔｏｔａｌ［ｉ］を算出する。

そして、置き換え対象フレーム数算出部３１ａは、選択した画像における画素ｉの画素値Ｐ［ｉ］に対して、次の条件式、
Ｐ［ｉ］≧Ｐａｖｅ［ｉ］＋ｋ×σｔｏｔａｌ［ｉ］
が満たされるか否かを判定する（ステップＳ２７）。

ここに、ｋはランダムノイズ量σｔｏｔａｌ［ｉ］に乗算する係数である。平均画素値Ｐａｖｅ［ｉ］の被写体が画素ｉに位置している状態が継続しているか否かを判別する際に、ランダムノイズ量σｔｏｔａｌ［ｉ］の影響をどの程度考慮するかを決定するのがこの係数ｋである。係数ｋは、被写体の明らかな移動があった場合を区別できる値とすること、すなわち、ランダムノイズの影響とは明らかに異なる被写体の移動に伴う画素値の変化を検知できる値とすることが必要であり、数値の具体的な例を挙げれば、ｋ＝４〜６程度である。

例えば、ｋ＝６は、ランダムノイズの影響を被写体の移動と誤認識する確率が２／（１０億）程度となるようにした値であり、カメラで撮影する画像の実質的なフレーム数は５億よりも十分に小さいために、ランダムノイズの影響による誤認識が発生しないように十分に考慮した値である。

一方、この係数ｋの値が大きすぎた場合には、移動被写体があるフレーム以降にある画素に位置したとしても、その区別が適切にできなくなることが生じる。この場合には、ランダムノイズの影響を超えた変化が比較明処理で発生したにも関わらず、それを適切に判定することができないために、置き換え対象フレーム数ｎ［ｉ］がリセットされることなくカウントアップがそのまま引き続き行われて、画素ｉの置き換え対象フレーム数ｎ［ｉ］が本来の数よりも大きくなってしまう。これにより、ランダムノイズの影響を大きく見積もることとなって暗時補正レベルが比較的大きくなり、ＯＢ減算レベルが大きくなりすぎる等の場合が起き得る。

従って、これらの観点から、係数ｋの値を、ランダムノイズの大きさと比較明撮影フレーム数の相対において、小さすぎず大き過ぎない適切な値に決める必要がある。

さらに、本実施形態において後述するが、置き換え対象フレーム数ｎ［ｉ］を決定する際の判定スレッシュに含まれるσｔｏｔａｌ［ｉ］を算出するのに明時ランダムノイズ量σｂ［ｉ］が用いられるが、明時ランダムノイズ量σｂ［ｉ］は平均画素値Ｐａｖｅ［ｉ］から推定する。この平均画素値Ｐａｖｅ［ｉ］は、置き換え対象フレーム数ｎ［ｉ］を決定する処理（より詳しくは、後述するステップＳ３０の平均画素値Ｐａｖｅ［ｉ］を算出するループ処理）を進めるに従って刻々と変化して精度が上がり、明時ランダムノイズ量σｂ［ｉ］の推定値もそれに伴い変化して精度が上がる。つまり、ループ処理の比較的初期段階においては、平均画素値Ｐａｖｅ［ｉ］の精度に応じて明時ランダムノイズ量σｂ［ｉ］の推定誤差がある。従って、この推定誤差が被写体の移動判定に影響を与えないように、係数ｋの値を考慮する必要もある。

図７は、ある画素ｉにおける画素値の複数フレーム間での暗時ランダムノイズによる画素値の揺らぎに起因した出現頻度のヒストグラムの例に、ｋ＝６のときの標準偏差σの範囲を示す線図である。

図７には、画素値Ｐ［ｉ］が平均画素値Ｐａｖｅ［ｉ］を挟んだ±６×σｔｏｔａｌ［ｉ］の範囲内に入っているとき、つまり、
Ｐａｖｅ［ｉ］−６×σｔｏｔａｌ［ｉ］＜Ｐ［ｉ］
＜Ｐａｖｅ［ｉ］＋６×σｔｏｔａｌ［ｉ］
であるときに、平均画素値Ｐａｖｅ［ｉ］の被写体が画素ｉに位置している状態が継続していると判断する例を示している。なお、２つある不等号（＜）は、一方もしくは両方を、等号付きの不等号（≦）に変更しても構わない（従って、ステップＳ２７，Ｓ２８においても同様）。

図８は、ある画素ｉに位置する被写体がＯＢＪ１からＯＢＪ２へ移行したときの、画素値の出現頻度のヒストグラムが変化する様子を示す図である。

この図８に示すように、ある画素ｉに結像している被写体の像がＯＢＪ１から、ＯＢＪ１よりも明らかに明るい被写体であるＯＢＪ２へ変化すると、Ｐａｖｅ［ｉ］±６×σｔｏｔａｌ［ｉ］の範囲内を超えた画素値の変化が生じる。そこで、ステップＳ２７では、画素ｉの画素値Ｐ［ｉ］がこの範囲の上限以上であるか否かを判定している。

ステップＳ２７において条件式が満たされないと判定された場合には、さらに、画素ｉの画素値Ｐ［ｉ］が上述した範囲の下限以下であるか否かを、次の条件式、
Ｐ［ｉ］≦Ｐａｖｅ［ｉ］−ｋ×σｔｏｔａｌ［ｉ］
が満たされるか否かにより判定する（ステップＳ２８）。

この条件式も満たされない場合には、平均画素値Ｐａｖｅ［ｉ］の被写体が画素ｉに位置している状態が継続していると判定されて、置き換え対象フレーム数ｎ［ｉ］をインクリメントする（ステップＳ２９）。

さらに、Ｐ［ｉ］の画素値が含まれるように平均画素値Ｐａｖｅ［ｉ］を計算し直す（ステップＳ３０）。

一方、ステップＳ２７において条件式が満たされると判定された場合には、ランダムノイズを考慮した許容変化量ｋ×σｔｏｔａｌ［ｉ］を超える変化幅で画素値が変化したことになるために、平均画素値Ｐａｖｅ［ｉ］の被写体が画素ｉから移動して、より明るい被写体が画素ｉに位置するようになったと判定して、置き換え対象フレーム数ｎ［ｉ］を１にリセットし（ステップＳ３１）、平均画素値Ｐａｖｅ［ｉ］をＰ［ｉ］に設定し直す（ステップＳ３２）。

ステップＳ３０もしくはステップＳ３２の処理を行うか、またはステップＳ２８において条件式が満たされると判定された場合には、ｉ＝ｉｍａｘであるか否かを判定する（ステップＳ３３）。ここに、ｉｍａｘは１フレームの画像における有効画素部２１の全画素数を示している。

移動被写体がある場合に、比較明合成の対象となるのは画素ｉに少なくとも１フレーム分は位置している最も明るい被写体であるために、最も明るい被写体でない被写体が画素ｉに位置した場合（ステップＳ２８において条件式が満たされると判定された場合）には、置き換え対象フレーム数ｎ［ｉ］はインクリメントもリセットもされず、平均画素値Ｐａｖｅ［ｉ］は、計算のし直しも、設定し直しもされない。

ステップＳ３３においてｉ＝ｉｍａｘでないと判定された場合には、ステップＳ２１において選択した画像中に未処理の画素が存在することになるために、ｉをインクリメントして処理対象の画素位置を変更してから（ステップＳ３４）、ステップＳ２３へ戻って上述した処理を繰り返して行う。

こうして、ステップＳ３３においてｉ＝ｉｍａｘであると判定された場合には、ステップＳ２１において選択した画像の処理が終了したことになるために、次に、Ｎフレームの画像の全てについての処理が終了したか否かを判定する（ステップＳ３５）。

ここで、全画像の処理が終了していないと判定された場合には、ステップＳ２１へ行って次の画像を選択し、上述したような処理を行う。

こうして、ステップＳ３５において全画像の処理が終了したと判定された場合には、この処理から図５に示した処理にリターンする。

図５の説明に戻って、比較明画像の全ての画素ｉについて置き換え対象フレーム数ｎ［ｉ］が算出されたら、ステップＳ２において暗時ランダムノイズ傾向判定部３２ａにより算出された標準偏差σｄに基づいて、ＯＢ補正レベル算出部３２が、置き換え対象フレーム数ｎ［ｉ］とＯＢ補正レベルＣｏｂ［ｉ］との関係を示すグラフ（図１１参照）を選択する。そして、ＯＢ補正レベル算出部３２は、選択したグラフにおける置き換え対象フレーム数ｎ［ｉ］の部分を参照することで、ＯＢ部２２の画素値の平均値＜ＯＢ＞を画素ｉに対応するように補正するためのＯＢ補正レベルＣｏｂ［ｉ］を算出する（ステップＳ４）。

まず、図１０は、比較明合成における画素の置き換え対象フレーム数が変化したときに、比較明合成されたＯＢ部２２における複数画素の画素値の出現頻度のヒストグラムが変化する様子を示す線図である。

置き換え対象フレーム数ｎ［ｉ］＝１のときのグラフは図９に示したグラフと同一であるが、置き換え対象フレーム数ｎ［ｉ］が大きくなると、より大きな暗時ランダムノイズが選択される結果、比較明合成されたＯＢ画像の平均画素値は高い画素値へシフトする。また、より大きな暗時ランダムノイズが選択される結果、置き換え対象フレーム数ｎ［ｉ］が大きくなるにつれて、比較明合成されたＯＢ画像の画素値のばらつきの度合いが小さくなっている。

この図１０に示したような、置き換え対象フレーム数ｎ［ｉ］の増加に従って比較明合成への暗時ランダムノイズの影響が増加する傾向（図１０のヒストグラムのピーク位置の変化が、暗時ランダムノイズの影響によるＯＢ値の、比較明合成による変化になる）をグラフ化したのが図１１である。すなわち、図１１は、置き換え対象フレーム数ｎ［ｉ］に応じたＯＢ補正レベルＣｏｂ［ｉ］を、ＯＢ部２２のある画素ｉにおける画素値の標準偏差σｄをパラメータとして示す線図である。ここに、図１１は、横軸が対数目盛となっている片対数グラフである。

そして、この図１１に示すようなグラフ（もしくはテーブル、あるいは関数など）は、ＯＢ補正レベル算出部３２内の図示しない記憶部（あるいは、ＯＢ補正レベル算出部３２により随時参照可能な図示しない記憶部）等に予め記憶されている。

なお、図１１に示すグラフ形状を記憶するのに代えて、グラフ上の幾つかの点の座標、例えばｎ［ｉ］＝１，１０，１００，１０００，…に各対応するＯＢ補正レベルＣｏｂ［ｉ］の座標を記憶しておき、補間を行うことにより、置き換え対象フレーム数ｎ［ｉ］に応じたＯＢ補正レベルＣｏｂ［ｉ］を算出するようにしても構わない。

ＯＢ補正レベル算出部３２は、置き換え対象フレーム数ｎ［ｉ］とＯＢ補正レベルＣｏｂ［ｉ］との関係を示すグラフを、ＯＢ部２２の画素値の標準偏差σｄに応じて選択し、選択したグラフに基づいて置き換え対象フレーム数ｎ［ｉ］からＯＢ補正レベルＣｏｂ［ｉ］を求める。

図１１にはσｄ＝５，１０，２０の各ケースにおける置き換え対象フレーム数ｎ［ｉ］とＯＢ補正レベルＣｏｂ［ｉ］との関係を示す直線状のグラフの例が示されている。この直線状のグラフは、置き換え対象フレーム数ｎ［ｉ］が指数的に増加するのに比例して、ＯＢ補正レベルＣｏｂ［ｉ］、つまり図１０に示したようなＯＢ部２２における平均画素値が増加することを示している。また、折れ線グラフは、σｄ＝１０の実測値の例を示している。図示のように、直線状のグラフは、実測値を良く近似していることが分かる。なお、算出された標準偏差σｄが、σｄ＝５，１０，２０の何れにも該当しない場合には、σｄ＝５，１０，２０のグラフを補間することで、標準偏差σｄに対応するグラフを作成すれば良い。

こうして、比較明合成用に撮像素子２から取得された画像データのフレーム数Ｎが例えばＮ＝１００であったとしても、画素ｉにおける置き換え対象フレーム数ｎ［ｉ］が例えばｎ［ｉ］＝５０であれば、図１１に基づき求められた画素ｉに対して適用されるＯＢ補正レベルＣｏｂ［ｉ］は、静止被写体に対して適用されるＯＢ補正レベルよりも低いレベルとなる。従って、移動被写体が存在する場合には、画素ｉにおける移動被写体の滞在時間に応じた適切なＯＢ補正レベルＣｏｂ［ｉ］でＯＢ値が補正されることになる。

すなわち、ＯＢ値減算部３３は、撮像素子２から取得された複数フレームの画像データの内の１フレームの画像データにおけるＯＢ部２２の画素値の平均値＜ＯＢ＞を黒レベルとして算出する。さらに、ＯＢ値減算部３３は、ＯＢ補正レベル算出部３２により算出された画素ｉ毎のＯＢ補正レベルＣｏｂ［ｉ］を用いて、画素ｉ毎のＯＢ値ＯＢ［ｉ］を、例えば、
ＯＢ［ｉ］＝＜ＯＢ＞＋Ｃｏｂ［ｉ］
により算出することで、黒レベルの補正を行う。この補正された黒レベルを用いて画素値の黒レベル減算処理を行うことにより、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正が行われる。

具体例を挙げれば、図９（および図１０における置き換え対象フレーム数ｎ［ｉ］＝１の場合）に示した例における画素値の平均値＜ＯＢ＞は例えば２５６である。ここに、図９は、１フレームの画像のＯＢ部２２中の複数画素における画素値の出現頻度のヒストグラムの例を示す線図である。そして、図１１に示した例におけるσｄ＝１０で置き換え対象フレーム数ｎ［ｉ］＝１００のときのＯＢ補正レベルＣｏｂ［ｉ］は例えば４５である。従って、この場合には、ＯＢ値ＯＢ［ｉ］＝３０１として算出される。

一方、図１１に示した例におけるσｄ＝１０で置き換え対象フレーム数ｎ［ｉ］＝１０のときのＯＢ補正レベルＣｏｂ［ｉ］は例えば２７であるために、この場合には、ＯＢ値ＯＢ［ｉ］＝２８３として算出される。

なお、上述では、１フレームの画像データにおけるＯＢ部２２の画素値の平均値＜ＯＢ＞を、ＯＢ補正レベルＣｏｂ［ｉ］により補正して画素ｉ毎のＯＢ値ＯＢ［ｉ］を取得したが、これに限るものではない。

例えば、ＯＢ部２２の画素値についても、比較明合成部３１が比較明合成を順次行う。そして、１〜ｎフレームのＯＢ部２２のＯＢデータを比較明合成した比較明ＯＢデータの画素値の平均値＜ＯＢ＿比較明（ｎ）＞をｎ＝１，２，３，…について求めて、ｎを横軸、＜ＯＢ＿比較明（ｎ）＞を縦軸にプロットしたグラフを、図１１に準じて作成する。ただし、図１１と同様に横軸は対数目盛として構わないために、少なくとも２つの異なるｎ、例えばｎ＝１，１０，１００，…における平均値＜ＯＢ＿比較明（ｎ）＞を求めておき、その他の任意のｎに対する＜ＯＢ＿比較明（ｎ）＞は補間により求めるようにしても良い。

そして、置き換え対象フレーム数ｎ［ｉ］に基づきグラフを参照することで、画素ｉ毎の黒レベルであるＯＢ値ＯＢ［ｉ］を、平均値＜ＯＢ＿比較明（ｎ［ｉ］）＞として直接取得するようにしても良い。

その後、ＯＢ値減算部３３は、比較明合成部３１により作成された比較明画像の画素ｉの画素値ＰｅａｋＰ［ｉ］から、ＯＢ値ＯＢ［ｉ］を減算するＯＢ減算処理
ＰｅａｋＰ［ｉ］←ＰｅａｋＰ［ｉ］−ＯＢ［ｉ］
を全ての画素ｉについて行うことにより、黒レベル減算処理を実行する（ステップＳ５）。

続いて、明時ランダムノイズ補正量算出部３４ａが、Ｎフレームの画像の全てについての処理を行った結果における画素ｉの平均画素値Ｐａｖｅ［ｉ］に基づき明時ランダムノイズ量σｂ［ｉ］を推定する（ステップＳ６）。ここでの推定は、置き換え対象フレーム数算出部３１ａが図６のステップＳ２６において行う処理と基本的に同様である。従って、このステップＳ６の処理を省略して、図６のステップＳ２６において最終的に得られた（つまり、Ｎフレームの画像の全てについての処理が終了した後の）明時ランダムノイズ量σｂ［ｉ］を用いても構わない。

光ショットノイズは、上述したように、１回の電荷蓄積時間（露光時間）に画素内のフォトダイオードに入射する光子数がいつも同じではなく平均値を基準とした正負の揺らぎをもつことに起因するランダムノイズであり、光ショットノイズの統計的な大きさ（標準偏差など）はフォトダイオードに入射する光子（平均値）によって光電変換作用により生成された電子の数の平方根に比例する。

フォトダイオードで発生する電荷量は、設計により決められる撮像素子２の構造に依存する。さらに、露光時間（ひいてはフォトダイオードに入射する光子数）は、ＡＥ制御等によりゲインに応じて最適に制御されるために、フォトダイオードで発生する電荷量（ひいては真の画素値）はゲインにも依存する。従って、電荷量に応じて発生する光ショットノイズの大きさも、ゲインに依存することになる。

図１２は、ゲインの設定値に応じた、１電子の量子化単位への変換係数の具体例を示す図表である。この図１２に示す例では、ゲインの設定値が２４（ｄＢ）であるときに、１電子当たりの量子化単位が３．０４となっている。

また、図１３は平均画素値に応じた明時ランダムノイズ量の一例を示す図である。

明時ランダムノイズにおいて支配的であるのが光ショットノイズであるとすると、上述したように、光ショットノイズの大きさは画素のフォトダイオードに入射する光子（平均値）によって光電変換作用により生成された電子の数（ひいては平均値の光子数の光子を光電変換して得られる真の画素値）の平方根に比例しており、真の画素値は上述したように平均画素値Ｐａｖｅ［ｉ］に近似するとして良いために、この図１３に示すように、光ショットノイズの大きさ（明時ランダムノイズ量）を示すグラフは、平均画素値の平方根に比例した形状となっている。

この図１３に示すようなグラフ（もしくはテーブル、あるいは関数など）は、明時ランダムノイズ補正量算出部３４ａ内の図示しない記憶部（あるいは、明時ランダムノイズ補正量算出部３４ａにより随時参照可能な図示しない記憶部）等に予め記憶されている。

こうして明時ランダムノイズ補正量算出部３４ａは、図１３を参照することにより、Ｎフレームの画像の全てについての処理を行った結果における画素ｉの平均画素値Ｐａｖｅ［ｉ］に基づいて画素ｉの明時ランダムノイズ量σｂ［ｉ］を推定することを、全ての画素ｉについて行う。

明時ランダムノイズ補正量算出部３４ａは、さらに、推定した明時ランダムノイズ量σｂ［ｉ］と、暗時ランダムノイズ量を示す標準偏差σｄと、を用いて、上述した関係式、
σｔｏｔａｌ［ｉ］＝（σｄ^2＋σｂ［ｉ］^2）^0.5
によりσｔｏｔａｌ［ｉ］を算出する。このσｔｏｔａｌ［ｉ］の算出も、置き換え対象フレーム数算出部３１ａが図６のステップＳ２６において行う処理と基本的に同様であるために、図６のステップＳ２６において最終的に得られた（つまり、Ｎフレームの画像の全てについての処理が終了した後の）σｔｏｔａｌ［ｉ］を用いても構わない。

そして、明時ランダムノイズ補正量算出部３４ａは、暗時ランダムノイズ減算後の残存ノイズ量（σｔｏｔａｌ［ｉ］−σｄ）を算出して、算出した残存ノイズ量（σｔｏｔａｌ［ｉ］−σｄ）に応じて、置き換え対象フレーム数ｎ［ｉ］に依存する明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を算出する（ステップＳ７）。

この明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］は、図１４に示すように、残存ノイズ量（σｔｏｔａｌ［ｉ］−σｄ）に応じて大きくなり、さらに、置き換え対象フレーム数ｎ［ｉ］が多くなるに従って大きくなる。

ここに、図１４は、置き換え対象フレーム数ｎ［ｉ］に応じた明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を、暗時ランダムノイズ減算後の残存ノイズ量（σｔｏｔａｌ［ｉ］−σｄ）をパラメータとして示す線図である。なお、図１４は、横軸が対数目盛となっている片対数グラフである。

この図１４に示すようなグラフ（もしくはテーブル、あるいは関数など）も、明時ランダムノイズ補正量算出部３４ａ内の図示しない記憶部（あるいは、明時ランダムノイズ補正量算出部３４ａにより随時参照可能な図示しない記憶部）等に予め記憶されている。

明時ランダムノイズ補正量算出部３４ａは、置き換え対象フレーム数ｎ［ｉ］と明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］との関係を示すグラフを、パラメータである残存ノイズ量（σｔｏｔａｌ［ｉ］−σｄ）に応じて選択し、選択したグラフに基づいて、置き換え対象フレーム数ｎ［ｉ］から明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を求める。

図１４には（σｔｏｔａｌ［ｉ］−σｄ）＝３，５，１０の各ケースにおける置き換え対象フレーム数ｎ［ｉ］と明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］との関係を示す直線状のグラフの例が示されている。この直線状のグラフは、置き換え対象フレーム数ｎ［ｉ］が指数的に増加するのに比例して、明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］が増加することを示している。また、折れ線グラフは、（σｔｏｔａｌ［ｉ］−σｄ）＝５の実測値の例を示している。図示のように、直線状のグラフは、実測値を良く近似していることが分かる。

こうして、残存ノイズ量（σｔｏｔａｌ［ｉ］−σｄ）をパラメータとして、置き換え対象フレーム数ｎ［ｉ］に応じて明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］が求められるために、移動被写体が存在する場合には、画素ｉにおける移動被写体の滞在時間に応じた適切な明時ランダムノイズ補正が行われることになる。

次に、画素ゲイン算出部３４ｂが、明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を用いて、画素ｉのゲインＰＧ＿Ｐ［ｉ］を算出することを、全ての画素ｉに対して行う（ステップＳ８）。

まず、ゲインの基準となる画素値を、例えば、適正露光に対応する（つまり、最も高い精度が必要とされる）画素値Ｐｐｒｏに設定する。なお、ホワイトバランス処理においてゲインの基準とされるのも、同様に、適正露光に対応する画素値Ｐｐｒｏ付近の値である。また、ホワイトバランス係数の算出は、例えば、画像内の移動体を除いた領域で行うことが精度向上と演算の簡素化の観点で望ましい。適正露光に対応する画素値Ｐｐｒｏは、メーカや製品に応じて予め決まった値であり、画素値が取り得るダイナミックレンジの例えば１０%程度の値（１２ビット（画素値０〜４０９５）でデジタル化された画素値であれば、例えば４１０程度の値）である。

画素値がＰｐｒｏであって置き換え対象フレーム数がＮであるときの明時ランダムノイズ補正量をＳｆｔ＿Ｐｐｒｏと記載することにすると、画素ゲイン算出部３４ｂは、画素ｉのゲインＰＧ＿Ｐ［ｉ］を例えば次のように算出することを、全ての画素ｉに対して行う。
ＰＧ＿Ｐ［ｉ］＝［｛（ＰｅａｋＰ［ｉ］−Ｓｆｔ＿Ｐ［ｉ］）／Ｐｐｒｏ｝
／｛（Ｓｆｔ＿Ｐ［ｉ］／Ｓｆｔ＿Ｐｐｒｏ）｝−１］
×Ｓｆｔ＿Ｐ［ｉ］／ＰｅａｋＰ［ｉ］＋１

具体的に、画素ｉが、Ｒ画素である場合のゲインＰＧ＿Ｒ［ｉ］、Ｇ画素である場合のゲインＰＧ＿Ｇ［ｉ］、Ｂ画素である場合のゲインＰＧ＿Ｂ［ｉ］が、それぞれ以下のように算出される。
ＰＧ＿Ｒ［ｉ］＝［｛（ＰｅａｋＲ［ｉ］−Ｓｆｔ＿Ｒ［ｉ］）／Ｐｐｒｏ｝
／｛（Ｓｆｔ＿Ｒ［ｉ］／Ｓｆｔ＿Ｐｐｒｏ）｝−１］
×Ｓｆｔ＿Ｒ［ｉ］／ＰｅａｋＲ［ｉ］＋１
ＰＧ＿Ｇ［ｉ］＝［｛（ＰｅａｋＧ［ｉ］−Ｓｆｔ＿Ｇ［ｉ］）／Ｐｐｒｏ｝
／｛（Ｓｆｔ＿Ｇ［ｉ］／Ｓｆｔ＿Ｐｐｒｏ）｝−１］
×Ｓｆｔ＿Ｇ［ｉ］／ＰｅａｋＧ［ｉ］＋１
ＰＧ＿Ｂ［ｉ］＝［｛（ＰｅａｋＢ［ｉ］−Ｓｆｔ＿Ｂ［ｉ］）／Ｐｐｒｏ｝
／｛（Ｓｆｔ＿Ｂ［ｉ］／Ｓｆｔ＿Ｐｐｒｏ）｝−１］
×Ｓｆｔ＿Ｂ［ｉ］／ＰｅａｋＢ［ｉ］＋１

続いて、画素ゲイン補正部３４が、ゲインＰＧ＿Ｐ［ｉ］に基づき、
ＰｅａｋＰ［ｉ］←ＰｅａｋＰ［ｉ］×ＰＧ＿Ｐ［ｉ］
のように画素ｉの画素値ＰｅａｋＰ［ｉ］を補正する（ステップＳ９）。これにより、置き換え対象フレーム数ｎ［ｉ］に応じて明時ランダムノイズ量σｂ［ｉ］が異なることに起因する色付き（色ずれ）が補正され、明時ランダムノイズに起因する画素値のずれに対する補正が行われる。

その後、標準画像処理部３５が、比較明画像に標準画像処理を行って（ステップＳ１０）、この処理から図示しないメイン処理へリターンする。

このような実施形態１によれば、比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行うようにしたために、移動被写体が存在する場合にも画質の良い比較明画像を得ることができる。

また、比較明合成処理における画素ｉ毎の置き換え対象フレーム数ｎ［ｉ］に基づいてＯＢ補正レベルＣｏｂ［ｉ］や明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］（ひいてはゲインＰＧ＿Ｐ［ｉ］）などの補正量を決定するようにしたために、置き換え対象フレーム数ｎ［ｉ］に応じてランダムノイズ量の影響が変化することを考慮したランダムノイズに起因するずれの補正が可能となる。

さらに、平均画素値Ｐａｖｅ［ｉ］と、平均画素値Ｐａｖｅ［ｉ］に重畳するランダムノイズ量σｔｏｔａｌ［ｉ］とに基づいて、置き換え対象フレーム数ｎ［ｉ］を算出するようにしたために、同一画素位置に入れ替わり複数の被写体が存在したとしても、比較明画像に残る被写体（対象となる画素位置に存在した最も明るい被写体）に関する置き換え対象フレーム数ｎ［ｉ］を正確に算出することが可能となる。

そして、置き換え対象フレーム数ｎ［ｉ］を算出する際のランダムノイズ量σｔｏｔａｌ［ｉ］として、暗時ランダムノイズ量を示す標準偏差σｄと明時ランダムノイズ量σｂ［ｉ］との両方を含むランダムノイズ量を用いることにより、同一被写体に係る画素値のランダムノイズによる変動を効果的に考慮することができる。

加えて、補正量をランダムノイズ量に基づき決定することで、ランダムノイズ量に応じた適切なランダムノイズ補正が可能となる。

また、置き換え対象フレーム数ｎ［ｉ］と、ランダムノイズ量に含まれる暗時ランダムノイズ量を示す標準偏差σｄと、に基づいて黒レベル補正量としてのＯＢ補正レベルＣｏｂ［ｉ］を求め、ＯＢ補正レベルＣｏｂ［ｉ］に基づき黒レベル＜ＯＢ＞の補正を行うことにより、黒レベルの減算処理を適切に行うことができる。

さらに、置き換え対象フレーム数ｎ［ｉ］と、ランダムノイズ量から暗時ランダムノイズ量を示す標準偏差σｄを減算した量と、に基づいて明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］を求め、明時ランダムノイズ補正量Ｓｆｔ＿Ｐ［ｉ］に基づいてゲインＰＧ＿Ｐ［ｉ］を算出して明時ランダムノイズに起因する画素値のずれに対する補正を行うことにより、画素値のずれに基づく被写体の色付き等を適切に軽減することができる。

そして、有効画素部２１における画素ｉ毎の置き換え対象フレーム数ｎ［ｉ］を算出して、ＯＢ部から取得された画素値に基づいて暗時ランダムノイズ量を示す標準偏差σｄを求めるようにしたために、実際に取得された画像データに基づき、置き換え対象フレーム数ｎ［ｉ］および標準偏差σｄを適切に求めることができる。

なお、上述では主として撮像装置について説明したが、撮像装置と同様の画像処理を行う画像装置であっても構わない。また、撮像装置または画像処理装置と同様の画像処理を行う撮像方法または画像処理方法であっても良いし、コンピュータに撮像装置または画像処理装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ
２…撮像素子
３…画像処理部
４…ＡＦ評価値演算部
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部
１０…フォーカス制御部
１１…カメラ操作部
１２…カメラ制御部
２１…有効画素部
２２…オプティカルブラック部（ＯＢ部）
３１…比較明合成部
３１ａ…置き換え対象フレーム数算出部
３２…ＯＢ補正レベル算出部
３２ａ…暗時ランダムノイズ傾向判定部
３３…ＯＢ値減算部
３４…画素ゲイン補正部
３４ａ…明時ランダムノイズ補正量算出部
３４ｂ…画素ゲイン算出部
３５…標準画像処理部

Claims (10)

1. 被写体を撮像して画像データを取得する撮像部と、
   前記撮像部に撮像を時系列的に行わせて複数フレームの画像データを取得させる制御部と、
   前記複数フレームの画像データに基づき、対応する画素毎に、より明るい画素の画素値に置き換えて比較明画像を合成する比較明合成部と、
   前記比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正部と、
   を具備することを特徴とする撮像装置。
2. 前記補正部は、画素毎に、前記比較明合成部が画素値を置き換える対象として有効なフレーム数を算出する置き換え対象フレーム数算出部を備え、算出された置き換え対象フレーム数に基づいて、補正量を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記置き換え対象フレーム数算出部は、画素毎に、前記比較明合成部が画素値を置き換える対象として有効なフレームに係る平均画素値と、該平均画素値に重畳するランダムノイズ量とに基づいて、前記置き換え対象フレーム数を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記置き換え対象フレーム数算出部が用いるランダムノイズ量は、暗時ランダムノイズ量と明時ランダムノイズ量との両方を含むことを特徴とする請求項３に記載の撮像装置。
5. 前記補正部は、前記補正量を、さらにランダムノイズ量に基づき決定することを特徴とする請求項２に記載の撮像装置。
6. 前記補正部は、前記黒レベル減算処理への補正を行う場合には、前記置き換え対象フレーム数と、前記ランダムノイズ量に含まれる暗時ランダムノイズ量と、に基づいて前記補正量としての黒レベル補正量を求め、前記黒レベル補正量に基づき前記黒レベルのずれを補正することを特徴とする請求項５に記載の撮像装置。
7. 前記補正部は、さらに前記明時ランダムノイズに起因する画素値のずれに対する補正を行う場合には、前記置き換え対象フレーム数と、前記ランダムノイズ量から前記暗時ランダムノイズ量を減算した量と、に基づいて前記補正量としての明時ランダムノイズ補正量を求め、前記明時ランダムノイズ補正量に基づき補正を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像部は、前記被写体の光学像を受光して撮像を行う有効画素部と、前記被写体の光学像が遮光されるＯＢ部と、を有し、
   前記置き換え対象フレーム数算出部は、前記有効画素部における画素毎の前記置き換え対象フレーム数を算出し、
   前記補正部は、前記ＯＢ部から取得された画素値に基づいて前記暗時ランダムノイズ量を求めることを特徴とする請求項６に記載の撮像装置。
9. 被写体を時系列的に撮像して取得された複数フレームの画像データに基づき、対応する画素毎に、より明るい画素の画素値に置き換えて比較明画像を合成する比較明合成部と、
   前記比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正部と、
   を具備することを特徴とする画像処理装置。
10. 被写体を時系列的に撮像して取得された複数フレームの画像データに基づき、対応する画素毎に、より明るい画素の画素値に置き換えて比較明画像を合成する比較明合成ステップと、
    前記比較明画像に対して、１以上の画素で構成される部分領域毎に、暗時ランダムノイズに起因する黒レベルのずれを補正することによる黒レベル減算処理への補正と、明時ランダムノイズに起因する画素値のずれに対する補正と、の少なくとも一方を行う補正ステップと、
    を有することを特徴とする画像処理方法。

Images