JP2014138294A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】異なる露光条件の連続撮影画像を適用した順次合成処理によって、ノイズ低減およびダイナミックレンジ拡張処理を施した画像を生成する。
【解決手段】異なる露光条件の連続撮影画像を入力し、入力画像と、中間合成画像の構成画素をノイズ画素、有効画素、飽和画素に分類し、対応画素の画素分類結果の組み合わせに応じて画素単位の合成処理方法を決定し、決定方法に従って中間合成画像の更新を行なう。入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合は３ＤＮＲ処理、いずれもが飽和またはノイズ画素である場合、中間合成画像の画素値をそのまま出力、一方が飽和、他方がノイズ画素である場合、３ＤＮＲ処理、または、中間合成画像の画素値を出力する。
【選択図】図１０

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、複数画像の合成処理により、画像のノイズ低減処理やダイナミックレンジ拡大処理等を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）として、連続撮影された複数枚の画像を利用した合成処理が有効であることが知られている。具体的には、連続撮影された複数の画像から同一被写体の撮影画素領域である対応画素を検出し、これら複数の対応画素の画素値を加算平均するなどの合成処理を行なうことで、ノイズを低減した画素値を算出する。

このような連続撮影画像を適用してノイズ低減を行なう手法は、１つの画像の２次元領域のみだけではなく異なる撮影時間の複数画像、すなわち時間軸方向も加えた３次元（３Ｄｉｍｅｎｓｉｏｎｓ）データを利用した処理であることから、３Ｄノイズ低減処理、すなわち３ＤＮＲ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）と呼ばれる。

図１に３ＤＮＲを適用した画像のノイズ低減処理を行なう装置構成例を示す。
図１に示す３ＤＮＲ処理部２０は、カメラの撮影画像である入力画像１１を順次、入力する。この入力画像１１は、例えば図１（ａ）入力画像シーケンスに示すように、連続撮影された画像であり、それぞれノイズを含む画像である。

３ＤＮＲ処理部２０は、入力画像１１と、先行入力画像に基づいて生成した中間合成画像１２を入力し、合成比率（α）算出部２１において、これら２つの画像の対応画素の合成比率（α）を算出する。
例えば静止領域であれば、入力画像１１と中間合成画像１２の対応画素の画素値の加算比率を１：１として加算平均する。加算比率は、各画素のノイズ推定値から加算後のノイズが最小となる比率を計算してもよい。動き領域は、入力画像１１の画素値の加算比率を高めた合成比率を設定するといった合成比率算出を行なう。

なお、動き領域であるか否かの判定は、例えば各画像の対応位置の画素領域の画素値の差分絶対値（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）とノイズレベルとの比較によって行うことができる。即ち対象画素のノイズレベルに比して十分大きな差分値であれば動被写体とみなすことができる。

このような複数の連続撮影画像に基づく出力画像の生成処理は、上記のノイズ低減処理のみならず、異なる露光条件の連続撮影画像を用いたダイナミックレンジ拡大画像生成処理においても利用される。ダイナミックレンジ拡大画像は、低輝度領域から高輝度領域まで、高精度な画素値を設定した画像であり、高ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像とも呼ばれる。

異なる露光条件の連続撮影画像を用いた高ダイナミックレンジ（ＷＤＲ）画像の生成処理は、露光量の少ない小露光量画像と露光量の多い大露光量画像を連続撮影し、各画像に含まれる有効画素値を選択的に利用あるいは合成（ブレンド）して、出力画像の画素値を設定する処理として行われる。この処理により、低輝度領域から高輝度領域まで有効画素値を設定した高ダイナミックレンジ（ＷＤＲ）画像を生成することができる。

具体的には、露光量の多い画像（大露光量画像）に含まれる飽和画素領域については露光量の少ない画像（小露光量画像）の画素値を優先的に利用し、小露光量画像のノイズ領域については、大露光量画像の画素値を優先的に利用する。このように異なる露光量の複数画像を合成することで、低輝度領域から高輝度領域まで精度の高い有効画素値を設定したダイナミックレンジ拡大画像を生成することができる。この時、露光量を変化させる手段としては、露光時間を変化させてもかまわないし、Ｆ値（絞り）を変化させてもかまわないし、撮影ごとに光の透過率の異なる減光フィルタを挿入するなどして実現してもかまわない。また、これらの組み合わせにより実現してもかまわない。

図２に高ダイナミックレンジ（ＷＤＲ）画像生成処理を行なう装置構成例を示す。
図２に示すＷＤＲ処理部４０は、カメラの撮影画像である入力画像３１を順次、入力する。この入力画像３１は、例えば図２（ａ）入力画像シーケンスに示すように、異なる露光条件で撮影した連続撮影画像である。

図２（ａ）には、入力画像シーケンスの一例として、露光条件Ｒ１〜Ｒ４の連続撮影画像の画像シーケンスを示している。
これらの画像の露光量の大小は、
Ｒ１＜Ｒ２＜Ｒ３＜Ｒ４
である。

例えば、これら４種類の異なる露光条件の画像を１つのＷＤＲセットとして、このＷＤＲセットの構成画像を合成することで１枚の高ダイナミックレンジ画像（ＷＤＲ画像）を生成して出力する。動画撮影時には、露光条件Ｒ１〜Ｒ４のＷＤＲセットを連続的に取得して、各ＷＤＲセットから、順次、１枚のＷＤＲ画像を生成する。出力画像のフレームレートは撮影画像のフレームレートより低下するが、出力画像は低輝度領域から高輝度領域まで、より精度の高い画素値の設定された高ダイナミックレンジ画像となる。

図２に示すＷＤＲ（高ダイナミックレンジ）処理部４０は、入力画像３１と、先行入力画像に基づいて生成した中間合成画像３２を入力し、合成比率（α）算出部４１において、これら２つの画像の対応画素の合成比率（α）を算出する。

ＷＤＲ（高ダイナミックレンジ）画像を生成する場合、前述したように、露光量の多い大露光量画像に含まれる飽和画素領域については露光量の少ない小露光量画像の画素値を優先的に利用し、露光量の少ない小露光量画像におけるノイズ領域については、露光量の多い大露光量画像の画素値を優先的に利用する。

合成比率（α）算出部４１は、入力画像３１の露光量に応じて、入力画像３１内の有効画素値を持つ画素領域と、飽和領域やノイズの多い非有効領域を判別し、有効画素値領域については、入力画像３１の画素値の合成比率を中間合成画像３２の画素値より高く設定する。一方、非有効領域については、入力画像３１の画素値の合成比率を中間合成画像３２の画素値より低く設定する。

合成処理部４２は、合成比率算出部４１の算出した合成比率（α）に応じて、入力画像３１と、中間合成画像３２の対応画素の画素値合成処理を実行してＷＤＲ（高ダイナミックレンジ）出力画像３３を生成する。
なお、合成処理部４２の生成画像は、１つのＷＤＲセット単位の処理が終了するまでは、次の中間合成画像３２として利用され、１つのＷＤＲセット単位の処理が終了すると、ＷＤＲ出力画像３３として出力される。

図１を参照して説明したノイズ低減処理と、図２を参照して説明した高ダイナミックレンジ画像（ＷＤＲ画像）生成処理は、いずれも高品質の出力画像を得るために必要となる構成であり、これら２つの処理をシーケンシャルに実行する装置についても提案がなされている。

画像合成処理により、ノイズ低減と高ダイナミックレンジ化処理を併せて実行する構成を開示した文献としては、例えば、特許文献１（特開２０１０−０４１２００号公報）、特許文献２（特開２００８−１６０８８１号公報）、特許文献３（特開２００７−０４９２２７号公報）、特許文献４（特開２００６−３１１２４０号公報）などがある。

図１を参照して説明したノイズ低減処理と、図２を参照して説明した高ダイナミックレンジ画像（ＷＤＲ画像）生成処理、これらの２つの処理を実行する装置構成例について図３、図４を参照して説明する。

図３は、ノイズ低減を実行する３ＤＮＲ処理部５３を先行処理部とし、高ダイナミックレンジ画像生成を実行するＷＤＲ処理部５７を後続処理部とした画像処理装置の構成例を示している。
一方、図４は、高ダイナミックレンジ画像生成を実行するＷＤＲ処理部６５を先行処理部とし、ノイズ低減を実行する３ＤＮＲ処理部６７を後続処理部とした画像処理装置の構成例を示している。

なお、いずれの構成でも、入力画像５１，６１は、異なる露光条件に設定された連続撮影画像の繰り返し、すなわち、図２（ａ）に示す異なる露光条件に設定された連続撮影画像からなるＷＤＲセットの繰り返し入力である。

ここで問題となるのは、ノイズ低減を実行する３ＤＮＲ処理部は、同じ露光条件の複数画像を用いた合成を実行し、高ダイナミックレンジ画像生成を実行するＷＤＲ処理部は、異なる露光条件の複数画像の合成処理を実行する必要があることである。

図３に示す構成では、ノイズ低減を実行する３ＤＮＲ処理部５３を先行処理部としており、図２（ａ）に示す４つの異なる露光量Ｒ１〜Ｒ４のそれぞれの画像を格納するためのフレームメモリａ〜ｄを備えている。
なお、フレームメモリは、メモリ５４ａ〜ｄと、メモリ５６ｐ〜５６ｓとを備えたダブルバッファ構成を有している。
すなわち、メモリ５４ａとメモリ５６ｐ、メモリ５４ｂとメモリ５６ｑ、メモリ５４ｃとメモリ５６ｒ、メモリ５４ｄとメモリ５６ｓ、これらのメモリは、各々ダブルバッファ構成を有しており、交互に読み出し、書き込みが行われる。

例えば、露光条件Ｒ１の画像は、フレームメモリａ，５４ａに書き込まれ、１つ前のＷＤＲセットの画像がフレームメモリｐ，５６ｐから読み出される。
その後、露光条件Ｒ１の画像は、フレームメモリｐ，５６ｐに書き込まれ、１つ前のＷＤＲセットの画像がフレームメモリａ，５４ａから読み出される。
このように、交互に書き込み、読み出しが実行される。
同様に、露光条件Ｒ２の画像は、フレームメモリｂ，５４ｂと、フレームメモリｑ，５６ｑを利用する。
露光条件Ｒ３の画像は、フレームメモリｃ，５４ｃと、フレームメモリｒ，５６ｒを利用する。
露光条件Ｒ４の画像は、フレームメモリｄ，５４ｄと、フレームメモリｓ，５６ｓを利用する。
このような設定である。
このようなＷバッファ構成とすることで、書き込みタイミングと読み出しタイミングを調整することなく、スムーズな処理が可能となる。

先行処理部としての３ＤＮＲ処理部５３は、入力画像５１の露光条件と同じ露光条件を持つ先行入力画像に基づく合成画像をフレームメモリ５６から選択的に読み出して、ノイズ低減のための画像合成を実行する。

また、後続処理部としてのＷＤＲ処理部５７は、フレームメモリｐ〜ｑ，５６ｐ〜ｑから、ノイズ低減された異なる露光条件の画像のセット（ＷＤＲセット）を読み出して、各画像の有効画素領域を優先的に反映させる合成処理を実行して画像の高ダイナミックレンジ化処理を実行して、１つの出力画像を生成する。
これらの一連の処理によって、ノイズ低減と高ダイナミックレンジ化処理のなされた出力画像、すなわち、図に示す出力画像５８を生成して出力する。

一方、図４に示す構成では、入力画像６１は、各露光条件別にフレームメモリａ〜ｄ，６３ａ〜６３ｄ、フレームメモリｐ〜ｓ，６４ｐ〜６４ｓに交互に書き込まれる。書き込まれる４枚の画像は図２（ａ）を参照して説明した１つのＷＤＲセットに相当する。
なお、メモリ６３ａとメモリ６４ｐ、メモリ６３ｂとメモリ６４ｑ、メモリ６３ｃとメモリ６４ｒ、メモリ６３ｄとメモリ６４ｓ、これらのメモリは、各々ダブルバッファ構成を有しており、交互に読み出し、書き込みが行われる。
メモリに書き込まれた画像は、ＷＤＲ処理部６５によって読み出され、これらの画像を利用した高ダイナミックレンジ化処理によって、１枚のＷＤＲ（高ダイナミックレンジ）画像が生成される。

ＷＤＲ処理部６５が複数の異なる露光条件の画像からなるＷＤＲセット単位で生成した１枚の高ダイナミックレンジ画像（ＷＤＲ画像）は、後段処理部である３ＤＮＲ処理部６７に出力される。

３ＤＮＲ処理部６７は、ＷＤＲ処理部６５から入力する高ダイナミックレンジ画像（ＷＤＲ画像）と、先行入力ＷＤＲ画像をフレームメモリｚ，６８から取得して、これらの２つの画像の合成処理を実行して、新たなノイズ低減画像を生成して出力する。この出力画像が、フレームメモリｚ，６８に書き戻されるとともに、図に示す出力画像６９として出力される。また、この時のフレームメモリｚは２枚のフレームメモリを用いたダブルバッファ構成をとってもよい。

図３、図４のいずれの構成においても、合成処理を独立に持つために演算回路部分が大きくなり、また、複数の画像を一時的に格納するために必要となるメモリ容量も増加するという問題が発生する。

図３、図４に示す構成は、画像合成処理を実行する際の画像間の位置合わせについて考慮していない構成であるが、位置合わせを考慮した構成とする場合、さらに処理構成が複雑となる。
合成対象とする画像間の位置合わせ処理を実行する動き補償画像生成部を有する構成例を図５、図６に示す。

図５は、先に説明した図３の構成と同様、ノイズ低減を実行する３ＤＮＲ処理部５３を先行処理部とし、高ダイナミックレンジ画像生成を実行するＷＤＲ処理部５７を後続処理部とした画像処理装置の構成例を示している。
一方、図６は先に説明した図４の構成と同様、高ダイナミックレンジ画像生成を実行するＷＤＲ処理部６５を先行処理部とし、ノイズ低減を実行する３ＤＮＲ処理部６７を後続処理部とした画像処理装置の構成例を示している。

なお、いずれの構成でも、入力画像５１，６１は、異なる露光条件に設定された連続撮影画像の繰り返し、すなわち、図２（ａ）に示す異なる露光条件に設定された連続撮影画像からなるＷＤＲセットの繰り返し入力である。

図５の構成は、図３に示す構成に、動き補償画像生成部７１と、動き補償画像生成部７２ｐ〜７２ｒを追加した点が異なる。
これらの動き補償画像生成部は、合成対象とする画像の位置合わせを実行する。

画像の位置合わせ処理においては、まず、動きを合わせる基準となる画像を決定する。この基準画像に対して位置合わせ対象とする画像の動きを推定する動き推定処理（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）を実行し、次に、推定された動きに応じて画像の位置合わせを行なう動き補償処理（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）を行なう。
動き補償画像生成部７１と、動き補償画像生成部７２ｐ〜７２ｒは、これらの処理（ＭＥＭＣ）を実行して、合成対象とする画像間の位置合わせを実行する。
図５においては位置合わせの基準画像を露光条件Ｒ４の画像とした図となっているが、基準画像としてはこれに限ったものではなく、露光条件Ｒ１〜４のいずれを用いてもよい。

また、図６に示す構成は、図４に示す構成に対して、動き補償画像生成部８１ｐ〜８１ｒと、動き補償画像生成部８２を追加した構成である。
これらもやはり、画像間の動き推定（ＭＥ）および動き補償（ＭＣ）を実行して、合成対象とする画像間の位置合わせを実行する。

図５、図６に示すように合成画像間の位置合わせを考慮した構成とすると、図３、図４に示す構成より、さらに、構成が複雑となり、これらの処理を実行するためのハードウェア規模が大きくなるという問題がある。

なお、画像合成処理により、ノイズ低減と高ダイナミックレンジ化処理を併せて実行する構成を開示した文献としては、例えば、特許文献１（特開２０１０−０４１２００号公報）、特許文献２（特開２００８−１６０８８１号公報）、特許文献３（特開２００７−０４９２２７号公報）、特許文献４（特開２００６−３１１２４０号公報）などがある。

特開２０１０−０４１２００号公報 特開２００８−１６０８８１号公報 特開２００７−０４９２２７号公報 特開２００６−３１１２４０号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、簡易な構成でノイズ低減処理と、ダイナミックレンジ拡張処理を併せて実行する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
異なる露光条件で撮影された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理部を有し、
前記画像合成処理部は、
前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定部と、
前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定部と、
前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理部を有する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記入力画像は露光時間のみを変化させることで露光条件を変化させた画像であることを特徴とする。

さらに、本開示の画像処理装置の一実施態様において、前記更新方法決定部は、前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じた以下の各処理を決定、すなわち、
（Ａ）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、入力画像と中間合成画像の画素値合成による３ＤＮＲ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理を実行して中間合成画像の画素値を更新する処理、
（Ｂ）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する処理、
（Ｃ）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合、
（Ｃ１）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理、または、
（Ｃ２）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する処理、
前記更新方法決定部は、前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、上記（Ａ）〜（Ｃ）の処理を画素単位の合成処理方法として決定する。

さらに、本開示の画像処理装置の一実施態様において、前記領域判定部は、前記入力画像の露光条件情報を含む撮影情報を入力し、該撮影情報を利用して前記閾値を算出し、算出閾値に応じて、前記入力画像と、前記中間合成画像の構成画素を、ノイズ画素、有効画素、飽和画素に分類する。

さらに、本開示の画像処理装置の一実施態様において、前記撮影情報は、前記入力画像の露光時間Ｔ、ＩＳＯ感度、Ｆ値を含み、前記領域判定部は、前記入力画像の露光時間Ｔ、ＩＳＯ感度、Ｆ値を適用して前記閾値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記画像更新処理部は、
前記入力画像の画素値を、前記中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部を有し、
前記中間合成画像の露光条件を、前記複数枚からなる入力画像のうち最も露光量の多い画像と同じ露光条件とする。

さらに、本開示の画像処理装置の一実施態様において、前記画像更新処理部は、前記入力画像の画素値を、前記中間合成画像と同じ露光量に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部と、前記露光補正入力画像と、前記中間合成画像の対応画素の合成処理を実行する合成処理部と、前記更新方法決定部の決定した画素単位更新情報を入力して、入力情報に応じて、中間合成画像の画素値を前記合成処理部に出力するか、または中間合成画像の画素値をそのまま出力画像の画素値として出力するかを切り替える出力制御部を有する。
ここで中間合成画像の露光条件は、任意の露光条件でよい。すなわち、任意の露光時間Ｔ_ＷＤＲ、Ｆ値Ｆ_ＷＤＲ、ＩＳＯ感度ＩＳＯ_ＷＤＲ、により構成される露光条件でよい。前期入力画像となる異なる露光条件で撮影された画像の中の一枚の露光条件、一般にはセンサー出力の値の有効精度をいかす観点から露光量が最大となる条件と等しくすればよい。

さらに、本開示の画像処理装置の一実施態様において、前記画像更新処理部は、前記入力画像の画素値を、前記連続撮影画像中、中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部と、前記露光補正入力画像と、前記中間合成画像の対応画素の合成処理を実行する合成処理部と、前記更新方法決定部の決定した画素単位更新情報を入力して、入力情報に応じて、前記合成処理部の合成処理結果、または、前記中間合成画像の画素値のいずれかを出力画像の画素値として選択出力するセレクタを有する。

さらに、本開示の画像処理装置の一実施態様において、前記領域判定部は、前記入力画像と、前記中間合成画像の各々に対する平滑化処理を実行し、平滑化入力画像と、平滑化中間合成画像の構成画素の各々に対応する画素飽和度と、画素ノイズ度を算出して、前記更新方法決定部に出力する。

さらに、本開示の画像処理装置の一実施態様において、前記更新方法決定部は、前記画素飽和度と、前記画素ノイズ度を適用して、
（ａ）前記入力画像と前記中間合成画像の画素値合成による３ＤＮＲ処理画素値、
（ｂ）前記中間合成画像の画素値、
上記（ａ）と（ｂ）の各画素値の加算比率を算出して、前記画像更新処理部に出力し、
前記画像更新処理部は、
前記加算比率に応じて、前記（ａ）と（ｂ）の各画素値の加算処理を実行して出力画像の画素値を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記画像合成処理部は、さらに、前記中間合成画像を、前記入力画像の露光条件と同じ露光量となる露光条件で撮影したのと同じ画素値に補正し、補正中間合成画像を生成する中間合成画像補正部を有し、前記領域判定部は、前記入力画像と、前記補正中間合成画像の各々に対する平滑化処理を実行し、各画像の構成画素の各々に対応する画素飽和度と、画素ノイズ度を算出して、前記更新方法決定部に出力する。

さらに、本開示の画像処理装置の一実施態様において、前記更新方法決定部は、前記画素飽和度と、前記画素ノイズ度を適用して、
（ａ）前記入力画像と前記補正中間合成画像の画素値合成による３ＤＮＲ処理画素値、
（ｂ）前記中間合成画像の画素値、
上記（ａ）と（ｂ）の各画素値の加算比率を算出して、前記画像更新処理部に出力し、
前記画像更新処理部は、
前記入力画像と、前記補正中間合成画像との画素値合成による３ＤＮＲ合成画像を生成し、生成した３ＤＮＲ合成画像を、前記中間合成画像と同じ露光条件の設定とした場合の画素値に補正する露光補正を実行し、生成した露光補正３ＤＮＲ合成画像と、前記中間合成画像の対応画素を前記加算比率に応じて加算して出力画像の画素値を決定する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像合成処理部が、異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理を実行し、
前記画像合成処理部は、前記画像合成処理において、
前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定処理と、
前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定処理と、
前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理を実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像合成処理部に、異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理を実行させ、
前記画像合成処理において、
前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定処理と、
前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定処理と、
前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理を実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、異なる露光条件の連続撮影画像を適用した順次合成処理によって、簡易な構成でノイズ低減およびダイナミックレンジ拡張処理を施した画像を生成することが可能となる。
具体的には、異なる露光条件の連続撮影画像を入力し、入力画像と、中間合成画像の構成画素をノイズ画素、有効画素、飽和画素に分類し、対応画素の画素分類結果の組み合わせに応じて画素単位の合成処理方法を決定し、決定方法に従って中間合成画像の更新を行なう。入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合は３ＤＮＲ処理、いずれもが飽和またはノイズ画素である場合、中間合成画像の画素値をそのまま出力、一方が飽和、他方がノイズ画素である場合、３ＤＮＲ処理、または、中間合成画像の画素値を出力する。
本構成により、異なる露光条件の連続撮影画像を適用した順次合成処理によって、簡易な構成でノイズ低減およびダイナミックレンジ拡張処理を施した画像を生成することが可能となる。
また、本開示の処理を行なうことで、画像内に動被写体が存在する場合に、動被写体領域が存在した場合にも、異なる露光条件の撮影画像セットであるＷＤＲセット内のいずれかの画像によって少なくとも一回は画像が更新される。これにより過去の画像の残存領域をなくすことが可能となる。

３ＤＮＲ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）を適用した画像のノイズ低減処理を行なう装置構成例について説明する図である。 高ダイナミックレンジ（ＷＤＲ：Ｗｉｄｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像の生成処理を行なう装置構成例について説明する図である。 ノイズ低減を実行する３ＤＮＲ処理部を先行処理部とし、高ダイナミックレンジ画像生成を実行するＷＤＲ処理部を後続処理部とした画像処理装置の構成例について説明する図である。 高ダイナミックレンジ画像生成を実行するＷＤＲ処理部を先行処理部とし、ノイズ低減を実行する３ＤＮＲ処理部を後続処理部とした画像処理装置の構成例について説明する図である。 図３に示す構成に対して、動き補償画像生成部を追加した構成例について説明する図である。 図４に示す構成に対して、動き補償画像生成部を追加した構成例について説明する図である。 本開示の一実施例に従った画像処理部の構成と処理について説明する図である。 入力画像のシーケンスの一例について説明する図である。 入力画像のシーケンスの一例について説明する図である。 画像合成処理部の詳細構成例について説明する図である。 本開示の画像処理装置の実行する入力画像の画素分類処理の一例について説明する図である。 本開示の一実施例に従った画像処理装置の実行する入力画像の画素分類処理に適用する閾値について説明する図である。 本開示の画像処理装置の実行する中間合成画像の画素分類処理の一例について説明する図である。 本開示の一実施例に従った画像処理装置の実行する中間合成画像の画素分類処理に適用する閾値について説明する図である。 本開示の一実施例に従った画像処理装置の更新方法決定部の実行する画像更新処理方法の決定処理について説明する図である。 本開示の一実施例に従った画像処理装置の更新方法決定部の実行する画像更新処理方法の決定処理について説明する図である。 本開示の一実施例に従った画像処理装置の実行する画像更新処理の具体例について説明する図である。 本開示の一実施例に従った画像処理装置の実行する動被写体領域における画像更新処理の具体例について説明する図である。 本開示の一実施例に従った画像処理装置の実行する動被写体領域における画像更新処理の具体例について説明する図である。 本開示の一実施例に従った画像処理装置の実行する動被写体領域における画像更新処理の具体例について説明する図である。 本開示の一実施例に従った画像処理装置の画像更新処理部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の画像更新処理部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の画像合成処理部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の入力画像領域判定部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の入力画像領域判定部の実行する飽和度およびノイズ度算出処理について説明する図である。 本開示の一実施例に従った画像処理装置の中間合成画像領域判定部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の中間合成画像領域判定部の実行する飽和度およびノイズ度算出処理について説明する図である。 本開示の一実施例に従った画像処理装置の更新方法決定部における加算比率βの算出処理について説明する図である。 本開示の一実施例に従った画像処理装置の画像合成処理部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の画像更新処理部の構成と処理について説明する図である。 本開示の一実施例に従った画像処理装置の構成例について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の実行する画像処理の概要、および画像処理装置の全体構成例について
２．画像合成処理部の構成と処理について
２−１．入力画像領域判定部の処理について
２−２．中間合成画像領域判定部の処理について
２−３．更新方法決定部の処理について
２−４．画像更新処理部の構成と処理について
３．３ＤＮＲ合成画素と、中間合成画像の画素との画素単位の加算処理を実行する実施例について
４．中間合成画像から入力画像と同一撮影条件の補正画像を生成して処理を行なう実施例について
５．画像処理装置の全体構成例について
６．本開示の構成のまとめ

［１．本開示の画像処理装置の実行する画像処理の概要、および画像処理部の構成例について］
まず、本開示の画像処理装置の実行する画像処理の概要、および画像処理部の構成例について説明する。
本開示の画像処理装置は、複数の異なる露光条件に設定された連続撮影画像を順次、入力し、これらの画像を利用した画像合成処理によりダイナミックレンジを拡張しノイズの除去された出力画像を生成する。

本開示の画像処理装置の画像処理部１００の一構成例を図７に示す。
図７に示すように画像処理部１００は、画像合成処理部１０１、ダブルバッファを構成する画像書き込みフレームメモリＡ１０２、画像読み出しフレームメモリＢ１０３、動き補償画像生成部１０４を有する。

画像処理部１００に対する入力画像１１１は、異なる露光条件に設定された複数の連続撮影画像（ＷＤＲセット）の繰り返しからなる画像シーケンスである。
入力画像１１１のシーケンス例について図８、図９を参照して説明する。

入力画像１１１となる連続撮影画像（ＷＤＲセット）は、複数の異なる露光条件の連続撮影画像である。具体的には、例えば２種類、あるいは３種類、あるいは先に図２（ａ）を参照して説明したような４種類等、複数の異なる露光条件の撮影画像のセットをＷＤＲセットとして、ＷＤＲセットを順次、入力する。

図８に２種類の露光条件の画像からなるＷＤＲセット例、図９に４種類の露光条件の画像からなるＷＤＲセットの例を示す。

図８は、２種類の異なる露光条件で撮影された画像、すなわち、小露光量画像Ｓ、大露光量画像Ｌの繰り返しによって構成される入力画像シーケンス例である。すなわち、
（１）小露光量画像Ｓ、
（２）大露光量画像Ｌ、
これらの２つの異なる露光量の連続撮影画像が１周期のＷＤＲセットである。
なお、露光量は、以下の関係にある。
Ｓ＜Ｌ
露光量を変化させる手段としては、露光時間の変更のほかに、絞り（Ｆ値）や減光フィルタの挿入なども存在する。その一方で、絞りを変化させることで露光量を変化させた場合には、露光量の変化とともに被写界深度の変化をともなう。これにより画像間の空間的ぼけ量が変化するために、ＷＤＲ合成処理の際に画質の劣化を生んでしまう。絞りを絞って撮影した画像は露光量が少なくなり画像が暗くなる一方で、焦点面から前後に大きく焦点があった画像になる。絞りを開放で撮影した画像は露光量が多くなり画像が明るくなる一方で、被写界深度が浅くなり焦点面から前後にずれた被写体は大きくぼけてしまう。これにより、ＷＤＲ合成処理を行った際に、高周波を含んだ暗い画像と、低周波のみの明るい画像の境界面で画像の内の周波数性分の大きな変化が起こり画質劣化の原因となる。一方で減光フィルタを用いた方法は、フィルタの実現にシステムが大規模化するなどの課題が残る。そのため、露光量の変化のさせ方としては、露光時間のみを変化させる方法が望ましい。
図７に示す画像処理部１００は、例えば、上記のように異なる露光条件Ｓ，Ｌの画像を入力画像１１１として順次、入力し、１枚の小露光量画像Ｓと、１枚の大露光量画像Ｌから構成される各ＷＤＲセット単位で、逐次、画像合成処理を実行し、出力画像を生成する。

このように、図７に示す画像処理部１００は、例えば図８に示すように異なる露光条件で撮影された画像を合成してノイズ低減と、高ダイナミックレンジ（ＷＤＲ）化処理を施した画像を生成して出力する。

図９は、図８同様、露光量の種類Ｎ＝４とした例である。すなわち、
（１）最小露光量画像ＸＳ、
（２）小露光量画像ＭＳ、
（３）大露光量画像ＭＬ、
（４）最大露光量画像ＸＬ、
図９に示す例は、これらの４つの異なる露光条件の連続撮影画像をＷＤＲセットとした例である。
露光量は、以下の関係にある。
ＸＳ＜ＭＳ＜ＭＬ＜ＸＬ

図７に示す画像処理部１００は、例えばこれらの４つの異なる露光条件の画像を入力画像１１１として順次、入力し、最小露光量画像ＸＳ、小露光量画像ＭＳ、大露光量画像ＭＬ、最大露光量画像ＸＬ、これら４枚の画像を、順次、合成して、最終的に４枚の画像を合成した合成画像を出力画像として生成し、出力する。

このように、図７に示す画像処理部１００は、例えばこれらの４つの異なる露光条件の画像を合成してノイズ低減高ダイナミックレンジ（ＷＤＲ）画像を生成して出力する。
なお、図８、図９では、画像入力順序を、小露光量画像信号から大露光量画像信号の順で記載しているが、この順序は、逆の設定、すなわち大露光量画像を先行させて、小露光量画像を後続させる設定としてもよい。また、任意の順番でもよい。

図７に示す画像処理部１００の画像合成処理部１０１は、１単位のＷＤＲセットを構成する異なる露光条件の全画像を適用した合成処理を完了すると、その合成画像を出力画像１１５として出力する。

画像処理部１００は、出力画像１１５に限らず、あらたな入力画像１１１が入力されるたびに、画像合成処理部１０１の処理結果をフレームメモリに書き戻す。この合成画像を中間合成画像と呼ぶ。

図７に示す画像合成処理部１０１は、１単位のＷＤＲセットに含まれる複数画像の合成処理を、順次、入力する異なる露光条件の入力画像１１１と、先行入力画像の合成処理によって生成した中間合成画像１１３を適用して実行する。なお、図７に示す中間合成画像１１３は、入力画像１１１に対して、画像位置を合わせる動き補償を行った中間合成画像１１３である。

画像合成処理部１０１は、さらに、撮影情報１１２を入力する。
撮影情報１１２は、入力画像１１１に対応する撮影条件等を示す入力画像対応の属性情報であり、例えば露光条件の設定情報などが含まれる。

画像合成処理部１０１の生成した中間合成画像は、画像書き込みフレームメモリＡ１０２に格納される。画像読み出しフレームメモリＢ１０３に格納された１タイミングの前の中間合成画像は、動き補償画像生成部１０４によって読み取られる。フレームメモリＡ１０２およびフレームメモリＢ１０３はダブルバッファ構造をとっており、交互に読み出し、書き込みが行われる。

動き補償画像生成部１０４は、合成処理対象となる画像間の動き推定処理（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）を実行し、さらに、推定された動きに応じて画像の位置合わせを行なう動き補償処理（ＭＣ：Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）を行なう。

なお、動き補償画像生成部１０４の実行する画像の位置合わせ処理は、入力画像１１１の画像を基準として、画像読み出しフレームメモリＢ１０３からの読み出し画像を入力画像１１１に位置合わせする処理と、フレームメモリＢ１０３からの読み出し画像を基準画像として、入力画像１１１を移動させて位置合わせを行なう設定があるが、これらはいずれの設定としてもよい。

動き補償画像生成部１０４の生成した動き補償後の中間合成画像１１３が画像合成処理部１０１に入力される。画像合成処理部１０１では、位置合わせ後の画像間の合成処理を実行することになる。

しかし、動き補償画像生成部１０４の実行する画像間の位置合わせは、画像全体の動きを補正するものであり、手ぶれなどの発生に基づく画像ずれは補正できるが、例えば画像内の一部に動く被写体がある場合などには、動き補償後の画像を適用しても、合成対象とする画像間の対応画素位置に異なる被写体が存在し、合成処理後の画像に誤った画素値が設定されてしまうことがある。本開示の画像処理部１００の画像合成処理部１０１は、このような動被写体の影響を低減する画像合成処理を実現する。

［２．画像合成処理部の構成と処理について］
画像合成処理部１０１の一構成例を図１０に示す。
画像合成処理部１０１は、図１０に示すように、入力画像領域判定部１２１、中間合成画像領域判定部１２２、更新方法決定部１２３、画像更新処理部１２４を有する。

［２−１．入力画像領域判定部の処理について］
入力画像領域判定部１２１は、入力画像１１１を入力し、入力画像１１１の構成画素の画素値に基づいて、各画素を以下のいずれかの画素に分類する処理を行なう。
（ａ）飽和画素値を持つ飽和画素、
（ｂ）有効画素値を持つ有効画素、
（ｃ）ノイズ成分を多く含むノイズ画素、

これらの画素分類処理について、図１１、図１２を参照して説明する。
図１１は、入力画像１１１の画素値と、ノイズ画素、有効画素、飽和画素の区分を示す図である。
画素値＝０以上、Ｉ_ｎａ未満の画素をノイズ画素、
画素値＝Ｉ_ｎａ以上、Ｉ_ＷＬｖ未満の画素を有効画素、
画素値＝Ｉ_ＷＬｖ以上の画素を飽和画素、
このように区分している。

Ｉ_ｎａは、ノイズ画素と、有効画素の境界画素値に相当する閾値であり、「入力画像ノイズ閾値」である。
Ｉ_ＷＬｖは、有効画素と、飽和画像の境界画素値に相当する閾値であり、「入力画像飽和閾値」である。
なお、ｎは、露光０画像〜露光３画像の０〜３の各インデックスを示すパラメータである。各閾値は各露光画像に応じて異なる値となる。

入力画像ノイズ閾値は、画素が有効な画素値であるか、ノイズ成分を多く含む画素値であるかの境界を示す値である。撮像素子（イメージセンサ）の画素値レベルが所定値（＝入力画像ノイズ閾値）以下の場合、ノイズ画素として判定する。
入力画像飽和閾値は、画素が有効な画素値であるか、飽和画素値であるかの境界を示す値であり、具体的には撮像素子（イメージセンサ）の飽和レベル、あるいは飽和レベル近傍の値とする。また、この閾値は、ＲＧＢ等の各色固有の値としてもよいし、全色に共通の値としてもよい。各色固有の値とする場合は、撮像素子の飽和レベルに、各色対応のホワイトバランスゲインの逆数を乗算した値等が適用可能である。

これらの閾値は、入力画像領域判定部１２１が、撮影情報１１２に基づいて算出する。あるいは、固定値として画像合成処理部１０１がアクセス可能なメモリに予め格納し、その固定値を利用する構成としてもよい。

入力画像領域判定部１２１が、撮影情報１１２に基づいて算出する場合の閾値算出処理例について、図１２を参照して説明する。
図１２に示す例は、入力画像１１１が、図１２（ａ）に示すように、４つの異なる露光条件の連続撮影画像からなるＷＤＲセットから構成される場合の例である。
ここでは、
最小露光量画像を露光０画像、
小露光量画像を露光１画像、
大露光量画像を露光２画像、
最大露光量画像を露光３画像、
とする。
各画像の露光量は、以下の関係にある。
露光０画像＜露光１画像＜露光２画像＜露光３画像

図１２（ｂ）に示すグラフは、横軸に被写体輝度、縦軸に入力画像の画素値を示している。
露光０画像の画素値をＩ_０、
露光１画像の画素値をＩ_１、
露光２画像の画素値をＩ_２、
露光３画像の画素値をＩ_３、
これらの各直線を示している。

最小露光量画像である露光０画像は、被写体輝度が高輝度領域（被写体輝度＝Ｌ３〜Ｌ４）においても、飽和閾値Ｉ_ＷＬｖに相当する飽和画素値に達することなく、有効な画素値を出力している。例えば、図に示す被写体輝度＝Ｌ３〜Ｌ４の高輝度領域に示す「露光０画像選択範囲」では、露光１〜３画像の画素値Ｉ_１〜Ｉ_３は、すべて飽和しているのに対して、最小露光量画像である露光０画像の画素値Ｉ_０は、飽和画素値未満の画素値を示している。
すなわち、図１２（ｂ）に示す「露光０画像選択範囲」は、露光０画像の画素値「Ｉ_０」が、有効画素値を有する唯一の画像の画素値である。

この図１２（ｂ）に示すグラフ中の被写体輝度＝Ｌ３〜Ｌ４の「露光０画像選択範囲」では、４枚のＷＤＲセットから、最小露光量画像である「露光０画像」の画素値を出力画像に設定する画素値として優先的に選択する処理を行なうことになる。

すなわち、最小露光量画像である露光０画像の有効画素領域は、図１２（ｂ）に示すグラフ中の被写体輝度＝Ｌ３〜Ｌ４の「露光０画像選択範囲」であり、
露光０画像のノイズ閾値Ｉ_ｎａ＝Ｉ_０ａは、被写体輝度＝Ｌ３における露光０画像の画素値Ｉ_０となる。
なお、飽和閾値Ｉ_ＷＬｖは、飽和画素値の値に対応する。
このように、最小露光量画像である露光０画像の有効画素領域は、露光０画像のノイズ閾値Ｉ_ｎａ＝Ｉ_０ａ以上、飽和閾値Ｉ_ＷＬｖ未満の領域となる。

同様に、図１２（ｂ）に示す被写体輝度＝Ｌ２〜Ｌ３の「露光１画像選択範囲」は、露光０画像の次に露光量の少ない露光条件の設定画像である露光１画像の画素値「Ｉ_１」が、有効画素値を有する画像中、最も高い画素値を持つ領域である。
この図１２（ｂ）に示すグラフ中の被写体輝度＝Ｌ２〜Ｌ３の「露光１画像選択範囲」では、４枚のＷＤＲセットから、「露光１画像」の画素値を出力画像に設定する画素値として選択する処理を行なうことになる。
露光１画像のノイズ閾値Ｉ_ｎａ＝Ｉ_１ａは、被写体輝度＝Ｌ２における露光１画像の画素値Ｉ_１となる。飽和閾値Ｉ_ＷＬｖは、飽和画素値の値に対応する。
このように、小露光量画像である露光１画像の有効画素領域は、露光１画像のノイズ閾値Ｉ_ｎａ＝Ｉ_１ａ以上、飽和閾値Ｉ_ＷＬｖ未満の領域となる。

同様に、図１２（ｂ）に示す被写体輝度＝Ｌ１〜Ｌ２の「露光２画像選択範囲」は、２番目に露光量の多い設定画像である露光２画像の画素値「Ｉ_２」が、有効画素値を有する画像中、最も高い画素値を持つ領域である。
この図１２（ｂ）に示すグラフ中の被写体輝度＝Ｌ１〜Ｌ２の「露光２画像選択範囲」では、４枚のＷＤＲセットから、「露光２画像」の画素値を出力画像に設定する画素値として選択する処理を行なうことになる。
露光２画像のノイズ閾値Ｉ_ｎａ＝Ｉ_２ａは、被写体輝度＝Ｌ１における露光２画像の画素値Ｉ_２となる。飽和閾値Ｉ_ＷＬｖは、飽和画素値の値に対応する。
このように、大露光量画像である露光２画像の有効画素領域は、露光２画像のノイズ閾値Ｉ_ｎａ＝Ｉ_２ａ以上、飽和閾値Ｉ_ＷＬｖ未満の領域となる。

同様に、図１２（ｂ）に示す被写体輝度＝０〜Ｌ１の「露光３画像選択範囲」は、最も露光量の多い設定画像、すなわち、最も露光量の多い露光条件の設定画像である露光３画像の画素値「Ｉ_３」が、有効画素値を有する画像中、最も高い画素値を持つ領域である。
この図１２（ｂ）に示すグラフ中の被写体輝度＝０〜Ｌ１の「露光３画像選択範囲」では、４枚のＷＤＲセットから、「露光３画像」の画素値を出力画像に設定する画素値として選択する処理を行なうことになる。
露光３画像のノイズ閾値Ｉ_ｎａ＝Ｉ_３ａは、被写体輝度＝０における露光３画像の画素値Ｉ_３となる。飽和閾値Ｉ_ＷＬｖは、飽和画素値の値に対応する。
このように、最大露光量画像である露光３画像の有効画素領域は、露光３画像のノイズ閾値Ｉ_ｎａ＝Ｉ_３ａ以上、飽和閾値Ｉ_ＷＬｖ未満の領域となる。

飽和閾値Ｉ_ＷＬｖは、異なる露光条件の画像すべてに共通する画素値、すなわち飽和画素値として設定される。
一方、ノイズ閾値Ｉ_ｎａは、最も露光量の多い設定画像、すなわち図１２を参照して説明した例では、露光３画像のみについてＩ_ｎａ＝０、その他の画像については、図に示すＩ_ｎａの画素値となる。
なお、ノイズ閾値Ｉ_ｎａは、図に示すように、以下の算出式（式１）に従って算出される。

・・・・・（式１）

上記（式１）において、
Ｉ_ｎａは、露光ｎ画像のノイズ閾値、
Ｉ_ＷＬｖは、飽和閾値
Ｒ_ｎは、以下の（式２）に示す露光ｎ画像の撮影情報に基づいて算出される露光量の大きさをあらわす値である。

・・・・・（式２）

なお、上記（式２）において、
ＩＳＯ_ｎは、露光ｎ画像のＩＳＯ感度、
Ｔ_ｎは、露光ｎ画像の露光時間、
Ｆ_ｎは露光ｎ画像のＦ値、
である。
これらは、図７、図１０に示す撮影情報１１２に含まれる情報である。

異なる露光条件の２つの画像である露光ｎ画像の画素値Ｉ_ｎと、露光ｍ画像の画素値Ｉ_ｍは、上記（式２）に示すＲ_ｎを適用して、以下の関係式（式３）として示すことができる。

・・・・・（式３）

上記（式３）の関係式から、露光ｎ画像と露光ｍ画像の対応関係は、以下の関係式（式４）として示すことができる。
Ｉ_ｎ・Ｒ_ｎ ^−１＝Ｉ_ｍ・Ｒ_ｍ ^−１・・・（式４）

上記（式４）から、露光ｎ画像と露光ｎ＋１画像の対応関係は、以下の関係式（式５）として示すことができる。
Ｉ_ｎ・Ｒ_ｎ ^−１＝Ｉ_ｎ＋１・Ｒ_ｎ＋１ ^−１・・・（式５）

上記（式５）を変形すると、露光ｎ画像の画素値Ｉ_ｎは、以下の（式６）として示すことができる。
Ｉ_ｎ＝Ｉ_ｎ＋１・Ｒ_ｎ＋１ ^−１・Ｒ_ｎ・・・（式６）

ここで、図１２（ｂ）に示す露光ｎ画像と露光ｎ＋１画像の境界、例えば図１２に示す被写体輝度＝Ｌ１，Ｌ２，Ｌ３の各境界において、
露光ｎ画像の画素値Ｉ_ｎに対する露光ｎ＋１画像の画素値Ｉ_ｎ＋１は、
Ｉ_ｎ＋１＝Ｉ_ＷＬｖ
である。すなわち、各境界Ｌ１，Ｌ２，Ｌ３において、より露光量の多い画像の画素値は、いずれも飽和画素値Ｉ_ＷＬｖである。

従って、上記（式６）は、各境界Ｌ１，Ｌ２，Ｌ３においては、以下の（式７）として示すことができる。
Ｉ_ｎ＝Ｉ_ＷＬｖ・Ｒ_ｎ＋１ ^−１・Ｒ_ｎ・・・（式７）
この（式７）は、先に説明した各露光ｎ画像のノイズ閾値を算出する（式１）に相当する式である。
このように、各露光ｎ画像のノイズ閾値は、先に説明した（式１）に従って算出することができる。

図１０に示す画像合成処理部１０１の入力画像領域判定部１２１は、このように、入力画像領域判定部１２１に入力する撮影情報１１２を適用して各露光ｎ画像に対応するノイズ閾値Ｉ_ｎａと、飽和閾値Ｉ_ＷＬｖｎを算出し、各画像の画素値をこれらの閾値に基づいて、図１１に示すように、ノイズ画素、有効画素、飽和画素の３つに区分する処理を実行する。

入力画像領域判定部１２１の生成した入力画像１１１に対応する画素区分情報（飽和／有効／ノイズ）は、図１０に示す更新方法決定部１２３に入力される。

［２−２．中間合成画像領域判定部の処理について］
次に、図１０に示す画像合成処理部１０１の中間合成画像領域判定部１２２の処理について図１３、図１４を参照して説明する。
図１３は、中間合成画像１１３の画素値と、ノイズ画素、有効画素、飽和画素の区分を示す図である。
画素値＝０以上、Ｉ_ｎｂ未満の画素をノイズ画素、
画素値＝Ｉ_ｎｂ以上、Ｉ_ＷＬｖｎ未満の画素を有効画素、
画素値＝Ｉ_ＷＬｖｎ以上の画素を飽和画素、
このように区分している。

Ｉ_ｎｂは、ノイズ画素と、有効画素の境界画素値に相当する閾値（合成画像ノイズ閾値）である。
Ｉ_ＷＬｖｎは、有効画素と、飽和画像の境界画素値に相当する閾値（合成画像飽和閾値）である。
これらの閾値は、中間合成画像領域判定部１２２が算出する。あるいは、固定値として画像合成処理部１０１がアクセス可能なメモリに予め格納し、その固定値を利用する構成としてもよい。

なお、ノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖｎに示す［ｎ］は、入力画像の種類、すなわち、入力画像が露光０画像〜露光３画像のいずれであるかを示すパラメータ０〜３である。
図１３に示すノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖｎは、中間合成画像１１３と合成処理を行なう入力画像の露光条件によって異なる値となる。
具体的には、合成画像飽和閾値Ｉ_ＷＬｖｎは、中間合成画像１１３と合成対象となる入力画像１１１、すなわち露光ｎ画像の画素値による中間合成画像１１３の画素値更新が可能な上限値である。
また、合成画像ノイズ閾値Ｉ_ｎｂは、中間合成画像１１３と合成対象となる入力画像１１１、すなわち露光ｎ画像の画素値による中間合成画像１１３の画素値更新が可能な下限値である。

中間合成画像領域判定部１２２のノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖｎの各閾値算出処理例について、図１４を参照して説明する。
図１４に示す例は、先に図１２を参照して説明したと同様、入力画像１１１として、４つの異なる露光条件の連続撮影画像からなるＷＤＲセットを入力する場合の例である。
ここでは、
最小露光量画像を露光０画像、
小露光量画像を露光１画像、
大露光量画像を露光２画像、
最大露光量画像を露光３画像、
とする。
各画像の露光量は、以下の関係にある。
露光０画像＜露光１画像＜露光２画像＜露光３画像

図１４（ｂ）に示すグラフは、横軸に被写体輝度、縦軸に画素値を示している。
図に示すＩ_０ｇ〜Ｉ_３ｇからなる直線のライン１３０が中間合成画像に設定された画素値である。
これらの画素値Ｉ_０ｇ〜Ｉ_３ｇは、異なる露光条件の撮影画像である露光０画像〜露光３画像各々の画素値Ｉ_０〜Ｉ_３を露光比等に応じてゲイン調整した後の画素値である。
グラフの下部に示す４つの直線は、異なる露光条件の撮影画像である露光０画像〜露光３画像各々のゲイン調整前のオリジナルの画素値Ｉ_０〜Ｉ_３を示している。

露光３画像、露光２画像、露光１画像、露光０画像の各々についてゲイン調整を行っている。このゲイン調整は、露光０画像〜露光３画像の４画像のオリジナルの画素値（Ｉ_０〜Ｉ_３）を、中間合成画像と同等の露光条件に設定したと想定した画素値（Ｉ_０ｇ〜Ｉ_３ｇ）に調整する処理に相当する。
すなわち、図１４に示すライン１３０は、ＷＤＲ合成された中間合成画像が飽和画素値を持たないと仮定した場合の仮想的な画素値を示すラインである。

ライン１３０の構成部分である被写体輝度＝０〜Ｌ１の部分は、露光３の画素値Ｉ_３を、中間合成画像と同じ露光条件とした場合の画素値を示し、ゲイン調整後の仮想的な画素値Ｉ_３ｇによって構成される。
被写体輝度＝Ｌ１〜Ｌ２の部分は、露光２画像の画素値Ｉ_２を、中間合成画像と同じ露光条件とした場合の画素値を示し、ゲイン調整後の仮想的な画素値Ｉ_２ｇによって構成される。
被写体輝度＝Ｌ２〜Ｌ３の部分は、露光１画像の画素値Ｉ_１を、中間合成画像と同じ露光条件とした場合の画素値を示し、ゲイン調整後の仮想的な画素値Ｉ_１ｇによって構成される。
被写体輝度＝Ｌ３〜Ｌ４の部分は、露光０画像の画素値Ｉ_０を、中間合成画像と同じ露光条件とした場合の画素値を示し、ゲイン調整後の仮想的な画素値Ｉ_０ｇによって構成される。

このように、図１４に示すライン１３０は、ＷＤＲ合成された中間合成画像が飽和画素値を持たないと仮定した場合の仮想的な画素値であるゲイン調整後の画素値Ｉ_ｎｇによって構成されるラインである。

先に説明した（式４）に示すように、露光ｎ画像と露光ｍ画像の対応関係は、以下の関係がある。
Ｉ_ｎ・Ｒ_ｎ ^−１＝Ｉ_ｍ・Ｒ_ｍ ^−１・・・（式４）

上記（式４）に基づいて、ゲイン調整後の画素値Ｉ_ｎｇは、以下のようにして導くことができる。
上記式のｍを中間合成画像のインデックスとすると、上記（式４）は、以下の（式８）として示すことができる。
Ｉ_ｎ・Ｒ_ｎ ^−１＝Ｉ_ＷＤＲ・Ｒ_ＷＤＲ ^−１・・・（式８）

上記（式８）のインデックスｎを、例えば最短露光画像の露光０画像のインデックス０とすると、以下の（式９）として示すことができる。
Ｉ_０・Ｒ_０ ^−１＝Ｉ_ＷＤＲ・Ｒ_ＷＤＲ ^−１・・・（式９）

上記（式９）において、Ｉ_０はゲイン調整前の露光０画像の画素値である。一方、Ｉ_ＷＤＲは中間合成画像の画素値である。
中間合成画像の画素値は、図１４のライン１３０上の画素値に相当する。
図１４に示す被写体輝度＝Ｌ３〜Ｌ４におけるライン１３０上の画素値Ｉ_０ｇは、上記（式９）の画素値Ｉ_ＷＤＲに対応する画素値である。
すなわち、上記（式９）のＩ_ＷＤＤＲを、Ｉ_０ｇと置き換えても上記（式９）が成立し、以下の（式９ｂ）の関係式が成立する。
Ｉ_０・Ｒ_０ ^−１＝Ｉ_０ｇ・Ｒ_ＷＤＲ ^−１・・・（式９ｂ）

上記（式９ｂ）に従って、図１４に示す被写体輝度＝Ｌ３〜Ｌ４におけるライン１３０上の画素値Ｉ_０ｇは、以下の（式１０ａ）によって示すことができる。
Ｉ_０ｇ＝Ｉ_０・Ｒ_０ ^−１・Ｒ_ＷＤＲ・・・（式１０ａ）

同様に、図１４に示す被写体輝度＝Ｌ２〜Ｌ３におけるライン１３０上の画素値Ｉ_１ｇは、以下の（式１０ｂ）によって示すことができる。
Ｉ_１ｇ＝Ｉ_１・Ｒ_１ ^−１・Ｒ_ＷＤＲ・・・（式１０ｂ）

同様に、図１４に示す被写体輝度＝Ｌ１〜Ｌ２におけるライン１３０上の画素値Ｉ_２ｇは、以下の（式１０ｃ）によって示すことができる。
Ｉ_２ｇ＝Ｉ_２・Ｒ_２ ^−１・Ｒ_ＷＤＲ・・・（式１０ｃ）

同様に、図１４に示す被写体輝度＝０〜Ｌ１におけるライン１３０上の画素値Ｉ_３ｇは、以下の（式１０ｄ）によって示すことができる。
Ｉ_３ｇ＝Ｉ_３・Ｒ_３ ^−１・Ｒ_ＷＤＲ・・・（式１０ｄ）

次に、図１３を参照して説明した合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖについて説明する。
中間合成画像におけるノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖは、露光０画像〜露光３画像の有効領域の境界部分の画素値に相当する。
すなわち、図１４に示す境界１３１は、露光０画像のノイズ閾値Ｉ_０ｂであり、かつ、露光１画像の飽和閾値Ｉ_ＷＬｖ１に相当する。
また、図１４に示す境界１３２は、露光１画像のノイズ閾値Ｉ_１ｂであり、かつ、露光２画像の飽和閾値Ｉ_ＷＬｖ２に相当する。
さらに、図１４に示す境界１３３は、露光２画像のノイズ閾値Ｉ_２ｂであり、かつ、露光３画像の飽和閾値Ｉ_ＷＬｖ３に相当する。

前述したように、ノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖｎに示す［ｎ］は、入力画像の種類、すなわち、入力画像が露光０画像〜露光３画像のいずれであるかを示すパラメータ０〜３である。
図１３に示すノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖｎは、中間合成画像１１３と合成処理を行なう入力画像の露光条件によって異なる値となる。
具体的には、合成画像飽和閾値Ｉ_ＷＬｖｎは、中間合成画像１１３と合成対象となる入力画像１１１、すなわち露光ｎ画像の画素値による中間合成画像１１３の画素値更新が可能な上限値である。
また、合成画像ノイズ閾値Ｉ_ｎｂは、中間合成画像１１３と合成対象となる入力画像１１１、すなわち露光ｎ画像の画素値による中間合成画像１１３の画素値更新が可能な下限値である。

図１４に示す境界１３１の画素値は、図１４に示すライン１３０上のライン位置１３５の画素値に相当する。
このライン位置１３５の画素値は、露光１画像の画素値Ｉ_１の飽和画素値Ｉ_ＷＬｖのゲイン調整後の画素値Ｉ_１ｇに相当する。
従って、上記（式１０ｂ）中の画素値Ｉ_１を飽和画素値Ｉ_ＷＬｖに置き換えることで、図に示すライン１３０上のライン位置１３５の画素値を算出できる。この算出式は、以下の（式１１ａ）となる。
境界１３１の画素値＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_ＷＤＲ・・・（式１１ａ）
すなわち、
露光０画像のノイズ閾値Ｉ_０ｂ＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_ＷＤＲ
露光１画像の飽和閾値Ｉ_ＷＬｖ１＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_ＷＤＲ
となる。

同様に、図１４に示す境界１３２の画素値である図に示すライン１３０上のライン位置１３６の画素値は、以下の（式１１ｂ）となる。
境界１３２の画素値＝Ｉ_ＷＬｖ・Ｒ_２ ^−１・Ｒ_ＷＤＲ・・・（式１１ｂ）
すなわち、
露光１画像のノイズ閾値Ｉ_１ｂ＝Ｉ_ＷＬｖ・Ｒ_２ ^−１・Ｒ_ＷＤＲ
露光２画像の飽和閾値Ｉ_ＷＬｖ２＝Ｉ_ＷＬｖ・Ｒ_２ ^−１・Ｒ_ＷＤＲ
となる。

同様に、図１４に示す境界１３３の画素値である図に示すライン１３０上のライン位置１３７の画素値は、以下の（式１１ｃ）となる。
境界１３３の画素値＝Ｉ_ＷＬｖ・・・（式１１ｃ）
すなわち、
露光２画像のノイズ閾値Ｉ_２ｂ＝Ｉ_ＷＬｖ・Ｒ_３ ^−１・Ｒ_ＷＤＲ
露光３画像の飽和閾値Ｉ_ＷＬｖ３＝Ｉ_ＷＬｖ・Ｒ_３ ^−１・Ｒ_ＷＤＲ
となる。

図１０に示す画像合成処理部１０１の中間合成画像領域判定部１２２は、このように、中間合成画像領域判定部１２２に入力する中間合成画像１１３に対応するノイズ閾値Ｉ_ｎｂと、飽和閾値Ｉ_ＷＬｖｎを算出し、各画像の画素値をこれらの閾値に基づいて、図１３に示すように、ノイズ画素、有効画素、飽和画素の３つに区分する処理を実行する。

中間合成画像領域判定部１２２の生成した中間合成画像１１３に対応する画素区分情報（飽和／有効／ノイズ）は、図１０に示す更新方法決定部１２３に入力される。

［２−３．更新方法決定部の処理について］
次に、図１０に示す画像合成処理部１０１の更新方法決定部１２３の処理について図１５以下を参照して説明する。
更新方法決定部１２３は、
（１）入力画像領域判定部１２１の生成した入力画像１１１に対応する画素区分情報（飽和／有効／ノイズ）、
（２）中間合成画像領域判定部１２２の生成した中間合成画像１１３に対応する画素区分情報（飽和／有効／ノイズ）、
これらの各情報を入力して、入力画像１１１と中間合成画像１１３の対応画素間の組み合わせに応じて、中間合成画像１１３の各画素についての更新方法を決定する。
具体的には、図１５に示すような設定で更新態様決定処理を行なう。

すなわち、以下の処理態様とする。
（１）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、
入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行して中間合成画像の画素値を更新する。
（２）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、
入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する。
（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合
（３ａ）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理、または、
（３ｂ）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力、
上記（３ａ），（３ｂ）いずれかの処理を行なう。

なお、上記処理中、（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合の具体的処理例としては、出力画像の好みに応じて、例えば、図１６（ａ）〜（ｃ）に示す以下の設定のいずれかを選択して実行することが好ましい。
図１６（ａ）〜（ｃ）の各設定の処理について順次、説明する。

（図１６（ａ）に示す設定に従った処理）
図１６（ａ）に示す設定に従った処理は、［入力画像＝飽和画素、中間合成画像＝ノイズ画素］、［入力画像＝ノイズ画素、中間合成画像＝飽和画素］、いずれの場合も３ＤＮＲ合成処理を実行する設定である。

出力画像を、できるだけ時間的に新しい画像としたい場合は、図１６（ａ）に示すように、入力画像を基準画像として中間合成画像を入力画像の画像位置に合わせた動き補償中間合成画像と入力画像の画素値合成による３ＤＮＲ処理を実行する。
なお、入力画像の画素が飽和画素である場合は、露光補正後の入力画像の画素値と、予め規定した固定値との比較を実行して、入力画像の画素値が固定値（クリップ値：Ｉ_{ｃｌｉｐｎ}）を超える値である場合は、３ＤＮＲ処理に代えて入力画像の露光条件ごとに定めた固定値を出力するクリップ処理を行なってもよい。

クリップ処理前の中間合成画像の画素値をＩｂｎ、クリップ処理後の画素値をＩｃｎ、クリップ値をＩ_{ｃｌｉｐｎ}としたとき、クリップ後の画素値Ｉｃｎは以下の設定となる。
Ｉｂｎ＜Ｉ_{ｃｌｉｐｎ}が成立する画素については、
Ｉｃ＝Ｉｂｎ
Ｉｂｎ＜Ｉ_{ｃｌｉｐｎ}が成立しない画素については、
Ｉｃｎ＝Ｉ_{ｃｌｉｐｎ}
クリップ処理を実行した場合、上記設定で画素値変換が行われることになる。

なお、クリップ処理における入力画像の露光条件ごとの固定値（クリップ値：Ｉ_{ｃｌｉｐｎ}）は、ＲＧＢ共通の値でもよく、またはＲＧＢ各々について異なる値を利用利用する構成としてもよい。また、具体的な固定値としては、先に図１１〜図１４を参照して説明した入力画像飽和閾値、あるいは中間合成画像飽和閾値、あるいはこれらの閾値の定数倍の値などが利用可能である。

（図１６（ｂ）に示す設定に従った処理）
図１６（ｂ）に示す設定に従った処理は、［入力画像＝飽和画素、中間合成画像＝ノイズ画素］の場合は３ＤＮＲ処理、［入力画像＝ノイズ画素、中間合成画像＝飽和画素］の場合は中間合成画像出力を行なう設定である。

出力画像のテクスチャが失われてもノイズの少ない画像を取得したい場合は、図１６（ｂ）に示す設定とする。
すなわち、［入力画像＝飽和画素、中間合成画像＝ノイズ画素］の場合は、入力画像と中間合成画像の対応画素の画素値合成を実行する３ＤＮＲ処理を実行する。また、［入力画像＝ノイズ画素、中間合成画像＝飽和画素］の場合は、入力画像の画素値を適用せず、中間合成画像をそのまま出力する。
この処理は、飽和判定された画素を反映させて出力画像の画素値を設定する処理であり、テクスチャが失われる可能性があるが、ノイズの少ない画像を生成できる。

なお、この処理（ｂ）においても、処理（ａ）と同様、入力画像の画素が飽和画素である場合は、処理（ａ）と同様のクリップ処理により処理の簡略化を行ってもよい。

（図１６（ｃ）に示す設定に従った処理）
図１６（ｃ）に示す設定に従った処理は、［入力画像＝飽和画素、中間合成画像＝ノイズ画素］の場合は中間合成画像出力、［入力画像＝ノイズ画素、中間合成画像＝飽和画素］の場合は３ＤＮＲ処理を行なう設定である。

出力画像のノイズが多くても画像のテクスチャを残した画像を取得したい場合は、図１６（ｃ）に示す設定とする。
すなわち、［入力画像＝飽和画素、中間合成画像＝ノイズ画素］の場合は、入力画像の画素値を適用せず、中間合成画像をそのまま出力する。また、［入力画像＝ノイズ画素、中間合成画像＝飽和画素］の場合は、入力画像と中間合成画像の対応画素の画素値合成を実行する３ＤＮＲ処理を実行する。
この処理は、ノイズ判定された画素を反映させて出力画像の画素値を設定する処理であり、ノイズが多くなる可能性があるが画像のテクスチャを残した画像を生成できる。

なお、画像処理部は、図１６（ａ）〜（ｃ）に示すいずれかの設定のみを行なう構成としてもよいし、図１６（ａ）〜（ｃ）の設定を切り替え可能な構成としてもよい。すなわち、入力画像と中間合成画像の対応画素の一方が飽和画素、他方がノイズ画素の組み合わせである場合は、どのようなタイプの出力画像を出力したいかのユーザの好みに応じて、実行する処理を切り替え可能な構成としてもよい。具体的には、例えば、画像処理部を、図１６（ａ）〜（ｃ）に示す処理を選択的に実行可能とした処理モード選択機能を有する構成とし、ユーザ入力に応じてモード設定を行なう。

本開示の画像処理装置は、図１５、図１６を参照して説明したように、入力画像と中間合成画像の画素態様を「飽和画素」、「有効画素」、「ノイズ画素」、これらの３態様に区分し、これらの組み合わせに応じて異なる処理を実行する構成である。
すなわち、前述したように、以下の処理を実行する。
（１）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合は、入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行して中間合成画像の画素値を更新する。
（２）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合は、入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する。
（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合は、
（３ａ）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理、または、
（３ｂ）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力、
上記（３ａ），（３ｂ）いずれかの処理を行なう。

このような処理を行なうことによる効果の一例について、図１７以下を参照して説明する。
図１７は、異なる露光条件に設定された入力画像を適用した合成処理例を説明する図である。図１７には以下の画像を示している。
（１）入力画像に基づく画像およびデータ
（１ａ）撮像素子出力画像、
（１ｂ）撮像素子出力画像を露光補正した露光補正入力画像、
（１ｃ）撮像素子出力画像の有効画素領域を示す入力画像有効画素領域情報、
（２）中間合成画像（ひとつ前のタイミングの更新結果画像）
（２Ａ）従来処理例（入力画像の有効領域のみを選択して合成画像の更新を実行した合成画像更新処理例）、
（２Ｂ）本開示処理例（図１６（ａ）に示す設定に従った処理により合成画像の更新を実行した合成画像更新処理例）、
図１７には、これらの画像を示している。

最上段の時間軸は、左から右に時間経過を示している。
（１ａ）に示す撮像素子出力画像は、時間（ｔ０）〜（ｔ３）の撮像素子の出力である。
時間（ｔ０）の小露光量画像（露光０）：画像１ａ（ｔ０）、
時間（ｔ１）の中露光量画像（露光１）：画像１ａ（ｔ１）、
時間（ｔ２）の大露光量画像（露光２）：画像１ａ（ｔ２）、
露光量は、以下の関係にある。
露光０＜露光１＜露光２
このように、画像１ａ（ｔ０）〜画像１ａ（ｔ３）、これらの３つの異なる露光条件の撮影画像が撮像素子から入力される。これは、図７、図１０に示す入力画像１１１に相当する。

なお、この例では、３種類の異なる露光条件の画像を連続撮影し、順次、入力するものとする。すなわち、１つのＷＤＲセットが３つの異なる露光条件の設定画像であり、画像処理部は、ＷＤＲセットを順次、入力する。
この入力画像には動被写体が含まれる。図に示す動被写体１４１である。撮像素子出力画像１ａ（ｔ０）〜１ａ（ｔ２）に示す動被写体１４１は、被写体輝度が上から高輝度、中輝度、低輝度の３層構成を持つ矩形物体であり、時間経過に応じて右回転の動きを示す動被写体である。

（１ｂ）露光補正入力画像１ｂ（ｔ０）〜１ｂ（ｔ２）は、撮像素子出力画像１ａ（ｔ０）〜１ａ（ｔ２）の画素値をゲイン調整した画像である。すなわち、（１ｂ）露光補正入力画像は、先に図１４を参照して説明したように、各露光条件の画像を、中間合成画像（ここでは、露光２の画像の露光条件を中間合成画像の露光条件とした）と同じ露光を行なったと仮定した場合の画素値に補正した画像である。（１ｂ）露光補正入力画像は、図１４に示すライン１３０に相当する画素値設定処理を行なった画像に相当する。

（１ｃ）入力画像有効画素領域情報１ｃ（ｔ０）〜１ｃ（ｔ２）は、入力画像、すなわち（１ａ）の撮像素子出力画像１ａ（ｔ０）〜１ａ（ｔ２）の有効画素領域を示す情報である。すなわちノイズ画素と飽和画素を除く有効画素領域のみを選択した領域情報である。入力画像有効画素領域情報１ｃ（ｔ０）〜１ｃ（ｔ２）に示す白い領域が有効画素領域であり、黒い領域が飽和画素またはノイズ画素に相当する。

（２）中間合成画像は、各時間ｔ０，ｔ１，ｔ２・・・の中間合成画像を示している。図７、図１０に示す中間合成画像１１３に相当する。
なお、画像中に示す斜線領域は、当該ＷＤＲセットにおいて更新処理が実行されていない未更新領域を示している。図に示す例において、未更新領域は、時間（ｔ０）の中間合成画像２Ａ（ｔ０）、または中間合成画像２Ｂ（ｔ０）の画素値が、そのまま維持される領域である。

上段の（２Ａ）従来処理例は、従来型の中間合成画像の更新処理に相当する。この処理は、入力画像の有効領域のみを選択して、入力画像の有効領域のみについて中間合成画像の画素値合成を実行して中間合成画像の画素値を更新し、入力画像のノイズ領域や飽和領域については、中間合成画像を更新せず、中間合成画像の画素値をそのまま出力する処理である。

一方、下段の（２Ｂ）本開示処理例は、本開示の中間合成画像の更新処理に相当する。具体的には、図１６（ａ）の設定に従った処理例であり、以下の処理態様で中間合成画像の更新を行なった処理例である。
（１）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合は、入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行して中間合成画像の画素値を更新する。
（２）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合は、入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する。
（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合は、入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行して中間合成画像の画素値を更新する。

図１７（２Ｂ）本開示処理例に示す中間合成画像は、上記のように入力画像値中間合成画像の画素態様（飽和／有効／ノイズ）の組み合わせに応じて決定する処理によって生成される中間合成画像である。

図１７（２）に示す、（２Ａ），（２Ｂ）の中間合成画像の差異について説明する。
時間（ｔ０）における中間合成画像、すなわち、
従来処理の中間合成画像２Ａ（ｔ０）と、
本開示処理の中間合成画像２Ｂ（ｔ０）、
これらは、過去の入力画像に基づいて生成された合成画像であり、同じ画像であるとする。

時間（ｔ１）の（２Ａ）従来処理例の中間合成画像２Ａ（ｔ１）は、
（１ｂ）に示す時間（ｔ０）の露光補正入力画像１ｂ（ｔ０）と、
（２Ａ）に示す時間（ｔ０）の中間合成画像２Ａ（ｔ０）、
これらの２つの画像の合成処理によって生成される画像である。
（２Ａ）従来処理例では、入力画像中の有効画素領域のみを利用した合成処理を実行し、その他の画素部分は、時間（ｔ０）の中間合成画像２Ａ（ｔ０）の画素値をそのまま出力する。

この結果、（２Ａ）従来処理例に示す時間（ｔ１）の中間合成画像２Ａ（ｔ１）は、以下の画素値によって構成された画像となる。
有効画素領域情報１ｃ（ｔ０）に従って選択される入力画像の有効画素領域については、撮像素子出力画像１ａ（ｔ０）の露光補正入力画像１ｂ（ｔ０）と、中間合成画像２Ａ（ｔ０）の合成画素値、
入力画像の有効画素領域以外の領域（ノイズ領域または飽和領域）については、中間合成画像２Ａ（ｔ０）の画素値、
これらの画素値によって構成される。
この結果、（２Ａ）従来処理例に示す時間（ｔ１）の中間合成画像２Ａ（ｔ１）は、太陽や、雲、および動被写体１４１の高輝度部分のみが、露光補正入力画像１ｂ（ｔ０）の画素値を適用した更新領域となり、その他の領域は、未更新領域のまま出力された画像となる。

一方、時間（ｔ１）の（２Ｂ）本開示処理例の中間合成画像２Ｂ（ｔ１）は、
（１ｂ）に示す時間（ｔ０）の露光補正入力画像１ｂ（ｔ０）と、
（２Ｂ）に示す時間（ｔ０）の中間合成画像２Ｂ（ｔ０）、
これらの２つの画像の合成処理によって生成される画像である。
（２Ｂ）本開示処理例では、図１６（ａ）に示す設定で、入力画像、および中間合成画像の画素態様（飽和／有効／ノイズ）の組み合わせに応じた処理を実行する。

この結果、（２Ｂ）本開示処理例に示す時間（ｔ１）の中間合成画像２Ｂ（ｔ１）は、以下の画素値によって構成された画像となる。
入力画像と中間合成画像の対応画素が［飽和画素−飽和画素］、または［ノイズ画素−ノイズ画素］の組み合わせである場合は、中間合成画像２Ｂ（ｔ０）の画素値、
入力画像と中間合成画像の対応画素が［飽和画素−飽和画素］、または［ノイズ画素−ノイズ画素］の組み合わせ以外である場合は、撮像素子出力画像１ａ（ｔ０）の露光補正入力画像１ｂ（ｔ０）と、中間合成画像２Ｂ（ｔ０）の合成画素値、
これらの画素値によって構成される。

ここで、時間（ｔ０）の撮像素子出力画像１ａ（ｔ０）は、小露光量画像であり、飽和画素は含まれない。
一方、ノイズ画素は、先に図１１を参照して説明したように、有効画素の下限画素値以下の画素値を持つ領域であり、図１７の入力画素有効領域情報１ｃ（ｔ０）に示す白領域以外の黒領域がすべてノイズ領域となる。

一方、時間（ｔ０）の中間合成画像２Ｂ（ｔ０）は、先に、図１３、図１４を参照して説明した処理に従って、合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎが取得される。前述したように、図１３に示す合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎは、中間合成画像１１３と合成処理を行なう入力画像１１１の露光条件によって異なる値となる。
時間（ｔ０）の中間合成画像２Ｂ（ｔ０）の合成画像飽和閾値Ｉ_ＷＬｖｎは、合成対象となる時間（ｔ０）の撮像素子出力画像１ａ（ｔ０）の露光条件に応じて決定される。

図１７に示す露光０画像を、図１４に示す例における露光０画像とする。また、図１７の例の最大露光量画像を露光２画像とする。この場合、中間合成画像２Ｂ（ｔ０）の合成画像ノイズ閾値Ｉ_ｎｂ＝Ｉ_０ｂは、
図１４を参照して説明したように、
Ｉ_０ｂ＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_ＷＤＲ＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_２
として計算される。
上記式に従って算出される中間合成画像２Ｂ（ｔ０）の合成画像ノイズ閾値Ｉ_０ｂは、時間（ｔ０）の撮像素子出力画像１ａ（ｔ０）のノイズ閾値に対応する値であり、結果として、時間（ｔ０）の中間合成画像２Ｂ（ｔ０）においても、雲、太陽、および動被写体１４１の高輝度部分以外の領域がノイズ領域となる。

従って、図１６（ａ）に示す設定に従い、撮像素子出力画像１ａ（ｔ０）の有効領域に相当する雲、太陽、および動被写体１４１の高輝度部分については、撮像素子出力画像１ａ（ｔ０）の露光補正入力画像１ｂ（ｔ０）と、中間合成画像２Ｂ（ｔ０）の合成画素値を出力する。
その他の部分は、撮像素子出力画像１ａ（ｔ０）と、中間合成画像２Ｂ（ｔ０）が［ノイズ画素−ノイズ画素］の組み合わせとなるので、中間合成画像２Ｂ（ｔ０）の画素値をそのまま出力する。

ただし、図１７に示すように、時間（ｔ０）の撮像素子出力画像１ａ（ｔ０）の動被写体１４１は、その前のタイミングで生成された時間（ｔ０）の中間合成画像２Ｂ（ｔ０）の動被写体の位置と異なる位置にある。
この動被写体１４１の動きに応じたずれによって、従来法では中間合成画像の有効領域で未更新の領域が残ってしまう。本手法では、中間合成画像の有効領域もすべて更新するために、画像の中で、入力画像の有効領域となる明るさの領域が最低１回は更新されたことを保証することができる。時間（ｔ０）の処理では、画面内の高輝度領域の更新を保証したことになる。

撮像素子出力画像１ａ（ｔ０）と、中間合成画像２Ｂ（ｔ０）の動被写体領域に対する処理について図１８を参照して説明する。
図１８は、撮像素子出力画像１ａ（ｔ０）と、中間合成画像２Ｂ（ｔ０）の動被写体１４１の領域と、その重ね合わせ画像を拡大して示した図である。
図１８には以下の各図を示している。
（１）撮像素子出力画像１ａ（ｔ０）の動被写体
（２）中間合成画像２Ｂ（ｔ０）の動被写体
（３）動被写体領域の重ね合わせ結果

動被写体は、それぞれ上から高輝度、中輝度、低輝度の層構成を有する。
ここで、撮像素子出力画像１ａ（ｔ０）の有効領域は、高輝度領域のみである。

（２）中間合成画像２Ｂ（ｔ０）の動被写体は、（１）撮像素子出力画像１ａ（ｔ０）の入力前の画像に基づいて生成されているため、これらの２つの画像の動被写体の位置は異なっている。
図１８（３）は、（１）撮像素子出力画像１ａ（ｔ０）の動被写体を点線で示し、（２）中間合成画像２Ｂ（ｔ０）の動被写体を実線で示して重ね合わせた図である。

図１８（３）に示す太線で囲んだ領域は合成領域１４２、すなわち、露光補正入力画像１ｂ（ｔ０）と、中間合成画像２Ｂ（ｔ０）、これら２つの画像の合成（３ＤＮＲ）領域となる。その他の領域は、非合成領域１４３、すなわち、中間合成画像をそのまま出力する領域となる。
図１８（３）に示す合成領域１４２は、撮像素子出力画像１ａ（ｔ０）と、中間合成画像２Ｂ（ｔ０）の少なくともいずれかの画像の有効領域（高輝度領域）であり、図１６（ａ）に示す処理設定に従って、３ＤＮＲ処理が実行される。

図１８（３）に示す合成領域１４２中、領域１４２ａは、図１７（２Ａ）の従来処理では、合成処理対象とならない領域であり、中間合成画像がそのまま出力される非合成領域となっていた。しかし、本開示の処理を行なうことで、領域１４２ａが、合成処理対象として追加されることになる。
このように、本開示の処理を行なうことで、動被写体における合成領域、すなわち、新規の入力画像の画素値を反映した領域を増加させることが可能となる。

さらに、次のタイミングの時間（ｔ２）の２つの中間合成画像について比較する。すなわち、以下の２つの画像を比較する。
（２Ａ）従来処理の中間合成画像２Ａ（ｔ２）
（２Ｂ）本開示処理の中間合成画像２Ｂ（ｔ２）

（２Ａ）従来処理の中間合成画像２Ａ（ｔ２）は、
（１ｂ）に示す時間（ｔ１）の露光補正入力画像１ｂ（ｔ１）と、
（２Ａ）に示す時間（ｔ１）の中間合成画像２Ａ（ｔ１）、
これらの２つの画像の合成処理によって生成される画像である。
（２Ａ）従来処理例では、入力画像中の有効画素領域のみを利用した合成処理を実行し、その他の画素部分は、時間（ｔ１）の中間合成画像２Ａ（ｔ１）の画素値をそのまま出力する。

この結果、（２Ａ）従来処理例に示す時間（ｔ２）の中間合成画像２Ａ（ｔ２）は、以下の画素値によって構成される画像となる。
有効画素領域情報１ｃ（ｔ１）に従って選択される入力画像の有効画素領域については、撮像素子出力画像１ａ（ｔ１）の露光補正入力画像１ｂ（ｔ１）と、中間合成画像２Ａ（ｔ１）の合成画素値、
入力画像の有効画素領域以外の領域（ノイズ領域または飽和領域）については、中間合成画像２Ａ（ｔ１）の画素値、
これらの画素値によって構成される。
この結果、（２Ａ）従来処理例に示す時間（ｔ２）の中間合成画像２Ａ（ｔ２）は、背景、および動被写体１４１の中輝度部分のみが、露光補正入力画像１ｂ（ｔ１）の画素値を適用した更新領域となり、その他の領域は、未更新領域のまま出力された画像となる。

一方、時間（ｔ２）の（２Ｂ）本開示処理例の中間合成画像２Ｂ（ｔ２）は、
（１ｂ）に示す時間（ｔ１）の露光補正入力画像１ｂ（ｔ１）と、
（２Ｂ）に示す時間（ｔ１）の中間合成画像２Ｂ（ｔ１）、
これらの２つの画像の合成処理によって生成される画像である。

（２Ｂ）本開示処理例では、図１６（ａ）に示す設定で、入力画像、および中間合成画像の画素態様（飽和／有効／ノイズ）の組み合わせに応じた処理を実行する。
この結果、（２Ｂ）本開示処理例に示す時間（ｔ２）の中間合成画像２Ｂ（ｔ２）は、以下の画素値によって構成された画像となる。
入力画像と中間合成画像の対応画素が［飽和画素−飽和画素］、または［ノイズ画素−ノイズ画素］の組み合わせである場合は、中間合成画像２Ｂ（ｔ１）の画素値、
入力画像と中間合成画像の対応画素が［飽和画素−飽和画素］、または［ノイズ画素−ノイズ画素］の組み合わせ以外である場合は、撮像素子出力画像１ａ（ｔ１）の露光補正入力画像１ｂ（ｔ１）と、中間合成画像２Ｂ（ｔ１）の合成画素値、
これらの画素値によって構成される。

ここで、時間（ｔ１）の撮像素子出力画像１ａ（ｔ１）は、中露光量画像であり、雲、太陽、および動被写体１４１の高輝度部分が飽和画素領域である。
また、山、動被写体１４１の低輝度部分がノイズ画素領域である。

一方、時間（ｔ１）の中間合成画像２Ｂ（ｔ１）は、先に、図１３、図１４を参照して説明した処理に従って、合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎが取得される。前述したように、図１３に示す合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎは、中間合成画像１１３と合成処理を行なう入力画像１１１の露光条件によって異なる値となる。

時間（ｔ１）の中間合成画像２Ｂ（ｔ１）の合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎは、合成対象となる時間（ｔ１）の撮像素子出力画像１ａ（ｔ１）の露光条件に応じて決定される。
図１７に示す露光１画像を、図１４に示す例における露光１画像とする。また、最大露光量画像を露光２画像とする。ここでは中間合成画像の露光条件を露光２画像の露光条件と等しい条件として仮定しているので、この場合、中間合成画像２Ｂ（ｔ１）の合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎ＝Ｉ_ＷＬｖ１は、
図１４を参照して説明したように、
Ｉ_ｎｂ＝Ｉ_１ｂ＝Ｉ_ＷＬｖ
Ｉ_ＷＬｖｎ＝Ｉ_ＷＬｖ１＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_ＷＤＲ＝Ｉ_ＷＬｖ・Ｒ_１ ^−１・Ｒ_２
として計算される。
上記式に従って算出される中間合成画像２Ｂ（ｔ１）の合成画像ノイズ閾値Ｉ_１ｂと、合成画像飽和閾値Ｉ_ＷＬｖ１は、時間（ｔ１）の撮像素子出力画像１ａ（ｔ１）のノイズ閾値と飽和閾値に対応する値である。結果として、時間（ｔ１）の中間合成画像２Ｂ（ｔ１）においても、雲、太陽、および動被写体１４１の高輝度部分が飽和画素領域となる。また、山、動被写体１４１の低輝度部分がノイズ画素領域となる。

従って、図１６（ａ）に示す設定に従い、撮像素子出力画像１ａ（ｔ１）と、中間合成画像２Ｂ（ｔ１）の雲、太陽、および動被写体１４１の高輝度部分同士、さらに、山、動被写体１４１の低輝度部分同士が重なる領域については、中間合成画像２Ｂ（ｔ１）の画素値をそのまま出力する。
その他の部分については、撮像素子出力画像１ａ（ｔ１）の露光補正入力画像１ｂ（ｔ１）と、中間合成画像２Ｂ（ｔ１）の合成画素値を出力する。

ただし、この時間（ｔ１）の処理においても、先に説明した時間（ｔ０）の処理と同様、図１７に示すように、時間（ｔ１）の撮像素子出力画像１ａ（ｔ１）の動被写体１４１は、その前のタイミングで生成された時間（ｔ１）の中間合成画像２Ｂ（ｔ１）の動被写体の位置と異なる位置にある。
この動被写体１４１の動きに応じたずれによって、撮像素子出力画像１ａ（ｔ１）と、中間合成画像２Ｂ（ｔ１）が［ノイズ画素−ノイズ画素］、または［飽和画素−飽和画素］の組み合わせとなる領域が狭められることになり、この結果、中間合成画像２Ｂ（ｔ１）の画素値をそのまま出力する領域が小さくなる。

撮像素子出力画像１ａ（ｔ１）と、中間合成画像２Ｂ（ｔ１）の動被写体領域に対する処理について図１９を参照して説明する。
図１９は、撮像素子出力画像１ａ（ｔ１）と、中間合成画像２Ｂ（ｔ１）の動被写体１４１の領域と、その重ね合わせ画像を拡大して示した図である。
図１９には以下の各図を示している。
（１）撮像素子出力画像１ａ（ｔ１）の動被写体
（２）中間合成画像２Ｂ（ｔ１）の動被写体
（３）動被写体領域の重ね合わせ結果

動被写体は、それぞれ上から高輝度、中輝度、低輝度の層構成を有する。
ここで、撮像素子出力画像１ａ（ｔ１）の有効領域は、中輝度領域のみである。

（２）中間合成画像２Ｂ（ｔ１）の動被写体は、（１）撮像素子出力画像１ａ（ｔ１）の入力前の画像に基づいて生成されているため、これらの２つの画像の動被写体の位置は異なっている。
図１９（３）は、（１）撮像素子出力画像１ａ（ｔ１）の動被写体を点線で示し、（２）中間合成画像２Ｂ（ｔ１）の動被写体を実線で示して重ね合わせた図である。

図１９（３）に示す太線で囲んだ領域は合成領域１４４、すなわち、露光補正入力画像１ｂ（ｔ１）と、中間合成画像２Ｂ（ｔ１）、これら２つの画像の合成（３ＤＮＲ）領域となる。その他の領域は、非合成領域１４５、すなわち、中間合成画像をそのまま出力する領域となる。
非合成領域には、２つの画像が共に飽和領域である非合成領域１４５ａと、２つの画像が共にノイズ領域である非合成領域１４５ｂが含まれる。

図１９（３）に示す合成領域１４４は、撮像素子出力画像１ａ（ｔ１）と、中間合成画像２Ｂ（ｔ１）の少なくともいずれかの画像の有効領域（中輝度領域）であり、図１６（ａ）に示す処理設定に従って、３ＤＮＲ処理が実行される。
図１９（３）に示す合成領域１４４は、図１７（２Ａ）の従来処理では、合成処理対象とならない領域が多く含まれる。本開示の処理を行なうことで、多くの領域が合成処理対象として追加されることになる。具体的には、本開示の処理により、中間合成画像の有効領域もすべて更新することで、画像の中で、入力画像の有効領域となる明るさの領域が最低１回は更新されたことを保証することができる。時間（ｔ１）の処理では、画面内の中輝度領域の更新を保証したことになる。時間（ｔ０）の処理と合わせ、当該ＷＤＲセット画像により画面内の中・高輝度領域が１度は更新されたことを保証することができる。
このように、本開示の処理を行なうことで、動被写体における合成領域、すなわち、新規の入力画像の画素値を反映した領域を増加させることが可能となる。

次のタイミングの時間（ｔ３）の中間合成画像は、以下の設定となる。
（２Ａ）従来処理の中間合成画像２Ａ（ｔ３）は、
（１ｂ）に示す時間（ｔ２）の露光補正入力画像１ｂ（ｔ２）と、
（２Ａ）に示す時間（ｔ２）の中間合成画像２Ａ（ｔ２）、
これらの２つの画像の合成処理によって生成される画像である。
（２Ａ）従来処理例では、入力画像中の有効画素領域のみを利用した合成処理を実行し、その他の画素部分は、時間（ｔ２）の中間合成画像２Ａ（ｔ２）の画素値をそのまま出力する。

この結果、（２Ａ）従来処理例に示す時間（ｔ３）の中間合成画像２Ａ（ｔ３）は、以下の画素値によって構成される画像となる。
有効画素領域情報１ｃ（ｔ２）に従って選択される入力画像の有効画素領域については、撮像素子出力画像１ａ（ｔ２）の露光補正入力画像１ｂ（ｔ２）と、中間合成画像２Ａ（ｔ２）の合成画素値、
入力画像の有効画素領域以外の領域（ノイズ領域または飽和領域）については、中間合成画像２Ａ（ｔ２）の画素値、
これらの画素値によって構成される。
この結果、（２Ａ）従来処理例に示す時間（ｔ３）の中間合成画像２Ａ（ｔ３）は、山、および動被写体１４１の低輝度部分のみが、露光補正入力画像１ｂ（ｔ２）の画素値を適用した更新領域となり、その他の領域は、未更新領域のまま出力された画像となる。

一方、時間（ｔ３）の（２Ｂ）本開示処理例の中間合成画像２Ｂ（ｔ３）は、
（１ｂ）に示す時間（ｔ２）の露光補正入力画像１ｂ（ｔ２）と、
（２Ｂ）に示す時間（ｔ２）の中間合成画像２Ｂ（ｔ２）、
これらの２つの画像の合成処理によって生成される画像である。

（２Ｂ）本開示処理例では、図１６（ａ）に示す設定で、入力画像、および中間合成画像の画素態様（飽和／有効／ノイズ）の組み合わせに応じた処理を実行する。
この結果、（２Ｂ）本開示処理例に示す時間（ｔ３）の中間合成画像２Ｂ（ｔ３）は、以下の画素値によって構成された画像となる。
入力画像と中間合成画像の対応画素が［飽和画素−飽和画素］、または［ノイズ画素−ノイズ画素］の組み合わせである場合は、中間合成画像２Ｂ（ｔ２）の画素値、
入力画像と中間合成画像の対応画素が［飽和画素−飽和画素］、または［ノイズ画素−ノイズ画素］の組み合わせ以外である場合は、撮像素子出力画像１ａ（ｔ２）の露光補正入力画像１ｂ（ｔ２）と、中間合成画像２Ｂ（ｔ２）の合成画素値、
これらの画素値によって構成される。

ここで、時間（ｔ２）の撮像素子出力画像１ａ（ｔ２）は、大露光量画像であり、山と、動被写体１４１の低輝度部分以外の領域全てが飽和画素領域である。

一方、時間（ｔ２）の中間合成画像２Ｂ（ｔ２）は、先に、図１３、図１４を参照して説明した処理に従って、合成画像ノイズ閾値Ｉ_ｎｂと、合成画像飽和閾値Ｉ_ＷＬｖｎが取得される。算出される中間合成画像２Ｂ（ｔ２）の合成画像ノイズ閾値Ｉ_２ｂと、合成画像飽和閾値Ｉ_ＷＬｖ２は、時間（ｔ２）の撮像素子出力画像１ａ（ｔ２）のノイズ閾値と飽和閾値に対応する値である。結果として、時間（ｔ２）の中間合成画像２Ｂ（ｔ２）においても、山と、動被写体１４１の低輝度部分以外の領域全てが飽和画素領域となる。

従って、図１６（ａ）に示す設定に従い、撮像素子出力画像１ａ（ｔ２）と、中間合成画像２Ｂ（ｔ２）の山と、動被写体１４１の低輝度部分以外の領域については、中間合成画像２Ｂ（ｔ１）の画素値をそのまま出力する。
山と、動被写体１４１の低輝度部分については、撮像素子出力画像１ａ（ｔ２）の露光補正入力画像１ｂ（ｔ２）と、中間合成画像２Ａ（ｔ２）の合成画素値を出力する。

ただし、この時間（ｔ２）の処理においても、先に説明した時間（ｔ０），（ｔ１）の処理と同様、図１７に示すように、時間（ｔ２）の撮像素子出力画像１ａ（ｔ２）の動被写体１４１は、その前のタイミングで生成された時間（ｔ２）の中間合成画像２Ｂ（ｔ２）の動被写体の位置と異なる位置にある。
この動被写体１４１の動きに応じたずれによって、撮像素子出力画像１ａ（ｔ２）と、中間合成画像２Ｂ（ｔ２）が［ノイズ画素−ノイズ画素］、または［飽和画素−飽和画素］の組み合わせとなる領域が狭められることになり、この結果、中間合成画像２Ｂ（ｔ２）の画素値をそのまま出力する領域が小さくなる。
具体的には、本開示の処理により、中間合成画像の有効領域もすべて更新することで、画像の中で、入力画像の有効領域となる明るさの領域が最低１回は更新されたことを保証することができる。時間（ｔ２）の処理では、画面内の低輝度領域の更新を保証したことになる。時間（ｔ０）、（ｔ１）の処理と合わせ、当該ＷＤＲセット画像により画面内の低・中・高輝度すべての領域が１度は更新される。

図１７に示す（２Ａ）従来処理と、（２Ｂ）本開示処理の時間（ｔ３）における中間合成画像について、図２０に拡大して示す。
図２０には、
（２Ａ）従来処理の時間（ｔ３）の中間合成画像２Ａ（ｔ３）、
（２Ｂ）本開示処理の時間（ｔ３）の中間合成画像２Ｂ（ｔ３）、
これらを並べて示している。

（２Ａ）従来処理の時間（ｔ３）の中間合成画像２Ａ（ｔ３）は、図１７に示す３つの異なる露光条件の入力画像である（１ａ）に示す撮像素子出力画像１ａ（ｔ０）〜撮像素子出力画像１ａ（ｔ２）の有効領域のみを合成対象として選択し、中間合成画像２Ａ（ｔ０）〜中間合成画像２Ａ（ｔ２）と合成処理を行なった結果である。

この従来処理では、一部、全く入力画像の画素値を利用した更新が実行されない未更新領域１５１が多く残ってしまう。
未更新領域１５１は、１つ前のＷＤＲセットに基づく合成画像の画素値に対応する。さらに、この領域が１つ前のＷＤＲセットでも更新されずに未更新領域として残った領域であった場合、さらに前のＷＤＲセットの画像となり、非常に長い間未更新となる現象が起こってしまう。

一方、本開示の処理、すなわち、例えば図１６（ａ）の設定に従った処理を実行した場合、ＷＤＲセット全体では未更新領域をなくすことが可能となる。これは、先に図１８、図１９を参照して説明したように、本開示の処理では、輝度領域ごとに担当画像が決まり、必ず１度は更新されることを保証できるからである。
この結果、本開示の処理を適用した処理では、入力画像の画素値の反映度を高くした画像を生成して出力することが可能となる。

［２−４．画像更新処理部の構成と処理について］
次に、図１０に示す画像合成処理部１０１の画像更新処理部１２４の構成と処理の詳細について説明する。
画像更新処理部１２４は、図１０に示すように、入力画像１１１と、中間合成画像１１３を入力する。さらに、更新方法決定部１２３が、上述した処理によって決定した画素単位の更新方法を示す画素単位更新情報を入力する。この画素単位更新情報は、先に図１５、図１６を参照して説明した入力画像と中間合成画像の画素態様（飽和／有効／ノイズ）の組み合わせに基づいて決定された画素単位の更新情報である。

画像更新処理部１２４は、更新方法決定部１２３から入力する画素単位更新情報に従って、入力画像１１１と、中間合成画像１１３の合成処理を実行する。具体的には、例えば図１６（ａ）〜（ｃ）いずれかの設定に従って、入力画像１１１と、中間合成画像１１３の対応画素の合成処理（３ＤＮＲ）、あるいは、合成を行なうことなく、中間合成画像１１３の画素値の出力などを選択的に実行する。
なお、合成処理前に各画像の露光比を合わせる露光補正（ゲイン調整）が行われる。

図２１に、画像更新処理部１２４の一実施例を示す。
図２１に示す画像更新処理部１２４は、露光補正部１５１、出力切り替え部１５２、合成処理部１５３を有する。

露光補正部１５１は、入力画像１１１の画素値を、中間合成画像に一致させたと仮定した場合の画素値に変更するゲイン調整を実行する。すなわち、先に図１４を参照して説明したライン１３０に沿った画素値に設定するためのゲイン調整処理を行なう。この処理によって、図１７（１ｂ）に示す露光補正入力画像が生成される。
露光補正部１５１の生成した露光補正入力画像は、合成処理部１５３に入力される。

出力切り替え部１５２は、更新方法決定部１２３から画素単位更新情報１６１を入力し、画素単位更新情報１６１に応じて中間合成画像の画素値を合成処理部１５３に出力、あるいは出力画像１１５の画素値として出力する。

更新方法決定部１２３から入力する画素単位更新情報１６１は、先に説明した図１６（ａ）〜（ｃ）いずれかの設定に従った情報である。すなわち、入力画像１１１と、中間合成画像１１３の対応画素の画素態様（飽和／有効／ノイズ）の組み合わせに従って決定される情報である。
画素単位更新情報が３ＤＮＲ処理の場合は、中間合成画像の画素値を合成処理部１５３に出力する設定とする。一方、画素単位更新情報が中間合成画像出力である場合は、中間合成画像の画素値を合成処理部１５３に出力することなく、出力画像１１５の構成画素として出力する。

すなわち、合成処理部１５３は、先に説明した図１６（ａ）〜（ｃ）の設定において３ＤＮＲの設定となっている場合にのみ、入力画像１１１に対する露光補正後の露光補正入力画像と、中間合成画像１１３の対応画素の合成処理を実行して、この合成結果を出力画像１１５の構成画素として出力する。

この結果、出力画像１１５は、入力画像１１１と、中間合成画像１１３の対応画素の画素態様（飽和／有効／ノイズ）の組み合わせに応じた以下の画素によって構成された画像となる。
（１）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、
入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行した合成画素。
（２）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、
入力画像の画素を利用しない中間合成画像の画素をそのまま出力した画素、
（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合
（３ａ）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理による合成画素、または、
（３ｂ）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力した画素、
上記（３ａ），（３ｂ）いずれかの画素、
出力画像１１５は、これらの（１）〜（３）の画素によって構成される画像となる。

これらの処理によって、先に説明した図１７（２Ｂ）に示す合成画像が生成され、出力されることになる。

図２２は、画像更新処理部１２４の第２実施例を示すブロック図である。
図２２に示す画像更新処理部１２４は、図２１に示す画像更新処理部の出力切り替え部１５２を省略し、セレクタ１５４を有する点が異なる。

セレクタ１５４は、更新方法決定部１２３から画素単位更新情報１６１を入力し、画素単位更新情報１６１に応じて合成処理部１５３の生成した合成結果、すなわち、露光補正入力画像と中間合成画像の対応画素の合成処理（３ＤＮＲ）結果としての合成画素値、あるいは、中間合成画像１１３の画素値を選択して出力画像１１５の画素値として出力する。

すなわち、図２２に示す構成では、合成処理部１５３は、全画素について、露光補正入力画像と中間合成画像の対応画素の合成処理（３ＤＮＲ）結果としての合成画素値を生成してセレクタ１５４に出力する。

セレクタ１５４は、更新方法決定部１２３から入力する画素単位更新情報１６１に応じて、合成処理部１５３の生成した合成処理（３ＤＮＲ）結果としての合成画素値、あるいは、中間合成間゛像１１３の画素値を選択して出力画像１１５の画素値として出力する。

この構成においても、出力画像１１５は、先の図２１に示す構成と同様、入力画像１１１と、中間合成画像１１３の対応画素の画素態様（飽和／有効／ノイズ）の組み合わせに応じた以下の画素によって構成された画像となる。
（１）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、
入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行した合成画素。
（２）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、
入力画像の画素を利用しない中間合成画像の画素をそのまま出力した画素、
（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合
（３ａ）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理による合成画素、または、
（３ｂ）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力した画素、
上記（３ａ），（３ｂ）いずれかの画素、
出力画像１１５は、これらの（１）〜（３）の画素によって構成される画像となる。

［３．３ＤＮＲ合成画素と、中間合成画像の画素との画素単位の加算処理を実行する実施例について］
上述した実施例では、出力画像は、以下のいずれかの画素によって構成されていた。
（１）露光補正された入力画像の画素と中間合成画像の画素との３ＤＮＲ処理による合成画素、
（２）中間合成画像の構成画素、

以下、上記の（１）３ＤＮＲ合成画素と、（２）中間合成画像の画素との画素単位の加算処理を実行して出力画像の画素値を設定する実施例について説明する。
図２３に、本実施例の処理を実行する画像合成処理部１０１の構成を示す。

図２３に示す画像合成処理部１０１は、先に説明した図７に示す画素処理装置１００の画像合成処理部１０１として構成される。
先に図１０を参照して説明した画像合成処理部１０１と同様、撮像素子からの出力である入力画像１１１と、入力画像１１１に対応する露光条件情報等の撮影情報１１２と、先行入力画像に基づいて生成された中間合成画像１１３を入力する。

入力画像領域判定部１２１は、先に説明した図１０の入力画像領域判定部１２１と同様、図１１、図１２を参照して説明した処理に従って、入力画像の各画素をノイズ画素、有効画素、飽和画素の３つの画素に区分する処理を実行する。
本実施例では、入力画像領域判定部１２１は、さらに、入力画像１１１の各画素単位の飽和度、ノイズ度を算出し、算出した飽和度とノイズ度を更新方法決定部１２３に出力する。

入力画像判定部１２１の構成と処理の詳細について、図２４以下を参照して説明する。
入力画像判定部１２１は、図２４に示すように、平滑化処理部１８１、飽和領域判定部１８２、ノイズ領域判定部１８３を有する。
まず、入力画像１１１は、平滑化処理部１８１に入力される。平滑化処理部１８１は、例えばＦＩＲフィルタ、メディアンフィルタなどの平滑化フィルタを適用して、入力画像１１１の平滑化処理を実行する。なお、平滑化処理は、領域単位の平均値、あるいは最大値、最小値の中間値算出などの処理として実行してもよい。なお、この平滑化処理は、入力画像１１１のＲＧＢ各チャンネル単位で実行してもよいし、チャンネルごとの平滑化された値をさらに重み付加算平均した値をチャンネル共通の平滑化値として算出する構成としてもよい。

平滑化後の入力画像は、飽和領域判定部１８２と、ノイズ領域判定部１８３に出力される。
飽和領域判定部１８２は、平滑化された入力画像を用いて、平滑化入力画像を構成する各画素単位の画素飽和度１８５を生成して更新方法決定部１２３に出力する。
また、ノイズ領域判定部１８３は、平滑化された入力画像を用いて、平滑化入力画像を構成する各画素単位の画素ノイズ度１８６を生成して更新方法決定部１２３に出力する。

飽和領域判定部１８２と、ノイズ領域判定部１８３の実行する処理について、図２５を参照して説明する。
飽和領域判定部１８２は、図２５（ａ）に示すグラフに従って、平滑化処理の施された入力画像１１１の各画素に対応する飽和度を算出する。
図２５（ａ）に示すグラフは、画素値と飽和度との対応関係を示すグラフである。

飽和度は、以下の設定で算出する。
（１）画素値が、
０≦画素値＜入力画像飽和開始閾値、
上記範囲にある場合、飽和度＝０．０
（２）画素値が、
入力画像完全飽和閾値≦画素値、
上記範囲にある場合、飽和度＝１．０
（３）画素値が、
入力画像飽和開始閾値≦画素値＜入力画像完全飽和閾値
上記範囲にある場合、
飽和度＝（画素値−入力画像飽和開始閾値）／（入力画像完全飽和閾値−入力画像飽和開始閾値）
また、飽和度の実現方法に関しては、上記式に限ったものではなく、入力画像飽和開始閾値から入力画像完全飽和閾値まで画素値に応じて単調増加となるような滑らかカーブを描く曲線で実現すればよい。

なお、入力画像完全飽和閾値は、先に図１１を参照して説明した入力画像飽和閾値Ｉ_ＷＬｖが適用可能である。入力画像飽和開始閾値は、入力画像完全飽和閾値より数％低い値を用いる。これらの各閾値は、予め算出し、飽和領域判定部１８２のアクセス可能なメモリに格納しておく。

このように、飽和領域判定部１８２は、図２５（ａ）に示すグラフに従って、平滑化処理の施された入力画像１１１の各画素に対応する飽和度を算出し、算出した画素飽和度１８５を更新方法決定部１２３に出力する。

一方、ノイズ領域判定部１８３は、図２５（ｂ）に示すグラフに従って、平滑化処理の施された入力画像１１１の各画素に対応するノイズ度を算出する。
図２５（ｂ）に示すグラフは、画素値とノイズ度との対応関係を示すグラフである。

ノイズ度は、以下の設定で算出する。
（１）画素値が、
０≦画素値＜入力画像完全ノイズ閾値、
上記範囲にある場合、ノイズ度＝１．０
（２）画素値が、
入力画像ノイズ開始閾値≦画素値、
上記範囲にある場合、ノイズ度＝０．０
（３）画素値が、
入力画像完全ノイズ閾値≦画素値＜入力画像ノイズ開始閾値
上記範囲にある場合、
ノイズ度＝（入力画像ノイズ開始閾値−画素値）／（入力画像ノイズ開始閾値−入力画像完全ノイズ閾値）
また、ノイズ度の実現方法に関しては、上記式に限ったものではなく、入力画像完全ノイズ閾値から入力画像ノイズ開始閾値まで画素値に応じて単調減少となるような滑らかカーブを描く曲線で実現すればよい。

なお、入力画像ノイズ開始閾値は、先に図１１を参照して説明した入力画像ノイズ閾値が適用可能である。入力画像完全ノイズ閾値は、入力画像ノイズ開始閾値より数％低い値を用いる。これらの各閾値は、予め算出し、ノイズ領域判定部１８３のアクセス可能なメモリに格納しておく。

このように、ノイズ領域判定部１８３は、図２５（ｂ）に示すグラフに従って、平滑化処理の施された入力画像１１１の各画素に対応するノイズ度を算出し、算出した画素ノイズ度１８６を更新方法決定部１２３に出力する。

次に、中間合成画像判定部１２２の構成と処理の詳細について、図２６以下を参照して説明する。
中間合成画像判定部１２２は、図２６に示すように、平滑化処理部１９１、飽和領域判定部１９２、ノイズ領域判定部１９３を有する。
まず、中間合成画像１１３は、平滑化処理部１９１に入力される。平滑化処理部１９１は、例えばＦＩＲフィルタ、メディアンフィルタなどの平滑化フィルタを適用して、中間合成画像１１３の平滑化処理を実行する。なお、平滑化処理は、領域単位の平均値、あるいは最大値、最小値の中間値算出などの処理として実行してもよい。なお、この平滑化処理は、中間合成画像１１３のＲＧＢ各チャンネル単位で実行してもよいし、チャンネルごとの平滑化された値をさらに重み付加算平均した値をチャンネル共通の平滑化値として算出する構成としてもよい。

平滑化後の中間合成画像は、飽和領域判定部１９２と、ノイズ領域判定部１９３に出力される。
飽和領域判定部１９２は、平滑化された中間合成画像を用いて、平滑化中間合成画像を構成する各画素単位の画素飽和度１９５を生成して更新方法決定部１２３に出力する。
また、ノイズ領域判定部１９３は、平滑化された中間合成画像を用いて、平滑化中間合成画像を構成する各画素単位の画素ノイズ度１９６を生成して更新方法決定部１２３に出力する。

飽和領域判定部１９２と、ノイズ領域判定部１９３の実行する処理について、図２７を参照して説明する。
飽和領域判定部１９２は、図２７（ａ）に示すグラフに従って、平滑化処理の施された中間合成画像１１３の各画素に対応する飽和度を算出する。
図２７（ａ）に示すグラフは、画素値と飽和度との対応関係を示すグラフである。

飽和度は、以下の設定で算出する。
（１）画素値が、
０≦画素値＜中間合成画像飽和開始閾値、
上記範囲にある場合、飽和度＝０．０
（２）画素値が、
中間合成画像完全飽和閾値≦画素値、
上記範囲にある場合、飽和度＝１．０
（３）画素値が、
中間合成画像飽和開始閾値≦画素値＜中間合成画像完全飽和閾値
上記範囲にある場合、
飽和度＝（画素値−中間合成画像飽和開始閾値）／（中間合成画像完全飽和閾値−中間合成画像飽和開始閾値）
また、飽和度の実現方法に関しては、上記式に限ったものではなく、中間画像飽和開始閾値から中間画像完全飽和閾値まで画素値に応じて単調増加となるような滑らかカーブを描く曲線で実現すればよい。

なお、中間合成画像完全飽和閾値は、先に図１３を参照して説明した中間合成画像飽和閾値Ｉ_ＷＬｖｎが適用可能である。中間合成画像飽和開始閾値は、中間合成画像完全飽和閾値より数％低い値を用いる。これらの各閾値は、予め算出し、飽和領域判定部１９２のアクセス可能なメモリに格納しておく。

このように、飽和領域判定部１９２は、図２７（ａ）に示すグラフに従って、平滑化処理の施された中間合成画像１１３の各画素に対応する飽和度を算出し、算出した画素飽和度１９５を更新方法決定部１２３に出力する。

一方、ノイズ領域判定部１９３は、図２７（ｂ）に示すグラフに従って、平滑化処理の施された中間合成画像１１３の各画素に対応するノイズ度を算出する。
図２７（ｂ）に示すグラフは、画素値とノイズ度との対応関係を示すグラフである。

ノイズ度は、以下の設定で算出する。
（１）画素値が、
０≦画素値＜中間合成画像完全ノイズ閾値、
上記範囲にある場合、ノイズ度＝１．０
（２）画素値が、
中間合成画像ノイズ開始閾値≦画素値、
上記範囲にある場合、ノイズ度＝０．０
（３）画素値が、
中間合成画像完全ノイズ閾値≦画素値＜中間合成画像ノイズ開始閾値
上記範囲にある場合、
ノイズ度＝（中間合成画像ノイズ開始閾値−画素値）／（中間合成画像ノイズ開始閾値−中間合成画像完全ノイズ閾値）
また、ノイズ度の実現方法に関しては、上記式に限ったものではなく、中間画像完全ノイズ閾値から中間画像ノイズ開始閾値まで画素値に応じて単調減少となるような滑らかカーブを描く曲線で実現すればよい。

なお、中間合成画像ノイズ開始閾値は、先に図１３を参照して説明した中間合成画像ノイズ閾値が適用可能である。中間合成画像完全ノイズ閾値は、中間合成画像ノイズ開始閾値より数％低い値を用いる。これらの各閾値は、予め算出し、ノイズ領域判定部１９３のアクセス可能なメモリに格納しておく。

このように、ノイズ領域判定部１９３は、図２７（ｂ）に示すグラフに従って、平滑化処理の施された中間合成画像１１３の各画素に対応するノイズ度を算出し、算出した画素ノイズ度１９６を更新方法決定部１２３に出力する。

次に、図２３に示す画像合成処理部１０１の更新方法決定部１２３の処理について、図２８を参照して説明する。
更新方法決定部１２３は、入力画像領域判定部１２１と、中間合成画像領域判定部１２２から以下の各情報（ａ），（ｂ）を入力する。
（ａ）入力画像領域判定部１２１から、入力画像の構成画素各々に対応する飽和度とノイズ度情報。
（ｂ）中間合成画像領域判定部１２２から、中間合成画像の構成画素各々に対応する飽和度とノイズ度情報。

更新方法決定部１２３は、これらの入力情報に基づいて、入力画像１１１を適用した中間合成画像１１３の更新方法を決定する。
具体的には、入力画像１１１と中間合成画像１１３との３ＤＮＲ合成処理結果と、中間合成画像１１３の対応画素の画素値の加算比率βを決定する処理を行なう。
出力画像は、この加算比率βに従って、入力画像１１１と中間合成画像１１３との３ＤＮＲ合成処理結果と、中間合成画像１１３の対応画素の画素値を加算した結果とする。すなわち、
出力画像画素値＝（中間合成画像画素値）・β＋（３ＤＮＲ合成画像画素値）（１−β）
上記式に従って算出する画素値を出力画像の画素値として設定する。

更新方法決定部１２３は、この加算比率βを算出するために、以下の各情報を適用する。すなわち、
（ａ）入力画像領域判定部１２１から入力する、入力画像の構成画素各々に対応する飽和度とノイズ度情報。
（ｂ）中間合成画像領域判定部１２２から入力する、中間合成画像の構成画素各々に対応する飽和度とノイズ度情報。
これらの情報を利用して、図２３に示すように加算比率β１６１を算出して、画像更新処理部１７０の加算部１７３に出力する。

画像更新処理部１７０では、露光補正部１７１が入力画像１１１を、中間合成画像１１３の露光条件と一致させるための露光比補正処理を実行する。
露光比補正された入力画像は合成処理部１７２に提供され、合成処理部１７２において露光比補正された入力画像と中間合成画像の合成処理（３ＤＮＲ処理）が行われる。この合成処理（３ＤＮＲ）結果画像が、加算部１７３に出力される。

加算部１７３は、合成処理部１７２から入力する３ＤＮＲ合成画像と、中間合成画像１１３について、上述した各画素対応の加算比率βに従って加算する。すなわち、
出力画像画素値＝（中間合成画像画素値）・β＋（３ＤＮＲ合成画像画素値）（１−β）
上記式に従って算出する画素値を出力画像１１５の画素値として設定して、出力画像１１５を生成する。

更新方法決定部１２３の実行する加算比率βの算出処理例について、図２８を参照して説明する。
図２８（１）に示す表は、先に図１５、図１６を参照して説明した表と同様の表であり、入力画像の画素態様（飽和／有効／ノイズ）と、中間合成画像の画素態様（飽和／有効／ノイズ）の各組み合わせに応じた処理区分を示す表である。

すなわち、入力画像の画素態様（飽和／有効／ノイズ）と、中間合成画像の画素態様（飽和／有効／ノイズ）の各組み合わせに応じて以下の処理を実行することを示す表である。
（１）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、
入力画像と中間合成画像の画素値合成による３ＤＮＲ処理を実行して中間合成画像の画素値を更新する。
（２）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、
入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する。
（３）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合
（３ａ）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理、または、
（３ｂ）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力、
上記（３ａ），（３ｂ）いずれかの処理を行なう。
なお、図２８（１）に示す表における処理Ａ、処理Ｂは、上記（３ａ），（３ｂ）のいずれかの処理であることを示している。

ここで、前述した加算比率βに従って出力画像を生成すると仮定すると、図２８（２）に示すように、出力画像平均的な画素値は、以下の式で示すことができる。
出力画像平均画素値＝（中間合成画像平均画素値）・β＋（３ＤＮＲ合成画像平均画素値）（１−β）
さらに、図２８（１）に示す表に従って、上記式を展開すると、以下のように示すことができる。

ここで、図２８（１）に示す処理Ａ、処理Ｂを３ＤＮＲ処理、すなわち、先に図１６（ａ）に示す設定の通り３ＤＮＲ処理であるとすると、上記式は、図２８（３）に記載したように以下のように示すことができる。更新方法決定部１２３は、以下の式に従って、加算比率βを算出し、決定することができる。

更新方法決定部１２３は、このように、
（ａ）入力画像領域判定部１２１から入力する、入力画像の構成画素各々に対応する飽和度とノイズ度情報。
（ｂ）中間合成画像領域判定部１２２から入力する、中間合成画像の構成画素各々に対応する飽和度とノイズ度情報。
これらの情報を利用して、図２３に示すように加算比率β１６１を算出して、画像更新処理部１７０の加算部１７３に出力する。

画像更新処理部１７０は、先に説明したように、以下の処理を実行して出力画像１１５を生成して出力する。
まず、露光補正部１７１が入力画像１１１を、中間合成画像１１３の露光条件と一致させるための露光比補正処理を実行する。露光比補正された入力画像は合成処理部１７２に提供され、合成処理部１７２において露光比補正入力画像と中間合成画像の合成処理（３ＤＮＲ処理）が行われる。この合成処理（３ＤＮＲ）結果画像が、加算部１７３に出力される。

加算部１７３は、合成処理部１７２から入力する３ＤＮＲ合成画像と、中間合成画像１１３について、上述した各画素対応の加算比率βに従って加算する。すなわち、
出力画像画素値＝（中間合成画像画素値）・β＋（３ＤＮＲ合成画像画素値）（１−β）
上記式に従って算出する画素値を出力画像１１５の画素値として設定して、出力画像１１５を生成する。
画像更新処理部１７０は、このような処理を実行して出力画像１１５を生成して出力する。

［４．中間合成画像から入力画像と同一撮影条件の補正画像を生成して処理を行なう実施例について］
次に、中間合成画像から入力画像と同一撮影条件の補正画像を生成して処理を行なう実施例について説明する。

本実施例の画像合成処理部１０１の構成例を図２９に示す。なお、本実施例の画像処理部の全体構成は、先に説明した図７に示す画像処理部１００と同様の構成である。
図２９に示す画像合成処理部１０１の構成は、図７に示す画像処理部１００内の画像合成処理部１０１の詳細構成である。

図２９に示す画像合成処理部１０１は、先に図１０を参照して説明した画像合成処理部１０１と同様、撮像素子からの出力である入力画像１１１と、入力画像１１１に対応する露光条件情報等の撮影情報１１２と、先行入力画像に基づいて生成された中間合成画像１１３を入力する。

入力画像領域判定部３１０は、先に説明した図２４に示す入力画像判定部１２１と同様の構成を有し、平滑化処理部３１１、飽和領域判定部３１２、ノイズ領域判定部３１３を有し、入力画像１１１の各画素単位の飽和度、ノイズ度を算出し、算出した飽和度とノイズ度を更新方法決定部３４０に出力する。

また、中間合成画像領域判定部３３０は、先に説明した図２６に示す中間合成画像領域判定部１２２と同様の構成を有し、平滑化処理部３３１、飽和領域判定部３３２、ノイズ領域判定部３３３を有し、中間合成画像１１３に基づいて中間合成画像補正部３２０が生成した補正中間合成画像の各画素単位の飽和度、ノイズ度を算出し、算出した飽和度とノイズ度を更新方法決定部３４０に出力する。

中間合成画像補正部３２０は、中間合成画像１１３と、入力画像対応の露光時間情報等を含む撮影情報１１２を入力し、中間合成画像１１３を、入力画像１１１と同一の露光条件に設定した補正中間合成画像を生成する。
なお、撮影情報１１２には、入力画像１１１の撮影条件としての露光時間の他、Ｆ値、ＩＳＯ感度などが含まれ、補正処理弐際しては、これらの条件も考慮して、入力画像１１１と同一の撮影条件で撮影したと想定した補正画像を生成する。
また、中間合成画像１１３の画素値補正に際しては、予め規定した画素値範囲に設定されるようにクリップ処理を行なうことが好ましい。

中間合成画像補正部３２０において生成する補正中間合成画像の画素値（Ｉ_ｅｘｐ）は、例えば以下の式に従って算出する。

例えば、上記式に従って算出した補正画素値（Ｉ_ｅｘｐ）を有する画素によって構成される補正中間合成画像は、中間合成画像領域判定部３３０と、画像更新処理部３５０の合成処理部３５１に入力される。

中間合成画像領域判定部３３０は、この補正中間合成画像の平滑化処理を実行し、平滑化画像に基づいて、各画素対応の飽和度とノイズ度を算出して更新方法決定部３４０に出力する。
このとき、中間合成画像領域判定部３３０への入力である補正画素値（Ｉ_ｅｘｐ）は入力画像１１１と同露光条件の画像に補正されているので、飽和、ノイズの判定に用いる閾値は入力画像領域判定部３１０と同様のものを用いればよい。

更新方法決定部３４０は、入力画像領域判定部３１０と、中間合成画像領域判定部３３０から以下の各情報（ａ），（ｂ）を入力する。
（ａ）入力画像領域判定部３１０から、入力画像の構成画素各々に対応する飽和度とノイズ度情報。
（ｂ）中間合成画像領域判定部３３０から、補正中間合成画像の構成画素各々に対応する飽和度とノイズ度情報。

更新方法決定部３４０は、これらの入力情報に基づいて、入力画像１１１を適用した中間合成画像１１３の更新方法を決定する。
具体的には、先の実施例と同様、入力画像１１１と中間合成画像１１３との３ＤＮＲ合成処理結果と、中間合成画像１１３の対応画素の画素値の加算比率βを決定する処理を行なう。
更新方法決定部３４０の実行する加算比率βの算出処理は、先に図２８を参照して説明した処理と同様の処理である。

出力画像は、更新方法決定部３４０の決定した加算比率βに従って、入力画像１１１と中間合成画像１１３との３ＤＮＲ合成処理結果と、中間合成画像１１３の対応画素の画素値を加算した結果とする。すなわち、
出力画像画素値＝（中間合成画像画素値）・β＋（３ＤＮＲ合成画像画素値）（１−β）
上記式に従って算出する画素値を出力画像の画素値として設定する。

更新方法決定部１２３は、この加算比率βを算出するために、以下の各情報を適用する。すなわち、
（ａ）入力画像領域判定部１２１から入力する、入力画像の構成画素各々に対応する飽和度とノイズ度情報。
（ｂ）中間合成画像領域判定部１２２から入力する、補正中間合成画像の構成画素各々に対応する飽和度とノイズ度情報。
これらの情報を利用して、加算比率βを算出して、画像更新処理部３５０の加算部３５３に出力する。

画像更新処理部３５０の構成と処理について、図３０を参照して説明する。
画像更新処理部３５０は、図３０に示すように、合成処理部３５１、露光補正部３５２、加算部３５３を有する。

合成処理部３５１は、入力画像１１１と、中間合成画像補正部３２０が中間合成画像１１３基づいて生成した補正中間合成画像３８１を入力する。
補正中間合成画像３８１は、前述したように、中間合成画像１１３を入力画像１１１と同一条件で撮影したと仮定した場合の補正画素値（Ｉ_ｅｘｐ）を有する画像である。

合成処理部３５１は、入力画像１１１と、補正中間合成画像３８１の合成処理（３ＤＮＲ処理）が行われる。この合成処理（３ＤＮＲ）結果画像が、露光補正部３５２に入力される。

露光補正部３５２は、合成処理部３５１から入力する合成処理（３ＤＮＲ）結果画像を出力画像１１５の露光条件（＝中間合成画像１１３の露光条件）に合わせる露光補正（ゲイン調整）を実行する。なお、合成処理部３５１から入力する合成処理（３ＤＮＲ）結果画像は、入力画像１１１と同じ露光条件の画像であり、例えばＷＤＲセットのいずれかの露光条件に対応する様々な設定の画像である。これを出力すべき出力画像１１５の露光条件、中間合成画像と同じ設定の画像に補正する画素値補正処理を行ない、露光補正された３ＤＮＲ合成画像を生成して加算部３５３に出力する。

加算部３５３は、露光補正部３５２から入力する露光補正後の３ＤＮＲ合成画像と、中間合成画像１１３を入力し、これら２つの画像の対応位置の画素を、更新方法決定部の決定した各画素対応の加算比率βに従って加算する。すなわち、
出力画像画素値＝（中間合成画像画素値）・β＋（３ＤＮＲ合成画像画素値）（１−β）
上記式に従って算出する画素値を出力画像１１５の画素値として設定して、出力画像１１５を生成する。
画像更新処理部３５０は、このような処理を実行して出力画像１１５を生成して出力する。

［５．画像処理装置の全体構成例について］
最後に、上述した各実施例に従った処理を実行する画像処理装置の全体構成例について説明する。
図３１は、本開示の画像処理装置の一実施例としての撮像装置５００の構成例を示す図である。光学レンズ５０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子５０２に入射し、光電変換による画像データを出力する。出力画像データは画像処理部５０３に入力される。

画像処理部５０３は、上述した各実施例に従った処理、すなわち複数画像の合成処理を伴う出力画像の生成処理を実行する。さらに、画像処理部５０３は、撮像データに対する一般的なカメラ信号処理、例えば、ホワイトバランス（ＷＢ）調整、ガンマ補正等の信号処理も実行して、出力画像５２０を生成する。出力画像５２０は図示しない記憶部に格納される。あるいは表示部に出力される。

制御部５０５は、例えばメモリ５０６に格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

本開示の画像処理を用いることで、ある露光条件で撮像された画像と前フレームまでの合成画像を位置合わせしながら逐次合成することが可能となる。
また、ダイナミックレンジ拡張処理とノイズ除去処理を同時に行うことができるため、各処理個別の位置合わせ処理を行なうことなく、一回の位置合わせのみで合成処理画像を生成可能となる。従って、ダイナミックレンジ拡張処理とノイズ除去処理を単純に繋ぎ合わせた場合よりも少ない回路規模、消費電力での処理が可能となる。
また、図１７〜図２０を参照して説明したように、動被写体がある場合にも、入力画像を積極的に利用した画像合成を行なうことで、古い画像データが残存しない合成画像の生成が可能となる。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理部を有し、
前記画像合成処理部は、
前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定部と、
前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定部と、
前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理部を有する画像処理装置。

（２）前記入力画像は露光時間のみを変化させることで露光条件を変化させた画像であることを特徴とする前記（１）に記載の画像処理装置。

（３）前記更新方法決定部は、前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じた以下の各処理を決定、すなわち、
（Ａ）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、入力画像と中間合成画像の画素値合成による３ＤＮＲ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理を実行して中間合成画像の画素値を更新する処理、
（Ｂ）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する処理、
（Ｃ）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合、
（Ｃ１）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理、または、
（Ｃ２）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する処理、
前記更新方法決定部は、前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、上記（Ａ）〜（Ｃ）の処理を画素単位の合成処理方法として決定する前記（１）または（２）に記載の画像処理装置。

（４）前記領域判定部は、前記入力画像の露光時間情報を含む撮影情報を入力し、該撮影情報を利用して前記閾値を算出し、算出閾値に応じて、前記入力画像と、前記中間合成画像の構成画素を、ノイズ画素、有効画素、飽和画素に分類する前記（１）または（３）に記載の画像処理装置。

（５）前記撮影情報は、前記入力画像の露光時間Ｔ、ＩＳＯ感度、Ｆ値を含み、前記領域判定部は、前記入力画像の露光時間Ｔ、ＩＳＯ感度、Ｆ値を適用して前記閾値を算出する前記（４）に記載の画像処理装置。

（６）前記画像更新処理部は、前記入力画像の画素値を、前記中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部を有し、前記中間合成画像の露光条件を、前記複数枚からなる入力画像のうち最も露光量の多い画像と同じ露光条件とすることを特徴とする前記（１）〜（５）いずれかに記載の画像処理装置。

（７）前記画像更新処理部は、前記入力画像の画素値を、前記連続撮影画像中、中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部と、前記露光補正入力画像と、前記中間合成画像の対応画素の合成処理を実行する合成処理部と、前記更新方法決定部の決定した画素単位更新情報を入力して、入力情報に応じて、中間合成画像の画素値を前記合成処理部に出力するか、または中間合成画像の画素値をそのまま出力画像の画素値として出力するかを切り替える出力制御部を有する前記（１）〜（６）いずれかに記載の画像処理装置。

（８）前記画像更新処理部は、前記入力画像の画素値を、中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部と、前記露光補正入力画像と、前記中間合成画像の対応画素の合成処理を実行する合成処理部と、前記更新方法決定部の決定した画素単位更新情報を入力して、入力情報に応じて、前記合成処理部の合成処理結果、または、前記中間合成画像の画素値のいずれかを出力画像の画素値として選択出力するセレクタを有する前記（１）〜（７）いずれかに記載の画像処理装置。

（９）前記領域判定部は、前記入力画像と、前記中間合成画像の各々に対する平滑化処理を実行し、平滑化入力画像と、平滑化中間合成画像の構成画素の各々に対応する画素飽和度と、画素ノイズ度を算出して、前記更新方法決定部に出力する前記（１）〜（８）いずれかに記載の画像処理装置。

（１０）前記更新方法決定部は、前記画素飽和度と、前記画素ノイズ度を適用して、
（ａ）前記入力画像と前記中間合成画像の画素値合成による３ＤＮＲ処理画素値、
（ｂ）前記中間合成画像の画素値、
上記（ａ）と（ｂ）の各画素値の加算比率を算出して、前記画像更新処理部に出力し、
前記画像更新処理部は、
前記加算比率に応じて、前記（ａ）と（ｂ）の各画素値の加算処理を実行して出力画像の画素値を決定する前記（９）に記載の画像処理装置。

（１１）前記画像合成処理部は、さらに、前記中間合成画像を、前記入力画像の露光条件と同じ露光条件の設定とした場合の画素値に補正し、補正中間合成画像を生成する中間合成画像補正部を有し、前記領域判定部は、前記入力画像と、前記補正中間合成画像の各々に対する平滑化処理を実行し、各画像の構成画素の各々に対応する画素飽和度と、画素ノイズ度を算出して、前記更新方法決定部に出力する前記（１）〜（１０）いずれかに記載の画像処理装置。

（１２）前記更新方法決定部は、前記画素飽和度と、前記画素ノイズ度を適用して、
（ａ）前記入力画像と前記補正中間合成画像の画素値合成による３ＤＮＲ処理画素値、
（ｂ）前記中間合成画像の画素値、
上記（ａ）と（ｂ）の各画素値の加算比率を算出して、前記画像更新処理部に出力し、
前記画像更新処理部は、
前記入力画像と、前記補正中間合成画像との画素値合成による３ＤＮＲ合成画像を生成し、生成した３ＤＮＲ合成画像を、前記中間合成画像と同じ露光条件の設定とした場合の画素値に補正する露光補正を実行し、生成した露光補正３ＤＮＲ合成画像と、前記中間合成画像の対応画素を前記加算比率に応じて加算して出力画像の画素値を決定する前記（１１）に記載の画像処理装置。

（１３） 画像処理装置において実行する画像処理方法であり、
画像合成処理部が、異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理を実行し、
前記画像合成処理部は、前記画像合成処理において、
前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定処理と、
前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定処理と、
前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理を実行する画像処理方法。

（１４）画像処理装置において画像処理を実行させるプログラムであり、
画像合成処理部に、異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理を実行させ、
前記画像合成処理において、
前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定処理と、
前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定処理と、
前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理を実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、異なる露光条件の連続撮影画像を適用した順次合成処理によって、簡易な構成でノイズ低減およびダイナミックレンジ拡張処理を施した画像を生成することが可能となる。
具体的には、異なる露光条件の連続撮影画像を入力し、入力画像と、中間合成画像の構成画素をノイズ画素、有効画素、飽和画素に分類し、対応画素の画素分類結果の組み合わせに応じて画素単位の合成処理方法を決定し、決定方法に従って中間合成画像の更新を行なう。入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合は３ＤＮＲ処理、いずれもが飽和またはノイズ画素である場合、中間合成画像の画素値をそのまま出力、一方が飽和、他方がノイズ画素である場合、３ＤＮＲ処理、または、中間合成画像の画素値を出力する。
本構成により、異なる露光条件の連続撮影画像を適用した順次合成処理によって、簡易な構成でノイズ低減およびダイナミックレンジ拡張処理を施した画像を生成することが可能となる。
また、本開示の処理を行なうことで、画像内に動被写体が存在する場合に、動被写体領域に対する入力画像の画素値を適用した更新処理が行われる可能性が高まり、過去の画像の残存領域を削減することが可能となる。

１１ 入力画像
１２ 中間合成画像
１３ 出力画像
２０ ３ＤＮＲ処理部
２１ 合成比率算出部
２２ 合成処理部
３１ 入力画像
３２ 中間合成画像
３３ 出力画像
４０ ＷＤＲ処理部
４１ 合成比率算出部
４２ 合成処理部
５１ 入力画像
５３ ３ＤＮＲ処理部
５４，５６ フレームメモリ
５７ ＷＤＲ処理部
５８ 出力画像
６１ 入力画像
６３，６４ フレームメモリ
６５ ＷＤＲ処理部
６７ ３ＤＮＲ処理部
６８ フレームメモリ
６９ 出力画像
７１，７２，８１，８２ 動き補償画像生成部
１００ 画像処理部
１０１ 画像合成処理部
１０２ 画像書き込みフレームメモリ
１０３ 画像読み出しフレームメモリ
１０４ 動き補償画像生成部
１１１ 入力画像
１１２ 撮影情報
１１３ 中間合成画像
１２１ 入力画像領域判定部
１２２ 中間合成画像猟奇判定部
１２３ 更新方法決定部
１２４ 画像更新処理部
１５１ 露光補正部
１５２ 出力制御部
１５３ 合成処理部
１５４ セレクタ
１７０ 画像更新処理部
１７１ 露光補正部
１７２ 合成処理部
１７３ 加算部
１８１ 平滑化処理部
１８２ 飽和領域判定部
１８３ ノイズ領域判定部
１９１ 平滑化処理部
１９２ 飽和領域判定部
１９３ ノイズ領域判定部
３１０ 入力画像領域判定部
３１１ 平滑化処理部
３１２ 飽和領域判定部
３１３ ノイズ領域判定部
３２０ 中間合成画像補正部
３３０ 合成画像領域判定部
３３１ 平滑化処理部
３３２ 飽和領域判定部
３３３ ノイズ領域判定部
３４０ 更新方法決定部
３５０ 画像更新処理部
３５１ 合成処理部
３５２ 露光補正部
３５３ 加算部
５００ 撮像装置
５０１ 光学レンズ
５０２ 撮像素子
５０３ 画像処理部
５０５ 制御部
５０６ メモリ
５２０ 出力画像

Claims (14)

1. 異なる露光条件で撮影された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理部を有し、
   前記画像合成処理部は、
   前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定部と、
   前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定部と、
   前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理部を有する画像処理装置。
2. 前記入力画像は露光時間のみを変化させることで露光条件を変化させた画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記更新方法決定部は、前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じた以下の各処理を決定、すなわち、
   （Ａ）入力画像と中間合成画像の対応画素の少なくともいずれか一方の画素が有効画素である場合、入力画像と中間合成画像の画素値合成による３ＤＮＲ（３Ｄｉｍｅｎｓｉｏｎａｌ Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）処理を実行して中間合成画像の画素値を更新する処理、
   （Ｂ）入力画像と中間合成画像の対応画素のいずれもが飽和画素である場合、またはいずれもがノイズ画素である場合、入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する処理、
   （Ｃ）入力画像と中間合成画像の対応画素が、一方が飽和画素、他方がノイズ画素の組み合わせである場合、
   （Ｃ１）入力画像と中間合成画像の画素値合成による３ＤＮＲ処理、または、
   （Ｃ２）入力画像を利用した合成を行なわず、中間合成画像の画素値をそのまま出力する処理、
   前記更新方法決定部は、前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、上記（Ａ）〜（Ｃ）の処理を画素単位の合成処理方法として決定する請求項１に記載の画像処理装置。
4. 前記領域判定部は、
   前記入力画像の露光時間情報を含む撮影情報を入力し、該撮影情報を利用して前記閾値を算出し、算出閾値に応じて、前記入力画像と、前記中間合成画像の構成画素を、ノイズ画素、有効画素、飽和画素に分類する請求項１に記載の画像処理装置。
5. 前記撮影情報は、前記入力画像の露光時間Ｔ、ＩＳＯ感度、Ｆ値を含み、前記領域判定部は、前記入力画像の露光時間Ｔ、ＩＳＯ感度、Ｆ値を適用して前記閾値を算出する請求項４に記載の画像処理装置。
6. 前記画像更新処理部は、
   前記入力画像の画素値を、前記中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部を有し、
   前記中間合成画像の露光条件を、前記複数枚からなる入力画像のうち最も露光量の多い画像と同じ露光条件とすることを特徴とする請求項１に記載の画像処理装置。
7. 前記画像更新処理部は、
   前記入力画像の画素値を、前記中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部と、
   前記露光補正入力画像と、前記中間合成画像の対応画素の合成処理を実行する合成処理部と、
   前記更新方法決定部の決定した画素単位更新情報を入力して、入力情報に応じて、中間合成画像の画素値を前記合成処理部に出力するか、または中間合成画像の画素値をそのまま出力画像の画素値として出力するかを切り替える出力制御部を有する請求項１に記載の画像処理装置。
8. 前記画像更新処理部は、
   前記入力画像の画素値を、前記中間合成画像と同じ露光条件に相当する露光処理を行なった場合の画素値に補正した露光補正入力画像を生成する露光補正部と、
   前記露光補正入力画像と、前記中間合成画像の対応画素の合成処理を実行する合成処理部と、
   前記更新方法決定部の決定した画素単位更新情報を入力して、入力情報に応じて、前記合成処理部の合成処理結果、または、前記中間合成画像の画素値のいずれかを出力画像の画素値として選択出力するセレクタを有する請求項１に記載の画像処理装置。
9. 前記領域判定部は、
   前記入力画像と、前記中間合成画像の各々に対する平滑化処理を実行し、平滑化入力画像と、平滑化中間合成画像の構成画素の各々に対応する画素飽和度と、画素ノイズ度を算出して、前記更新方法決定部に出力する請求項１に記載の画像処理装置。
10. 前記更新方法決定部は、
    前記画素飽和度と、前記画素ノイズ度を適用して、
    （ａ）前記入力画像と前記中間合成画像の画素値合成による３ＤＮＲ処理画素値、
    （ｂ）前記中間合成画像の画素値、
    上記（ａ）と（ｂ）の各画素値の加算比率を算出して、前記画像更新処理部に出力し、
    前記画像更新処理部は、
    前記加算比率に応じて、前記（ａ）と（ｂ）の各画素値の加算処理を実行して出力画像の画素値を決定する請求項９に記載の画像処理装置。
11. 前記画像合成処理部は、さらに、
    前記中間合成画像を、前記入力画像の露光条件と同じ露光条件の設定とした場合の画素値に補正し、補正中間合成画像を生成する中間合成画像補正部を有し、
    前記領域判定部は、
    前記入力画像と、前記補正中間合成画像の各々に対する平滑化処理を実行し、各画像の構成画素の各々に対応する画素飽和度と、画素ノイズ度を算出して、前記更新方法決定部に出力する請求項１に記載の画像処理装置。
12. 前記更新方法決定部は、
    前記画素飽和度と、前記画素ノイズ度を適用して、
    （ａ）前記入力画像と前記補正中間合成画像の画素値合成による３ＤＮＲ処理画素値、
    （ｂ）前記中間合成画像の画素値、
    上記（ａ）と（ｂ）の各画素値の加算比率を算出して、前記画像更新処理部に出力し、
    前記画像更新処理部は、
    前記入力画像と、前記補正中間合成画像との画素値合成による３ＤＮＲ合成画像を生成し、生成した３ＤＮＲ合成画像を、前記中間合成画像と同じ露光条件の設定とした場合の画素値に補正する露光補正を実行し、生成した露光補正３ＤＮＲ合成画像と、前記中間合成画像の対応画素を前記加算比率に応じて加算して出力画像の画素値を決定する請求項１１に記載の画像処理装置。
13. 画像処理装置において実行する画像処理方法であり、
    画像合成処理部が、異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理を実行し、
    前記画像合成処理部は、前記画像合成処理において、
    前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定処理と、
    前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定処理と、
    前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理を実行する画像処理方法。
14. 画像処理装置において画像処理を実行させるプログラムであり、
    画像合成処理部に、異なる露光条件に設定された連続撮影画像を入力画像として、順次入力し、該入力画像と先行処理画像である中間合成画像との合成処理を実行して出力画像を生成する画像合成処理を実行させ、
    前記画像合成処理において、
    前記入力画像と、前記中間合成画像の構成画素を閾値に応じて、ノイズ画素、有効画素、飽和画素に分類する領域判定処理と、
    前記入力画像と、前記中間合成画像の対応画素の画素分類結果の組み合わせに応じて、画素単位の合成処理方法を決定する更新方法決定処理と、
    前記更新方法決定部の決定した更新方法に従って、前記入力画像と、前記中間合成画像の合成処理を実行して出力画像を生成する画像更新処理を実行させるプログラム。