JP2011087269A - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】異なる露光時間の複数画像の合成処理に際して偽色の要因となる動き領域を検出する装置および方法を提供する。
【解決手段】異なる露光時間の複数の画像を入力して、それぞれの有効な画素値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、偽色等、画質劣化の発生要因となる被写体の動き領域を効率的に検出する。例えば、異なる露光時間の複数の画像により生成した合成画像の比較を実行して、その比較結果に基づいて動き領域を検出する。この処理によれば撮像素子の特性のばらつきによる誤検出を抑制した精度の高い動き領域検出を行う。
【選択図】図４

Description

本発明は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、複数の露光時間の異なる画像を利用した画像合成処理によりダイナミックレンジの広い高品質な出力画像を生成する画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。しかし、光電変換素子における電荷蓄積量には上限があり、一定以上の光量を受けると蓄積電荷量が飽和レベルに達してしまい、一定以上の明るさの被写体領域は飽和した輝度レベルに設定されるいわゆる白とびが発生してしまう。

このような現象を防止するため、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御して露光時間を調整し、感度を最適値に制御するといった処理が行なわれる。例えば、明るい被写体に対しては、シャッタを高速に切ることで露光時間を短縮し光電変換素子における電荷蓄積期間を短くして蓄積電荷量が飽和レベルに達する以前に電気信号を出力させる。このような処理により被写体に応じた階調を正確に再現した画像の出力が可能となる。

しかし、明るいところと暗いところが混在するような被写体の撮影においては、シャッタを高速に切ると、暗い部分で十分な露光時間がとれないためにＳ／Ｎが劣化し画質が落ちることになる。このように明るいところと暗いところが混在する被写体の撮影画像において、明るい部分、暗い部分の輝度レベルを正確に再現するためには、イメージセンサ上での入射光が少ない画素では長い露光時間として高いＳ／Ｎを実現し、入射光が多い画素では飽和を回避する処理が必要となる。

このような処理を実現する手法として、露光時間の異なる複数の画像を利用する手法が知られている。すなわち、暗い画像領域では長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用して最適な画素レベルを決定するという手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像を得ることができる。

例えば特許文献１（特開２００８−９９１５８号公報）は、複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る構成を開示している。図１を参照して、この処理について説明する。撮像デバイスは、例えば、動画撮影においては、ビデオレート（３０−６０ｆｐｓ）内に２つの異なる露光時間の画像データを出力する。また、静止画撮影においても、２つの異なる露光時間の画像データを生成して出力する。図１は、撮像デバイスが生成する２つの異なる露光時間を持つ画像（長時間露光画像と、短時間露光画像）の特性について説明する図である。横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。

例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図１に示す高輝度領域１１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図１に示す低輝度領域１２に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。

時間ｔ０〜ｔ３が長時間露光画像を取得するための露光時間ＴＬに相当する。この長時間の露光時間ＴＬとしても低輝度領域１２に示すラインは、時間ｔ３において電荷蓄積量は飽和レベルに達することなく（非飽和点Ｐｙ）、この電荷蓄積量（Ｓａ）に基づいて得られる電気信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。

しかし、高輝度領域１１に示すラインは、時間ｔ３に至る以前に、すでに電荷蓄積量は飽和レベル（飽和点Ｐｘ）に達することが明らかである。従って、このような高輝度領域１１は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。

そこで、このような高輝度領域１１では、時間ｔ３に至る前の時間、例えば図に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした短時間露光を実行する。すなわち、図に示す短時間露光開始点Ｐ２〜短時間露光終了点Ｐ３までの期間の短時間露光を行なう。この短時間露光によって電荷蓄積量（Ｓｂ）が得られ、この電荷蓄積量（Ｓｂ）に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。

なお、低輝度領域１２における長時間露光によって得られる電荷蓄積量（Ｓａ）に基づく電気信号と、高輝度領域２５１における短時間露光によって得られる電荷蓄積量（Ｓｂ）に基づく電気信号とに基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。

このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。

しかし、このような異なる露光量の複数画像は、時間的に異なるタイミングで撮影した画像となる。従って、その間に被写体の動きが発生すると、画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像部分に偽色が発生し、画像の品質が低下する等の問題を生じさせることになる。

このような問題を低減させる技術を開示した従来技術として、例えば特許文献２（特開２０００−５０１５１号公報）がある。
特許文献２（特開２０００−５０１５１号公報）は、異なる露光量の複数画像を比較して動きのあった画素領域を特定して補正を行う構成を開示している。具体的な処理は以下の通りである。まず、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）を取得し、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）の露光量の比である露光比Ａ（＝ＬＥ／ＳＥ）を求める。さらに各画素について、（ＬＥ−ＳＥ×Ａ）を算出する。全く同じ被写体を撮影している場合、（ＬＥ−ＳＥ×Ａ）＝０となるはずである。（ＬＥ−ＳＥ×Ａ）＝０とならない画素は、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）とで異なる被写体を撮影している可能性が高く、このような画素領域を動き領域として識別する構成である。

すなわち、同一の被写体が撮影されている場合、長時間露光画像（ＬＥ）の出力値（輝度）と、短時間露光画像（ＳＥ）の出力値（輝度）との対応関係は、図２に示すような傾きＡ（＝露光比）のライン上に設定されることになり、このラインからずれている場合は、動きの発生した領域であると判断するものである。

しかしながら、現実的には、撮像素子を構成するＰＤやトランジスタの特製にはばらつきがあり、（ＬＥ−ＳＥ×Ａ）＝０を満足するか否かによって被写体の動きの有無を正確に判別することは困難である。例えば、閾値（Ｔｈ）を設定して、｜ＬＥ−ＳＥ×Ａ｜＜Ｔｈを満足するか否かによって判別すれば、多少の素子のばらつきを吸収できるが、素子のばらつきは各装置によっても異なり、最適な閾値を設定することが難しいという問題がある。

特開２００８−９９１５８号公報 特開２０００−５０１５１号公報

本発明は、例えば、上述の問題点に鑑みてなされたものであり、露光時間の異なる複数の画像を合成してダイナミックレンジの広い画像を生成する際に、偽色発生など画質を低下させる恐れのある被写体の動きが発生した領域を正確に判別可能とした画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
異なる露光時間の撮影画像を合成して合成画像を生成する画像合成部と、
前記画像合成部の生成した複数の合成画像の比較処理を行い、画素値差分を取得して、該画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である画素領域を被写体の動きが発生したと推測される動き領域であると判定する動き領域検出処理を実行する動き領域検出部と、
を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像合成部は、異なる露光時間の撮影画像を１枚入力する毎に、新規入力画像と、入力済みの異なる露光時間の撮影画像を組み合わせて合成画像を生成する構成であり、前記動き領域検出部は、前記画像合成部の生成する連続する２つの合成画像の対応画素の画素値を比較して動き領域検出処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成画像の生成元である被合成画像間の対応画素の出力値を比較し、被合成画像画素値差分を取得する合成前画像比較部と、前記動き領域検出部が検出した動き領域の対応画素について、前記被合成画像画素値差分と予め設定した第２閾値との比較を行い、前記被合成画像画素値差分が第２閾値未満である画素領域を動き領域には該当しないと判定する過検出除去部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像上の隣接画素に異なる露光時間の撮影画像の画素が設定された画素領域を画質劣化領域であると判定し、前記動き領域検出部の検出した動き領域であり、かつ前記画質劣化領域である画素領域を画質劣化動き領域として抽出した画質劣化動き領域検出情報を出力する画質劣化領域検出部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像の各画素について被合成画像の画素値を取得し、被合成画像の画素値が０近傍または飽和値近傍にある場合、この画素領域を出力値の有効性が低いと判定する出力値有効領域検出部と、前記出力値有効領域検出部の検出した出力値の有効性が低い画素領域を画質劣化の可能性の高い画質劣化領域であると判断し、前記動き領域検出部の検出した動き領域であり、かつ前記画質劣化領域である画素領域を画質劣化動き領域として抽出した画質劣化動き領域検出情報を出力する画質劣化領域検出部を有する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像に利用された画素が長時間露光画像の画素であり、かつ当該画素に対応する短時間露光画像の画素値が０近傍にない有効画素値を有する画素を動き領域であると判定する第２動き領域検出部を有し、前記動き領域検出部が動き領域であると判定し、かつ前記第２動き領域検出部が動き領域として判定した領域を最終的な動き領域とした動き領域検出情報を出力する検出結果統合部を有する。

さらに、本発明の第２の側面は、
異なる露光時間の撮影画像を合成して合成画像を生成する画像合成部と、
前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像の各画素について被合成画像の画素値を取得し、被合成画像の画素値が０近傍または飽和値近傍にある場合、この画素領域を出力値の有効性が低いと判定し、該領域を画質劣化の可能性の高い画質劣化領域として明示した画質劣化領域検出情報を出力する出力値有効領域検出部を有する画像処理装置にある。

さらに、本発明の第３の側面は、
異なる露光時間の撮影画像を合成して合成画像を生成する画像合成部と、
前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像に利用された画素が長時間露光画像の画素であり、かつ当該画素に対応する短時間露光画像の画素値が０近傍にない有効画素値を有する画素を動き領域であると判定し、動き領域を明示した動き領域検出情報を出力する動き領域検出部を有する画像処理装置にある。。

さらに、本発明のが第４の側面は、
異なる露光時間の撮影画像の対応画素の画素値差分と、予め規定した相関情報との差分を算出し、該差分が予め規定した閾値より大きい場合に動き領域であると判定する検出部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記相関情報は、比較対象とする異なる露光時間の画像の出力値の相関に基づいて作成された相関情報である。

さらに、本発明の第５の側面は、
前記画像処理装置は、さらに、
異なる露光時間の撮影画像を撮影する撮像デバイスと、
請求項１〜１０いずれかに記載の画像処理を実行する画像処理部を有する撮像装置にある。

さらに、本発明の第６の側面は、
画像処理装置において実行する画像処理方法であり、
画像合成部が、異なる露光時間の撮影画像を合成して合成画像を生成する画像合成ステップと、
動き領域検出部が、前記画像合成部の生成した複数の合成画像の比較処理を行い、画素値差分を取得して、該画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である画素領域を被写体の動きが発生したと推測される動き領域であると判定する動き領域検出処理を実行する動き領域検出ステップと、
を有する画像処理方法にある。

さらに、本発明の第７の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像合成部に、異なる露光時間の撮影画像を合成して合成画像を生成させる画像合成ステップと、
動き領域検出部に、前記画像合成部の生成した複数の合成画像の比較処理を行い、画素値差分を取得して、該画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である画素領域を被写体の動きが発生したと推測される動き領域であると判定する動き領域検出処理を実行させる動き領域検出ステップと、
を有するプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、異なる露光時間の複数の画像を入力して、それぞれの有効な画素値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、偽色等、画質劣化の発生要因となる被写体の動き領域を効率的に検出することが可能となる。例えば、異なる露光時間の複数の画像により生成した合成画像の比較を実行して、その比較結果に基づいて動き領域を検出する。この処理によれば撮像素子の特性のばらつきによる誤検出を抑制した精度の高い動き領域検出を行うことが可能となる。

複数の異なる露光量の画像を合成して広いダイナミックレンジの画像を得る処理について説明する図である。 長時間露光画像（ＬＥ）の出力値（輝度）と、短時間露光画像（ＳＥ）の出力値（輝度）との対応関係について説明する図である。 本発明の画像処理装置の全体構成例について説明する図である。 本発明の実施例１に係る画像処理装置の画像処理部１０４の処理を説明する図である。 露光時間Ｔ１〜Ｔ４の４枚の画像を利用して、１枚の広ダイナミックレンジ画像を合成する合成処理の一例について説明する図である。 合成画像間の画素値の対応関係について説明する図である。 合成画像間の相関を利用して動き領域を検出する処理について説明する図である。 第２実施例の画像処理装置の実行する画像処理について説明する図である。 第２実施例の画像処理装置の処理を説明するブロック図である。 第２実施例の画像処理装置の処理を説明するブロック図である。 第３実施例の画像処理装置の実行する画像処理について説明する図である。 長時間露光画像の出力値と、短時間露光画像の出力値の対応関係について説明する図である。 第３実施例の画像処理装置の処理を説明するブロック図である。 第４実施例２のコンセプトを説明する図である。 第４実施例の画像処理装置の処理を説明するブロック図である。 検出対象画素の周囲の画素との比較処理について説明する図である。 第５実施例の画像処理装置の処理を説明するブロック図である。 第６実施例の画像処理装置の処理を説明するブロック図である。 被写体が動いた場合の撮像素子の出力信号の例について説明する図である。 第７実施例の画像処理装置の処理を説明するブロック図である。 第８実施例の画像処理装置の処理を説明するブロック図である。 第９実施例の画像処理装置の処理を説明するブロック図である。 第９実施例の画像処理装置の処理を説明するブロック図である。 第１０実施例の画像処理装置の処理を説明するブロック図である。 第１０実施例の画像処理装置の処理に適用する長時間露光画像と短時間露光画像の出力値の対応関係について説明する図である。

以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の全体構成例について
２．画像処理装置の具体的実施例

［１．画像処理装置の全体構成例について］
まず、本発明の画像処理装置の全体構成例について図３を参照して説明する。
図３は、本発明の画像処理装置の一例である撮像装置の構成例を示すブロック図である。光学レンズ１０１を通して入射される光は例えばＣＭＯＳイメージセンサなどによって構成される撮像デバイス１０２に入射し、光電変換による画像データを出力する。出力画像データはメモリ１０３を介して画像処理部１０４に入力される。制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理制御を行う。

撮像デバイス１０２は、異なる露光時間の複数の画像１１１〜１１４を生成する。画像処理部１０４は、これら異なる露光時間の複数の画像１１１〜１１４を入力して合成処理を行い、出力画像１２０を生成する。以下に説明する実施例では、画像処理部１０４は、４種類の異なる露光時間の画像を撮像デバイス１０２から入力するものとして説明する。すなわち、図３に示すように、
画像１（露光時間Ｔ１）１１１
画像２（露光時間Ｔ２）１１２
画像３（露光時間Ｔ３）１１３
画像４（露光時間Ｔ４）１１４
ただし、Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４
画像処理部１０４は、これらの４種類の異なる露光時間（Ｔ１〜Ｔ４）の画像を撮像素子１０２から入力し、これらの異なる露光時間の複数の画像に基づいて出力画像１２０を生成する。

前述したように撮像デバイスの出力する電気信号は、撮像デバイスに対する入射光量に応じたものとなる。従って、一定の露光時間（長時間露光）とした場合、より明るい被写体に対応する画素の光電変換素子の出力する電気信号が飽和レベルに達してしまう場合がある。結果として、これらの画素については、飽和レベルの電気信号が出力され、諧調差が認識できない、いわゆる白とび画素となってしまう。

例えばこのような白とびを防止し、被写体の輝度レベルを反映した出力を得るため、長時間露光〜短時間露光の複数の画像データを生成し、画像処理部１０４において、これら複数の画像の合成処理を実行して出力画像１２０を得る。例えば、長時間露光を行なった場合に飽和レベルに至ると推測される画素については、短時間露光を行なったデータに基づいて計算した画素値を出力するという処理などを行なうものである。

複数の異なる露光時間の画像の取得処理については、本出願人と同一出願人による特許出願である特開２００８−９９１５８公報、あるいは、特開２００８−２２７６９７号公報に記載されており、基本的には、これらに記載された構成と同様の方法で複数の異なる露光時間の画像を取得し白とび画素の発生しない合成画像を生成する。なお、これらの特許公開公報には長時間露光画像と短時間露光画像の２種類の画像の取得処理について記載しているが、本発明では、例えば４種類の異なる露光時間の画像を取得して処理を行う。

前述したように、異なる露光量の複数画像は、時間的に異なるタイミングで撮影した画像となる。従って、その間に被写体の動きが発生すると画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像領域に偽色が発生し、画像の品質が低下する等の問題を生じさせることになる。

画像処理部１０４は、撮像デバイス１０２から入力する画像の合成処理を行う前に、被写体の動きが発生したと推定される画像領域を判別する処理を行う。この動き判別処理によって動き領域と判定された画素領域については補正処理を行った上で合成画像を生成する。以下では、複数の異なる露光時間の画像を適用した動き画像領域の検出処理の具体的な実施例について説明する。

［２．画像処理装置の具体的実施例］
以下、図３に示す画像処理装置の構成および処理の具体的な複数の実施例について説明する。

（２−１）実施例１
図４は、本発明の実施例１に係る画像処理装置の画像処理部１０４の処理を中心ととして説明する図である。上部に示す時間軸（ｔ）に従って左から右方向に時間が経過して処理が進行する。すなわち、時間経過に伴い、露光時間（Ｔ１）の画像１、露光時間（Ｔ２）の画像２、露光時間（Ｔ３）の画像３、露光時間（Ｔ４）の画像４・・・これらの画像が順次入力されて処理が行われる。

画像処理部１０４は、撮像デバイス１０２の取得した露光時間（Ｔ１）の画像１、露光時間（Ｔ２）の画像２、露光時間（Ｔ３）の画像３、露光時間（Ｔ４）の画像４の４つの異なる露光時間の画像を順次入力する。その後、同様に、露光時間（Ｔ１）の画像５、露光時間（Ｔ２）の画像６、露光時間（Ｔ３）の画像７、露光時間（Ｔ４）の画像８の４つの異なる露光時間の画像を順次入力する。以下、この繰り返しとなる。なお、露光時間Ｔ１〜Ｔ４は、Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４である。

画像処理部１０４は、必要に応じてこれら露光時間Ｔ１〜Ｔ４の４枚の画像を利用して、１枚の広ダイナミックレンジ画像を合成する。合成処理の一例について、図５を参照して説明する。図５は、先に図１を参照して説明した長時間露光画像と短時間露光画像の２つの画像取得および合成処理と基本的には同様であり、露光時間を４種類に増加させている点が異なる。

図５において、横軸は時間（ｔ）であり、縦軸は撮像デバイス１０２を構成する固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、図５に示す超高輝度領域１５１に示すように、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、図５に示す低輝度領域１５４に示すように、時間経過に伴う電荷蓄積量は緩やかに上昇する。高輝度領域１５２、中輝度領域１５３はその間の明るさの被写体である。すなわち、被写体の明るさの順番は、以下の通りとなる。
超高輝度領域１５１＞高輝度領域１５２＞中輝度領域１５３＞低輝度領域１５４

低輝度領域１５４の画素は、最長の露光時間（Ｔ４）の露光を行っても電荷蓄積量は飽和レベルに達することない。従って、露光時間（Ｔ４）経過後の電荷蓄積量に基づいて得られる図の右短に示す［長時間露光出力］信号を利用して決定する画素の階調レベルにより、正確な階調表現を得ることができる。

しかし、超高輝度領域１５１、高輝度領域１５２、中輝度領域１５３に示すラインは、最長露光時間（Ｔ４）に至る以前に、すでに電荷蓄積量は飽和レベルに達する可能性が高い。従って、このような画素領域は、長時間露光画像からは飽和レベルの電気信号に対応する画素値しか得られず、結果として白とび画素になってしまう。

そこで、このような超高輝度〜中輝度領域１５１〜１５３に対応する画素では、それぞれ予め設定したタイミング（ｔｐ１，ｔｑ１，ｔｒ１）で、一旦、受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出す。電荷掃き出しは、受光フォトダイオード（ＰＤ）に蓄積された全ての電荷ではなく、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまでとする。この電荷掃き出し処理の後、再度、露光時間（Ｔ１＝ｔｐ１〜ｔｐ２）、露光時間（Ｔ２＝ｔｑ１〜ｔｑ２）、露光時間（Ｔ３＝ｔｒ１〜ｔｒ２）とした露光処理を実行する。すなわち、図に示すように、短時間露光時間（Ｔ１）、短時間露光時間（Ｔ２）、短時間露光時間（Ｔ３）、これらの短時間露光を行なう。

このように複数の異なる露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）によって、それぞれの露光時間に対応する電荷蓄積量が得られ、この電荷蓄積量に基づいて得られる電気信号に基づいて、画素の階調レベルを決定する。なお、各露光時間によって得られる電荷蓄積量に基づく電気信号に基づいて画素値を決定する際は、同一時間露光を行なった場合の推定電荷蓄積量またはその推定電荷蓄積量に対応する電気信号出力値を算出して、算出した結果に基づいて画素値レベルを決定する。このように、短時間露光画像と長時間露光画像を組み合わせることで、白とびのないダイナミックレンジの広い画像を得ることができる。

なお、露光時間Ｔ１〜Ｔ４は、例えば、Ｔ４＝１／３０ｓｅｃ、Ｔ３＝１／３００ｓｅｃ、Ｔ２＝１／３０００ｓｅｃ、Ｔ１＝１／３００００ｓｅｃなどの設定が可能である。例えばＴ１〜Ｔ４をこの設定とし、図３に示す出力画像１２０を露光時間Ｔ１〜Ｔ４の４つの画像の合成画像として生成すると、出力画像１２０が動画像である場合には、３０ｆｐｓに相当する動画を順次生成することができる。
これは、Ｔ４＝１／３０ｓｅｃ毎に、超高輝度画素＝露光時間Ｔ１の露光画像〜低輝度画素＝露光時間Ｔ４の露光画像これらの各画像に基づく合成画像を生成することができるからである。

しかし、露光時間Ｔ１〜Ｔ４とした複数の露光量の異なる画像は、時間的に異なるタイミングで撮影した画像となる。従って、その間に被写体の動きが発生すると、画像の合成時に画像のずれが発生する。この結果、動く被写体領域の画像部分に偽色が発生し、画像の品質が低下する等の問題を生じさせることになる。

本発明の画像処理装置１００の画像処理部１０４は、この問題を解決するため、動く被写体の画像領域を識別する。なお、以下では、
動く被写体を「動被写体」、
動く被写体の撮影画像領域を「動き領域」、
と呼ぶ。
本実施例の画像処理部１０４は、図４に示すように、複数の合成後の画像を用いて動き領域を識別する。

図４に示すように、画像処理部１０４は、画像合成部２０１、動き領域検出部２０２を有する。なお、図４には画像合成部２０１を２つ示しているが、これは、画像１〜４の合成処理を先行して実行し、その後、画像５〜８の合成処理を実行することを示すものであり、１つの画像合成部２０１がシーケンシャルに処理を行うことを示しているものである。すなわち、複数の画像合成部は必要でなく１つの画像合成部２０１があればよい。

動き領域検出部２０２は、画像合成部２０１の生成した２つの合成画像を比較して動き領域を判別する。すなわち、
画像１〜４の合成処理により生成した合成画像ａ，１４１ａ、
画像５〜８の合成処理により生成した合成画像ｂ，１４１ｂ、
このように連続して生成した２つの合成画像を比較して画像に含まれる動き領域を検出する。この検出結果を動き領域検出情報１４３として出力する。

動き領域検出部２０２は、合成後の画像同士の画素値を比較する。被写体が動かない場合、同一座標の画素値は一致する。すなわち合成画像ａ，１４１ａのある座標の高輝度画素は、合成画像ｂ，１４１ｂの対応座標位置でも同じ高輝度画素であり、合成画像ａ，１４１ａの低輝度画素は、合成画像ｂ，１４１ｂにおいても同じ低輝度画素となる。この画素値の対応関係を示したのが図６である。

図６は、横軸が現在の合成画像（合成画像ｂ，１４１ｂ）の画素値（０〜ＭＡＸ）、縦軸が過去の合成画像（合成画像ａ，１４１ａ）の画素値（０〜ＭＡＸ）を示す。例えば、現在の合成画像（合成画像ｂ，１４１ｂ）のある座標（ｘ１，ｙ１）の画素値がｐ１である場合、過去の合成画像（合成画像ａ，１４１ａ）の同じ座標の画素値もｐ１となるはずである。すなわち、被写体が動かない場合、同一座標の画素値は一致し、図に示す傾きが１の直線上にのるはずである。

なお、図６に示すように、現在の合成画像（合成画像ｂ，１４１ｂ）と、過去の合成画像（合成画像ａ，１４１ａ）のいずれも、露光時間Ｔ１〜Ｔ４の異なる露光時間の画像の合成処理によって生成された画像である。すなわち、高輝度領域の画素領域は短い露光時間Ｔ１の画像に基づいて画素値を決定し、低輝度領域の画素領域については長い露光時間Ｔ４の画像に基づいて画素値を決定して、複数の露光時間（Ｔ１〜Ｔ４）の画像の合成処理によって生成された合成画像である。

図６に示すように、露光時間Ｔ１〜Ｔ４の各画像の露光比は以下の通りである。
Ａ１：Ｔ４とＴ１の露光比（Ｔ４／Ｔ１）
Ａ２：Ｔ４とＴ１の露光比（Ｔ４／Ｔ２）
Ａ３：Ｔ４とＴ１の露光比（Ｔ４／Ｔ３）
例えば図６に示すように、露光比Ａ１〜Ａ３と、露光時間Ｔ１〜Ｔ４の各画像の出力信号の乗算処理によって出力画素値が決定される。すなわち、低輝度領域は、露光時間Ｔ４の画像に基づいて画素値を決定し、中輝度領域は露光時間Ｔ３の画像、高輝度領域は露光時間Ｔ２の画像、超高輝度領域は露光時間Ｔ１の画像に基づいて画素値が決定される。

この合成手法は、現在の合成画像（合成画像ｂ，１４ａｂ）、過去の合成画像（合成画像ａ，１４１ａ）とも同じ処理であり、被写体が動かない場合、同一座標の画素値は一致し、図６に示す傾きが１の直線上にのるはずである。

実施例１に係る画像処理部１０４は、この合成画像間の相関を利用して動き領域を検出する。この処理について、図７を参照して説明する。
図７は、本実施例１の画像処理部１０４の処理を説明するブロック図である。撮像デバイス１０２は画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を出力し、これをメモリ１０３に保存する。

画像処理部１０４は、これらの画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を入力し、画像合成部２０１において画像合成処理を実行し、合成画像を生成する。画像合成部２０１は、先に図６を参照して説明したように、輝度に応じて異なる露光時間の画像を組み合わせて、飽和画素値となる白とび画素を排除した合成画像を生成する。また、画像合成部２０１は、先に図４を参照して説明したように、４種類の異なる露光時間の画像４枚を１セットとして、順次、合成画像を生成する。

画像合成部２０１の生成した合成画像は、動き領域検出部２０２に入力する。動き領域検出部２０１は、例えば４枚の画像による合成画像ａと、その次の４枚の画像による合成画像ｂを続けて入力する場合、先行して入力した合成画像ａを通過させて出力（合成画像１４１）するとともに、フレームメモリ２０３に保存する。

動き領域検出部２０２は、後続する４枚の画像による合成画像ｂを画像合成部２０１から入力すると、先行合成画像ａをフレームメモリ２０３から読み出し、先行合成画像ａと、画像合成部２０１から入力する後続合成画像ｂと比較する。

動き領域検出部２０２は、合成画像ａと合成画像ｂの画素値の比較を実行する。すなわち、対応する同一画素位置毎に画素値比較を実行する。被写体の動きがない場合、理想的には、図６を参照して説明したように、合成画像ａと合成画像ｂの対応する座標の画素値は、図６に示す傾き１のライン上にのる。

合成画像ａと合成画像ｂの対応座標位置の画素値が図６に示す傾き１のライン上にのれば、被写体は静止していると判断する。図６に示す傾き１のライン上からずれていれば動き領域であると判断する。

ただし、実際には、被写体が静止していても、固体撮像素子のノイズや光のショットノイズの影響でその出力値が全く一致する可能性は低い。従って、比較の際には、ある程度の許容量を設定する必要がある。例えば、画素値の差分の許容値［Ｔｈ１］を設定し、合成画像ａと合成画像ｂの同一座標位置の画素値差分が差分許容値［Ｔｈ１］以内であれば、被写体は静止していると判定し、合成画像ａと合成画像ｂの同一座標位置の画素値差分が差分許容値［Ｔｈ１］を超える場合は動き領域と判定する。

具体的には、例えば、差分許容値［Ｔｈ１］を画素値（現在合成画像（後続合成画像ｂ）出力値）の１０％、すなわち、差分許容値［Ｔｈ１］＝１０％として、合成画像ａと合成画像ｂの同一座標位置の画素値差分が画素値の１０％を超える領域を動き領域、すなわち、動被写体の撮影領域と判定する。動き領域検出部２０２は、例えば以下の判定式（式１）を用いて、動き領域であるか否かを画素単位で判定する。
現在合成画像出力値×０．１＜｜現在合成画像出力値−過去合成画像出力値｜
・・・（式１）

なお、上記式において、差分許容値［Ｔｈ１］＝０．１（画素値の１０％）としているが、これは一例である。この許容量は、例えば固体撮像素子の性能に依存するため、利用する固体撮像素子の性能等に応じて決定するのが好ましい。

動き領域検出部２０２は、例えば、上記式（式１）を満足する画素は動き領域であると判定し、上記式を満足しない画素は、動き領域でないと判定する。
動き領域検出部２０２は、動き領域画素と動き領域でない画素を判別する情報を動き領域検出情報１４３として出力する。動き領域検出情報１４３は、例えば、画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

また、上述した処理において、比較処理を実行する合成画像は、カメラ信号処理、例えばデモザイク処理前の画像でもよいし、処理後の画像でもよく、いずれを利用してもよい。
また、撮像デバイスに備える固体撮像素子は、例えば、前述の特許文献１（特開２００８−９９１５８号公報）に記載された構成を持つ撮像素子の他、一般的な通常の固体撮像素子、具体的には、一般的なＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子が適用可能である。

（２−２）実施例２
図８は、第２の実施例による画像処理の概念図である。時間経過に伴い、露光時間（Ｔ１）の画像１、露光時間（Ｔ２）の画像２、露光時間（Ｔ３）の画像３、露光時間（Ｔ４）の画像４・・・これらの画像が順次入力されて処理が行われる。
実施例１との違いは、合成に使う画像の選択方法である。実施例１と異なり、１つの被合成画像（画像ｎ）が出力される度に合成を行う。

画像合成部２０１は、以下のように画像合成処理を実行する。
複数の異なる露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の画像１〜画像４を適用した画像合成処理により、合成画像ａ，１４１ａを生成する。
次に、露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の画像２〜画像５を適用した画像合成処理により、合成画像ｂ，１４１ｂを生成する。
以下、同様の処理を繰り返し、画像ｎ〜ｎ＋３の４画像の合成処理の後、画像ｎ＋１〜ｎ＋４の４画像の合成処理を実行し、１画像ずつずらした４画像の組み合わせで合成画像を順次生成する。

動き領域検出部２０２は、画像合成部２０１の生成した２つの合成画像を比較して動き領域を判別する。すなわち、
画像１〜４の合成処理により生成した合成画像ａ，１４１ａ、
画像２〜５の合成処理により生成した合成画像ｂ，１４１ｂ、
このように連続して生成した２つの合成画像を比較して画像に含まれる動き領域を検出する。
このように連続して生成した２つの合成画像を比較して画像に含まれる動き領域を検出する。この検出結果を動き領域検出情報１４３として出力する。

動き領域検出部２０２の処理は、実施例１と同様である。すなわち、現在の合成画像（合成画像ｂ，１４ａｂ）と、過去の合成画像（合成画像ａ，１４１ａ）において、被写体が動かない場合、同一座標の画素値は一致し、図６に示す傾きが１の直線上にのるはずである。

合成画像ａと合成画像ｂの対応座標位置の画素値が図６に示す傾き１のライン上にのれば、被写体は静止していると判断する。図６に示す傾き１のライン上からずれていれば動き領域であると判断する。ただし、前述した式（式１）を参照して説明したように、利用する固体撮像素子の性能等に応じて決定した差分許容値［Ｔｈ１］を利用し、差分許容値［Ｔｈ１］以上の画素値差分が検出された画素領域は動き領域であると判定するという処理を行うのが好ましい。

動き領域検出部２０２は、動き領域画素と動き領域でない画素を判別する情報を動き領域検出情報１４３として出力する。動き領域検出情報１４３は、例えば、画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

この図８に示す実施例２の処理は、図４を参照して説明した実施例１と比べて、各合成画像間の時間的な間隔が近くなるため動被写体の移動距離を短くすることができる。ただしは画像処理装置内で実行する画像処理は高速に行うことが必要となる。例えば画像の入力レートと同様の出力レートの画像を合成して出力する処理が必要となる。

図９、図１０は本実施例の画像処理部１０４の処理を説明するブロック図である。まず、図９、図１０を参照して、本実施例の処理について説明する。撮像デバイス１０２は、まず、図９に示すように、画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を出力し、これをメモリ１０３に保存する。

画像処理部１０４は、これらの画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を入力し、画像合成部２０１において画像合成処理を実行し、合成画像を生成する。画像合成部２０１は、先に図６を参照して説明したように、輝度に応じて異なる露光時間の画像を組み合わせて、飽和画素値となる白とび画素を排除した合成画像を生成する。また、画像合成部２０１は、先に図８を参照して説明したように、４種類の異なる露光時間の画像４枚を１セットとして、順次、１画像ずつずらせた４枚セット単位で合成画像を生成する。

図９は、メモリ１０３に、画像１，１１１〜画像４，１１４が格納され、これらの画像１〜４の合成処理により合成画像ａ，１４１ａ（図８参照）を生成するタイミングの例を示す図である。
図１０は、メモリ１０３に、その次の画像５，１１５が入力され、これらメモリ１０３に格納された画像２，１１２〜画像５，１１５の合成処理により合成画像ｂ，１４１ｂ（図８参照）を生成するタイミングの例を示す図である。

画像合成部２０１の生成した合成画像は、動き領域検出部２０２に入力する。動き領域検出部２０１は、例えば４枚の画像（画像１〜画像４）による合成画像ａと、その次の４枚の画像（画像２〜画像５）による合成画像ｂを続けて入力する場合、先行して入力した合成画像ａを通過させて出力（合成画像１４１）するとともに、フレームメモリ２０３に保存する。

動き領域検出部２０２は、後続する４枚の画像による合成画像ｂを画像合成部２０１から入力すると、先行合成画像ａをフレームメモリ２０３から読み出し、先行合成画像ａと、画像合成部２０１から入力する後続合成画像ｂと比較する。

動き領域検出部２０２は、合成画像ａと合成画像ｂの画素値の比較を実行する。すなわち、対応する同一画素位置毎に画素値比較を実行する。被写体の動きがない場合、理想的には、図６を参照して説明したように、合成画像ａと合成画像ｂの対応する座標の画素値は、図６に示す傾き１のライン上にのる。

合成画像ａと合成画像ｂの対応座標位置の画素値が図６に示す傾き１のライン上にのれば、被写体は静止していると判断する。図６に示す傾き１のライン上からずれていれば動き領域であると判断する。ただし、前述した式（式１）を参照して説明したように、利用する固体撮像素子の性能等に応じて決定した差分許容値［Ｔｈ１］を利用し、差分許容値［Ｔｈ１］以上の画素値差分が検出された画素領域は動き領域であると判定するという処理を行うのが好ましい。

動き領域検出部２０２は、例えば、上記式（式１）を満足する画素は動き領域であると判定し、上記式を満足しない画素は、動き領域でないと判定する。
動き領域検出部２０２は、動き領域画素と動き領域でない画素を判別する情報を動き領域検出情報１４３として出力する。動き領域検出情報１４３は、例えば、画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

本実施例は、前述の特許文献１（特開２００８−９９１５８号公報）に記載された構成を持つ撮像素子の他、一般的な通常の固体撮像素子、具体的には、一般的なＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子が適用可能である。

（２−３）実施例３
先に説明した実施例１の処理は、図４等を参照して説明したように露光時間Ｔ１〜Ｔ４の４枚の画像を１セットとして、重なりのない４枚画像セット単位で合成画像を生成し、その合成画像同士を比較して動き領域の検出を実行する処理である。

この実施例１の処理は非常に単純であるが、画素値の比較対象となる２つの合成画像の撮影時間の間隔が離れている。このように比較対象となる合成画像の時間間隔が離れると、例えば動きの遅い動被写体であっても動き領域と判定される可能性が高くなる。

このように比較対象の２つの合成画像の時間的間隔が離れると、合成画像間の画素値比較処理で画素値差分が検出され動き領域と判定された画素領域であっても、１つの合成画像の合成元の複数の異なる露光画像間の対応画素の画素値の差分は小さく動き領域と判断するほどの差分でない場合がある。これは、合成画像の構成対象となる異なる露光画像間の撮影時間間隔は、合成画像相互の撮影時間の間隔に比較して短いためである。

このように実施例１では画素値比較を行う合成画像の撮影時間間隔が長いため、動き領域の検出が過剰になる傾向がある。実施例３は、このような過剰検出を除外する手法を含めた構成例である。

図１１は第３の実施例による画像処理の概念図である。時間経過に伴い、露光時間（Ｔ１）の画像１、露光時間（Ｔ２）の画像２、露光時間（Ｔ３）の画像３、露光時間（Ｔ４）の画像４・・・これらの画像が順次入力されて処理が行われる。

合成画像を生成する画像の組み合わせは図４を参照して説明した実施例１と同様である。すなわち、
複数の異なる露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の画像１〜画像４を適用した画像合成処理により、合成画像ａ，１４１ａを生成する。
次に、露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の画像２〜画像５を適用した画像合成処理により、合成画像ｂ，１４１ｂを生成する。

図４を参照して説明した実施例１との違いは、合成前画像比較部２０５を有する点である。合成前画像比較部２０５は、合成前の被合成画像（画像ｎ）の画素同士で出力値の比較をし、比較結果を動き領域検出部２０２に出力する。

動き領域検出部２０２は、合成前画像比較部２０５から入力する合成前の被合成画像（画像ｎ）の画素同士の画素値比較結果情報を用いて、合成画像相互の画素値比較において動き領域として判定された領域の再検証を行う。合成画像相互の画素値比較において動き領域として判定された領域であっても、合成前の被合成画像（画像ｎ）の画素同士の画素値比較結果が予め規定した画素値差分以下である場合は、動き領域でないと判定する。すなわち合成画像相互の画素値比較において動き領域として過剰に判定された部分を除外する処理を行う。

合成前画像比較部２０５は、合成前の被合成画像、すなわち、異なる露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の各画像の対応画素の画素値比較を実行する。この場合、各露光時間に基づいて算出される出力画素値同士を比較することが必要となる。

この処理は、先に従来技術の欄で説明した特許文献２（特開２０００−５０１５１号公報）の処理、すなわち、先に図２を参照して説明した長時間露光画像（ＬＥ）の出力値（輝度）と、短時間露光画像（ＳＥ）の出力値（輝度）との対応関係の比較処理に相当する。すなわち、長時間露光画像（ＬＥ）の出力値（輝度）と、短時間露光画像（ＳＥ）の出力値（輝度）が図２に示す傾きＡ（＝露光比）のライン上に設定されれば、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）の対応画素はまったく同じ輝度の被写体を撮影していると判定できる。

すなわち、同一の被写体が撮影されている場合、長時間露光画像（ＬＥ）の出力値（輝度）と、短時間露光画像（ＳＥ）の出力値（輝度）との対応関係は、図２に示すような傾きＡ（＝露光比）のライン上に設定されることになり、このラインからずれている場合は、動きの発生した領域であると判断するものである。

しかしながら、前述したように、現実的には撮像素子を構成するＰＤやトランジスタの特製にはばらつきがあり、（ＬＥ−ＳＥ×Ａ）＝０を満足するか否かによって被写体の動きの有無を正確に判別することは困難である。例えば、閾値（Ｔｈ）を設定して、｜ＬＥ−ＳＥ×Ａ｜＜Ｔｈを満足するか否かによって判別すれば、多少の素子のばらつきを吸収できるが、素子のばらつきは各装置によっても異なり、最適な閾値を設定することが難しいという問題がある。

本実施例では、この異なる露光時間の画像の比較における問題点を解決する手法を用いる。長時間露光画像の出力値と、短時間露光画像の出力値は、撮像素子の特性によっては、例えば図１２に示す特性となる。
図１２は、先に説明した図２と同様、長時間露光画像（ＬＥ）の出力値（輝度）と、短時間露光画像（ＳＥ）の出力値（輝度）との対応関係をグラフとして示している。

例えば、前述の特許文献１（特開２００８−９９１５８号公報）に開示された撮像素子の特性は図１２に示す特性を持つ。すなわち、短時間露光の出力は、長時間露光の出力がある一定のレベル以上になるまで現れない（図１２の領域１）。これは、先に説明した図１において、被写体の明るさが中間電圧の保持レベルを超えないと、短時間露光の出力が現れないことを意味している。

中間電圧の保持レベルを超えると短時間露光側に出力が発生する。ただし、この出力発生時点の短時間露光側の出力値は極めて不安定となる。短時間露光の露光期間中を通して中間電圧の保持レベルを超えていないと正しい出力が出ないため、この間は露光比で決定される傾きとは異なる（図１２の領域２）。なお、露光比は、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）との露光量の比である露光比Ａ（＝ＬＥ／ＳＥ）である。

これは、短時間露光処理がフォトダイオード（ＰＤ）の蓄積電荷の掃き出しと、その後の短時間露光の実行という複雑な処理によって行われること等に起因する。すなわち、先に図１を参照して説明したように、短時間露光処理は、図１に示す時間ｔ１（電荷掃き出し開始点Ｐ１）において、一旦、フォトダイオード（ＰＤ）において制御される中間電圧保持レベルまで受光フォトダイオード（ＰＤ）の蓄積電荷を掃き出し、この電荷掃き出し処理の後、再度、露光時間ＴＳ（ｔ２〜ｔ３）とした露光処理によって行われる。

図１２の領域２は、短時間露光処理の開始直後のフォトダイオード（ＰＤ）の蓄積電荷量に基づいて算出される出力値であり、この部分は、極めて不安定な出力となり、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）の出力値の対応（傾きＢ）は、露光量の比である露光比Ａ（＝ＬＥ／ＳＥ）で決定される傾きとは異なる傾きＢ（≠傾きＡ（露光比））に設定される。

その後の領域３は、短時間露光処理の行われるフォトダイオード（ＰＤ）の電化蓄積が安定した状態における出力値となるため、露光比から算出できる一定の傾きＡ（露光比）となる。以上の関係は、３枚以上の画像を合成する場合でも同様である。

このように、先に説明した図２の長時間露光画像の出力値と、短時間露光画像の出力値の対応関係は、あくまでも理論的な関係であり、現実の撮像素子の出力値には対応しない。対応関係は、撮像素子の特性に依存することになり、長時間露光画像の出力値と、短時間露光画像の出力値の関係は、例えば図１２に示す関係となる場合が多い。

これらの事情を考慮し、図１１に示す合成前画像比較部２０５では、合成前の異なる露光時間の被合成画像（画像ｎ）の画素同士の出力値の比較を行う場合、図１２に示す領域３、すなわち、予め設定した閾値輝度レベル（図１２のＴｈ２）以上の輝度を持つ画素についてのみ比較対象画素として選択し、選択した画素についてのみの画素値比較処理を行う。
なお、閾値輝度レベル（図１２のＴｈ２）は、撮像素子の特性に応じて決定され、短時間露光において出力が安定する輝度レベルに応じて予め規定する。

合成前画像比較部２０５は、予め設定した閾値輝度レベル（図１２のＴｈ２）以上の輝度を持つ画素について、被合成画像となる長時間露光画像の出力値と、短時間露光画像の出力値とを比較し、比較結果を過検出除去部２０３（図１３参照）に出力する。過検出除去部２０３は、動き領域検出部２０２が合成画像同士の画素値比較結果において動き領域と判定した画素領域について、合成前画像比較部２０５からの受領情報に基づいて再検証を行う。

すなわち、合成画像同士の画素値比較結果において動き領域と判定した画素領域であっても、被合成画像となる長時間露光画像の出力値と、短時間露光画像の出力値の差分が予め設定した閾値未満である場合は、動き領域でないと判断し、動き領域の判定を取り消す。

図１３は本実施例の画像処理装置のブロック図を示す図である。図７との差異は、合成前比較部２０５と過検出除去部２０６を有する点である。

撮像デバイス１０２は画像１１５〜１１８（露光時間＝Ｔ１〜Ｔ４）を出力し、これをメモリ１０３に保存する。画像処理部１０４は、これらの画像１１５〜１１８（露光時間＝Ｔ１〜Ｔ４）を入力し、画像合成部２０１において画像合成処理を実行し、合成画像を生成する。なお、図１３では、先行する画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）による合成画像が既にフレームメモリ２０３に格納されているものとして説明する。

画像合成部２０１は、先に図６を参照して説明したように、輝度に応じて異なる露光時間の画像を組み合わせて、飽和画素値となる白とび画素を排除した合成画像を生成する。画像合成部２０１の生成した合成画像は、動き領域検出部２０２に入力する。動き領域検出部２０１は、例えば４枚の画像による合成画像ａと、その次の４枚の画像による合成画像ｂを続けて入力する場合、先行して入力した合成画像ａを通過させて出力（合成画像１４１）するとともに、フレームメモリ２０３に保存する。

動き領域検出部２０２は、後続する４枚の画像による合成画像ｂを画像合成部２０１から入力すると、先行合成画像ａをフレームメモリ２０３から読み出し、先行合成画像ａと、画像合成部２０１から入力する後続合成画像ｂと比較する。

合成画像ａと合成画像ｂの対応座標位置の画素値が図６に示す傾き１のライン上にのれば、被写体は静止していると判断する。図６に示す傾き１のライン上からずれていれば動き領域であると判断する。ただし、前述した式（式１）を参照して説明したように、利用する固体撮像素子の性能等に応じて決定した差分許容値［Ｔｈ１］を利用し、差分許容値［Ｔｈ１］以上の画素値差分が検出された画素領域は動き領域であると判定するという処理を行うのが好ましい。

本実施例では、動き領域検出部２０２の検出結果は、過検出除去部２０６に入力される。過検出除去部２０６は、合成画像ａと合成画像ｂの対応座標位置の画素値比較に基づいて動き領域とし判定した画素領域の再検証を行い、過検出であると判断された動き領域画素を動き領域でないとする過検出除去処理を行う。

すなわち、過検出除去部２０６は、合成前画像比較部２０５から被合成画像となる長時間露光画像の出力値と、短時間露光画像の出力値とを比較結果を入力して、合成画像同士の画素値比較結果において動き領域と判定した画素領域について、被合成画像となる長時間露光画像の出力値と、短時間露光画像の出力値の差分が予め設定した閾値未満である場合は、動き領域でないと判断し、動き領域の判定を取り消す過検出除去処理を行う。

なお、合成前画像比較部２０５は、前述したように予め設定した閾値輝度レベル（図１２のＴｈ２）以上の輝度を持つ画素について、被合成画像となる長時間露光画像の出力値と、短時間露光画像の出力値とを比較し、比較結果を動き領域検出部２０２の過検出除去部２０６に出力する。

合成前比較部２０５は、前述の式（式１）同様、ある程度の許容量を設定し、以下の式（式２）を適用して動き領域の判定を行う。図１２に示す領域３にあって、以下の式２を満たす場合、動き領域ではないと判定して動き領域の除去対象とする。
短時間露光画像（例えば画像５（Ｔ１）１１５）
長時間露光画像（例えば画像６（Ｔ２）１１６）
を比較対象とした場合、
短時間露光画像の出力×０．１＞｜長時間露光画像の出力−短時間露光画像の出力×Ａ）｜
・・・（式２）
なお、Ａは長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）の露光量の比である露光比Ａ（＝ＬＥ／ＳＥ）である。

上記式（式２）は、例えば露光比Ａ＝１０であれば、長時間露光画像：画像６（Ｔ２）１１６の出力値から、短時間露光画像：画像５（Ｔ１）１１５の出力値を１０倍した値を差し引いた絶対値をみる、という意味である。

このように、過検出除去部２０６は、動き領域検出部２０２が合成画像間の画素値比較に基づいて動き領域と判定した画素領域であっても、図１２に示す領域３にあって、以下の式２を満たす場合、その領域は動き領域ではないとして動き領域から除去する処理を行う。

なお、比較処理は、全ての合成前画像の組み合わせで行うのではなく、合成画像の生成時に合成画像の構成画素として選択された画像（選択情報は画像合成部１０２より入手）の前後で行う。つまり、例えば合成画像の特定画素の有効画素値として、画像６（Ｔ２）１１６の画素が選択された場合、画像６（Ｔ２）１１６と画像５（Ｔ１）１１５、および、画像６（Ｔ２）１１６と画像７（Ｔ３）１１７を比較する。

このように、動き領域検出部２０２は、
（１）合成画像相互の画素値比較による動き領域の検出、
この検出処理を実行し、
過検出除去部２０６は、
（２）合成画像の生成元画像である被合成画像間の画素値比較による動き領域の再検出、
この処理を実行し、過検出除去部２０６は、これらの２段階の処理において、双方で動き領域であると判定された画素領域のみを最終的な動き領域であると判断して動き領域検出情報１４３を出力する。
動き領域検出情報１４３は、例えば、画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

本実施例は、前述の特許文献１（特開２００８−９９１５８号公報）に記載された構成を持つ撮像素子の他、一般的な通常の固体撮像素子、具体的には、一般的なＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子が適用可能である。なお、撮像素子の特性により、長時間露光画像の出力値と、短時間露光画像の出力値の関係が、図１２のような関係となる場合、図２のような関係となる場合、あるいはその他の関係となる場合がある。合成前画像比較部２０５は、利用する撮像素子の特性に応じて判定領域を絞り込んで判定を行う構成とするのが好ましい。

（２−４）実施例４
次に、本発明の画像処理装置の実施例４として、動き領域からさらに画質劣化を引き起こす可能性の高い画質劣化領域を検出する構成例について説明する。

例えば、Ｒ、Ｇ、Ｂのカラーフィルタを用いた単板型固体撮像素子を用いた場合（カラーフィルタの色は任意で良い）、動被写体を撮影した際に、画質的に劣化がひどくなるのは、生成した合成画像を構成する画素の隣接画素位置にあるＲ、Ｇ、Ｂ画素が、それぞれ違う被合成画像から選択されて合成された場合である。

具体例としては、例えば合成画像を構成する画素において、
Ｇ画素が、露光時間Ｔ２の画像１１２（Ｔ２）から選択され、
Ｇ画素に隣接するＲ画素とＢ画素が露光時間Ｔ４の画像１１４（Ｔ４）から選択されたといった場合である。
このような合成処理を行った場合、静止画であれば問題は少ないが、動被写体を撮影している場合は、露光時間、露光期間が異なる画像を近接の画素で用いることになる。このため、その後、デモザイク（補間）処理を行いカラー画像として観察すると、画質劣化を引き起こし特に偽色などを発生することになる。

なお動被写体を撮影していても隣接する画素同士が同じ被合成画像を選択していれば、画質の劣化はそれほどでもない。これは、同じ露光時間、露光期間の画像を表現できているからである。少なくとも、偽色などを発生することはない。

図１４は、本実施例のコンセプトを説明する図である。
例えば上述した実施例１〜３のいずれかの手法で検出された動き領域は、図１４に示す大きな領域である「動き領域」であり、その内部に、特に画質劣化（偽色など）を発生する「画質劣化領域」が包含される。

本実施例４の画像処理装置は、動被写体が含まれると判断された「動き領域」の構成画素の中から、隣接画素間で採用されている被合成画像が異なる画素を抽出し、これらを「画質劣化領域」の構成画素として検出する。

図１５は、本実施例の画像処理装置のブロック図を示す図である。図７との差異は、選択画像比較部２０７と画質劣化領域検出部２０８を有する点である。
その他の構成については図７と同様であるため説明を省略する。以下、図７の構成と異なる点について説明する。

選択画像比較部２０７は、画像合成部２０１における画像合成処理において生成した合成画像の各構成画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力して、異なる画像から選択された隣接画素について、画質劣化領域検出対象として設定する処理を行う。

図１６を参照して、選択画像比較部２０７の実行する処理について説明する。図１６には、
（ａ）画質劣化領域検出対象としない例
（ｂ）画質劣化領域検出対象とする例
これらの２つの例を示している。いずれも判定対象は９画素中の中心画素である。

（ａ）画質劣化領域検出対象としない例
この例では、判定対象とする中心画素が画像１（Ｔ１）からの選択画素によって構成され、その周囲画素の８画素のすべてが、中心画素と同じ画像１（Ｔ１）からの選択画素によって構成されている。
このように中心画素である判定画素の周囲の全画素が中心画素と同一の画像から選択されている場合は、画質劣化の可能性がないと判定して、画質劣化領域検出対象としない。

（ｂ）画質劣化領域検出対象とする例
一方、図１６（ｂ）に示す例では、判定対象とする中心画素が画像１（Ｔ１）からの選択画素によって構成され、その周囲画素の８画素中２画素が、中心画素と異なる画像２（Ｔ２）からの選択画素によって構成されている。
このように中心画素である判定画素の周囲に中心画素と異なる画像から選択されたが素が含まれる場合は、画質劣化の可能性があると判定して、画質劣化領域検出対象とする。

選択画像比較部２０７は、このように、合成画像の構成画素について、画質劣化領域検出対象画素と、非検出対象画素とを区別した画素対応の判定情報を画質劣化領域検出部２０８に出力する。例えば、画質劣化領域検出対象画素＝１、画質劣化領域非検出対象画素＝０とした設定の合成画像の画素対応の画質劣化領域検出情報を画質劣化領域検出部２０８に出力する。

画質劣化領域検出部２０８は、選択画像比較部２０７から、この画質劣化領域検出情報を入力するとともに、動き領域検出部２０２から合成画像相互の画素値比較処理に基づいて生成された動き領域検出情報１４３を入力する。動き領域検出情報１４３は、例えば、合成画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

画質劣化領域検出部２０８は、画質劣化領域検出情報と動き領域検出情報１４３から、最終的な画質劣化動き領域検出情報１４４を生成して出力する。
画質劣化領域検出部２０８は、各画素について、
動き領域画素＝１であり、かつ画質劣化領域検出対象画素＝１である画素のみを抽出して、この領域を画質劣化動き領域とする。
すなわち、画質劣化領域検出情報と動き領域検出情報１４３のアンド処理（ＡＮＤの論理演算）を行い、動き領域であり、かつ画質劣化領域検出対象でもある画素のみを抽出して画質劣化動き領域画素であると判定する。これら以外の画素は、画質劣化動き領域画素でないと判定し、これらの判定情報を画素単位で設定した画質劣化動き領域検出情報１４４を出力する。

画質劣化領域検出部２０８の出力する画質劣化動き領域検出情報１４４は、例えば、画質劣化動き領域画素＝１、画質劣化動き領域でない画素＝０とした画素対応の画質劣化動き領域検出情報等によって構成される。

本実施例は、前述の特許文献１（特開２００８−９９１５８号公報）に記載された構成を持つ撮像素子の他、一般的な通常の固体撮像素子、具体的には、一般的なＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子が適用可能である。

（２−５）実施例５
次に、本発明の画像処理装置の実施例５として、画質劣化を引き起こしている可能性の高い領域の検出情報として画質劣化領域検出情報を出力する構成について図１７を参照して説明する。

図１７は、本実施例の画像処理装置のブロック図を示す図である。撮像デバイス１０２、メモリ１０３の構成は図７を参照して説明した実施例１の構成と同様である。
画像処理部１０４の画像合成部２０１の処理も図７を参照して説明した実施例１の構成と同様であり、異なる露光時間の画像１〜４を適用して合成画像１４１を生成する。

出力値有効領域検出部２０９は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力する。この選択情報は、図１５を参照して説明した実施例４の選択情報と同様の情報である。

出力値有効領域検出部２０９は、この選択情報を入力し、合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成前画像の出力値の有効性を判定する。

例えば、画像の有効ビットが１０ｂｉｔデータによって構成され、ビット値の取り得る値、すなわちデジット値が（０〜１０２３ｄｉｇｉｔ）であった場合、その両端部のビット値は有効性が低いと判断する。具体的には、例えば、合成画像の構成画素のビット値（０〜１０２３ｄｉｇｉｔ）が、
ビット値＞１０００ｄｉｇｉｔ
または、
ビット値＜５ｄｉｇｉｔ
・・・・（式３）
上記式（式３）を満足する場合は、この画素のビット値の有効性が低いと判断し、画質劣化領域であると判定する。

ビット値＞１０００ｄｉｇｉｔ
この式を満足する画素は、画素値がほぼ飽和レベルに達している画素である。
また、
ビット値＜５ｄｉｇｉｔ
この式を満足する画素は、画素値がほぼ零付近にある画素である。
このような画素は、正確な画素値が出力されている可能性が低いため、画素値の有効性の無い画素領域であると判定する。

出力値有効領域検出部２０９は、このように上記判定式（式３）に従って、合成画像の構成画素の画素値に基づいて、画素値が有効性の実も止められる画素値に設定されているか否かを判定し、判定結果を画素対応の有効性情報として設定した画質劣化領域検出情報１４５を生成して出力する。

画質劣化領域検出情報１４５は、例えば、合成画像の画素単位で、上記式（式３）を満足する画素であることを示す画質劣化領域画素＝１、上記式（式３）を満足する画素でないことを示す画質劣化領域でない画素＝０とした画素対応の画質劣化領域情報等によって構成される。

（２−６）実施例６
次に、図１８を参照して本発明の画像処理装置の実施例６の構成について説明する。
図１８に示す画像処理装置は、図１７に示す実施例５の変形例である。
図１８に示す画像処理装置は、
図７を参照して説明した実施例１の構成と、
図１７を参照して説明した実施例５の構成と、
を併せ持つ構成である。

画像合成部２０１における画像合成処理は、実施例１の処理と同様の処理である。
撮像デバイス１０２は画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を出力し、これをメモリ１０３に保存する。画像処理部１０４は、これらの画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を入力し、画像合成部２０１において画像合成処理を実行し、合成画像を生成する。

図１８に示す動き領域検出部２０２は、図７を参照して説明したと同様の処理を実行する。すなわち、合成画像間の画素値比較を実行して、合成画像の動き領域検出情報１４３を生成して画質劣化領域検出部２０８に出力する。
動き領域検出部２０２の生成する動き領域検出情報１４３は、例えば、合成画像の構成画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

一方、出力値有効領域検出部２０９は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力して、合成画像を構成する全ての画素についての選択画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成前画像の出力値の有効性を判定する。
この処理は、図１７を参照して説明した実施例５の出力値有効領域検出部２０９が実行する処理と同様の処理である。

具体的には、出力値有効領域検出部２０９は、例えば、合成画像の構成画素の有効ビットが１０ｂｉｔデータによって構成され、ビット値の取り得る値、すなわちデジット値が（０〜１０２３ｄｉｇｉｔ）であった場合、その両端部のビット値は有効性が低いと判断する。具体的には、例えば、合成画像の構成画素のビット値（０〜１０２３ｄｉｇｉｔ）が、
ビット値＞１０００ｄｉｇｉｔ
または、
ビット値＜５ｄｉｇｉｔ
・・・・（式３）
上記式（式３）を満足する場合は、この画素のビット値の有効性が低いと判断し、画質劣化領域であると判定する。判定結果を画素対応の有効性情報として設定した画質劣化領域検出情報１４５を生成して出力する。

画質劣化領域検出情報１４５は、例えば、合成画像の画素単位で上記式（式３）を満足する画素であることを示す画質劣化領域画素＝１、上記式（式３）を満足する画素でないことを示す画質劣化領域でない画素＝０とした画素対応の画質劣化領域情報等によって構成される。

画質劣化領域検出部２０８は、画質劣化領域検出情報と動き領域検出情報１４３から、最終的な画質劣化動き領域検出情報１４４を生成して出力する。
画質劣化領域検出部２０８は、各画素について、
動き領域画素＝１であり、かつ画質劣化領域画素＝１である画素のみを抽出して、この領域を画質劣化動き領域とする。
すなわち、画質劣化領域検出情報１４５と動き領域検出情報１４３のアンド処理（ＡＮＤの論理演算）を行い、動き領域であり、かつ画質劣化領域でもある画素のみを抽出して、これらを画質劣化動き領域画素であると判定する。これら以外の画素は、画質劣化動き領域画素でないと判定し、これらの判定情報を画素単位で設定した画質劣化動き領域検出情報１４４を出力する。

画質劣化領域検出部２０８の出力する画質劣化動き領域検出情報１４４は、例えば、画質劣化動き領域画素＝１、画質劣化動き領域でない画素＝０とした画素対応の画質劣化動き領域検出情報等によって構成される。

このように図１８に示す実施例６の構成では、前述の実施例５と実施例１のそれぞれの結果をａｎｄした構成を有する。
本実施例６においても、実施例５と同様の画素値が飽和画素値に近い画素や０に近い画素を画質劣化領域として判定する処理を行うが、本実施例では、合成画像後のデータを利用した動き検出処理において、動き領域として検出されない領域は、画質劣化動き領域として選択されないことになる。

従って、合成画像の比較対象となる合成画像の対応画素値に、動き領域であると判定されるだけの画素値の差分がなければ、その領域は画質劣化動き領域から除外される、これにより、実施例５に比較して、過剰な画質劣化領域の検出を避けることができる。

本実施例は、前述の特許文献１（特開２００８−９９１５８号公報）に記載された構成を持つ撮像素子の他、一般的な通常の固体撮像素子、具体的には、一般的なＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像素子が適用可能である。

（２−７）実施例７
次に、図１９、図２０を参照して本発明の画像処理装置の実施例７の構成について説明する。

図１９は、図５と同様の特性図である。長時間露光画像〜短時間露光画像の複数の画像の取得処理について説明する図である。図１９において、横軸は時間（ｔ）であり、縦軸は固体撮像素子の１つの画素に対応する光電変換素子を構成する受光フォトダイオード（ＰＤ）における蓄積電荷量（ｅ）である。例えば、受光フォトダイオード（ＰＤ）の受光量が多い、すなわち明るい被写体に対応する場合、時間経過に伴う電荷蓄積量は急激に上昇する。一方、受光フォトダイオード（ＰＤ）の受光量が少ない、すなわち暗い被写体に対応する場合、時間経過に伴う電荷蓄積量は緩やかに上昇する。

図１９は、動く被写体を撮り込む画素の処理を想定した図である。撮影の初期が明るく、次いで暗くなるケースを表している。図１９において、初期（時間＝ｔｘ〜ｔｙ）の明るい状況で信号が中間電位の保存レベルを超えるため、短時間露光の領域に入る。しかし、途中（時間＝ｔｙ）で、被写体が移動して画素値は暗くなる。

明るい被写体が移動してしまい画素値が暗くなった後に、短時間露光が実行される。図１９に示す短時間露光時間（Ｔ１〜Ｔ３）である。この期間は、すでに明るい被写体が移動してしまった後であるため、暗い被写体を撮り込んでいる状況であり、受光ＰＤ（フォトダイオード）の電荷蓄積スピードは低下し、図に示すラインの傾きが小さくなり寝ている。その後、長時間露光時間（Ｔ４）の経過後に長時間露光出力を得る。この場合、暗い被写体を撮りこんでいるため、時間ｔ２以降の期間を傾きが小さくなり、画素の飽和レベルに至らない長時間露光出力が得られる。

画像合成処理に際しては、短時間露光の出力値と長時間出力値とを比較するが、この例では、短時間露光の出力は小さいため、長時間露光の出力が選択されることがある。ここで問題となるのは、この長時間露光の出力値が全く正しくないことである。なぜなら、図１９に示すように、長時間露光時間（Ｔ４）の経過後に得られる長時間露光出力には、中間電位の保存レベルまでの信号がオフセットとして乗っているからである。

この分オフセット分を差し引き、露光時間を考慮した露光比の調整を実行すれば正しい出力値を算出できるが、実際は、中間電位には素子によってバラツキがあるため正しい値を得ることが困難である。従ってこのような状況で得られた合成画像は、特に画質劣化が著しいという問題があった。本実施例では、このような画素を検出する手法を提案する。

図２０は、本実施例の画像処理装置のブロック図を示す図である。撮像デバイス１０２、メモリ１０３の構成は図７を参照して説明した実施例１の構成と同様である。
画像処理部１０４の画像合成部２０１の処理も図７を参照して説明した実施例１の構成と同様であり、異なる露光時間の画像１〜４を適用して合成画像１４１を生成する。

動き領域検出部ｂ２１０は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力する。この選択情報は、図１５を参照して説明した実施例４の選択情報と同様の情報である。

動き領域検出部ｂ２１０は、メモリ１０３に格納された被合成画像である画像１〜４，１１１〜１１４の出力（画素値）、および画像合成部２０１から選択画像情報が入力される。動き領域検出部ｂ２１０は、合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成画像の構成画素が、以下の条件を満足するか否かを判定する。

合成画像の構成画素として、長時間露光画像（ここでは画像４（Ｔ４）１１４）が選択されている。
かつ、以下の式のいずれかを満足する。
画像１（Ｔ１）１１１の出力＞５ｄｉｇｉｔ，
または、
画像２（Ｔ２）１１２の出力＞５ｄｉｇｉｔ，
または、
画像３（Ｔ３）１１３の出力＞５ｄｉｇｉｔ
・・・（式４）
上記条件を満足する画素については、動き領域にある画素であると判定する。
ただし、各画像の有効ビットは１０ｂｉｔデータによって構成され、ビット値の取り得る値、すなわちデジット値が（０〜１０２３ｄｉｇｉｔ）であった場合を想定している。

上記判定処理は、短時間露光画像（画像１〜３）のいずれかが有効な画素値（例えば５ｄｉｇｉｔより大きい）を出力していて、かつ、その画素の合成画像上の画素値として長時間露光画像（画像Ｔ４）が選択されている場合に、この画素は、図１９を参照して説明した状況にあった画素である
この条件を満足する画素は、動き領域にある画素であると判定するものである。。

図２０に示す動き領域検出部ｂ２１０は、このような処理によって動き領域検出情報１４３を生成して出力する。動き領域検出情報１４３は、例えば、合成画像の構成画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

（２−８）実施例８
次に、図２１を参照して本発明の画像処理装置の実施例７の構成について説明する。
図２１に示す画像処理装置は、図２０に示す実施例７の変形例である。
図２１に示す画像処理装置は、
図７を参照して説明した実施例１の構成と、
図２０を参照して説明した実施例７の構成と、
を併せ持つ構成である。

画像合成部２０１における画像合成処理は、実施例１の処理と同様の処理である。
撮像デバイス１０２は画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を出力し、これをメモリ１０３に保存する。画像処理部１０４は、これらの画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を入力し、画像合成部２０１において画像合成処理を実行し、合成画像を生成する。

図２１に示す動き領域検出部２０２は、図７を参照して説明した動き領域検出部２０２と同様の処理を実行する。すなわち、合成画像間の画素値比較を実行して、合成画像の動き領域検出情報ａ１４３ａを生成して出力する。
動き領域検出部２０２の生成する動き領域検出情報ａ１４３ａは、例えば、合成画像の構成画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

一方、図２１に示す動き領域検出部ｂ２１０は、図２０を参照して説明した動き領域検出部ｂ２１０と同様の処理を実行する。
すなわち、動き領域検出部ｂ２１０は、メモリ１０３に格納された被合成画像である画像１〜４，１１１〜１１４の出力（画素値）、および画像合成部２０１から選択画像情報を入力する。動き領域検出部ｂ２１０は、合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成画像の構成画素が、以下の条件を満足するか否かを判定する。

合成画像の構成画素として、長時間露光画像（ここでは画像４（Ｔ４）１１４）が選択されている。
かつ、以下の式のいずれかを満足する。
画像１（Ｔ１）１１１の出力＞５ｄｉｇｉｔ，
または、
画像２（Ｔ２）１１２の出力＞５ｄｉｇｉｔ，
または、
画像３（Ｔ３）１１３の出力＞５ｄｉｇｉｔ
・・・（式４）
上記条件を満足する画素については、動き領域にある画素であると判定する。
ただし、各画像の有効ビットは１０ｂｉｔデータによって構成され、ビット値の取り得る値、すなわちデジット値が（０〜１０２３ｄｉｇｉｔ）であった場合を想定している。

図２１に示す動き領域検出部ｂ２１０は、このような処理によって動き領域検出情報１４３ｂを生成して出力する。動き領域検出情報ｂ１４３ｂは、例えば、合成画像の構成画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

検出結果統合部２１１は、動き領域検出情報ａ１４３ａと、動き領域検出情報ｂ１４３ｂとの統合処理を行う。
具体的には、
動き領域検出情報ａ１４３ａにおいて動き領域として検出され、
かつ、
動き領域検出情報ｂ１４３ｂにおいて動き領域として検出された、領域を最終的な動き領域であると判定する。

すなわち、検出結果統合部２１１は、動き領域検出情報ａ１４３ａと、動き領域検出情報ｂ１４３ｂとのアンド処理（ＡＮＤの論理演算）を行い、２つの動き領域検出情報の双方において動き領域であると判定した画素のみを抽出して、これらを最終的な動き領域画素であると判定する。これら以外の画素は、動き領域画素でないと判定し、これらの判定情報を画素単位で設定した動き領域検出情報ｃ１４３ｃを出力する。
動き領域検出情報ｃ１４３ｃも、例えば、合成画像の構成画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

本実施例８においても、実施例７と同様、先に図１９を参照して説明した各露光時間の画像の画素値を参照して動き領域判定処理を行うが、本実施例では、合成画像後のデータを利用した動き検出処理において、動き領域として検出されない領域は、画質劣化動き領域として選択されないことになる。

従って、合成画像の比較対象となる合成画像の対応画素値に、動き領域であると判定されるだけの画素値の差分がなければ、その領域は動き領域から除外される、これにより、実施例７に比較して、過剰な動き領域の検出を避けることができる。

（２−９）実施例９
実施例１、２は共存させることができないが、実施例３〜８の手法は用途に合わせて組み合わせることが可能である。
図２２は上述した実施例１、３、４、６、８を組み合わせた実施例を示す図である。また、図２３は実施例１、３、４、５、７を組み合わせた実施例を示す図である。

図２２に示す画像処理装置の構成は、以下の処理を実行する構成を持つ。
動き領域検出部２０２において合成画像間の画素値比較による動き領域の検出を行う。（実施例１（図７参照））
合成前画像比較部２０５が、合成前の被合成画像、すなわち、異なる露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の各画像の画素について、予め設定した閾値輝度レベル（図１２のＴｈ２）以上の輝度を持つ画素の画素値比較を行い、過検出除去部２０６が、長時間露光画像の出力値と、短時間露光画像の出力値の差分が予め設定した閾値未満である場合は、動き領域でないと判断し、動き領域の判定を取り消す過検出除去処理を行う。（実施例３（図１３参照））
なお、この過検出除去結果として動き領域検出情報１４３を出力する。動き領域検出情報１４３は、例えば、合成画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

選択画像比較部２０７は、画像合成部２０１における画像合成処理において生成した合成画像の各構成画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力して、異なる画像から選択された隣接画素について、画質劣化領域検出対象として設定する処理を行う（実施例４（図１４、図１５参照））。

出力値有効領域検出部２０９は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力し、合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成前画像の出力値の有効性を判定する。
具体的には、例えば、合成画像の構成画素のビット値（０〜１０２３ｄｉｇｉｔ）が、
ビット値＞１０００ｄｉｇｉｔ
または、
ビット値＜５ｄｉｇｉｔ
・・・・（式３）
上記式（式３）を満足する場合は、この画素のビット値の有効性が低いと判断し、画質劣化領域であると判定する。（実施例６（図１８参照））。

動き領域検出部ｂ２１０は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力する。さらに合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成画像の構成画素が、以下の条件を満足するか否かを判定する。
画像１（Ｔ１）１１１の出力＞５ｄｉｇｉｔ，
または、
画像２（Ｔ２）１１２の出力＞５ｄｉｇｉｔ，
または、
画像３（Ｔ３）１１３の出力＞５ｄｉｇｉｔ
・・・（式４）
上記条件を満足する画素については、動き領域にある画素であると判定する。
ただし、各画像の有効ビットは１０ｂｉｔデータによって構成され、ビット値の取り得る値、すなわちデジット値が（０〜１０２３ｄｉｇｉｔ）であった場合を想定している。（実施例８（図１９、図２１参照））

画質劣化領域検出部２０８は、
（ａ）選択画像比較部２０７の生成する画質劣化領域判定情報（異なる画像から選択された隣接画素を持つ画素であるか否かによる画質劣化領域判定情報）、
（ｂ）出力値有効領域検出部２０９の生成する画質劣化領域判定情報（合成画像のビット値が０または飽和値に近いか否かによる画質劣化領域判定情報）、
（ｃ）動き領域検出部ｂ２１０の生成する画質劣化領域判定情報（長時間露光画像の出力の設定画素であり、短時間露光画像のいずれかが有効な画素値を有する画素であるか否かによる画質劣化領域判定情報）、
これらの画質劣化領域判定情報を入力する。

画質劣化領域検出部２０８は、上記（ａ）〜（ｃ）の画質劣化領域判定情報のいずれかにおいて画質劣化領域であると判定された領域を画質劣化領域として最終的に決定する。
さらに、画質劣化領域検出部２０８は、
過検出除去部２０６から入力する動き領域検出情報１４３において、動き領域と判定された画素領域であり、
かつ、上記（ａ）〜（ｃ）の画質劣化領域判定情報のいずれかにおいて画質劣化領域であると判定された領域を画質劣化領域、
これらの重複領域を画質劣化動き領域として設定した画質劣化動き領域検出情報１４４を生成して出力する。

画質劣化領域検出部２０８の出力する画質劣化動き領域検出情報１４４は、例えば、画質劣化動き領域画素＝１、画質劣化動き領域でない画素＝０とした画素対応の画質劣化動き領域検出情報等によって構成される。

また、図２３は実施例１、３、４、５、７を組み合わせた実施例を示す図である。
図２３に示す画像処理装置の構成は、以下の処理を実行する構成を持つ。
動き領域検出部２０２において合成画像間の画素値比較による動き領域の検出を行う。（実施例１（図７参照））
合成前画像比較部２０５が、合成前の被合成画像、すなわち、異なる露光時間Ｔ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）の各画像の画素について、予め設定した閾値輝度レベル（図１２のＴｈ２）以上の輝度を持つ画素の画素値比較を行い、過検出除去部２０６が、長時間露光画像の出力値と、短時間露光画像の出力値の差分が予め設定した閾値未満である場合は、動き領域でないと判断し、動き領域の判定を取り消す過検出除去処理を行う。（実施例３（図１３参照））
なお、この過検出除去結果として動き領域検出情報１４３を出力する。動き領域検出情報１４３は、例えば、合成画像の画素単位で動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

選択画像比較部２０７は、画像合成部２０１における画像合成処理において生成した合成画像の各構成画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力して、異なる画像から選択された隣接画素について、画質劣化領域検出対象として設定する処理を行う（実施例４（図１４、図１５参照））。

出力値有効領域検出部２０９は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力し、合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成前画像の出力値の有効性を判定する。
具体的には、例えば、合成画像の構成画素のビット値（０〜１０２３ｄｉｇｉｔ）が、
ビット値＞１０００ｄｉｇｉｔ
または、
ビット値＜５ｄｉｇｉｔ
・・・・（式３）
上記式（式３）を満足する場合は、この画素のビット値の有効性が低いと判断し、画質劣化領域であると判定する。（実施例５（図１７参照））。

動き領域検出部ｂ２１０は、画像合成部２０１の生成した合成画像を構成する各画素が、どの被合成画像（画像１〜画像４）の画素から選択されたかを示す選択画像情報を画像合成部２０１から入力する。さらに合成画像を構成する全ての画素について、選択された画像、すなわちメモリ１０３に格納されている合成前の被合成画像（画像１〜４）の対応画素値を取得し、合成画像の構成画素が、以下の条件を満足するか否かを判定する。
画像１（Ｔ１）１１１の出力＞５ｄｉｇｉｔ，
または、
画像２（Ｔ２）１１２の出力＞５ｄｉｇｉｔ，
または、
画像３（Ｔ３）１１３の出力＞５ｄｉｇｉｔ
・・・（式４）
上記条件を満足する画素については、動き領域にある画素であると判定する。
ただし、各画像の有効ビットは１０ｂｉｔデータによって構成され、ビット値の取り得る値、すなわちデジット値が（０〜１０２３ｄｉｇｉｔ）であった場合を想定している。（実施例７（図１９、図２０参照））

画質劣化領域検出部２０８は、選択画像比較部２０７の生成する画質劣化領域判定情報（異なる画像から選択された隣接画素を持つ画素であるか否かによる画質劣化領域判定情報）を入力する。
さらに、画質劣化領域検出部２０８は、
過検出除去部２０６から入力する動き領域検出情報１４３において、動き領域と判定された画素領域であり、
かつ、上記画質劣化領域判定情報において画質劣化領域であると判定された領域を画質劣化領域として設定した画質劣化動き領域検出情報を検出結果統合部２１１に出力する。

検出結果統合部２１１は、
（ａ）画質劣化領域検出部２０８の生成する画質劣化動き領域検出情報
（ｂ）出力値有効領域検出部２０９の生成する画質劣化領域判定情報（合成画像のビット値が０または飽和値に近いか否かによる画質劣化領域判定情報）、
（ｃ）動き領域検出部ｂ２１０の生成する画質劣化領域判定情報（長時間露光画像の出力の設定画素であり、短時間露光画像のいずれかが有効な画素値を有する画素であるか否かによる画質劣化領域判定情報）、
これらの画質劣化領域判定情報を入力する。

検出結果統合部２１１は、上記（ａ）画質劣化動き領域検出情報、（ｂ）〜（ｃ）の画質劣化領域判定情報のいずれかにおいて画質劣化動き領域または画質劣化領域であると判定された領域を画質劣化動き領域として最終的に決定しこの情報を持つ画質劣化動き領域検出情報１４４を出力する。

検出結果統合部２１１の出力する画質劣化動き領域検出情報１４４は、例えば、画質劣化動き領域画素＝１、画質劣化動き領域でない画素＝０とした画素対応の画質劣化動き領域検出情報等によって構成される。

（２−１０）実施例１０
上述の実施例１〜９はシステムの制約などで過去の合成画像が得られない時は使用できない。そのような場合に好適な動被写体検出手段の実施例として第１０の実施例を図２４に示す。

本実施例は、露光時間がＴ１〜Ｔ４（Ｔ１＜Ｔ２＜Ｔ３＜Ｔ４）である４枚の画像の信号レベルを比較して、動被写体を検出する。
撮像デバイス１０２は画像１１１〜１１４（露光時間＝Ｔ１〜Ｔ４）を出力し、これをメモリ１０３に保存する。

相関検出部ａ，３０１、相関検出部ｂ，３０２、相関検出部ｃ，３０３は、それぞれ画像１（露光時間Ｔ１）１１１と画像２（露光時間Ｔ２）１１２、画像２（露光時間Ｔ２）１１２と画像３（露光時間Ｔ３）１１３、画像３（露光時間Ｔ３）１１３と画像４（露光時間Ｔ４）１１４を入力とし、図２５で表わされる長時間露光画像と短時間露光画像の相関関係を基準として画素値を比較する。

相関検出部３０１〜３０３は、画素値を比較する場合に固体撮像素子のノイズや光のショットノイズの影響を考慮し、基準直線からある程度の許容量を超えた場合に動被写体と判断する。
本実施例は、中間電圧のばらつきが比較的小さい場合に有効である。

図２５で表わされる長時間露光画像と短時間露光画像の相関関係は、長時間露光画像（ＬＥ）と短時間露光画像（ＳＥ）の露光時間比を露光比Ａ（ＬＥ／ＳＥ）とした場合、
領域１＝短時間露光画像の出力が得られない相関関係ラインを持つ低出力領域、
領域２＝露光比Ａ（ＬＥ／ＳＥ）より大きい傾きの相関関係ラインを持つ中出力領域、
領域３＝露光比Ａ（ＬＥ／ＳＥ）より決定される相関関係ラインを持つ高出力領域、
これらの３領域の区分領域において異なる傾きで定義された相関関係データである。
図２５に示す相関関係は、図１２を参照して説明した相関関係と同じである。

図２５に示す相関関係は、比較対象とする異なる露光時間の画像の出力値の相関に基づいて作成された相関情報である。ここで、閾値Ｔｈ１、およびＴｈ２はそれぞれ比較対象の画像によって設定するものであり、あらかじめ求めておく必要がある。

図２４に示す本実施例の画像処理装置は、
相関検出部ａ，３０１は、画像１（露光時間Ｔ１）１１１と画像２（露光時間Ｔ２）１１２を入力とし、図２５で表わされる長時間露光画像と短時間露光画像の相関関係を基準として対応する画素値を比較する。
画素値の比較結果が、この図２５に示すラインに乗っている場合、あるいはラインからのずれが、予め定めた閾値以内にある場合は、動き領域でないと判定する。

同様に、相関検出部ｂ，３０２も、画像２（露光時間Ｔ２）１１２と画像３（露光時間Ｔ３）１１３を入力とし、図２５で表わされる長時間露光画像と短時間露光画像の相関関係を基準として対応する画素値を比較する。
画素値の比較結果が、この図２５に示すラインに乗っている場合、あるいはラインからのずれが、予め定めた閾値以内にある場合は、動き領域でないと判定する。

同様に、相関検出部ｃ，３０３も、画像３（露光時間Ｔ３）１１３と画像４（露光時間Ｔ４）１１４を入力とし、図２５で表わされる相関関係を基準とし対応する画素値を比較する。
画素値の比較結果が、この図２５に示すラインに乗っている場合、あるいはラインからのずれが、予め定めた閾値以内にある場合は、動き領域でないと判定する。

このように、本実施例の画処理部１０４の相関検出部は、各露光時間に応じた撮像素子の特性に応じた相関関係情報を適用して異なる露光時間の画像の対応画素の画素値比較を実行してあらかじめ設定された閾値以上の差分がある場合は動き領域とする。

検出結果統合部３１０は、これらの相関検出部３０１〜３０３の検出結果を入力し、いずれかの検出結果において動き領域と判定された画素領域を最終的な動き領域であると判定する処理を行い、この情報を持つ動き領域検出情報１４３を出力する。

検出結果統合部３１０の出力する動き領域検出情報１４３は、例えば、動き領域画素＝１、動き領域でない画素＝０とした画素対応の動き領域検出情報等によって構成される。

本実施例の構成では、合成画像の生成処理が不要であり、合成処理生成を実行しない構成においても適用可能である。また、合成画像開始以前に図２４に示す処理によって動き領域を判別して、その判別結果を適用して動き領域についての補正等を実行して合成画像を生成するといった処理にも適用できる。

以上、複数の実施例（実施例１〜１０）について説明してきた。
実施例１〜３は、例えば前述の特許文献１（特開２００８−９９１５８号公報）に記載された構成を持つ撮像素子を適用して場合、動被写体領域を良好に検出することが可能になる。
実施例１は最もシンプルな構成であり、実施例２は実施例１よりも処理スピードを必要とするが、より絞り込んだ検出が可能になる。実施例３では、構成は少し複雑になるが、実施例１と同様の処理スピードでの絞り込みが可能となる。
実施例４〜８に記載の構成は、より画質劣化が激しいケースを検出することが可能になる。
実施例９は、処理が複雑になり、回路規模が大きくなるが、性能の高い検出が可能となる。
実施例１０は過去合成画像が得られない時でも、動被写体領域を比較的良好に検出することが可能になる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、異なる露光時間の複数の画像を入力して、それぞれの有効な画素値を選択的に組み合わせた広ダイナミックレンジ画像を生成する処理において、偽色等、画質劣化の発生要因となる被写体の動き領域を効率的に検出することが可能となる。例えば、異なる露光時間の複数の画像により生成した合成画像の比較を実行して、その比較結果に基づいて動き領域を検出する。この処理によれば撮像素子の特性のばらつきによる誤検出を抑制した精度の高い動き領域検出を行うことが可能となる。

１０ 輝度閾値レベル
１１ 高輝度領域
１２ 低輝度領域
１０１ 光学レンズ
１０２ 撮像デバイス
１０３ メモリ
１０４ 画像処理部
１０５ 制御部
１１１〜１１８ 画像
１２０ 出力画像
１４１ 合成画像
１４３ 動き領域検出情報
１４４ 画質劣化動き領域検出情報
１５１ 超高輝度領域
１５２ 高輝度領域
１５３ 中期度領域
１５４ 低輝度領域
２０１ 画像合成部
２０２ 動き領域検出部
２０３ フレームメモリ
２０５ 合成前画像比較部
２０６ 過検出除去部
２０７ 選択画像比較部
２０８ 画質劣化領域検出部
２０９ 出力値有効領域検出部
２１０ 動き領域検出部ｂ
２１１ 検出結果統合部
３０１〜３０３ 相関検出部
３１０ 検出結果統合部

Claims (13)

1. 異なる露光時間の撮影画像を合成して合成画像を生成する画像合成部と、
   前記画像合成部の生成した複数の合成画像の比較処理を行い、画素値差分を取得して、該画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である画素領域を被写体の動きが発生したと推測される動き領域であると判定する動き領域検出処理を実行する動き領域検出部と、
   を有する画像処理装置。
2. 前記画像合成部は、
   異なる露光時間の撮影画像を１枚入力する毎に、新規入力画像と、入力済みの異なる露光時間の撮影画像を組み合わせて合成画像を生成する構成であり、
   前記動き領域検出部は、
   前記画像合成部の生成する連続する２つの合成画像の対応画素の画素値を比較して動き領域検出処理を実行する請求項１に記載の画像処理装置。
3. 前記画像処理装置は、さらに、
   前記合成画像の生成元である被合成画像間の対応画素の出力値を比較し、被合成画像画素値差分を取得する合成前画像比較部と、
   前記動き領域検出部が検出した動き領域の対応画素について、前記被合成画像画素値差分と予め設定した第２閾値との比較を行い、前記被合成画像画素値差分が第２閾値未満である画素領域を動き領域には該当しないと判定する過検出除去部を有する請求項１または２に記載の画像処理装置。
4. 前記画像処理装置は、さらに、
   前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像上の隣接画素に異なる露光時間の撮影画像の画素が設定された画素領域を画質劣化領域であると判定し、
   前記動き領域検出部の検出した動き領域であり、かつ前記画質劣化領域である画素領域を画質劣化動き領域として抽出した画質劣化動き領域検出情報を出力する画質劣化領域検出部を有する請求項１または２に記載の画像処理装置。
5. 前記画像処理装置は、さらに、
   前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像の各画素について被合成画像の画素値を取得し、被合成画像の画素値が０近傍または飽和値近傍にある場合、この画素領域を出力値の有効性が低いと判定する出力値有効領域検出部と、
   前記出力値有効領域検出部の検出した出力値の有効性が低い画素領域を画質劣化の可能性の高い画質劣化領域であると判断し、前記動き領域検出部の検出した動き領域であり、かつ前記画質劣化領域である画素領域を画質劣化動き領域として抽出した画質劣化動き領域検出情報を出力する画質劣化領域検出部を有する請求項１または２に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像に利用された画素が長時間露光画像の画素であり、かつ当該画素に対応する短時間露光画像の画素値が０近傍にない有効画素値を有する画素を動き領域であると判定する第２動き領域検出部を有し、
   前記動き領域検出部が動き領域であると判定し、かつ前記第２動き領域検出部が動き領域として判定した領域を最終的な動き領域とした動き領域検出情報を出力する検出結果統合部を有する請求項１または２に記載の画像処理装置。
7. 異なる露光時間の撮影画像を合成して合成画像を生成する画像合成部と、
   前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像の各画素について被合成画像の画素値を取得し、被合成画像の画素値が０近傍または飽和値近傍にある場合、この画素領域を出力値の有効性が低いと判定し、該領域を画質劣化の可能性の高い画質劣化領域として明示した画質劣化領域検出情報を出力する出力値有効領域検出部を有する画像処理装置。
8. 異なる露光時間の撮影画像を合成して合成画像を生成する画像合成部と、
   前記合成画像の生成元である被合成画像の画素対応選択情報を利用して、合成画像に利用された画素が長時間露光画像の画素であり、かつ当該画素に対応する短時間露光画像の画素値が０近傍にない有効画素値を有する画素を動き領域であると判定し、動き領域を明示した動き領域検出情報を出力する動き領域検出部を有する画像処理装置。
9. 異なる露光時間の撮影画像の対応画素の画素値差分と、予め規定した相関情報との差分を算出し、該差分が予め規定した閾値より大きい場合に動き領域であると判定する検出部を有する画像処理装置。
10. 前記相関情報は、比較対象とする異なる露光時間の画像の出力値の相関に基づいて作成された相関情報である請求項９に記載の画像処理装置。
11. 前記画像処理装置は、さらに、
    異なる露光時間の撮影画像を撮影する撮像デバイスと、
    請求項１〜１０いずれかに記載の画像処理を実行する画像処理部を有する撮像装置。
12. 画像処理装置において実行する画像処理方法であり、
    画像合成部が、異なる露光時間の撮影画像を合成して合成画像を生成する画像合成ステップと、
    動き領域検出部が、前記画像合成部の生成した複数の合成画像の比較処理を行い、画素値差分を取得して、該画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である画素領域を被写体の動きが発生したと推測される動き領域であると判定する動き領域検出処理を実行する動き領域検出ステップと、
    を有する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    画像合成部に、異なる露光時間の撮影画像を合成して合成画像を生成させる画像合成ステップと、
    動き領域検出部に、前記画像合成部の生成した複数の合成画像の比較処理を行い、画素値差分を取得して、該画素値差分と予め設定した閾値との比較を行い、画素値差分が閾値以上である画素領域を被写体の動きが発生したと推測される動き領域であると判定する動き領域検出処理を実行させる動き領域検出ステップと、
    を有するプログラム。

Images