JP2014030073A

JP2014030073A - 画像処理装置、および画像処理方法、並びにプログラム

Info

Publication number: JP2014030073A
Application number: JP2012169190A
Authority: JP
Inventors: Satoru Takeuchi; 悟竹内
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-07-31
Filing date: 2012-07-31
Publication date: 2014-02-13
Also published as: WO2014020970A1

Abstract

【課題】長時間露光画素と短時間露光画素からなる単一画像の解析により動体領域を検出する装置、方法を提供する。
【解決手段】長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する信号処理部を有する。信号処理部は、入力画像の注目画素の近傍における明暗パターンと、長時間露光画素と短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に注目画素は動体領域であると判定する。信号処理部は、さらに、長時間露光画素と前記短時間露光画素の画素値合成処理により高ダイナミックレンジ画像を生成する場合、動体領域と動体領域でない領域とで異なる態様の画素値合成処理を実行する。
【選択図】図１０

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、撮像装置によって撮影された画像内の動き領域を検出する画像処理装置、および画像処理方法、並びにプログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサのような固体撮像デバイスは入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行い、蓄積電荷量に応じた画素値からなる画像を生成する。

しかし、撮影期間内に被写体の動きが発生した場合や手ぶれがあると、被写体像が流れた不鮮明な画像になってしまう。
昨今、低輝度領域から高輝度領域まで高精度な画素値を設定した高ダイナミックレンジ（ＨＤＲ：ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）画像を生成する撮像装置（カメラ）が提案されている。

高ダイナミックレンジ（ＨＤＲ）画像は、例えば、短時間露光画像と長時間露光画像の複数の画像の合成、または、１枚の撮影画像中に設定された長時間露光画素と、短時間露光画素の画素合成によって生成される。

図１は、短時間露光画像と長時間露光画像の複数の画像の合成による高ダイナミックレンジ（ＨＤＲ）画像の生成処理構成を示す図である。
２つの異なる露光時間に設定して長時間露光画像１１と短時間露光画像１２を連続撮影する。合成部２０において、これらの２つの画像の対応画素の画素値をブレンドして出力画像としての高ダイナミックレンジ（ＨＤＲ）画像２１の画素値を決定する。

例えば、高ダイナミックレンジ（ＨＤＲ）画像２１の画素値Ｄ（ＨＤＲ）は、
長時間露光画像１１と短時間露光画像１２の対応画素の画素値をそれぞれＤ（Ｌ）、Ｄ（Ｓ）としたとき、以下の式によって算出される。
Ｄ（ＨＤＲ）＝（１−α）×Ｄ（Ｌ）＋α×Ｄ（Ｓ）×（ＧＡＩＮ）
ただし、
Ｄ（Ｌ）は、長時間露光画像の画素値、
Ｄ（Ｓ）は、短時間露光画像の画素値、
ＧＡＩＮは、長時間露光画像と短時間露光画像との露光時間比（露光比）、
αは、ブレンド比率、
である。
上記式に従った画素値算出処理はαブレンド処理と呼ばれる。

例えば高輝度画素領域等、長時間露光画像の画素値が飽和しているような画素領域では、上記のαブレンド処理において、長時間露光画像の画素値を利用しない、あるいは長時間露光画像の画素値のブレンド比率を低下させて、出力画像である高ダイナミックレンジ（ＨＤＲ）画像２１の画素値Ｄ（ＨＤＲ）を算出する。

また、低輝度領域においては、上記のαブレンド処理において、短時間露光画像の画素値を利用しない、あるいは長時間露光画像の画素値のブレンド比率を増加させる。
このような処理を実行して、合成画像を生成することで、低輝度領域へ高輝度領域までより精度の高い画素値を設定した高ダイナミックレンジ（ＨＤＲ）画像を生成することが可能となる。

図２は、１枚の撮影画像中に設定された長時間露光画素と、短時間露光画素の画素合成による高ダイナミックレンジ（ＨＤＲ）画像の生成処理構成を示す図である。
撮影画像３０には長時間露光画素と短時間露光画素が所定の画素領域単位で設定される。
図２に示す例は、ベイヤ（Ｂａｙｅｒ）配列を持つ撮像素子において、２行単位で長時間露光画素と短時間露光画素を交互に設定した例である。なお、長時間露光画素と短時間露光画素の設定構成は、１行おきなど、その他の様々な設定が可能である。

合成部４０は、撮影画像３０に含まれる近傍領域の長時間露光画素と短時間露光画素の画素値をブレンドして出力画像の画素値を算出して、高ダイナミックレンジ（ＨＤＲ）画像４１を生成する。
例えば、図に示す２つのＲ画素、すなわち長時間露光画素Ｒ３１と、短時間露光画素Ｒ３２を利用して高ダイナミックレンジ（ＨＤＲ）画像４１の１つのＲ画素値を決定する。

なお、撮影画像３０に含まれる複数画素に基づいて高ダイナミックレンジ（ＨＤＲ）画像４１の１つの画素値を決定するため、出力する高ダイナミックレンジ（ＨＤＲ）画像４１の画素数は、撮影画像３０の画素数より少なくなる。

この１枚の撮影画像３０を利用した高ダイナミックレンジ（ＨＤＲ）画像４１の画素値Ｄ（ＨＤＲ）の算出処理も、先に図１を参照して説明したブレンド処理と基本的に同様の処理として実行される。すなわち、
高ダイナミックレンジ（ＨＤＲ）画像４１の画素値Ｄ（ＨＤＲ）は、ブレンド対象となる長時間露光画素と短時間露光画素の画素値をそれぞれＤ（Ｌ）、Ｄ（Ｓ）としたとき、以下の式によって算出される。
Ｄ（ＨＤＲ）＝（１−α）×Ｄ（Ｌ）＋α×Ｄ（Ｓ）×（ＧＡＩＮ）
ただし、
Ｄ（Ｌ）は、長時間露光画素の画素値、
Ｄ（Ｓ）は、短時間露光画素の画素値、
ＧＡＩＮは、長時間露光画素と短時間露光画素との露光時間比（露光比）、
αは、ブレンド比率、
である。

しかし、このような画像合成を行なう場合、長時間露光画像、または長時間露光画素領域は、被写体の動きや手ぶれの影響が大きくなり、画像合成によって生成する画像が不鮮明になるという問題が発生する。

この問題を解決するためには、動き領域を検出し、動き領域については、長時間露光画像や長時間露光画素の画素値を利用しない、あるいはブレンド比率を低下させるといった処理を行なうことが有効であると考えられる。
動被写体検出処理等、動き領域の検出は、複数の連続撮影画像を利用すれば、比較的容易に行うことができる。しかし、一枚の画像から動き領域を検出することは容易ではない。

撮像装置（カメラ）によって撮影された画像からの動被写体検出処理を開示した従来技術として、例えば特許文献１（特開平８−９８０７９号公報）がある。
この特許文献１は、複数の連続撮影された画像フレームの同一座標の画素値の差分に基づく動き検出処理手法を開示している。具体的には、特徴的な輝度や色の画素を選択し、さらに選択画素から輝度の変化分が所定の閾値以上の画素を抽出してこの抽出画素領域を動き領域であると判定する処理を開示している。
しかし、この動き検出手法を行うためには、複数の連続撮影画像を取得することが必須となる

また、特許文献２（特開２０１２−１９３３７号公報）、特許文献３（特開２０１２−８９７５号公報）には、連続撮影された画像フレームの対比に基づく動きベクトルの算出構成を開示している。
このように、複数の連続撮影画像を利用して、各画像の比較を行うことで動き領域を検出する構成については様々な従来技術の開示がある。

上述した高ダイナミックレンジ（ＨＤＲ）画像の生成処理において、長時間露光画像と短時間露光画像の２つの画像を個別に撮影する構成であれば、上述の従来技術、すなわち複数の連続撮影画像を利用した動き検出処理を適用することができる。

しかし、１枚の撮影画像に短時間露光画素と長時間露光画素を設定して、これらの異なる露光時間の画素値の合成（ブレンド）によって高ダイナミックレンジ（ＨＤＲ）画像を生成する構成では、取得画像が１枚の画像しかなく、上記の複数の連続撮影画像を利用した動き検出処理を適用することはできない。

図３は、複数画像または単一画像を利用した動き領域判定処理の例を説明する図である。図３には以下の各処理例を示している。
（Ａ）複数の画像フレームに基づく動き領域判定処理例、
（Ｂ）単一画像フレームに基づく動き領域判定処理例、

図３（Ａ）に示すグラフは、
横軸に長時間露光画像の画素値、縦軸に連続撮影された短時間露光画像の画素値を示している。
これらはブレンド対象となる対応座標位置の画素値である。なお、短時間露光画像の画素値は、露光比に基づくゲイン調整後の画素値である。
長時間露光画像と、短時間露光画像の対応座標位置の画素に同一被写体を撮影されている場合、これらの画素値は等しくなるはずである。このラインが図に示すラインＬ１である。

しかし、短時間露光画像と長時間露光画像の撮影の間に被写体が動いた場合などには、これら２つの画像の対応座標位置の画素値は異なってくる。すなわち対応座標位置の画素値に差分が発生する。
図３（Ａ）に示す例では、ラインＬ１から、所定の許容ノイズレベルを考慮し、この許容ノイズレベル内である場合は、動被写体領域とは判定せず、許容ノイズレベルの外側の領域、すなわち図に示す斜線領域を動体領域５１として判定している。

このように、複数の連続撮影画像を利用した処理では、同一被写体を撮影したと判断される対応画素領域間の画素素値比較を行うことで、精度の高い動体領域判定が可能となる。

しかし、１枚の撮影画像内に長時間露光画素と短時間眼項画素を設定した撮影画像に基づいて合成画像を生成する構成では、先に図２を参照して説明したように、ブレンド対象となる長時間露光画素と短時間露光画素は、異なる座標位置の画素となる。

図３（Ｂ）は、このような単一画像フレームを利用した場合に、図３（Ａ）と同様の動体検出処理を行なった場合の問題点を説明する図である。
図３（Ａ）と同様、横軸に長時間露光画素の画素値、縦軸に短時間露光画素の画素値を示している。
これらはいずれも一枚の撮影画像内のブレンド対象となる複数の画素の画素値である。なお、短時間露光画素の画素値は、露光比に基づくゲイン調整後の画素値である。

単一画像フレームを適用した場合、ブレンド対象となる長時間露光画素と、短時間露光画素は、異なる座標位置の画素である。
平坦な画像領域であれば、わずかな座標位置のずれによって、画素値が異なることはなく、ブレンド対象となる長時間露光画素と短時間露光画素の画素値は等しくなる。このラインが図に示すラインＬ１である。

図３（Ａ）に示すと同様のノイズを考慮した判定を行なえば、ラインＬ１から許容ノイズレベル内である場合は、動被写体領域とは判定せず、許容ノイズレベルの外側の領域、すなわち図に示す斜線領域を動体領域５２として判定することになる。

しかし、単一画像フレームを適用した場合、ブレンド対象となる長時間露光画素と、短時間露光画素は、異なる座標位置の画素である。したがって、画像が例えば模様のある領域や輝度変化が激しい領域といったテクスチャ領域である場合には、動きがない領域であっても、ブレンド対象となる長時間露光画素と、短時間露光画素は、異なる画素値を示すことがある。

このようなテクスチャ領域では、ブレンド対象となる長時間露光画素と、短時間露光画素の画素値の差分が大きくなり、図３（Ｂ）に示す動体領域５２に含まれることになる。
すなわち、図３（Ｂ）に示すようにブレンド対象となる長時間露光画素と短時間露光画素の画素値差分に基づいて動き判定を行なうと、動きのない静止物の撮影領域でも、動きのある動体領域であると判定してしまう誤判定が行われる可能性がある。

このように、１つの撮像画像内に長時間露光画素と短時間露光画素を設定した画像では、短時間露光画素と長時間露光画素の差分は、同一座標の画素値差分とならないため、図３（Ｂ）のように動体とテクスチャの区別ができない。

特開平８−９８０７９号公報特開２０１２−１９３３７号公報特開２０１２−８９７５号公報

本開示は、例えばこのような状況に鑑みてなされたものであり、一枚の撮影画像を利用した動被写体領域の判定をより高精度に実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、本開示の一実施例においては、一枚の撮影画像を利用した動被写体領域の判定をより高精度に実行し、この動被写体領域判定結果を利用して動被写体の影響を低減した品質の高い高ダイナミックレンジ画像の生成を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する信号処理部を有し、
前記信号処理部は、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記撮像素子は、長時間露光画素と短時間露光画素を一定方向に交互に配列した構成を有し、前記信号処理部は、前記入力画像の注目画素の近傍における明暗パターンの周期と、前記長時間露光画素と前記短時間露光画素の周期との整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記入力画像の注目画素の近傍における露光比調整後の長時間露光画素と短時間露光画素の画素値が、長時間露光画素の画素値が高く、短時間露光画素の画素値が低いパターン、または、長時間露光画素の画素値が低く、短時間露光画素の画素値が高いパターンのいずれかの明暗パターンを示している場合に、前記注目画素は動体領域であると判定する。

さらに、本開示の画像処理装置の一実施態様において、前記撮像素子は、長時間露光画素と短時間露光画素を垂直方向に２行単位で交互に配列した構成を有し、前記信号処理部は、前記２行単位で短時間露光画素と長時間露光画素を設定して撮影されたダブルラインＳＶＥ（ＳｐａｔｉａｌｌｙＶａｒｙｉｎｇＥｘｐｏｓｕｒｅ）画像を入力して、該入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記長時間露光画素と前記短時間露光画素の画素値合成処理により出力画像を生成する構成を有し、動体領域であると判定された領域に対する画素値合成処理態様と、動体領域でないと判定した領域とで異なる態様の画素値合成処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記長時間露光画素と前記短時間露光画素の画素値合成処理により高ダイナミックレンジ画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、合成処理対象画素である注目画素に含まれる長時間露光画素の画素値に基づいて、予め規定したアルゴリズムに従って長時間露光画素と短時間露光画素のブレンド比率を算出し、算出したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記撮像素子は、ＲＧＢ画素によって構成されるベイヤ配列を持つ撮像素子であり、前記信号処理部は、合成処理対象画素である注目画素が、動体領域であり、かつＲ画素またはＢ画素である場合に、該注目画素に隣接するＧ画素の画素値を適用して、長時間露光画素と短時間露光画素のブレンド比率を算出し、合成処理対象画素である注目画素が、動体領域でない場合、または、Ｇ画素である場合に、該注目画素の画素値を適用して長時間露光画素と短時間露光画素のブレンド比率を算出し、算出したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記撮像素子は、ＲＧＢ画素によって構成されるベイヤ配列を持つ撮像素子であり、前記信号処理部は、合成処理対象画素である注目画素が、動体領域であり、かつＲ画素またはＢ画素である場合に、該注目画素に隣接するＧ画素の画素値を適用して、長時間露光画素と短時間露光画素のブレンド比率を算出し、合成処理対象画素である注目画素が、動体領域でなく、かつテクスチャ領域でない場合、または、該注目画素が、動体領域でなく、テクスチャ領域であるが飽和画素を含む場合、または、該注目画素が、動体領域であり、かつＧ画素である場合に、該注目画素の画素値を適用して長時間露光画素と短時間露光画素のブレンド比率を算出し、合成処理対象画素である注目画素が、動体領域でなく、かつテクスチャ領域であり、かつ、飽和画素を含まない場合に、予め規定した固定ブレンド比率を取得し、算出または取得したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記予め規定した固定ブレンド比率は、画素合成処理によって生成する合成画素の画素値対応の重心位置を、長時間露光画素と短時間露光画素を交互に配列した方向に従って均等に設定するブレンド比率であり、ジャギー低減効果を奏するブレンド比率である。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
信号処理部が、長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する動体検出ステップを実行し、
前記動体検出ステップは、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定するステップである画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
信号処理部に、長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出させる動体検出ステップを実行させ、
前記動体検出ステップは、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定するステップであるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素からなる単一画像の解析により動体領域を検出する装置、方法が実現される。
具体的には、長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する信号処理部を有する。信号処理部は、入力画像の注目画素の近傍における明暗パターンと、長時間露光画素と短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に注目画素は動体領域であると判定する。
信号処理部は、さらに、例えば長時間露光画素と前記短時間露光画素の画素値合成処理により高ダイナミックレンジ画像を生成する。この合成処理において、動体領域と動体領域でない領域とで異なる態様の画素値合成処理を実行する。
これらの処理により、単一画像を利用した動被写体検出を簡便に行うことが可能となる。また、動体検出結果を長時間露光と短時間露光のブレンド比率算出方法の切り替えに使用し、動体部の偽色等のアーティファクトの発生を抑制し、ＳＮを向上させジャギーを低減させた品質の高い高ダイナミックレンジ画像等の合成画像を生成することが可能となる。

複数画像に基づく高ダイナミックレンジ画像生成処理について説明する図である。単一画像に基づく高ダイナミックレンジ画像生成処理について説明する図である。動き領域判定処理と問題点について説明する図である。本開示の画像処理装置の構成例について説明する図である。本開示の画像処理装置の信号処理部の構成について説明する図である。撮撮像素子の構成例について説明する図である。撮像素子の露光制御構成について説明する図である。本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。本開示の画像処理装置の画素合成部の実行する処理について説明する図である。本開示の画像処理装置の画素合成部の実行する合成処理のシーケンスを説明するフローチャートを示す図である。画素合成部の実行する動体判定処理に適用するデータについて説明する図である。画素合成部の実行する動体判定処理について説明する図である。画素合成部の実行する動体判定処理について説明する図である。画素合成部の実行する動体判定処理について説明する図である。画素合成部の実行する動体判定処理について説明する図である。画素合成部の実行する動体判定処理について説明する図である。画素合成部の実行する画素合成処理について説明する図である。画素合成部の実行する画素合成処理に適用する閾値について説明する図である。画素合成部の実行する画素合成処理のシーケンスを説明するフローチャートを示す図である。画素合成部の実行するテクスチャ判定処理について説明する図である。画素合成部の実行する画素飽和判定処理について説明する図である。画素合成部の実行するジャギー解消のために適用する固定ブレンド比率について説明する図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログ
ラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．単一画像からの動被写体領域検出と高ダイナミックレンジ（ＨＤＲ）画像生成処理を行なう実施例（第１実施例）について
１−Ａ．第１実施例における動被写体領域検出情報と位相に応じたブレンド比率算出処理について
２．ジャギー低減を実現する実施例（第２実施例）について
３．その他の実施例について
４．本開示の構成のまとめ

［１．単一画像からの動被写体領域検出と高ダイナミックレンジ（ＨＤＲ）画像生成処理を行なう実施例（第１実施例）について］
まず、本開示の画像処理装置の第１実施例として、単一画像からの動被写体領域検出と高ダイナミックレンジ（ＨＤＲ）画像生成処理を行なう実施例について説明する。

図４に、本開示の画像処理装置の一構成例である撮像装置１００の構成例を示す。
図４は、撮像装置の構成例を示すブロック図である。光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。出力画像データは信号処理部１０３に入力される。信号処理部１０３は、例えば、以下に説明する画素合成処理を実行し、さらに、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像１２０を生成する。出力画像１２０は図示しない記憶部に格納される。あるいは表示部に出力される。

制御部１０５は、例えば図示しないメモリに格納されたプログラムに従って各部に制御信号を出力し、各種の処理の制御を行う。

次に、信号処理部１０３の構成例について図５を参照して説明する。
図５は、本開示の一実施例の信号処理部１０３の構成を示す図である。
信号処理部１０３は、図５に示すように画素合成部１５１、後段信号処理部１５２、出力部１５３を有する。

画素合成部１５１は、撮像素子１０２から入力する画素信号の合成処理を実行する。
後段信号処理部１５２は、ホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行する。
出力部１５３は、これらの信号処理のなされた処理画像を出力画像１２０として出力する。

なお、本例では、画素合成部１５１を、撮後段信号処理部１５２と一体となった信号処理部１０３内に設定した構成として説明するが、画素合成部１５１は、撮像素子１０２と一体とした撮像デバイス内に構成してもよい。

撮像素子１０２は、多数の画素各々に被写体光に基づく電荷を蓄積し画像データを出力する。なお、撮像素子１０２は、長時間露光を行う高感度画素と、短時間露光を行う低感度画素を有する構成となっている。

画素合成部１５１は、長時間露光画素の画素値と、短時間露光画素の画素値の合成（ブレンド）処理を実行する。例えば、４つの画素信号に基づいて出力画像の１つの画素値を算出する。このような画素値合成処理を実行して画素数を削減した高ダイナミックレンジ（ＨＤＲ）画像を生成する。

以下では、一例として、撮像素子１０２が図６に示すようなＲＧＢ配列、すなわちベイヤ（Ｂａｙｅｒ）配列を持つＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである場合の処理例について説明する。

さらに、撮像素子１０２は、図７に示すように２行毎に異なる露光時間の画素、すなわち短時間露光画素と長時間露光画素を有する構成である。
この画素単位の露光時間制御は制御部１０５の制御によって実行される。

図７に示すグレー領域が短時間露光画素領域であり、白領域が長時間露光画素領域である。
各矩形領域が１つの画素を示し、例えば左上端の画素として示す［ＧＳ００］の各パラメータは以下の意味を有する。
Ｇは、Ｇ画素であることを示す。
Ｓは、短時間露光画素であることを示す。
００の前の０は、短時間露光画素の行番号（上から０，１，２，３，・・・）、後の０は列番号（左から０，１，２，３，・・・）である。

同様に、例えば左端の上から４番目の画素［ＢＬ１０］の各パラメータは以下の意味を有する。
Ｂは、Ｂ画素であることを示す。
Ｌは、長時間露光画素であることを示す。
１０の前の１は、長時間露光画素の行番号（上から０，１，２，３，・・・）、後の０は列番号（左から０，１，２，３，・・・）である。

以下の実施例では、図７に示すように２行単位で短時間露光画素と長時間露光画素を設定して撮影された画像に対する処理例を説明する。
なお、この２行単位で短時間露光画素と長時間露光画素を設定して撮影された画像を「ダブルラインＳＶＥ（ＳｐａｔｉａｌｌｙＶａｒｙｉｎｇＥｘｐｏｓｕｒｅ）画像」と呼ぶ。

本実施例の画像処理装置は、このように短時間露光画素と長時間露光画素が設定されたＳＶＥ画像を入力し、画像に含まれる長時間露光画素と短時間露光画素をブレンドして、低輝度領域から高輝度領域までより精度の高い画素値を設定した高ダイナミックレンジ（ＨＤＲ）画像を生成して出力する。

なお、生成する高ダイナミックレンジ（ＨＤＲ）画像は、画素ブレンド処理によって、撮像時の画素数より少ない画素数の画像となる。以下に説明する実施例では、画像処理装置の生成する高ダイナミックレンジ（ＨＤＲ）画像の画素数は、水平垂直両方向とも、撮像画像の半分の画素数とする。

なお、長時間露光画素と短時間露光画素をブレンドして、高ダイナミックレンジ（ＨＤＲ）画像を生成する基本的な処理としては、本出願人が先に出願した特開２０１２−１０５２２５号公報に記載の処理と同様の処理が適用可能である。

図８は、画素合成部１５１において実行する画素合成処理の処理シーケンスを説明するフローチャートである。
図８に示す処理は、例えば図５に図示しないメモリに格納されたプログラムに従った制御部１０５の制御の下、画素合成部１５１において実行される。
図８に示すフローの各ステップの処理について説明する。

まず、ステップＳ１０１において、図７を参照して説明した２行単位に長時間露光画素と短時間露光画素が設定されたダブルラインＳＶＥ画像を入力する。
この画像は、例えば図６、図７を参照して説明した構成を持つＣＭＯＳ撮像素子の撮影画像である。

次に、ステップＳ１０２において、ダブルラインＳＶＥ画像に含まれる長時間露光画素と短時間露光画素をブレンドする合成処理（ブレンド処理）を実行する。
本実施例において、この合成処理は、垂直ラインにある同一色の長時間露光画素と短時間露光画素のブレンド処理として実行する。

なお、この合成処理は、ブレンド対象とする注目画素領域が動く被写体領域を含む画素領域、すなわち注目画素が動被写体領域であるか否かを判定し、その判定結果に応じて異なる態様で算出したブレンド比率を適用して実行する。具体例については後述する。

次に、ステップＳ１０３において、ステップＳ１０２における合成処理によって生成した中間データの水平方向の同一色画素の加算平均処理を行なう。
ステップＳ１０４において、ステップＳ１０２の合成処理とステップＳ１０３の水平加算処理によって決定した画素値を持つ高ダイナミックレンジ（ＨＤＲ）画像を出力する。

図９を参照して、ステップＳ１０２の合成処理と、ステップＳ１０３の水平加算処理の具体例について説明する。
図９には、以下の３つのデータを示している。
（１ａ）撮像データ
（１ｂ）中間データ
（１ｃ）出力データ

（１ａ）撮像データは撮像素子の撮像データであり、ベイヤ配列において行毎に露光時間を変更した場合に撮影される画像を示している。
白い部分が長時間露光画素であり、グレー部分が短時間露光画素を示している。

（１ａ）撮像データ中のＧＬｘｙ，ＲＬｘｙ，ＢＬｘｙは、それぞれＧＲＢ各色の長時間露光画素信号、ＧＳｘｙ，ＲＳｘｙ，ＢＳｘｙは、それぞれＧＲＢ各色の短時間露光画素信号を示している。例えば、ＧＳｘｙ、ＧＬｘｙ等のｘｙ座標として示しており、垂直下方向をｘ、水平右方向をｙとした座標（ｘ，ｙ）を適用している。
なお座標ｘ，ｙは、短時間露光画素の集合単位、長時間露光画素の集合単位で個別に設定している。

例えば（１ａ）撮像データ中のＧＳ００は、Ｇ画素の短時間（Ｓ）露光画素であり、短時間露光画素の座標位置（０，０）、すなわち、短時間露光画素中の上から第０行、左から第０列の短時間露光画素である。
ＧＬ００は、Ｇ画素の長時間（Ｌ）露光画素であり、長時間露光画素の座標位置（０，０）、すなわち、長時間露光画素中の上から第０行、左から第０列の長時間露光画素である。

（１ｂ）中間データ中のＧＷｘｙ，ＲＷｘｙ，ＢＷｘｙは、（１ａ）撮像データに含まれる長時間露光画素と短時間露光画素の合成処理（図８に示すフローのステップＳ１０２の処理）によって生成された画素信号を示している。
（１ｃ）出力データのＧｘｙ，Ｒｘｙ，Ｂｘｙは、（１ｂ）中間データの画素信号の水平加算処理（図８に示すフローのステップＳ１０３の処理）によって生成される画素信号を表している。

図９の（１ａ）撮像データに示すように、本例では２行単位で長時間露光画素と短時間露光画素が交互に設定される。
なお、この露光時間制御は例えば制御部１０５の制御に基づいて実行される。
図９（１ａ）に示す撮像データは、図５に示す撮像素子１０２の画素部を構成する一部画素領域である４×６の画素領域を示している。

図９（１ｂ）に示す中間データは、（１ａ）撮像データに基づいて、画素情報合成部１６２の生成する中間データを示している。
画素情報合成部１６２は、図８に示すフローのステップＳ１０２において、（１ａ）撮像データに基づいて、図９（１ｂ）に示す中間データを算出する。

ステップＳ１０２の合成処理では、同一の座標情報を持つ画素同士をブレンド対象とする。
すなわち、例えば短時間露光画素ＧＳ００と長時間露光画素ＧＬ００の２画素をブレンドして合成画素値を算出する。
同様に、短時間露光画素ＲＳ０１と長時間露光画素ＲＬ０１の２画素をブレンドして合成画素値を算出する。
以下同様である。

例えば、図９（１ｂ）中間データの左上端に示すＧＷ００の画素値（ＧＷ００）は、（１ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式（式１）に従って算出する。
ＧＷ００＝（１−α）×ＧＬ００＋α×ＧＳ００×ＧＡＩＮ
・・・・・（式１）
上記式はαブレンドとよばれる合成処理である。

ただし、
ＧＬ００：長時間露光画素座標位置（０，０）の長時間露光画素であるＧ画素の画素値、
ＧＳ００：短時間露光画素座標位置（０，０）の短時間露光画素であるＧ画素の画素値、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。
なお、ここで、ブレンド比率αは、ブレンド対象とする画素の画素値や、ブレンド対象とする画素の画素領域が動き領域であるか否かに応じて調整される。

上記（式１）はＧ画素についてのみ示しているが、ＢＲ各画素についても同様である。すなわち、
Ｂ画素については短時間露光画素ＢＳと長時間露光画素ＢＬを適用して上記（式１）に従ったαブレンドを実行して、（１ｂ）中間データに示す合成画素値ＢＷを算出する。
Ｒ画素については短時間露光画素ＲＳと長時間露光画素ＲＬを適用して上記（式１）に従ったαブレンドを実行して、（１ｂ）中間データに示す合成画素値ＲＷを算出する。

さらに、図９（１ｃ）に示す出力データは、（１ｂ）中間データに基づいて、画素情報合成部１６２の生成する出力データを示している。
画素情報合成部１６２は、まず、（１ａ）撮像データに基づくブレンド処理によって（１ｂ）中間データを算出し、さらに、生成した中間データに基づいて（１ｃ）出力データを生成する。
（１ｃ）出力データは高ダイナミックレンジ画像として生成される出力データである。

（１ｂ）中間データから（１ｃ）出力データの生成処理における画素値算出処理は水平加算処理として実行する。すなわち、（１ｂ）中間データに含まれる同一水平行にある最近接同一色画素の画素値加算平均値を算出する水平加算処理によって行う。
具体的には、例えば、以下に示す１：１加算、または１：３／３：１加算のいずれかを適用する。
図９（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１の算出処理例について説明する。

（１：１加算）
１：１加算では、（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（ＧＷ００＋ＧＷ０２）／２
Ｒ０１＝（ＲＷ０１＋ＲＷ０３）／２

（１：３／３：１加算）
１：３または３：１加算では、（１ｃ）出力データに示す画素値Ｇ００，Ｒ０１は以下の式に従って算出する。
Ｇ００＝（３×ＧＷ００＋ＧＷ０２）／４
Ｒ０１＝（ＲＷ０１＋３×ＲＷ０３）／４

このように、図９に示す（１ｂ）中間データから（１ｃ）出力データの生成処理において、出力データの画素値は、中間データの同一行の同一色の画素の画素値を合成（ブレンド）する処理によって行われる。
上記の（１：１加算）は、２つの画素の平均値の算出であり、（１：３加算）は距離に応じた重み付け加算である。
これらのいずれかの処理によって、図９に示す（１ｂ）中間データから、（１ｃ）出力データを生成する処理を行う。

［１−Ａ．動被写体領域検出情報と位相に応じたブレンド比率算出処理について］
次に、図８に示すフローチャートのステップＳ１０２の処理、すなわち、動体領域判定結果に基づくブレンド比率を適用した長時間露光画素と短時間露光画素の合成処理の詳細について説明する。

図１０は、図８に示すフローチャートのステップＳ１０２の処理の詳細シーケンスを示すフローチャートである。
まず、ステップＳ１５１において、ブレンド対象画素（注目画素）とその近傍領域画素の画素値を入力する。
入力画素は、ブレンド対象となる短時間露光画素と長時間露光画素、さらに、もう１つの短時間露光画素の画素値とする。
具体的には、図１１に示すように、例えば、ブレンド対象とする画素が、
短時間露光画素ＧＳ００と、
長時間露光画素ＧＬ００、
である場合、さらに、この長時間露光画素ＧＬ００に近接する同色の短時間露光画素ＧＳ２０、これらの画素とする。

ステップＳ１５１では、このように、入力画素として、ブレンド対象となる長時間露光画素と、その長時間露光画素に近接する２つの同色の短時間露光画素を入力する。

次に、ステップＳ１５２において、ブレンド対象となる注目画素の画素領域が動被写体領域である可能性が高い領域であるか否かを判定する。

以下、ブレンド対象となる注目画素が動被写体領域である可能性が高いか否かの判定処理の具体的処理の詳細について説明する。
まず、図１２を参照して、画像撮影時における長時間露光画素と短時間露光画素の画素値の時間推移について説明する。
図１２は、図１１に示す撮像データに含まれる長時間露光画素と短時間露光画素の露光時間と、各画素の画素値の時間推移、すなわち各画素に蓄積される電荷量との対応関係を示すグラフである。

図１２に示すグラフは横軸に時間、縦軸に画素値を示している。
長時間露光画素は時間ＴＬ＝ｔ０〜ｔ１が露光時間として設定され、短時間露光画素は時間ＴＳ＝ｔ１〜ｔ２が露光時間として設定される。
長時間露光画素の露光開始タイミング（ｔ０）と短時間露光画素の露光開始タイミング（ｔ１）は、それぞれの露光時間の差（ＴＬ−ＴＳ）分だけずれることになる。

この露光開始タイミングのずれの間に撮影被写体に動きや変かがなく、長時間露光画素と短時間露光画素が全く同一の被写体を撮影していると仮定すると、短時間露光画素の画素値Ｄ（Ｓ）に露光比（ＧＡＩＮ）を乗算した露光比調整後の画素値、
Ｄ（Ｓ）×ＧＡＩＮ
は、長時間露光画素の画素値Ｄ（Ｌ）にほぼ等しくなる。
すなわち、
Ｄ（Ｌ）≒Ｄ（Ｓ）×ＧＡＩＮ
上記の関係式が成立する。
例えば長時間露光画素と短時間露光画素の露光比（ＧＡＩＮ）＝１６とすると、
Ｄ（Ｌ）≒Ｄ（Ｓ）×１６
上記の関係式が成立する。

しかし、撮影時間内に動く被写体がカメラの前を横切るなど、撮影画像内に動被写体が存在すると、上記の関係式が成立しなくなる。
すなわち、例えば明るい長時間露光画素の撮影開始タイミング（ｔ０）では明るい空を撮影しているにも関わらず、短時間露光画素の撮影開始タイミング（ｔ１）では暗い動被写体を撮影してしまったような場合である。

図１３、図１４に撮影画像に動被写体が含まれる場合の撮像素子の長時間露光画素と短時間露光画素の画素値出力例を示す。

図１３（１ａ）は、撮影期間（ｔ０〜ｔ２）に、例えば空などの明るい背景の前に黒い物体などの暗い被写体が通過した場合の長時間露光画素と短時間露光画素の画素値（蓄積電荷量）の推移を示している。
撮影開始時点（ｔ０）は、明るい状態であり、撮影終了時間（ｔ２）では暗い状態となっている。
長時間露光画素は、撮影開始時点（ｔ０）の明るい被写体によって画素値が急激に上昇し、露光期間の途中で飽和画素値（本例では１０２３）に達している。
一方、短時間露光画素は、短時間露光画素の露光開始時点（ｔ１）において、既に暗い状態となっているため、短時間露光画素の露光期間（ｔ１〜ｔ２）の露光処理による短時間露光画素の画素値は極めて低い状態となる。

具体的な画素値設定例を、図１３（１ｂ）に示す。
長時間露光画素は画素値＝１０２３、すなわち飽和画素値となり、明るい被写体を撮影した状況となっている。
一方、短時間露光画素は、画素値＝３〜５であり、極めて暗い被写体を撮影した状況となっている。

なお、ここに示す撮像素子は、長時間露光画素と短時間露光画素の露光比を１６としている。
前述したように、長時間露光画素と短時間露光画素が同一の被写体を撮影していると仮定すると、
Ｄ（Ｌ）≒Ｄ（Ｓ）×ＧＡＩＮ
上記式が成立する。
例えば長時間露光画素と短時間露光画素の露光比（ＧＡＩＮ）＝１６とすると、
Ｄ（Ｌ）≒Ｄ（Ｓ）×１６
上記の関係式が成立する。

しかし、図１３に示す例では、
Ｄ（Ｌ）≒１０２３
Ｄ（Ｓ）≒４
であり、露光比（ＧＡＩＮ）＝１６とした場合、上記の関係式に各値を当てはめると、
１０２３≠４×１６
となり、
Ｄ（Ｌ）≒Ｄ（Ｓ）×ＧＡＩＮ
上記の関係式が全く成立しない。

このように、明るい被写体の前を暗い被写体が横切ったような動被写体が存在すると、長時間露光画素の画素値と、その長時間露光画素に近接する短時間露光画素の露光比調整後の画素値との差分が大きくなる。すなわち、長時間露光画素の画素値に比較して、短時間露光画素の露光比調整後の画素値が極めて小さい値となる。
このような画素値パターンが検出された場合は、この画素領域は動被写体領域である可能性の高い領域と判定する。

図１４（２ａ）は、撮影期間（ｔ０〜ｔ２）に、例えば黒い壁などの暗い背景の前に白い物体などの明るい被写体が通過した場合の長時間露光画素と短時間露光画素の画素値（蓄積電荷量）の推移を示している。
あるいは、図１４（２ａ）は、時間（ｔ０）において図１３において説明した黒い物体などの暗い被写体が撮影され、時間（ｔ２）では、暗い被写体の通過後の空などの明るい背景が撮影された場合の長時間露光画素と短時間露光画素の画素値（蓄積電荷量）の推移を示している。

いずれにしても、撮影開始時点（ｔ０）は、暗い状態であり、撮影終了時間（ｔ２）では明るい状態となっている。
長時間露光画素は、撮影開始時点（ｔ０）の暗い被写体によって画素値がゆるやかに上昇し、露光期間の途中で次第に明るくなり画素値の上昇率が徐々に高くなっている。
一方、短時間露光画素は、短時間露光画素の露光開始時点（ｔ１）において、既に明るい状態となっているため、短時間露光画素の露光期間（ｔ１〜ｔ２）の露光処理による短時間露光画素の画素値は極めて高い状態となる。

具体的な画素値設定例を、図１４（２ｂ）に示す。
長時間露光画素は画素値＝７００〜８００、すなわち、比較的暗い被写体を撮影した状況となっている。
一方、短時間露光画素は、画素値＝１２０〜１２４であり、極めて明るい被写体を撮影した状況となっている。

しかし、図１４に示す例では、
Ｄ（Ｌ）≒７８０
Ｄ（Ｓ）≒１２２
であり、露光比（ＧＡＩＮ）＝１６とした場合、上記の関係式に各値を当てはめると、
７８０≠１２２×１６
となり、
Ｄ（Ｌ）≒Ｄ（Ｓ）×ＧＡＩＮ
上記の関係式が全く成立しない。

このように、暗い被写体の前を明るい被写体が横切ったような動被写体が存在すると、長時間露光画素の画素値と、その長時間露光画素に近接する短時間露光画素の露光比調整後の画素値との差分が大きくなる。すなわち、長時間露光画素の画素値に比較して、短時間露光画素の露光比調整後の画素値が極めて大きい値となる。
このような画素値パターンが検出された場合は、この画素領域は動被写体領域である可能性の高い領域と判定する。

図１３（１ｂ）の「各露光時間画素と画素値との対応」に示すように、
明るい被写体の前を暗い被写体が通過した場合は、
長時間露光画素の画素値が高い、明るい画素となり、
短時間露光画素の画素値が低い、暗い画素となる。

一方、図１４（２ｂ）の「各露光時間画素と画素値との対応」に示すように、
暗い被写体の前を明るい被写体が通過した場合は、
長時間露光画素の画素値が低い、暗い画素となり、
短時間露光画素の画素値が高い、明るい画素となる。
このように、動被写体が存在すると、明暗パターンが各露光時間の画素パターンに同期して現れる。
すなわち、長短露光画素の繰り返しと同じ周期（１／４ｆｓ）で明暗が切り替わることが分かる。なおｆｓはサンプリング周波数である。

図１０に示すフローのステップＳ１５２では、明暗パターンが、長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）と同じ周波数で検出されるか否かを判定し、検出された場合は、「注目画素領域は、動被写体領域である可能性が高い」と判定する。
一方、このような明暗パターンが検出されない場合は、「注目画素領域は、動被写体領域である可能性が低い」と判定する。

なお、明暗パターンは、静止被写体の模様などテクスチャに起因して発生する場合もある。
様々なテクスチャに対応する明暗パターンの例を図１５に示す。
図１５には、以下の異なるパターンの例を示している。
（ａ）長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）の２倍の周期（１／２ｆｓ）に対応する明暗パターン
（ｂ）長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）の周期に対応する明暗パターン
（ｃ）長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）の２／３倍の周期（１／６ｆｓ）に対応する明暗パターン
（ｄ）長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）の１／２倍の周期（１／８ｆｓ）に対応する明暗パターン
例えば、これらの様々な周期の明暗パターンが検出される可能性があるが、この中の（ｂ）に示すパターン、すなわち、長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）の周期に対応する明暗パターンが検出された場合にのみ、動被写体領域である可能性が高いと判定する。
これ以外の（ａ），（ｃ），（ｄ）のパターンが検出された場合は、静止物体のテクスチャである可能性が高く、動被写体領域の可能性が高いとの判定は行わない。

このように、図１０に示すステップＳ１５２においては、
「長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）に同期する明暗波が検出された場合、動体の可能性が高い」、
「長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）に同期する明暗波が検出されない場合、動体の可能性が低い」
と判定する。

このステップＳ１５２の動体可能性判定処理において適用する具体的な判定式について図１６を参照して説明する。
図５に示す撮像デバイスの画素情報合成部１６２は、ブレンド処理対象となる注目画素とその近傍画素を利用して図１６に示す動体判定フラグ（ｆｌｇ＿ｈｐｆ）を算出する。
例えばブレンド処理対象となる注目画素を、図１６に示す、
長時間露光画素Ｌ０と、
短時間露光画素Ｓ０とする。
長時間露光画素Ｌ０を挟む短時間露光画素Ｓ０と反対側の短時間露光画素Ｓ２とする。
Ｌ０，Ｓ０，Ｓ２をこれらの各画素の画素値とする。

まず、短時間露光画素の画素値Ｓ０，Ｓ２に露光比（ＧＡＩＮ）を乗じて露光比調整を行なう。露光比調整後の画素値をＨ０，Ｈ２とする。
Ｈ０＝ＧＡＩＮ×Ｓ０
Ｈ２＝ＧＡＩＮ×Ｓ２
である。

動体検出判定フラグ（ｆｌｇ＿ｈｐｆ）の値は以下の条件式を満たす場合は、
ｆｌｇ＿ｈｐｆ＝１、
すなわち注目画素は動被写体領域であると判定する。
（条件式）
（Ｈ０＞Ｌ０∧Ｌ０＜Ｈ２）∨（Ｈ０＜Ｌ０∧Ｌ０＞Ｈ２）
上記条件式が成立する場合は、動体検出判定フラグ（ｆｌｇ＿ｈｐｆ）の値＝１、すなわち注目画素領域が動被写体領域であると判定する。
上記条件式が成立しない場合は、動体検出判定フラグ（ｆｌｇ＿ｈｐｆ）の値＝０、すなわち注目画素領域が動被写体領域でないと判定する。

このように、画素合成部１５１は、入力画像の注目画素の近傍における明暗パターンと、長時間露光画素と短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に注目画素は動体領域であると判定する。
具体的には、入力画像の注目画素の近傍における露光比調整後の長時間露光画素と短時間露光画素の画素値が、
長時間露光画素の画素値が高く、短時間露光画素の画素値が低いパターン、または、
長時間露光画素の画素値が低く、短時間露光画素の画素値が高いパターンのいずれかの明暗パターンを示している場合に、注目画素は動体領域であると判定する。

ステップＳ１５２において、注目画素領域が動体領域であると判定した場合は、ステップＳ１５３に進む。
一方、ステップＳ１５２において、注目画素領域が動体領域でないと判定した場合は、ステップＳ１５５に進む。
ステップＳ１５５では、注目画素（Ｇ画素）の画素値を用いたブレンド比率αを算出する。

ステップＳ１５２において、注目画素領域が動体領域であると判定した場合、ステップＳ１５３に進み、ブレンド処理を実行しようとする注目画素がＲ画素またはＢ画素であるか否かを判定する。

ブレンド処理を実行しようとする注目画素がＲ画素またはＢ画素である場合、ステップＳ１５４に進み、注目画素に隣接するＧ画素の画素値を用いたブレンド比率αを算出する。
一方、ブレンド処理を実行しようとする注目画素がＲ画素またはＢ画素でなくＧ画素である場合、ステップＳ１５５に進み、注目画素（Ｇ画素）の画素値を用いたブレンド比率αを算出する。

ステップＳ１５４、ステップＳ１５５において実行するブレンド比率αの算出処理について図１７を参照して説明する。
長時間露光画素と短時間露光画素のブレンド処理、すなわち、図８のステップＳ１０２の処理、具体的には、図９を参照して説明した（１ａ）撮像データから（１ｂ）中間データを生成する際の合成処理においては、短時間露光画素と長時間露光画素の２画素をブレンドして合成画素値を算出する。

例えば、図９（１ｂ）中間データの左上端に示すＧＷ００の画素値（ＧＷ００）は、（１ａ）撮像データに含まれる複数の画素の画素値と、ブレンド比率αを適用した以下の算出式（式１）に従って算出する。
ＧＷ００＝（１−α）×ＧＬ００＋α×ＧＳ００×ＧＡＩＮ
・・・・・（式１）

ただし、
ＧＬ００：長時間露光画素座標位置（０，０）の長時間露光画素であるＧ画素の画素値、
ＧＳ００：短時間露光画素座標位置（０，０）の短時間露光画素であるＧ画素の画素値、
ＧＡＩＮ：短時間露光画素の画素値に乗ずるゲイン（長時間露光画素と短時間露光画素の露光比）
α：長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率
である。

なお、ここで、ブレンド比率αは、短時間露光画素に対する重みに相当する。
上記（式１）は、短時間露光画素の重みをαとし、長時間露光画素の重みを（１−α）として、短時間露光画素と長時間露光画素の重み付け加算によって合成画素値を算出するものである。
なお、ブレンド比率αは、ブレンド対象とする画素の画素値や、ブレンド対象とする画素の画素領域が動き領域であるか否かに応じて異なる態様で算出する。

長時間露光画素の画素値と短時間露光画素の画素値とのブレンド比率αは基本的には、図１７に示すように、例えば以下のブレンド関数（ＣａｌｃＢｒａｔｅ）算出式（式２）を適用して算出する。

・・・・・（式２）

上記（式２）において、
ｄａｔ：ブレンド対象とする長時間露光画素の画素値、
ＴＨＲ０，ＴＨＲ１：予め規定した閾値、
である。

例えば長時間露光画素の飽和画素値＝１０２３としたとき、
ＴＨＲ０＝８００、
ＴＨＲ１＝９００、
例えば、上記の値を固定閾値として利用することが可能である。

なお、閾値ＴＨＲ０，ＴＨＲ１の値によって、図１８に示すように、ブレンド処理後の画像のＳＮカーブが決定される。ＴＨＲ０，ＴＨＲ１を飽和画素値（１０２３）に近づけるほど、ＳＮの良い領域を広げることができる。したがって、画像の状況やユーザの好みに応じて、上記閾値ＴＨＲ０，ＴＨＲ１を適宜調整する構成としてもよい。

図１０のフローにおけるステップＳ１５５では、ブレンド処理対象となる注目画素の画素値に基づいてブレンド比率を算出する。すなわち、ブレンド対象となる注目画素の画素値（信号レベル）を使ってブレンド比率を求める。
すなわち、ブレンド処理対象となる長時間露光画素の画素値を上記（式２）のｄａｔとして設定してブレンド比率αを算出する。

上記（式２）で算出したブレンド比率αを適用して先に説明した（式１）、すなわち、
ＧＷ００＝（１−α）×ＧＬ００＋α×ＧＳ００×ＧＡＩＮ・・・（式１）
上記（式１）を適用したブレンド処理を行なう。
（式２）から理解されるように、長時間露光画素の画素値（ｄａｔ）が大きい場合は、ブレンド比率αが大きく設定される。ブレンド比率αが大きく設定されると、（式１）に従った合成画素値の算出において、短時間露光画素の画素値の反映度が高くなる。
すなわち、例えば長時間露光画素の画素値が飽和画素値に近いような場合は、短時間露光画素の画素値が大きく反映される。

一方、長時間露光画素の画素値（ｄａｔ）が小さい場合は、ブレンド比率αが小さい値に設定される。ブレンド比率αが小さく設定されると、（式１）から理解されるように、長時間露光画素の画素値の反映度が高くなる。
すなわち、例えば短時間露光画素の画素値が小さく、短時間露光画素に含まれるノイズが大きいと推定される場合は、長時間露光画素の画素値が大きく反映される。

このような画素合成を実行することで、低輝度〜高輝度まで、ノイズの少ない精度の高い画素値設定が可能となる。
また、このようなブレンド処理のメリットとして、ベイヤ（Ｂａｙｅｒ）配列のように色ごとに感度が異なる場合、注目画素のＳＮが最適となるブレンド比率を出すことができる。しかし、一方、動被写体に対しては、偽色等のアーティファクトを発生するデメリットがある。これは、ブレンド比率がＲＧＢ各位相単位でばらばらに設定されてしまうことなどに起因する。

具体的には、例えば、ある領域において、Ｇ画素は短時間露光画素のブレンド率を高くし、ＲＢについては長時間露光画素のブレンド率を高くするといったＲＧＢ各色毎に異なるブレンド率の設定がなされてしまうことがある。このような場合には、エメラルドの偽色が発生する。
また、Ｇについて短時間露光画素のブレンド率を高くし、ＲＢについては長時間露光画素のブレンド率を高くした設定ではマゼンダの偽色が発生する。

このような、偽色等のアーティファクト発生を抑えるため、本実施例では、ＲＧＢ各々の画素単位でブレンド比率を算出せず、ブレンド対象がＲＢ画素である場合には、ＲＢ各画素に隣接するＧ画素の画素値を用いてブレンド比率を算出する。
この処理が図１０のステップＳ１５３からステップＳ１５４の処理である。

ステップＳ１５２において、ブレンド対象となる注目画素が動体領域である可能性が高いと判定され、さらに、ステップＳ１５３において、ブレンド対象となる注目画素がＲＢいずれかの画素であると判定した場合は、ステップＳ１５４に進む。

ステップＳ１５４では、ブレンド対象となる注目画素（ＲまたはＢ画素）に隣接するＧ画素を選択する。
例えばブレンド対象がＲ画素である場合、
ブレンド対象となる長時間露光画素ＲＬに隣接する長時間露光画素ＧＬを選択し、このＧＬ画素の画素値を上記の（式２）のｄａｔとして設定してブレンド比率αを算出する。

同様に、例えばブレンド対象がＢ画素である場合、
ブレンド対象となる長時間露光画素ＢＬに隣接する長時間露光画素ＧＬを選択し、このＧＬ画素の画素値を上記の（式２）のｄａｔとして設定してブレンド比率αを算出する。

このように、ブレンド対象となる注目画素がＲまたはＢ画素である場合、ブレンド比率を近傍のＧ信号を基準に求める。これより、ＲＢ位相のブレンド比率をＧに合わせることができ、アーティファクトの発生を防止することができる。

図１０に示すフローのステップＳ１５５のブレンド比率算出と、ステップＳ１５４のブレンド比率算出は、以下のような条件に基づいて選択的に実行する。
（Ａ）ステップＳ１５４の隣接Ｇ画素の画素値に基づくブレンド比率算出
この処理は、注目画素が動被写体領域である可能性が高く、かつ注目画素がＲまたはＢ画素である場合に実行する。

（Ｂ）ステップＳ１５５の注目画素の画素値に基づくブレンド比率算出
この処理は、注目画素が動被写体領域である可能性が高くない場合、または、注目画素が動被写体領域である可能性が高く、かつ注目画素がＧ画素である場合に実行する。

ステップＳ１５５の処理を実行する場合は、
注目画素ＲＧＢ各画素について、それぞれの長時間露光画素の画素値を前述の（式２）のｄａｔとして設定して、（式２）に従ってブレンド比率を算出する。
例えば注目画素がＲ画素である場合、長時間露光Ｒ画素の画素値をＲＬとしたとき、
α＝ＣａｌｃＢｒａｔｅ（ＲＬ，ＴＨＲ０，ＴＨＲ１）
として算出する。
なお、ＣａｌｃＢｒａｔｅ（ＲＬ，ＴＨＲ０，ＴＨＲ１）は、上記（式２）のｄａｔとして長時間露光Ｒ画素の画素値ＲＬを設定した式に相当する。

同様に、注目画素がＧ画素である場合、長時間露光Ｇ画素の画素値をＧＬとしたとき、
α＝ＣａｌｃＢｒａｔｅ（ＧＬ，ＴＨＲ０，ＴＨＲ１）
として算出する。
なお、ＣａｌｃＢｒａｔｅ（ＧＬ，ＴＨＲ０，ＴＨＲ１）は、上記（式２）のｄａｔとして長時間露光Ｇ画素の画素値ＧＬを設定した式に相当する。

同様に、注目画素がＢ画素である場合、長時間露光Ｂ画素の画素値をＢＬとしたとき、
α＝ＣａｌｃＢｒａｔｅ（ＢＬ，ＴＨＲ０，ＴＨＲ１）
として算出する。
なお、ＣａｌｃＢｒａｔｅ（ＢＬ，ＴＨＲ０，ＴＨＲ１）は、上記（式２）のｄａｔとして長時間露光Ｂ画素の画素値ＢＬを設定した式に相当する。

また、ステップＳ１５４の隣接Ｇ画素の画素値に基づくブレンド比率算出を実行する場合は、注目画素が動被写体領域である可能性が高く、かつ注目画素がＲまたはＢ画素である場合である。
例えば注目画素がＲ画素である場合、ブレンド対象となる長時間露光Ｒ画素の隣接画素Ｇの画素値をＧＬとしたとき、
α＝ＣａｌｃＢｒａｔｅ（ＧＬ，ＴＨＲ０，ＴＨＲ１）
として算出する。
なお、ＣａｌｃＢｒａｔｅ（ＧＬ，ＴＨＲ０，ＴＨＲ１）は、上記（式２）のｄａｔとして長時間露光Ｇ画素の画素値ＧＬを設定した式に相当する。

同様に、注目画素がＢ画素である場合、ブレンド対象となる長時間露光Ｂ画素の隣接画素Ｇの画素値をＧＬとしたとき、
α＝ＣａｌｃＢｒａｔｅ（ＧＬ，ＴＨＲ０，ＴＨＲ１）
として算出する。
なお、ＣａｌｃＢｒａｔｅ（ＧＬ，ＴＨＲ０，ＴＨＲ１）は、上記（式２）のｄａｔとして長時間露光Ｇ画素の画素値ＧＬを設定した式に相当する。
以上の処理で求められたブレンド比率（α）を使うことで、ＳＮを維持しつつ、動体アーティファクトの低減を行うことができる。

［２．ジャギー低減を実現する実施例（第２実施例）について］
次に、本開示の画像処理装置の第２実施例として、ジャギー低減を実現する画像処理装置の実施例について説明する。

本実施例２の画像処理装置は、例えば、先に図４、図５を参照して説明した実施例１と同様の構成を持つ撮像装置である。
本実施例２は、実施例１において説明した長時間露光画素と短時間露光画素の合成処理による高ダイナミックレンジ画像の生成処理に併せて、「ジャギー低減」を行った出力画像の生成を行なう。
具体的には、ジャギー低減を実現するブレンド比率算出アルゴリズムを実行する構成である。

まず、本実施例の補正対象である「ジャギー」について説明する。「ジャギー」は入力信号の帯域に対して、サンプリング数が足りないため発生するエイリアシングであり、画像内の例えば被写体境界や模様のあるテクスチャ領域等に現れる斜め線がガタガタの階段状になる現象が例として挙げられる。

特に、先に図７等を参照して説明した２行単位で長時間露光画素と短時間露光画素が交互に設定されたダブルラインＳＶＥ配列を利用して画素値合成を実行する場合、合成処理において、長時間露光画素のみ、あるいは短時間露光画素のみを使用する領域は、サンプリング間隔が２行飛ばしとなり、ジャギーを発生しやすい。

ジャギーの発生が予想されるテクスチャ領域について、長時間露光画素と短時間露光画素のブレンド比率を固定することで、ジャギーの発生を抑制することが可能となる。
ただし、動被写体領域でブレンド比率を固定してしまうと、極端に信号レベルの低い短時間露光画像を使うことに起因するアーティファクトが発生する。

そこで、本実施例２では、アーティファクト発生を抑圧するため、動被写体検出処理を行い、「動体の可能性がある」テクスチャ領域には、ブレンド比率固定化によるブレンド処理を実行せず、「動体の可能性がある」領域以外のテクスチャ領域についてのみ、ブレンド比率固定化によるブレンド処理を実行することでジャギー補正を行なう。

本実施例２の画像処理の全体処理フローは、先に実施例１における全体処理フローとして説明した図８に示すフローチャートに従った処理となる。
ただし、この図８のフローのステップＳ１０２の合成処理が、実施例１において説明した図１０に従った処理ではなく、図１９に示すフローに従った処理となる点が異なる。

図１９に示すフローに従って、本実施例２における合成処理のシーケンスについて説明する。

ステップＳ２０１〜Ｓ２０５の処理は、先に図１０に示すフローチャートを参照して説明したステップＳ１５１〜Ｓ１５５の処理と同様の処理である。
まず、ステップＳ２０１において、ブレンド対象画素（注目画素）とその近傍領域画素の画素値を入力する。
入力画素は、ブレンド対象となる短時間露光画素と長時間露光画素、さらに、もう１つの短時間露光画素の画素値とする。
具体的には、図１１に示すように、例えば、ブレンド対象とする画素が、
短時間露光画素ＧＳ００と、
長時間露光画素ＧＬ００、
である場合、さらに、この長時間露光画素ＧＬ００に近接する同色の短時間露光画素ＧＳ２０、これらの画素とする。

次に、ステップＳ２０２において、ブレンド対象となる注目画素の画素領域が動被写体領域である可能性が高いか否かを判定する。
ブレンド対象となる注目画素が動被写体領域である可能性が高いか否かの判定処理は、先に実施例１において図１３〜図１６を参照して説明した処理に従って実行する。
すなわち、明暗パターンが、長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）と同じ周波数で検出されるか否かを判定し、検出された場合は、「注目画素領域は、動被写体領域である可能性が高い」と判定する。
一方、このような明暗パターンが検出されない場合は、「注目画素領域は、動被写体領域である可能性が低い」と判定する。

ステップＳ２０２において、注目画素領域が動体領域であると判定した場合は、ステップＳ２０３に進む。
一方、ステップＳ２０２において、注目画素領域が動体領域でないと判定した場合は、ステップＳ２１１に進む。

ステップＳ２０２において、注目画素領域が動体領域であると判定した場合、ステップＳ２０３に進み、ブレンド処理を実行しようとする注目画素がＲ画素またはＢ画素であるか否かを判定する。

ブレンド処理を実行しようとする注目画素がＲ画素またはＢ画素である場合、ステップＳ２０４に進み、注目画素に隣接するＧ画素の画素値を用いたブレンド比率αを算出する。
一方、ブレンド処理を実行しようとする注目画素がＲ画素またはＢ画素でなくＧ画素である場合、ステップＳ２０５に進み、注目画素（Ｇ画素）の画素値を用いたブレンド比率αを算出する。
これらのステップＳ２０１〜Ｓ２０５処理は、実施例１において図１０を参照して説明したステップＳ１５１〜Ｓ１５５の処理と同様の処理である。

次に、本実施例２に特有の処理であるステップＳ２１１〜Ｓ２１３の処理について説明する。
ステップＳ２０２において、注目画素が動体領域である可能性が高くないと判定した場合、ステップＳ２１１に進む。

ステップＳ２１１では、注目画素がテクスチャ領域であるか否かを判定する。
この処理は、ブレンド対象となる注目画素近傍のテクスチャ有無を調べる処理である。この処理について、図２０を参照して説明する。

このテクスチャ有無検出処理においては、図２０（Ａ）に示すように、ブレンド処理対象となる注目画素である長時間露光画素の設定された行とその行に隣接するもう１つの長時間露光画素行にある注目画素近傍の複数のＧ画素を利用する。それぞれの行の画素値をＬＧ０〜ＬＧ８とする。
注目画素に近い位置のＧ画素の重みｗ＝２、遠い画素の重みｗ＝１を設定する。
各Ｇ画素の画素値に重みを乗算してＧ画素平均値（ａｖｅ＿ａｒｅａ）を以下の（式３）に従って算出する。

・・・・・（式３）

さらに、以下の（式４）に従って、Ｇ画素の平均偏差（ｓｔｄ＿ａｒｅａ）を算出する。

・・・・・（式４）

上記の（式４）に従って算出したＧ画素の平均偏差に基づいて、以下の（式５）に従って、平均偏差エッジ評価値（ｅｄｇｅ＿ｆｌｇ）を算出する。

・・・・・（式５）

すなわち、注目画素近傍の長時間露光画素であるＧ信号２行分を使い、平均偏差（ｓｔｄ＿ａｒｅａ）を算出し、平均偏差（ｓｔｄ＿ａｒｅａ）値が、予め定めた閾値（ＥＤＧＥ＿ＴＨ）よりも大きい場合は、平均偏差エッジ評価値（ｅｄｇｅ＿ｆｌｇ）＝１、すなわち、注目画素は、テクスチャ領域であると判定する。
一方、平均偏差（ｓｔｄ＿ａｒｅａ）値が、予め定めた閾値（ＥＤＧＥ＿ＴＨ）以下である場合は、平均偏差エッジ評価値（ｅｄｇｅ＿ｆｌｇ）＝０、すなわち、注目画素は、テクスチャ領域でないと判定する。

なお、注目画素がＧ画素である場合は、そのＧ画素を含む近傍のＧ画素を用いた処理を行なう。注目画素がＲ画素またはＢ画素である場合は、その行と隣接行のＧ画素の画素値に基づく判定処理を行なう。この場合、さらに、Ｇ位相の判定結果に基づく補間処理を実行してＲＢ各位相における判定結果を算出する構成としてもよい。補間処理としては例えば、最近傍補間もしくは線形補間等を用いることが可能である。

ステップＳ２１１において、注目画素がテクスチャ領域であると判定した場合は、ステップＳ２１２に進む。
一方、ステップＳ２１１において、注目画素がテクスチャ領域でないと判定した場合は、ステップＳ２０５に進む。ステップＳ２０５では、注目画素の画素値に基づくブレンド比率算出を実行する。
この処理は、先に実施例１において説明したステップＳ１５５の処理と同様の処理である。

ステップＳ２１１において、注目画素がテクスチャ領域であると判定した場合は、ステップＳ２１２に進み、注目画素である長時間露光画素の画素値が飽和しているか否かを判定する。
このステップＳ２１２の処理について、図２１を参照して説明する。この処理は、例えば、図２１に示すようにブレンド対象となる注目画素とその近傍の複数の長時間露光画素Ｌ０〜Ｌ２の画素値を利用した判定処理として実行する。

図２１に示すように、３画素の画素値のいずれかが予め規定した閾値（ＥＤＧＥ＿ＳＡＴＡＬ）を超えていたら、飽和判定フラグをＯＮ（１）として、注目画素が飽和していると判定する。
一方、３画素の画素値のいずれもが予め規定した閾値（ＥＤＧＥ＿ＳＡＴＡＬ）を超えていない場合は、飽和判定フラグをＯＦＦ（０）として、注目画素が飽和していないと判定する。

ステップＳ２１２において、注目画素が飽和していないと判定した場合は、ステップＳ２１３に進む。
一方、ステップＳ２１２において、注目画素が飽和していると判定した場合は、ステップＳ２０５に進む。ステップＳ２０５では、注目画素の画素値に基づくブレンド比率算出を実行する。
この処理は、先に実施例１において説明したステップＳ１５５の処理と同様の処理である。

ステップＳ２１２において、注目画素が飽和していないと判定した場合は、ステップＳ２１３に進み、予め規定した固定値のブレンド比率をブレンド処理に適用するブレンド比率とする。

この固定ブレンド比率は、ジャギー低減を実現するために、合成処理によって算出される画素値の重心を垂直方向に均等ピッチに設定するための比率である。
具体例を図２２に示す。
例えば図２２に示す（１ａ）撮像データの上から第１番目の短時間露光画素行ＧＳ００〜ＲＳ０３と、上から第３番目の長時間露光画素行ＧＬ００〜ＲＬ０３のブレンド比率は、
短時間露光行＝０．７５
長時間露光行＝０．２５
とする。

また、図２２に示す（１ａ）撮像データの上から第２番目の短時間露光画素行ＢＳ１０〜ＧＳ１３と、上から第４番目の長時間露光画素行ＢＬ１０〜ＧＬ１３のブレンド比率は、
短時間露光行＝０．２５
長時間露光行＝０．７５
とする。

このブレンド比率設定は、各合成画素の重心位置を垂直方向において均等ピッチとすることを可能とした比率である。
例えばＧＷ００は、ＧＳ００とＧＬ００を０．７５：０．２５の比率で加算して設定される画素値となる。この画素値は、合成画素値における合成対象の元の画素値配分比率から見たときの重心位置が、ＧＳ００〜ＧＬ００の区間を１：３に分割した位置となる。
また、ＢＷ１０は、ＢＳ１０とＢＬ１０を０．２５：０．７５の比率で加算して設定され画素値となる。この画素値は、合成画素値における合成対象の元の画素値配分比率から見たときの重心位置が、ＢＳ１０〜ＢＬ１０の区間を３：１に分割した位置となる。

このような設定とすることで、合成処理によって生成される図２２（１ｂ）に示す中間データを構成する各合成画素の画素値は、その重心位置が垂直方向に等間隔とした均等ピッチに設定することができる。
このように、図１９のフローのステップＳ２１３で取得する予め規定した固定ブレンド比率は、画素合成処理によって生成する合成画素の画素値対応の重心位置を、長時間露光画素と短時間露光画素を交互に配列した方向に従って均等に設定するブレンド比率であり、ジャギー低減効果を奏するブレンド比率である。

図１９のフローのステップＳ２１３では、このように、長時間露光画素と短時間露光画素のブレンド比率を、図２２（１ｂ）に示す中間データを構成する各合成画素の画素値が垂直方向に均等となる設定とした固定値とする処理を行なう。このような固定ブレンド比率を適用した合成処理を実行することで、合成画像のジャギーが低減される。

図１９のフローにおいて、ステップＳ２１３の固定値のブレンド比率の適用処理は、
注目画素が、
（ａ）動体の可能性が低い、
（ｂ）注目画素がテクスチャ領域である、
（ｃ）注目画素の画素値が飽和していない、
これら（ａ）〜（ｃ）の全ての条件を満たす場合にのみ実行される。
これら全ての条件を満たす場合にのみ、図２２を参照して説明した重心を均等ピッチとするブレンド比率を適用することで、合成画像のジャギー低減を行う。

［３．その他の実施例について］
次に、上述した実施例１，２の他の実施例について説明する。
（４−１．デブラーへの利用を行なう実施例）
上述した実施例１、２は、高ダイナミックレンジ画像の生成を行なう例として説明した。
しかし、図７に示すような２行単位に長時間露光画素と短時間露光画素を設定したダブルラインＳＶＥ画像を適用した画像合成処理による出力画像の生成において、撮影画像フレーム内の動被写体ブレを軽減する「デブラー」を行なうことも可能である。

具体的には、例えば、上述した実施例において説明した動被写体領域の検出を行い、動被写体領域であると判定された領域では、短時間露光画素の画素値のみを利用した合成画素値の出力を実行する。また、動被写体領域でないと判定された領域では、長時間露光画素の画素値のみ、あるいは長時間露光画素の画素値の重みを高くしたブレンド画素値を合成画素値として算出する。このような設定とした合成画像を生成して出力することで、動被写体ブレを軽減した「デブラー」処理が可能となる。

（４−２．長時間露光画素と短時間露光画素の設定構成のバリエーション）
上述した実施例では、先に図７を参照して説明したように２行単位で長時間露光画素と短時間露光画素を設定した撮像素子によって撮影されるダブルラインＳＶＥ画像に対する処理例について説明した。

しかし、本開示の処理である動被写体検出処理は、このダブルラインＳＶＥ画像を適用した処理に限らず、その他の様々な長時間露光画素と短時間露光画素の設定パターンを持つ撮像素子の撮影画像に対して適用可能である。

上記の実施例においては、撮影画像の明暗パターンが、長時間露光画素と短時間露光画素の繰り返し周期（１／４ｆｓ）と同じ周波数で検出されるか否かを判定し、検出された場合は、「注目画素領域は、動被写体領域である可能性が高いと判定する処理を行なっていた。

基本的には、この基本的概念は、他の様々な長時間露光画素と短時間露光画素の設定パターンを持つ撮像素子の撮影画像に対しても適用できる。
すなわち、撮影画像の明暗パターンが、長時間露光画素と短時間露光画素の設定パターンと同じパターンで検出されるか否かを判定し、検出された場合は、注目画素領域は、動被写体領域である可能性が高いと判定する処理を行なうことができる。

すなわち、本開示の処理は、例えば、垂直方向、水平方向、斜め方向など様々な方向に長時間露光画素と短時間露光画素が交互に設定された構成、さらにその他の様々な設定とした撮像素子を用いて撮影された画像に対しても同様の動体領域検出が適用できる。

（４−３．画像処理装置の構成について）
本開示の処理を実行する画像処理装置は、例えば、先に図４、図５を参照して説明した構成を持つ撮像装置１００である。この撮像装置１００の信号処理部１０３において、上述した各実施例において説明した画素合成処理やその他の信号処理を実行する構成として説明した。
しかし、本開示の処理は、撮像装置に限らず、カメラの撮影画像を入力して画像処理を実行するＰＣ等の情報処理装置において実行することも可能である。

また、上述の実施例では、図４、図５に示す信号処理部において、撮像素子１０２から入力した撮影画像に対して、画像合成処理やその他のカメラ信号処理を実行するものとして説明したが、これらの処理は、撮像素子を備えた撮像素子デバイス内で実行する構成としてもよい。

例えば、画素値の合成処理において画素加算（垂直加算、水平加算，斜め加算）を撮像素子内部で行う場合、アナログ加算（ＦＤ（フローティングディフユージョン）加算、ＳＦ（ソースフォロア）加算）、デジタル加算など、の各種加算処理構成を適用することが可能である。

［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する信号処理部を有し、
前記信号処理部は、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する画像処理装置。

（２）前記撮像素子は、長時間露光画素と短時間露光画素を一定方向に交互に配列した構成を有し、前記信号処理部は、前記入力画像の注目画素の近傍における明暗パターンの周期と、前記長時間露光画素と前記短時間露光画素の周期との整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する前記（１）に記載の画像処理装置。
（３）前記信号処理部は、前記入力画像の注目画素の近傍における露光比調整後の長時間露光画素と短時間露光画素の画素値が、長時間露光画素の画素値が高く、短時間露光画素の画素値が低いパターン、または、長時間露光画素の画素値が低く、短時間露光画素の画素値が高いパターンのいずれかの明暗パターンを示している場合に、前記注目画素は動体領域であると判定する前記（１）または（２）に記載の画像処理装置。

（４）前記撮像素子は、長時間露光画素と短時間露光画素を垂直方向に２行単位で交互に配列した構成を有し、前記信号処理部は、前記２行単位で短時間露光画素と長時間露光画素を設定して撮影されたダブルラインＳＶＥ（ＳｐａｔｉａｌｌｙＶａｒｙｉｎｇＥｘｐｏｓｕｒｅ）画像を入力して、該入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する前記（１）〜（３）いずれかに記載の画像処理装置。

（５）前記信号処理部は、前記長時間露光画素と前記短時間露光画素の画素値合成処理により出力画像を生成する構成を有し、動体領域であると判定された領域に対する画素値合成処理態様と、動体領域でないと判定した領域とで異なる態様の画素値合成処理を実行する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記信号処理部は、前記長時間露光画素と前記短時間露光画素の画素値合成処理により高ダイナミックレンジ画像を生成する前記（５）に記載の画像処理装置。
（７）前記信号処理部は、合成処理対象画素である注目画素に含まれる長時間露光画素の画素値に基づいて、予め規定したアルゴリズムに従って長時間露光画素と短時間露光画素のブレンド比率を算出し、算出したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する前記（５）または（６）に記載の画像処理装置。

（８）前記撮像素子は、ＲＧＢ画素によって構成されるベイヤ配列を持つ撮像素子であり、前記信号処理部は、合成処理対象画素である注目画素が、動体領域であり、かつＲ画素またはＢ画素である場合に、該注目画素に隣接するＧ画素の画素値を適用して、長時間露光画素と短時間露光画素のブレンド比率を算出し、合成処理対象画素である注目画素が、動体領域でない場合、または、Ｇ画素である場合に、該注目画素の画素値を適用して長時間露光画素と短時間露光画素のブレンド比率を算出し、算出したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する前記（７）に記載の画像処理装置。

（９）前記撮像素子は、ＲＧＢ画素によって構成されるベイヤ配列を持つ撮像素子であり、前記信号処理部は、合成処理対象画素である注目画素が、動体領域であり、かつＲ画素またはＢ画素である場合に、該注目画素に隣接するＧ画素の画素値を適用して、長時間露光画素と短時間露光画素のブレンド比率を算出し、合成処理対象画素である注目画素が、動体領域でなく、かつテクスチャ領域でない場合、または、該注目画素が、動体領域でなく、テクスチャ領域であるが飽和画素を含む場合、または、該注目画素が、動体領域であり、かつＧ画素である場合に、該注目画素の画素値を適用して長時間露光画素と短時間露光画素のブレンド比率を算出し、合成処理対象画素である注目画素が、動体領域でなく、かつテクスチャ領域であり、かつ、飽和画素を含まない場合に、予め規定した固定ブレンド比率を取得し、算出または取得したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する前記（７）に記載の画像処理装置。
（１０）前記予め規定した固定ブレンド比率は、画素合成処理によって生成する合成画素の画素値対応の重心位置を、長時間露光画素と短時間露光画素を交互に配列した方向に従って均等に設定するブレンド比率であり、ジャギー低減効果を奏するブレンド比率である前記（９）に記載の画像処理装置。

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、長時間露光画素と短時間露光画素からなる単一画像の解析により動体領域を検出する装置、方法が実現される。
具体的には、長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する信号処理部を有する。信号処理部は、入力画像の注目画素の近傍における明暗パターンと、長時間露光画素と短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に注目画素は動体領域であると判定する。
信号処理部は、さらに、例えば長時間露光画素と前記短時間露光画素の画素値合成処理により高ダイナミックレンジ画像を生成する。この合成処理において、動体領域と動体領域でない領域とで異なる態様の画素値合成処理を実行する。
これらの処理により、単一画像を利用した動被写体検出を簡便に行うことが可能となる。また、動体検出結果を長時間露光と短時間露光のブレンド比率算出方法の切り替えに使用し、動体部の偽色等のアーティファクトの発生を抑制し、ＳＮを向上させジャギーを低減させた品質の高い高ダイナミックレンジ画像等の合成画像を生成することが可能となる。

１００撮像装置
１０１光学レンズ
１０２撮像素子
１０３信号処理部
１０５制御部
１２０出力画像
１５１画素合成部
１５２後段信号処理部
１５３出力部

Claims

長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する信号処理部を有し、
前記信号処理部は、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する画像処理装置。
前記撮像素子は、長時間露光画素と短時間露光画素を一定方向に交互に配列した構成を有し、
前記信号処理部は、
前記入力画像の注目画素の近傍における明暗パターンの周期と、前記長時間露光画素と前記短時間露光画素の周期との整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する請求項１に記載の画像処理装置。
前記信号処理部は、
前記入力画像の注目画素の近傍における露光比調整後の長時間露光画素と短時間露光画素の画素値が、
長時間露光画素の画素値が高く、短時間露光画素の画素値が低いパターン、または、
長時間露光画素の画素値が低く、短時間露光画素の画素値が高いパターンのいずれかの明暗パターンを示している場合に、前記注目画素は動体領域であると判定する請求項１に記載の画像処理装置。
前記撮像素子は、長時間露光画素と短時間露光画素を垂直方向に２行単位で交互に配列した構成を有し、
前記信号処理部は、
前記２行単位で短時間露光画素と長時間露光画素を設定して撮影されたダブルラインＳＶＥ（ＳｐａｔｉａｌｌｙＶａｒｙｉｎｇＥｘｐｏｓｕｒｅ）画像を入力して、該入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定する請求項１に記載の画像処理装置。
前記信号処理部は、
前記長時間露光画素と前記短時間露光画素の画素値合成処理により出力画像を生成する構成を有し、
動体領域であると判定された領域に対する画素値合成処理態様と、動体領域でないと判定した領域とで異なる態様の画素値合成処理を実行する請求項１に記載の画像処理装置。
前記信号処理部は、
前記長時間露光画素と前記短時間露光画素の画素値合成処理により高ダイナミックレンジ画像を生成する請求項５に記載の画像処理装置。
前記信号処理部は、
合成処理対象画素である注目画素に含まれる長時間露光画素の画素値に基づいて、予め規定したアルゴリズムに従って長時間露光画素と短時間露光画素のブレンド比率を算出し、算出したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する請求項５に記載の画像処理装置。
前記撮像素子は、ＲＧＢ画素によって構成されるベイヤ配列を持つ撮像素子であり、
前記信号処理部は、
合成処理対象画素である注目画素が、動体領域であり、かつＲ画素またはＢ画素である場合に、該注目画素に隣接するＧ画素の画素値を適用して、長時間露光画素と短時間露光画素のブレンド比率を算出し、
合成処理対象画素である注目画素が、動体領域でない場合、または、Ｇ画素である場合に、該注目画素の画素値を適用して長時間露光画素と短時間露光画素のブレンド比率を算出し、
算出したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する請求項７に記載の画像処理装置。
前記撮像素子は、ＲＧＢ画素によって構成されるベイヤ配列を持つ撮像素子であり、
前記信号処理部は、
合成処理対象画素である注目画素が、動体領域であり、かつＲ画素またはＢ画素である場合に、該注目画素に隣接するＧ画素の画素値を適用して、長時間露光画素と短時間露光画素のブレンド比率を算出し、
合成処理対象画素である注目画素が、動体領域でなく、かつテクスチャ領域でない場合、または、該注目画素が、動体領域でなく、テクスチャ領域であるが飽和画素を含む場合、または、該注目画素が、動体領域であり、かつＧ画素である場合に、該注目画素の画素値を適用して長時間露光画素と短時間露光画素のブレンド比率を算出し、
合成処理対象画素である注目画素が、動体領域でなく、かつテクスチャ領域であり、かつ、飽和画素を含まない場合に、予め規定した固定ブレンド比率を取得し、
算出または取得したブレンド比率に従った画素値合成処理により前記出力画像の出力画素値を決定する請求項７に記載の画像処理装置。
前記予め規定した固定ブレンド比率は、画素合成処理によって生成する合成画素の画素値対応の重心位置を、長時間露光画素と短時間露光画素を交互に配列した方向に従って均等に設定するブレンド比率であり、ジャギー低減効果を奏するブレンド比率である請求項９に記載の画像処理装置。
画像処理装置において実行する画像処理方法であり、
信号処理部が、長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出する動体検出ステップを実行し、
前記動体検出ステップは、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定するステップである画像処理方法。
画像処理装置において画像処理を実行させるプログラムであり、
信号処理部に、長時間露光画素と短時間露光画素を含む撮像素子によって撮影された単一画像を入力し、入力画像の解析により、動く被写体の撮影領域である動体領域を検出させる動体検出ステップを実行させ、
前記動体検出ステップは、
前記入力画像の注目画素の近傍における明暗パターンと、前記長時間露光画素と前記短時間露光画素の画素パターンとの整合性を検証し、整合性が高い場合に前記注目画素は動体領域であると判定するステップであるプログラム。