JP2015142342A - 撮像装置、画像生成方法及び画像生成プログラム - Google Patents

Abstract

【課題】データ量を抑制しつつ、長時間露光画素のブレを補正して高ダイナミックレンジの画像データを取得する。
【解決手段】多数の画素を配列してなる撮像素子１５と、撮像素子の各画素を３以上の重複しない画素群の何れか１つに分類すると共に、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を最長露光時間より短い露光時間で、かつ、最長露光時間内の異なるタイミングで露光させる露光制御部１６と、他の画素群について取得された複数の画像間のズレ量を算出するズレ量算出部１７と、ズレ量算出部により算出されたズレ量に基づいて、一の画素群について取得された最長時間露光画像内のブレを補正するブレ補正部１９と、ブレ補正部による補正後の最長時間露光画像と他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するＨＤＲ合成部２０とを備える撮像装置を提供する。
【選択図】図１

Description

本発明は、撮像装置に係り、特に、入力画像に所定の処理を施して高ダイナミックレンジの画像（以下、「ＨＤＲ画像」という）を取得する撮像装置に関するものである。

従来、電子式撮像素子（ＣＭＯＳセンサ等）を用いた撮像装置では、旧来の銀塩式写真システムに比べて表現できるダイナミックレンジ（輝度範囲）が狭いことから、適切な露出制御を行なっても逆光等によって高輝度部が飽和する「白とび」や低輝度部の階調が無くなる「黒つぶれ」が発生しやすい。
このような「白とび」や「黒つぶれ」を抑制するために、例えば特許文献１には、露光量の異なる複数の画像からＨＤＲ画像を生成する技術が開示されている。

露光量を異ならせる場合、露光時間を変えるのが最も一般的であり、低輝度部の階調を得るためには、露光時間を適正時間より長くして露光量を増やすことができる。しかし、手持ち撮影にて露光時間を長くすると、得られる画像にブレが発生する欠点がある。
この欠点を解消するために、特許文献２には、以下のようにしてＨＤＲ画像を合成する技術が提案されている。すなわち、特許文献２に開示された技術では、同一の撮像素子上に短時間露光画素と長時間露光画素とを夫々配置し、長時間露光画素の露光中に同一の短時間露光画素を所定の時間間隔を開けて複数回露光させる。そして、これらの短時間露光画素に基づく画像データによる複数の画像間のズレ量から長時間露光画素に基づく画像データによる画像のブレ軌跡を算出し、ブレを補正してからＨＤＲ画像を合成している。

特許第４６６１９２２号公報 特許第３１１０７９７号公報

しかしながら、上述した特許文献２に開示された技術では、短時間露光画素の全てを複数回露光させて、短時間露光画素に基づく画像データを取得するため、扱うデータ量が多くなり、処理時間や消費電力が大きくなる。
また、特許文献２に開示された技術のように、同一撮像素子に短時間露光画素と長時間露光画素とを配置する場合は、従来の複数枚画像により得られる結果と同程度の解像を得るために撮像素子の全画素数を増加させる必要性が高まり、よりデータ量が多くなる。

例えば、取得した画像データに対してブレ補正を行う場合、周知のブレ補正技術（ウィーナフィルタ、擬似逆行列フィルタ等）は処理が重いことから、撮像を行う携帯装置内ではなく、画像データを据置型装置や無線通信先の装置（サーバ等）において処理することも想定される。従って、画像処理やデータの送受信に鑑みると、データ量は少ないほど好ましい。

また、同サイズの撮像素子において全画素数を多くした場合、撮像素子全体の面積を十分大きくしないと画素の密度が高くなり、すなわち、個々の画素が小さくなることから、ブレによる影響が大きくなるので、ブレに対する対策がより重要となる。

本発明は、上述した事情に鑑みてなされたものであって、データ量を抑制しつつ、長時間露光画素のブレを補正して高ダイナミックレンジの画像データを取得することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、多数の画素を配列してなる撮像素子と、該撮像素子の各画素を３以上の重複しない画素群のいずれか１つに分類するとともに、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を前記最長露光時間より短い露光時間で、かつ、前記最長露光時間内の異なるタイミングで露光させる露光制御部と、該露光制御部により異なるタイミングで露光されることにより前記他の画素群について取得された複数の画像間のズレ量を算出するズレ量算出部と、該ズレ量算出部により算出されたズレ量に基づいて、前記一の画素群について取得された最長時間露光画像内のブレを補正するブレ補正部と、該ブレ補正部による補正後の前記最長時間露光画像と前記他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するＨＤＲ合成部とを備える撮像装置を提供する。

本態様によれば、露光制御部により異なる露光時間で取得された複数の画像が、ＨＤＲ合成部により合成され、高ダイナミックレンジ画像が取得される。つまり、最長露光時間で露光されて取得された最長時間露光画像と、最長露光時間より短い露光時間で露光されて取得された複数の画像とを合成することにより高ダイナミックレンジ画像を取得する。この場合に、各画像が、撮像素子の重複しない画素群毎に取得されたデータ量の少ない画像であるため、処理時間や消費電力を低減することができる。

また、ズレ量算出部により算出されたズレ量に基づいてブレ補正部によりブレが補正された長時間露光画像と、他の画像とが、ＨＤＲ合成部により合成されることにより、ブレの少ない高精細な高ダイナミックレンジ画像を取得することができる。

上記した態様において、前記ズレ量算出部により算出されたズレ量に基づいて、前記他の画素群について取得された複数の画像間のズレを補正するズレ補正部を備え、前記ＨＤＲ合成部が、前記ブレ補正部による補正後の前記最長時間露光画像と、前記ズレ補正部による補正後の複数の前記画像とに基づいて高ダイナミックレンジ画像を生成することが好ましい。
このようにすることで、画像間の位置ズレの少ない高精細な高ダイナミックレンジ画像を取得することができる。

上記した態様において、前記露光制御部が、前記他の画素群について、互いに異なる露光時間で露光させることにより複数の画像を取得することが好ましい。
このようにすることで、例えば階調変換等による処理を経てもノイズを強調することなく、高精細な高ダイナミックレンジ画像を取得することができる。

上記した態様において、前記最長時間露光画像におけるブレの有無を判定する判定部を備え、前記ＨＤＲ合成部は、前記判定部においてブレが存在しないと判定された場合に、補正前の複数の画像に基づいて高ダイナミックレンジ画像を生成することが好ましい。

このようにすることで、最長時間露光画像におけるブレが存在すると判定部により判定された場合には、ブレ補正部による補正後の長時間露光画像と、ズレ補正部による補正後の複数の画像とに基づいて高ダイナミックレンジ画像が生成される一方、ブレが存在しないと判定部により判定された場合に、ズレ量算出部、ブレ補正部およびズレ補正部による演算処理を省略して、処理時間や消費電力をさらに節約することができる。

また、本発明の一態様は、撮像素子の各画素を３以上の重複しない画素群のいずれか１つに分類するとともに、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を前記最長露光時間より短い露光時間で、かつ、前記最長露光時間内の異なるタイミングで露光させるステップと、異なるタイミングで露光されることにより前記他の画素群について取得された複数の前記画像間のズレ量を算出するステップと、前記ズレ量に基づいて、前記一の画素群について取得された最長時間露光画像内のブレを補正するステップと、補正後の前記最長時間露光画像と前記他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するステップとを含む画像生成方法を提供する。

また、本発明の一態様は、撮像素子の各画素を３以上の重複しない画素群のいずれか１つに分類するとともに、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を前記最長露光時間より短い露光時間で、かつ、前記最長露光時間内の異なるタイミングで露光させるステップと、異なるタイミングで露光されることにより前記他の画素群について取得された複数の前記画像間のズレ量を算出するステップと、前記ズレ量に基づいて、前記一の画素群について取得された最長時間露光画像内のブレを補正するステップと、補正後の前記最長時間露光画像と前記他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するステップとを、撮像装置に実行させる画像生成プログラムを提供する。

本発明によれば、データ量を抑制しつつ、長時間露光画素のブレを補正して高ダイナミックレンジの画像データを取得することができるという効果を奏する。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第１の実施形態に係る撮像装置の撮像素子の画素配置の例を示す説明図である。 本発明の第１の実施形態に係る撮像装置において、各画素群に対する露光時間を示すタイミングチャートである。 （Ａ）は最長露光画像データの模式図であり、（Ｂ）は短露光画像データの模式図である。 （Ａ）は最長露光画像データを補間する場合の模式図であり、（Ｂ）は短露光画像データ補間する場合の模式図である。 本発明の第１の実施形態に係る撮像装置において合成画像を生成する際の作用を示すフローチャートである。 最長露光画像データのブレ軌跡と短露光画像データのズレ量を示すグラフである。 本発明の第２の実施形態に係る撮像装置において合成画像を生成する際の作用を示すフローチャートである。 本発明の第２の実施形態に係る撮像装置の撮像素子の画素配置の例を示す説明図である。 本発明の第２の実施形態に係る撮像装置において、各画素群に対する露光時間を示すタイミングチャートである。 本発明の各実施形態の変形に係る撮像装置において、各画素群に対する露光時間を示すタイミングチャートである。

（第１の実施形態）
以下に、本発明の第１の実施形態に係る撮像装置について図面を参照して説明する。
図１に示すように、撮像装置は、被写体の画像を取得する撮像部１０と、撮像部１０により取得した複数の画像に基づいて画像を生成する画像合成部１１とを備えている。

撮像部１０は、多数の画素を配列してなる撮像素子１５と、撮像素子の露光時間を制御する露光制御部１６とを備えている。
撮像素子１５は、多数の画素が２次元格子状に配列されており、後述する露光制御部１６により各画素が３以上の重複しない画素群のいずれか１つに分類されている。

本実施形態において、撮像素子１５の各画素は、図２に示すように５つの画素群Ｌ，Ｓ１，Ｓ２，Ｓ３，Ｓ４のいずれかに分類されている。また、画素群Ｌの画素数は画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４の画素数の和とほぼ等しく、各画素群単独で構成される画像が被写体全体を正しく示せるように、各画素群に属する画素は規則的かつ撮像素子１５上に均等に配置されている。各画素群に属する画素をこのように分類することで、画素群Ｌが長時間露光に、画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４が短時間露光に適切な画素群となる。

本実施形態においては、撮像素子１５として、グレースケール光または単色光の光電変換素子を適用する例について説明するが、例えば、ＲＧＢ３原色によるベイヤ配列の撮像素子を適用することもできる。この場合には「Ｇ２画素＋Ｒ，Ｂ各１画素」の単位毎に各画素を画素群に割り当てれば良い。

露光制御部１６は、撮像素子１５の画素を分類し、分類した撮像素子１５の画素群毎に露光のタイミング及び露光時間を制御する。すなわち、複数の画素群のうち、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を最長露光時間より短い露光時間で露光させる。

本実施形態において、露光制御部１６は、画素群Ｌ，Ｓ１，Ｓ２，Ｓ３，Ｓ４毎に露光のタイミング及び露光時間を制御している。より詳細には、露光制御部１６は、画素群Ｌに属する画素を最長露光時間で露光させ、画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４に属する画素を、画素群毎に最長露光時間内の異なるタイミングで、かつ、最長露光時間より短い露光時間で露光させる。

例えば、ダイナミックレンジを８倍拡大する場合は、最長露光時間と短露光時間とに８倍の露光時間差を設定する。ここでは低輝度側の拡張量を大きくし、適正露光時間ＴＰに対し、最長露光時間で画像を取得すべき画素群Ｌの露光時間ＴＬをＴＰ×４と設定し、短露光時間で画像を取得すべき画素群Ｓ１〜Ｓ４の露光時間ＴＳをＴＰ×０．５と設定する。

また、画素群Ｓ１〜Ｓ４の露光タイミングを、画素群Ｌの露光時間内を均等に分割するように設定される（図３参照）。つまり、画素群Ｌに属する画素を最長露光時間（ＴＬ）で露光させ、この最長露光時間内に、画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４の各画素群に属する画素を画素群毎に画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４の順に順次、短露光時間（ＴＳ）で露光する。なお、本実施形態では画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４の各画素群に対応する短露光時間（ＴＳ）は異なる時間帯に設定されているが、これらの短露光時間（ＴＳ）の時間帯は一部重複するように設定してもよい。

撮像素子１５では、露光制御部１６によって画素群毎に設定された露光時間中の光量を画素群毎に電荷量に変換し、オプティカルブラック処理等の所定の処理の後、デジタルの画素値に変換し、画素群毎に２次元の画像データを生成し、後述する画像合成部１１に出力する。ここでは、最長露光時間（ＴＬ）で露光された画素群Ｌに基づく最長露光画像データと、短露光時間（ＴＳ）で露光された画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４に基づく短露光画像データとが夫々画像合成部１１に出力される。

なお、画素群Ｌに基づく最長露光画像データは図４（Ａ）に示すような１画素おきの市松模様状に各画素データが配列された画像データとなり、画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４に基づく短露光画像データは図４（Ｂ）に示すような４画素おきの市松模様状に各画素データが配列された画像データとなる（図４（Ｂ）では、画素群Ｓ１についてのみ例示している。）。また、後述のズレ補正や、ブレ補正の際には、必要に応じて、最長露光画像データを図５（Ａ）のように、短露光画像データを図５（Ｂ）のように補間して以降の処理を行う。

画像合成部１１は、複数の画像間のズレ量を算出するズレ量算出部１７と、ズレ量に基づいて複数の画像間のズレを補正するズレ補正部１８と、ズレ量に基づいて１の画像内のブレを補正するブレ補正部１９と、複数の画像に基づいてＨＤＲ画像を生成するＨＤＲ合成部２０とを備えている。

ズレ量算出部１７は、露光制御部１６により異なるタイミングで露光されることにより取得された複数の画像間のズレ量を算出する。すなわち、夫々同じ短露光時間で、かつ、異なるタイミングで露光されて取得された画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４に基づく短露光画像データ間のズレ量を、例えば画素群Ｓ１に基づく短露光画像データを基準に算出する。

ズレ補正部１８は、ズレ量算出部１７により算出されたズレ量に基づいて、複数の画像間のズレを補正する。すなわち、画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４に基づく短露光画像データ間のズレを補正する。
ブレ補正部１９は、ズレ量算出部１７により算出されたズレ量に基づいて、一の画素群について取得された最長時間露光画像内のブレを補正する。つまり、画素群Ｌに基づく最長露光画像データのブレを、ズレ量算出部１７により算出されたズレ量に基づいて補正する。

ＨＤＲ合成部２０は、露光制御部によって露光されることにより画素群毎に取得された露光時間の異なる複数の画像に基づいてＨＤＲ画像を生成する。つまり、ブレ補正部１９による補正後の最長露光画像データと、ズレ補正部１８による補正後の複数の短露光画像データとに基づいてＨＤＲ画像を生成する。

以下、このように構成された撮像装置の作用について、図６のフローチャートを参照しつつ説明する。
ステップＳ１０１において、露光制御部１６が、画素群毎に図３に示すタイミングチャートに従い、撮像素子１５の露光タイミング及び露光時間を設定し、取得した画像データを画像合成部１１に出力する。

次のステップＳ１０２では、ズレ量算出部１７により、画素群Ｓ１に基づく短露光画像データを基準として、画素群Ｓ２〜Ｓ４に基づく各短露光画像データに基づく画像間におけるズレ量を算出する。ズレ量は、例えば、既知のブロックマッチング法により算出することができる。被写体画像各部のズレ量（ローカルベクトル）を平均することで画面全体のズレ量を示す２次元グローバルベクトルを求めることが出来る。画素群Ｓ１の短露光画像データを基準とする各短露光画像データのズレ量を夫々２次元グローバルベクトルとして表すことができ、ズレ量算出部１７は画素群Ｓ２の短露光画像データのズレ量をｇｖ２、同様に、画素群Ｓ３の短露光画像データのズレ量をｇｖ３、画素群Ｓ４の短露光画像データのズレ量をｇｖ４として算出する。

なお、長時間露光画素群Ｌによる画像サイズは各画素群Ｓ１，Ｓ２，Ｓ３，Ｓ４のそれより縦横２倍大きいため、後段の処理の精度を高めるために画素間隔より細かい（サブピクセル）精度まで求めることが好ましい。ブロックマッチング法におけるサブピクセル精度算出は、ブロックマッチング法で算出される相関値の補間による等角直線フィッティング法を用いることができる。

ステップＳ１０３では、ブレ補正部１９により、ズレ量算出部１７において算出されたズレ量を示す２次元グローバルベクトルｇｖ２〜ｇｖ４に基づいて、画素群Ｌに基づく最長露光画像データのブレ軌跡ＢＬを推定する。上述の通り、画素群Ｌに基づく最長露光画像データのサイズと画素群Ｓ１等に基づく短露光画像データのサイズとは２倍の違いがあるため、ｇｖ２〜ｇｖ４は２倍にして扱う必要がある。

ブレ軌跡ＢＬは、後段のブレ補正に利用できるように、２次元の劣化関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を２次元画素値で表す。各画素値は、その画素を軌跡が通過する時間（＝通過する速度の逆数）に比例し、各画素値の総和が１になるように正規化された値となる。
図７に示すように、ズレ量の原点及びｇｖ２〜ｇｖ４の終点の４点の座標値と、各点間の経過時間から求まる速度を補間することで、ＰＳＦの各画素値を算出することができる（図７の軌跡にかかる各画素値の明暗がおよその値を示している）。

ステップＳ１０４では、ブレ補正部１９により、画素群Ｌに基づく最長露光画像データのブレを、ブレ軌跡ＢＬを示すＰＳＦに基づいて補正して、ＨＤＲ合成部２０に出力する。ブレ補正の手法としては、ウィーナフィルタや擬似逆行列による逆フィルタなどを適用することができる。

ステップＳ１０５では、ズレ補正部１８により、画素群Ｓ２〜Ｓ４に基づく短露光画像データを、ズレ量を示す２次元グローバルベクトルｇｖ２〜ｇｖ４により画素群Ｓ１に基づく短露光画像データに対するズレを補正して、補正した各画素群に基づく画像データをＨＤＲ合成部２０に出力する。

ステップＳ１０６では、ＨＤＲ合成部２０が、ブレ補正された最長露光画素データとズレ補正された短露光画像データを、撮像素子１５の画素配置に合わせて再配置し、近傍どうしの最長露光画像データの画素値（以下、「長時間露光画素値」という）と短露光画像データの画素値（以下、「短時間露光画素値」という）を合成することで、ダイナミックレンジの拡大された合成画素値を全領域で生成し、高ダイナミックレンジの合成画像データを生成する。

長時間露光画素値と時間露光画素値との合成は、低輝度部は長時間露光画素値を、高輝度部は短時間露光画素値を選択し、レベル合わせをして、撮像素子の各画素に当てはめていけば良い。以下に、長時間露光画素値と時間露光画素値との合成の手法の一例を説明する。以下の説明において、撮像素子１５の許容最大値からオプティカルブラック値を差し引いた画素値を「画素飽和値」とする。

（合成前の画素値の決定）
画素位置がＬ（画素群Ｌに属する画素の画素位置）の場合：
ＶＬ＝画素群Ｌの該当画素位置の値
ＶＳ＝４近傍の短時間露光画素値の平均

画素位置がＳ１〜Ｓ４（画素群Ｓ１〜Ｓ４に属する画素の画素位置）の場合：
ＶＬは、以下のようになる。
すなわち、４近傍の長時間露光画素値のいずれかが画素飽和値である場合
ＶＬ＝画素飽和値
４近傍の長時間露光画素値のいずれかが画素飽和値でない場合
ＶＬ＝４近傍の長時間露光画素値の平均
また、ＶＳは以下のようになる。
ＶＳ＝該当する画素群（Ｓ１〜Ｓ４）の該当画素位置の値

（合成）
合成画素値は、
ＶＬ≠画素飽和値の場合には、
ＶＬ×０．２５
ＶＬ＝画素飽和値の場合には、
ＶＳ×２
となる。
但し、ＶＬは撮像素子の各画素位置における長時間露光画素値を示し、その画素が画素群Ｌに属さない場合は推定値である。ＶＳも同様に各画素位置の短時間露光画素値を示す。

デジタル値の場合、合成画素値は元の画素値に対し、下位２ビット、上位１ビット、が夫々拡張されている必要がある。
なお、合成されて得られた高ダイナミックレンジの合成画像データは、適宜ダイナミックレンジに適した階調変換などの処理を施し、表示や保存等の所望の処理を行うことができる。

このように本実施形態によれば、異なる露光タイミングで取得された複数の短露光画像データが、撮像素子の重複しない画素群毎に取得されたデータ量の少ない画像であるため、処理時間や消費電力を低減することができる。また、短露光画像データ間のズレを補正し、かつ、最長露光画像データのブレを補正したうえで、これらの画像データを合成するので、ブレや位置ズレの少ない高精細な高ダイナミックレンジ画像を取得することができる。特に、短露光画像データを複数取得しているので、ダイナミックレンジの拡大量をより大きくすることができる。

（第２の実施形態）
以下に、本発明の第２の実施形態に係る撮像装置について図面を参照して説明する。
本実施形態に係る撮像装置では、上述した第１の実施形態に係る撮像装置と同様の構成であり、第１の実施形態に係る撮像装置によって合成画像を生成する場合に比して、よりダイナミックレンジを拡大した合成画像を生成する。

例えば、ダイナミックレンジを６４倍拡大する場合、第１の実施形態に係る撮像装置によって、長時間露光と短時間露光の露光時間比を「６４：１」として適用すると、短時間露光画素値が選択された領域のノイズが階調変換により強調されることがある。このため、中間の露光時間を含めた３以上の露光時間設定が必要となる。本実施形態に係る撮像装置では、露光時間比「６４：１６：４：１」として４つの露光時間を設定する例について説明する。

以下、本実施形態に係る撮像装置における作用について図８のフローチャートを参照しつつ説明する。
まず、撮像素子１５は、露光制御部１６により、露光時間比に対応して４つの画素群Ｌ，ＭＬ，ＭＳ，Ｓのいずれかに分類されており、少なくとも画素群毎に露光タイミングの制御ができるように構成されている。なお、画素群Ｌ，ＭＬ，ＭＳ，Ｓは、上述した露光時間比６４：１６：４：１に対応している。
図９に示すように、各画素群Ｌ，ＭＬ，ＭＳ，Ｓの画素数はほぼ等しく、各画素群単独による被写体画像が被写体全体を示せるように、各画素群に所属する画素が均等に配置されている。

ステップＳ２０１において、露光制御部１６１が、画素群毎に図１０に示すタイミングチャートに従って、撮像素子１５の露光時間及び露光タイミングを設定し取得した画像データを画像合成部１１に出力する。

なお、適正露光時間ＴＰに対し、画素群Ｌの最長露光時間ＴＬはＴＰ×１６、画素群ＭＬの長露光時間ＴＭＬはＴＰ×４、画素群ＭＳの短露光時間ＴＭＳはＴＰ、画素群Ｓの際短露光時間ＴＳはＴＰ×０．２５に設定される。
画素群ＭＬ，ＭＳ，Ｓの露光タイミングは、画素群Ｌの最長露光期間の開始、中間、終了のいずれかのタイミングに設定する。各露光時間の順は図１０に示したものに限られず、適宜設定することができる。

なお、本実施形態では画素群ＭＬ，ＭＳ，Ｓの各画素群に対応する短露光時間（ＴＳ）は異なる時間帯に設定されているが、これらの露光時間の時間帯は一部重複するように設定してもよい。また、本実施形態でも各露光は異なるタイミングで行われるが、「異なるタイミング」とは、露光の開始時間と終了時間のいずれか一方が一致する場合も含む。即ち、ＴＭＬ、ＴＭＳ、ＴＳの内の少なくとも二つの開始時間と終了時間のいずれか一方が一致するように露光のタイミングを設定してもよい。

次のステップＳ２０２では、ズレ量算出部１７により、画素群Ｓに基づく最短露光画像データを基準として、画素群ＭＬに基づく長露光画像データ及び画素群ＭＳ基づく短露光画像データとの画像間ズレ量を算出する。

ここで、各画素群に基づく画像データは、互いに露光レベルが異なるため、ズレ算出のために露光レベルを一致させる必要がある。この点が上述した第１の実施形態と異なる点である。例えば、画素群Ｓと画素群ＭＬでは、露光レベル比（露光時間比）＝４／（１／４）＝１６倍の差があるので、画素群Ｓに基づく最短露光画像データの画素値を１６倍してから処理を行う。画素群Ｓに基づく最短露光画像データを基準とする各画像データのズレ量を夫々２次元グローバルベクトルとして表すことができ、ズレ量算出部１７は画素群ＭＳの短露光画像データのズレ量をｇｖＭＳ、画素群ＭＬに基づく長露光画像データｇｖＭＬとして算出する。

ステップＳ２０３では、ブレ補正部１９により、ズレ量算出部１７によって算出されたズレ量ｇｖＭＳ、ｇｖＭＬに基づいて、画素群Ｌに基づく最長露光画像データのブレ軌跡ＢＬを算出して推定する。続いて、ブレ補正部１９は、ステップＳ２０４において、ブレ軌跡ＢＬに従って画素群Ｌに基づく最長露光画像データのブレを補正する。なお、画素群Ｌに基づく最長露光画像データと他の各画素群に基づく画像データのサイズが等しいため、ズレ量のサイズを補正する必要はない。

ステップＳ２０５では、ズレ補正部１８が、画素群ＭＳに基づく短露光画像データ、画素群ＭＬに基づく長露光データの画素群Ｓに基づく最短露光画像データに対するズレを、２次元グローバルベクトルｇｖＭＳ〜ｇｖＭＬを用いて補正して、補正した各画素群に基づく画像データをＨＤＲ合成部２０に出力する。

ステップＳ２０６では、ＨＤＲ合成部２０が、ブレ補正された最長露光画像データとズレ補正された長露光画像データＭＬ，短露光画像データＭＳ、及び最短露光画像データＳの各画素群に基づく画像データを、撮像素子１５の画素配置に合わせて再配置し、近傍の画素値を合成することで、ダイナミックレンジの拡大された合成画素値を全領域で生成し、高ダイナミックレンジの合成画像データを生成する。

上述した本実施形態においては、露光時間比「６４：１６：４：１」として４つの露光時間を設定する例について説明したが、露光時間比はこれに限られず適宜設定することができる。例えば、露光時間比を「６４：８：１」に設定することもできる。この場合には、画素群を以下のように設定することが考えらえる。すなわち、例えば、露光時間比に対応させて３つの画素群を設定したり、また、比８に対応する画素群について他の画素群の２倍の画素数とし、半分毎に別の画素群Ｍ１，Ｍ２を設定して、合計４つの画素群を設定したりすることもできる。４つの画素群を設定する場合には、本実施形態における画素群ＭＬ，ＭＳに置き換えることにより上述の実施形態に準じて処理を行うことができる。

このように、本実施形態によれば、異なる露光タイミングで取得された複数の短露光画像データが、撮像素子の重複しない画素群毎に取得されたデータ量の少ない画像であるため、処理時間や消費電力を低減しながら、画像間の位置ズレの少ない高精細な高ダイナミックレンジ画像を取得することができる。

（変形例）
上記した各実施形態に係る撮像装置が、最長露光時間で露光されることにより取得された画像におけるブレの有無を判定する判定部を備え、ＨＤＲ合成部が、判定部においてブレが存在しないと判定された場合に、補正前の複数の画像に基づいて高ダイナミックレンジ画像を生成する構成としてもよい。

例えば、晴天下など十分に明るい環境では、設定される最長露光時間が、撮像装置の焦点距離等によって定まる手ブレ限界露光時間（一般的に、３５ｍｍフィルム換算で、１／焦点距離［ｍｍ］で表される）以下の場合、ブレ補正の必要性は大きくない。また、この場合には、撮像素子の性能によっては短時間露光画素値の読出し時間を確保できない場合もある。

そこで、判定部においてブレが存在しないと判定された場合、つまり、最長露光時間が撮像装置の焦点距離、感度、絞り等によって定まる手ブレ限界露光時間を超える場合に、ＨＤＲ合成部が、補正前の複数の画像に基づいて高ダイナミックレンジ画像を生成する構成とすることで、撮像装置の処理時間や消費電力をさらに節約することができる。

なお、最長露光画素のブレ補正が不要な場合は、例えば、図１１に示すタイミングチャートのように露光時間の終了位置を揃えたタイミングで各画素群に基づく画像データを取得すればよい。

１０ 撮像部
１１ 画像合成部
１５ 撮像素子
１６ 露光制御部
１７ ズレ量算出部
１８ ズレ補正部
１９ ブレ補正部
２０ ＨＤＲ合成部

Claims (6)

1. 多数の画素を配列してなる撮像素子と、
   該撮像素子の各画素を３以上の重複しない画素群のいずれか１つに分類するとともに、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を前記最長露光時間より短い露光時間で、かつ、前記最長露光時間内の異なるタイミングで露光させる露光制御部と、
   該露光制御部により異なるタイミングで露光されることにより前記他の画素群について取得された複数の画像間のズレ量を算出するズレ量算出部と、
   該ズレ量算出部により算出されたズレ量に基づいて、前記一の画素群について取得された最長時間露光画像内のブレを補正するブレ補正部と、
   該ブレ補正部による補正後の前記最長時間露光画像と前記他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するＨＤＲ合成部とを備える撮像装置。
2. 前記ズレ量算出部により算出されたズレ量に基づいて、前記他の画素群について取得された複数の画像間のズレを補正するズレ補正部を備え、
   前記ＨＤＲ合成部が、前記ブレ補正部による補正後の前記最長時間露光画像と、前記ズレ補正部による補正後の複数の前記画像とに基づいて高ダイナミックレンジ画像を生成する請求項１に記載の撮像装置。
3. 前記最長時間露光画像におけるブレの有無を判定する判定部を備え、
   前記ＨＤＲ合成部は、前記判定部においてブレが存在しないと判定された場合に、補正前の複数の前記画像に基づいて高ダイナミックレンジ画像を生成する請求項１又は請求項２に記載の撮像装置。
4. 前記露光制御部が、前記他の画素群について、互いに異なる露光時間で露光させることにより複数の画像を取得する請求項１乃至請求項３の何れか１項に記載の撮像装置。
5. 撮像素子の各画素を３以上の重複しない画素群のいずれか１つに分類するとともに、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を前記最長露光時間より短い露光時間で、かつ、前記最長露光時間内の異なるタイミングで露光させるステップと、
   異なるタイミングで露光されることにより前記他の画素群について取得された複数の前記画像間のズレ量を算出するステップと、
   前記ズレ量に基づいて、前記一の画素群について取得された最長時間露光画像内のブレを補正するステップと、
   補正後の前記最長時間露光画像と前記他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するステップとを含む画像生成方法。
6. 撮像素子の各画素を３以上の重複しない画素群のいずれか１つに分類するとともに、一の画素群に属する画素を最長露光時間で露光させ、２以上の他の画素群に属する画素を前記最長露光時間より短い露光時間で、かつ、前記最長露光時間内の異なるタイミングで露光させるステップと、
   異なるタイミングで露光されることにより前記他の画素群について取得された複数の前記画像間のズレ量を算出するステップと、
   前記ズレ量に基づいて、前記一の画素群について取得された最長時間露光画像内のブレを補正するステップと、
   補正後の前記最長時間露光画像と前記他の画素群について取得された複数の画像とに基づいて高ダイナミックレンジ画像を生成するステップとを、撮像装置に実行させる画像生成プログラム。

Images