JP2008277896A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】本発明によれば、異なる露出条件の少ない枚数の画像を合成することで、処理時間を短縮しつつ、被写体が動いている撮影シーンの多い連写時のカメラブレや被写体のブレを軽減した連写画像を得ることが可能な撮像装置および撮像方法を提供する。
【解決手段】撮像装置１０は、露出時間は短く解像度は高いがノイズの多い画像と、露出時間は長く解像度の低いがノイズの少ない画像を交互に連続して撮影する機能を有している。短時間露出画像をベースに、時系列的にその前もしくは後ろのいずれかの画像と合成処理する際、よりノイズの低減を図るために、合成に適した画像を判別する手段を設ける。
位置ズレを補正したそれぞれの長時間露出画像との差分絶対値の総和が小さい方がブレが小さいと判断して、そちらを合成対象とする。
【選択図】図１

Description

本発明は、撮像画像を合成することにより、画像のブレとノイズを低減可能な撮像装置および撮像方法に関するものである。

近年、撮像装置としてカメラの小型化が進み、手振れ補正技術が注目をされてきている。

その要因として、カメラの小型化により、写真撮影においてホールド性の低下したことや、携帯電話搭載のカメラなどの撮影方法として、片手での撮影など従来の撮影形態とくらべ自由度が広がっていることで手振れが発生し易くなっていることが挙げられる。

このように、撮影する際に、種々の方法や安定性の無い状態で撮影する場合、シャッターボタンを押した際にカメラがブレて、手振れが発生してしまう。

更には、露出時間の長い暗条件での撮影となるとシャッター速度が遅くなり、ブレてしまうケースも多々ある。
またこれらを避けるために露出条件で感度を上げて露出時間を短くし撮影した場合は、ノイズがのってしまい粗い画像となってしまう。

この問題を解消すべく、専用の機構を設け物理的に手振れ補正する装置が、一眼レフや最近ではコンパクトカメラにも搭載されている。
たとえば、ブレに合わせてレンズを傾斜させ補正する、光学式手振れ補正装置が製品化されているが、近年の小型化や携帯電話カメラへの搭載を考慮するとスペース的にも非常に困難である。

また、他の方法として、画像処理により複数枚の画像からブレの無い画像を得ることができる撮像装置などが種々提案されている（たとえば特許文献１参照）。

また、他の方法として、複数枚の画像を合成することで像ブレを補正する撮像装置において、連写時の撮影時間の長期化を防ぐことができる撮像装置なども提案されている（たとえば特許文献２参照）。
特開平１０−１０８０７９号公報 特開２００６−１７４０６９号公報

しかし、特許文献１など、従来提案されている撮像装置においては、複数枚分の画像を保持しておくメモリが必要となり高価なものとなってしまうという不利益がある。

また、撮影枚数が増えるに従い、撮影間に生じる画像間の位置ズレを補正するため処理時間が長くなってしまうという不利益がある。

また、特許文献２に示すような画像合成による像ブレ補正の連写を行う撮像装置においては、複数枚の画像を合成するため、撮影間に被写体が動いてしまうと、合成画像においても動いた被写体にダブリが生じてしまう。

撮影者が連写を行う撮影シーンとしては、動きのある被写体の時系列の変化を画像として保存するために行うことが容易に想定できる。したがって、連写を行う多くのケースで、被写体のダブリのない、所望の画像を得にくいという問題点がある。

本発明の目的は、異なる露出条件の少ない枚数の画像を合成することで、処理時間を短縮しつつ、被写体が動いている撮影シーンの多い連写時のカメラブレや被写体のブレを軽減した連写画像を得ることが可能な撮像装置および撮像方法を提供することにある。

本発明の第１の観点は、異なる露出条件で撮影した２枚の撮影画像を合成する機能を有する撮像装置であって、
連写を行う際に、第１の露出条件での撮影と第２の露出条件での撮影を交互に行う撮影制御手段と、撮影画像間の相互のズレ量を検出するズレ量検出手段と、 前記ズレ量検出手段で検出したズレを補正するズレ補正手段と、前記第１の露出条件で撮影した第１の撮影画像と時系列的にその前もしくは後ろのいずれかの前記第２の露出条件で撮影した第２の撮影画像の２枚の画像を前記ズレ補正手段にて位置ズレを補正して合成する合成手段とを有する。

好適には、前記第１の露出条件は、前記第２の露出条件よりも短時間露出である。

好適には、前記第１の露出条件は、前記第２の露出条件よりも高感度である。

好適には、前記合成手段において、前記第１の撮影画像と合成する際の対象となる前記第２の撮影画像は、前記第１の撮影画像の時系列的に前後のいずれかを適宜選択する画像選択手段をさらに有する。

好適には、前記画像選択手段は、前記第１の撮影画像との合成対象として時系列的に前後の前記第２の撮影画像いずれかを選択する際に、前記ズレ補正手段において補正された前記第１の撮影画像と前記合成対象の第２の撮影画像との差分絶対値をとり、その総和が小さい方を合成対象として選択する。

好適には、前記画像選択手段は、前記第１の撮影画像との合成対象として時系列的に前後の前記第２の撮影画像いずれかを選択する際に、前記合成対象の第２の撮影画像それぞれの画像データのエッジの空間周波数を比較し、該エッジの空間周波数が高い方を合成対象として選択する。

好適には、前記画像選択手段は、前記第１の撮影画像との合成対象として時系列的に前後の前記第２の撮影画像いずれかを選択する際に、前記第１の撮影画像に対する前記合成対象の第２の撮影画像のズレ量を比較し、該ズレ量が小さい方を合成対象として選択する。

好適には、前記画像選択手段において、合成対象画像を選択する際の種々の演算は、輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う。

好適には、前記画像選択手段において、合成対象画像を選択する際の種々の演算は、撮像素子の出力であるデータのうち、少なくともＧ成分に基づいて行う。

本発明の第２の観点は、異なる露出条件で撮影した２枚の撮影画像を合成する撮像方法であって、連写を行う際に、第１の露出条件での撮影と第２の露出条件での撮影を交互に行うステップと、前記第１の露出条件で撮影した第１の撮影画像との合成対象として、時系列的に前後ろの第２の露出条件で撮影した第２の撮影画像のどちらかを用いて、両画像のズレを補正して合成するステップとを有する。

本発明によれば、異なる露出条件の少ない枚数の画像を合成することで、処理時間を短縮しつつ、被写体が動いている撮影シーンの多い連写時のカメラブレや被写体のブレを軽減した連写画像を得ることができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック図である。

本撮像装置１０は、光学系１１、撮影制御部１２、操作部１３、撮像部１４、メモリ１５、演算部１６、および記録部１９を有しており、演算部１６はさらにズレ量検出部１７、合成部１８を有している。

本実施形態の撮像装置１０は、手ブレ補正撮影のＯＮ／ＯＦＦ、ならびに連写ＯＮ／ＯＦＦのモード切り換え手段を有している。

また、本実施形態の撮像装置１０は、感度を上げることによって露出時間は短く解像度は高いがノイズの多い画像と、感度を抑えることによって露出時間は長く解像度は低いがノイズの少ない画像を含む複数枚の画像を撮影する機能を有している。

そして、手ブレ補正撮影ＯＮのときには、撮像装置１０は撮影画像間の位置ズレを補正し、差分を取ることでエッジとブレを抽出し、エッジとブレ部分からの距離により複数画像の合成比率を変化させて合成することにより、ブレのないノイズ低減を図った画像を形成する機能を有している。

シャッターボタンなどの操作部１３より撮影指示を受けた撮影制御部１２は、被写体の明るさから最適なシャッタースピード、絞り、ゲインの値を算出し、撮像部１４に制御信号を送る。

撮影制御部１２は、露出制御を行うとともに、操作部１３などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系１１、撮像部１４等を制御し、システム全体の調停制御を司るものである。

撮像部１４は、ＣＣＤまたはＣＭＯＳセンサ等により形成され、光学系１１を通った被写体の光学像を受けて画像信号に変換し、変換した画像信号からＹＵＶ形式の画像データを生成し、メモリ１５に送る。以下の説明では、撮像部１４の撮像素子はＣＣＤにより形成されているものとして説明する。

本実施形態の光学系１１と撮像部１４は、撮影制御部１２の制御の下、ＣＣＤ感度の低い状態、すなわちノイズが少ないがシャッター速度の遅い長時間露出撮影と、ＣＣＤ感度を変えてノイズは多いが露出時間の短い撮影と、を行うことが可能である。

本実施の形態では、メモリ１５に記憶した各撮影データから輝度信号成分を抽出する機能と、輝度信号Ｙのノイズ成分を除去するフィルタリング処理機能を有する。フィルタリング処理は解像度を低下させないでノイズ成分を減らすためのフィルタ係数で処理を行う。一般的なものにはメディアンフィルタやエッジ保存フィルタなどが適用可能である。

演算部１６では、メモリ１５に格納された信号処理後の画像データに基づいて、演算を行う。

演算部１６の中のズレ量検出部１７では、露出条件の異なる複数枚の撮影画像間の位置ズレを検出する。

位置ズレの検出については、画像を一定の大きさの小領域(ブロック) に分割し、各ブロックが前のフレームのどこに対応するかを探し、対応するブロックの位置の差を動きベクトルとするブロックマッチングなどの方法が一般的であるが、ここではその手法については問わない。

合成部１８では、検出したズレ量に応じて画像間の位置ズレを補正し、補正した画像間の差分を取ることでエッジとブレ成分を抽出して、この差分値があらかじめ設定した閾値を超える場合にはこの画素をエッジと判断して第１の画像の合成比率を高くし、差分値が閾値以下の場合には第１の画像の合成比率を低くして（第２の合成比率を高くして）、エッジからの距離により画像の合成比率を段階的に設定し、設定した比率をもって画像を合成して、記録部１９にて記録媒体に記録する。

たとえば、エッジ部分は短時間露光の画像の比率を１００％とし、エッジから離れるに従い長時間露光の画像の比率を段階的に上げ、５０％ずつの比率まで可変すればよい。

つまり、エッジからの距離があらかじめ設定した距離より近い場合、短時間露出画像の比率を大きくして画像を合成し、エッジからの距離があらかじめ設定した距離より遠い場合、長時間露出画像の比率を大きくして画像を合成する。

以下、異なる露出条件で撮影した複数枚の画像例、撮影画像のＹＵＶ変換形式における輝度信号Ｙを画像の合成に用いる理由、撮影した複数画像のＹ信号成分の差分画像についてさらに詳細に説明する。

図２（ａ）〜（ｃ）は、異なる露出条件で撮影した２枚の画像とその差分画像例を示す図である。

図２（ａ）は、露光時間は短くブレがないが、感度が高いためにノイズの多い画像を示している。たとえばシャッター速度は短く感度の高い状態で撮影を行ったもので、解像度は高いが、感度を上げたため画像全体にノイズがのったものである。

図２（ｂ）は、露光時間は長くブレがあるが、感度が低いためにノイズの少ない画像を示している。たとえばシャッター速度が長く感度の低い状態で撮影を行ったもので、解像度は低く手振れが生じている可能性があるが、ノイズの少ない画像である。

画像を連続して撮影した場合、撮影画像間で位置ズレが生じるため、合成前に画像間での位置ズレを補正する必要がある。

図２（ｃ）は、図２(ａ），（ｂ）の画像間の位置ズレを補正した後に、差分をとった画像である。

ここでは、被写体のエッジとブレ部分、ノイズ成分が画像に残る。

本実施形態においては、この差分画像から、解像度が高いがノイズの多い画像を基準として、エッジからの距離によって設定した比率で複数枚画像の合成を行う。

次に、撮影画像のＹＵＶ形式について説明する。

この形式で扱われる信号は、輝度信号Ｙ、色差信号Ｕ、および色差信号Ｖである。これらの信号ＹＵＶのうち、解像度を決める要素としてＹ信号成分が大きく影響する。

画像圧縮の原理としてＪＰＥＧでは、色差信号を減らして圧縮するなど人間の目は比較的色情報に関しては鈍感であるため、輝度信号Ｙの画像合成を行うことによりノイズの大きな低減効果が図ることができる。

図３（ａ）〜（ｃ）は、差分画像に基づいた比率設定と合成結果の関係を示す図であって、図３（ａ）は差分画像を、図３（ｂ）は差分画像の被写体部分を拡大した画像と合成比率を、図３（ｃ）は設定した比率で合成した出力画像をそれぞれ示している。

図３（ｂ）のように、差分画像は短時間露出のエッジとノイズ、長時間露出のブレを抽出した画像となる。

これをあらかじめ設定した閾値Ｔｈにより切り分け、信号が閾値Ｔｈよりも大きい場合はエッジ・ブレと判断し、短時間露出の合成比率を大きくする。

エッジ部分とブレ部分については、短時間露出画像のエッジを保存しつつ、長時間露出画像のブレを抑えるために、短時間露出画像の比率を大きく設定する。

信号が閾値Ｔｈよりも小さい場合はノイズと判断し、長時間露出の合成比率を大きくする。

エッジから離れた、変化のない部分はノイズを抑えるために長時間露出画像の比率を大きく設定する。

このときエッジ近傍では図３（ｂ）のように、ある所定の傾斜を持たせて段階的に合成比率を設定する。
たとえば、被写体後方の壁や一様な面など、ノイズののった画像はノイズが目立ちムラのある画像であったものが、この処理を行うことによりノイズ低減を図ることができる。

本実施形態においては、ＹＵＶのＹ成分のみで差分画像をとり、合成比率の設定を行うことで、処理時間の短縮を図っている。

[第１の実施例]
本実施形態である、異なる露出条件での連写を模式的に表したものが図４である。ここで、合成して得られる画像をＲ_１、Ｒ_２、Ｒ_３、．．．Ｒ_ｎ、．．．として、Ｒ_ｎの合成に用いる短時間露出画像はＰ_２ｎ、その前後の長時間露光画像をそれぞれＰ_２ｎ-１、Ｐ_２ｎ+１と表す。

手ブレ補正撮影ＯＮで、かつ連写ＯＮの設定時には、操作部１３であるシャッターボタンが押されると、押されている間、撮影制御部１２は異なる露出時間での撮影、すなわち長時間露出の撮影と短時間露出の撮影を交互に、連続して行うために、撮像部１４の制御を行う。

撮影された画像のうち、短時間露出画像を合成時の基準画像とし、その前後いずれかの長時間露光画像と合成処理を行う。

すなわち、画像Ｐ_２ｎと、Ｐ_２ｎ-１もしくはＰ_２ｎ+１を合成する(ｎ：1,２,・・・)。

画像Ｐ_２ｎ-1，Ｐ_２ｎ，Ｐ_２ｎ+１が撮影されメモリ１５に送られると、ズレ量検出部１７では、Ｐ_２ｎ-1とＰ_２ｎ間、Ｐ_２ｎとＰ_２ｎ+１間の画像の位置ズレ量を検出する。

合成部１８では、検出したズレ量を基に、Ｐ_２ｎ-1とＰ_２ｎ間、Ｐ_２ｎとＰ_２ｎ+１間の位置ズレを補正し、それぞれの差分画像Ｄ_a，Ｄ_bを生成する。

差分画像には被写体のエッジとブレ成分が残るため、ブレが大きいほど、差分画像の画素ごとの値を積算した積算値も大きくなる。

そのため、長時間露出画像Ｐ_２ｎ-１とＰ_２ｎ+１のうち、ブレが大きい方が、その差分画像
Ｄ_a，Ｄ_bの積算値の値も大きくなる。

合成部１８では、このＤ_a，Ｄ_bの積算値を基に、合成に用いる長時間露光画像の判定を行い、積算値の小さい方、すなわちブレの小さい画像を選んで、短時間露光画像との合成を行う。

合成画像Ｒ_２ｎは、記録部１９に送られ、記録される。

この後は、次の短時間露光画像とその前後の長時間露光画像に対して、同様の処理を行って、合成画像を生成する。

ここで、合成画像としてブレの小さい画像を選ぶことで、短時間露光画像の合成比率を少しでも少なくして、合成後のノイズの低減を図っている。

次に、上記構成による動作を、図５のフローチャートに関連付けて説明する。

撮影のモードが、手ブレ補正撮影ＯＮ、連写ＯＮに設定されているとき、操作部１３のシャッターボタンが押されると、撮影制御部１２は撮像部１４に対し、撮影の指示を送る。

撮像部１４は、撮影制御に従い、異なる露出条件の画像、すなわち長時間露出と短時間露出の画像を交互に、連続して撮影を行い、順次メモリ１５に送る。（ＳＴ１〜６）
シャッターボタンが押されている間は、この撮影を繰り返し行う。

撮影画像Ｐ_２ｎ-１，Ｐ_２ｎ，Ｐ_２ｎ＋１（ｎ：1,２,・・・）がメモリ１５に記憶されると、その画像データをもとに、画像間の位置ズレ量を検出する。

ＳＴ７においては、画像Ｐ_２ｎ-１とＰ_２ｎの位置ズレ量Ｖ_aを、ブロックマッチング等の手法により検出する。

ＳＴ８においては、同様の手法で、Ｐ_２ｎとＰ_２ｎ＋１の位置ズレ量Ｖ_ｂを検出する。

ＳＴ９においては、上記ステップで検出した位置ズレ量Ｖ_aをもとにして、画像Ｐ_２ｎ-１とＰ_２ｎ間の位置ズレを補正した上で、差分画像Ｄ_aを生成する。

ＳＴ１０においては、同様の手法で、Ｐ_２ｎとＰ_２ｎ＋１間の位置ズレを補正した上で、差分画像Ｄ_ｂを生成する。

ＳＴ１１においては、差分画像Ｄ_a，Ｄ_bの画像データから、画素毎の値の積算値Ｓ_a，
Ｓ_bを算出する。

ここでは、Ｓ_aの方が大きければ、Ｐ_２ｎ-１の方がブレが大きく、Ｓ_bの方が大きければ、Ｐ_２ｎ＋１の方がブレが大きいということになる。

ＳＴ１２においては、Ｓ_aとＳ_bの大きさを比較し、Ｓ_aが小さければ、差分画像Ｄ_aをもとに画像Ｐ_２ｎ-１とＰ_２ｎの合成比率を設定し（ＳＴ１３）、合成処理を行う（ＳＴ１４）。Ｓ_ｂが小さければ、差分画像Ｄ_ｂをもとに画像Ｐ_２ｎとＰ_２ｎ＋１の合成比率を設定し（ＳＴ１５）、合成処理を行う（ＳＴ１６）。

合成画像は記録部１９に送る。

引き続きシャッターボタンが押されていれば、ＳＴ３に戻り、次の短時間露光画像とその前後の長時間露光画像に対して、一連の処理を行う。

[第２の実施例]
続いて、図１の撮像装置１０で、合成部１８において、短時間露光画像Ｐ_２ｎとの合成対象として、長時間露光画像Ｐ_２ｎ-１もしくはＰ_２ｎ＋１（ｎ：1,２,・・・）のどちらかを選択する際の判別方法として、他の処方で実施した場合の動作を、図６のフローチャートに関連付けて説明する。

操作部１３であるシャッターボタンが押されると、押されている間、長時間露出の撮影と短時間露出の撮影を交互に、連続して行い、メモリ１５に記憶する。（ＳＴ１０１〜１０６）
ＳＴ１０７，１０８においては、画像Ｐ_２ｎ-１とＰ_２ｎ＋１の水平方向のエッジ量ｆx( i , j )、垂直方向のエッジ量ｆy( i , j )を算出する。ここでエッジ量とはエッジの空間周波数に相当するものを意味する。

ここでは、エッジ検出で一般的に知られている微分法を用いる。

画像平面上の任意の座標点（ｉ，ｊ）の画素の出力をｓ（ｉ，ｊ）、水平方向の微分量をｆｘ（ｉ，ｊ）、垂直方向の微分量をｆｙ（ｉ，ｊ）とすると次式の様に表せる。

ｆｘ（ｉ，ｊ） ＝ ｓ（ｉ＋１，ｊ） − ｓ（ｉ，ｊ）
ｆｙ（ｉ，ｊ） ＝ ｓ（ｉ，ｊ＋１） − ｓ（ｉ，ｊ）
ＳＴ１０９においては、画像Ｐ_２ｎ-１とＰ_２ｎ＋１の水平、垂直のエッジ量から、画素毎のエッジ量ｆxy( i , j )を算出する。

ここでは、ｆxy( i , j )＝{（ｆx( i , j )）^２+（ｆy( i , j )）^２}^１／２より算出する。

ＳＴ１１０においては、画像Ｐ_２ｎ-１とＰ_２ｎ＋１それぞれの画素毎のエッジ量ｆxy( i , j )を積算する（Ｓ_a，Ｓ_b）。

その結果、積算値の大きい画像の方が、ブレが少ないと判断する。

ＳＴ１１１においては、Ｓ_aとＳ_bの大きさを比較し、Ｓ_aの方が大きければ、画像
Ｐ_２ｎ-１とＰ_２ｎの位置ズレを検出・補正した上で差分画像Ｄ_aをとり、それをもとに画像
Ｐ_２ｎ-１とＰ_２ｎの合成比率を設定して、合成処理を行う（ＳＴ１１２〜ＳＴ１１５）。

Ｓ_bが大きければ、画像Ｐ_２ｎとＰ_２ｎ＋１の位置ズレを検出・補正した上で差分画像Ｄ_bをとり、それをもとにの合成比率を設定して、合成処理を行う（ＳＴ１１６〜ＳＴ１１９）。

合成画像は記録部１９に送る。

引き続きシャッターボタンが押されていれば、ＳＴ１０３に戻り、次の短時間露光画像とその前後の長時間露光画像に対して、一連の処理を行う。

[第３の実施例]
短時間露光画像との合成対象として、時系列的に前後する長時間露光画像の何れを選択するかの更に別の判別方法について、図７のフローチャートで説明する。

操作部１３であるシャッターボタンが押されると、押されている間、長時間露出の撮影と短時間露出の撮影を交互に、連続して行い、順次メモリ１５に記憶する。（ＳＴ２０１〜２０６）
ＳＴ２０７〜２０８では撮影された画像のうち、短時間露出画像Ｐ_２ｎと、その前の長時間露光画像Ｐ_２ｎ−１及び後の長時間露光画像Ｐ_２ｎ+１との位置ズレ量をズレ量検出部１７において検出する。

画像合成を行うにあたっては、ブレの小さい画像を選ぶことで、短時間露光画像の合成比率を少しでも少なくして、合成後のノイズの低減を図ることができる。

位置ズレ量は連写毎の手振れによる像の位置ズレによるもので、長時間露光中の像の移動量にも相関があると言えるので、検出された位置ズレ量の小さい方が長時間露光中の像の移動量も小さいことになり、短時間露光画像との合成に適している。よって合成部１８では、長時間露光画像Ｐ_２ｎ−１及びＰ_２ｎ+１のうち位置ズレ量の小さいほうをＳＴ２０９で選択して短時間露出画像Ｐ_２ｎとの合成を行う。

画像合成は選択された長時間露光画像と短時間露光画像の位置ズレを補正した上で差分画像Ｄ_aをとり、それをもとに長時間露光画像と短時間露光画像の合成比率を設定して、合成処理を行う。（ＳＴ２１０〜２１２ｏｒＳＴ２１３〜２１５）
合成画像は記録部１９に送られ、記録される。

ＳＴ２１８において引き続きシャッターボタンが押されていれば、ＳＴ２０３に戻り、次の短時間露光画像とその前後の長時間露光画像に対して、一連の処理を行う。

本実施例によると、先に画像の選択を行い、選択した画像とのみ差分画像を求める処理を行えば良いので、演算処理量が少なくて済む。また、位置ズレ量が少ないほうを選択する言うことは、合成できる画面面積が広く、手ブレ補正撮影が実行されている状態でもより広い画角を確保することが可能となる。

以上の説明のように、本発明では異なる露出条件で交互に連続撮影した複数の画像から、合成に適した画像を判別して、合成することにより、ノイズを抑えたブレのない画像を得ることができ、処理時間を短縮しつつ、連写画像を得ることができる。

本実施形態の合成処理は、撮影画像の信号処理後のＹＵＶ（Ｙは輝度信号、Ｕ，Ｖは色差信号）形式で画像合成処理を行う場合を例に説明したが、撮像素子（センサ）からのＲＧＢベイヤー配列の出力（ＲＡＷデータ）に対して行う場合にも適用できる。

この場合、撮影した複数枚の画像のＲＡＷ画素データよりＧｒ成分を抽出して差分をとり、この差分画像からエッジ、ブレ成分を検出する。

ＲＡＷ画像信号は、アナログ段階で既にホワイトバランスのゲインがＲ・Ｂに対してかけられているため、Ｇ成分に比べてＲ・Ｂ成分はノイズが多い。

そのため、本実施形態では、ノイズが少ないＧ成分を抽出すればよい。なお、その他のＲ、Ｂで行うことも可能である。

本発明に係る撮像装置の一実施形態を示すブロック図である。 異なる露出条件で撮影した複数枚の画像例とその差分画像を示す図である。 差分画像に基づいた比率設定と合成結果の関係を示す図である。 異なる露出条件での連写を模式的に表した図である。 本第１の実施形態の動作を説明するためのフローチャートである。 本第２の実施形態の動作を説明するためのフローチャートである。 本第３の実施形態の動作を説明するためのフローチャートである。

符号の説明

１０・・・撮像装置、１１・・・光学系、１２・・・撮影制御部、１３・・・操作部、
１４・・・撮像部、１５・・・メモリ、１６・・・演算部、１７・・・ズレ量検出部、
１８・・・合成部、１９・・・記録部

Claims (10)

1. 異なる露出条件で撮影した２枚の撮影画像を合成する機能を有する撮像装置であって、
   連写を行う際に、第１の露出条件での撮影と第２の露出条件での撮影を交互に行う撮影制御手段と、
   撮影画像間の相互のズレ量を検出するズレ量検出手段と、
   前記ズレ量検出手段で検出したズレを補正するズレ補正手段と、
   前記第１の露出条件で撮影した第１の撮影画像と時系列的に前後のいずれかの前記第２の露出条件で撮影した第２の撮影画像の２枚の画像を前記ズレ補正手段にて位置ズレを補正して合成する合成手段と
   を有することを特徴とする撮像装置。
2. 前記第１の露出条件は、前記第２の露出条件よりも短時間露出であることを特徴とする
   請求項１に記載の撮像装置。
3. 前記第１の露出条件は、前記第２の露出条件よりも高感度であることを特徴とする
   請求項１から２のいずれかに記載の撮像装置。
4. 前記合成手段において、
   前記第１の撮影画像と合成する際の対象となる前記第２の撮影画像は、前記第１の撮影画像の時系列的に前後のいずれかを適宜選択する画像選択手段をさらに有することを特徴とする
   請求項１から３のいずれかに記載の撮像装置。
5. 前記画像選択手段は、前記第１の撮影画像との合成対象として時系列的に前後の前記第２の撮影画像いずれかを選択する際に、前記ズレ補正手段において補正された前記第１の撮影画像と前記合成対象の第２の撮影画像との差分絶対値をとり、その総和が小さい方を合成対象として選択することを特徴とする
   請求項４に記載の撮像装置。
6. 前記画像選択手段は、前記第１の撮影画像との合成対象として時系列的に前後の前記第２の撮影画像いずれかを選択する際に、前記合成対象の第２の撮影画像それぞれの画像データのエッジの空間周波数を比較し、該エッジの空間周波数が高い方を合成対象として選択することを特徴とする
   請求項４に記載の撮像装置。
7. 前記画像選択手段は、前記第１の撮影画像との合成対象として時系列的に前後の前記第２の撮影画像いずれかを選択する際に、前記第１の撮影画像に対する前記合成対象の第２の撮影画像のズレ量を比較し、該ズレ量が小さい方を合成対象として選択することを特徴とする
   請求項４に記載の撮像装置。
8. 前記画像選択手段において、合成対象画像を選択する際の種々の演算は、輝度信号Ｙ、色差信号Ｕ，Ｖのうち、少なくとも輝度信号に基づいて行う
   請求項５から７のいずれかに記載の撮像装置。
9. 前記画像選択手段において、合成対象画像を選択する際の種々の演算は、撮像素子の出力であるデータの内、少なくともＧ成分に基づいて行う
   請求項５から７のいずれかに記載の撮像装置。
10. 異なる露出条件で撮影した２枚の撮影画像を合成する撮像方法であって、
    連写を行う際に、第１の露出条件での撮影と第２の露出条件での撮影を交互に行うステップと、
    前記第１の露出条件で撮影した第１の撮影画像と、時系列的に前後となる第２の露出条件で撮影した第２の撮影画像のどちらかの両画像を、両画像間のズレを補正して合成するステップと、
    を有することを特徴とする撮像方法。

Images