JP2011135152A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】露出の異なる複数の画像信号を合成しダイナミックレンジの広い画像信号を生成する場合において、手ぶれを抑えつつ、暗い撮像シーンにおける暗部の黒つぶれを抑える。
【解決手段】ある露出に対応するシャッタ速度が閾値以上であると判断した場合、その露出での撮像を許可する撮像可否判断部２１と、撮像可否判断部２１により許可された露出の画像信号を用いてダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、撮像可否判断部２１により許可された露出に対して撮像枚数を設定する撮像設定部２２と、撮像設定部２２により設定された撮像枚数の画像信号を取得する連続撮像制御部２３と、連続撮像制御部２３により取得された複数の画像信号を合成して、ダイナミックレンジの広い画像信号を生成する画像信号合成部１９とを備えて撮像装置１を構成する。
【選択図】図１

Description

本発明は、露出の異なる複数の画像信号を合成しダイナミックレンジの広い画像信号を得る撮像装置及び撮像方法に関する。

一般的な電子カメラに使われているＣＣＤイメージセンサやＣＭＯＳ型イメージセンサ等、種々の固体撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭いという問題があった。そのため、高輝度部においては白飛びが発生したり、低輝度部においては黒つぶれが発生したりという状態になることがあった。このような問題点に関し、ブラケット撮像により露出の異なる複数の画像信号を得て、それらを合成することで、ダイナミックレンジの広い１枚の画像信号を生成する手法が提案されている。例えば、中心露出の画像信号、中心露出よりも１段高いオーバー露出の画像信号、及び中心露出よりも１段低いアンダー露出の画像信号の合計３枚の露出の異なる画像信号を得て、それらを合成することによりダイナミックレンジの広い画像信号を生成する。

しかしながら、複数の画像信号の撮像時に手ぶれが原因で合成後の画像信号に二重像等のアーティファクトが起きる問題があった。
そこで、例えば、手ぶれを抑えるためのブラケット撮像方法として、シャッタ速度を速くすることができるアンダー露出で複数の画像信号を撮像し、合成枚数を異ならせて露出の異なる３枚の画像信号を取得する方法がある（例えば、特許文献１参照）。このブラケット撮像方法を利用して得られる３枚の画像信号をさらに合成してダイナミックレンジの広い画像信号を生成する場合は、手ぶれを抑えて露出の異なる３枚の画像信号を取得することができるため、合成後の画像信号に二重像等のアーティファクトが起きることを抑えることができる。

特開２００８−１１８３８９号公報

しかしながら、上述したように、アンダー露出の複数の画像信号を合成して露出の異なる３枚の画像信号を取得し、それらの画像信号をさらに合成してダイナミックレンジの広い画像信号を生成する場合は、アンダー露出の画像信号のみが用いられてダイナミックレンジの広い画像信号が生成されるため、夜景等の暗い撮像シーンでは、暗部が黒くつぶれてしまうという問題がある。

そこで、本発明では、露出の異なる複数の画像信号を合成しダイナミックレンジの広い画像信号を生成する場合において、手ぶれを抑えつつ、暗い撮像シーンにおける暗部の黒つぶれを抑えることが可能な撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像装置であって、シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出する露出算出手段と、前記露出算出手段により算出された複数の露出に対応するシャッタ速度がそれぞれ第１の閾値以上であるかを判断し、ある露出に対応するシャッタ速度が前記第１の閾値以上であると判断した場合、その露出での撮像を許可する撮像可否判断手段と、前記撮像可否判断手段により許可された露出の画像信号を用いて前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記撮像可否判断手段により許可された露出に対して撮像枚数を設定する撮像設定手段と、前記撮像設定手段により設定された撮像枚数の画像信号を取得する画像取得手段と、前記画像取得手段により取得された複数の画像信号を合成して、前記ダイナミックレンジの広い画像信号を生成する画像信号合成手段とを備える。

また、前記撮像可否判断手段は、ある露出に対応するシャッタ速度が前記第１の閾値以上でないと判断した場合、その露出における撮像素子の感度及びシャッタ速度を上げた後、変更後の感度が第２の閾値以下で、かつ、変更後のシャッタ速度が前記第１の閾値以上であると判断した場合、その露出での撮像を許可するように構成してもよい。

また、前記第１の閾値は、手ぶれがないときの最も遅いシャッタ速度としてもよい。
また、前記第２の閾値は、ノイズが抑えられた画像信号が取得されるときの最も大きい前記撮像素子の感度としてもよい。

また、本発明の撮像装置は、ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像装置であって、シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出する露出算出手段と、前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記露出算出手段により算出された複数の露出それぞれの撮像枚数を設定する撮像枚数設定手段と、前記露出算出手段により算出された複数の露出のうち、低い露出から順に、前記撮像枚数設定手段により設定された撮像枚数の画像信号を取得する画像取得手段と、手ぶれを検出する手ぶれ検出手段と、前記手ぶれ検出手段により手ぶれが検出されると、現在の露出を低い露光に変更するとともに、その変更後の露出で前記露出算出手段により算出された各露出の画像信号が得られるように撮像枚数を変更して前記画像取得手段に画像信号を再度取得させる撮像可否判断手段と、前記画像取得手段により取得された複数の画像信号を合成して、ダイナミックレンジの広い画像信号を生成する画像信号合成手段とを備える。

また、前記手ぶれ検出手段は、取得後の複数の画像信号に基づいて手ぶれを検出するように構成してもよい。
また、前記手ぶれ検出手段は、当該撮像装置の動きを検知するセンサとしてもよい。

また、本発明の撮像方法は、ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像方法であって、シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出し、前記複数の露出に対応するシャッタ速度がそれぞれ閾値以上であるかを判断し、ある露出に対応するシャッタ速度が前記閾値以上であると判断した場合、その露出での撮像を許可し、前記許可された露出の画像信号を用いて前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記許可された露出に対して撮像枚数を設定し、前記設定された撮像枚数の画像信号を取得し、前記取得された複数の画像信号を合成して、前記ダイナミックレンジの広い画像信号を生成する。

また、本発明の撮像方法は、ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像方法であって、シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出し、前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記算出された各露出それぞれの撮像枚数を設定し、前記算出された各露出のうち、低い露出から順に、前記設定された撮像枚数の画像信号を取得し、手ぶれ検出手段により手ぶれが検出されると、現在の露出を低い露光に変更するとともに、その変更後の露出で前記算出された各露出の画像信号が得られるように撮像枚数を変更して画像信号を再度取得し、前記取得された複数の画像信号を合成して、ダイナミックレンジの広い画像信号を生成する。

本発明によれば、露出の異なる複数の画像信号を合成しダイナミックレンジの広い画像信号を生成する場合において、手ぶれを抑えつつ、暗い撮像シーンにおける暗部の黒つぶれを抑えることができる。

本発明の実施形態の撮像装置を示す図である。 「ＡＥＢ撮像モード」時の撮像装置の動作を説明するためのフローチャートである。 「ＡＥＢ設定」の動作を説明するためのフローチャートである。 ＬＵＴの一例を示す図である。 ＬＵＴの一例を示す図である。 「連続撮像」の動作を説明するためのフローチャートである。 本発明の他の実施形態の撮像装置を示す図である。 他の実施形態における「ＡＥＢ撮像モード」時の撮像装置の動作を説明するためのフローチャートである。 他の実施形態における手ぶれ検出タイミングを示す図である。 手ぶれ検出時の露出及び撮像枚数の変更動作を説明するための図である。 本発明の他の実施形態の撮像装置の変形例を示す図である。 手ぶれ検出時の露出及び撮像枚数の変更動作を説明するための図である。。

図１は、本発明の実施形態の撮像装置を示す図である。
図１に示す撮像装置１は、撮像レンズ系２と、レンズ駆動機構３と、レンズドライバ４と、露出制御機構５と、露出制御ドライバ６と、イメージセンサ７（撮像素子）と、イメージセンサドライバ８と、プリプロセス回路９と、デジタルプロセス回路１０と、カードインタフェース１１と、ＬＣＤ画像表示系１２と、操作スイッチ系１３と、操作表示系１４と、不揮発性メモリ１５と、システムコントローラ１６とを備えて構成される。

撮像レンズ系２は、ズームレンズやフォーカスレンズ等の各種レンズから構成される。
レンズ駆動機構３は、撮像レンズ系の各種レンズのそれぞれの駆動（ズームレンズの伸縮駆動やフォーカスレンズの焦点調整等）を行う。

レンズドライバ４は、システムコントローラ１６から送られてくる制御信号に基づいてレンズ駆動機構３の動作を制御する。
露出制御機構５は、絞りの径やシャッタの速度を制御する。

露出制御ドライバ６は、システムコントローラ１６から送られてくる制御信号（例えば、シャッタ速度を制御するためのTv制御値）に基づいて露出制御機構５の動作を制御する。

イメージセンサ７は、カラーフィルタを内蔵し、被写体像を光電変換する。
イメージセンサドライバ８は、イメージセンサ７の駆動を制御する。
プリプロセス回路９は、アナログアンプやＡ／Ｄ変換器等を備え、システムコントローラ１６から送られてくるＩＳＯ感度制御値に基づいて光電変換後の画像信号のレベルをアナログアンプにより制御した後、Ａ／Ｄ変換器によりデジタルデータに変換する。

デジタルプロセス回路１０は、プリプロセス回路９によりデジタルデータに変換された画像信号を記憶するメモリ１７と、メモリ１７に記憶された画像信号に対して色信号生成処理、マトリクス変換処理、圧縮伸張処理、及びその他の各種デジタル処理を行い記録用の画像信号を生成する信号処理部１８と、信号処理部１８により生成された複数の画像信号を合成してダイナミックレンジの広い１枚の画像信号を作成する画像信号合成部１９とを備えて構成される。

カードインタフェース１１は、外部の記録媒体であるメモリカード２０とのインタフェースである。
ＬＣＤ画像表示系１２は、デジタルプロセス回路１０により生成された画像信号を表示する。

操作スイッチ系１３は、レリーズボタンや設定ボタン等の各種スイッチから構成される。
操作表示系１４は、ユーザの操作による撮像装置１の現在の操作状態や撮像モード状態等を表示する。

不揮発性メモリ１５は、ＥＥＰＲＯＭ等により構成され、システムコントローラ１６において設定される各種設定値を記憶する。
システムコントローラ１６は、ＣＰＵ等により構成され、上記各部の動作を統括的に制御する。例えば、ユーザにより操作スイッチ系１３の各種スイッチが操作されることによりイメージセンサ７のＩＳＯ感度や露出補正値等の撮像条件が設定された後、レリーズボタンが半押しされると、システムコントローラ１６は「プリ撮像モード」に入る。「プリ撮像モード」に入ったシステムコントローラ１６は、レンズドライバ４、露出制御ドライバ６、及びイメージセンサドライバ８のそれぞれの動作を制御することによりイメージセンサ７において露光（電荷蓄積）を行い、イメージセンサ７から光電変換後の画像信号を読み出す。次に、システムコントローラ１６は、デジタルデータに変換後の画像信号に対してデジタルプロセス回路１０において各種信号処理を施し、ＬＣＤ画像表示系１２に送る。そして、ユーザによりレリーズボタンが全押しされると、システムコントローラ１６は、「撮像モード」に入り、デジタルプロセス回路１０から出力される画像信号をカードインタフェース１１を介してメモリカード２０に記録する。

また、システムコントローラ１６は、撮像可否判断部２１と、撮像設定部２２と、連続撮像制御部２３とを備え、上記「プリ撮像モード」や「撮像モード」の他に、本実施形態の特徴点である「自動露出ブラケット（以下、ＡＥＢ（ Auto Exposure Bracketing）という）撮像モード」を行う。

撮像可否判断部２１は、シャッタ速度Tvと閾値Tvshとの比較結果やＩＳＯ感度と閾値Ishとの比較結果に基づいて、「ＡＥＢ撮像モード」時に設定される複数の露出Evにおいてそれぞれ撮像可否判断を行う。

撮像設定部２２は、上記複数の露出Ev、上記複数の露出Evにそれぞれ対応するシャッタ速度Tv、上記複数の露出Evにそれぞれ対応するＩＳＯ感度、及び上記複数の露出Evにそれぞれ対応する撮像枚数等の各種設定値を不揮発性メモリ１５に記憶する。

連続撮像制御部２３は、不揮発性メモリ１５に記憶された各種設定値に基づいて、レンズドライバ４、露出制御ドライバ６、及びイメージセンサドライバ８のそれぞれの動作を制御し、ダイナミックレンジの広い画像信号を生成するための複数の画像信号を取得する。

次に、「ＡＥＢ撮像モード」時の撮像装置１の動作について説明する。
図２は、「ＡＥＢ撮像モード」時の撮像装置１の動作を説明するためのフローチャートである。

まず、ユーザにより「ＡＥＢ撮像モード」が設定された後、レリーズボタンが全押しされると、システムコントローラ１６は、画像信号のＡＦエリア内のコントラスト値をプリプロセス回路９から取得した後、このコントラスト値が最大になるようにレンズ駆動機構３の動作を制御することにより焦点位置を検出する（Ｓ１）。なお、不図示の赤外線センサを用いて撮像装置１と被写体との距離を測定し、その測定した距離に応じてレンズ駆動機構３の動作を制御することで焦点位置を検出するように構成してもよい。

次に、システムコントローラ１６は、画像信号内の輝度レベルや不図示の輝度センサを用いて測光を行う（Ｓ２）。
次に、システムコントローラ１６は、測光により得られた被写体輝度と、ユーザにより予め設定されるＩＳＯ感度及び露出補正値とに基づいてブラケット撮像に必要な複数の露出Evを算出する（Ｓ３）。例えば、システムコントローラ１６は、被写体輝度、ＩＳＯ感度、及び露出補正値に基づいて、露出Ev_0を算出した後、その露出Ev_0よりも１段高い露出Ev_over（=Ev_0+Ev_step）を算出するとともに、露出Ev_0よりも１段低い露出Ev_under（=Ev_0-Ev_step）を算出する。なお、Ev_stepは、予め設定される任意の値とする。

次に、システムコントローラ１６の撮像可否判断部２１は、シャッタ速度Tvと閾値Tvshとの比較結果やＩＳＯ感度と閾値Ishとの比較結果に基づいて露出Ev_over、Ev_0、Ev_underそれぞれの撮像可否判断を行い、その撮像可否判断結果に基づいて露出Ev_over、Ev_0、Ev_underそれぞれにおける撮像枚数を設定する（Ｓ４）。

次に、システムコントローラ１６の撮像設定部２２は、各種設定値（露出Ev_over、Ev_0、Ev_under、露出Ev_over、Ev_0、Ev_underにそれぞれ対応するシャッタ速度Tv、露出Ev_over、Ev_0、Ev_underにそれぞれ対応するＩＳＯ感度、及び露出Ev_over、Ev_0、Ev_underにそれぞれ対応する撮像枚数）を不揮発性メモリ１５に記憶する（Ｓ５）。

次に、システムコントローラ１６の連続撮像制御部２３は、不揮発性メモリ１５に記憶された各種設定値に基づいて、レンズドライバ４、露出制御ドライバ６、及びイメージセンサドライバ８のそれぞれの動作を制御して、ダイナミックレンジの広い画像信号の生成に必要な複数の画像信号を取得する（Ｓ６）。

そして、信号処理部１８において、Ｓ６で取得された複数の画像信号に対してそれぞれ各種信号処理が施され、画像信号合成部１９において、信号処理が施された各画像信号に対して位置合わせ処理が行われた後、合成されてダイナミックレンジの広い画像信号が生成される（Ｓ７）。合成後の画像信号は、カードインタフェース１１を介してメモリカード２０に記録される。

図３は、上記Ｓ４（ＡＥＢ設定）の動作を説明するためのフローチャートである。
まず、撮像可否判断部２１は、予めユーザにより設定されるＩＳＯ感度を読み込む（Ｓ４１）。

次に、撮像可否判断部２１は、露出Evを設定する（Ｓ４２）。なお、初期状態では、図２のＳ３で算出される露出Ev_over、Ev_0、Ev_underのうち、露出Ev_overが設定されるものとする。

次に、撮像可否判断部２１は、シャッタ速度Tvが閾値Tvsh以上であるかを判断する（Ｓ４３）。なお、閾値Tvshは、手ぶれが発生しないときの最も遅いシャッタ速度Tvであって、例えば、１／焦点距離により算出される値である。

シャッタ速度Tvが閾値Tvsh以上であると判断した場合、すなわち、手ぶれが発生しないと判断した場合（Ｓ４３がＹｅｓ）、撮像可否判断部２１は、Ｓ４２で設定された露出Evでの撮像を「可」とする旨の撮像可否判断フラグ（「○」）を立てる（Ｓ４４）。

一方、シャッタ速度Tvが閾値Tvsh以上でないと判断した場合、すなわち、手ぶれが発生すると判断した場合（Ｓ４３がＮｏ）、撮像可否判断部２１は、ＩＳＯ感度を１段高くし（Ｓ４５）、シャッタ速度Tvを１段上げる（Ｓ４６）。

次に、撮像可否判断部２１は、ＩＳＯ感度が閾値Ish以下であるかを判断する（Ｓ４７）。なお、閾値Ishは、ノイズが抑えられた画像信号が取得されるときの最も大きいＩＳＯ感度である。

ＩＳＯ感度が閾値Ish以下でないと判断した場合、すなわち、ノイズが抑えられた画像信号を取得することができないと判断した場合（Ｓ４７がＮｏ）、撮像可否判断部２１は、Ｓ４２で設定された露出Evでの撮像を「否」とする旨の撮像可否判断フラグ（「×」）を立てる（Ｓ４８）。

一方、ＩＳＯ感度が閾値Ish以下であると判断した場合、すなわち、ノイズが抑えられた画像信号を取得することができると判断した場合（Ｓ４７がＹｅｓ）、撮像可否判断部２１は、シャッタ速度Tvが閾値Tvsh以上であるかを判断する（Ｓ４９）。

シャッタ速度Tvが閾値Tvsh以上であると判断した場合、（Ｓ４９がＹｅｓ）、撮像可否判断部２１は、Ｓ４４に進む。
一方、シャッタ速度Tvが閾値Tvsh以上でないと判断した場合（Ｓ４９がＮｏ）、撮像可否判断部２１は、Ｓ４５に戻る。

また、撮像可否判断部２１は、Ｓ４２で設定された露出Evでの撮像を「可」とする旨の撮像可否判断フラグ（Ｓ４４）又はＳ４２で設定された露出Evでの撮像を「否」とする旨の撮像可否判断フラグ（Ｓ４８）を記憶する（Ｓ５０）。

次に、撮像可否判断部２１は、露出Ev_over、Ev_0、Ev_underに対してそれぞれ撮像可否判断フラグが記憶されたかを判断する（Ｓ５１）。
露出Ev_over、Ev_0、Ev_underに対してそれぞれ撮像可否判断フラグが記憶されていないと判断した場合（Ｓ５１がＮｏ）、撮像可否判断部２１は、露出Evを１段低い露出Evに切り替えて（Ｓ５２）、Ｓ４２に戻る。例えば、現在の露出Evが露出Ev_overのとき、露出Ev_0に切り替え、現在の露出Evが露出Ev_0のとき、露出Ev_underに切り替える。

一方、露出Ev_over、Ev_0、Ev_underに対してそれぞれ撮像可否判断フラグが記憶されていると判断した場合（Ｓ５１がＹｅｓ）、撮像可否判断部２１は、露出Ev_over、Ev_0、Ev_underにそれぞれ対応する撮像可否判断フラグの組み合わせ（パターン）に基づいて、露出Ev_over、Ev_0、Ev_underにそれぞれ対応する撮像枚数を決定する（Ｓ５３）。例えば、撮像可否判断部２１は、図４Ａに示すＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を用いて露出Ev_over、Ev_0、Ev_underにそれぞれ対応する撮像可否判断フラグの種類のパターンを求めた後、そのパターンに対応する露出Ev_over、Ev_0、Ev_underそれぞれの撮像枚数を図４Ｂに示すＬＵＴを用いて求めるように構成してもよい。なお、図４Ｂに示す各撮像枚数は、ダイナミックレンジの広い画像信号を生成するために、各露出Evにおいて最低必要な撮像枚数ｎであって、ｎ＝２ΔＥｖで表されるものとする。但し、露出Evの１段の大きさ（Ev_step）をΔEvとする。

例えば、図４Ａ及び図４Ｂに示す例において、露出Ev_overの撮像可否判断フラグが「○」、露出Ev_0の撮像可否判断フラグが「○」、露出Ev_underの撮像可否判断フラグが「○」のときの撮像可否判断フラグの種類のパターンは「パターン１」になり、「パターン１」に対応する露出Ev_overの撮像枚数は「１枚」、露出Ev_0の撮像枚数は「１枚」、露出Ev_underの撮像枚数は「１枚」である。

また、例えば、露出Ev_overの撮像可否判断フラグが「×」、露出Ev_0の撮像可否判断フラグが「○」、露出Ev_underの撮像可否判断フラグが「○」のときの撮像可否判断フラグの種類のパターンは「パターン２」になり、「パターン２」に対応する露出Ev_overの撮像枚数は「０枚」、露出Ev_0の撮像枚数は「３枚」、露出Ev_underの撮像枚数は「１枚」である。この場合、露出Ev_0の３枚の画像信号のうち、２枚の画像信号が露出Ev_overの画像信号として合成時に用いられる。

また、例えば、露出Ev_overの撮像可否判断フラグが「×」、露出Ev_0の撮像可否判断フラグが「×」、露出Ev_underの撮像可否判断フラグが「○」のときの撮像可否判断フラグの種類のパターンは「パターン３」になり、「パターン３」に対応する露出Ev_overの撮像枚数は「０枚」、露出Ev_0の撮像枚数は「０枚」、露出Ev_underの撮像枚数は「７枚」である。この場合、露出Ev_0の７枚の画像信号のうち、２枚の画像信号が露出Ev_0の画像信号として合成時に用いられ、４枚の画像信号が露出Ev_overの画像信号として合成時に用いられる。

このように、シャッタ速度Tvが手ぶれのおそれがないシャッタ速度Tvであれば、図４Ａ及び図４Ｂに示すＬＵＴにより、高い露出（露出Ev_overや露出Ev_0）の撮像枚数が増えるため、その分低い露出（露出Ev_under）の撮像枚数を減らすことができ、合成に必要な画像信号の合計枚数を抑えることができる。

なお、図３に示すフローチャートでは、露出Ev_over、露出Ev_0、露出Ev_underの順で撮像可否判断を行う構成であるが、露出Ev_under、露出Ev_0、露出Ev_overの順で撮像可否判断を行ってもよい。このように構成する場合、露出Ev_0の撮像可否判断フラグが「×」のとき、露出Ev_overの撮像可否判断を行わなくてもよいように処理することができるため、露出Ev_over、露出Ev_0、露出Ev_underの順で撮像可否判断を行う構成に比べて、ＡＥＢ設定動作を早く終了させることができる。

図５は、上記Ｓ６（連続撮像）の動作を説明するためのフローチャートである。
まず、連続撮像制御部２３は、不揮発性メモリ１５に記憶された各種設定値（露出Ev_over、Ev_0、Ev_under、露出Ev_over、Ev_0、Ev_underにそれぞれ対応するシャッタ速度Tv、露出Ev_over、Ev_0、Ev_underにそれぞれ対応するＩＳＯ感度、及び露出Ev_over、Ev_0、Ev_underにそれぞれ対応する撮像枚数）を読み込む（Ｓ６１）。

次に、連続撮像制御部２３は、露出Ev_over、Ev_0、Ev_underそれぞれにおいてレンズドライバ４、露出制御ドライバ６、及びイメージセンサドライバ８のそれぞれの動作を制御してイメージセンサ７において露光を行わせ（Ｓ６２）、イメージセンサ７から光電変換された画像信号を読み出させる（Ｓ６３）。また、連続撮像制御部２３は、プリプロセス回路９から出力されるＡ／Ｄ変換後の画像信号に対してデジタルプロセス回路１０において各種信号処理を施させ（Ｓ６４）、一旦メモリ１７に記憶させておく（Ｓ６５）。

次に、連続撮像制御部２３は、ある露出Evにおいて必要な撮像枚数の画像信号が取得されたかを判断する（Ｓ６６）。
必要な撮像枚数の画像信号が取得されていないと判断した場合（Ｓ６６がＮｏ）、連続撮像制御部２３は、Ｓ６２〜Ｓ６６を再度行う。

一方、必要な撮像枚数の画像信号が取得されたと判断した場合（Ｓ６６がＹｅｓ）、連続撮像制御部２３は、全ての露出Ev_over、Ev_0、Ev_underそれぞれに対して画像信号が取得されたかを判断する（Ｓ６７）。

全ての露出Ev_over、Ev_0、Ev_underそれぞれに対して画像信号が取得されていないと判断した場合（Ｓ６７がＮｏ）、連続撮像制御部２３は、現在の露出Evを他の露出Evに変更し（Ｓ６８）、Ｓ６２に戻る。

一方、全ての露出Ev_over、Ev_0、Ev_underそれぞれに対して画像信号が取得されたと判断した場合（Ｓ６７がＹｅｓ）、連続撮像制御部２３は、取得した全ての画像信号を合成用の画像信号としてメモリ１７に記憶し（Ｓ６９）、図２のＳ７の合成処理に進む。

このように、本実施形態の撮像装置１では、露出の異なる複数の画像信号を合成しダイナミックレンジの広い画像信号を得る場合において、ある露出Evのシャッタ速度Tvが閾値Tvsh以上でないと判断すると、ＩＳＯ感度を上げることによりシャッタ速度Tvを上げる構成であるため、その露出Evでの撮像が許可され易くなる。これにより、高い露出の画像信号が取得し易くなり低い露出の画像信号を少なくすることができるため、手ぶれを抑制しつつ、暗い撮像シーンにおける暗部の黒つぶれを抑えることができる。

また、合成に必要な撮像枚数を抑えることができるため、メモリ１７の記憶領域の消費量を抑えることができ、コスト増大の懸念を解消することができる。
また、シャッタ速度Tvを上げるためにＩＳＯ感度を高くする構成であるが、ＩＳＯ感度が閾値Ishを超えてしまうと、その露出Evでの撮像を禁止するため、合成後の画像信号に含まれるノイズを抑えることができる。

また、手ぶれを抑制することができるため、望遠で撮像する際にも有効である。
図６は、本発明の他の実施形態の撮像装置を示す図である。なお、図１に示す構成と同じ構成には同じ符号を付している。

図６に示す撮像装置２４において図１に示す撮像装置１と異なる点は、システムコントローラ１６の撮像可否判断部２１内の手ぶれ検出部における手ぶれ検出結果に基づいて撮像可否判断を行い、露出Evに対応する撮像枚数を変更する点である。なお、図６に示す撮像装置２４では、露出Ev_under、露出Ev_0、露出Ev_overの順で撮像可否判断を行うものとする。

図７は、図６に示す撮像装置２４において「ＡＥＢ撮像モード」時のシステムコントローラ１６の動作を説明するためのフローチャートである。なお、図７に示すＳ１〜Ｓ５及びＳ７は、図２に示すＳ１〜Ｓ５及びＳ７と同じ動作である。また、図７に示すＳ６１〜Ｓ６９は、図５に示すＳ６１〜Ｓ６９と同じ動作である。また、図７に示すＳ４（ＡＥＢ設定）では、Ｓ３のＡＥ演算で算出された露出Ev_0よりも１段高い露出Ev_overと、露出Ev_0よりも１段低い露出Ev_underとを設定するだけであり、図３に示すフローチャートのように各露出Evに対してそれぞれ撮像枚数を設定しないものとする。

図７のＳ６６において、ある露出Evにおいて必要な撮像枚数の画像信号が得られたと判断した場合（Ｓ６６がＹｅｓ）、撮像可否判断部２１は、撮像された複数の画像信号を用いて手ぶれを検出する（Ｓ７０）。なお、手ぶれの検出方法としては、例えば、任意の２枚の画像信号の二値画像の排他論理和に基づいて不一致領域を検出し、その不一致領域の大きさが閾値よりも大きい場合、手ぶれが発生していると判断する。また、上記不一致領域を検出する際、ある領域が一定回数以上不一致であると判断した場合に、その領域が不一致領域であると判断してもよい。

手ぶれが検出された場合（Ｓ７０がＹｅｓ）、システムコントローラ１６は、撮像設定部２２において、現在の露出Evを１段低い露光Ev又は１段よりも低い露光Evに変更させるとともに、その変更後の露出Evで露出Ev_under、Ev_0、Ev_overの画像信号が得られるように撮像枚数を変更させた後（Ｓ７１）、Ｓ５に戻り連続撮像制御部２３において、画像信号を再度取得させる（Ｓ６１〜Ｓ６６）。

一方、手ぶれが検出されない場合（Ｓ７０がＮｏ）、システムコントローラ１６は、全ての露出Ev_over、Ev_0、Ev_underそれぞれに対して画像信号が得られたかを判断する（Ｓ６７）。以降の動作は、上述した動作と同様である。

例えば、図８Ａに示すように、露出Ev_0の画像信号を取得した後の手ぶれ検出タイミング及び露出Ev_overの画像信号を取得した後の手ぶれ検出タイミングにおいて、それぞれ、手ぶれが検出されない場合は、各露出Evにおいてそれぞれ１枚ずつの画像信号が取得され、それら画像信号によりダイナミックレンジの広い画像信号が生成される。

また、例えば、図８Ｂに示すように、露出Ev_0の画像信号の取得後の手ぶれ検出タイミングにおいて、手ぶれが検出された場合は、撮像設定部２２において、現在の露出Ev_0が露出Ev_underに変更されるとともに、撮像枚数が７枚に変更され、連続撮像制御部２３において、露出Ev_underの画像信号が７枚取得される。そして、この７枚の画像信号のうち、１枚の画像信号が露出Ev_underの画像信号として、２枚の画像信号が露出Ev_0の画像信号として、４枚の画像信号が露出Ev_overの画像信号として合成に用いられる。すなわち、図８Ｂの例では、露出Ev_underの７枚の画像信号によりダイナミックレンジの広い画像信号が生成される。

このように、本実施形態の撮像装置２４では、手ぶれが実際に検出されるまで、高い露出の画像信号が取得し易くなり低い露出の画像信号を少なくすることができるため、手ぶれを抑制しつつ、暗い撮像シーンにおける暗部の黒つぶれを抑えることができる。

なお、図６に示す撮像装置２４では、システムコントローラ１６の撮像可否判断部２１内の手ぶれ検出部が複数の画像信号から手ぶれを検出する構成であるが、図９に示す撮像装置２４の変形例のように、撮像装置２４の動きを検知するジャイロセンサ等の手ぶれ検出センサ２５をシステムコントローラ１６の外部に備えるように構成してもよい。このように構成する場合は、手ぶれセンサ２５により手ぶれが検出されると、撮像設定部２２において、現在の露出Evが１段低い露光Ev又は１段よりも低い露光Evに変更されるとともに、その変更後の露出Evで露出Ev_under、Ev_0、Ev_overの画像信号が得られるように撮像枚数が変更された後（図７のＳ７１）、図７のＳ５に戻り連続撮像制御部２３において、画像信号が再度取得される（図７のＳ６１〜Ｓ６６）。

このように手ぶれセンサ２５を備える場合は、図１０に示すように、１枚目の画像信号の取得後にすぐに手ぶれ検出を行うことができるため、２枚目の画像信号が取得されるまで手ぶれ検出タイミングを待つ必要がない。そのため、露出Ev_over、Ev_0、Ev_underそれぞれにおける画像信号を効率的に取得することができる。

なお、上記各実施形態では、ダイナミックレンジの広い画像信号を生成するために３種類の露出の画像信号を合成する構成であるが、合成に用いられる露出の種類の数は特に限定されない。

１ 撮像装置
２ 撮像レンズ系
３ レンズ駆動機構
４ レンズドライバ
５ 露出制御機構
６ 露出制御ドライバ
７ イメージセンサ
８ イメージセンサドライバ
９ プリプロセス回路
１０ デジタルプロセス回路
１１ カードインタフェース
１２ ＬＣＤ画像表示系
１３ 操作スイッチ系
１４ 操作表示系
１５ 不揮発性メモリ
１６ システムコントローラ
１７ メモリ
１８ 信号処理部
１９ 画像信号合成部
２０ メモリカード
２１ 撮像可否判断部
２２ 撮像設定部
２３ 連続撮像制御部
２４ 撮像装置
２５ 手ぶれ検出センサ

Claims (9)

1. ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像装置であって、
   シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出する露出算出手段と、
   前記露出算出手段により算出された複数の露出に対応するシャッタ速度がそれぞれ第１の閾値以上であるかを判断し、ある露出に対応するシャッタ速度が前記第１の閾値以上であると判断した場合、その露出での撮像を許可する撮像可否判断手段と、
   前記撮像可否判断手段により許可された露出の画像信号を用いて前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記撮像可否判断手段により許可された露出に対して撮像枚数を設定する撮像設定手段と、
   前記撮像設定手段により設定された撮像枚数の画像信号を取得する画像取得手段と、
   前記画像取得手段により取得された複数の画像信号を合成して、前記ダイナミックレンジの広い画像信号を生成する画像信号合成手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像可否判断手段は、ある露出に対応するシャッタ速度が前記第１の閾値以上でないと判断した場合、その露出における撮像素子の感度及びシャッタ速度を上げた後、変更後の感度が第２の閾値以下で、かつ、変更後のシャッタ速度が前記第１の閾値以上であると判断した場合、その露出での撮像を許可する
   ことを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置であって、
   前記第１の閾値は、手ぶれがないときの最も遅いシャッタ速度である
   ことを特徴とする撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記第２の閾値は、ノイズが抑えられた画像信号が取得されるときの最も大きい前記撮像素子の感度である
   ことを特徴とする撮像装置。
5. ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像装置であって、
   シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出する露出算出手段と、
   前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記露出算出手段により算出された複数の露出それぞれの撮像枚数を設定する撮像枚数設定手段と、
   前記露出算出手段により算出された複数の露出のうち、低い露出から順に、前記撮像枚数設定手段により設定された撮像枚数の画像信号を取得する画像取得手段と、
   手ぶれを検出する手ぶれ検出手段と、
   前記手ぶれ検出手段により手ぶれが検出されると、現在の露出を低い露光に変更するとともに、その変更後の露出で前記露出算出手段により算出された各露出の画像信号が得られるように撮像枚数を変更して前記画像取得手段に画像信号を再度取得させる撮像可否判断手段と、
   前記画像取得手段により取得された複数の画像信号を合成して、ダイナミックレンジの広い画像信号を生成する画像信号合成手段と、
   を備えることを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記手ぶれ検出手段は、取得後の複数の画像信号に基づいて手ぶれを検出する
   ことを特徴とする撮像装置。
7. 請求項５に記載の撮像装置であって、
   前記手ぶれ検出手段は、当該撮像装置の動きを検知するセンサである
   ことを特徴とする撮像装置。
8. ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像方法であって、
   シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出し、
   前記複数の露出に対応するシャッタ速度がそれぞれ閾値以上であるかを判断し、ある露出に対応するシャッタ速度が前記閾値以上であると判断した場合、その露出での撮像を許可し、
   前記許可された露出の画像信号を用いて前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記許可された露出に対して撮像枚数を設定し、
   前記設定された撮像枚数の画像信号を取得し、
   前記取得された複数の画像信号を合成して、前記ダイナミックレンジの広い画像信号を生成する
   ことを特徴とする撮像方法。
9. ブラケット撮像により得られる露出の異なる複数の画像信号を合成し、ダイナミックレンジの広い画像信号を生成する撮像方法であって、
   シャッタ速度に基づいてブラケット撮像に必要な複数の露出を算出し、
   前記ダイナミックレンジの広い画像信号を生成するために必要な合計の撮像枚数が最も少なくなるように、前記算出された各露出それぞれの撮像枚数を設定し、
   前記算出された各露出のうち、低い露出から順に、前記設定された撮像枚数の画像信号を取得し、
   手ぶれ検出手段により手ぶれが検出されると、現在の露出を低い露光に変更するとともに、その変更後の露出で前記算出された各露出の画像信号が得られるように撮像枚数を変更して画像信号を再度取得し、
   前記取得された複数の画像信号を合成して、ダイナミックレンジの広い画像信号を生成する
   ことを特徴とする撮像方法。

Images