JP2007194945A - 撮像装置、制御方法および制御プログラム - Google Patents

Abstract

【課題】コンポジット法を用いた撮像装置においてユーザが手ぶれの状態を気にすることなく、ぶれの小さな画像を撮像可能とする。
【解決手段】複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行うディジタルスチルカメラ１０は、手ぶれ量を検出する手ぶれ検出部１９と、検出した手ぶれ量に基づいて複数の画像の撮像タイミングを決定するコンポジット制御部２０と、撮像タイミングに撮像した複数の画像をコンポジット法により合成するコンポジット合成部２１と、を備える。
【選択図】図１

Description

本発明は、撮像装置、制御方法及び制御プログラムに係り、特にコンポジット法を用いて手ぶれの影響を低減する技術に関する。

従来より静止画を撮像するディジタルスチルカメラなどの撮像装置においては、撮影の際に生じる手ぶれの影響を回避するために種々の方法が提案されている。
このような手ぶれの影響を回避するための方法の一つとしてコンポジット法が広く知られている。
コンポジット法は、同一の被写体を短時間に複数枚数撮像し、それらを重ね合わせ、合成することで、撮像画像に含まれるノイズを低減し、きれいな画像を取得するための手法である。コンポジット法によれば、ｎ（ｎは２以上の整数）枚の画像を合成することにより、１枚撮像する場合の適正露出の√ｎ分の１の露出時間で済み、手ぶれなどの影響を低減することができるのである（例えば、特許文献１参照）。
この場合において、各撮像画像の位置合わせには、画像の重心や、輝度ヒストグラムのマッチングを用い、画像合成は、位置合わせした画像の輝度を加算後、撮影枚数で平均化するのが一般的である。
特開平２００４−２６６４８号公報

しかしながら、実際にコンポジット法を適用する場合、合成に用いる各画像としてぶれの少ない画像を用いる必要があるが、ユーザ自身がぶれの少ないタイミングを計るのは困難であった。
また、仮にぶれの少ないタイミングに撮像を開始したとしても、複数枚を撮像するために連写を行う途中で突発的にぶれの大きい画像が撮像されてしまうと、先鋭度が低下し、得られる撮像画像がぼけてしまうという問題点があった。
さらにぶれ量に応じて撮像枚数、露出時間を調整する必要があるが、最適な撮像枚数および露出時間の設定を手動で行うことは困難であるという問題点があった。
そこで、本発明の目的は、コンポジット法を用いた撮像装置においてユーザが手ぶれの状態を気にすることなく、ぶれの小さな画像を撮像可能な撮像装置、制御方法および制御プログラムを提供することにある。

上記課題を解決するため、複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行う撮像装置において、手ぶれ量を検出する手ぶれ量検出部と、前記手ぶれ量に基づいて前記複数の画像の撮像タイミングを決定する撮像タイミング決定部と、前記撮像タイミングに撮像した前記複数の画像を前記コンポジット法により合成する画像合成部と、を備えたことを特徴としている。
上記構成によれば、手ぶれ量検出部は、手ぶれ量を検出し、撮像タイミング決定部は、この手ぶれ量に基づいて複数の画像の撮像タイミングを決定する。
画像合成部は、撮像タイミングに撮像した複数の画像をコンポジット法により合成する。

この場合において、前記手ぶれ量に基づいて、前記コンポジット法に用いるパラメータを設定するパラメータ設定部を備えるようにしてもよい。
また、前記パラメータは、撮像枚数、露出時間あるいは撮像開始タイミングのうち少なくともいずれかであるようにしてもよい。
さらにまた、前記パラメータ設定部は、前記手ぶれ量が所定の基準手ぶれ量以下となった場合に、前記パラメータとしての前記撮像開始タイミングを設定するようにしてもよい。
また、前記撮像タイミング決定部は、前記手ぶれ量が所定の基準手ぶれ量以下であり、かつ、手ぶれ量が極小値をとったタイミングを前記撮像タイミングとして決定するようにしてもよい。
さらに、前記手ぶれ量検出部は、ジャイロセンサ備え、当該ジャイロセンサが出力した角速度検出信号に基づいて前記手ぶれ量を検出するようにしてもよい。

また、複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行う撮像方法において、手ぶれ量を検出する手ぶれ量検出過程と、前記手ぶれ量に基づいて前記複数の画像の撮像タイミングを決定する撮像タイミング決定過程と、前記撮像タイミングに撮像した前記複数の画像を前記コンポジット法により合成する画像合成過程と、を備えたことを特徴としている。

また、手ぶれ量検出装置を備え、複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行う撮像装置をコンピュータにより制御するための制御プログラムにおいて、手ぶれ量を検出させ、前記手ぶれ量に基づいて前記複数の画像の撮像タイミングを決定させ、前記撮像タイミングに撮像した前記複数の画像を前記コンポジット法により合成させる、ことを特徴としている。

次に本発明の好適な実施の形態について図面を参照して説明する。
本実施の形態では、電子機器の一態様としての携帯型ディジタルスチルカメラ（以下、単に「ディジタルスチルカメラ」と言う）に本発明を適用した場合について説明する。
図１は、実施形態のディジタルスチルカメラの概要構成ブロック図である。
ディジタルスチルカメラ１０は、図１に示すように、レンズ１１Ａを備えたレンズ機構１１を介して入射した撮像光を透過／遮断するシャッター機構１２と、シャッター機構を透過して入射した撮像光を受光して光電変換して撮像信号を出力するイメージセンサ１３と、イメージセンサ１３の動作制御を行うとともに、イメージセンサ１３が出力した撮像信号に対応する撮像データをフレーム単位でフレームメモリ１４に格納する撮像制御部１５と、シャッターボタン１６の操作に基づいてシャッター機構１２の動作制御を行うシャッター制御部１７と、手ぶれに応じた角速度を検出し、角速度検出信号を出力する角速度検出部１８と、角速度検出部１８の出力した角速度検出信号に基づいて手ぶれ量を検出し、手ぶれ量検出データを出力する手ぶれ量検出部１９と、手ぶれ量検出データに基づいて、撮像制御部１５およびシャッター制御部１７を制御しコンポジット法による撮像制御を行うコンポジット制御部２０と、コンポジット制御部２０の制御下でフレームメモリ１４に格納された複数フレームの撮像データに基づいてコンポジット合成を行うコンポジット合成画像データを生成するコンポジット合成部２１と、コンポジット合成画像データに基づいて画像を表示する表示部２２と、を備えている。
この場合において、少なくとも撮像制御部１５、シャッター制御部１７、コンポジット制御部２０およびコンポジット合成部２１については、ＣＰＵ、ＲＯＭ、ＲＡＭを備えたマイクロコンピュータにより構成し、その機能を制御プログラムにより実現するように構成することも可能である。

図２は、角速度の軸の説明図である。
角速度検出部１８は、上記手ぶれ量を検出する手ぶれ量検出手段として機能するものである。具体的には、角速度検出部３０は、図２に示すように、フレーム７０の高さ方向（以下、Ｘ軸と定義する）の移動と横方向（以下、Ｙ軸と定義する）の移動とのそれぞれの角速度を個別に検出すべく、図１に示したように、Ｘ軸ジャイロセンサ１８ＸおよびＹ軸ジャイロセンサ１８Ｙを有し、それぞれのジャイロセンサ１８Ｘ、１８Ｙが角速度に応じた電圧値の角速度検出信号を手ぶれ量検出部１９に出力している。

図３は、撮像（撮影）処理の処理フローチャートである。
まず、シャッターボタン１６が半押しされた場合には、コンポジット制御部２０は、シャッター制御部１７を介して、半押し状態を検出し、撮像制御部１５に適正露出を自動的に検出する自動露出制御および適正な焦点位置を自動的に検出する自動焦点（オートフォーカス）制御を行わせることとなる（ステップＳ１１）。

そして、シャッターボタン１６が全押しされた場合には、コンポジット制御部２０は、適正露出に対応する撮像画像の枚数ｎを決定する（ステップＳ１２）。ここで、枚数ｎは、ｎ枚の撮像画像が得られれば、適正露出のコンポジット合成画像データを得ることができる撮像枚数であるが、コンポジット法による効果が画像的に現れるためには、経験的に、
ｎ≧１０
とする必要がある。

また、理論的には、単位時間当たりの撮像枚数ｎが多ければ多いほどぶれは抑制されるが、現実的には、シャッター１２の駆動速度（いわゆるシャッター速度）により制限を受けることとなる。例えば、シャッター１２を切る瞬間の適正露出時間が１／１２５秒であるならば、１／√１０≒３倍のシャッター１２の駆動速度である１／４００秒程度のシャッター速度となる。さらに、１／√ｎ倍のシャッター１２の速度が当該ディジタルスチルカメラ１０の最大シャッター速度を超えている場合には、絞りを絞り、さらに絞りが絞れない場合には、感度を低下させ、それでもまだだめな場合には、撮像枚数ｎを小さくして対応する。

続いてコンポジット制御部２０は、撮像画像の枚数ｎに基づく、各撮像画像の露出時間（＝適正露出時間／ｎ）における手ぶれ許容量を算出し、決定する（ステップＳ１３）。
次にコンポジット制御部２０は、シャッターボタン１６が全押しされたことに伴う手ぶれが収まると考えられる時間ｔ０が、シャッターボタン１６が全押しされてから経過したか否かを判別する（ステップＳ１４）。
ステップＳ１４の判別において、シャッターボタン１６が全押しされてから時間ｔ０が経過していない場合には（ステップＳ４；Ｎｏ）、待機状態となる（ステップＳ１５）。
ステップＳ１４の判別において、シャッターボタン１６が全押しされてから時間ｔ０が経過した場合には（ステップＳ１４；Ｙｅｓ）、角速度検出部１８を構成するＸ軸ジャイロセンサ１８ＸおよびＹ軸ジャイロセンサ１８Ｙが手ぶれに応じた角速度を検出し、角速度検出信号を出力すると、手ぶれ量検出部１９は、角速度検出信号に基づいて手ぶれ量を検出し、手ぶれ量検出データをコンポジット制御部２０に出力する。

これによりコンポジット制御部２０は、手ぶれ量検出データに対応する手ぶれ量が、撮像画像の枚数ｎに基づく、各撮像画像の露出時間における手ぶれ許容量以下であるか否かを判別する（ステップＳ１６）。
ステップＳ１６の判別において、コンポジット制御部２０は、手ぶれ量検出データに対応する手ぶれ量が、撮像画像の枚数ｎに基づく、各撮像画像の露出時間における手ぶれ許容量を越えている場合には（ステップＳ１６；Ｎｏ）、撮像しても良好なコンポジット合成画像データを得ることができないので、待機状態となる（ステップＳ１７）。

ステップＳ１６の判別において、コンポジット制御部２０は、手ぶれ量検出データに対応する手ぶれ量が、撮像画像の枚数ｎに基づく、各撮像画像の露出時間における手ぶれ許容量以下である場合には（ステップＳ１６；Ｙｅｓ）、手ぶれ量の時間的変化に基づいて手ぶれ量が極小値をとるタイミングに至った状態であるか否かを判別する（ステップＳ１８）。

図４は、撮像（撮影）タイミングの説明図である。
図４において、縦軸は、手ぶれ量であり、例えば、Ｘ軸ジャイロセンサ１８Ｘの出力した角速度検出信号に対応する角速度の絶対値およびＹ軸ジャイロセンサ１８Ｙの出力した角速度検出信号に対応する角速度の絶対値の加算平均を用いる。また、横軸は時間である。
具体的には、手ぶれ量の時間的変化が、図４における時刻ｔ1、ｔ2 、ｔ3 、ｔ4、…に相当するタイミングであるか否かを判別することとなる。
ステップＳ１８の判別において、手ぶれ量が極小値をとったタイミングではない場合には（ステップＳ１８；Ｎｏ）、次回の手ぶれ量が極小値をとる撮像タイミングまで待つべく、待機状態となる（ステップＳ１９）。

ステップＳ１８の判別において、手ぶれ量が極小値をとるタイミングとなった場合には、シャッター制御部１７により適正露出時間ＴＥの１／√ｎの露出時間ＴＥ1、すなわち、
ＴＥ1＝ＴＥ／√ｎ
の露出時間に対応させてシャッター１２を駆動し、イメージセンサ１３および撮像制御部１５により撮像を行い（ステップＳ２０）、撮像枚数カウンタＣn（初期値０）に１加算、すなわち、
Ｃｎ＝Ｃｎ＋１
とする。

次にコンポジット制御部２０は、コンポジット法により１回の撮像を行うためのシャッターボタン１６を全押ししたタイミングからの経過時間が、最大経過時間Ｔmaxを越えたか否かを判別する（ステップＳ２１）。この場合において、最大経過時間Ｔmaxを設けているのは、あまり長い時間、撮像を行っても画像ぶれがかえって目立つこととなるので、これを避けるためであり、例えば、１秒程度に予め設定しておく。
ステップＳ２１の判別において、シャッターボタン１６を全押ししたタイミングからの経過時間が最大経過時間Ｔmaxを越えた場合には（ステップＳ２１；Ｎｏ）、撮像を終了し（ステップＳ２３）、処理をステップＳ１５に移行する。
ステップＳ２１の判別において、シャッターボタン１６を全押ししたタイミングからの最大経過時間Ｔmaxを越えていない場合には（ステップＳ２１；Ｎｏ）、撮像枚数カウンタＣｎの値が撮像画像の枚数ｎに至ったか否かを判別する（ステップＳ２２）。

ステップＳ２２の判別において、撮像枚数カウンタＣｎの値が撮像画像の枚数ｎに未だ至っていない場合（Ｃｎ＜ｎの場合）には（ステップＳ２２；Ｎｏ）、撮像枚数カウンタＣn（初期値０）に１加算、すなわち、
Ｃｎ＝Ｃｎ＋１
とし（ステップＳ２４）、処理を再びステップＳ１６に移行し、以下、同様の処理を継続する。
ステップＳ２２の判別において、撮像枚数カウンタＣｎの値が撮像画像の枚数ｎに至った場合（Ｃｎ＝ｎの場合）には（ステップＳ２２；Ｙｅｓ）、撮像を終了し（ステップＳ２３）、コンポジット合成処理を行う（ステップＳ２５）。

ここでコンポジット合成処理について説明する。
図５は、コンポジット合成処理の処理フローチャートである。
まずコンポジット合成部２１は、フレームメモリ１４から合成対象の複数フレームの撮像データを読み出し、撮像データに対応する各フレームの撮像画像の重心位置を算出して位置合わせを行う（ステップＳ３１）。
続いてコンポジット合成部２１は、各フレームの撮像画像の重心位置が重なるように画像加算処理を行うとともに、平均化して平均化撮像画像を得る（ステップＳ３２）。
次にコンポジット合成部２１は、合成に用いた撮像画像が露出補正が必要なｎ枚未満であったか否か、すなわち、
Ｃｎ＜ｎ
であったか否かを判別する（ステップＳ３３）。

ステップＳ３３の判別において合成に用いた撮像画像が露出補正が必要なｎ枚未満である場合、すなわち、
Ｃｎ＜ｎ
である場合には、平均化撮像画像の露出が適正露出となるように露出補正処理を行い（ステップＳ３４）、露出補正後の平均化撮像画像に対応する撮像画像データをコンポジット合成画像データとして表示部２２に出力する（ステップＳ６）。ここで、露出補正処理としては、例えば、輝度ヒストグラムの平均化処理などが挙げられる。

ステップＳ３３の判別において合成に用いた撮像画像が露出補正が不要なｎ枚以上である場合には、コンポジット合成部２１は、撮像枚数カウンタＣｎをリセット（Ｃｎ＝０）し（ステップＳ３５）、平均化撮像画像に対応する撮像画像データをコンポジット合成画像データとして表示部２２に出力する（ステップＳ３６）。
以上の説明のように、本実施形態によれば、コンポジット法を用いて撮像を行うに際し、手ぶれ量に応じて撮像条件をより好適なものへとすることが可能となり、自動的によりぶれの少ない画像撮像が行える。

以上の説明では、ディジタルスチルカメラへの適用について説明したが、ディジタルビデオカメラのように動画であっても同様の手用が可能である。この場合には、平均化撮像画像に対応する撮像画像データに代えて、動画の１フレームの画像を構成することとなる。この場合においては、静止画の場合と比較して、動きやぶれが目立ちにくいと考えられるので、撮像枚数ｎは、静止画の場合よりも、少なくすることが可能である。

以上の説明では、手ぶれ補正をＸ軸およびＹ軸の方向の手ぶれについてのみ行っていたが、Ｚ軸（レンズの光軸方向）についても、角速度検出部１８においてＺ軸ジャイロセンサを設け、オートフォーカス補正を行って、よりピントがぼけた画像を撮像しないように構成することも可能である。
以上の説明では、コンポジット合成処理において、画像の位置合わせの手法として画像重心位置を合わせる構成としていたが、撮像時に各撮像画像毎にＸ軸方向およびＹ軸方向の前回撮像時からの積分手ぶれ量を記憶しておき、積分手ぶれ量に応じて位置合わせを行うように構成することも可能である。

以上の説明ではディジタルスチルカメラについて説明したが、携帯電話に設けられたカメラや、ＰＤＡ一体型カメラや、一眼レフカメラなど他の静止画を撮像可能な電子光学機器に適用が可能である。同様に動画を撮影可能な携帯電話に設けられたカメラや、ＰＤＡ一体型ムービーカメラや、ディジタルビデオカメラなど他の動画を撮像可能な電子光学機器に適用が可能である。

以上の説明では、角速度に基づいてぶれ量を検出する構成を例示したが、これに限らず、加速度センサを用いてぶれ量（動き量）を検出する構成としても良い。

実施形態のディジタルスチルカメラの概要構成ブロック図である。 角速度の軸の説明図である。 実施形態の処理フローチャートである。 撮像（撮影）タイミングの説明図である。 コンポジット合成処理の処理フローチャートである。

符号の説明

１０…ディジタルスチルカメラ、１１…レンズ機構、１１Ａ…レンズ、１２…シャッター機構、１３…イメージセンサ、１４…フレームメモリ、１５…撮像制御部、１６…シャッターボタン、１７…シャッター制御部、１８…角速度検出部、１９…手ぶれ量検出部、２０…コンポジット制御部（撮像タイミング決定部、パラメータ設定部）、２１…コンポジット合成部（画像合成部）、２２…表示部。

Claims (8)

1. 複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行う撮像装置において、
   手ぶれ量を検出する手ぶれ量検出部と、
   前記手ぶれ量に基づいて前記複数の画像の撮像タイミングを決定する撮像タイミング決定部と、
   前記撮像タイミングに撮像した前記複数の画像を前記コンポジット法により合成する画像合成部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記手ぶれ量に基づいて、前記コンポジット法に用いるパラメータを設定するパラメータ設定部を備えたことを特徴とする撮像装置。
3. 請求項２記載の撮像装置において、
   前記パラメータは、撮像枚数、露出時間あるいは撮像開始タイミングのうち少なくともいずれかであることを特徴とする撮像装置。
4. 請求項２記載の撮像装置において、
   前記パラメータ設定部は、前記手ぶれ量が所定の基準手ぶれ量以下となった場合に、前記パラメータとしての前記撮像開始タイミングを設定することを特徴とする撮像装置。
5. 請求項４記載の撮像装置において、
   前記撮像タイミング決定部は、前記手ぶれ量が所定の基準手ぶれ量以下であり、かつ、手ぶれ量が極小値をとったタイミングを前記撮像タイミングとして決定することを特徴とする撮像装置。
6. 請求項１ないし請求項５のいずれかに記載の撮像装置において、
   前記手ぶれ量検出部は、ジャイロセンサ備え、当該ジャイロセンサが出力した角速度検出信号に基づいて前記手ぶれ量を検出することを特徴とする撮像装置。
7. 複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行う撮像方法において、
   手ぶれ量を検出する手ぶれ量検出過程と、
   前記手ぶれ量に基づいて前記複数の画像の撮像タイミングを決定する撮像タイミング決定過程と、
   前記撮像タイミングに撮像した前記複数の画像を前記コンポジット法により合成する画像合成過程と、
   を備えたことを特徴とする撮像方法。
8. 手ぶれ量検出装置を備え、複数の画像を用いてコンポジット法により画像のぶれを抑制した撮像を行う撮像装置をコンピュータにより制御するための制御プログラムにおいて、
   手ぶれ量を検出させ、
   前記手ぶれ量に基づいて前記複数の画像の撮像タイミングを決定させ、
   前記撮像タイミングに撮像した前記複数の画像を前記コンポジット法により合成させる、
   ことを特徴とする制御プログラム。
   
   

Images