JP2006262221A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】 特別な手ブレ補正機構を用いることなく、適切に手ブレを抑制する撮像装置を提供することを目的とする。
【解決手段】 被写体を撮影して撮影画像を生成する撮像装置であって、少なくとも２つの異なる絞り値を設定する絞り値設定手段と、前記設定された複数の絞り値に基づく撮影条件を順次変更して撮影を行ない、前記被写体の複数の画像を取得する撮影手段と、前記画像毎の撮影における手ブレを検出するブレ検出手段と、前記検出された手ブレに基づいて、前記複数の画像から一の画像を前記撮影画像として選択する選択手段とを備えた撮像装置とする。
【選択図】 図３

Description

本発明は、露光開始により蓄積された撮影光像を画像信号に変換して撮影画像を生成する撮像装置に関し、詳しくは手ブレの補正に関する。

従来から、デジタルスチルカメラなどの撮像装置において、撮影時の手ブレを補正する種々の技術がある。例えば、ジャイロセンサによる手ブレの検出機構を設け、この検出値に基づき、レンズなどの光学系を移動して手ブレ補正を行なう技術や、被写体からの光像を電荷として蓄える撮像センサ自体を移動して手ブレ補正を行なう技術などが周知である。こうした技術では、適切な手ブレ補正を行ない手ブレの発生を抑制することができるが、光学系やセンサを移動する機能が必要となる。そのため、デジタルスチルカメラとしての部品点数が増加し、高価なものとなる。

こうした手ブレ補正に対して、撮影時の露光時間に着目して手ブレを補正する技術が提案されている。例えば、下記特許文献１では、測光の結果をもとに適正露光時間とそれより短い許容露光時間とを設定し、露光開始から許容露光時間の経過後に、ブレ量が許容値を超える場合には、許容露光時間の際の電荷を画像信号とする技術が開示されている。かかる技術によれば、許容値を超えるようなブレが発生する前の信号に基づく画像を出力画像とするため、ブレの少ない画像を生成できるとされている。

特開２００２−１１６４７７号公報

しかしながら、この手法により得られるのは、短い露光時間である許容露光時間に基づく画像であるため、ノイズが大きくなるという問題があった。すなわち、露光時間が短い撮像信号を増加して用いるが、その際にノイズ成分も同じように増幅されてしまう。したがって、単にブレが生じる前の信号を用いるのみでは、出力画像にザラツキ感が生じ、適正な露光時間での出力画像の代替には不十分であった。

本発明は、手ブレ発生時に得られる画像の露光が不足するといった問題を踏まえて、特別な手ブレ補正機構を用いることなく、適切に手ブレを抑制する撮像装置を提供することを目的とする。

本発明の撮像装置は、上記課題を鑑み、以下の手法を採った。すなわち、被写体を撮影して撮影画像を生成する撮像装置であって、少なくとも２つの異なる絞り値を設定する絞り値設定手段と、前記設定された複数の絞り値に基づく撮影条件を順次変更して撮影を行ない、前記被写体の複数の画像を取得する撮影手段と、前記画像毎の撮影における手ブレを検出するブレ検出手段と、前記検出された手ブレに基づいて、前記複数の画像から一の画像を前記撮影画像として選択する選択手段とを備えたことを要旨としている。

また、本発明の撮像装置に対応した画像処理方法は、被写体を撮影し、該撮影した撮影画像を取扱う画像処理方法であって、少なくとも２つの異なる絞り値を設定し、前記設定された複数の絞り値に基づく撮影条件を順次変更して前記撮影を行ない、前記被写体の複数の画像を取得し、前記画像毎の撮影における手ブレを検出し、前記検出された手ブレに基づいて、前記複数の画像から一の画像を前記撮影画像として選択することを要旨としている。

本発明の撮像装置および画像処理方法によれば、異なる絞り値に基づく撮影条件のもと、取得した複数の画像から、撮影時の手ブレに基づいて一の画像を選択する。したがって、特別な手ブレ補正機構を用いることなく、撮影時の手ブレに応じた画像を選択することができる。

上記の構成を有する撮像装置の絞り値設定手段は、前記複数画像の取得に先立って前記被写体の測光を行なう測光手段を備え、当該測光に基づき設定した適正絞り値を、前記異なる絞り値の一つとして設定するものとしても良い。

かかる撮像装置によれば、測光に基づく適正絞り値を複数の絞り値の一つとする。つまり、既存の測光機能により、複数の絞り値の一つが設定できる。したがって、複数の絞り値の設定を容易なものとすることができる。

上記の構成を有する撮像装置の選択手段は、前記手ブレの許容範囲を備え、前記適正絞り値により撮影した画像の該手ブレが当該許容範囲に収まる場合には、該適正絞り値により撮影した画像を優先的に選択するものとしても良い。

かかる撮像装置によれば、取得する複数の画像の中に、適正絞り値に基づく撮影条件の画像を備え、この画像の撮影時の手ブレが許容範囲内である場合、優先的に該画像を選択する。すなわち、手ブレが許容できる場合には、本来の撮影条件での画像を優先して選択する。したがって、撮像装置の有する撮影機能に影響を与えず、汎用性を向上することができる。

上記の構成を有する撮像装置の選択手段は、前記複数の画像のうち、前記手ブレが少ない画像を選択するものとしても良い。

かかる撮像装置によれば、複数の画像毎の手ブレを比較し、手ブレの少ない画像を選択することができる。したがって、ソフト的に手ブレの少ない画像を出力することができる。

上記の構成を有する撮像装置の選択手段は、前記手ブレの許容範囲を備え、前記手ブレが当該許容範囲に収まる画像が複数ある場合には、該複数の画像を合成して新たな画像を生成するものとしても良い。

かかる撮像装置によれば、手ブレが許容値内である複数の画像を合成して一の画像を生成する。したがって、手ブレの影響を低減した高画質の撮影画像を出力することができる。

上記の構成を有する撮像装置の撮影手段は、前記撮影の開始の操作を受け付けるシャッター操作部を備え、該シャッター操作部の１回の操作を受け付け、前記複数の画像の撮影を行なうものとしても良い。

かかる撮像装置によれば、１回のシャッター操作で複数の画像を取得する。したがって、ユーザの操作性を向上することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．撮像装置の構成：
Ｂ．画像選択処理の概念：
Ｃ．第１実施例の画像選択処理：
Ｄ．第２実施例の画像選択処理：
Ｅ．変形例：

Ａ．撮像装置の構成：
図１は、本発明の撮像装置であるデジタルスチルカメラの概略構成を示すブロック図である。図示するように、本実施例のデジタルスチルカメラ１０は、被写体の撮影光像を結像するレンズ１５、レンズ１５を介して入射する光量を調整する絞り２０、入射する光を必要に応じて遮蔽するシャッター２５、ローパスフィルタや赤外線カットフィルタなどからなるフィルタ３０、入射した光を電気信号に変換する撮像センサ３５、相関二重サンプリングを行なうＣＤＳ回路４０、電気信号を増幅して画像信号とするＡＧＣアンプ４５、アナログの画像信号をデジタルの画像信号に変換するＡ／Ｄ変換回路５０、ＡＤ変換された画像信号に対してホワイトバランス，階調再現，色再現，輪郭強調や、圧縮などの画像処理を行ない画像データを生成する画像処理部６０、画像データを記憶するメモリ７０、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた制御ユニット８０などから構成されている。

撮像センサ３５，ＣＤＳ回路４０，ＡＧＣアンプ４５，Ａ／Ｄ変換回路５０，画像処理部６０，メモリ７０は、この順に電気的に接続され、レンズ１５等を介して入射した撮影光像は、最終的にデジタル信号である画像データとしてメモリ７０に記憶される。

撮像センサ３５には、ＣＣＤを用いており、レンズ１５等を介して入射した光は、光電変換によって、電荷として一時的にＣＣＤの受光素子に蓄積される。蓄えられた電荷は、ＣＣＤ内の電荷転送用の電極の作用により順次転送されて、ＣＤＳ回路４０に電気信号として出力される。なお、ＣＣＤに代えて、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサを用いるものとしても良い。

ＣＤＳ回路４０は、相関二重サンプリングの処理によって、入力した電気信号のノイズを低減し、これをＡＧＣアンプ４５に出力する。ＡＧＣアンプ４５は、入力した電気信号に所定の増幅率（ゲイン量）を与えて増幅し、画像信号を生成する。すなわち、ＡＧＣアンプ４５は、感度の調整を行なう。生成された画像信号はＡ／Ｄ変換回路５０に出力されるが、この画像信号はアナログ信号である。Ａ／Ｄ変換回路５０は、アナログ信号をデジタル信号に変換して、画像処理部６０へ出力する。

画像処理部６０は、必要に応じて上記の各種画像処理を行なう。特にデジタル信号である画像信号の圧縮処理として、非可逆方式であるＪＰＥＧ形式の圧縮処理を行ない、データ量を低減した画像データを出力する。この圧縮された画像データは、メモリ７０に記憶される。なお、本実施例では、メモリ７０としてコンパクトフラッシュ（登録商標）を使用しているが、デジタルスチルカメラの取り扱い可能な記録媒体（不揮発性の書換え可能な記録媒体）であれば、どのような媒体を用いるものとしても良い。

制御ユニット８０は、こうした各処理回路と電気的に接続し、各処理回路に動作の指令信号を出力してデジタルスチルカメラ１０全体を制御すると共に、レンズ１５，絞り２０，シャッター２５を動作する各アクチュエータや、シャッターボタン９１やモードボタン９２等、複数のボタンを備えた操作部９０、撮像対象である被写体、撮影画像を表示する液晶ディスプレイからなる表示部１００、被写体からの反射光を測定する測光部１４０とも電気的に接続している。

操作部９０のシャッターボタン９１は、完全な押下げ状態で露光を開始する機能を有すると共に、半押しの状態で所定の被写体に対する測光を行なう機能を有している。シャッターボタン９１が判押しされると、測光部１４０による被写体の明るさの測定が行なわれる。

測光部１４０は、この測光の結果により、予め設定された適正な絞り値とシャッター速度（適正な露光時間）とを設定する。制御ユニット８０は、測光部１４０から、こうした適正値を受けて、絞り２０，シャッター２５のアクチュエータを制御する。つまり、いわゆるプログラムＡＥ（自動露出）機能を備えている。

また、本実施例のデジタルスチルカメラ１０はズーム機能を備えており、例えばユーザが操作部９０を介してズーム操作を行なうと、制御ユニット８０はユーザ操作に応じてレンズ１５のアクチュエータに指令を出し、レンズ１５の光学動作を制御する。さらに、操作部９０のモードボタン等の操作を行なうことで、撮影画像のみならずメモリ７０内に記憶された撮影済みの画像を表示部１００に表示することもできる。

本実施例のデジタルスチルカメラ１０は、こうした各種機器の他に、撮影時の手ブレを検出するブレ検出部１１０と、複数の画像から一の画像を選択する画像選択部１２０とを備えている。ブレ検出部１１０は、圧電振動式の角速度センサであるジャイロセンサを備えており、デジタルスチルカメラ１０の撮影時の手ブレを検出する。

ブレ検出部１１０は、制御ユニット８０と電気的に接続し、ジャイロセンサの検出値である角速度をデジタルスチルカメラ１０の位置変化（ブレ量と呼ぶ）として、制御ユニット８０に出力している。

画像選択部１２０は、制御ユニット８０，Ａ／Ｄ変換回路５０，画像処理部６０と電気的に接続し、制御ユニット８０の指令を受けて、複数の画像を入力し、所定条件を満たす一の画像を選択する。本実施例のデジタルスチルカメラ１０は、１回のシャッター操作（シャッターボタン９１の完全な押下操作）で、絞り値の異なる２枚の画像を撮影する。

画像選択部１２０は、撮影された１枚目の画像の元となるＡ／Ｄ変換後の画像信号を入力し、これを一時的にＲＡＭに記憶する。続けて、撮影された２枚目の画像の元となるＡ／Ｄ変換後の画像信号を入力すると共に、ＲＡＭから先に記憶した画像信号を入力し、所定条件を満たす一の画像信号を画像処理部６０へ出力している。つまり、２枚の画像を撮影するが、最終的にメモリ７０に記憶するのは選択した一の画像である。こうした複数枚の撮影画像から一の画像を選択する処理を画像選択処理と呼び、以下、画像選択処理について説明する。

Ｂ．画像選択処理の概念：
図２は、本実施例の画像選択処理を概念的に示した説明図である。図示するように、１回のシャッター操作で、絞り値Ｆａによる画像と、絞り値Ｆｂによる画像とを撮影する。ここで、絞り値Ｆａは、測光の結果から設定した適正値であるものとする。絞り値Ｆｂは、絞り値Ｆａよりも小さい値に設定されている。つまり、絞り値Ｆａの画像は被写界深度が深く、絞り値Ｆｂの画像は被写界深度が浅い画像となる。

こうした２枚の画像の撮影時に生じる手ブレを、ブレ量Ｂ１，Ｂ２として検出する。ここでブレ量Ｂ１がブレ量Ｂ２よりも大きいものとすると、図示するように、絞り値Ｆａの画像はブレた撮影画像となる。

本実施例の画像選択処理では、ブレ量に応じて、一の画像を選択する。図示する例では、ブレ量の少ない絞り値Ｆｂの画像が、撮影画像として選択されることとなる。つまり、本来の撮影条件（絞り）で撮影した画像の手ブレが大きいため、本来得られる理想的な画像よりは被写界深度が浅くなるものの、絞りを変えて撮影した手ブレが少ない画像を選択する。こうした画像選択を行なうことで、手ブレの影響を抑制することができる。

Ｃ．第１実施例の画像選択処理：
図３は、第１実施例の画像選択処理のフローチャートである。この処理は、絞り値の異なる２枚の撮影画像を取得し、手ブレの程度に応じて適切な画像を選択する処理であり、ユーザが所定の構図を決めてシャッターボタン９１を判押しする操作を行なうことで、制御ユニット８０のＣＰＵにより実行される。なお、この処理プログラムは制御ユニット８０にＲＯＭ内に記憶されており、ＣＰＵがこれを読み出し、ＲＡＭ上に展開することで処理が実行される。

処理が開始されると、制御ユニット８０は、シャッターボタン９１の半押し操作で実行した測光の結果に基づき、適正絞り値Ｆａを取得する（ステップＳ２００）。測光結果に応じて、適切な撮影を行なうための適正絞り値Ｆａ、適正露光時間（つまり、シャッター速度）や、適正ゲイン量（信号の増幅率）は、予め設定されている。制御ユニット８０は、測光部１４０からこうした適正値を取得し、絞り２０のアクチュエータを制御して、適正絞り値Ｆａに設定する。

続いて、制御ユニット８０は、適正絞り値Ｆａに基づいて候補絞り値Ｆｂを決定する（ステップＳ２１０）。本実施例のデジタルスチルカメラ１０は、絞り値の最小値である開放絞り値を２．８として、２．８，４．０，４．８，５．６・・１１の７段階の絞り値を設定することができる。制御ユニット８０は、適正絞り値Ｆａから１段階小さい絞り値を候補絞り値Ｆｂとして決定する。例えば、適正絞り値Ｆａが５．６であれば候補絞り値Ｆｂを４．８に決定する。なお、適正絞り値Ｆａが２．８の場合には、例外的に候補絞り値Ｆｂを４．０としている。

こうして決定された候補絞り値Ｆｂに対応して露光時間が決定される。すなわち、先の測光結果から、候補絞り値Ｆｂを優先して適正な露出を得るための露光時間が設定される。なお、この段階では、絞り２０は適正絞り値Ｆａに設定されたままである。

ユーザがシャッターボタン９１によるシャッター操作を行なうことで、制御ユニット８０は、第１画像を撮影する（ステップＳ２２０）。具体的には、シャッター操作をトリガーに、制御ユニット８０はシャッター２５を開き、撮像センサ３５に被写体の光像を取り込む露光を開始する。露光開始から適正露光時間に至ると、その間に撮像センサ３５に蓄積され電荷を電気信号として取り出し、これに所定の処理を加えて画像信号を取得する。ここでの第１画像とは、適正絞り値Ｆａにて撮影された画像信号である。

制御ユニット８０は、第１画像を撮影すると共に、その撮影時における手ブレ量を取得している。具体的には、ジャイロセンサからの検出値を第１画像の撮影時のブレ量Ｂ１としている。このブレ量Ｂ１は、デジタルスチルカメラ１０の位置のずれを示している。制御ユニット８０は、こうして取得した第１画像およびブレ量Ｂ１を、一時的にＲＡＭに記憶する。なお、撮影中（露光中）のジャイロセンサからの検出値の総和をブレ量としても良い。

第１画像の撮影を終了すると共に、制御ユニット８０は、第２画像を撮影する（ステップＳ２３０）。具体的には、適正露光時間が終了すると、制御ユニット８０は、絞り２０を先のステップで決定した候補絞り値Ｆｂに変更し、シャッター２５を開き、撮像センサ３５に被写体の光像を取り込む露光を開始する。こうした露光により、画像信号を取得する。ここでの第２画像とは、候補絞り値Ｆｂにて撮影された候補としての画像信号である。制御ユニット８０は、第２画像を撮影すると共に、撮影時のブレ量Ｂ２を取得する。

続いて、制御ユニット８０は、候補として撮影した第２画像が第１画像の代替として使用できるか否かを判断する（ステップＳ２４０）。具体的には、予め設定したブレ量の閾値αと、それぞれの撮影時に検出したブレ量Ｂ１，Ｂ２とを比較することで、使用可能か否かを判断している。

ステップＳ２４０で、ブレ量Ｂ１が閾値αよりも大きく、かつ、ブレ量Ｂ２が閾値α以下であると判断された（Ｙｅｓ）場合には、第２画像を撮影画像として選択し（ステップＳ２５０）、一連の処理を終了する。

他方、ステップＳ２４０で、ブレ量Ｂ１が閾値αよりも大きく、かつ、ブレ量Ｂ２が閾値α以下である条件を満たさないと判断された（Ｎｏ）場合には、第１画像を撮影画像として選択し（ステップＳ２６０）、一連の処理を終了する。なお、こうして選択された一の画像は、画像処理部６０を経て画像データとして、メモリ７０に記憶される。

以上の画像選択の処理における画像選択の判断を、図４、図５を用いて具体的に説明する。図４は、絞り値と検出されたブレ量との一例を示す説明図である。図示するように、適正絞り値Ｆａが最大絞り値付近に設定され、その絞り値における撮影の際に、閾値αを超えるブレ量Ｂ１が検出されたものとする。さらに、候補絞り値Ｆｂが適正絞り値Ｆａよりも小さな値（１段階小さい値）に設定され、その絞り値における撮影の際に、閾値αより小さいブレ量Ｂ２が検出されたものとする。

この場合、ステップＳ２４０の条件を満たすため、候補絞り値Ｆｂで撮影された第２画像が選択される。すなわち、第１画像が閾値αを超える手ブレのもとで撮影された画像であり、他方、第２画像が閾値α以下の許容できる手ブレのもとで撮影された画像である場合には、適正絞り値Ｆａで撮影された第１画像に代えて、第２画像が選択される。

一般に、自動露出では適正絞り値Ｆａが大きな値に設定されると、撮像センサ３５に入力する光が減少するため適正露光時間を長めに設定して光量を確保するが、露光時間が長いため撮影画像は手ブレによる影響を受け易くなる。こうした場合に、別途、小さな絞り値Ｆｂを設定して、候補画像を撮影することで、被写界深度は浅くなるものの、手ブレによる影響を低減した画像を得ることができる。

図５は、絞り値と検出されたブレ量との一例を示す説明図である。図示するように、適正絞り値Ｆａが最大絞り値付近に設定され、その絞り値における撮影の際に、閾値αより小さいブレ量Ｂ１が検出されたものとする。さらに、候補絞り値Ｆｂが適正絞り値Ｆａよりも小さな値に設定され、その絞り値における撮影の際に、閾値αより小さいブレ量Ｂ２が検出されたものとする。つまり、どちらもブレ量は閾値α内に収まっている場合である。

この場合、ステップＳ２４０の条件を満たさず、適正絞り値Ｆａで撮影された第１画像が選択される。すなわち、第１画像が閾値α以下の許容できる手ブレのもとで撮影された画像である場合には、第２画像に係わらず、適正絞り値Ｆａで撮影された第１画像が優先される。こうすることで、手ブレの少ない本来の適正絞り値Ｆａでの撮影画像を得ることができる。

また、図示は省略するが、第１画像、第２画像ともに、閾値αを超える手ブレのもとで撮影された画像である場合にも、第１画像が選択される。つまり、候補として撮影した第２画像も手ブレが大きく、代替として不十分であるためそのまま第１画像を選択することとなる。

以上の画像選択処理によれば、絞りの異なる２枚の画像を取得して撮影時のブレ量に基づいて１枚の画像を選択し、これを出力画像とする。したがって、２枚の画像のうち、より手ブレの少ない画像を選出し、手ブレを抑制することができる。また、レンズ１５などの光学系や、撮像センサ３５を移動する特別な手ブレ補正機構を備える必要がない。したがって、比較的簡易な構成で、手ブレ画像の出力を抑制したデジタルスチルカメラ１０を構築することができる。

また、本来の撮影条件である適正絞り値で撮影した画像におけるブレ量が、所定の許容値よりも小さく、手ブレが十分小さい場合には、候補絞り値で撮影した画像よりも適正絞り値で撮影した画像を優先して選択する。つまり、本来の撮影条件である絞り値の画像では手ブレが大きい場合にのみ、候補の絞り値の画像を採用可能か否かを検討する。したがって、デジタルスチルカメラ１０の本来の撮影機能（撮影条件）に影響を与えることはなく、汎用性に優れたものとなる。

なお、本実施例では、原則的に適正絞り値Ｆａよりも１段階小さな値を候補絞り値Ｆｂとして設定したが、適正絞り値Ｆａと異なる絞り値であればどのように候補絞り値Ｆｂを設定するものとしても良い。例えば、適正絞り値Ｆａに対して２段階、３段階小さな絞り値を設定するものとしても良いし、あるいは、１段階大きな絞り値を設定するものとしても良い。

Ｄ：第２実施例の画像選択処理：
第１実施例では絞り値の異なる２つの画像からの一の画像の選択のみを行なうものとしたが、第２実施例の画像選択処理では、更に、所定条件の元で２枚の画像の合成を行なう。第２実施例の画像選択処理においても、絞りの異なる２枚の画像を取得する処理は、第１実施例と同様である。したがって、図３に示した第１実施例と同様の処理については、同じステップ番号を付して簡単に説明する。なお、第２実施例におけるハード構成は第１実施例と同様であるため説明は省略する。

図６は、第２実施例の画像選択処理を示すフローチャートである。第１実施例と同様、この処理は、ユーザが所定の構図を決めてシャッターボタン９１を判押しする操作を行なうことで、制御ユニット８０のＣＰＵにより実行される。

処理が開始されると、制御ユニット８０は、測光の結果に基づき適正絞り値Ｆａを取得する（ステップＳ２００）。続いて、制御ユニット８０は、適正絞り値Ｆａに基づいて候補絞り値Ｆｂを決定する（ステップＳ２１０）。制御ユニット８０は、適正絞り値Ｆａから１段階小さい絞り値を候補絞り値Ｆｂとして決定し、候補絞り値Ｆｂに対応した露光時間を得る。

ユーザがシャッターボタン９１を完全に押下（シャッター操作）することで、制御ユニット８０は、適正絞り値Ｆａにて第１画像を撮影する（ステップＳ２２０）。この第１画像を撮影すると共に、その撮影時における手ブレ量を取得し、第１画像およびブレ量Ｂ１を一時的にＲＡＭに記憶する。続いて、候補絞り値Ｆｂにて第２画像を撮影する（ステップＳ２３０）。制御ユニット８０は、第２画像を撮影すると共に、撮影時のブレ量Ｂ２を取得する。

制御ユニット８０は、候補として撮影した第２画像が第１画像の代替として使用できるか否かを判断する（ステップＳ２４０）。具体的には、予め設定したブレ量の閾値αと、それぞれの撮影時に検出したブレ量Ｂ１，Ｂ２とを比較することで、使用可能か否かを判断している。

ステップＳ２４０で、ブレ量Ｂ１が閾値αよりも大きく、かつ、ブレ量Ｂ２が閾値α以下であると判断された（Ｙｅｓ）場合には、第２画像を撮影画像として選択し（ステップＳ２５０）、一連の処理を終了する。

他方、ステップＳ２４０で、ブレ量Ｂ１が閾値αよりも大きく、かつ、ブレ量Ｂ２が閾値α以下である条件を満たさないと判断された（Ｎｏ）場合には、ブレ量Ｂ１，Ｂ２が共に閾値βより小さいか否かを判断する（ステップＳ５６０）。ここで設定している閾値βは、閾値αよりも小さな値である。すなわち、絞りを異にして撮影した２つの画像が共に、閾値α、閾値βより小さい手ブレのもとで撮影された画像であるか否かを判断している。

ステップＳ５６０で、ブレ量Ｂ１，Ｂ２が共に閾値βより小さいと判断された（Ｙｅｓ）場合には、第１画像と第２画像とを合成し（ステップＳ５７０）、合成画像を撮影画像として、一連の処理を終了する。つまり、２つの画像は手ブレがほとんどない同じ構図の画像であり、絞りが異なるのみである。第１画像は、絞り値が大きく暗い（輝度が低い）画像であり、第２画像は絞りが小さく明るい（輝度が高い）画像である。この２枚の画像の合成を、輝度が高い部分には第１画像のデータを、輝度が低い部分には第２画像のデータを、それぞれ利用して補完することで行なう。

一般的に、撮像センサであるＣＣＤの入力特性には所定の幅（ダイナミックレンジ）があり、蓄積できる電荷の飽和量以上に入射光量が増えても適切な値を出力できない。絞り値を変えることで、光量を減らすことはできるが、ダイナミックレンジを広げることはできない。

これに対し、２枚の輝度の異なる画像を合成することで、ダイナミックレンジを拡大した画像を生成することができる。なお、ダイナミックレンジを拡大する観点からは、適正絞り値Ｆａに対して大きく離れた値の絞り値を候補絞り値Ｆｂとして設定することが望ましい。

他方、ステップＳ５６０で、ブレ量Ｂ１，Ｂ２が共に閾値βより小さいという条件を満たさないと判断された（Ｎｏ）場合には、第１画像を撮影画像として選択し（ステップＳ５８０）、一連の処理を終了する。

ステップＳ２４０およびステップＳ５６０を満たさず、最終的に第１画像の選択となるケースは５通りである。ケース１は、ブレ量Ｂ２が閾値αよりも大きい場合である。この場合には、手ブレが大きく第２画像は代替として不十分であるため、本来の撮影画像である第１画像を選択する。ケース２は、ブレ量Ｂ１，Ｂ２ともに閾値αより大きい場合である。この場合には、どちらの画像も手ブレが大きいため、本来の撮影画像である第１画像を選択する。

ケース３は、ブレ量Ｂ１，Ｂ２ともに閾値αよりは小さいが、ブレ量Ｂ１は閾値βよりも大きい場合、ケース４は、ブレ量Ｂ１，Ｂ２ともに閾値αよりは小さいが、ブレ量Ｂ２は閾値βよりも大きい場合、ケース５は、ブレ量Ｂ１，Ｂ２ともに閾値αよりは小さいが、両者とも閾値βよりも大きい場合である。ケース３〜５の場合には、第１画像も第２画像も閾値αよりも手ブレは少なく比較的良好な画像である。しかし、これらを合成して更に良好な画像を生成するには手ブレが大きいため、本来の撮影画像である第１画像を選択する。こうして一連の処理で、選択および合成された一の画像は、画像処理部６０を経て画像データとして、メモリ７０に記憶される。

以上の第２実施例の画像選択処理によれば、第１実施例と同様、２枚の画像のうち、手ブレの少ない画像を撮影画像として選択できることに加え、特に２枚の画像の手ブレが少ない場合には、ダイナミックレンジを拡大した画像を生成することができる。したがって、高画質の撮影画像を出力することができる。

なお、ここではダイナミックレンジを拡大する合成を行なったが、ノイズ低減や高解像度化のための合成であっても良い。例えば、２枚の画像を加算平均することで、１枚の画像に含まれるノイズを平均化してノイズを低減することができる。また、２枚の画像は時間を異にして撮影されているため、完全には同一ではない。こうした２枚の画像を用いて、１枚の画像の画素間に新たな画素を形成することで、高解像度の画像を生成することができる。

Ｅ．変形例：
本実施例では、２枚の絞りの異なる撮影画像から一の画像を選択するものとしたが、撮影する画像の枚数は更に複数枚であっても良い。例えば、適正絞り値Ｆａの前後の絞り値（Ｆａが４．８の場合、候補絞り値Ｆｂ１を４．０，候補絞り値Ｆｂ２を５．６）を設定し、合計３枚の絞りの異なる画像を撮影する。撮影の際には、それぞれの手ブレを検出し、手ブレの小さい画像を撮影画像として選択するものとすれば良い。さらに、３枚ともに所定の手ブレの条件を満たす場合には、これらを合成して一の画像を生成するものとしても良い。

また、本実施例では、先に適正絞り値による画像を撮影し、後に候補絞り値による画像を撮影するものとしたが、この撮影順序は逆であっても良い。さらに、上述のように複数の画像を撮影する場合には、絞り値の小さい順序で撮影するものとすれば良い。

以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。本実施例は、ハード的な手ブレ補正機構を備えないものとして構成したが、ハード的な手ブレ補正機構を備えていても良い。この場合、ハード的な手ブレ補正と共に、あるいは、選択的に本発明のソフト的な画像選択処理による手ブレの低減を実行することができる。また、本実施例では、撮像装置として、デジタルスチルカメラを例に説明したが、デジタルビデオカメラであっても良い。デジタルビデオカメラで撮影した静止画像に対しても本発明の処理を施すことで、手ブレを抑制することができる。

本発明の撮像装置であるデジタルスチルカメラの概略構成を示すブロック図である。 本実施例の画像選択を概念的に示した説明図である。 第１実施例の画像選択処理のフローチャートである。 絞り値と検出されたブレ量との一例を示す説明図である。 絞り値と検出されたブレ量との一例を示す説明図である。 第２実施例の画像選択処理を示すフローチャートである。

符号の説明

１０...デジタルスチルカメラ
１５...レンズ
２０...絞り
２５...シャッター
３０...フィルタ
３５...撮像センサ
４０...ＣＤＳ回路
４５...ＡＧＣアンプ
５０...Ａ／Ｄ変換回路
６０...画像処理部
７０...メモリ
８０...制御ユニット
９０...操作部
９１...シャッターボタン
９２...モードボタン
１００...表示部
１１０...ブレ検出部
１２０...画像選択部
１４０...測光部
Ｆａ...適正絞り値
Ｆｂ...候補絞り値
Ｂ１，Ｂ２...ブレ量

Claims (7)

1. 被写体を撮影して撮影画像を生成する撮像装置であって、
   少なくとも２つの異なる絞り値を設定する絞り値設定手段と、
   前記設定された複数の絞り値に基づく撮影条件を順次変更して撮影を行ない、前記被写体の複数の画像を取得する撮影手段と、
   前記画像毎の撮影における手ブレを検出するブレ検出手段と、
   前記検出された手ブレに基づいて、前記複数の画像から一の画像を前記撮影画像として選択する選択手段と
   を備えた撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記絞り値設定手段は、前記複数画像の取得に先立って前記被写体の測光を行なう測光手段を備え、当該測光に基づき設定した適正絞り値を、前記異なる絞り値の一つとして設定する撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記選択手段は、前記手ブレの許容範囲を備え、前記適正絞り値により撮影した画像の該手ブレが当該許容範囲に収まる場合には、該適正絞り値により撮影した画像を優先的に選択する撮像装置。
4. 請求項１ないし３のいずれかに記載の撮像装置であって、
   前記選択手段は、前記複数の画像のうち、前記手ブレが少ない画像を選択する撮像装置。
5. 請求項１ないし４のいずれかに記載の撮像装置であって、
   前記選択手段は、前記手ブレの許容範囲を備え、前記手ブレが当該許容範囲に収まる画像が複数ある場合には、該複数の画像を合成して新たな画像を生成する撮像装置。
6. 請求項１ないし５のいずれかに記載の撮像装置であって、
   前記撮影手段は、前記撮影の開始の操作を受け付けるシャッター操作部を備え、該シャッター操作部の１回の操作を受け付け、前記複数の画像の撮影を行なう撮像装置。
7. 被写体を撮影し、該撮影した撮影画像を取扱う画像処理方法であって、
   少なくとも２つの異なる絞り値を設定し、
   前記設定された複数の絞り値に基づく撮影条件を順次変更して前記撮影を行ない、前記被写体の複数の画像を取得し、
   前記画像毎の撮影における手ブレを検出し、
   前記検出された手ブレに基づいて、前記複数の画像から一の画像を前記撮影画像として選択する
   画像処理方法。

Images