JP2008244670A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置において、手ぶれの影響が小さくなるタイミングを周期的に予測し、連写の場合も含めて、手ぶれの影響の少ない画像を得る。
【解決手段】制御部は、時間当たりの手ぶれ変位量をメモリに記憶し（Ｓ３）、記憶された手ぶれによるＸ方向の変位量の振動ＷＸと取得時間とを用いて、Ｘ方向のぶれの周期ＣＸと、振幅ＡＸを算出し（Ｓ４）、記憶された手ぶれによるＹ方向の変位量の振動ＷＹと取得時間とを用いて、Ｙ方向のぶれの周期ＣＹと、振幅ＡＹを算出する（Ｓ５）。そして、手ぶれのＸ方向の変位量ＤＸと、Ｙ方向の変位量ＤＹとの和（変位量ＤＴ）が、閾値ＤＨ以下になるタイミングＴＳｎを算出する（Ｓ６）。変位量ＤＴが、閾値ＤＨよりも十分に小さくなるタイミングＴＳｎが、有効期限ＴＬが経過するまでに存在する場合（Ｓ８でＹＥＳ）、制御部は、タイミングＴＳｎに到達したときに（Ｓ１０でＹＥＳ）、被写体の本撮像を行う（Ｓ１１）。
【選択図】図３

Description

本発明は、撮像装置に関し、特に手ぶれの影響の少ない画像を得る技術に関する。

従来、デジタルカメラ等の撮像装置は、一定時間の間、被写体からの光を撮像素子に受光させて撮像する。撮像中にユーザが撮像装置を動かした場合、撮像した撮像画像がぶれて写る、所謂「手ぶれ」現象が発生することがある。

上記問題に対して、特許文献１には、手ぶれ変位量検出回路により検出された変位量に基づいてレンズを駆動させることにより、手ぶれ補正を行う撮像装置が開示されている。また、特許文献２には、水平方向と垂直方向の軸周りの手ぶれ波形を検出し、この波形から手ぶれ変位量を算出し、この変位量が閾値以下になるタイミングを予測して撮像を行う撮像装置が開示されている。

また、特許文献３には、基準となる撮像画像と最新の撮像画像とを比較し、基準位置の手ぶれ変位量に基づいて手ぶれ量を予測し、この手ぶれ量に基づいて、露光中に手ぶれ補正ができない場合に、露出時間を短くすることができる撮像装置が開示されている。しかし、これらの撮像装置は、手ぶれの影響が少なくなる直近のタイミングのみを予測するものであり、それ以降の手ぶれの影響が小さくなるタイミングを予測することができないので連写に対応することができないという問題がある。
特開平１０−１６１１６９号公報 特開平６−３３２０５２号公報 特開平１１−８４４５２号公報

本発明は、上記課題を解決するためになされたものであり、手ぶれの影響が小さくなるタイミングを周期的に予測し、連写の場合も含めて、手ぶれの影響の少ない画像を得ることができる撮像装置を提供することを目的とする。

上記目的を達成するために請求項１の発明は、被写体からの光を受光して電気信号に変換する撮像素子を有し、被写体を撮像して画像を得る撮像手段と、前記撮像手段により得られた画像や各種のメッセージを表示するための表示手段と、前記撮像手段により得られた画像を記憶するための記憶手段と、ユーザによって操作されるシャッターボタン、及び装置に指示を与える操作ボタンを有する操作手段と、装置各部を制御するための制御手段とを備える撮像装置において、前記シャッターボタンが押下されたとき、前記撮像手段による予備撮像により得られた画像（以下、予備画像）における注目部分のＸ方向及びＹ方向の変位量とこの予備画像の取得時間とを前記記憶手段に記憶する手ぶれ変位量記憶手段と、前記手ぶれ変位量記憶手段により記憶されたＸ方向及びＹ方向の変位量と取得時間とを用いて、手ぶれによる振動のＸ方向及びＹ方向の周波数を算出する手ぶれ周波数算出手段と、前記手ぶれ周波数算出手段により算出されたＸ方向及びＹ方向の周波数を用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の周期を算出する変位量周期算出手段と、前記変位量周期算出手段により算出されたＸ方向及びＹ方向の変位量の周期を用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の和が閾値以下になるタイミングを算出する撮像タイミング算出手段と、前記撮像タイミング算出手段が算出したタイミングに到達したときに、本撮像を行うように撮像タイミングを制御する撮像タイミング制御手段とをさらに備えるものである。

請求項２の発明は、被写体を撮像して画像を得る撮像手段と、前記撮像手段により得られた画像を表示するための表示手段と、前記撮像手段により得られた画像を記憶するための記憶手段と、装置各部を制御するための制御手段とを備える撮像装置において、手ぶれによる装置本体のＸ方向及びＹ方向の変位量と、この変位量の取得時間とを前記記憶手段に記憶する手ぶれ変位量記憶手段と、前記手ぶれ変位量記憶手段により記憶されたＸ方向及びＹ方向の変位量と取得時間とを用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の周期を算出する変位量周期算出手段と、前記変位量周期算出手段により算出されたＸ方向及びＹ方向の変位量の周期を用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の和が閾値以下になるタイミングを算出する撮像タイミング算出手段と、前記撮像タイミング算出手段が算出したタイミングを基に、手ぶれの影響の最も少ない時に本撮像を行うように撮像タイミングを制御する撮像タイミング制御手段とをさらに備えるものである。

請求項３の発明は、請求項２に記載の撮像装置において、前記手ぶれ変位量記憶手段は、前記撮像手段による予備撮像により得られた画像（以下、予備画像）における注目部分のＸ方向及びＹ方向の変位量とこの予備画像の取得時間とを前記記憶手段に記憶するものである。

本発明によれば、手ぶれによる振動の変位量の周期を用いて、この変位量の和が閾値以下になるタイミングを算出し、算出されたタイミングを基に、手ぶれの影響の最も少ない時に本撮像を行うように撮像タイミングを制御する。そのため、手ぶれの影響が小さくなるタイミングを周期的に予測することができるので、従来のように、手ぶれの影響が少なくなる直近のタイミングに限られないで撮像することができ、連写の場合も含めて、手ぶれの影響の少ない画像を得ることができる。

以下、本発明の一実施形態に係る撮像装置について、図１、及び図２を参照して説明する。図１（ａ）は、撮像装置１の正面を示し、図１（ｂ）は、撮像装置１の背面を示し、図２は、撮像装置１の内部構成を示す。撮像装置１は、夜間や室内で撮像を行うことができるように被写体に光を照射するフラッシュ装置１１と、被写体を撮像するための撮像ユニット（撮像手段）１２と、撮像した画像や各種のメッセージを表示するためのＬＣＤ（表示手段）１３と、撮像装置１を操作するためのボタン等を有する操作部（操作手段）１４と、撮像した撮像画像や各種データを記憶するためのメモリ（記憶手段）１５と、装置各部を制御する制御部（撮像タイミング制御手段、撮像タイミング算出手段、変位量周期算出手段、周波数算出手段、変位量記憶手段、制御手段）１６とを備える。

操作部１４は、ユーザによって操作され、撮像を行うためのシャッターボタン２１と、撮像装置１に指示を与えるための操作ボタン２２と、撮像装置１の電源をオン／オフ状態に切り替えるための電源ボタン２３とを有する。シャッターボタン２１は撮像装置１の上面に設けられ、操作ボタン２２及び電源ボタン２３は撮像装置１の背面に設けられている。

撮像ユニット１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）により構成され、被写体からの光を受光して電気信号に変換する撮像素子３１と、被写体からの光の焦点を撮像素子３１に合わせるレンズ３２と、撮像素子３１への光の入射量等を制御するために開閉動作を行うシャッター３３と、撮像素子３１から送信される電気信号をデジタル画像信号に変換するＡＤ変換処理を行うアナログフロントエンド部３４とを有する。アナログフロントエンド部３４は、撮像素子３１を駆動するために、撮像素子３１に駆動パルスを送信する処理、撮像素子３１から出力される電気信号に対するＣＤＳ処理、及びゲイン調整処理をさらに行う。また、撮像ユニット１２は、後述する手ぶれ変位量算出のための予備撮像を行い、予備撮像により得られた画像（以下、予備画像）を制御部１６に出力する。なお、撮像素子３１は、ＣＣＤから構成されている場合に限られず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）から構成されているものであってもよい。

制御部１６は、請求項における撮像タイミング制御手段、撮像タイミング算出手段、変位量周期算出手段、周波数算出手段、変位量記憶手段、制御手段として機能する。制御部１６は、撮像ユニット１２からデジタル画像信号である撮像画像データ（以下、撮像画像という）を受信し、この撮像画像に対して、輝度・色差信号処理、輪郭補正処理、及びホワイトバランスの調整処理等の各種画像信号処理を行い、これらの画像信号処理後の撮像画像をＬＣＤ１３へ出力したり、撮像画像等のデータをメモリ１５に記録したりする。また、制御部１６は、手ぶれの影響の少ない撮像画像を得るために、後述する撮像タイミングの制御処理や、手ぶれ周期を算出するための経過時間の取得処理等を行う。

次に、撮像装置１の撮像動作について、図３を参照して説明する。ユーザが、シャッターボタン２１を押下すると（Ｓ１）、制御部１６は、シャッターボタン２１を押下してからの経過時間を取得し（Ｓ２）、時間当たりの手ぶれ変位量をメモリ１５に記憶するための手ぶれ変位量記憶処理を行う（Ｓ３）。なお、この処理の詳細については後述する。

上記Ｓ３によりメモリ１５に記憶された手ぶれによる振動のＸ方向の変位量の振動ＷＸと、この振動ＷＸの取得時間とを用いて、Ｘ方向のぶれの周期ＣＸと、振幅ＡＸを算出する（Ｓ４）。具体的には、手ぶれによる振動のＸ方向の振動ＷＸの波形をフーリエ解析することによりこの振動ＷＸの波を構成する周波数の成分を抽出し、抽出した成分の内から強度と周波数の積が最も大きくなる周波数の成分をＸ方向のぶれの代表的な波とし、この周波数の成分の周期と振幅とをＸ方向のぶれの周期ＣＸと振幅ＡＸとする。

そして、上記Ｓ３によりメモリ１５に記憶された手ぶれによる振動のＹ方向の変位量の振動ＷＹと、この振動ＷＹの取得時間とを用いて、Ｙ方向のぶれの周期ＣＹと、振幅ＡＹを算出する（Ｓ５）。具体的な算出方法は、上記Ｓ４と同様である。

そして、Ｘ方向及びＹ方向の周期ＣＸ，ＣＹ、振幅ＡＸ，ＡＹを用いて、手ぶれによる振動のＸ方向の変位量ＤＸと、Ｙ方向の変位量ＤＹとの和（変位量ＤＴ）が、変位量閾値（以下、閾値）ＤＨ以下になるタイミングＴＳｎ（ｎ＝１、２、…）を算出する（Ｓ６）。具体的には、変位量ＤＴがゼロとなった時点を手ぶれのピークとし、その時点のＸ方向の位相角を位相ＦＸ、Ｙ方向の位相角を位相ＦＹとして設定し、Ｘ方向の角度の時間変化（以下、角速度ωｘ）を周期ＣＸから求め、Ｙ方向の角度の時間変化（以下、角速度ωｙ）を周期ＣＹから求める。従って、変位量ＤＴは、次式から求められる。
ＤＴ＝｜ＡＸｓｉｎ（ωｘＴＳｎ＋ＦＸ）＋ＡＹｓｉｎ（ωｙＴＳｎ＋ＦＹ）｜
なお、手ぶれのピークは、変位量ＤＴがゼロになった時点に限られず、例えば、変位量ＤＴの微分値がゼロである時点、又は、変位量ＤＴの微分値の正負が反転する時点であってもよい。

また、変位量ＤＴが、閾値ＤＨよりも十分に小さくなるタイミングＴＳｎは、次式から求められる。
｜ＡＸｓｉｎ（ωｘＴＳｎ＋ＦＸ）＋ＡＹｓｉｎ（ωｙＴＳｎ＋ＦＹ）｜≦ＤＨ

そして、上記Ｓ３乃至Ｓ６で求めた振動の周期ＣＸ、ＣＹ、振幅ＡＸ、ＡＹ等が有効であるか否かを判断する（Ｓ７）。具体的には、周期ＣＸ、ＣＹ、振幅ＡＸ、ＡＹ等が、経験的に推測できる解析結果有効期限ＴＬが経過するまで有効であるとすると、上記Ｓ６で求めたタイミングＴＳｎが存在するか否かは、次式から判断される。
０＜ＴＳｎ＜ＴＬ

上記Ｓ７による判断の結果、タイミングＴＳｎが、有効期限ＴＬが経過するまでに存在する場合（Ｓ８でＹＥＳ）、制御部１６は、タイミングＴＳｎに到達したか否かを判断し（Ｓ９）、到達した場合（Ｓ１０でＹＥＳ）、被写体の本撮像を行う（Ｓ１１）。そして、経過時間取得を停止し（Ｓ１２）、撮像処理を終了する。なお、ここでは、撮像装置１が、１回撮像した後、撮像処理を終了する場合を示しているが、上記Ｓ７において、タイミングＴＳｎが複数存在する場合は、上記Ｓ１１の処理後、上記Ｓ９の処理を再度行い、連続して撮像する（連写する）ことができる。

一方、上記Ｓ７において、タイミングＴＳｎが、有効期限ＴＬが経過するまでに存在しない場合（Ｓ８でＮＯ）、制御部１６は、ＬＣＤ１３に「手ぶれ解析失敗」と表示し（Ｓ１３）、撮像処理を終了する。

次に、上記手ぶれ変位量の算出について、図４を参照して説明する。図４は、撮像ユニット１２の予備撮像により得られた予備画像を示す。制御部１６は、予備画像の四隅における領域４１ａ〜４１ｄ内の注目部分５１ａ〜５１ｄが時系列において同一方向に変位したとき、手ぶれしたものと判断する。一方、予備画像の注目部分５１ａ〜５１ｄのすべてが時系列において同一方向に変位していないとき、制御部１６は、変位した注目部分に結像している被写体が動いたものと判断する。注目部分５１ａ〜５１ｄは、予備画像の四隅における領域４１ａ〜４１ｄ内の画像中の注目点、特徴的パターン、又は画像の輪郭等である。

具体的には、注目部分５１ａのみが時系列的に変位したとき、制御部１６は、注目部分５１ａに結像している被写体が動いたものと判断した後、予備画像の変位量をメモリ１５に記憶する。そして、制御部１６は、メモリ１５に記憶されたデータから手ぶれによる振動のＸ方向及びＹ方向の変位量を算出する。なお、ここでは予備画像の四隅における領域４１ａ〜４１ｄ内に注目部分５１ａ〜５１ｄがある場合を示したが、これに限られず、任意の数の注目部分があってもよい。また、注目部分は、予備画像の隅の領域内に限られず、予備画像における任意の位置であってよい。

次に、手ぶれ変位量記憶処理について、図５を参照して説明する。まず、制御部１６は、撮像ユニット１２から予備画像１を取得した後（Ｓ３１）、撮像ユニット１２から予備画像２を取得し（Ｓ２）、予備画像１と予備画像２との間の注目部分の変位量を算出し、変位量と取得時間をメモリ１５に記憶する（Ｓ３３）。

そして、制御部１６は、撮像ユニット１２から予備画像３を取得した後（Ｓ３４）、予備画像２と予備画像３との間の注目部分の変位量を算出し、変位量と取得時間をメモリ１５に記憶する（Ｓ３５）。そして、制御部１６は、撮像ユニット１２から予備画像４を取得した後（Ｓ３６）、予備画像３と予備画像４との間の注目部分の変位量を算出し、変位量と取得時間をメモリ１５に記憶する（Ｓ３７）。制御部１６は、撮像ユニット１２から予備画像５を取得した後（Ｓ３８）、予備画像４と予備画像５との間の注目部分の変位量を算出し、変位量と取得時間をメモリ１５に記憶する（Ｓ３９）。なお、ここでは、４つの変位量と、その取得時間をメモリ１５に記憶する場合の例を示したが、これに限られず、任意の数の変位量と取得時間をメモリ１５に記憶するものであってよい。

次に、手ぶれによる振動の周期について、図６を参照して説明する。図６は、変位量ＤＴの波６１、変位量ＤＸの波６２、及び変位量ＤＹの波６３の周期の例を示し、縦軸が変位量、横軸が経過時間（ｔ）を示す。図６に示すように、変位量ＤＴの波６１の周期では、経過時間ＴＳ１〜ＴＳ４のとき、変位量ＤＴがゼロとなる。このＴＳ１〜ＴＳ４が、前出図３に示したタイミングＴＳｎに相当し、この中の任意の時点で本撮像を行うと、手ぶれの影響の少ない画像を得ることができる。

上記のように、本発明の一実施形態に係る撮像装置１によれば、制御部１６が、手ぶれによる振動の変位量ＤＴの周期を用いて、この変位量ＤＴの和が閾値ＤＨ以下になるタイミングＴＳｎを算出し、算出されたタイミングＴＳｎを基に、手ぶれの影響の最も少ない時に本撮像を行うように撮像タイミングを制御する。そのため、手ぶれの影響が小さくなるタイミングを周期的に予測することができるので、従来のように、手ぶれの影響が少なくなる直近のタイミングに限られないで撮像することができ、手ぶれの影響の少ない画像を得ることができる。また、連続して本撮像（連写）を行う場合であっても、本撮像を行う度に手ぶれの影響の少ないタイミングを算出する処理を行うことなしに、手ぶれの影響の少ない画像を得ることができる。

また、制御部１６が、算出した手ぶれ周期を基に、手ぶれの影響の最も少ない時に撮像を行うように撮像タイミングを制御するので、手ぶれを補正するための光学系機構や手ぶれ防止のための専用の部材（角速度センサ等）を撮像装置１に組み入れることなしに、手ぶれを防止することができる。そのため、撮像装置１は、簡易な構成で手ぶれを防止することができ、コストダウンを図ることができる。

なお、本発明は、上記実施形態の構成に限定されるものではなく、発明の趣旨を変更しない範囲で種々の変更が可能である。

（ａ）と（ｂ）とは、本発明の一実施形態に係る撮像装置の正面図と背面図。 上記撮像装置の内部構成を示すブロック図。 上記撮像装置における撮像動作を示すフローチャート。 上記撮像動作処理における予備画像の注目部分を示す説明図。 上記撮像動作処理における手ぶれ変位量記憶処理の詳細を示すフローチャート。 上記撮像動作処理における手ぶれ変位量を示す説明図。

符号の説明

１ 撮像装置
１２ 撮像ユニット（撮像手段）
１３ ＬＣＤ（表示手段）
１４ 操作部（操作手段）
１５ メモリ（記録手段）
１６ 制御部
２１ シャッターボタン
２２ 操作ボタン（操作手段）
２３ 電源ボタン
３１ 撮像素子
５１ａ 注目部分
５１ｂ 注目部分
５１ｃ 注目部分
５１ｄ 注目部分

Claims (3)

1. 被写体からの光を受光して電気信号に変換する撮像素子を有し、被写体を撮像して画像を得る撮像手段と、
   前記撮像手段により得られた画像や各種のメッセージを表示するための表示手段と、
   前記撮像手段により得られた画像を記憶するための記憶手段と、
   ユーザによって操作されるシャッターボタン、及び装置に指示を与える操作ボタンを有する操作手段と、
   装置各部を制御するための制御手段とを備える撮像装置において、
   前記シャッターボタンが押下されたとき、前記撮像手段による予備撮像により得られた画像（以下、予備画像）における注目部分のＸ方向及びＹ方向の変位量とこの予備画像の取得時間とを前記記憶手段に記憶する手ぶれ変位量記憶手段と、
   前記手ぶれ変位量記憶手段により記憶されたＸ方向及びＹ方向の変位量と取得時間とを用いて、手ぶれによる振動のＸ方向及びＹ方向の周波数を算出する手ぶれ周波数算出手段と、
   前記手ぶれ周波数算出手段により算出されたＸ方向及びＹ方向の周波数を用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の周期を算出する変位量周期算出手段と、
   前記変位量周期算出手段により算出されたＸ方向及びＹ方向の変位量の周期を用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の和が閾値以下になるタイミングを算出する撮像タイミング算出手段と、
   前記撮像タイミング算出手段が算出したタイミングに到達したときに、本撮像を行うように撮像タイミングを制御する撮像タイミング制御手段とをさらに備えることを特徴とする撮像装置。
2. 被写体を撮像して画像を得る撮像手段と、
   前記撮像手段により得られた画像を表示するための表示手段と、
   前記撮像手段により得られた画像を記憶するための記憶手段と、
   装置各部を制御するための制御手段とを備える撮像装置において、
   手ぶれによる装置本体のＸ方向及びＹ方向の変位量と、この変位量の取得時間とを前記記憶手段に記憶する手ぶれ変位量記憶手段と、
   前記手ぶれ変位量記憶手段により記憶されたＸ方向及びＹ方向の変位量と時間とを用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の周期を算出する変位量周期算出手段と、
   前記変位量周期算出手段により算出されたＸ方向及びＹ方向の変位量の周期を用いて、手ぶれによる振動のＸ方向及びＹ方向の変位量の和が閾値以下になるタイミングを算出する撮像タイミング算出手段と、
   前記撮像タイミング算出手段が算出したタイミングを基に、手ぶれの影響の最も少ない時に本撮像を行うように撮像タイミングを制御する撮像タイミング制御手段とをさらに備えることを特徴とする撮像装置。
3. 前記手ぶれ変位量記憶手段は、前記撮像手段による予備撮像により得られた画像（以下、予備画像）における注目部分のＸ方向及びＹ方向の変位量とこの予備画像の取得時間とを前記記憶手段に記憶することを特徴とする請求項２に記載の撮像装置。

Images