JP2009229670A - 手ぶれ防止装置、電子機器、手ぶれ防止方法、および、手ぶれ防止プログラム - Google Patents

Abstract

【課題】少ない処理コストおよび簡易な装置の構成によって手ぶれの発生を防止できるようにする。
【解決手段】撮像素子１１によって画像を撮像する際に、ジャイロセンサ（Ｘ軸ジャイロセンサ３１ａ、Ｙ軸ジャイロセンサ３１ｂ）から出力される検出信号の入力を受ける入力手段（アナログ−デジタル変換部３２ａ、アナログ−デジタル変換部３２ｂ）と、撮像素子の露光時において軸周りに許容される手ぶれ回転角を決定する決定手段（プロセッサ３３）と、決定手段によって決定された許容される手ぶれ回転角を、入力手段を介して入力された検出信号によって求められる角速度で除算し、得られる値に基づいてシャッタ速度を算出する算出手段（プロセッサ３３）と、を有する。
【選択図】図２

Description

本発明は、手ぶれ防止装置、電子機器、手ぶれ防止方法、および、手ぶれ防止プログラムに関する。

撮像装置において画像を撮像する際に、ユーザの手ぶれに起因して発生する画像の劣化を防止する手ぶれ防止装置としては、特許文献１に開示される技術がある。
特開２００７−９７１９５号公報

ところで、特許文献１に開示される技術では、三角関数および行列計算を必要としており、組込機器用の低価格のマイクロプロセッサでは、計算処理に時間がかかるという問題点がある。また、その回避策として、ルックアップテーブルを作成して記憶装置に予め格納しておく方法があるが、その場合には記憶装置の記憶容量が余分に必要になるという問題点がある。
そこで本発明は、少ない処理コストおよび簡易な装置の構成によって手ぶれの発生を防止できる手ぶれ防止装置、電子機器、手ぶれ防止方法、および、手ぶれ防止プログラムを提供することを目的とする。

〔形態１〕 上記課題を解決するため、形態１の手ぶれ防止装置は、撮像素子と、前記撮像素子の軸周りの角速度を検出するジャイロセンサと、を有する撮像装置によって画像を撮像する際に手ぶれを防止する手ぶれ防止装置において、前記撮像素子によって画像を撮像する際に、前記ジャイロセンサから出力される検出信号の入力を受ける入力手段と、前記撮像素子の露光時において前記軸周りに許容される手ぶれ回転角を決定する決定手段と、前記決定手段によって決定された前記許容される手ぶれ回転角を、前記入力手段を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出手段と、を有することを特徴とする。
上記構成によれば、入力手段は撮像素子によって画像を撮像する際に、ジャイロセンサから出力される検出信号の入力を受け、決定手段は撮像素子の露光時において軸周りに許容される手ぶれ回転角を決定し、算出手段は決定手段によって決定された許容される手ぶれ回転角を、入力手段を介して入力された検出信号によって求められる角速度で除算し、得られる値に基づいてシャッタ速度を算出する。この結果、少ない処理コストおよび簡易な装置の構成によって手ぶれの発生を防止できる。

〔形態２〕 形態２の手ぶれ防止装置は、形態１の手ぶれ防止装置において、前記ジャイロセンサは、前記撮像素子の横方向または縦方向の軸周りの角速度を検出し、前記決定手段は、前記横方向または縦方向の軸周りに許容される手ぶれ回転角を決定し、前記算出手段は、前記横方向または縦方向の軸周りに許容される手ぶれ回転角を、前記横方向または縦方向の軸周りの対応する角速度で除算し、得られる値に基づいてシャッタ速度を算出する、ことを特徴とする。
上記構成によれば、横方向または縦方向の軸周りに許容される手ぶれ回転角を、ジャイロセンサによって検出された横方向または縦方向の軸周りの対応する角速度で除算し、得られる値に基づいてシャッタ速度が算出される。このため、乗算および除算によってシャッタ速度を求めることができるので、横方向または縦方向の軸周りの手ぶれを簡易な構成によって手ぶれを防止することができる。

〔形態３〕 形態３の手ぶれ防止装置は、形態２の手ぶれ防止装置において、前記決定手段は、前記撮像素子に投影された被写体の任意の対象点の前記撮像素子上における前記横方向または縦方向に対する許容される移動量に、前記横方向または縦方向の画素サイズを乗算して得られる値を、前記撮像素子が有する光学系の焦点距離で除算して求まる値に基づいて前記許容される手ぶれ回転角を決定することを特徴とする。
上記構成によれば、撮像素子に投影された被写体の任意の対象点の撮像素子上における横方向または縦方向に対する許容される移動量に、横方向または縦方向の画素サイズを乗算して得られる値を、撮像素子が有する光学系の焦点距離で除算して求まる値に基づいて許容される手ぶれ回転角が決定される。このため、それぞれの撮像装置に最適な手ぶれ回転角を求めることができる。

〔形態４〕 形態４の手ぶれ防止装置は、形態３の手ぶれ防止装置において、前記ジャイロセンサは、前記撮像素子の前記横方向および縦方向のそれぞれの軸周りの角速度を検出し、前記決定手段は、前記横方向および縦方向のいずれか一方に対して許容される回転角を許容される手ぶれ回転角として決定し、前記算出手段は、前記横方向および縦方向のいずれか一方に対して許容される回転角を、前記横方向および縦方向の角速度の平均値によって除算した値に基づいてシャッタ速度を算出することを特徴とする。
上記構成によれば、横方向および縦方向のいずれか一方に対して許容される回転角を許容される手ぶれ回転角として決定し、横方向および縦方向のいずれか一方に対して許容される回転角を、横方向および縦方向の角速度の平均値によって除算した値に基づいてシャッタ速度を算出する。このため、横方向および縦方向の双方の軸周りの手ぶれを、簡単な計算によって防止することができる。

〔形態５〕 形態５の手ぶれ防止装置は、形態４の手ぶれ防止装置において、前記算出手段は、前記横方向および縦方向のいずれか一方に対して許容される回転角を、前記横方向および縦方向の角速度の平均値によって除算した値に対して、前記横方向および縦方向の角速度の比率に対応する所定の値を乗算して得られた値に基づいてシャッタ速度を算出する、ことを特徴とする。
上記構成によれば、横方向および縦方向のいずれか一方に対して許容される回転角を、横方向および縦方向の角速度の平均値によって除算した値に、角速度の比率に対応する所定の値を乗算して得られた値に基づいてシャッタ速度が算出される。このため、横方向および縦方向の回転速度が異なる場合であっても、横方向および縦方向の手ぶれを確実に防止することができる。

〔形態６〕 形態６の手ぶれ防止装置は、形態３乃至５のいずれかの手ぶれ防止装置において、決定手段は、撮像素子が有する光学系がズーム調整を行った場合には、調整後における光学系の焦点距離に基づいて許容される手ぶれ回転角を決定することを特徴とする。
上記構成によれば、光学系がズーム調整を行った場合には、調整後の焦点距離に基づいて手ぶれ回転角が決定される。このため、ズーム調整が行われた場合であっても、手ぶれを確実に防止することができる。

〔形態７〕 形態７の手ぶれ防止装置は、形態３乃至６のいずれかの手ぶれ防止装置において、前記決定手段は、前記撮像素子によって撮像する画像の解像度が変更された場合には、変更後における解像度によって定まる前記画素サイズに基づいて前記許容される手ぶれ回転角を決定することを特徴とする。
上記構成によれば、撮像する画像の解像度が変更された場合には、変更後の解像度によって定まる画素サイズに基づいて手ぶれ回転角が決定される。このため、解像度が変更された場合であっても、手ぶれを確実に防止することができる。

〔形態８〕 形態８の手ぶれ電子機器は、形態１乃至７のいずれか１項記載の手ぶれ防止装置を有する。
上記構成によれば、電子機器は前述した手ぶれ防止装置を備える。このため、横方向または縦方向の軸周りの手ぶれを簡易な構成によって手ぶれを防止することができる。

〔形態９〕 上記課題を解決するため、形態９の手ぶれ防止方法は、撮像素子と、前記撮像素子の軸周りの角速度を検出するジャイロセンサと、を有する撮像装置によって画像を撮像する際の手ぶれを防止する手ぶれ防止方法において、前記撮像素子によって画像を撮像する際に、前記ジャイロセンサから出力される検出信号の入力を受ける入力ステップと、前記撮像素子の露光時において前記軸周りに許容される手ぶれ回転角を決定する決定ステップと、前記決定ステップにおいて決定された前記許容される手ぶれ回転角を、前記入力ステップにおいて入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出ステップと、を有することを特徴とする。
上記方法によれば、入力ステップは撮像素子によって画像を撮像する際に、ジャイロセンサから出力される検出信号の入力を受け、決定ステップは撮像素子の露光時において軸周りに許容される手ぶれ回転角を決定し、算出ステップは決定ステップにおいて決定された許容される手ぶれ回転角を、入力ステップにおいて入力された検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する。この結果、少ない処理コストおよび簡易な装置の構成によって手ぶれの発生を防止できる。

〔形態１０〕 上記課題を解決するため、形態１０の手ぶれ防止プログラムは、撮像素子と、前記撮像素子の軸周りの角速度を検出するジャイロセンサと、を有する撮像装置をコンピュータにより制御し、画像を撮像する際の手ぶれを防止する手ぶれ防止プログラムにおいて、前記撮像素子によって画像を撮像する際に、前記ジャイロセンサから出力される検出信号の入力を受ける入力機能と、前記撮像素子の露光時において前記軸周りに許容される手ぶれ回転角を決定する決定機能と、前記決定機能によって決定された前記許容される手ぶれ回転角を、前記入力機能を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出機能と、を前記コンピュータに実行させることを特徴とする。
上記プログラムによれば、撮像装置は、撮像素子によって画像を撮像する際に、ジャイロセンサから出力される検出信号の入力を受け、撮像素子の露光時において軸周りに許容される手ぶれ回転角を決定し、決定された許容される手ぶれ回転角を、入力された検出信号によって求められる角速度で除算し、得られる値に基づいてシャッタ速度を算出する。
この結果、少ない処理コストおよび簡易な装置の構成によって手ぶれの発生を防止できる。

以下、本発明を適用した実施形態について図面を参照して説明する。なお、以下では、（Ａ）本発明の実施の形態の構成例、（Ｂ）本発明の実施の形態の動作の概要、（Ｃ）本発明の実施の形態の詳細な動作、（Ｄ）変形実施の形態の順に説明する。

（Ａ）本発明の実施の形態の構成例
図１は、本実施形態に係る撮像装置１０の概略構成を示すブロック図である。撮像装置１０（請求項中「撮像装置」に対応）は、撮像素子１１（請求項中「撮像素子」に対応）、輝度検知部１２、プロセッサ１３、格納部１４、ユーザ・インタフェース１５、および、手ぶれ防止部３０を有している。ここで、撮像素子１１は、例えば、ＣＣＤ（Charge Coupled Device）等によって構成され、被写体の光画像を対応する画像信号に変換して出力する。なお、撮像素子１１は、図３を参照して後述する撮像部４０に内蔵されている。輝度検知部１２は、例えば、フォトダイオード等によって構成され、被写体の輝度を検知し、検知した輝度に対応する信号を出力する。プロセッサ１３は、格納部１４に格納されているプログラム等に基づいて、撮像素子１１の感度、焦点距離、絞り、露光時間等を設定し制御する。格納部１４は、例えば、半導体メモリによって構成され、プロセッサ１３が実行するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等のプロセッサ１３が読み取り可能なコードを格納する。ユーザ・インタフェース１５は、操作ボタン等によって構成され、ユーザの操作に応じた情報を生成して出力する。手ぶれ防止部３０は、後述するジャイロセンサによって検出された角速度および許容される回転角に基づいて、シャッタ速度を算出し、プロセッサ１３に出力する。

図２は、図１に示す手ぶれ防止部３０の詳細な構成例を示す図である。この図に示すように、手ぶれ防止部３０は、Ｘ軸ジャイロセンサ３１ａ（請求項中「ジャイロセンサ」に対応）、Ｙ軸ジャイロセンサ３１ｂ（請求項中「ジャイロセンサ」に対応）、アナログ−デジタル変換部３２ａ（請求項中「入力手段」に対応）、アナログ−デジタル変換部３２ｂ（請求項中「入力手段」に対応）、プロセッサ３３（請求項中「決定手段」および「算出手段」に対応）、および、格納部３４を有している。
ここで、Ｘ軸ジャイロセンサ３１ａは、例えば、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の横方向（走査線の方向）に対応するＸ軸を中心とする角速度を検出して出力する。Ｙ軸ジャイロセンサ３１ｂは、同じく、振動ジャイロセンサによって構成され、撮像素子１１の撮像面の縦方向（走査線に直交する方向）に対応するＹ軸を中心とする角速度を検出して出力する。アナログ−デジタル変換部３２ａは、Ｘ軸ジャイロセンサ３１ａから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。アナログ−デジタル変換部３２ｂは、Ｙ軸ジャイロセンサ３１ｂから出力される角速度を示すアナログ信号をデジタル信号に変換して出力する。プロセッサ３３は、格納部３４に格納されているプログラムを実行し、アナログ−デジタル変換部３２ａ，３２ｂから出力されるＸ軸およびＹ軸周りの角速度に基づいて、手ぶれを防止するためのシャッタ速度を算出し、得られたシャッタ速度をプロセッサ１３に通知する。格納部３４は、例えば、半導体メモリによって構成され、プロセッサ３３が実行するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等のプロセッサ３３が読み取り可能なコードを格納する。

図３は、図１に示す撮像素子１１が内蔵されている撮像部４０の詳細な構成例を示す図である。撮像部４０は、立方体形状を有する筐体４１を有している。筐体４１の天面４２には、被写体からの光画像を収束するためのレンズ４３が設けられている。筐体４１内部の底面（不図示）には、レンズ４３によって収束された光画像を対応する画像信号に変換するための撮像素子１１が設けられている。なお、撮像素子１１は、走査線の方向である横方向が図中のＸ軸方向に一致するように配置され、また、走査線と直交する方向である縦方向が図中のＹ軸方向に一致するように配置されている。筐体４１のＸ軸とその法線が一致する側面４４には、Ｘ軸ジャイロセンサ３１ａが配設されている。また、筐体４１のＹ軸とその法線が一致する側面４５には、Ｙ軸ジャイロセンサ３１ｂが配設されている。側面４５には、撮像素子１１を制御するための制御信号、撮像素子１１から出力される画像信号、レンズ４３を制御するための制御信号が伝送される信号線群を有するとともに、プロセッサ１３に接続されるフレキシブルケーブル４６が設けられている。
なお、図３の例では、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂは、筐体４１の側面４４，４５にそれぞれ設けられているが、角速度は撮像装置１０のどの場所でも同じであるので、検出しようとする軸方向さえ一致していれば、撮像装置１０の任意の場所に設けることができる。一例として、図３に示すように、フレキシブルケーブル４６の一部にＹ軸ジャイロセンサ３１ｂを設けるようにしてもよい。

（Ｂ）本発明の実施の形態の動作の概要
つぎに、本発明の実施の形態の動作の概要について説明する。図４は、図３に示す撮像部４０がＸ軸またはＹ軸周りに回転された場合において、撮像素子１１の撮像面上における、被写体の任意の対象点の移動の様子を示す図である。図４（Ａ）は、撮像素子１１をＹ軸を中心として回転させた場合における、撮像面上における対象点の動きを示している。この図に示すように、Ｙ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の走査線の方向であるｘ方向（横方向）に移動する。図４（Ｂ）は、撮像素子１１をＸ軸を中心として回転させた場合における、撮像面上における対象点の動きを示している。この図に示すように、Ｘ軸を中心として撮像素子１１を回転させた場合には、対象点は矢印で示すように、撮像素子１１の走査線に直交する方向であるｙ方向（縦方向）に移動する。ところで、撮像素子１１の露光開始時における対象点の位置を（ｘ₁，ｙ₁）とし、露光終了時における対象点の位置を（ｘ₂，ｙ₂）とした場合、露光開始から終了までの間に対象点はｘ方向にｘ₂−ｘ₁だけ移動し、ｙ方向にｙ₂−ｙ₁だけ移動する。このとき、ｘ方向およびｙ方向の画素サイズをＳ_x，Ｓ_yとした場合、対象点の移動画素数は、ｘ方向およびｙ方向のそれぞれに対して（ｘ₂−ｘ₁）／Ｓ_xおよび（ｙ₂−ｙ₁）／Ｓ_yとなる。このような対象点の移動画素数が少ない程、手ぶれの小さい画像となる。そこで、本実施の形態では、露光開始から終了までの期間において、対象点のｘ方向またはｙ方向への許容できる移動量に対応する撮像素子１１のＸ軸またはＹ軸の回転角度を求め、当該回転角度をジャイロセンサによって検出された角速度によって除算することにより得られる値に基づいてシャッタ速度を算出することにより、移動点の撮像面上における移動量が許容移動量内に収まるように制御する。より詳細には、本実施の形態では、ｘ方向およびｙ方向の移動量が同じであると仮定し、対象点のｙ方向への許容できる移動量に対応する撮像素子１１のＸ軸の回転角α’を後述する式（３７）に基づいて求める。そして、当該許容できる回転角α’を、後述する式（３８）に示すように、レリーズボタンが全押しされた場合における、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂから出力されるＸ軸周りおよびＹ軸周りの角速度ＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙの平均値によって除算することにより、シャッタ速度ＳＳを求める。このようにして求められたシャッタ速度ＳＳは、プロセッサ１３に供給され、プロセッサ１３は撮像素子１１のシャッタ速度がＳＳになるように制御する。このような制御を行うことにより、撮像面上における対象点の移動量が許容移動量内に収まることから、手ぶれの少ない画像を得ることができる。また、以上の制御では、三角関数および行列の演算を行う必要がないため、安価なプロセッサによって演算処理を高速に実行することができる。また、ルックアップテーブルを使用する必要がないので、半導体メモリの必要な記憶容量を削減することができる。

（Ｃ）本発明の実施の形態の詳細な動作
つぎに、本発明の実施の形態の詳細な動作について説明する。以下では、本実施形態における手ぶれ防止処理のアルゴリズムについて説明した後、実施の形態の具体的な動作について説明する。
図５は単純なレンズ・モデルに基づき定義された撮像モデルを示す概念図である。理解を容易にするために、焦点面は画像面に平行に設定され、また、レンズは比較的薄く、その光学軸は画像面に垂直であるとする。このとき、レンズはつぎの法則に従って作用するものとする。

ここで、ｕはレンズ面から実世界対象までの距離を示し、ｖはレンズ面から集束画像までの距離を示し、ｆはレンズの焦点距離を示す。また、実世界対象の座標と画像における画素の座標との関係については以下のように定義されるものとする。

Ｆ：撮像装置の焦点距離
Ｐ_w＝（ｘ_w，ｙ_w，ｚ_w）：実世界対象座標における１点の位置
Ｐ_c＝（ｘ_c，ｙ_c，ｚ_c）：撮像装置座標における１点の位置
Ｐ_im＝（ｘ_im，ｙ_im）：画像面座標における１点の位置
Ｐ_focused＝（ｘ_focused，ｙ_focused）：焦点面座標における１点の位置
Ｐ＝（ｘ，ｙ）：画素座標における１点の位置
Ｓ_x：ｘ方向画素サイズ
Ｓ_y：ｙ方向画素サイズ
ｘ₀：水平主点
ｙ₀：垂直主点
λ：モデル倍率
α：撮像装置のＸ軸を中心とする回転角
β：撮像装置のＹ軸を中心とする回転角
γ：撮像装置のＺ軸を中心とする回転角

実世界対象の座標と画素座標との関係は４つの構成要素を含む。関係の第１の構成要素は撮像装置と実世界対象座標との回転と並進である。

ここで、ＲはＸ，Ｙ，Ｚ方向に対する回転を定義する３×３の回転マトリクスであり、また、Ｔは原点間の並進を定義する三次元並進ベクトルである。
また、関係の第２の構成要素は実世界対象座標から画像面への透視投影である。この透視投影は簡略化ピンホール・カメラ投影モデルに基づいている。

図５に示す単純レンズ・モデルにより、第３の構成要素は撮像装置１０の焦点面および画像面を（ｕ，ｖ，ｆ）の関数であるモデル倍率λと以下のように関連付ける。

ここで、（ｘ_im，ｙ_im）は二次元画像面座標に投影された点であり、（ｘ_focused，ｙ_focused）は二次元焦点面座標で対応する点であり、λはｖ／ｆに比例し、その値は“１”に近い。

また、関係の第４の構成要素は焦点面と画像素座標との変換である。

従って、実世界対象座標と画素座標との関係は以下の通り式（２），（３），（４），および式（５）の組み合わせである。この結果、座標投影ＣＰは以下のように表現できる。

また、次のようにも表現できる。

ｘ方向画素サイズＳ_xおよびｙ方向画素サイズＳ_yは、焦点面上の撮像素子１１の解像度から計算される。なお、撮像の解像度が変更された場合には、ｘ方向画素サイズＳ_xおよびｙ方向画素サイズＳ_yは変更される。

本実施の形態では、露光が開始されてから終了するまでの間の撮像装置１０の動きは、単なる回転であると仮定する。この仮定の下では、並進ベクトルＴはゼロベクトルとなる。

この結果、式（７）の撮像装置モデルは以下のように簡略化できる。

式（９）における回転マトリクスＲは次のように計算される。

Ｘ軸に対する回転を表すマトリクスは以下のように表される。

Ｙ軸に対する回転を表すマトリクスは以下のように表される。

Ｚ軸に対する回転を表すマトリクスは以下のように表される。

以上に定義したように、α、β、および、γは、それぞれ、Ｘ軸、Ｙ軸、および、Ｚ軸の周りに回転された角度で、角速度と露光時間と以下のように関係している。

ここで、Ｅは露光期間、Ｇ_x、Ｇ_y、および、Ｇ_zは、後述するようにジャイロセンサから得られる角速度である。なお、本実施形態では、Ｚ軸方向のジャイロセンサを有していないため、Ｇ_zは使用しない。また、Ｎは露光期間Ｅ中に得られたジャイロセンサのサンプル数である。

回転の前に撮像装置座標は実世界対象座標と位置合わせされる。従って回転前の回転マトリクスは以下のように表される。

回転がない場合、実世界対象点Ｐ_w＝（Ｐ_x，Ｐ_y，Ｐ_z）に対応する画素座標は以下の式によって表される。

ここで、（ｘ₁，ｙ）は、実世界対象座標の点Ｐ_wに対応する画素座標である。回転は、上述のように撮像装置１０の露光開始から終了までの間のＸ軸、Ｙ軸、および、Ｚ軸に対する単純な回転と仮定されるが、回転された角度はそれぞれα、β、および、γで表される。回転マトリクスＲは、式（１０）によって表される。さらに、撮像装置１０の回転前の実世界対象点Ｐ_w＝（ｘ_w，ｙ_w，ｚ_w）に対応する画素座標は式（１６）で表される。式（１６）から、実世界対象座標の点Ｐ_w＝（ｘ_w，ｙ_w，ｚ_w）は以下の式によって表すことができる。

説明を簡略化するために、撮像装置１０の露光中に被写体は動かないと仮定される。式（１７）および式（９）から、各画素の回転前後の関係が画像座標で得られる。

ここで、（ｘ₂，ｙ₂）は撮像装置１０の回転後の実世界対象点Ｐ_wに対応する画像の画素座標であり、（ｘ₁，ｙ₁）は撮像装置１０の回転前の実世界対象点に対応する画素座標である。
画像における各画素に対する動きベクトルは次のように表すことができる。

本実施の形態では、計算量を減らすために、式（１１）、式（１２）、および、式（１３）のｓｉｎαおよびｃｏｓαを以下のようにマクローリン展開する。

ここで、α＜＜１であるとすると、式（２０）および式（２１）の右辺の第２項以降は無視することができるので、ｓｉｎα＝αと近似し、また、ｃｏｓα＝１と近似することができる。

式（１８）の右辺を展開すると、以下の式（２２）、式（２３）、および、式（２４）を得る。ここで、Ｚ軸方向への回転は無視できるものとする。

ここで、式（２２）、式（２３）、および、式（２４）において、ｓｉｎα＝α、ｃｏｓα＝１と近似し、ｓｉｎβ＝β、ｃｏｓβ＝１と近似すると、以下の式（２５）、式（２６）、および、式（２７）を得る。

式（２６）において、−（（ｘ₁−ｘ₀）×Ｆｃ２×α×β）／Ｆｃ１は、他項に比較して十分に小さい値であるので、これを削除すると以下の式（２８）を得る。

また、式（２５）、式（２８）、および、式（１９）より以下の式（２９）および式（３０）を得る。

式（２９）および式（３０）の右辺を整理すると、以下の式（３１）および式（３２）を得る。

ここで、（ｘ₂−ｘ₁）＝Δｘとし、（ｙ₂−ｙ₁）＝Δｙとすると、対象点の移動量であるＭｏｔｉｏｎＥｘｔｅｎｔは以下の式で表される。

本実施の形態では、最適なシャッタ速度を対象点の移動量から求める。式（３１）および式（３２）をβおよびαについて変形すると、以下の式（３４）および式（３５）を得る。

式（３４）および式（３５）はラジアン（radian）値であるため、ディグリー（degree）値に変換すると、以下の式（３６）および式（３７）を得る。

実際の手ぶれでは、Ｘ軸およびＹ軸の回転量が異なるため、α’およびβ’の値は異なり、その結果、移動量（ｘ₂−ｘ₁）および（ｙ₂−ｙ₁）も異なる。しかしながら、本実施の形態では、計算を簡略化するためにこれらが同じであると仮定する。その場合、Ｆｃ１およびＦｃ２が同じである場合には、α’およびβ’は同値となる。そこで、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂによって検出される角速度をそれぞれＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙとし、α’を用いると、最適なシャッタ速度ＳＳは以下の式（３８）によって求められる。

本実施の形態では、許容されるｙ方向の移動量（ｙ₂−ｙ₁）に基づいて式（３７）によってα’を求め、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂによって検出される角速度ＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙを、式（３８）に代入することにより、最適なシャッタ速度ＳＳを求める。そして、求めた最適なシャッタ速度ＳＳに応じて撮像素子１１を制御することにより、手ぶれの少ない画像を得ることができる。

つぎに、撮像装置１０において実行される処理の詳細について、図６のフローチャートを参照して説明する。図６に示すフローチャートの処理が開始されると、以下のステップが実行される。すなわち、ステップＳ１では、プロセッサ３３は、撮像素子１１の撮像面における対象点の許容移動量Δｙを決定する。なお、Δｙの決定方法としては、例えば、格納部３４に予めΔｙの値を格納しておき、撮像装置１０が起動された際に、この値を読み出すようにすればよい。

ステップＳ２では、プロセッサ１３は、ユーザ・インタフェース１５が有する図示せぬレリーズボタンが半押し状態にされたか否かを判定し、半押し状態にされた場合（ステップＳ２；Ｙｅｓ）にはステップＳ３に進み、それ以外の場合（ステップＳ２；Ｎｏ）には同様の処理を繰り返す。例えば、ユーザが被写体に対して撮像装置１０を向け、レリーズボタンを半押し状態にした場合には（図７のＳ１参照）、ステップＳ２においてＹｅｓと判定されてステップＳ３に進む。

ステップＳ３では、プロセッサ１３は、ＡＦ（Auto Focus）処理およびＡＥ（Auto Exposure）処理を実行する（図７の「ＡＦ，ＡＥ処理」参照）。より詳細には、プロセッサ１３は、輝度検知部１２の検知結果に基づいて、被写体の輝度を検出し、最適な露出値を決定する。このＡＥ処理の結果、検出された輝度に応じた最適な絞り値と、シャッタ速度とが決定される。また、プロセッサ１３は、図３に示す撮像部４０を制御して、被写体と撮像装置１０との間の距離に応じて、ＡＦ処理を実行し、最適な焦点距離を決定する。そして、このようにして決定された絞り値、シャッタ速度、焦点距離は、格納部１４に格納された後、後述するステップＳ６において、手ぶれ防止部３０のプロセッサ３３に供給される。

ステップＳ４では、プロセッサ１３は、レリーズボタンが全押しの状態にされたか否かを判定し、全押しの状態にされたと判定した場合（図７のＳ２参照）にはステップＳ５に進み、それ以外の場合には同様の処理を繰り返す。例えば、ユーザが、被写体の構図を決定し、撮影を行うと判断してレリーズボタンを全押しの状態にした場合にはステップＳ５に進む。

ステップＳ５では、プロセッサ１３は、手ぶれ防止部３０に対して、レリーズボタンが全押しされたことを通知し、手ぶれ防止部３０では、この通知に基づいて、ジャイロのサンプリング処理（図７の「サンプリング処理」参照）を開始する。より詳細には、プロセッサ３３は、アナログ−デジタル変換部３２ａおよびアナログ−デジタル変換部３２ｂの出力を一定の間隔でサンプリングし、ジャイロデータとして格納部３４に格納する。なお、ジャイロセンサ３１ａ，３１ｂは、手ぶれ量に対応したＸ軸およびＹ軸周りの角速度を検出するが、手ぶれ量は時間的に変化するため、ジャイロセンサ３１ａ，３１ｂの出力は時間的に変動する。そこで、サンプリング処理では、１回ではなく複数回のサンプリングを行って、得られた複数回の角速度の平均値を算出し、得られた値をＸ軸およびＹ軸方向の角速度として用いることができる。

ステップＳ６では、プロセッサ３３は、撮像情報をプロセッサ１３を介して、格納部１４から取得する。このとき、取得する撮像情報としては、前述したように、絞り値、シャッタ速度、および、焦点距離がある。

ステップＳ７では、プロセッサ３３は、ジャイロのサンプリング処理を終了する。すなわち、プロセッサ３３は、アナログ−デジタル変換部３２ａおよびアナログ−デジタル変換部３２ｂからのデータの取得を終了する。なお、ジャイロセンサ３１ａ，３１ｂおよびアナログ−デジタル変換部３２ａ，３２ｂにおける消費電力を抑制するために、これらに対する電源電力の供給を、サンプリング処理が終了した時点で停止するようにしてもよい。

ステップＳ８では、プロセッサ３３は、格納部３４に格納されているジャイロデータを取得する。このとき、格納部３４にはＸ軸およびＹ軸に関する複数のジャイロデータが格納されているので、前述したように、プロセッサ３３は、これらのジャイロデータの平均値を求め、Ｘ軸およびＹ軸周りの角速度であるＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙを得る。

ステップＳ９では、プロセッサ３３は、手ぶれ防止処理を実行する（図７の「演算処理」参照）。より詳細には、プロセッサ３３は、まず、プロセッサ１３から撮像する画像のｙ方向の画素サイズ（Ｓ_y）を取得する。例えば、撮像素子１１の縦×横の解像度が２３０４×２３０４画素である場合に、１画素の縦および横の長さがそれぞれ２．５μｍであるとする。この場合に、撮像する画像の実質的な解像度が６４０×４８０画素である場合、複数の画素によって１画素が表現されるので、Ｓ_yは＝２３０４／４８０×２．５μｍ＝１２μｍ＝０．０１２ｍｍとなる。つぎに、プロセッサ３３は、ステップＳ６において取得した撮像情報に含まれている焦点距離Ｆを格納部３４から取得し、Ｆｃ２＝Ｆ／Ｓ_yに基づいてＦｃ２を求める。そして、プロセッサ３３は、ステップＳ１において決定したΔｙ（＝ｙ₂−ｙ₁）と、Ｆｃ２に基づいて、式（３７）に基づいてα’の値を算出する。そして、プロセッサ３３は、ステップＳ８において算出したＸ軸周りの角速度ＡｎｇｌｅＶｅｌ＿ＸおよびＹ軸周りの角速度ＡｎｇｌｅＶｅｌ＿Ｙならびに前述したα’の値を式（３８）に代入し、最適なシャッタ速度ＳＳを算出する。

ステップＳ１０では、プロセッサ３３は、ステップＳ９において算出された最適なシャッタ速度ＳＳに基づいて、実際のシャッタ速度を決定する。すなわち、プロセッサ３３は、まず、得られたシャッタ速度ＳＳを、撮像装置１０において設定可能なシャッタ速度に変換する。図８は、撮像装置１０において設定可能なシャッタ速度の一例を示す図である。この例では、シャッタ速度ＳＳは、１ｓｅｃから１／４０００ｓｅｃの範囲で、１３種類の設定値の中から選択可能とされている。なお、「Ｔｖ」は、それぞれのシャッタ速度を指定するための値であり、この例では、０〜１２の値によってＳＳの値を指定することができる。プロセッサ３３は、ステップＳ９において算出したＳＳの値に最も近い値を、図８から検索し、得られた値を新たなＳＳの値とする。例えば、ステップＳ９で得られたＳＳの値が「１／１５０ｓｅｃ」である場合には、図８の「１／１２５ｓｅｃ」が新たなＳＳの値として選択される。なお、近い値を選択するのではなく、シャッタ速度が速い方の値を選択するようにしてもよい。その場合、ステップＳ９で得られたＳＳの値が「１／１５０ｓｅｃ」である場合には、図８の「１／２５０ｓｅｃ」が新たなＳＳの値として選択される。
つぎに、プロセッサ３３は、ステップＳ６において取得した撮像情報に含まれているシャッタ速度ＳＳ（ＡＥ処理によって得られたシャッタ速度）と、前述した処理によって得られた新たなＳＳとを比較し、より速度が速い方のＳＳの値を、最終ＳＳ値とする。例えば、新たなＳＳの値が「１／１２５ｓｅｃ」であり、撮像情報に含まれているシャッタ速度ＳＳの値が「１／６０ｓｅｃ」である場合には、「１／１２５ｓｅｃ」が最終ＳＳ値として選択される。
一方、新たなＳＳの値が「１／１２５ｓｅｃ」であり、撮像情報に含まれているシャッタ速度ＳＳの値が「１／２５０ｓｅｃ」である場合には、「１／２５０ｓｅｃ」が最終ＳＳ値として選択される。新たなＳＳ値よりも、撮像情報に含まれているシャッタ速度の方が速い場合には、手ぶれの発生は防止されると考えられるからである。
以上のようにして算出されたシャッタ速度ＳＳ値（またはＴｖ値）は、プロセッサ１３に供給される。

ステップＳ１１では、プロセッサ１３は、ステップＳ１０において求めたシャッタ速度ＳＳに基づいて、撮像処理を実行する。具体的には、プロセッサ１３は、以下に示す式（３９）に対して、ステップＳ１０で求めた最終シャッタ速度ＳＳを代入するとともに、ステップＳ３のＡＥ処理によって得た露光量Ｅｖを式（３９）に代入し、感度値ＩＳＯまたは絞り値Ａｖを決定する。例えば、「絞り優先」が設定されている場合には、ユーザによって設定された絞り値Ａｖを用い、式（３９）に基づいて感度値ＩＳＯを求める。また、ユーザによって感度値ＩＳＯが設定されている場合には、設定された感度値ＩＳＯを用いて、絞り値Ａｖを求める。

そして、プロセッサ１３は、求めたこれらの撮像情報（絞り値Ａｖ、シャッタ速度ＳＳ、および、感度値ＩＳＯ）に基づいて、撮像部４０の設定を行った後、撮像を開始する（図７の「撮像開始」参照）。より詳細には、プロセッサ１３は、絞り値Ａｖに基づいて撮像部４０の絞りを設定し、シャッタ速度ＳＳに応じてシャッタ速度を設定し、感度値ＩＳＯに応じて感度を設定する。そして、図７のＳＯにおいて、撮像を開始し、得られた画像データに対してデータ圧縮処理等を施した後、得られた圧縮画像データを、格納部１４に格納する。

以上に説明したように、本発明の実施の形態では、許容できる回転角度α’と、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂによって検出された角速度ＡｎｇｌｅＶｅｌ＿ＸおよびＡｎｇｌｅＶｅｌ＿Ｙに基づいて、式（３８）によって最適なシャッタ速度ＳＳを求め、求めたシャッタ速度ＳＳに応じて撮像を行うようにした。このため、ｓｉｎおよびｃｏｓ等の演算をする必要がないので、安価なプロセッサでも高速に演算処理を実行することができる。また、ルックアップテーブルを設ける必要がないので、格納部３４の必要な記憶容量を削減することができる。

また、本実施の形態では、手振れ防止処理の結果として得られたシャッタ速度ＳＳに基づいて、絞り値Ａｖおよび感度ＩＳＯを再計算するようにしたので、露光量を変えずに、手振れを防止することができる。

（Ｄ）変形実施の形態
以上、実施形態に基づいて本発明を説明したが、本発明は、これに限定されるものではない。例えば、上記実施形態では、２つのジャイロセンサを設け、これらによって検出されたＸ軸およびＹ軸周りの角速度に基づいて、シャッタ速度ＳＳを求めるようにしたが、Ｘ軸またはＹ軸のいずれかのジャイロセンサのみを設け、このジャイロセンサの出力に応じてシャッタ速度を求めるようにしてもよい。例えば、Ｘ軸ジャイロセンサのみを設ける場合には、以下の式（４０）に基づいて、シャッタ速度ＳＳを算出することができる。

また、ジャイロセンサを１つだけ設けるとともに、このジャイロセンサをＸ軸およびＹ軸に対して所定の傾きを有するように配置してもよい。そのような場合には、Ｘ軸およびＹ軸の双方に対する回転角度を検出することができるので、検出された角速度に基づいてシャッタ速度ＳＳを算出することができる。

また、以上の実施の形態では、Ｘ軸およびＹ軸周りの回転速度が略同じであると仮定したが、Ｘ軸およびＹ軸周りの回転速度が異なる場合には誤差が生じる。図９は、Ｘ軸とＹ軸周りの回転速度の比率を適宜変更した場合に発生する誤差の様子を示す図である。この図の横軸は、回転速度の比率を変更した場合における各サンプルを示している。また、縦軸は、近似計算を行わない場合を１００％とした場合の誤差率を示している。シミュレーションによれば、Ｘ軸およびＹ軸の回転速度の比率が大きい場合ほど、誤差率が大きくなることが判明した。
そこで、以下の式（４１）に示すように、ＳＳを求める式に係数ｋを導入し、Ｘ軸およびＹ軸の回転速度の比率が１に近い場合（Ｘ軸の回転速度／Ｙ軸の回転速度が１に近い場合）はｋを“１”に設定し、Ｘ軸およびＹ軸の回転速度の比率が１から乖離する場合には角速度の比率に応じてｋを“１”より小さい値に設定する。

図１０は、以上のような方法に基づくシミュレーション結果を示している。図１０の場合では、図９の場合に比較して、誤差が少なくなっている。このように、回転速度に比率に応じてｋの値を設定することにより、誤差の発生を抑えることができる。

また、式（４１）におけるｋの値を調整するのではなく、例えば、α’およびβ’のうち、値が小さい方を選択するようにしてもよい。すなわち、α’およびβ’を計算し、例えば、α’＜β’である場合には、式（３８）に基づいてシャッタ速度ＳＳを計算し、逆に、α’＞β’である場合には、式（３８）のα’をβ’に置換した式に基づいてシャッタ速度ＳＳを計算するようにしてもよい。

また、以上の実施の形態では、シャッタ速度ＳＳを算出し、これを必要に応じてＴｖ値に変換するようにしたが、Ｔｖ値への変換は、プロセッサ１３側で行ってもよいし、プロセッサ３３側で行ってもよい。また、式（３９）に基づいて、絞り値Ａｖおよび感度値ＩＳＯを求める処理は、プロセッサ１３側で行ってもよいし、プロセッサ３３側で行ってもよい。プロセッサ３３側で行う場合には、プロセッサ１３の負担を軽減することができる。また、プロセッサ１３側で行う場合には、プロセッサ３３の構成を小型化することができる。

また、以上の実施の形態では、手ぶれ防止部３０にプロセッサ３３を設け、このプロセッサ３３によって、手ぶれ防止処理を実行するようにしたが、プロセッサ１３にアナログ−デジタル変換部３２ａおよびアナログ−デジタル変換部３２ｂからの出力を供給し、プロセッサ１３が格納部１４に格納されているプログラムに基づいて、手ぶれ防止処理を実行するようにしてもよい。そのような構成によれば、プロセッサ３３を省略することにより、回路構成を小型化することができる。

また、手ぶれ防止部３０をワンチップの回路構成とし、このような手ぶれ防止部３０を撮像装置に組み込むことにより、手ぶれの発生を防止することができるようにしてもよい。さらに、Ｘ軸ジャイロセンサ３１ａおよびＹ軸ジャイロセンサ３１ｂは、手ぶれ防止部３０から独立した構成（外付け）としてもよいし、内蔵する構成としてもよい。

また、以上の説明においては、手ぶれ防止装置の機能を実現するための制御プログラムが格納部３４に記憶されている場合について述べたが、この制御プログラムをＲＡＭ、ＲＯＭ等の半導体記録媒体、ＦＤ、ＨＤ等の磁気記憶型記録媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記録媒体、ＭＯ等の磁気記録型／光学的読取方式記録媒体に記録することが可能であり、この記録媒体は、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記録媒体であれば、どのような記録媒体であってもよい。そして、これらの記録媒体に記録された制御プログラムをプロセッサ３３によって読み取って実行することにより、さらに、撮像装置１０において、通信インタフェースとしてのネットワークインタフェースを設け、このネットワークインタフェースからネットワークを介して制御プログラムをダウンロードして実行することにより、上述した機能を実現する構成としてもよい。

実施形態に係る撮像装置の構成を示すブロック図である。 手ぶれ防止部の詳細な構成例を示す図である。 撮像素子を有する撮像部の詳細な構成例を示す図である。 手ぶれによる対象点の撮像素子上における移動の様子を示す図である。 撮像モデルを示す概念図である。 実施形態において実行される処理の一例を示すフローチャートである。 ユーザの操作と処理の流れの対応関係を示す図である。 シャッタ速度とＴｖ値の関係を示す図である。 近似計算における誤差率を示す図である。 式（４１）における誤差率を示す図である。

符号の説明

１０…撮像装置、１１…撮像素子、１２…輝度検知部、１３…プロセッサ、１４…格納部、１５…ユーザ・インタフェース、３０…手ぶれ防止部、３１ａ…Ｘ軸ジャイロセンサ（ジャイロセンサ）、３１ｂ…Ｙ軸ジャイロセンサ（ジャイロセンサ）、３２ａ…アナログ−デジタル変換部（入力手段）、３２ｂ…アナログ−デジタル変換部（入力手段）、３３…プロセッサ（決定手段、算出手段）、３４…格納部、４０…撮像部、４１…筐体、４３…レンズ。

Claims (10)

1. 撮像素子と、前記撮像素子の軸周りの角速度を検出するジャイロセンサと、を有する撮像装置によって画像を撮像する際に手ぶれを防止する手ぶれ防止装置において、
   前記撮像素子によって画像を撮像する際に、前記ジャイロセンサから出力される検出信号の入力を受ける入力手段と、
   前記撮像素子の露光時において前記軸周りに許容される手ぶれ回転角を決定する決定手段と、
   前記決定手段によって決定された前記許容される手ぶれ回転角を、前記入力手段を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出手段と、
   を有することを特徴とする手ぶれ防止装置。
2. 請求項１記載の手ぶれ防止装置において、
   前記ジャイロセンサは、前記撮像素子の横方向または縦方向の軸周りの角速度を検出し、
   前記決定手段は、前記横方向または縦方向の軸周りに許容される手ぶれ回転角を決定し、
   前記算出手段は、前記横方向または縦方向の軸周りに許容される手ぶれ回転角を、前記横方向または縦方向の軸周りの対応する角速度で除算して得られる値に基づいてシャッタ速度を算出する、
   ことを特徴とする手ぶれ防止装置。
3. 請求項２記載の手ぶれ防止装置において、
   前記決定手段は、前記撮像素子に投影された被写体の任意の対象点の前記撮像素子上における前記横方向または縦方向に対する許容される移動量に、前記横方向または縦方向の画素サイズを乗算して得られる値を、前記撮像素子が有する光学系の焦点距離で除算して求まる値に基づいて前記許容される手ぶれ回転角を決定する、
   ことを特徴とする手ぶれ防止装置。
4. 請求項３記載の手ぶれ防止装置において、
   前記ジャイロセンサは、前記撮像素子の前記横方向および縦方向のそれぞれの軸周りの角速度を検出し、
   前記決定手段は、前記横方向および縦方向のいずれか一方に対して許容される回転角を許容される手ぶれ回転角として決定し、
   前記算出手段は、前記横方向および縦方向のいずれか一方に対して許容される回転角を、前記横方向および縦方向の角速度の平均値によって除算した値に基づいてシャッタ速度を算出する、
   ことを特徴とする手ぶれ防止装置。
5. 請求項４記載の手ぶれ防止装置において、
   前記算出手段は、前記横方向および縦方向のいずれか一方に対して許容される回転角を、前記横方向および縦方向の角速度の平均値によって除算した値に対して、前記横方向および縦方向の角速度の比率に対応する所定の値を乗算して得られた値に基づいてシャッタ速度を算出する、
   ことを特徴とする手ぶれ防止装置。
6. 請求項３乃至５のいずれか１項記載の手ぶれ防止装置において、
   前記決定手段は、前記撮像素子が有する光学系がズーム調整を行った場合には、調整後における光学系の焦点距離に基づいて前記許容される手ぶれ回転角を決定する、
   ことを特徴とする手ぶれ防止装置。
7. 請求項３乃至６のいずれか１項記載の手ぶれ防止装置において、
   前記決定手段は、前記撮像素子によって撮像する画像の解像度が変更された場合には、変更後における解像度によって定まる前記画素サイズに基づいて前記許容される手ぶれ回転角を決定する、
   ことを特徴とする手ぶれ防止装置。
8. 請求項１乃至７のいずれか１項記載の手ぶれ防止装置を有する電子機器。
9. 撮像素子と、前記撮像素子の軸周りの角速度を検出するジャイロセンサと、を有する撮像装置によって画像を撮像する際の手ぶれを防止する手ぶれ防止方法において、
   前記撮像素子によって画像を撮像する際に、前記ジャイロセンサから出力される検出信号の入力を受ける入力ステップと、
   前記撮像素子の露光時において前記軸周りに許容される手ぶれ回転角を決定する決定ステップと、
   前記決定ステップにおいて決定された前記許容される手ぶれ回転角を、前記入力ステップにおいて入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出ステップと、
   を有することを特徴とする手ぶれ防止方法。
10. 撮像素子と、前記撮像素子の軸周りの角速度を検出するジャイロセンサと、を有する撮像装置をコンピュータにより制御し、画像を撮像する際の手ぶれを防止する手ぶれ防止プログラムにおいて、
    前記撮像素子によって画像を撮像する際に、前記ジャイロセンサから出力される検出信号の入力を受ける入力機能と、
    前記撮像素子の露光時において前記軸周りに許容される手ぶれ回転角を決定する決定機能と、
    前記決定機能によって決定された前記許容される手ぶれ回転角を、前記入力機能を介して入力された前記検出信号によって求められる角速度で除算して得られる値に基づいてシャッタ速度を算出する算出機能と、
    を前記コンピュータに実行させることを特徴とする手ぶれ防止プログラム。

Images