JP2014202793A - 撮像装置及び撮像装置の像ブレ補正方法 - Google Patents

Abstract

【発明の課題】 撮像装置が傾いた状態で流し撮りが行われても適切に手ブレ補正を制御し、流し撮り時に意図しない像ブレを生じることがない撮像装置、及び撮像装置の像ブレ補正方法を提供する。
【解決手段】 流し撮り制御部７６は、ヨー方向の角速度を検出する第一の角速度検出部８ａと、ピッチ方向の角速度を検出する第二の角速度検出部８ｂとの両方の角速度出力によって、撮像装置の流し撮り状態を検出し、前記ヨー方向角速度と、ピッチ方向角速度の比率から、流し撮り方向に傾きがあるかを検出し
上記流し撮り制御部７６によって、撮像装置の流し撮り状態が検出され、かつ流し撮り方向が、水平または垂直方向に対して、傾きが無いと判定された場合は、流し撮りを検出した方向の像ブレ補正を停止するように、像ブレ補正部７７へ出力を行い、 傾きありと判定された場合は、ヨー方向及びピッチ方向との像ブレ補正双方は、停止を含む、静止状態で撮影された場合に行われる像ブレ補正制御とは、異なる制御出力を行う。
【選択図】 図６

Description

本発明は、撮像装置において手ブレに起因した像ブレによる画質劣化を補正する像ブレ補正を行う撮像装置及び、該撮像装置の像ブレ補正方法に関する。

近年手ブレ補正機能を搭載した、カメラが一般的になり、手持ち撮影において、特に注意しなくても、像ブレの無い良好な撮影画像を撮影できるようになった。その一方で、流し撮りという撮影方法がある。 これは、動く被写体に合わせて、カメラを水平方向、または垂直方向に振りながら撮影することで、被写体をブレなく撮影し、背景がながれてにじむことにより、被写体が際立ち、動きを表現できる撮影方法である。一般に、カメラを水平方向に振ることをパンニング操作、垂直方向に振ることをチルティング操作と呼ばれている。

しかしながら、手ブレ補正を搭載したカメラで手ブレ補正機能を有効にしたまま流し撮りを行った場合、パンニング、チルティング等カメラを振る撮影操作時に、カメラが手ブレしていると誤って検出して 像ブレを補正してしまう問題がある。この問題によって、撮影画像は、背景のブレが緩和されるが、被写体に像ブレが生じた画像が撮影されてしまう。

こうした問題に対応するために、従来技術では例えば 特許文献１に開示されている技術がある。この技術によれば、手ブレを検出してブレ検出信号を出力するブレ検出手段と、手ブレを補正する補正光学系と、ブレ検出手段からのブレ検出信号に基づいて、補正光学系を駆動するブレ駆動部とを有し、ブレ検出手段からのブレ検出信号の高周波成分を取り除くことにより流し撮りであるか否かを判定する流し撮り判定手段と、流し撮り判定手段によって流し撮りであると判定されたときにブレ検出信号を遮断する切換手段を含むことで、流し撮り中は自動で手ブレ補正を停止し、流し撮り操作を誤補正しないようにするものである。

特開平５−２１６１０４号公報

特許文献１のカメラでは、カメラの水平方向にパンニング操作された場合や、垂直方向にチルティング操作された場合は問題ないが、カメラの振る方向が、斜め方向に振られたり、カメラが水平から傾いた状態で、パンニング、またはチルティング操作されたりした場合には、以下に述べる問題が生じてしまう。

カメラが僅かに水平に対して傾いた状態でパンニングされた場合、パンニング操作に伴う角速度はヨー方向だけでなく、ピッチ方向にも僅かに生じる。
この場合、パンニングによる流し撮りを検出し、水平方向の手ブレ補正は停止するが、垂直方向は停止せず、誤ってブレを生じてしまう場合がある。

本発明は、上記問題に着眼しなされたものであり、カメラが傾いた状態で流し撮りが行われても、流し撮り方向の傾きを検知し、適切に手ブレ補正を制御することで、誤ってブレを生じることがない手ブレ補正装置及び、撮像装置を提供する。

上述の課題を解決するために、本発明の撮像装置は、
被写体像を結像する光学系と、
結像された被写体像を光電変換し、映像データに変換する撮像素子と、 上記撮像素子の結像面に対して、ヨー方向の角速度を検出する第一の角速度検出手段と、 上記撮像素子の結像面に対して、ピッチ方向の角速度を検出する第二の角速度検出手段と、 前記第一及び、第二の角速度検出手段の検出に基づいてブレ補正量を算出するブレ検出手段と、前記補正量を打ち消す方向に、前記光学系または、撮像素子のどちらかを駆動するブレ補正手段と、 前記ヨー方向角速度と前記ピッチ方向角速度から流し撮りを検出する流し撮り検出手段と、 前記ヨー方向角速度と、ピッチ方向角速度の比率から、傾きがあるかを検出する傾き検出部と、を有するものであって、 上記流し撮り検出手段によって、流し撮りが検出され、かつ、上記傾き検出部によって、流し撮り方向が、水平または垂直方向に対して、傾きが無いと判定された場合は、流し撮りを検出した方向の補正を停止し、
傾きありと判定された場合は、通常のブレ補正制御とは異なる制御を行うことを特徴とする。

また、本発明の撮像装置の像ブレ補正方法は
撮像装置に対して、ヨー方向の角速度を検出する第一の角速度を検出する 第１角速度検出ステップと、 前記撮像装置に対して、ピッチ方向の角速度を検出する第二の角速度を検出する第２角速度検出ステップと、 前記第一及び、第二の角速度検出ステップでの検出結果に基づいてブレ補正量を算出するブレ検出する補正量演算ステップと、前記補正量を打ち消す方向に、前記光学系または、撮像素子のどちらかを駆動させるブレ補正ステップと、 前記第１角速度ステップと前記第２方向角速度ステップとの検出結果から、該撮像装置が流し撮り状態であるかを検出する流し撮り検出ステップと、 前記第１の角速度と、第２の角速度の比率から、流し撮り方向の傾きがあるかを検出する傾き検出ステップと、を有するものであって、上記ブレ補正ステップは、 上記流し撮り検出ステップにより流し撮りが検出され、かつ、上記傾き検出部によって、該撮像装置の流し撮り方向が、第１角速度または第二角速度方向に対して、傾きが無いと判定された場合は、流し撮りを検出した方向の補正を停止させ、 傾きありと判定された場合は、通常のブレ補正制御とは異なる制御ステップを行うことを特徴とする。

本発明の撮像装置、及び撮像装置のブレ補正方法によれば、
撮像面に発生するヨー方向の角速度と、ピッチ方向の角速度から流し撮りが行われているかと、角速度検出方向に対するカメラの振られている方向に傾きがあるかを検出し、傾がない場合は、カメラを流している方向は補正が停止し、流している方向と直交する方向のブレは補正し、傾いているときは別な制御に切り替えるため、横方向や縦方向の流し撮りの成功率を向上し、傾きがある場合の流し撮りの失敗を防止できる。

手ぶれ時カメラ本体の姿勢が移動する方向と座標定義を示した図である 流し撮り撮影時に検出される 振る回転方向の角速度出力の時間変化を示した図である。 流し撮り撮影時、パンニング、チルティング角の移動変化の時間変化を示した図である。 流し撮り撮影時の、カメラが振られる方向と、水平方向−垂直方向からの傾きを示す図である 本発明のブレ補正装置の実施形態の一例とした、カメラの全体構成を示すブロック図である。 本発明の第一実施形態でのカメラにおいて ブレ補正マイコンの構成を示すブロック図である。 第一実施形態の、ブレ補正マイコン内にある、流し撮り制御部の構成を示すブロック図である。 第一実施形態での流し撮り検出の構成作用を示すブロック図である。 第一実施形態での、流し撮り方向の傾き検出の構成作用を示すブロック図 本発明の第一実施形態での、流し撮り制御の全体処理の流れを示すフローチャートである。 第一実施形態での、流し撮り検出の処理の流れを示すフローチャートである。 第一実施形態での、流し撮り検出時の傾き検出処理の流れを示すフローチャートである。 第一実施形態での、流し撮り検出の補正角速度算出処理の流れを示すフローチャートである。 本発明の第二実施形態でのカメラにおいて ブレ補正マイコンの構成を示すブロック図である。 本発明の第二実施形態でのカメラにおいて、ブレ補正マイコン内のHPF処理リセットに伴う、角速度センサ出力変化を示す図である。 （図１５ａ：流し撮り開始時、１５ｂ：流し撮り終了時） 本発明の第二実施形態における傾き検出の作用を示す 制御フローチャートである。 本発明の第三実施形態でのカメラにおいて ブレ補正マイコンの構成を示すブロック図である。 本発明の第三実施形態でのカメラにおいて、ブレ補正マイコン内にある、流し撮り制御部での基準角速度検出の構成を示すブロック図である。 本発明の第三実施形態のカメラにおいて、角速度センサ出力のHPF演算の入出力変化の様子を示した図である。 本発明の第三実施形態のカメラにおいて、角速度基準値を算出する作用を示す図である。

以下本発明の実施形態について、図面を参照して詳細に説明する。
なお、実施形態では、撮像装置の一例としてブレ補正機能を含むカメラを例に説明する。
なお、ここで実施形態を説明するにあたって、まず、カメラ本体に生じる動きの方向について定義する。

図１はカメラ本体を示しており、カメラ本体に対して紙面上下方向をＹ方向とする。これは、被写体像が結像される面（撮像面）の方向にも対応する。また、便宜上ここでは、上方向を＋方向への移動量とし、下方向を−への移動量とする。 同様に左右方向をＸ方向とし、紙面 カメラに向かって右方向が＋方向、左方向が−方向とする。

カメラ本体に対して、被写体からの入射される光の光軸方向は、Ｚ方向とし、被写体側を＋方向、その逆を−とする。 また、カメラ本体に対して、Ｙ方向を軸とした回転運動の方向をヨー方向、Ｘ方向を軸とした回転運動の方向をピッチ方向、Ｚ方向を軸とした回転運動方向をロール方向とし、図に示す各矢印の方向を＋方向の回転とし、その逆を−方向の回転とする。 なお、前記に示した方向の正負に関しては、後述する角速度センサの実装方向に依存するため、上記に図面１に示す定義に限定するものでは無い。

次に、図２から４を用いて本発明による撮像装置の要旨として、流し撮り時の運動の要旨を以下に説明する。

（流し撮り時のブレ補正作用）
次に、本発明の第一実施形態のカメラにおいて、流し撮り撮影時のブレ補正作用について説明する。 流し撮りに伴う、パンニング、またはチルティング操作により、カメラに生じる角速度は、図２のように、回転方向に偏りが生じる。

これに対して、通常の手持ち撮影では生じない角速度を閾値ＴＨとして設定し、検出した角速度が所定期間継続して閾値ＴＨを超えた場合は、流し撮りが開始されたと判定する。
図２ではｔ１において角速度が閾値ＴＨを超え、所定時間経過したｔ２において流し撮りが開始されたと検知する。

その後、角速度がゼロクロスにより流し撮りが終了したと検出する。つまり、図２においてｔ２〜ｔ６までが流し撮り期間となる。 流し撮り期間中に撮影が行われると、露光開始ｔ４から所定時間さかのぼったｔ３の期間の角速度からカメラの傾きを検出する。

ここで、カメラの傾きとは、角速度の検出方向に対して、実際のカメラの振り方向との差となる角度である。 例えば、カメラを横に振った場合では、振り方向がヨー方向に対してどの程度ずれているかの角度に相当する。

ここでは、前述のｔ３からｔ４の間に検出された角度に基づいて、ｔ４からｔ５の露光期間における手ブレ補正の動作を決定する。 角速度検出方向と、カメラの振り方向が一致している場合には、振り方向と一致する方向の手ブレ補正を停止し、カメラの振り方向と直行する方向の手ブレ補正は動作させる。

また、角速度検出方向とカメラの振り方向にずれがあり、傾いていると判定した場合は、ヨー方向及び、ピッチ方向の両方向の補正を停止する。

（流し撮り時の傾き検出作用）
次に、カメラの流し撮り方向の傾きを検出する方法を説明する。
図３に、ヨー方向及び、ピッチ方向の角速度を、時間積分した結果の一例を示す。
これは流し撮り開始時のカメラの姿勢状態に対して、ヨー方向の回転角度、ピッチ方向の回転角度が、それぞれ時間変化する様子を示している。

角速度の検出方向に対して、傾いた状態でカメラが振られた場合、ヨー方向及びピッチ方向の両方向に角速度（ω-yaw ω-pitch）が発生する。ここで、流し撮り開始時からのヨー方向の回転角を、パンニング角度α、ピッチ方向の回転角をチルティング角βと定義する。
パンニング角度αは、下記数式１に示すようにヨー方向の角速度ω-yaw を時間積分した値である。同様に、チルティング角度βは、下記数式２に示すように、ピッチ方向の角速度ω-pitchを時間積分した値である。
(数１) α＝ ∫ω-yaw・dt
(数２) β＝ ∫ω-pitch・dt

パンニング角度αと、チルティング角度βの比率により、それぞれの角速度検出方向に対する、実際のカメラが振られる方向との角度ずれを求めることができる。
図４に示すように、ヨー方向からのずれ角度をθ-yaw とすると、以下数式３に示す関係式が成り立つ。
(数３) ｔａｎθ-_yaw ＝ β／α

同様にピッチ方向からのずれ角度をθ-pitch として以下関係が成り立つ。
(数４) ｔａｎθ-_pitch ＝ α／β
この検出した角度 θ-_yaw または θ-_pitch が所定の閾値を超えた場合はカメラが傾いて振られたと判定する。

次に、本発明の第一の実施形態を、図５から図９の図面を用いて詳しく説明する。
第一実施形態は、ブレ補正機能をもつカメラに適応する形態を例として説明する。
（第一実施例の構成）
まず、本発明の第１実施形態の構成を、以下に説明する。

図５は、本発明の流し撮り検出機能を搭載したカメラの全体構成を示すブロック図である。カメラ本体１は、光学系２と、フォーカルプレーンシャッター３と、撮像素子４と、駆動部５と、システムコントローラ６と、ブレ補正マイコン７と、角速度センサ８と、レリーズＳＷ９と、ＥＶＦ１１と、メモリカード１２によって構成される。

光学系２は、外部光軸方向からの光束を、撮像素子４の像面に、被写体像として結像する。フォーカルプレーンシャッター２は、撮像素子４の前面で開閉動作をすることで、撮像素子４を露光状態にしたり、遮光状態にしたりする。

撮像素子４は、システムコントローラ６からの指示に基づいて、表面に結像された被写体像を電気信号に変換する。この変換された電気信号は、システムコントローラ６によって映像信号として読み出される。

なお第１実施形態では、露光制御をフォーカルプレーンシャッター（機械式シャッター）を例に挙げたが、機械式シャッターに限らず、上述の撮像素子４へ制御信号を与えて露光制御する、電子シャッターを用いたものであってもよい。

システムコントローラ６は、前述の映像信号の読み出しの他に、カメラ全体の機能に関わる様々な制御を行うものである。なお本願説明では、システムコントローラ６の機能と作用は、本件に関連のある制御のみについて記載する。

まず、撮像素子４より読み出した映像信号は、ＥＶＦ１１に表示可能な形式に変換し、出力する。また、撮影時に読み出された映像信号は、撮影画像として、メモリカード１２に記録を行う。前述の制御は、レリーズＳＷ９からの検出に基づいて行われる。

以上が、システムコントローラ６が制御するカメラの基本機能に関わる部分である。
その他、本発明の主要な構成部分であるブレ補正マイコン７と通信を行い統括した制御を行う、詳細は後述する。

ＥＶＦ１１は、システムコントローラ６から出力された映像を、撮影者が視認できるように画像表示するものであり、カメラの表示部である。この表示部は、例えば液晶表示デバイス等の表示デバイスを用いている。

レリーズスイッチＳＷ９はユーザが撮影操作を行う際の動作である。このレリーズスイッチは、半押し（１ｓｔレリーズ）及び、全押し（２ｎｄ）レリーズ操作となる２段階の操作状態を区別して検出することが可能である。このレリーズスイッチＳＷ９は操作検出された信号をシステムコントローラ６に出力する。メモリカード１２は、撮像装置本体へ着脱可能な不揮発性のメモリであり、撮影画像が記録される。

次に、本発明の主要な構成要素について説明する。
駆動部５は、撮像素子４を支持し、かつ この撮像素子４の位置を、Ｘ方向（水平方向）及びＹ方向（垂直方向）に駆動する。この駆動部５の動作は、ブレ補正マイコン７からの操作指示出力に基づいて撮像素子４を駆動させるものである。

角速度センサ８は、カメラの姿勢変化に伴う、回転運動を検出するセンサであり、回転運動時の角度の時間変化を角速度としてブレ補正マイコン７に出力する。なお、図示されている角速度センサ８は、複数の異なる回転方向の運動を検出するセンサ（８ａ、８ｂ）で構成されている。それぞれの角速度センサ８ａ、８ｂとも同じものであるが、実装方向を変えることにより、それぞれ異なる軸の回転運動を検出している。

ブレ補正マイコン７は、システムコントローラ６からの指示に基づいて、角速度センサ８の出力から、撮像素子４に結像面が移動する量としてブレ量を算出する。そして、駆動部５に対して検出したブレ量とは反対方向に駆動指示を出力する。この駆動指示によって、駆動部５が、撮像素子４を、像面でのブレを打ち消す方向に駆動されて、撮影画像に発生するブレを防止することができる。

図６は、ブレ補正マイコン７の内部の構成を示すブロック図である。ブレ補正マイコン７は、ＣＰＵ７０と、ＡＤＣ７１と、ＳＩＯ７２と、ドライバ７３と、で構成され、さらに、ＣＰＵ７０内で動作するプログラム処理により構成される機能である基準算出７４と、減算部７５と、流し撮り制御部７６と、ブレ補正部７７と、通信部７８とよりなる。

ＡＤＣ７１は、外部角速度センサ８の、角速度検出出力信号であるアナログ信号を、デジタル信号に変換する。なお、この変換処理は、所定のサンプリングレートに対応する時間周期毎に行う。例えば、サンプリングレートを１ｋＨｚとして、１ｍｓ間隔で変換を行う。

このサンプリングレートは、特にこの値に限定するものではなく、像ブレを検出する上で必要な周波数帯域が確保できる条件を満たすように設定すればよい。一般的にサンプリングレートをあげることで、より早い時間変化を伴う角速度の検出ができるが、その分ブレ補正マイコン７は、高速で処理する必要があり、処理負荷は大きくなる。このため、像ブレ補正装置が必要とする性能に合わせて、最適なレートを設定すれば良い。

ＳＩＯ７２は外部デバイスとシリアルインタフェースで通信を行う通信部である。これは、システムコントローラ６とコマンドのやり取りを行う通信に使用される。 ドライバ７３は、ＣＰＵ７０により算出された補正量に基づいて、駆動部５を駆動するための信号を出力する。 ＣＰＵ７０は、角速度センサ８の検出結果より、内部プログラムによりブレ補正量を算出する。

以下にブレ補正量を算出する作用ステップを説明する。
まず、デジタル信号として入力された角速度は、基準算出部７４により、角速度の基準値を算出する。 この基準値とは、カメラが静止した状態で検出される、角速度センサ検出出力に基づくデジタル値であり、本実施形態では、所定期間の時間平均値を算出して、基準値とする。

その後、角速度から算出した基準値を、減算部７５で減算して、符号をもつ角速度データとなる。この角速度データの符号は、検出された角速度の回転方向として扱うことができる。

次に、流し撮り制御部７６は、符号化された角速度を基に、流し撮りを検出し、検出結果に応じて制御された角速度を出力する。 ブレ補正部７７は、まず、流し撮り検知部から出力された角速度データを積分演算して、流し撮りの角度変化を求める。さらに、光学系の焦点距離情報から、撮像素子４の撮像面に生じる像ブレ量を算出する。
この像ブレ量算出方法は、従来さまざまな算出式が提案、実施されており、従来技術を用いればよいので、ここでは詳細は説明しない。

ブレ補正部７７で検出された補正量は、ドライバ７３を経由して駆動部に伝達される。
図７は流し撮り制御部の詳細を示すブロック図である。流し撮り制御部は、流し撮り検出部７６１と、傾き検出部７６２と、角速度制御部７６３とで構成される。

まず、前述の角速度センサ８ａ、８ｂが検出し、ＡＤＣ部でデジタル変換された角速度は、ヨー方向の角速度はＹａｗ流し撮り検出７６１ａで、ピッチ方向の角速度は、Ｐｉｔｃｈ流し撮り検出７６１ｂで、それぞれ流し撮り操作が行われているかを検出する。
この流し撮り操作の検出作用の詳細は、後で説明する。

傾き検出部７６２では、ヨー方向とピッチ方向の両方の角速度の比率から、流し撮り方向傾きを検出し、流し撮り中かの検出状況と合わせて傾き検出信号を出力する。
この傾き検出作用の詳細については、後述する。

角速度制御部７６３では、傾き検出７６２からの出力に基づいて、角速度を入力値のまま出力するか、出力を０とするかを切り替える。 ここで、出力を０とする場合を選択された場合は、姿勢変化に伴う像ブレ量が無い状態と判断されるため、後段のブレ補正部７７で算出される補正量は時間変化せずに、補正を停止して停止位置で保持することになる。

図８は、流し撮り検出の詳細を示すブロック図である。この流し撮り検出処理の構成は、移動平均部７６１１と、閾値比較部７６１２と、計時部７６１３と、ゼロクロス検出部７６１４と、流し撮り検出フラグ７６１５と、リミット検出部７６１６とで構成される。

まず、入力された角速度は、移動平均部７６１１で直前の複数回のサンプリング値をもとに平均値が算出される。この算出された角速度の平均値が、所定の閾値を超えたかを確認する。 移動平均部７６１１の処理は、シャッター衝撃など、角速度センサ出力に対して様々な外的要因によるノイズがある場合でも、ノイズを除去して、本来の姿勢変化に伴う検出信号を、安定して検出を行うことができる。

この所定の閾値に導入する値は、例えば、姿勢変化の角速度が１０ｄｅｇ／ｓｅｃ程度と、通常の手持ち撮影では発生しない程度の値を設定する。この値は、固定値でも良いし、光学系の焦点距離などにより変更することで、撮影画角に適した検出を行うことができる。

次に、計時部７６１３では、閾値比較７６１２での判定結果が、流し撮り状態に対応する角速度の閾値を超えたと判定した期間を計測する。この計測期間が予め決められた所定の期間を超えた場合には、流し撮り開始を検出したことを出力する。

一方で、ゼロクロス検出７６１４では、移動平均７６１１により平均化された角速度がゼロクロスしたかを判定する。ここで、ゼロクロスの判定は、角速度の符号が反転したか、若しくは、値が０になったかのどちらかの状態を検出したときに、ゼロクロスしたと判定する。

流し撮り検出フラグ７６１５は、撮像装置が、流し撮り状態であるか否かの状態を示す情報を出力するものである。計時部７６１３から出力される流し撮り開始検出により流し撮り検出フラグを立て、ゼロクロス検出７６１４のゼロクロス検出により流し撮りフラグをクリアする。 つまり、流し撮りフラグが立っている期間が流し撮り中であると判断される。

リミット検出７６１６は、流し撮りフラグが立っている期間を計時し、予め設定した所定の期間を超えた場合は、流し撮り検出フラグ７６１５をクリアする。
こうすることで、例えば、基準算出７４において、誤った基準を算出した場合に、流し撮りと誤検知した状態が継続されることを防止することができる。

図９は、傾き検出７６２の詳細を示すブロック図である。この傾き検出７６２は、積分部７６２１と、論理和７６２２と、傾き判定７６２３とで構成される。
角速度センサ出力から、流し撮り検出部によって、ヨー方向または、ピッチ方向どちらかの流し撮りが検出された場合、積分部７６２２ａでヨー方向の角速度を、積分部７６２２ｂでピッチ方向の角速度を、それぞれ所定のサンプリング周期毎に、積分演算をする。

この積分演算は、一般的には、所定のサンプリング周期毎に、検出された角速度データを逐次積算して算出するものであるが、積分演算は直前数サンプルの角速度に限って行っても良い。この場合、積分に必要なデータメモリや演算処理回数等、演算処理にかかるリソースを削減することができる。

傾き判定７６２３では、（式１）及び（式２）の関係から、以下判定式（数式５、６）に基づいて、流し撮り方向の傾きが、所定の角度θｔｈを超えているかを判定する。
(数５) ｜α｜ ×ｔａｎθｔｈ ＜ ｜β｜
(数６) ｜β｜×ｔａｎθｔｈ ＜ ｜α｜

θｔｈを角度の閾値とすると、上記（数式５）及び（数式６）が成立する場合、傾きがあると判定する。 また、ヨー方向が優位に振られている場合は、（数式５）のみで判定ができ、ピッチ方向が優位に振られている場合は（数式６)のみで判定が可能である。上記 両方向のうち、どちらに優位に振られているかは、パンニング角度αとチルティング角度βとのそれぞれ絶対値での大小比較を行い、大きいほうが優位であると判定できる。

さらに、上述の式３、及び式４の判定に伴う演算では、検出角度の閾値θｔｈに対応する、ｔａｎθの値を、２のべき乗に反比例する値（つまり、tanθth＝１／２ｎ (ｎ：１以上の整数))となるように設定すれば、傾き判定時、（数式５）（数式６）の右辺に対応する演算処理は、パンニング角α、チルティング角βがデジタル値であるため、乗算に対応する演算は、この双方の角度のデジタル値を、ｎビットシフトする演算で代用でき、乗算を行う必要が無いため演算負荷を低減できる。

例えば、ｔａｎθｔｈを１／１６となる角度を検出角度とした場合、約３．５７６°であり、（数式３）及び(数式４)では、角速度の積分値（α、およびβ）に対して、デジタル演算で右に４ビットシフトすればよい。

前述の判定条件での例では、検出角度のしきい値（θｔｈ）を１つの角度値に固定しているが、流し撮り時の角速度範囲に応じて、段階的に複数持たせても構わない。
この場合は、流し撮り時のＹａｗ、Ｐｉｔｃｈ方向での、それぞれの角速度を時間積分して算出されたパンニング角度α、及びチルティング角度βとを比較し、両者のの絶対値が大きいほうの角度の絶対値に基づいて、検出角度のしきい値を変更する。

上述の様に検出角度のしきい値を変更するのは、カメラを振る角速度が遅ければ、傾きによる誤補正が与える影響も小さくなる為である。 例えば、カメラを振る角速度を、高速、中速、低速の３段階の条件で検出して、傾き量を判断する場合、高速時は、検出角度のしきい値の正接値（ｔａｎθｔｈ）を１／３２、中速時の正接値を１／１６、低速時の正接値を１／８と変更することで、流し撮り撮影時でのカメラを振る角速度に合わせた傾き量の検出と判定ができる。

次に、本発明の制御の流れを、図１０〜図１３を基に説明する。
図１０は、本発明の第一実施形態の撮像装置での、流し撮り撮影時の像ブレ補正の制御作用の全体を示すフローチャートである。まず、Ｙａｗ、およびＰｉｔｃｈ方向角速度センサ８ａ、８ｂが検出したそれぞれの角速度出力を、ブレ補正マイコン７内の、ＡＤＣ７１a、７１ｂによって、デジタル値に変換されたヨー方向及び、ピッチ方向の角速度を取得する。この取得された角速度デジタル値を、８サンプル前から最新までのデータの平均値を算出する。（ステップＳ１）なお、上述では、平均演算処理時のサンプル数を８サンプルとしたが、これに特定されることなく、サンプル数は特に限定はしない。

次に、ステップＳ１の処理で 平均処理された角速度の値が、ゼロクロスしたかの検出を行う。（ステップＳ２）ここで、ゼロクロスとは、前回算出した角速度平均値と、今回算出した角速度平均値の符号が異なるか、今回の平均値が０となる場合は、ゼロクロスが発生したとして、ゼロクロスフラグを立てる。

ステップＳ２の処理で、ゼロクロスを検出するのは、流し撮り撮影中の角速度は、図２に示す角速度の時間変化のように、角速度の符号に偏りを生じるためであり、ゼロクロス検出の有無によって、流し撮り状況にあるか否かを判断するためである。

次のステップでは、流し撮りが開始されたかを判定する。（ステップＳ３）
ここで、流し撮り状態が検出された場合には流し撮りフラグを立てる。この処理の詳細については、図１１のフローチャートのサブルーチンを基に、後述で説明する。

次のステップは、流し撮りフラグをクリアする要因が発生していれば、流し撮りフラグをクリアする（ステップＳ４）。ここで、流し撮りフラグをクリアする要因は、ステップＳ２の処理結果より、ゼロクロスフラグが立っているか、ステップＳ３の処理結果に基づいて、流し撮り検出フラグが所定時間以上継続して立っている場合である。

この所定時間は、通常流し撮りを継続して行う時間よりも長い時間を設定する。
一般的に、流し撮り撮影での連続撮影時間は、長くても数秒程度であるため、例えば１０秒と設定することにより、流し撮り検出の上限を設定できる。

次のステップでは、取得された角速度データを所定サンプル保持する（ステップＳ５）。
例えば、リングバッファの構成で、最新の角速度から、所定サンプル分のデータを順次保持し、更新していくものである。

次のステップでは、カメラが流し撮り状態を検出中か（ステップＳ６）と、カメラの状態（ステップＳ７）を確認し、流し撮り検出中で 流し撮り補正ありの場合は、ステップＳ８の処理に移行する。そうでない場合は、補正をＸ方向、及びＹ方向との両方行う設定とする。（ステップＳ１０）

流し撮りフラグが立っていて、カメラ状態が、流し撮り補正の場合は、補正開始１回目の処理かを判定し（ステップＳ８）、補正開始時は傾き検出を行う。（ステップＳ９）傾き検出についての詳細な作用は、後で説明する。 その後、補正角速度を算出して（ステップＳ１１）、流し撮り制御処理を終了する。

次に、流し撮り検出処理の詳細について、図１１を基に制御フローを説明する。
ここで、すでに、流し撮りフラグが立っている場合は、本処理は実施せずに、次のステップに移行する。（ステップＳ３１）

ステップの判定で、流し撮りフラグが立っていない場合は、角速度が閾値を超えたかを判定し（ステップＳ３２）、超えている場合は、閾値が超えた期間を計時するカウンタをカウントアップし（ステップＳ３３）、超えていない場合は前述のカウンタを０にする。（ステップＳ３４）
ここで、このカウンタが、所定の値を超えていない場合は、そのまま流し撮り検出処理を終了する。一方、所定の値を超えている場合は（ステップＳ３５）、流し撮り検出フラグをセットし（ステップＳ３６）、カウンタをクリアする。（ステップＳ３７）

次に傾き検出処理の詳細について、図１２を基に説明する。 本処理は、補正開始時つまり撮影開始時の最初の１回目に行われる。 まず、ステップＳ５で保持した角速度のバッファ中の値を積分する。（ステップＳ９１）

次に、ヨー方向に振られているか、ピッチ方向に振られているかを判定する。（ステップＳ９２）どちらに振られているかは、ステップＳ９１で積分したヨー方向の角速度の積分値（パンニング角α）と、ピッチ方向の角速度の積分値（チルティング角β）との絶対値を大小比較し、この絶対値が大きいほうに振られていると判定する。

このステップの判定の結果 流し撮りで振る主方向がヨー方向と判定した場合は、流し撮り方向について、ヨー方向に対して傾きがあるかを判定する。（ステップＳ９３）傾きの判定は、前述の（式５）に基づいて行う。また、ピッチ方向と判定した場合は、ピッチ方向に対して傾きがあるかを判定する。（ステップＳ９４）傾きの判定は、前述の（式６）に基づいて行う。

ここで、ヨー方向に振られて傾きが無い場合は、ヨー方向の補正停止フラグを立てる。（ステップＳ９５）ピッチ方向に振られて傾きがない場合は、ピッチ方向の補正停止フラグを立てる。（ステップＳ９７）傾きありと判定された場合は、ヨー方向及びピッチ方向ともに補正停止フラグを立てる。（ステップＳ８６） 前述の補正設定が終了したら傾き検出処理を終了する。

次に、補正速度算出処理の詳細を、図１３を基に説明する。
まず、ヨー方向の補正停止フラグを確認し（ステップＳ１１１）、補正をする場合は、入力された角速度を補正角速度として出力し（ステップＳ１１２）、補正をしない場合は、０を補正角速度として出力する。（ステップＳ１１３） 同様に、ピッチ方向の補正停止フラグを確認し（ステップＳ１１４）、補正をする場合は、入力された角速度を補正角速度として出力し（ステップＳ１１５）、補正をしない場合は、０を補正角速度として出力する。（ステップＳ１１６）

以上述べてきたように、角速度の検出方向に対して傾いた状態で振られて、流し撮りが行われた場合でも、傾きを検知して補正を停止する方向を決定するので、誤補正により撮影画像を悪化させることが無い。

（第二実施形態）
次に第二の実施形態について、図面を用いて構成と作用の説明をする。
なお、第２実施例の構成は、第一実施例の構成と重複する部分の説明は省略し、第一の実施形態と異なる部分についてのみ説明する。

図１４は、ブレ補正マイコン７の詳細を示す機能ブロック図である。第２の実施形態では、第一の実施形態に対して、ＨＰＦ７９が追加になっている。
ＨＰＦ７９は、角速度センサ８により検出され、ＡＤＣ７１ａ及びＡＤＣ７１ｂによりデジタルデータに変換された角速度に対して、直流成分を含む、低周波成分を抑圧する伝達特性のフィルタ処理演算を行うものである。具体的には、Ｙａｗ方向の角速度、Ｐｉｔｃｈ方向の角速度信号に対応して、それぞれＨＰＦ７９ａ及びＨＰＦ７２ｂによりフィルタ処理を行い、直流成分を含む低周波成分を抑圧してブレ補正部７７に入力される。

また、ＨＰＦ７９は、ＨＰＦ７９ａおよびＨＰＦ７９ｂの演算出力の初期値を、ゼロとなるように演算出力のリセット動作が可能である。これらのリセット動作は、流し撮り制御部７６により検出された検出結果とシステムコントローラ６からの指示に基づいて、リセットされる。

具体的なＨＰＦ７９のリセット動作は、流し撮り制御部７６によって流し撮り状態が検出されて補正停止信号が出力された状態で、システムコントローラ６から通信部７８を経由して補正開始指示を受信した場合と、流し撮り制御部７６により流し撮り検出状態から流し撮り未検出状態に遷移した場合つまり、補正停止信号が有効から無効に遷移したタイミングでＨＰＦ７９の出力が０になるようにリセットされる。
図１６は、本実施形態における傾き検出の制御フローである。
図１２と異なるのは、Ｓ９５、Ｓ９６、Ｓ９７の処理で、それぞれ対応する補正方向のブレ補正を停止したのに対して、本実施例では、それぞれ対応する補正方向のＨＰＦ７９をリセットしている。

図１５はＨＰＦ７９のリセットタイミングと角速度の関係を示すタイミングチャートである。図１５−ａは、流し撮り検出時での、ＨＰＦ７９の出力リセットが行われるタイミングを示している。 流し撮りが開始されると、検出角速度は、角速度が発生していない状態での値である基準値に対して一方に偏るが、このとき、ＨＰＦ７９の出力は、基準値に収束するように、検出角速度とに差が生じる。
流し撮りが検出された状態で、撮影操作が行われると、システムコントローラ６から補正開始指示が送信されて、補正開始となる。

この補正開始時に、ＨＰＦ７９は、演算出力が０になるようにリセットされる。
こうすることで、撮影操作が行われた時点での角速度に対する、現在の角速度の差分が補正されることになる。

一般に手もち撮影で、流し撮りでカメラを振る場合には、その回転角速度には揺らぎが生じる。このため、被写体の動きに合わせてカメラの移動角速度を一定になるように操作するのは高度な技術が必要である。一方で、車や電車などの被写体は、撮影の露光中など極めて短い期間では、速度変化は少なく、ほぼ一定である。

第２実施形態では、上述のように、撮影開始時の速度に合わせるように補正することで、撮像素子４の撮像面に生じる移動量を一定に保つことができる。これによって流し撮りが成功する確率を向上することができる。また、第２実施形態では、流し撮りを検出した方向の補正は、角速度センサ出力に対して、リセットされたＨＰＦ７９の出力に基づいて行われる。さらに、傾きがあると検出された場合は、ヨー方向及びピッチ方向ともに、ＨＰＦ７９がリセットされた出力値に基づいて補正される。

このため、結果として、カメラが傾いた状態で流し撮りが行われた場合や、斜め方向に流し撮りが行われた場合でも、補正が行われるので流し撮りの成功率が向上する。

図１５−ｂは、流し撮りが終了したときのＨＰＦ７９のリセット動作を行うタイミングを示している。 流し撮り中の検出角速度は、基準値に対して一方に偏る。しかしＨＰＦ７９の出力は基準値に収束している。流し撮り終了時、検出角速度の減速に応じて、ＨＰＦ７９の出力は逆方向に大きくずれが生じるが、検出角速度が基準値（ゼロレベル）とクロスするタイミングで、流し撮り終了を検知したら、ＨＰＦの出力を０にリセットする。

ＨＰＦ７９の出力を０にリセットすることで、流し撮り直後に、通常の流し撮りでない撮影を行った場合でも、誤補正を防止することができる。

（第三実施形態）
次に第三の実施形態について、図面を用いて構成と作用の説明をする。
なお、第３実施例の構成は、第一実施例の構成と重複する部分の説明は省略し、第一の実施形態と異なる部分についてのみ説明する。

図１７は、本実施形態の構成を示すブロック図である。第３の実施形態での構成は、第一の実施形態に対して、デジタル化されたｙａｗ、ｐｉｔｃｈ方向の角速度出力に対して、直流成分含む低周波成分を抑圧する演算処理を行うＨＰＦ７９ｃ、７９ｄが追加されている。更に、角速度出力と、このＨＰＦ７９ｃ、７９ｄの処理出力との差分を演算する、減算部７５ｃ、７５ｄが新たに追加されている。

更に、基準算出７４の算出方法が、第１及び第２実施形態とは異なる構成としている。第３実施形態の基準算出部７４への入力は、デジタル化された角速度の値とそれを、ＨＰＦ７９ｃ、７９ｄで、直流成分を含む低域抑圧処理した値との差分されたものが入力される。つまり基準算出７４a、７４ｂへの入力は、それぞれ減算部７５ｃ、７５ｄによる出力値が入力される構成である。

次に、本実施形態における基準値算出の作用を、図１９を基に説明する。
図１９はＨＰＦ７９ｃまたは７９ｄへの入力と出力の関係を示している。 ＨＰＦ７９ｃまたは７９ｄからの出力は、角速度出力に基づく入力信号に生じている直流成分を除去された信号となる。
このため、ＨＰＦが角速度センサ出力の直流成分を除去する中での、直流成分を収束する過渡応答の様子を図１９に示す。ここでＨＰＦフィルタの収束過程では、フィルタの入力と出力の差が時間の経過とともに大きくなる。

その後時間経過とともに、収束すると、ＨＰＦ７９ｃ、または７９ｄへの入力と出力の差分が一定となるが、この差分は、温度ドリフトやその他要因を含むオフセットノイズと考えることができる。
この値を基準値として角速度から減算することで、正確な角速度を求めることができる。
図１８は基準算出７４の機能詳細を示すブロック図であり、平均値算出７４１と、バッファ７４２と、収束判定７４３と、基準値算出７４４とで構成される。

先ず、入力された角速度の差分は、平均値算出７４１により所定期間ごとの平均値が算出される。算出された平均値はバッファ７４２に数回分保持され、保持された値に基づいて、収束判定７４３により収束したかが判定され、収束している場合には、基準値算出７４４によりバッファ７４２に保持された値を平均して基準値を算出する。

次に、基準算出７４での基準値の算出方法を、図２０を用いて説明する。
図２０は、ＨＰＦ７９ｃまたは、ＨＰＦ７９ｄへの角速度の入力と、出力の差分の時間経過の一例を示している。
ここでは、tp-a〜tp-dは一定周期であり、tp周期ごとに、前述の差分の平均値を算出する。つまり、tp-a期間にサンプリングされた差分の平均値がａであり、同様に、tp-b期間での算出結果はｂが、tp-c期間での算出結果はcが、tp-d期間での算出結果はｄがそれぞれ対応する。
この平均値を、図２０の例では４点バッファリングしておき、収束判定に用いる。
このバッファされた値から収束を判定するが、ＨＰＦ７９ｃまたはＨＰＦ７９ｄが収束した場合、バッファされた値はほぼ一定となる。そこで、前回算出してバッファされた平均値との比較を行い、比較した結果が、所定の閾値（ＴＨＲ）以下の場合は、変化がないと判定し、バッファされたデータすべてに対して変化がないと判定された場合は、収束したと判定する。

なお、ここで示す例では、ＴＨＲの値、tp期間、バッファ数は、ＨＰＦ７９の遮断周波数により、最適な値は変化する。遮断周波数が低い場合は、ＴＨＲの値は小さくすることができ（より厳しい収束判定）、tp期間は長いほど正確な値を求めることができる。
一方遮断周波数が高い場合には、ＴＨＲの値は大きめにし（収束判定条件を緩和）、tp期間は短いほうが良い。本方式では、ＨＰＦの遮断周波数が低くなるほど正確なオフセット値を算出することができる。
以上により、カメラの支持状態に影響を受けず比較的正確な基準値を算出することができる。
なお、収束の判定方法に関しては、上記に限ったものではなく、一定期間フィルタの入力と出力の差に変化が無いということが確認できれば良い。

以上 本発明の第１から第３実施形態によって、像ブレ補正機能を持つカメラにおいて、カメラを流し撮り撮影時に、流し撮りでカメラを振る方向が、水平または垂直方向に対して傾きがある状況になっても、それぞれの像ブレ方向に対して、流し撮り時に求められる最適な像ブレ補正制御を判断して、最適な像ブレ補正制御をすることによって、流し撮り時に、カメラの像ブレ補正が誤った像ブレ補正動作をして、結果として撮影画像の失敗を防ぐことができる。

なお、本発明の実施形態では、像ブレ補正を、撮像素子を駆動して行う実施形態を示したが、レンズ光学系内の像ブレ補正レンズを駆動して補正する方式であってもよい。
また、実施形態では、撮像装置としてカメラを例に挙げたが、カメラ機能付きの携帯電話や、情報端末装置での適用であってもよい。

本発明は、上記実施形態をそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、様々の発明を形成できる。例えば、実施形態にしめされる全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・カメラ本体、２・・・光学系、３・・・シャッター、４・・・撮像素子、５・・・駆動部、６・・・システムコントローラ、７・・・ブレ補正マイコン、８・・・角速度センサ、８ａ・・・ヨー方向角速度センサ、８ｂ・・・ピッチ方向角速度センサ、９・・・レリーズスイッチ、７１・・・ＡＤコンバータ、７４・・・基準算出部、７６・・・流し撮り制御部、７７・・・ブレ補正部、７６１・・・流し撮り検出部、７６２・・・傾き検出部、７９ａ、７９ｂ・・・ＨＰＦ部、７９ｃ、７９ｄ・・・基準算出部入力用 ＨＰＦ部

Claims (11)

1. 被写体像を結像する光学系と、
   上記結像された被写体像を光電変換し、映像データに変換する撮像素子と、
   上記撮像素子の結像面に対して、ヨー方向の角速度を検出する第一の角速度検出部と、
   上記撮像素子の結像面に対して、ピッチ方向の角速度を検出する第二の角速度検出部と、
   上記第一及び、第二の角速度検出部の検出に基づいて、像ブレ補正量を算出するブレ検出部と、
   上記像ブレ補正量に基づいて、前記光学系または、撮像素子のどちらかを、水平方向、及び垂直方向へ駆動出力する像ブレ補正部と
   上記第一の角速度検出部が検出したヨー方向の角速度と、上記第二の角速度検出部が検出したピッチ方向の角速度から、流し撮り状態を検出する流し撮り検出手段と、
   上記ヨー方向角速度と、ピッチ方向角速度の比率から、流し撮りされる方向に傾きがあるかを検出する傾き検出部とを、有する撮像装置であって、
   上記像ブレ補正部は、上記流し撮り検出部が、該撮像装置の流し撮り状態を検出し、かつ、上記傾き検出部が、該撮像装置の流し撮り方向は、上記ヨー方向またはピッチ方向に対して、傾きが無いと判定された場合は、流し撮りを検出した方向の補正を停止し、
   傾きありと判定された場合は、静止状態で撮影された場合に行われる像ブレ補正制御とは、異なる補正制御を行うことを特徴とする。
2. 請求項１記載の撮像装置は、
   上記 像ブレ補正部は 上記傾き検出部が傾きありと判定された場合は、像ブレ補正を停止することを特徴とする。
3. 請求項１記載の撮像装置は、
   上記傾き検出手段は、前記ヨー方向の角速度と、前記ピッチ方向の角速度の比率により求められる流し撮り方向の角度が、所定の角度を超えた場合に、流し撮り方向が、傾きがあると判定する。ことを特徴とする。
4. 請求項２記載の撮像装置は、
   上記傾き検出手段は、
   上記ヨー方向の角速度または、上記ピッチ方向の角速度のどちらか一方に、検出角度に基づいた判定条件となる係数を乗算した乗算結果と、もう一方の角速度の大小関係の比較結果とに基づいて、所定の角度を超えた場合に、流し撮り方向が、傾きがあると判定することを特徴とする
5. 請求項２記載の撮像装置は、
   上記傾き検出手段が、流し撮り方向に傾きがあると判定する条件は、
   上記検出角度に基づいた判定条件となる係数が、２のべき乗に反比例する値であることを特徴とする。
6. 請求項１記載の撮像装置は、
   上記傾き検出手段は、上記傾き量を、露光直前での所定期間におけるヨー方向角速度を積分した結果と、前記ピッチ方向角速度を積分した結果との比率に基づいて算出することを特徴とする。
7. 請求項２記載の撮像装置は、
   上記所定の角度は、前記ヨー方向の角速度と、前記ピッチ方向の角速度との、絶対値が大きい方の角速度の絶対値に基づいて変更し、
   上記所定の角度は、絶対値が大きくなると、所定の角度を角度は小さく設定し、絶対値が大きくなると、角度を大きくする設定することを特徴とする。
8. （実施形態２に対応）
   請求項１記載の撮像装置は、
   上記角速度出力の低周波成分を除去するＨＰＦ演算部をさらに有し、
   上記補正量算出部は、前記ＨＰＦ部の出力に基づいて補正量を算出するとともに、
   上記ＨＰＦ演算部は、上記流し撮り検出部において流し撮りがされていると検出された状態で、
   撮影操作が実行された場合は、上記ＨＰＦ演算部の出力が０となるように変更することを特徴とする。
9. （実施形態２に対応）
   請求項７記載の撮像装置は、
   前記流し撮り検出部において 流し撮りが終了したと検出したタイミングにおいて、前記ＨＰＦ演算部の出力が０となるように変更することを特徴とする。
10. （実施形態３に対応）
    前記請求項１の撮像装置は、
    像ブレ検出部の基準値を算出する基準値算出部と、
    上記角速度検出部により検出された角速度の直流成分を除去する、ＨＰＦ演算部と、を有し、
    上記基準値算出部は、検出された角速度信号の、上記ＨＰＦ演算部への入力と、出力の差分された結果を基に、時間経過による変化が無いと判定した場合は、前記差分を基準値とすることを特徴とする。
11. （請求項１の像ブレ補正方法）
    撮像装置に対して、ヨー方向の角速度を検出する第一の角速度を検出する 第１角速度検出ステップと、
    前記撮像装置に対して、ピッチ方向の角速度を検出する第二の角速度を検出する第２角速度検出ステップと
    前記第一及び、第二の角速度検出ステップでの検出結果に基づいてブレ補正量を算出するブレ検出する補正量演算ステップと、
    前記補正量を打ち消す方向に、前記光学系または、撮像素子のどちらかを駆動させるブレ補正ステップと、
    前記第１角速度ステップと前記第２方向角速度ステップとの検出結果から、該撮像装置が流し撮り状態であるかを検出する流し撮り検出ステップと、
    前記第１の角速度と、第２の角速度の比率から、流し撮り方向の傾きがあるかを検出する傾き検出ステップと、を有するものであって、
    上記ブレ補正ステップは、
    上記流し撮り検出ステップにより流し撮りが検出され、かつ、上記傾き検出部によって、該撮像装置の流し撮り方向が、第１角速度または第二角速度方向に対して、傾きが無いと判定された場合は、流し撮りを検出した方向の補正を停止させ、
    傾きありと判定された場合は、通常のブレ補正制御とは異なる制御ステップを行うことを特徴とする。撮像装置の像ブレ補正方法