JP2019008221A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 時間的に連続した画像から検出した被写体の像面上の移動量の誤差の影響を抑えて被写体のブレ補正を行うことができるようにする。【解決手段】 撮像手段で得られた時間的に連続した画像に基づいて被写体の動きベクトルを検出する第１の検出手段の検出結果と撮像装置の動きを検出する第２の検出手段の検出結果に基づいて、被写体の撮像装置に対する角速度を算出する第１の算出手段と、算出手段により算出された複数の角速度に基づいて、被写体の撮像装置に対する角加速度を算出する第２の算出手段と、撮像手段による露光時の被写体の撮像装置に対する角速度に基づいて補正素子を移動させ、被写体の像ブレを補正する補正手段と、を有し、補正手段は、補正素子の制御に用いる、撮像手段による露光時の被写体の撮像装置に対する角速度を決定する際に反映させる第２の算出手段の算出結果の度合いを、第２の検出手段の検出結果に応じて変更する。【選択図】 図１

Description

本発明は、いわゆる流し撮り撮影時に発生する画像のブレ補正に関するものである。

従来、移動している被写体のスピード感を表現する撮影技術として流し撮り撮影が知られている。流し撮り撮影は、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮り撮影においては、撮影者が被写体の動きに合わせてカメラをパンニングする必要があるが、パンニング速度が速すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度の間に差が発生してしまうことで、被写体がブレた画像になることも多い。

そこで、特許文献１では、露光前に算出した撮像装置に対する被写体の相対角速度と角速度センサから得た露光中の撮像装置の角速度に基づいて、露光中のレンズの光学系の一部または撮像部を移動させて被写体のブレ（被写体ブレ）を補正している。また、特許文献１では、撮像装置に対する被写体の相対角速度を、時間的に連続した画像から検出した被写体の像面上の移動量と角速度センサの出力によって算出している。

特開平４−１６３５３５号公報

しかしながら、特許文献１に開示された技術は、被写体の移動を検出しブレ補正を行うが、時間的に連続した画像から検出した被写体の像面上の移動量の誤差を考慮していない。時間的に連続した画像から被写体の像面上の移動量を検出する方法として、角速度センサの出力を用いて被写体領域と背景領域とを分離し、被写体領域の連続した画像間の動きベクトルを検出することで被写体の像面上の移動量を検出する方法がある。この方法では、カメラをゆっくりパンニングさせた場合、被写体領域と背景領域の分離が難しく、被写体の像面上の移動量を連続した画像から精度よく求めるのが困難となる。そのため、算出した撮像装置に対する被写体の相対角速度が実際の相対角速度とずれて被写体のブレ補正を精度よく行うことができない場合がある。

そこで、本発明は、時間的に連続した画像から検出した被写体の像面上の移動量の誤差の影響を抑えて被写体のブレ補正を行うことができるようにすることを目的とする。

上記目的を達成するために、本発明にかかる撮像装置は、流し撮りが可能な撮像装置であって、撮像手段で得られた時間的に連続した画像に基づいて被写体の動きベクトルを検出する第１の検出手段と、前記撮像装置の動きを検出する第２の検出手段と、前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて、前記被写体の前記撮像装置に対する角速度を算出する第１の算出手段と、前記算出手段により算出された複数の角速度に基づいて、前記被写体の前記撮像装置に対する角加速度を算出する第２の算出手段と、前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度に基づいて補正素子を移動させ、前記被写体の像ブレを補正する補正手段と、を有し、前記補正手段は、前記補正素子の制御に用いる、前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度を決定する際に反映させる前記第２の算出手段の算出結果の度合いを、前記第２の検出手段の検出結果に応じて変更することを特徴とする。

本発明によれば、時間的に連続した画像から検出した被写体の像面上の移動量の誤差の影響を抑えて被写体のブレ補正を行うことができる。

本発明の実施例１にかかる露光時被写体角速度決定処理を示す図である。 本発明の実施例１にかかる流し撮りアシストモード時の撮影処理を示す図である。 本発明の実施例１にかかるカメラの構成を示す図である。 本発明の実施例１にかかる防振システムの構成を示す図である。 本発明の実施例１にかかるパンニング制御を示す図である。 本発明の実施例１にかかる流し撮りアシストモード時のシフトレンズの駆動制御システムの構成を示す図である。 パンニング時の角速度データを示す図である。 被写体の相対角速度と角加速度の関係を示す図である。 被写体の相対角速度を説明する図である。 本発明の実施例２にかかる被写体角加速度補正処理を示す図である。

以下、本発明の実施例について図面を参照しながら説明する。

図３は、本発明の実施例１にかかる撮像装置としてのレンズ一体型のカメラの構成を示すブロック図である。カメラ１００は、被写体からの光を結像させる撮影光学系である撮影レンズユニット１０１を備えている。撮影レンズユニット１０１は、主レンズ１０２、焦点距離を変更可能なズームレンズ１０３、焦点調節を行う不図示のフォーカスレンズを含む。さらに、撮影レンズユニット１０１は、光軸と直交する方向に移動することにより被写体像のブレを光学的に補正するシフトレンズ１０４を含む。シフトレンズ１０４は、ユーザがカメラ１００をパンニングにより向きを変化させながら動く被写体を撮影する流し撮り撮影時に、被写体像のブレを低減する流し撮りアシストのために光軸に対して直交する方向に移動（シフト）可能である。撮影レンズユニット１０１に含まれる主レンズ、ズームレンズ、フォーカスレンズ、シフトレンズは、それぞれ少なくとも１つ以上のレンズで構成されている。また、カメラ１００は、ズームレンズ１０３の位置を検出するズームエンコーダ１０５、シフトレンズ１０４の位置を検出する位置センサ１０６、撮像装置の動きを検出するジャイロセンサなどの角速度センサ１０７を備えている。さらにカメラ１００は、角速度センサ１０７の出力を増幅するアンプ１０８、カメラ制御用マイクロコンピュータ（以下マイコン）１３０、シフトレンズ１０４を駆動するドライバ１０９、位置センサ１０６の出力を増幅するアンプ１１０を備える。

さらにカメラ１００は、シャッター１１１、撮像素子１１２、アナログ信号処理回路１１３、カメラ信号処理回路１１４、タイミングジェネレータ１１５、操作スイッチ１１６、シャッター駆動用モータ１１７、ドライバ１１８を備える。

撮像素子１１２は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、撮影レンズユニット１０１により形成された被写体像を光電変換してアナログ電気信号を出力する。シャッター１１１は、撮像素子１１２の露光時間を制御する。

アナログ信号処理回路（ＡＦＥ）１１３は、撮像素子１１２から出力されたアナログ信号を増幅し、さらに増幅後のアナログ信号をデジタル信号としての撮像信号に変換してカメラ信号処理回路１１４に出力する。

カメラ信号処理回路１１４は、撮像信号に対して各種画像処理を行うことで映像信号（撮影映像）を生成する。撮影映像（またはこれから取り出された静止画像）は、カメラ１００に対して着脱が可能なメモリカード１１９に記録されたり、液晶パネル等の表示素子により構成されるモニタ（以下、ＬＣＤという）１２０に表示されたりする。また、カメラ信号処理回路１１４は、映像信号を構成するフレーム画像間で動きベクトルを検出する動きベクトル検出部１３５を含む。

タイミングジェネレータ１１５は、撮像素子１１２やアナログ信号処理回路１１３の動作タイミングを設定する。操作スイッチ１１６は、電源スイッチ、レリーズスイッチ、モード選択スイッチ等の各種スイッチやダイヤルを含む。本実施例のカメラ１００では、モード選択スイッチの操作を通じて、流し撮りアシストモードと通常撮影モードとの切り替えが可能である。シャッター駆動用モータ１１７は、ドライバ１１８により駆動され、シャッター１１１をチャージさせる。

また、マイコン１３０は、防振制御部１３１、流し撮り制御部１３２、シャッター制御部１３３、被写体角速度算出部１３４を含む。

防振制御部１３１は、カメラ振れに起因する被写体像のブレを補正（低減）するためにシフトレンズ１０４の駆動を制御する手振れ補正制御（防振制御）を行う。

流し撮り制御部１３２は、流し撮りアシストのためにシフトレンズ１０４のシフト駆動の制御を行う。

シャッター制御部１３３は、ドライバ１１８を通じて不図示のレリーズ電磁マグネットへの通電を解除してチャージ状態のシャッター１１１を開動作させ、またシャッター駆動用モータ１１７を制御してシャッター１１１のチャージ動作を行わせる。

被写体角速度算出部１３４は、撮影対象である被写体のカメラ１００に対する相対被写体角速度を算出する。マイコン１３０は、その他、フォーカスレンズ制御や絞り制御等も行う。

なお、手振れ補正のためには、例えば横方向と縦方向といった直交する２軸に関して検出および補正を行うが、同様の構成であるため本実施例では１軸分のみ記載している。

操作スイッチ１１６の電源スイッチが操作されてカメラ１００の電源がＯＮされると、その状態変化をマイコン１３０が検出し、カメラ１００の各回路への電源供給および初期設定が行われる。

流し撮りアシストモード設定が行われていない通常撮影モード時、角速度センサ１０７が手振れ等によるカメラ１００の振れを検出し、その検出結果を用いることで防振制御部１３１により、シフトレンズ１０４を駆動して手振れ補正動作が行われる。

ここで手振れ補正機能に関して説明する。図４は、本実施例における防振システムの構成を示す図である。図３と共通の構成については同じ符号を付し、説明を省略する。図４において符号４０１〜４０７は防振制御部１３１の詳細な構成を示している。Ａ／Ｄ変換器４０１は、角速度センサ１０７（アンプ１０８）から出力された角速度信号としてのアナログ信号を角速度データとしてのデジタル信号に変換する。角速度センサ１０７の出力データサンプリングは１〜１０ｋＨｚ程度で行われている。

フィルタ演算部４０２はハイパスフィルタ（ＨＰＦ）等により構成され、角速度データに含まれているオフセット成分を低減したり、ＨＰＦのカットオフ周波数を変更したりする。第１の積分器４０３は、シフトレンズ１０４の駆動目標データを生成するために角速度データを角変位データに変換する。Ａ／Ｄ変換器４０６は、位置センサ１０６の位置信号としてのアナログ信号を位置データとしてのデジタル信号に変換する。第１の加算器４０４は、シフトレンズ１０４の駆動目標値から現在のシフトレンズ位置を減算してシフトレンズ１０４の駆動データを算出する。ＰＷＭ出力部４０５は、算出された駆動量データをシフトレンズ駆動用のドライバ１０９に出力する。

パンニング制御部４０７は、角速度データからカメラ１００がパンニングされたかどうかを判定する。また、パンニング制御部４０７は、パンニングと判定された場合に、フィルタ演算部４０２のカットオフ周波数変更制御、および第１の積分器４０３の出力の調整を行う。

図５はパンニング制御部４０７により行われるパンニング制御のフローチャートの一例を示した図である。

ステップＳ５０１において、パンニング制御部４０７は、Ａ／Ｄ変換器４０１から取り込んだ角速度データの平均値（所定サンプリング回数分の平均値、以下角速度平均値とする）が所定値αよりも大きいか否かを判定する。パンニング制御部４０７は、角速度平均値が所定値α以下の場合はパンニングが行われていないと判定し、ステップＳ５０７へ進む。一方、所定値αよりも大きい場合、パンニング制御部４０７は、ステップＳ５０２へ進み、角速度平均値が所定値βより大きいか否かを判定する。そして、パンニング制御部４０７は、角速度平均値が所定値β以下の場合は、ゆっくりとした（低速の）パンニングが行われていると判定してステップＳ５０６へ進む。所定値βよりも大きい場合は急激な（高速の）パンニングが行われていると判定し、ステップＳ５０３へ進む。

パンニング制御部４０７は、ステップＳ５０３においてでフィルタ演算部４０２のＨＰＦのカットオフ周波数を最大値に設定し、ステップＳ５０４において手ブレ補正制御を強制的にＯＦＦ（非実行状態）とする。高速パンニング時に防振制御をＯＦＦにするのは、高速パンニングを大きな手振れとして扱ってシフトレンズ１０４をシフトさせると、シフトレンズ１０４がそのシフト端に到達した時点で撮影映像が大きく動いて撮影者に違和感を与えるためである。また、高速パンニングが行われている場合にはパンニングによる撮影映像の動きが大きく、手振れによる像ブレが現れても撮影者にほとんど違和感を与えることはないためである。そして、ＨＰＦのカットオフ周波数を最大値に設定した上で次のステップにてシフトレンズ１０４を徐々に停止させることで、防振制御ＯＦＦに伴い急に手振れによる像ブレが現れて撮影者に違和感を与えることを回避することができる。

その後、ステップＳ５０５において、パンニング制御部４０７は、第１の積分器４０３の出力を現在のデータから徐々に初期位置のデータに変更する。これにより、シフトレンズ１０４が徐々に初期位置に戻るが、これは次に手振れ補正動作を再開する場合に、シフトレンズ１０４の位置が駆動範囲の初期位置にあることが望ましいためである。

ステップＳ５０６において、パンニング制御部４０７は、角速度データの大きさに応じてＨＰＦのカットオフ周波数を設定する。低速パンニング時には手振れによる像ブレが目立ちやすいので、これを補正する必要があるためである。カットオフ周波数は、パンニングに対する撮影映像の追従性を不自然にならない程度に保ちながら、手振れによる像ブレを補正することができるように設定される。

ステップＳ５０７において、パンニング制御部４０７は、ＨＰＦのカットオフ周波数を通常時の値に設定する。

ステップＳ５０８において、パンニング制御部４０７は、防振制御の強制ＯＦＦ設定を解除（防振制御をＯＮに）する。

図７は、パンニング時の横方向の角速度データと、所定値α、βの関係を示した図であり、図中の７０１がサンプリングされた角速度データである。この例では、カメラ１００が右方向にパンニングされた場合に＋方向の角速度データ、左方向にパンニングされた場合に−方向の角速度データが得られる。図７の例では、右方向の急激な（高速の）パンニングと、左右方向のゆっくりとした（低速の）パンニングが検出されている。

図７からわかるように、パンニング中は角速度データが初期値（ここでは０）から大きく外れる。そのため、この角速度データを積分してシフトレンズ１０４の目標位置データを算出した場合、ＤＣ的なオフセット成分により、第１の積分器４０３の出力が非常に大きな値となり、制御不能状態になってしまう。そのため、パンニングが検出された場合はＨＰＦのカットオフ周波数を高く変更することにより、ＤＣ成分をカットすることが必要となる。急激なパンニングの場合は特に顕著になるために、よりカットオフ周波数を上げることで、第１の積分器４０３の出力が増大しないようにしている。なお、急激なパンニングの場合は、パンニングによる画の動きが手振れに対して非常に大きくなるため、パンニング方向に関して手振れ補正機能をＯＦＦとしても特に違和感は発生しない。

以上のようにパンニング制御が行われることで、パンニング中も違和感のない画像を得ることが可能となる。

図３において、操作スイッチ１１６により流し撮りアシストモードが設定されると、撮像した画像からカメラ信号処理回路１１４の動きベクトル検出部１３５により被写体の動きベクトルを検出する。検出された動きベクトルは、流し撮り制御部１３２に入力される。また、これと同時に、流し撮り制御部１３２は、角速度センサ１０７（アンプ１０８）からの角速度データを受信する。

撮影者が流し撮りを行なっているとき、動きベクトル検出部１３５から出力される被写体の動きベクトルは、撮影者が撮影しようとしている主被写体に対応したベクトルと、流れている背景に対応したベクトルの２種類となる。この際、流し撮りが目的であるため、検出された２種類の動きベクトルのうち、動き量の小さいデータが主被写体の動きベクトルとなり、この動きベクトルの値が主被写体の像面上の移動量を表す。

一方、角速度データは、カメラ１００のパンニング速度（流し撮り速度）に対応しているため、角速度データと、主被写体の像面上の移動量とレンズの現在の焦点距離から算出される角速度の差分を算出すると、カメラ１００に対する主被写体の角速度となる。被写体角速度算出部１３４は、モニタ用の画像を処理するタイミングごとにカメラ１００に対する主被写体の角速度（相対被写体角速度ともいう）を算出している。また、被写体角速度算出部１３４は、算出した相対被写体角速度と算出した算出時刻（取得時刻）の組情報を流し撮り制御部１３２へ送る。

図６は、流し撮りアシストモード時のシフトレンズ１０４の駆動制御システムの構成を示す図であり、図３、図４と共通の構成に対して同じ符号を付している。カメラ情報取得部６０１は、操作スイッチ１１６のモード選択スイッチの操作によって流し撮りアシストモードが設定されたことを示す流し撮り設定情報と、レリーズスイッチの操作によって撮影が指示されたことを示すレリーズ情報とを取得する。角速度データ出力部６０２は、所定タイミングで角速度データをサンプリングして被写体角速度算出部１３４に出力する。

被写体角速度決定部６０３は、記録用撮影前（静止画記録のための撮像素子１１２の露光前）に被写体角速度算出部１３４が算出した相対被写体角速度とその算出時刻の組情報を取得し、これを角速度履歴として保持（蓄積）する。なお、以下の説明では、露光とは記録用撮影を意味する。そして、被写体角速度決定部６０３は、その露光前（露光期間前）の角速度履歴を用いて、露光期間中（撮影中）のカメラ１００に対する被写体の予測された角速度（予測情報）である相対被写体角速度を算出等により決定する。こうして被写体角速度決定部６０３は、取得した露光期間中の相対被写体角速度を、流し撮りアシストにおける露光期間中のシフトレンズ１０４のシフト駆動の制御に用いる相対被写体角速度として決定する。

第２の加算器６０４は、角速度センサ１０７からの角速度データと被写体角速度決定部６０３にて決定された露光期間中の相対被写体角速度との差分を算出する。第２の積分器６０５は、露光期間中のみ積分動作を行う。設定変更部６０６は、カメラ情報取得部６０１からの流し撮りアシストモードの設定情報の通知に応じてパンニング制御部４０７の設定を変更する。

操作スイッチ１１６の操作により流し撮りアシストモードが設定されると、カメラ情報取得部６０１は、流し撮り設定情報を設定変更部６０６に通知する。設定変更部６０６は、通知された流し撮り設定情報に応じてパンニング制御部４０７の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態に移行しやすくする変更であり、具体的には、前述のパンニング判定用の所定値βおよびαを変更する。

また、第２の加算器６０４は、角速度センサ１０７からの角速度データと、被写体角速度決定部６０３からの相対被写体角速度との差を計算し、計算結果を第２の積分器６０５へと送る。

第２の積分器６０５は、カメラ情報取得部６０１からのレリーズ情報に応じて、露光期間中の前述した差の積分動作を開始する。第２の積分器６０５は、露光期間以外の期間においては、シフトレンズ１０４の位置が初期位置（中央）となる値を出力する。ここで、露光期間以外はシフトレンズ１０４を中央位置に配置しようとした場合、露光期間終了時は現在の位置から中央位置までシフトレンズ１０４が急峻に移動することになる。しかし、露光期間終了直後は撮像素子１１２からの画像信号の読み出し期間のため、ＬＣＤ１２０上で撮影映像の表示は行われない期間であり、シフトレンズ１０４の急峻な移動による撮影映像の動きは問題とはならない。

また、第２の積分器６０５の出力は、第１の加算器４０４で第１の積分器４０３の出力に加算され、その加算値に対して位置センサ１０６（シフト位置Ａ／Ｄ変換器４０６）からのシフトレンズ１０４のシフト位置データが減算される。これにより、シフトレンズ１０４の駆動量データが算出される。

流し撮りアシストモード設定中に実際に撮影者により高速パンニングによる流し撮り動作が行われると、パンニング制御部４０７は、すぐにパンニング制御を開始するとともに、図５のステップＳ５０４で説明したように防振制御をＯＦＦとする。パンニング制御により、シフトレンズ１０４が移動することで、カメラ１００のパンニングによる角速度とカメラ１００に対する主被写体（以下、単に被写体という）の角速度である相対被写体角速度との差分に対応する被写体像の像面上での変位量を補正する。このため、流し撮り失敗の原因となる露光期間中のカメラ１００のパンニング速度と被写体の動き速度との差分がシフトレンズ１０４のシフト駆動により相殺され、その結果、流し撮りが成功する。

ここで、被写体角速度決定部６０３は、露光前において被写体角速度算出部１３４から取得して蓄積した角速度履歴を用いて露光期間中の相対被写体角速度を決定するが、その際にレリーズタイムラグの時間と露光期間を考慮する。例えば、等速直線運動をしている被写体をその進行方向に直交する方向に位置するカメラ１００で流し撮りする場合には、カメラ１００から測定する被写体の角速度は連続的に変化する。このため、被写体の角速度は、その検出時と露光期間中とでは同じにならない。したがって、この角速度の変化（つまりは加速度）を考慮しないと、シフトレンズ１０４のシフト駆動による上記補正を良好に行うことができない。

図８は、被写体の相対角速度と角加速度の関係を示す図であり、図９に示すように等速直線運動をしている被写体（電車）の角速度を該被写体の進行方向に直交する方向に位置するカメラ１００から測定したときの角速度の変化を示している。図９において、被写体は左から右に向かって速度ｖで等速直線運動をしている。点Ａは被写体の等速直線運動による移動軌跡上においてカメラ１００からの距離が最短となる位置（以下、原点という）であり、Ｌはカメラ１００から原点Ａまでの距離（移動軌跡までの最短距離）である。θはカメラ１００から原点Ａに向かう方向、すなわち被写体の進行方向に直交する方向に対してカメラ１００から被写体への方向がなす角度（つまりはカメラ１００の向き：以下、パンニング角度という）であり、原点Ａより右側がプラスで左側がマイナスとする。

図８中の横軸は、図９中の被写体が原点Ａに位置するときを０度としたパンニング角度θを示し、中央の縦軸は被写体の角速度を示している。実線のグラフが角速度の変化を示す。また、右側の縦軸は角加速度を示し、破線のグラフが角加速度の変化を示す。ここにいう角加速度の変化は、カメラの位置を基準とした被写体の位置に対応する被写体の角加速度の変化である。図８は、カメラ１００から原点Ａまでの最短距離が２０ｍで、被写体が速度６０ｋｍ／ｈで等速直線運動をしている場合の角速度と角加速度を示している。

図８において、被写体が原点Ａを通過する際（θ＝０度）に角速度が最大で、角加速度が０になる。また、θ＝＋３０度で角加速度が最大となり、θ＝−３０度で角加速度が最小になる。なお、このパンニング角度θと角加速度および角加速度との関係は、上述した最短距離や被写体の速度に依存しない。

図２は、流し撮りアシストモード時の撮影処理のフローチャートを示す図である。この処理は、マイコン１３０がコンピュータプログラムである流し撮りアシスト制御プログラムに従って実行する。

ステップＳ２０１において、マイコン１３０は、レリーズスイッチが半押し操作された（ＳＷ１ＯＮである）か否かを判定する。半押し操作された（ＳＷ１ＯＮである）場合はステップＳ２０２へと進み、時間計測カウンタをインクリメントする。半押し操作されていない（ＳＷ１ＯＮでない）場合はステップＳ２０３へ進み、時間計測カウンタをリセットしたのち、ステップＳ２０１へ戻る。

ステップＳ２０４において、マイコン１３０は、被写体角速度算出部１３４により相対被写体角速度（図では単に被写体角速度と記す）がすでに算出されているか否かを確認する。算出されている場合は、マイコン１３０は、ステップＳ２０５へ進み、時間計測カウンタが所定時間Ｔに達したか否かを確認する。相対被写体角速度がまだ算出されていない場合および相対被写体角速度がすでに算出されていても時間計測カウンタが所定時間Ｔに達している（露光期間が所定時間Ｔより長い）場合は、マイコン１３０はステップＳ２０６へ進む。

ステップＳ２０６において、マイコン１３０は、被写体角速度算出部１３４に相対被写体角速度を算出させる。これにより、後述するレリーズスイッチの全押し操作に応じて開始される露光の前に被写体角速度算出部１３４に相対被写体角速度を算出させ、被写体角速度決定部６０３に角速度履歴を取得させる。時間計測カウンタが所定時間Ｔに達している場合に相対被写体角速度を算出し直させるのは、所定時間Ｔ内で被写体の速度が変化する可能性を考慮するためである。被写体角速度算出部１３４が算出した相対被写体角速度は、算出するごとに、被写体角速度決定部６０３に送られる。ステップＳ２０５にて時間計測カウンタがまだ所定時間Ｔに達していない場合は、マイコン１３０はステップＳ２０８へ進む。

ステップＳ２０６の後のステップＳ２０７において、マイコン１３０は、被写体角速度決定部６０３に、露光期間中の相対被写体角速度を決定させる。ここでの処理の詳細については後述する。そして、ステップＳ２０８へ進む。

ステップＳ２０８において、マイコン１３０は、レリーズスイッチが全押し操作（ＳＷ２ＯＮ）されたか否かを判定する。全押し操作されていない（ＳＷ２ＯＮでない）場合は、マイコン１３０はステップＳ２０１に戻る。一方、全押し操作された（ＳＷ２ＯＮである）場合は、マイコン１３０はステップＳ２０９へ進み、シャッター制御部１３３を通じてシャッター１１１を開動作させて露光を開始させる。

さらに、マイコン１３０は、ステップＳ２１０において、流し撮り制御部１３２に、ステップＳ２０７で決定された相対被写体角速度に応じたシフトレンズ１０４の駆動制御を行わせる。これにより、被写体像の像面上での変位量を補正する流し撮りアシストを行う。この際、図５のステップＳ５０２でパンニングが高速パンニングと判定された場合は、マイコン１３０は、防振制御部１３１を通じてシフトレンズ１０４を手振れによる像ブレを補正するために駆動する。

続いてステップＳ２１１において、マイコン１３０は、露光が完了したか否かを判定し、完了した場合はステップＳ２１２へ進み、未完了であればステップＳ２１０へ戻る。ステップＳ２１２において、マイコン１３０は、再びレリーズスイッチが全押し操作（ＳＷ２ＯＮ）されたか否かを判定し、全押し操作されている（ＳＷ２ＯＮである）場合はステップＳ２０９に戻って次の露光（連写の次のコマの撮影）を行う。一方、全押し操作されていない（ＳＷ２ＯＮでない）場合はステップＳ２０１に戻る。

図１は、被写体角速度決定部６０３が図２のステップＳ２０７にて行う露光時被写体角速度決定処理のフローチャートを示す図である。この処理は、被写体角速度決定部６０３がコンピュータプログラムである流し撮りアシスト制御プログラムに従って実行し、ステップＳ２０６で被写体角速度の通知を受けると本処理が開始される。

ステップＳ１０１において、被写体角速度決定部６０３は、最新の角速度データを取得し、ステップＳ１０２へ進む。ステップＳ１０２において、被写体角速度決定部６０３は、保持している最新の角速度データのＸ軸方向（第１の方向）に対する閾値判定を行う。本実施例において、Ｘ軸方向は重力方向と直交する方向を表し、図７と同様にカメラ１００が右方向にパンニングされた場合に＋方向の角速度データ、左方向にパンニングされた場合に−方向の角速度データが得られるものとする。また、後述するＹ軸方向は重力方向と平行な方向を表し、カメラ１００が上方向にパンニングされた場合に＋方向の角速度データ、下方向にパンニングされた場合に−方向の角速度データが得られるものとする。Ｘ軸方向に対する角速度データの絶対値が第１の閾値（例えば、６ｄｐｓ）より大きい場合はステップＳ１０３へ進み、第１の閾値以下の場合はステップＳ１０６へ進む。

ステップＳ１０３において、被写体角速度決定部６０３は、最新の角速度データのＹ軸方向（第１の方向と直交する第２の方向）に対する閾値判定を行う。Ｙ軸方向に対する角速度データの絶対値が第１の閾値（例えば、６ｄｐｓ）より大きい場合はステップＳ１０４へ進み、第１の閾値以下の場合はステップＳ１０５へ進む。

ステップＳ１０４において、被写体角速度決定部６０３は、Ｘ軸方向及びＹ軸方向それぞれについて保持している複数の過去の相対被写体角速度に基づいて露光時の被写体角加速度を算出する。そして、レリーズタイムラグと算出した被写体角加速度から露光時の角速度差分を求め、角速度差分をステップＳ２０６で算出した相対被写体角速度に加算して露光時の相対被写体角速度を予測する。予測結果を露光時の相対被写体角速度に決定して角速度決定処理を終了する。

ステップＳ１０５において、被写体角速度決定部６０３は、Ｙ軸方向についてはステップＳ２０６で算出した相対被写体角速度を露光時の相対被写体角速度として決定する。一方、Ｘ軸方向については保持している複数の過去の相対被写体角速度に基づいて露光時の被写体角加速度を算出する。そして、レリーズタイムラグと算出した被写体角加速度から露光時の角速度差分を求め、角速度差分をステップＳ２０６で算出した相対被写体角速度に加算して露光時の相対被写体角速度を予測する。予測結果を露光時の相対被写体角速度に決定して角速度決定処理を終了する。

ステップＳ１０６において、被写体角速度決定部６０３は、最新の角速度データのＹ軸方向に対する閾値判定を行う。Ｙ軸方向に対する角速度データの絶対値が第１の閾値（例えば、６ｄｐｓ）より大きい場合はステップＳ１０７へ進み、第１の閾値以下の場合はステップＳ１０８へ進む。

ステップＳ１０７において、被写体角速度決定部６０３は、Ｘ軸方向についてはステップＳ２０６で算出した相対被写体角速度を露光時の相対被写体角速度として決定する。一方、Ｙ軸方向については保持している複数の過去の相対被写体角速度に基づいて露光時の被写体角加速度を算出する。そして、レリーズタイムラグと算出した被写体角加速度から露光時の角速度差分を求め、角速度差分をステップＳ２０６で算出した相対被写体角速度に加算して露光時の相対被写体角速度を予測する。予測結果を露光時の相対被写体角速度に決定して角速度決定処理を終了する。

ステップＳ１０８において、被写体角速度決定部６０３は、Ｘ軸方向及びＹ軸方向それぞれステップＳ２０６で算出した相対被写体角速度を露光時の相対被写体角速度として決定する。

以上のように、カメラ１００の角速度データの絶対値が閾値よりも大きければ、それまでの相対被写体角速度に基づいて角加速度を算出し、角加速度の算出結果を用いて露光時までの相対被写体角速度の変化を予測する。すなわち、それまでの相対被写体角速度に基づいて露光時までの相対被写体角速度の変化を予測することで、露光時の相対被写体角速度を予測する。一方、カメラ１００の角速度データの絶対値が閾値以下であれば、それまでの相対被写体角速度に基づいて露光時までの相対被写体角速度の変化を予測しない。すなわち、それまでの相対被写体角速度に基づいて角加速度を算出しないことで、算出結果を反映させず露光時の相対被写体角速度を決定する。カメラ１００の角速度データの絶対値が閾値以下である場合に相対被写体角速度の変化を予測すると、時間的に連続した画像から検出した被写体の像面上の移動量の誤差により精度よく相対被写体角速度の変化を予測できない場合があるためである。

そのため、以上のような制御により、時間的に連続した画像から検出した被写体の像面上の移動量の誤差の影響を抑えてブレ補正を行うことができる。

なお、本実施例では第１の閾値の例として６ｄｐｓを挙げているが、閾値の値は時間的に連続した画像から検出した被写体の像面上の移動量の誤差の影響を鑑みて適宜設定すればよい。

実施例１では、カメラ１００の角速度データの絶対値が閾値よりも大きければ露光時までの相対被写体角速度の変化を角加速度に基づいて予測し、大きくなければ露光時までの相対被写体角速度の変化を予測しないようにした。それに対して、実施例２では、カメラ１００の角速度データの絶対値に応じて相対被写体角速度の変化の予測方法を段階的に切り替えるようにした。そうすることで、カメラ１００の動きに応じたより良好な像ブレ補正を行うことができる。具体的には、実施例１における、それまでの相対被写体角速度に基づいて露光時までの相対被写体角速度の変化を予測しない場合（図１のステップＳ１０５、Ｓ１０７、Ｓ１０８）に、更なる閾値と加速度データとの比較（図１０に示す処理）を行う。

図１０は、図１のステップＳ１０５、Ｓ１０７、Ｓ１０８で行われる被写体角加速度補正処理のフローチャートを示す図であり、本実施例にかかわる撮像装置の構成及び図１０に示す処理以外の処理は実施例１と同様であるため、詳細な説明は省略する。

図１のフローチャートにしたがってステップＳ１０５、Ｓ１０７、Ｓ１０８に移行した場合、被写体角速度決定部６０３は、Ｘ軸方向及びＹ軸方向のうち角速度データの絶対値が第１の閾値より大きくないものを対象にしてステップＳ１０９の処理を実行する。

ステップＳ１０９において、被写体角速度決定部６０３は、対象となる角速度データの絶対値が第２の閾値（第１の閾値よりも小さい、例えば３ｄｐｓ）より大きいか否かを判定する。第２の閾値よりも大きくない場合はステップＳ１１０へ進み、第２の閾値よりも大きい場合はステップＳ１１１へ進む。なお、角速度データが対象とならない方向については、保持している複数の過去の相対被写体角速度に基づいて露光時の被写体角加速度を算出する。そして、レリーズタイムラグと算出した被写体角加速度から露光時の角速度差分を求め、角速度差分をステップＳ２０６で算出した相対被写体角速度に加算して露光時の相対被写体角速度を予測し、予測結果を露光時の相対被写体角速度に決定する。

ステップＳ１１０において、被写体角速度決定部６０３は、角速度データが対象となる方向について、ステップＳ２０６で算出した相対被写体角速度を露光時の相対被写体角速度として決定する。具体的には、露光時までの被写体角加速度を０として角加速度の算出結果を反映させず露光時の相対被写体角速度を決定する。

ステップＳ１１１において、被写体角速度決定部６０３は、角速度データが対象となる方向について、保持している複数の過去の相対被写体角速度に基づいて露光時の被写体角加速度を算出する。そして、レリーズタイムラグと算出した被写体角加速度を１／２にした被写体角加速度から露光時の角速度差分を求め、角速度差分をステップＳ２０６で算出した相対被写体角速度に加算露光時の相対被写体角速度を予測する。予測結果を露光時の相対被写体角速度に決定する。

以上のように、本実施例では、角速度データが小さくなるにつれて露光時の相対被写体角速度を決定する際に反映させる露光時までの被写体角加速度の度合いを段階的に小さくする。それにより、角速度データが閾値の上になった場合と下になった場合の露光時の相対被写体角速度の差異を低減することができ、実施例１に比べてカメラ１００の動きに応じたより良好な像ブレ補正を行うことができる。

なお、本実施例では、本実施例では第１の閾値の例として６ｄｐｓ、第２の閾値の例として３ｄｐｓを挙げているが、第１の閾値よりも第２の閾値が小さい値であればよい。また、第１の閾値を実施例１と同様の値にしているが、段階的な制御を行うために第１の閾値を実施例１の値よりも大きい値（例えば、１２ｄｐｓ）などにしてもよい。

また、角速度データが第１の閾値と第２の閾値の間となる場合に、過去の相対被写体角速度に基づいて算出した被写体角加速度を１／２にした被写体角加速度を用いているが、反映させる被写体角加速度の割合は１／２に限定されず、１より小さければよい。

また、本実施例では、加速度データを２つの閾値と比較して段階的な制御を行うようにしているが、３つ以上の閾値と比較して段階的に制御するようにしてもよい。あるいは、加速度データと露光時の相対被写体角速度を決定する際に反映させる露光時までの被写体角加速度の割合とを対応づけたテーブルをマイコン１３０内のメモリに記憶しておき、当該テーブルに基づいて段階的な制御を行うようにしてもよい。

また、実施例１及び２では、角加速度を算出せずに０とすることで角加速度の算出結果を反映させずに露光時の相対被写体角速度を決定するが、角加速度を算出したうえで角加速度の算出結果をまったく反映させずに露光時の相対被写体角速度を決定してもよい。

また、実施例１及び２では、加速度データと閾値との比較を行い露光時の相対被写体角速度を決定する方法を変更しているが、加速度データを用いて算出される被写体角加速度と閾値との比較を行い露光時の相対被写体角速度を決定する方法を変更してもよい。

また、実施例１及び２では、レンズ一体型のカメラの例を説明したが、レンズ交換型のカメラでもよく、交換レンズに設けられた角速度センサを用いてよい。

また、実施例１及び２では、ユーザの操作に応じて流し撮りアシストモードが設定される場合の例を説明したが、カメラがカメラの動きを判定して自動的に流し撮りアシストモードに移行するようにしてもよい。

また、実施例１及び２では、被写体の移動速度とパンニング速度の差を補正するための補正素子にシフトレンズを用いた例を説明したが、撮像素子を補正素子として利用し、撮像素子を移動させて被写体の移動速度とパンニング速度の差を補正してもよい。

１００ カメラ
１０４ シフトレンズ
１０７ 角速度センサ
１３０ マイクロコンピュータ

Claims (6)

1. 流し撮りが可能な撮像装置であって、
   撮像手段で得られた時間的に連続した画像に基づいて被写体の動きベクトルを検出する第１の検出手段と、
   前記撮像装置の動きを検出する第２の検出手段と、
   前記第１の検出手段の検出結果と前記第２の検出手段の検出結果に基づいて、前記被写体の前記撮像装置に対する角速度を算出する第１の算出手段と、
   前記算出手段により算出された複数の角速度に基づいて、前記被写体の前記撮像装置に対する角加速度を算出する第２の算出手段と、
   前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度に基づいて補正素子を移動させ、前記被写体の像ブレを補正する補正手段と、を有し、
   前記補正手段は、前記補正素子の制御に用いる、前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度を決定する際に反映させる前記第２の算出手段の算出結果の度合いを、前記第２の検出手段の検出結果に応じて変更することを特徴とする撮像装置。
2. 前記第２の検出手段は、前記撮像装置の角速度データを検出し、
   前記補正手段は、前記第２の検出手段により検出された角速度データの値に応じて、前記第２の算出手段の算出結果の度合いを変更することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記第２の検出手段により検出された角速度データの絶対値が第１の閾値以下の場合、前記第２の算出手段の算出結果を反映させずに前記補正素子の制御に用いる前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記補正手段は、前記第２の検出手段により検出された角速度データの絶対値が第１の閾値より大きい場合、前記第１の算出手段の算出結果と前記第２の算出手段の算出結果とに基づいて、前記補正素子の制御に用いる前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度を決定することを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記第２の検出手段により検出された角速度データの値に応じて、前記算出手段の算出結果の度合いを段階的に変更することを特徴とする請求項２に記載の撮像装置。
6. 流し撮りが可能な撮像装置の制御方法であって、
   撮像手段で得られた時間的に連続した画像に基づいて被写体の動きベクトルを検出する第１の検出ステップと、
   前記撮像装置の動きを検出する第２の検出ステップと、
   前記第１の検出ステップの検出結果と前記第２の検出ステップの検出結果に基づいて、前記被写体の前記撮像装置に対する角速度を算出する第１の算出ステップと、
   前記算出ステップで算出された複数の角速度に基づいて、前記被写体の前記撮像装置に対する角加速度を算出する第２の算出ステップと、
   前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度に基づいて補正素子を移動させ、前記被写体の像ブレを補正する補正ステップと、を有し、
   前記補正ステップは、前記補正素子の制御に用いる、前記撮像手段による露光時の前記被写体の前記撮像装置に対する角速度を決定する際に反映させる前記第２の算出ステップの算出結果の度合いを、前記第２の検出ステップの検出結果に応じて変更することを特徴とする撮像装置。

Images