JP2017201356A - 像振れ補正装置、撮像装置、像振れ補正装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】流し撮りアシストモード中において、手ブレ、及び、被写体ブレの補正量を確認しながら、安定した画像で被写体を狙いながらアシスト効果を得られる撮像装置を提供すること。
【解決手段】像振れ補正装置は、表示手段を備えた撮像装置において用いられ、移動する主被写体を追って前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行い、前記撮像装置により取得される画像から前記主被写体の領域を抽出して表示するよう前記表示手段を制御する制御手段（１０３）と、前記撮像装置に加わる振れを検出する第１の検出手段にて検出された振れと前記画像から動きベクトルを検出する第２の検出手段にて検出された動きベクトルに基づいて、被写体の動きを算出する算出手段（１０３）とを有し、前記制御手段は前記主被写体の領域を、前記静止画像を取得するための撮影開始前に、前記被写体の動きに基づいて変更する。
【選択図】図２

Description

本発明は、カメラ等に搭載される像振れ補正装置およびその制御方法に関し、特に流し撮りを好適に行うための撮影補助技術に関する。

カメラによる流し撮りは、被写体（動体）を撮影するときに、被写体を追いながら通常よりも遅いシャッター速度で撮影する手法である。この方法によれば、背景が流れ、被写体が静止している画像が得られる。撮影者は、流し撮りにより、スピード感あふれる写真を撮影することができる。しかし、長秒撮影が行われるので、露光期間中に被写体のスピードとカメラを振る速度とを合わせることは熟練を要する撮影技術である。

流し撮りを簡単に実現するために、特許文献１には被写体の速度と、カメラを振る速度との差分を検出し、当該差分に相当するズレ量を、手ブレ補正機能を用いて補正する方法（以下、流し撮りアシストモード）が開示されている。撮影直前には、カメラ内の角速度センサにより、被写体を追っているカメラのパンニングに対する角速度が検出される。同時に撮像面上の主被写体像の移動量が検出される。検出したパンニング角速度と撮像面上の被写体像の移動量から被写体の角速度が算出される。そして露光中には、算出した被写体の角速度と、カメラ内の角速度センサ出力との差分量に従って像振れ補正動作が行われる。これにより、被写体とカメラのパンニング速度の差、および手ブレ量が補正されるので、流し撮り対象である被写体の像振れを抑えることができる。

特開２００６−３１７８４８号公報

しかしながら、上述の特許文献１に開示された従来技術では、被写体像の像面上の移動量を正確に検出するために、本撮影前の手ブレ補正機能を停止させている。そのため、特に焦点距離が長いレンズでは、手ブレの影響により、被写体を画角内に安定させることが難しい。また、被写体のスピードとカメラを振る速度が合っていない場合も、被写体が画角内で動いてしまうため（以下、被写体ブレ）、その結果、シャッターチャンスを逃してしまうといった影響が発生する。

本発明の目的は、流し撮りアシストモード中において、手ブレ及び被写体ブレの補正機構を動作させ、安定した画像で被写体を狙いながらアシスト効果を得られる像振れ補正装置を提供することである。さらに、該像振れ補正装置を有する撮像装置、該像振れ補正装置の制御方法、プログラム及び記憶媒体を提供することである。

また、前記補正量をユーザに示すことで、より高いアシスト効果が得られることを可能にしている。

本発明の一側面としての像振れ補正装置は、表示手段を備えた撮像装置において用いられ、移動する主被写体を追って前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う像振れ補正装置であって、前記撮像装置により取得される画像から前記主被写体の領域を抽出して表示するよう前記表示手段を制御する制御手段と、前記撮像装置に加わる振れを検出する第１の検出手段にて検出された振れと前記画像から動きベクトルを検出する第２の検出手段にて検出された動きベクトルに基づいて、被写体の動きを算出する算出手段と、を有し、前記制御手段は、前記主被写体の領域を、前記静止画像を取得するための撮影開始前に、前記被写体の動きに基づいて変更することを特徴とする。

本発明によれば、流し撮りアシストモード中において、手ブレ、及び、被写体ブレの補正機構を動作させ、安定した画像で被写体を狙いながらアシスト効果を得ることができる。

また、前記補正量をユーザに示すことで、より高いアシスト効果が得られることを可能にしている。

本発明の実施形態に共通する撮像装置のブロック構成図 第一の実施形態における流し撮りアシスト全体のフローチャート 第一の実施形態におけるブレ補正の詳細を示したフローチャート 第一の実施形態における流し撮りアシストの表示を示した図 第一の実施形態における被写体ブレ成分の表示処理のフローチャート 第一の実施形態における流し撮りアシスト処理のフローチャート 第二の実施形態における流し撮りアシスト全体のフローチャート 第二の実施形態におけるブレ補正の詳細を示したフローチャート 第二の実施形態における流し撮りアシストの表示を示した図 第二の実施形態における流し撮りアシスト処理のフローチャート

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、第１の実施形態の像振れ補正装置を実現する一つの例である撮像装置１００の基本構成を示すブロック図である。

撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。光学系１０１は、レンズ、シャッター、絞りから構成されており、制御手段であるＣＰＵ１０３の制御によって被写体からの光を任意の位置に移動して、撮像素子１０２に結像させる。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。

ジャイロセンサなどの角速度センサ（第１の検出手段）１０５は、撮像装置１００の移動量を表す角速度を検出し、電気信号に変換してＣＰＵ１０３へ伝達する。ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりもする。二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。

記録媒体１０７は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であっても良い。

なお、本実施形態の撮像装置１００は、画像処理装置１０６が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１１０から設定可能である。画像処理装置１０６は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。

本発明の像振れ補正装置は、少なくとも、ＣＰＵ１０３、角速度センサ１０５、および、画像処理装置１０６により構成されるが、他の構成を含んでもよい。

図２は、本実施形態における流し撮りアシストモードのフローチャートである。Ｓ２０１〜Ｓ２０６は、本撮影前の予備動作期間中の処理である。

まずＳ２０１において、ＣＰＵ１０３は、撮像素子１０２で変換された画像信号の表示領域を、流し撮りアシスト用のブレ補正を行うために設定された領域に制限して、ブレ情報を表示する領域とともに、表示部１０９に表示する。Ｓ２０２において、ＣＰＵ１０３は、シャッターボタン（操作部１１０）の半押し（以降、ＳＷ１）がなされたかどうかの判定を行う。ＳＷ１が押されない場合（Ｓ２０２のＦａｌｓｅ）、ＣＰＵ１０３は、ＳＷ１が押されるまで待機する。そして、ＳＷ１が押された場合（Ｓ２０２のＴｒｕｅ）、Ｓ２０３以降の処理に進む。

なお、ＳＷ１入力を起点として以降の処理に進むのは一例であり、流し撮りアシストモードに入ることを起点として、常にＳ２０３以降の処理を行うようにしても良い。

Ｓ２０３において、ＣＰＵ１０３は、角速度センサ１０５で検出された撮像装置１００の角速度を取得する。Ｓ２０４において、ＣＰＵ１０３は、撮像素子１０２で連続して取得された画像を複数のブロック領域に分割した後、第２の検出手段としての画像処理装置１０６を用いて、画像間における動きベクトルを検出する。そして、検出された動きベクトルを撮像面上の移動量に換算する。

Ｓ２０５において、算出手段としてのＣＰＵ１０３は、Ｓ２０３で取得した撮像装置１００の角速度と、Ｓ２０４で撮像面上の移動量に変換された動きベクトルを用いて、被写体の動きベクトル（以下、被写体ベクトル）を特定し、被写体角速度を算出する。

動きベクトルには、流し撮り対象である被写体ベクトルと、それ以外の背景のベクトル（以下、背景ベクトル）があり、被写体角速度は、撮像装置１００の角速度に、被写体ベクトルのズレ量を加味することで算出できる。被写体ベクトルを特定する方法としては、例えば、撮像装置１００の角速度に相当する撮像面上の移動量に近いものを背景ベクトルとする方法がある。また、動きベクトルの大きさが小さいものを被写体ベクトルとする方法もあるが、この限りではなく、その他の方法で特定しても良い。

なお、撮像装置１００の角速度ω［ｒａｄ／ｓｅｃ］は、焦点距離をf［ｍｍ］、画像を取得する間隔（以降、フレームレート）をｆｐｓ［ｆｒａｍｅ／ｓｅｃ］としたとき、式１を用いて、画像間における撮像面上の移動量a［ｍｍ］に変換される。

Ｓ２０６において、ＣＰＵ１０３は、画像処理装置１０６を用いて、ブレ補正を行い、補正結果、及び、補正量を、表示部１０９に表示する。

図２、Ｓ２０６の処理は、本実施形態において特徴となるブレ補正に関する処理である。したがって、以下、図３、図４、図５を用いて詳細を説明する。

図３は、本実施形態において特徴となるブレ補正の詳細を示したフローチャートである。以下、図３を用いて、本実施形態において特徴となるブレ補正の詳細について説明する。

Ｓ３０１において、ＣＰＵ１０３は、図２、Ｓ２０５で特定された被写体ベクトルを用いて、撮像素子１０２で変換された画像信号の表示する領域を移動させて表示部１０９に表示する。Ｓ３０２において、ＣＰＵ１０３は、画像処理装置１０６を用いて、被写体ベクトルに分離手段としてのローパスフィルタ（以下、ＬＰＦ）をかけることで被写体ブレ成分を抽出する。そして、ＣＰＵ１０３は、被写体ベクトルと被写体ブレ成分の差分値をとることで手ブレ成分を算出する。

Ｓ３０３において、ＣＰＵ１０３は、手ブレ成分と特定された補正量を表示部１０９に表示する。Ｓ３０４において、ＣＰＵ１０３は、被写体ブレ成分と特定された補正量を表示部１０９に表示する。

以上のように、撮像面上の表示領域を移動させることでブレ補正を行い、ブレ成分を手ブレ成分と被写体ブレ成分の情報に分離して表示するのが、ブレ補正の処理である。

図４は、本実施形態における流し撮りアシストモードの表示について具体的に示した図である。以下、図４を用いて、本実施形態における流し撮りアシストモードの表示について具体的に説明する。

図４（Ａ）は、従来の流し撮りアシストモードの表示を、図４（Ｂ）は、本実施形態の流し撮りアシストモードの表示を示している。４０１は、従来の流し撮りアシストモードで撮影したい目標画像を示している。目標画像の決定方法としては、例えば、ＳＷ１押下時における画像を目標画像とする方法があるが、この限りではなく、その他の方法で決定しても良い。

４０２は、ＳＷ２押下前の予備動作中の期間を示しており、図２、Ｓ２０１〜Ｓ２０６までの処理は、この予備動作期間中４０２に行われる。

まず、図４（Ａ）を用いて、従来の流し撮りアシストモードの表示について説明する。４０１を撮影したい画像の画角とすると、ユーザは、４０５の画角となるように撮像装置１００をパンニングする。従来の流し撮りアシストモードでは、被写体像の像面上の移動量を正確に検出するために、光学系１０１に含まれる補正手段としてのシフトレンズ４０６の位置を可動範囲４０７の中心位置に固定していた。そして、撮像素子１０２で変換された画像信号をそのまま表示部１０９に表示していた。その結果、手ブレや被写体ブレの影響で、４０８のように被写体の位置が画角内で安定せず、被写体を追うことが難しかった。

上記の課題を受け、本実施形態における流し撮りアシストモードの表示について、図４（Ｂ）を用いて説明する。４１３は、本実施形態における流し撮りアシストモードで撮影したい目標画像を示している。なお、本実施形態では、図２、Ｓ２０１でも示している通り、ブレ補正を行うために画像の表示領域を、撮像面全体４１４から４１５のように制限している。したがって、目標画像４１３と表示領域４１５が対応するものとする。

４１６は、本実施形態における流し撮りアシストモードの基本となる表示であり、図２、Ｓ２０１において表示される。４１７は、表示領域４１５を表示する領域である。図３、Ｓ３０１において、手ブレや被写体ブレの影響で移動した被写体に合わせて表示領域が移動した場合は、移動後の領域４１８を表示することで、ブレ補正効果を得る。

４１９は、ＰＩＴＣＨ方向の手ブレ補正量を、４２０は、ＹＡＷ方向の手ブレ補正量を示すゲージであり、それぞれ、４２１、４２２のマークで手ぶれ補正量を示す。４２３は、本実施形態において特徴となるブレ補正に関する表示であり、図２、Ｓ２０６において表示される。

図３、Ｓ３０２で手ブレ成分とされたものの出力に従い、Ｓ３０３において、４２１、４２２のマークをそれぞれ４２４、４２５のように動かすことで手ブレ補正量を示す。図３、Ｓ３０２で被写体ブレ成分とされたものの出力に従い、Ｓ３０４において、矩形４２６を動かすことで被写体ブレ補正量を示す。以上、予備動作期間中４０２の具体的な表示について示した。

図５は、図３、Ｓ３０４の被写体ブレ成分の表示に関する処理の詳細を示したフローチャートである。以下、図５を用いて、矩形４２６の表示方法について具体的に説明する。なお、図５における基準位置は、ＳＷ１押下直後の撮像面上の被写体位置とする。

Ｓ５０１において、被写体位置算出手段としてのＣＰＵ１０３は、画像処理装置１０６を用いて、現在の撮像面上の被写体位置（以下、被写体位置）を算出する。Ｓ５０２において、ＣＰＵ１０３は、画像処理装置１０６を用いて、基準位置と被写体位置の差分をとり、前記差分値が閾値以上であるかを判定する。そして、前記差分値が閾値以上の場合（Ｓ５０２のＴｒｕｅ）はＳ５０３に処理を進め、閾値未満の場合（Ｓ５０２のＦａｌｓｅ）は矩形４２６を移動させずに処理を終了する。

Ｓ５０３において、ＣＰＵ１０３は、画像処理装置１０６を用いて、前記差分値が予め設定された最大移動量以上であるかを判定する。前記差分値が最大移動量以上である場合（Ｓ５０３のＴｒｕｅ）はＳ５０４に処理を進め、矩形４２６の表示位置を最大移動量まで移動させる。また、前記差分値が最大移動量未満である場合（Ｓ５０３のＦａｌｓｅ）はＳ５０５に処理を進め、矩形４２６の表示位置を被写体位置まで移動させる。

最後にＳ５０６において、ＣＰＵ１０３は、矩形４２６の移動後の位置に更新することで次フレーム以降の処理に備える。

以上の処理により、矩形４２６が過敏に反応することを抑制し、滑らかに移動させることが可能となる。その結果、流し撮り撮影中に矩形の移動が視界に入っても、パンニングに影響を与えにくくなり、ユーザにパンニングが早いか遅いかを通知することもできる。

以上、本実施形態において特徴となるブレ補正に関する処理に関して示した。以上の処理により、ユーザは安定した画像４１７で被写体を狙いながらアシスト効果を得ることが可能となる。また、手ブレ補正量４２４、４２５と、被写体ブレ補正量（矩形４２６）も同時に見ることが可能であるため、流し撮り撮影中のパンニング修正や、以降の撮影に役立てることが可能となる。

以下、図２に戻って説明する。

図２、Ｓ２０７において、ＣＰＵ１０３は、露光（撮影）を開始するフローに移行するかどうかの判定を行う。なお、ここではシャッターボタン（操作部１１０）の全押し（以降、ＳＷ２）がなされたかどうかの判定を行う。ＳＷ２が行われていない場合（Ｓ２０７のＦａｌｓｅ）、ＣＰＵ１０３は、Ｓ２０３からＳ２０６までの動作を繰り返し行うが、ＳＷ２が行われた場合（Ｓ２０７のＴｒｕｅ）、Ｓ２０８へ進む。

Ｓ２０８は、露光期間中の処理である。Ｓ２０８において、ＣＰＵ１０３は、流し撮りアシストの処理を行う。Ｓ２０９は、露光終了後の処理である。Ｓ２０９において、ＣＰＵ１０３は、画像処理装置１０６を用いて、撮影された画像を現像し、記録媒体１０７に記録する。

図６は、図２、Ｓ２０８の流し撮りアシスト処理の詳細を示したフローチャートである。以下、図６を用いて、流し撮りアシスト処理の詳細について説明する。

Ｓ６０１において、ＣＰＵ１０３は、Ｓ２０３で取得した撮像装置１００の角速度と、Ｓ２０５で算出した被写体角速度の差分を算出することで、流し撮りアシストにおける補正量を算出する。なお、この流し撮りアシストにおける補正量は、Ｓ２０３で取得した撮像装置の角速度の単位時間当たりの変化量と、Ｓ２０５で算出した被写体角速度の単位時間当たりの変化量の差分、つまりは、両角速度の差分を時間微分した量に基づいても算出することができ、また、両角速度の差分を時間積分した量に基づいても算出できる。

Ｓ６０２において、ＣＰＵ１０３は、Ｓ６０１で算出した補正量に基づいて、補正手段としてのシフトレンズ（光学系１０１）を動かす。すなわち、被写体角速度と撮像装置１００のパンニング角速度のズレを補正することで、被写体ブレを抑えるようにシフトレンズ（光学系１０１）を動かす。以上の処理により、流し撮り撮影をアシストすることが可能となる。

Ｓ６０３において、ＣＰＵ１０３は、画像処理装置１０６を用いて、Ｓ６０１で算出した角速度の差分値（補正量）にＬＰＦをかけ、手ブレ成分と被写体ブレ成分に分離する。

図６、Ｓ３０３において、ＣＰＵ１０３は、図３、Ｓ３０３同様、手ブレ成分と特定された補正量を表示部１０９に表示する。図６、Ｓ３０４において、ＣＰＵ１０３は、図３、Ｓ３０４同様、被写体ブレ成分と特定された補正量を表示部１０９に表示する。なお、図６、Ｓ３０３、Ｓ３０４の処理については、図３、Ｓ３０３、Ｓ３０４の処理と基本的には同じであるため、説明は省略する。 以上の処理により、流し撮りアシストにおける本撮影中も予備動作中と同様の表示を行うことが可能となる。

以上、流し撮りアシスト処理の詳細について示した。

以下、再び図４を用いて、本実施形態における流し撮りアシストモードの表示について具体的に説明する。

４０３は、ＳＷ２押下後の露光中の期間を示しており、図２、Ｓ２０８の処理は、この露光期間中４０３に行われる。また、４０４は、露光終了後の期間を示しており、図２、Ｓ２０９の処理は、この露光終了後の期間中４０４に行われる。

まず、図４（Ａ）を用いて、従来の流し撮りアシストモードの表示について説明する。４０８でも説明したが、手ブレや被写体ブレの影響で被写体の位置が安定しないため、ＳＷ２時の画角４０９がベースとなって流し撮りアシストの補正が行われる。被写体角速度と撮像装置１００のパンニング角速度が合っていないと、被写体がブレてしまうため、４１０のようにシフトレンズ４０６を動かすことで被写体ブレ、及び、手ブレを抑制する。なお、露光期間中４０３は、シフトレンズ４０６で補正するため、４１１のように撮像面上の被写体の位置は安定する。最終的には予備動作期間中４０２の手ブレや被写体ブレの影響がのった画像となるため、目標画像である４０１とは、異なった画角４１２となってしまう。

上記の課題を受け、図４（Ｂ）を用いて、本実施形態における流し撮りアシストモードの表示について説明する。予備動作期間中同様、４２３のような表示を行っても良いが、別例として４２７の表示を用いて説明する。

露光期間中４０３は、シフトレンズ４０６で補正するため、４１１のように撮像面上の被写体位置は安定する。したがって、撮像面上の表示領域は変化しないため、ＳＷ２後の矩形４２６の位置を固定する。露光期間中４０３は、表示用の画像を新しく取得できないため、ＳＷ２直前の画像を被写体ブレ補正量分、表示位置を移動させて４２８のように表示する。

なお、手ブレ補正量については、４２３の表示同様、表示部１０９の周辺部で４２４、４２５のようにマークを動かすことで、本撮影のパンニングに影響を与えにくく、ユーザにパンニングが早いか遅いかを通知することもできる。

最終的には目標画像４１３が全画像４２９の画角内に含まれた画像となるため、目標画像４１３に相当する画像を後処理で取得することができる。

したがって、図２、Ｓ２０９において、ＣＰＵ１０３は、画像処理装置１０６を用いて、現像された画像をそのまま記録媒体１０７に記録しても良いし、目標画像４１３に相当する領域だけを切り出して記録媒体１０７に記録しても良い。以上の処理により、流し撮りアシスト本撮影中も、予備動作期間中４０２と同様にユーザをサポートする表示が可能となる。

以上、本実施形態における流し撮りアシストモードの処理について示した。以上の処理により、流し撮りアシストモードの全体を通して、ユーザは手ブレやパンニングの遅れなどの情報を知りながら、安定した画像で被写体を狙えるようになるため、より効果的なアシストが期待できるようになる。

最後に、本実施形態においてはシフトレンズ（光学系１０１）による、被写体の結合位置の補正の例を示したが、本発明はこれに限定されるものではなく、例えば撮像素子１０２自体をシフトさせるなどといった形態でも実現することが可能である。また、本実施形態においては手ブレと被写体ブレの両方を表示したが、本発明はこれに限定されるものではなく、どちらか一方だけを表示するような実施形態でも良い。

図１は、第２の実施形態の像振れ補正装置を実現する一つの例である撮像装置１００の基本構成を示すブロック図である。なお、図１に関しては実施例１で説明しているため、ここでは説明を省略する。図７は、本実施形態における流し撮りアシストモードのフローチャートである。

Ｓ２０１〜Ｓ２０４、Ｓ７０１〜Ｓ７０４は、本撮影前の予備動作期間中の処理である。Ｓ２０１〜Ｓ２０３の処理に関しては、図２、Ｓ２０１〜Ｓ２０３と同様の処理であるため、ここでは説明を省略する。Ｓ７０１において、ＣＰＵ１０３は、Ｓ２０３で検出した撮像装置１００の角速度に抽出手段としてのハイパスフィルタ―（以下、ＨＰＦ）をかけることで手ブレ成分を抽出する。そして、前記手ブレ成分に基づいてシフトレンズ（光学系１０１）を動かすことで、手ブレを補正する。

Ｓ７０２において、位置取得手段としてのＣＰＵ１０３は、Ｓ７０１で動かしたシフトレンズ（光学系１０１）の位置を取得する。そして、取得されたシフトレンズ位置の変位量を撮像面上の移動量に換算する。Ｓ２０４の処理に関しては、図２、Ｓ２０４と同様の処理であるため、ここでは説明を省略する。

Ｓ７０３において、ＣＰＵ１０３は、Ｓ２０３で取得した撮像装置１００の角速度と、Ｓ２０４で撮像面上の移動量に変換された動きベクトルを用いて被写体ベクトルを特定する。さらに、Ｓ７０２で取得したシフトレンズ（光学系１０１）の位置を用いて、被写体角速度を算出する。なお、被写体角速度は、撮像装置１００の角速度に、被写体ベクトルのズレ量と、シフトレンズ（光学系１０１）の補正量を加味することで算出できる。

Ｓ７０４において、ＣＰＵ１０３は、図２、Ｓ２０６と同様、画像処理装置１０６を用いて、ブレ補正を行い、補正結果、及び、補正量を、表示部１０９に表示する。図７、Ｓ７０４の処理は、本実施形態において特徴となるブレ補正に関する処理である。したがって、以下、図８、図９、図１０を用いて詳細を説明する。

図８は、本実施形態において特徴となるブレ補正の詳細を示したフローチャートである。以下、図８を用いて、本実施形態において特徴となるブレ補正の詳細について説明する。

Ｓ３０１の処理に関しては、図３、Ｓ３０１と同様の処理であるため、ここでは説明を省略する。Ｓ８０１において、ＣＰＵ１０３は、図７、Ｓ７０１で算出した手ブレ成分を取得する。Ｓ８０２において、ＣＰＵ１０３は、Ｓ８０１で取得した手ブレ成分が所定の閾値以上であるかを判定する。

手ブレ成分が所定の閾値以上の場合（Ｓ８０２のＴｒｕｅ）、Ｓ８０３に処理を進め、手ブレ成分が所定の閾値以上あることを表示部１０９に表示する。手ブレ成分が所定の閾値未満の場合（Ｓ８０２のＦａｌｓｅ）は、Ｓ８０３の処理を飛ばして、Ｓ８０４の処理に移る。

Ｓ８０４において、ＣＰＵ１０３は、被写体ベクトルに基づいて、被写体ブレ成分を取得する。なお、本実施形態においては、図７、Ｓ７０１のシフトレンズ（光学系１０１）駆動により手ブレ成分は抑制されているため、被写体ベクトルが被写体ブレ成分と同等なものとなる。

Ｓ８０５において、ＣＰＵ１０３は、被写体ブレ成分が所定の閾値以上であるかを判定する。被写体ブレ成分が所定の閾値以上の場合（Ｓ８０５のＴｒｕｅ）は、Ｓ８０６の判定に処理を進め、被写体ブレ成分が所定の閾値未満の場合（Ｓ８０５のＦａｌｓｅ）は、以降の処理を飛ばして処理を終了する。

Ｓ８０６において、ＣＰＵ１０３は、被写体ブレ成分の移動方向を判定する。移動方向が正の場合（Ｓ８０６のＴｒｕｅ）は、Ｓ８０７に処理を進め、正の方向に被写体ブレが発生していることを表示部１０９に表示する。

移動方向が負の場合（Ｓ８０６のＦａｌｓｅ）は、Ｓ８０８に処理を進め、負の方向に被写体ブレが発生していることを表示部１０９に表示する。以上のように、撮像面上の表示領域を移動させることでブレ補正を行い、ブレ成分を手ブレ成分と被写体ブレ成分の情報に分離して表示するのが、ブレ補正の処理である。

図９は、本実施形態における流し撮りアシストモードの表示について具体的に示した図である。以下、図９を用いて、本実施形態における流し撮りアシストモードの表示について具体的に説明する。

図９（Ａ）は、従来の流し撮りアシストモードの表示を、図９（Ｂ）は、本実施形態の流し撮りアシストモードの表示を示している。４０１〜４０８については、図４（Ａ）、４０１〜４０８と同じであるため、図９（Ａ）の説明は省略する。

被写体の位置が画角内で安定せず、被写体を追うことが難しいという課題を受け、本実施形態における流し撮りアシストモードの表示について、図９（Ｂ）を用いて説明する。４１３〜４１５、４１７、４１８については、図４（Ｂ）、４１３〜４１５、４１７、４１８と同じであるため、ここでは説明は省略する。

９０３、９０６は、図４（Ｂ）、４１６、４２３と同様、本実施形態における流し撮りアシストモードの基本となる表示と、本実施形態において特徴となるブレ補正に関する表示を示しており、それぞれ、図７、Ｓ２０１と、図７、Ｓ７０４において表示される。

９０４は、手ブレが所定の閾値以上あるかを表示する領域であり、手ブレが所定の閾値未満の場合は消灯しているが、手ブレが所定の閾値以上の場合は９０９のように明滅することで、ユーザに手ブレ量が多いことを通知する。９０５は、被写体ブレ補正量を表示する領域であり、被写体ブレが発生している方向の領域を９１０のように点灯することで被写体ブレ補正量を示す。９０７は、シフトレンズ４０６の手ブレ補正用の駆動を示しており、手ブレ補正が行われるため、撮像面上には、９０８のように手ブレが抑制されたものがうつる。

そして、手ブレ補正量が所定の閾値以上の場合は、９０４の領域を９０９のように明滅させることで、ユーザに手ブレが多いことを通知する。以上、本実施形態において特徴となるブレ補正に関する処理に関して示した。

以上の処理により、ユーザは安定した画像４１７で被写体を狙いながらアシスト効果を得ることが可能となる。また、実撮影に影響を与えない程度のブレ量のときには、あえて表示をさせず、表示させる情報量も絞ることで、ユーザのパンニングにより影響を与えにくくすることができる。

以下、図７に戻って説明する。Ｓ２０７の処理に関しては、図２、Ｓ２０７と同様の処理であるため、ここでは説明を省略する。

Ｓ７０５は、露光期間中の処理である。Ｓ７０５において、ＣＰＵ１０３は、流し撮りアシストの処理を行う。露光後の処理であるＳ２０９の処理に関しては、図２、Ｓ２０９と同様の処理であるため、ここでは説明を省略する。

図１０は、図７、Ｓ７０５の流し撮りアシスト処理の詳細を示したフローチャートである。以下、図１０を用いて、流し撮りアシスト処理の詳細について説明する。

Ｓ６０１の処理に関しては、図６、Ｓ６０１と同様の処理であるため、ここでは説明を省略する。Ｓ１００１において、ＣＰＵ１０３は、シフトレンズ（光学系１０１）の残補正角が、流し撮りアシストを行う上で必要な補正角を満たしているかを判定する。補正角が十分な場合（Ｓ１００１のＴｒｕｅ）は、そのままＳ６０２の処理に進め、補正角が不十分な場合（Ｓ１００１のＦａｌｓｅ）は、Ｓ１００２に処理を進め、シフトレンズ（光学系１０１）を補正角がとれる位置まで動かす。

なお、補正角がとれる位置までシフトレンズ（光学系１０１）を動かすため、シフトレンズ（光学系１０１）の移動前後で撮像面上の被写体の位置が変化してしまう。しかし、図９（Ｂ）、４１７に表示する画像領域や、シフトレンズ４０６の可動範囲４０７を予め制限することで画角内に収まるようにすることができる。

Ｓ６０２、Ｓ６０３の処理に関しては、図６、Ｓ６０２、Ｓ６０３と同様の処理であるため、ここでは説明を省略する。Ｓ８０２〜Ｓ８０８の処理に関しては、図８、Ｓ８０２〜Ｓ８０８と同様の処理であるため、ここでは説明を省略する。以上の処理により、流し撮りアシストにおける本撮影中も予備動作中と同様の表示を行うことが可能となる。

以上、流し撮りアシスト処理の詳細について示した。

以下、再び図９を用いて、本実施形態における流し撮りアシストモードの表示について具体的に説明する。

９０１は、ＳＷ２押下後から露光開始直前までの期間を示しており、図１０、Ｓ１００１、Ｓ１００２の処理は、この期間９０１に行われる。

なお、４０３、４０４については、図４（Ａ）、４０３、４０４と同じであるため、ここでは説明は省略する。また、４０９〜４１２については、図４（Ａ）、４０９〜４１２と同じであり、９０２は、ＳＷ２押下後から露光開始直前までの期間９０１の表示を示しているだけであるため、図９（Ａ）の説明は省略する。

図９（Ｂ）を用いて、本実施形態における流し撮りアシストモードの表示について説明する。図１０、Ｓ１００１において、補正角が十分であると判定された場合の表示が９１１であり、基本的には表示９０６と同様の表示となる。

９１２も基本的には表示９０６と同様の表示となるが、露光期間中４０３は、表示用の画像を新しく取得できないため、ＳＷ２直前の画像を表示させ続ける。そして、９１３のように、シフトレンズ４０６を９０７の手ブレ補正後の位置から動かすことで被写体ブレ、及び、手ブレを抑制する。

最終的には目標画像４１３が全画像９１４の画角内に含まれた画像となるため、目標画像４１３に相当する画像を後処理で取得することができる。以上が、補正角が十分であると判定された場合の表示である。

以下、補正角が不十分であると判定された場合の表示について示す。

図１０、Ｓ１００１において、補正角が不十分であると判定された場合の表示が９１５である。図１０、Ｓ１００２の処理により、シフトレンズ４０６は、９１６のように補正角を確保する方向に動く。その結果、９１７のように撮像面上の被写体位置が移動する。そして、シフトレンズ４０６を動かしたことを示すため、９０４の領域を９１８のように点灯させる。なお、９１９の領域には、ＳＷ２直前の画像を表示させ続けることで、撮像面上の被写体位置の移動を意識しないで良くなる。

９２０は基本的には表示９１５と同様の表示となるため、説明は省略する。最終的には目標画像４１３が全画像９１４の画角内に含まれた画像となるため、目標画像４１３に相当する画像を後処理で取得することができる。以上が、補正角が不十分であると判定された場合の表示である。以上の処理より、流し撮りアシストの予備動作期間中４０２にシフトレンズ（光学系１０１）を用いて手ブレ補正を行う場合のユーザをサポートする表示が可能となる。

以上、本実施形態における流し撮りアシストモードの処理について示した。以上の処理により、流し撮りアシストモードの全体を通して、ユーザは手ブレやパンニングの遅れ、シフトレンズ（光学系１０１）の駆動などの情報を知りながら、安定した画像で被写体を狙えるようになるため、より効果的なアシストが期待できるようになる。

最後に、本実施形態においてはシフトレンズ（光学系１０１）による、被写体の結合位置の補正の例を示したが、本発明はこれに限定されるものではなく、例えば撮像素子１０２自体をシフトさせるなどといった形態でも実現することが可能である。また、本実施形態においては手ブレと被写体ブレの両方を表示したが、本発明はこれに限定されるものではなく、どちらか一方だけを表示するような実施形態でも良い。

なお、本実施形態においては、手ブレと被写体ブレを表示するために、消灯、明滅、点灯という３つで表現したが、色の差で表現するような実施形態でも良い。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、流し撮りアシストモード中において、手ブレ、及び、被写体ブレの補正機構を動作させることができる。その結果、安定した画像で被写体を狙いながらアシスト効果を得られる像振れ補正装置、撮像装置、像振れ補正装置の制御方法、プログラム、および、記憶媒体を提供することができる。

また、前記補正量をユーザに示すことで、より高いアシスト効果が得られることを可能にしている。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００：撮像装置
１０１：光学系
１０２：撮像素子
１０３：中央演算装置（ＣＰＵ）
１０４：一次記憶装置
１０５：角速度センサ
１０６：画像処理装置
１０７：記録媒体
１０８：二次記憶装置
１０９：表示部
１１０：操作部

Claims (22)

1. 表示手段を備えた撮像装置において用いられ、移動する主被写体を追って前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う像振れ補正装置であって、
   前記撮像装置により取得される画像から前記主被写体の領域を抽出して表示するよう前記表示手段を制御する制御手段と、
   前記撮像装置に加わる振れを検出する第１の検出手段にて検出された振れと前記画像から動きベクトルを検出する第２の検出手段にて検出された動きベクトルに基づいて、被写体の動きを算出する算出手段と、を有し、
   前記制御手段は、前記主被写体の領域を、前記静止画像を取得するための撮影開始前に、前記被写体の動きに基づいて変更することを特徴とする像振れ補正装置。
2. 前記画像は、移動する主被写体を追ってパンニング中の前記撮像装置により取得される、前記表示手段に表示される表示用画像であることを特徴とする請求項１に記載の像振れ補正装置。
3. 前記被写体の動きを被写体ブレ成分と手ブレ成分に分離する分離手段を更に有することを特徴とする請求項１または２に記載の像振れ補正装置。
4. 前記制御手段は、移動する被写体を追うパンニング中における、前記被写体ブレ成分の補正量と前記手ブレ成分の補正量の少なくとも一方を表示するよう、前記表示手段を制御することを特徴とする請求項３に記載の像振れ補正装置。
5. 前記制御手段は、前記静止画像を取得するための撮影中において、前記撮像装置の振れと前記被写体の動きに基づいて算出される補正量とに基づいて前記撮像装置が有する補正手段を駆動する制御を行うことを特徴とする請求項１乃至４のいずれか一項に記載の像振れ補正装置。
6. 前記主被写体の位置を算出する被写体位置算出手段を更に有し、
   前記制御手段は、
   現在の主被写体の位置と所定時間前の主被写体の位置との差の絶対値を第１の閾値と比較判定し、
   前記差が前記第１の閾値以上であって、所定の最大移動量以上であるときは、前記抽出された領域を前記所定の最大移動量だけ移動するよう変更し、
   前記差が前記第１の閾値以上であって、前記所定の最大移動量より小さいときは、前記抽出された領域を現在の主被写体を抽出できる位置まで移動するよう変更し、
   前記差が前記第１の閾値より小さいときは、前記抽出された領域を変更しない、
   ことを特徴とする請求項１乃至５のいずれか一項に記載の像振れ補正装置。
7. 前記撮像装置の振れは、撮像装置の角速度に関する量であり、
   前記被写体の動きは、被写体の動きベクトルであることを特徴とする請求項５または６に記載の像振れ補正装置。
8. 前記補正量は、前記撮像装置の角速度に関する量と被写体角速度に関する量の差分により算出され、
   前記被写体角速度は、前記被写体の動きベクトルと前記撮像装置の角速度に基づいて算出されることを特徴とする請求項７に記載の像振れ補正装置。
9. 前記撮像装置の振れから手ブレ成分を抽出する抽出手段を更に有し、
   前記撮影開始前に、前記抽出手段により抽出された前記手ブレ成分を用いて、前記補正手段を駆動する制御を行うことを特徴とする請求項５乃至８のいずれか一項に記載の像振れ補正装置。
10. 前記抽出手段により抽出された前記手ブレ成分に基づいて駆動された前記補正手段の位置を取得する位置取得手段を更に有し、
    前記制御手段は、前記撮影中において、前記撮像装置の振れと前記被写体の動きに基づいて算出される補正量に基づいて前記撮像装置が有する補正手段を駆動する制御を行い、
    前記撮像装置の振れは、撮像装置の角速度に関する量であり、
    前記被写体の動きは、被写体の動きベクトルであり、
    前記補正量は、前記撮像装置の角速度に関する量と被写体角速度に関する量の差分により算出され、
    前記被写体角速度は、前記被写体の動きベクトル、前記撮像装置の角速度、および、前記補正手段の位置に基づいて算出されることを特徴とする請求項９に記載の像振れ補正装置。
11. 前記抽出して表示された主被写体の領域は、前記撮像装置が取得する画像のうち前記主被写体を含む領域であることを特徴とする請求項１乃至１０のいずれか一項に記載の像振れ補正装置。
12. 前記手ブレ成分の補正量は、前記表示手段において、ゲージの増減、あるいは、ゲージ内のマークの移動で表現されることを特徴とする請求項４に記載の像振れ補正装置。
13. 前記被写体ブレ成分の補正量は、前記表示手段において、矩形の移動で表現されることを特徴とする請求項４または１２に記載の像振れ補正装置。
14. 前記表示手段は、前記手ブレ成分が第２の閾値以上のとき、明滅する領域を表示することを特徴とする請求項４に記載の像振れ補正装置。
15. 前記表示手段は、前記被写体ブレ成分の絶対値が第３の閾値以上であり、かつ、前記被写体ブレ成分がゼロ以上のとき、正の方向に被写体ブレが発生していることを示す領域を表示し、
    前記被写体ブレ成分の絶対値が第３の閾値以上であり、かつ、前記被写体のブレ成分がゼロより小さいとき、負の方向に被写体ブレが発生していることを示す領域を表示する、ことを特徴とする請求項４または１４に記載の像振れ補正装置。
16. 前記分離手段は、ローパスフィルタであることを特徴とする請求項３に記載の像振れ補正装置。
17. 前記抽出手段は、ハイパスフィルタであることを特徴とする請求項９に記載の像振れ補正装置。
18. 前記補正手段は、シフトレンズまたは撮像素子であることを特徴とする請求項５に記載の像振れ補正装置。
19. 被写体を撮像する撮像手段と、
    画像を表示する表示手段と、
    請求項１乃至１８のうちいずれか一項に記載の像振れ補正装置と、を有することを特徴とする撮像装置。
20. 表示手段を備えた撮像装置において用いられ、移動する主被写体を追って前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行う像振れ補正装置の制御方法であって、
    前記撮像装置により取得される画像から前記主被写体の領域を抽出して表示するよう前記表示手段を制御する制御ステップと、
    前記撮像装置に加わる振れと前記画像から検出される動きベクトルに基づいて、被写体の動きを算出する算出ステップと、を有し、
    前記制御ステップにおいて、前記主被写体の領域は、前記静止画像を取得するための撮影開始前に、前記被写体の動きに基づいて変更されることを特徴とする像振れ補正装置の制御方法。
21. 表示手段を備えた撮像装置のコンピュータに、移動する主被写体を追って前記撮像装置により取得された静止画像を前記表示手段に表示させる処理を行わせるコンピュータプログラムであって、
    前記処理は、
    前記撮像装置により取得される画像から前記主被写体の領域を抽出して表示するよう前記表示手段を制御する処理と、
    前記撮像装置に加わる振れと前記画像から検出される動きベクトルに基づいて、被写体の動きを算出する処理と、を有し、
    前記制御する処理において、前記主被写体の領域は、前記静止画像を取得するための撮影開始前に、前記被写体の動きに基づいて変更することを特徴とするコンピュータプログラム。
22. 請求項２１に記載のコンピュータプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。