JP2021085925A - 撮像装置、制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】流し撮り撮影において良好に被写体に係る像振れを補正することが可能な撮像装置を実現する。【解決手段】撮像装置は、撮像装置の振れを検出する第１の検出部と、所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部と、第１の検出部と前記第２の検出部の検出結果から前記静止画露光期間前の被写体角速度を検出する被写体角速度検出部と、前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測部と、前記被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部と、を有する。【選択図】図３

Description

本発明は撮像装置及び制御方法等に関する。

カメラ（撮像装置）の撮影方法の一つに、移動している被写体に対してカメラの向きを追従させつつ、スローシャッタで撮影することで、主被写体を静止させながら背景を流すことで躍動感のある写真を撮影する流し撮りがある。しかし、被写体の動きに合わせてカメラの向きを正しく追従させながら撮影することは困難で、正しく追従できなかった場合には、主被写体が静止せずに被写体振れが生じる可能性が高い。

そこで、流し撮りを簡単に撮影できるようにするため、様々な撮影アシスト機能が考えられる。第１のアシスト機能は、被写体振れを検出し光学補正系等で補正する機能である。第２のアシスト機能は、シャッタ速度を撮影シーンに応じてカメラが自動で設定する機能である。第３のアシスト機能は、カメラの撮影画角内の被写体の大きさをフレーム間で一定に保つためのズーム操作をカメラが自動で設定する機能である。

特許文献１は、等速直線運動をしている被写体を流し撮りするにあたり、被写体は等速であっても撮像装置から見ると角加速度変化を伴うため、被写体の角加速度を算出している。そして、静止画撮影用の露光前までの各動画フレームで算出した被写体角速度の履歴に基づいて静止画撮影用の露光中の被写体角速度を算出し、光学補正系を駆動させて被写体に係る像振れ（被写体振れ）を補正する撮像装置を開示している。

特開２０１８−５４６９８号公報

即ち、特許文献１が開示する撮像装置は、被写体角速度の履歴を保持し、過去数フレームの動画フレームの被写体角速度の差分から被写体角加速度を算出し、被写体角加速度の符号変化に基づいて静止画撮影用の露光中の被写体角速度の算出方法を制御している。
しかしながら、静止画撮影用の露光期間中は動きベクトルが検出できないため、露光時間が長い場合には、被写体振れを正しく補正することができないという課題があった。

そこで本発明の目的は、流し撮り撮影において良好に被写体に係る像振れを補正することが可能な撮像装置等を提供することにある。

本発明の撮像装置は、
撮像装置の振れを検出する第１の検出部と、
所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部と、
第１の検出部と前記第２の検出部の検出結果から前記静止画露光期間前の被写体角速度を検出する被写体角速度検出部と、
前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測部と、
前記被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部と、を有することを特徴とする。

本発明によれば、流し撮り撮影において良好に被写体に係る像振れを補正することが可能な撮像装置を実現することができる。

本発明の実施例のカメラシステムのブロック図である。 実施例における手振れ補正動作等に関する機能ブロック図である。 実施例における流し撮り制御の全体フローチャートである。 実施例における被写体ベクトル群の検出を説明するためのヒストグラムを示す図である。 実施例における被写体角速度と被写体角加速度の例を説明するための図である。 実施例における露光期間中の被写体角速度推定のフローチャートである。 実施例における同一撮影シーンの判定方法を説明するための図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
図１を参照して、本実施例におけるカメラシステム（撮像装置）の構成について説明する。
図１は、実施例のカメラシステムのブロック図である。図１において、１００は交換レンズ、１３０はカメラ本体である。交換レンズ１００は、撮影レンズユニット１０１、位置検出部１０５、ズームエンコーダ１０６、角速度検出部１１１、レンズマイコン１１２、ドライバ１１３、アンプ回路（ＡＭＰ）１１４、マウント接点部１１５を有する。

撮影レンズユニット１０１は、撮像光学系１０２、ズームレンズ群（以下、ズームレンズと記述）１０３、シフトレンズ１０４を有する。撮像光学系１０２は、被写体光をズームレンズ１０３とシフトレンズ１０４を介して撮像素子１３２に導く。ズームレンズ１０３は、焦点距離を変更可能なレンズ群である。シフトレンズ１０４は、撮像装置に加わる振れにより生じる撮像画像の振れ（像振れ）を光学的に補正するために用いられる補正手段である。具体的には、レンズマイコン１１２が、ドライバ１１３を制御することでシフトレンズ１０４を光軸に垂直な方向に駆動することによって、像振れが補正される。

ドライバ１１３はレンズを光軸に垂直な方向に移動させるレンズ駆動部として機能し、ドライバ１１３はレンズマイコン１１２、カメラマイコン１４１と共に振れ補正部として機能する。
位置検出部１０５は、シフトレンズ１０４の位置を検出する。位置検出部１０５は、例えばホール素子を含む。ズームエンコーダ１０６は、ズームレンズ１０３の位置を検出する。また、角速度検出部１１１は、撮像装置に加わる振れを検出し、角速度信号を振れ検出信号として出力する。角速度検出部１１１は、例えばジャイロセンサを含む。

また、ドライバ１１３は、シフトレンズ１０４を駆動する。アンプ回路１１４は、位置検出部１０５が検出したシフトレンズの位置を示す信号（位置検出信号）を増幅してレンズマイコン１１２に出力する。マウント接点部１１５は、交換レンズ１００とカメラ本体１３０との通信を中継する。

また、レンズマイコン１１２は、交換レンズ１００全体を制御する。レンズマイコン１１２は、手振れ補正制御部１２１と、流し撮り制御部１２２とを有する。手振れ補正制御部１２１は、手振れにより生じる像振れを補正する制御である手振れ補正制御を実行する。流し撮り制御部１２２は、流し撮りアシストの制御を実行する。流し撮りアシストの制御は、流し撮り時において、被写体の動きに対する撮像装置の撮影方向のズレに応じた被写体に係る像振れ（被写体振れ）を補正光学系で補正する制御である。

本実施例では、補正光学系としてシフトレンズ１０４を用いるが、補正光学系として撮像素子を光軸に垂直な面内でシフトさせるようにしてもよい。流し撮り制御部１２２は、被写体振れの補正に用いるシフトレンズ１０４の駆動量の算出に、カメラマイコン１４１が算出する被写体角速度を用いる。

レンズマイコン１１２は、手振れ補正制御と流し撮りアシストの制御の他に、フォーカスレンズ制御、絞り制御等も行うが、図の簡略化のために説明を省略する。また、手振れ補正制御の実行のためには、例えば縦方向と横方向といった、直交する２軸に関する振れの検出および補正が必要であるが、一方の軸に関する処理に必要な構成は、他方の軸に関する処理に必要な構成と同様である。したがって、以下では１軸に関する構成に関して説明する。

カメラ本体１３０は、シャッタ１３１、撮像素子１３２、アナログ信号処理回路（ＡＦＥ）１３３、カメラ信号処理回路１３４を備える。シャッタ１３１は、撮像素子１３２が受光する光量を調節する。撮像素子１３２は、例えば、ＣＭＯＳセンサ等であり、被写体光を光電変換して撮像画像に係る信号を出力する。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ＡＦＥ１３３は、撮像素子１３２が出力したアナログ信号をデジタル信号に変換してカメラ信号処理回路１３４に出力する。カメラ信号処理回路１３４は、ＡＦＥ１３３が出力した信号に対して所定の処理を実行する。

カメラ信号処理回路１３４は、撮像された動画フレームから動きベクトルを検出する動きベクトル検出部１４５を備える。ここで、動きベクトル検出部１４５は、後述するように、所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部として機能している。
また、カメラ本体１３０は、タイミングジェネレータ（ＴＧ）１３５、操作部１３６、メモリカード１３９、表示パネル（以下、ＬＣＤと記述）１４０を備える。ＬＣＤ１４０は、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略称である。

ＴＧ１３５は、撮像素子１３２やアナログ信号処理回路１３３の動作タイミングを設定する。操作部１３６は、ユーザーの操作入力を受け付ける。
操作部１３６は、電源スイッチ、レリーズスイッチ等を有する。メモリカード１３９には、撮影された映像（撮像画像）が記録される。ＬＣＤ１４０は、撮像画像を表示する。
また、カメラ本体１３０は、ドライバ１３７、シャッタ駆動用モータ１３８、角速度検出部１７１、距離検出部１８１、マウント接点部１４４、カメラマイコン１４１を備える。ドライバ１３７は、シャッタ駆動用モータ１３８を駆動する。

シャッタ駆動用モータ１３８は、シャッタ１３１を駆動する。角速度検出部１７１は角速度情報を取得するためのジャイロセンサ等を含み、角速度検出部１１１と共に、撮像装置の振れを検出する第１の検出部を構成している。撮像装置に加わる振れを検出して、角速度信号（振れ検出信号）をカメラマイコン１４１に出力する。距離検出部１８１は、被写体までの距離を検出する。マウント接点部１４４は、カメラ本体１３０と交換レンズ１００との通信を中継する。

カメラマイコン１４１は、カメラ本体１３０全体を制御する。例えば、カメラマイコン１４１は、カメラ信号処理回路１３４を制御することで撮像画像から取得される動きベクトルに基づいて、像振れ補正に用いられる被写体の角速度（被写体角速度）を算出する。また、カメラマイコン１４１は、交換レンズ１００のレンズマイコン１１２との間で、各種の情報（例えば流し撮りアシストの制御に必要な被写体角速度の情報など）を通信する。

カメラマイコン１４１は、シャッタ制御部１５１、被写体角速度算出部１５２、シャッタ速度算出部１５３、ズーム流し撮り制御部１５４を備える。なお、カメラマイコン１４１は、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。
シャッタ制御部１５１は、ドライバ１３７に指示して、シャッタ動作を制御する。被写体角速度算出部１５２は、上述した被写体角速度を算出する。被写体角速度算出部１５２は、算出した被写体角速度をレンズマイコン１１２に対して送信する。

具体的には、動きベクトル検出部１４５によって、画像の動き量が動きベクトルとして検出されるので、被写体角速度算出部１５２は、検出された動きベクトルから被写体に対応するベクトル（被写体ベクトル）を検出する。そして、被写体角速度算出部１５２は、検出された被写体ベクトルに基づいて、被写体角速度を算出する。カメラマイコン１４１は、算出された被写体角速度をレンズマイコン１１２に対して送信する。シャッタ速度算出部１５３は、流し撮りに適したシャッタ速度を算出する。ズーム流し撮り制御部１５４は、フレーム毎に撮影画角に写る被写体を一定の大きさで写すようにズーム位置を制御する。

以上の説明のように、本実施例の撮像装置は、補正手段を光軸と直交する方向に駆動して像振れ補正を行う像振れ補正装置を備えている。そして、カメラマイコン１４１とレンズマイコン１１２とが、撮像画像から得られる被写体角速度に基づいて、シフトレンズ１０４を駆動することにより、流し撮り時の被写体に係る像振れを補正する制御部として機能する。制御部は、撮影シーンを含む被写体情報に基づいて、撮影シーンに応じた被写体振れの補正位置を決定し、被写体振れの補正位置に基づき算出される被写体角速度に基づいて、シフトレンズ１０４を駆動する。

図１において、操作部１３６によりカメラ本体１３０の電源がＯＮされると、電源がＯＮとなったことをカメラマイコン１４１が検出し、カメラマイコン１４１の制御によりカメラ本体１３０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１２の制御により、交換レンズ１００内の初期設定が行われる。そして、レンズマイコン１１２とカメラマイコン１４１との間で所定のタイミングで通信が開始される。この通信で、カメラ本体１３０から交換レンズ１００へ送られる通信データは、例えば、カメラの状態、撮影設定等である。また、交換レンズ１００からカメラ本体１３０へ送られる通信データは、例えば、レンズの焦点距離情報、角速度情報等である。

次に手振れ補正動作に関して説明する。
図２は手振れ補正動作等に関する機能ブロック図を示しており、交換レンズ１００内では、角速度検出部１１１が手振れ等によって撮像装置に加わる振れを検出し、手振れ補正制御部１２１によって、手振れ補正制御が行われる。図２の説明において、図１と共通の構成については、同じ符号を付し説明を省略する。

図２において手振れ補正制御部１２１は、オフセット除去部２０１〜パルス幅変調部２０８を備える。オフセット除去部２０１は、例えばハイパスフィルタ（以下、ＨＰＦ）等を有するフィルタ演算部であり、角速度検出部１１１の出力に含まれている直流成分の除去を行う。利得位相算出部２０２は、オフセット除去部２０１によってオフセット成分が除去された角速度信号に対して増幅および位相補償を行う。また、利得位相算出部２０２は、角速度信号を所定のゲインで増幅する増幅器と、角速度信号に対して位相補償を行う位相補償フィルタを備える。

積分器２０３は、任意の周波数帯域でその特性を変更し得る機能を有しており、利得位相算出部２０２の出力を積分し、シフトレンズ１０４の駆動量を算出する。積分器２０３は、角速度検出部１１１の角速度が一定値以上の大きさで所定時間経過した場合は、パンニング中と判定し、オフセット除去部２０１のＨＰＦのカットオフ周波数を高周波側に徐々に変更する。積分器２０３が、カットオフ周波数を高周波側へ徐々に変更することで、手振れ補正制御の目標信号が徐々に小さくなり、補正光学系（シフトレンズ）を光学中心位置に戻す。

パンニング中と判定されるほどの大きな角速度を、カットオフ周波数を高周波側へ変更せずに補正光学系で補正してしまうと、補正光学系は補正限界点に達してしまい、撮影者に不自然な画角変化が見えてしまうからである。
防振制御判定部２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、カメラ情報取得部２２６の出力に応じてシフトレンズ１０４を駆動させるための信号を、以下のように切り替える。

（１）撮影モードが流し撮りモードに設定されている場合
防振制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択し、後述のように被写体角速度予測部により被写体角速度を予測して流し撮り用の防振制御を行う。
（２）撮影モードが流し撮りモードに設定されていない場合
防振制御判定部２０４は、手振れ補正制御部１２１で算出された積分器２０３の出力を選択し、被写体角速度予測部による被写体角速度の予測をおこなわずに防振制御を行う。

位置検出部１０５は、シフトレンズ１０４の位置を検出し位置検出信号を出力し、アンプ回路１１４は位置検出信号を増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ回路１１４が増幅した位置検出信号をデジタル化して減算器２０５に出力する。減算器２０５は、防振制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。

パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。
シフトレンズ１０４の駆動にはボイスコイル型モータが使用され、ドライバ１１３は、パルス幅変調部２０８の出力にしたがって、シフトレンズ１０４を撮像光学系の光軸と垂直な方向に移動させる。これによって、前記偏差データがゼロ（手振れゼロ）になるように手振れ補正制御が行われる。

次に、流し撮りモードにおける制御について説明する。
図１および図２を参照して、流し撮り制御部１２２について説明する。ユーザーが操作部１３６により、流し撮りモードに設定する操作を行うと、カメラマイコン１４１は流し撮りモードの制御に切り替える。
また、その切り替えを示す情報がカメラマイコン１４１からレンズマイコン１１２へと送信され、レンズマイコン１１２が、流し撮りモード用の制御に切り替わる。カメラ情報取得部２２６（図２）は、マウント接点部１１５、通信制御部２１１を介してカメラマイコン１４１から送信されてくる各種のカメラ情報を取得する。

カメラ情報は、流し撮りモードの設定情報やレリーズ情報等を含む。
カメラ情報取得部２２６は、防振制御判定部２０４に対し、判定処理に必要な情報を選択するための制御信号を出力する。即ち、流し撮りモードに設定されている場合には、防振制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。また、流し撮りモード以外に設定されている場合には、防振制御判定部２０４は、手振れ補正制御部１２１で算出された積分器２０３の出力を選択する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５を介して、カメラマイコン１４１へ角速度信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１５２で算出される被写体角速度を、マウント接点部１４４、１１５、通信制御部２１１を介して取得する。そして、被写体角速度取得部２２３は、取得した被写体角速度に基づいて、被写体振れを補正する際の、シフトレンズ１０４の駆動量の算出に用いられる被写体角速度を出力する。

減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３が出力する被写体角速度を、オフセット成分が除去された角速度信号が示す角速度から減算することで、偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を防振制御判定部２０４に出力する。
次に、被写体振れ補正の制御方法について図３の流し撮りモードにおけるカメラマイコン１４１による制御の全体フローチャートを用いて説明する。

図３中のＳは、流し撮りモードにおけるフローチャートでの各処理工程を示すステップ番号である。なお、流し撮りモードにおいては、静止画撮影のための露光を複数回行うとともに、各静止画撮影のための露光前に少なくとも３フレーム以上の動画を取得するように撮像素子を動作させる。
Ｓ３０１において、カメラマイコン１４１が、交換レンズ１００内のシフトレンズ１０４の位置情報を取得する。

これは式１で示すように、動きベクトル検出部１４５が検出する動きベクトル値δｖが、撮像装置の角速度を撮像面上の変位量δｇへ換算した値とシフトレンズ１０４の駆動量を撮像面上の変位量δｏに換算した値を加算したものであるからである。
δｖ＝δｇ＋δｏ・・・（式１）

次に、Ｓ３０２において、カメラマイコン１４１が、交換レンズ１００内の角速度検出部１１１とカメラ本体１３０内の角速度検出部１７１が出力する角速度信号を取得し例えば両者の平均値を撮像装置の角速度として扱う。カメラマイコン１４１は、焦点距離［ｍｍ］、フレームレート［ｆｒａｍｅ／ｓｅｃ］、画素ピッチ［ｕｍ／ｐｉｘｅｌ］を用いて、撮像装置の角速度信号が示す角速度［ｄｅｇ／ｓｅｃ］を撮像面上の動画フレーム間の変位量δｇ［ｐｉｘｅｌ／ｆｒａｍｅ］に換算する。

次に、Ｓ３０３において、動きベクトル検出部１４５が、複数の動画フレーム間における画像の動き量を示す動きベクトルδｖを検出する。この場合、動きベクトル検出部１４５は、静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部として機能している。このようにδｇとδｖを求めることによって式１に基づきシフトレンズ１０４の駆動量を撮像面上の変位量δｏが算出でき、シフトレンズ１０４の駆動量を決定できる。
続いて、Ｓ３０４において、カメラマイコン１４１が、Ｓ３０１〜Ｓ３０３までに取得した情報に基づいて、動きベクトルに関して図４のようなヒストグラムを算出する。ヒストグラムの詳細は後述する。

Ｓ３０５において、Ｓ３０４で算出したヒストグラムに基づいて被写体ベクトル群が検出可能か判定を行う。被写体ベクトル群の検出が可能である場合はＳ３０６に進む。被写体ベクトル群が検出できなかった場合はＳ３０１に戻り、次のフレームについてＳ３０１〜Ｓ３０４の制御を行う。
図４は、被写体ベクトル群の検出を説明するためのヒストグラムを示す図である。

図４に示すヒストグラムは、図３のＳ３０４で算出されるヒストグラムの一例である。横軸は、ベクトル値を示す。縦軸は、度数を示す。
動きベクトル検出部１４５は撮像画面内の所定の複数の位置に配置した各ブロックにおいて動画の１フレーム前との動き量をベクトル値として検出する。しかし動きベクトル検出部１４５の出力だけは、各ブロックのベクトル値が被写体ベクトルなのか背景ベクトルなのかは判断できない。

そこで、撮像面上の変位量δｇに換算した、撮像装置の角速度情報のベクトル値４０１を起点に、その起点の周囲の所定のベクトル値範囲（背景範囲）４０２内に存在する動きベクトルは背景ベクトル群４０３であると判定する。ここで、背景ベクトル群４０３はカメラシステムの手振れによる動きベクトルに相当するものとみなすことができる。そして、背景範囲４０２外に存在する動きベクトルであって、度数が所定の閾値４０４を超えているベクトルを被写体ベクトル群４０５であると判定する。

ここで被写体ベクトル群４０５は被写体自身の動きベクトルに対応するものと考えられる。
尚、背景範囲４０２の幅はレンズの焦点距離や動きベクトル検出部１４５の検出精度に応じて可変しても良い。更に、被写体ベクトル群の検出判定方法を行うにあたり、上記のように角速度情報を用いなくても良い。そして代わりに、オートフォーカスのデフォーカス量（やコントラスト値）に基づいて、主合焦枠のデフォーカス量（やコントラスト値）を起点に所定の焦点深度範囲内に存在するベクトルを被写体ベクトル群と判定してもよい。また、所定の焦点深度範囲外に存在するベクトルを背景ベクトル群と判定してもよい。また、デフォーカス量（やコントラスト値）と角速度情報を併用して被写体ベクトル群と背景ベクトル群の判定を行っても良い。

図３の説明に戻る。Ｓ３０６において、Ｓ３０５で検出した被写体ベクトル群４０５の中から最終的に制御で使う被写体ベクトルを選択する。その理由は、被写体の位置によってベクトル値は変わる場合があるからである。例えば、直線運動をしている電車を流し撮りする場合、電車の車輛前方と車輛後方でベクトル値は異なる。カメラの向ける方向を全く変えず（つまりカメラを回さず）に、カメラと被写体を同じ速度で一緒に平行に動かせば、被写体の前方も後方も同等のベクトル値になる。

しかし、実際のカメラの動かし方は、カメラを被写体に対して平行に移動させるのではなく、角度変化を伴ってカメラを振るので、カメラから被写体を見たときに被写体の前方と後方のベクトルが異なるためである。
これは、焦点距離が広角になる程、また、撮影距離が近くなる程、その影響が顕著に現れる。逆に、撮影距離が無限遠に近い場合は、被写体と並走しながら撮影するのと同様になるので、防振制御によって被写体全体を止めやすくなる。

以上のように、Ｓ３０６では焦点距離が広角の場合、また、撮影距離が近い場合には、被写体ベクトル群４０５の中から最終的に制御で使う被写体ベクトルを選択する。撮影距離が無限遠に近い場合は例えば被写体ベクトルの平均値を選択する。
被写体ベクトルの選択方法としては、フォーカスの設定が１点ＡＦ（オートフォーカス）で、撮影者は被写体の狙いたい位置へフォーカス枠を合わせ続けていれば、１点ＡＦの枠近傍に存在する被写体ベクトルを選択すればよい。

また、フォーカスの設定が顔認識追従ＡＦであれば、被写体の顔などの、被写体検出位置近傍の被写体ベクトルを選択すればよい。
そして、最終的に選択した被写体ベクトルを、角速度を撮像面上の移動量に換算した逆手法で逆算し被写体角速度を算出する。

このＳ３０６において、カメラマイコン１４１は、第１の検出部と第２の検出部の検出結果から静止画露光期間前の被写体角速度を検出する被写体角速度検出部として機能している。
次にＳ３０７において、Ｓ３０６で算出した被写体角速度の、隣接する動画フレーム間の差分を演算することによって被写体角加速度を算出する。
Ｓ３０８において、Ｓ３０７で算出した被写体角加速度のデータ履歴を所定フレーム数メモリに保持する。このとき被写体角加速度の代わりに被写体角速度のデータ履歴を保存しても良い。

そして保存された被写体角速度のデータ履歴に基づき被写体角加速度を算出するようにしても良い。このように、Ｓ３０８において、カメラマイコン１４１は、静止画露光期間前の被写体角速度に関する情報（被写体角速度または被写体角加速度）の履歴を保存する保存部として機能する。
次にＳ３０９において、撮影者によってシャッタレリーズ釦が押下されたか否か、即ち静止画撮影用の露光開始指示が出されたか否かについて判定を行う。以降、露光とは静止画撮影用の露光を指すものとする。露光開始の指示が出されればＳ３１０に進む。露光開始の指示が出されなければ、Ｓ３０１に進み次のフレームの制御についてＳ３０１〜Ｓ３０９を繰り返す。

Ｓ３１０において、Ｓ３０６とＳ３０７で算出した露光前の被写体角速度と被写体角加速度及びＳ３０８で保持された情報に基づいて、露光期間中における被写体角速度の推定を行う。この推定を行うのは、図１に示すカメラシステムでは露光期間中には、動きベクトル検出部１４５に撮像素子１３２からの映像信号が入力できないためである。従って、露光前の各動画フレームにおいて算出した被写体角速度と被写体角加速度から露光期間中の被写体角速度を推定する。

ここで、露光期間中の被写体角速度を推定する方法について図５と図６を用いて説明する。図５（Ａ）は直線運動している被写体を流し撮りしているシーンの例を表している。図５（Ｂ）は、被写体が撮影者の真正面を原点とした場合の、被写体と撮影者の成す角度θに基づく被写体角速度ωと被写体角加速度αを示したグラフである。図５（Ｂ）に示されるように、被写体が等速で移動していたとしても、カメラは角度を伴って回転させつつ振っている（被写体に対して平行移動しているわけではない）。従って、カメラから見ると被写体の角速度は加速または減速しており、それに合わせて流し撮りすることになる。

図５（Ｂ）の縦破線は各動画フレームの境界を示しており、縦破線の間隔５０１は動画フレーム間隔（例えば６０［ｆｒａｍｅ／ｓｅｃ］）を表す。前述のように、流し撮りモードにおいては、静止画撮影のための露光を複数回行う（連写する）とともに、各静止画撮影のための露光前に少なくとも３フレーム以上の動画フレームを取得するように撮像素子を動作させる。１回目の露光５０２が、被写体との成す角度θ＝―４０［ｄｅｇ］で行われ、露光、現像、その後、動画撮影への復帰、と順次カメラ処理が行われる。なお、本実施例では、静止画用の露光の合間の動画フレームはライブビュー表示にも用いる。

１回目の露光（斜線部の期間）５０２の直前の、動画フレーム５０３の次の動画フレームは例えば５０４となる。図５（Ａ）で示すようなシーンの流し撮りでは、背景が流れるように、そして撮像面上で一定の動き量となるようにするため、露光時間を比較的長くする。従って撮影タイミングと露光時間によっては例えば図５（Ｂ）の２回目の露光期間５０５が、被写体角加速度が最初に変曲点（ゼロを通過する点）を迎える期間と重なる。そして、被写体角加速度が変曲点を迎えてこれから加速または減速していくかについての判定が困難となる。

そこで、本実施例では、図６のフローチャートに示すような方法で露光期間中の被写体角速度の推定を行う。図６は、図３のＳ３１０における、露光中の被写体角速度の推定処理のためのフローチャートでありカメラマイコン１４１により実行される。
Ｓ６０１において、流し撮りモードにおいては、静止画撮影のための露光を複数回行う（連写する）ので、現在の静止画撮影用の露光フレームが直前の静止画撮影用の露光フレームと同じ撮影シーンであるかの判定を行う。同一撮影シーンであると判定されるとＳ６０２に進む。同一撮影シーンでないと判定されるとＳ６０３に進む。

Ｓ６０１において、この時点では現在の静止画撮影用の露光フレームの画像はまだ得られていないので、例えばシャッタレリーズ釦が押下された直前または直後の動画フレームの画像と、直前の静止画撮影用の露光フレームの画像とを比較する。即ち、静止画撮影を開始するためのレリーズ操作の際の動画像と、直前の静止画撮影の画像を比較することによって、静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する。

具体的には、例えば画像認識によって、両者の画像の間で、画面中央部の主要被写体画像が同じであれば同一撮影シーンであると判定する。あるいは画像認識によって、両者の画像の間で、主要被写体画像の画面に占める割合の変化が所定の範囲内であれば同一撮影シーンであると判定する。あるいは両者の画像の間で、被写体ベクトル群の変化や動きベクトルのヒストグラムの変化が所定範囲内であれば同一シーンであると判定する。あるいは両者の画像の間で、主要被写体画像の色の変化が所定範囲内であれば同一シーンであると判定する。更には、上記の複数の判定基準の一部または全部を組み合わせて判断しても良い。

Ｓ６０１で、Ｎｏの場合、Ｓ６０３において、前回静止画用撮影の露光終了から次の静止画用撮影の露光開始までの経過時間が所定時間経過したかの判定を行う。所定時間経過していない場合は、直前の静止画撮影と同一のシーンと判断される。即ち、静止画撮影の露光タイミングと、直前の別の静止画撮影の露光タイミングの時間差が所定値より小さいか否かを判定する。それによって、前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する。

このＳ６０１とＳ６０３において、カメラマイコン１４１は、静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する撮影シーン判定部として機能している。なお、ステップＳ６０３では、流し撮りモードにおける最初の静止画撮影の場合にもＮｏの判断をするものとする。
次にＳ６０３における判定について更に図７を用いて説明する。図７はＳ６０３における同一撮影シーンの判定方法を説明するための図である。図７（Ａ）は、レリーズ釦を押下されてから離すまでの期間７０１に露光が複数回行われた場合を表している。

この場合は所謂連写撮影であるが、稀に実際は異なる撮影シーンでもレリーズ釦を押下し続けて連写を行う場合もある。その場合、１回目の露光終了時点７０２でカメラ内のシステム時間（システムクロック）を取得し、２回目の露光開始７０３時点で再度カメラ内のシステム時間を取得する。Ｓ６０３ではこの２点間のシステム時間差を算出した結果が、閾値（例えば１［ｓｅｃ］）未満であれば同一シーンであると判定を行う。

一方、図７（Ｂ）はレリーズ釦を離してから再度レリーズ釦を押下し静止画撮影用の露光を複数回行った場合を表している。
この場合は、単写撮影でありながら連写のように小刻みに静止画撮影を行っている。そして、上述した露光間隔の経過時間の判定用の閾値（例えば１［ｓｅｃ］）とほぼ合わせるために、レリーズ釦を離した時点から次にレリーズ釦を押下時点までの経過時間７０４を見る。そして経過時間７０４が、閾値（例えば０．３［ｓｅｃ］）未満であれば同一シーンであると判定を行う。
Ｓ６０３でＮｏの場合はＳ６０２に進む。Ｙｅｓの場合はＳ６０９に進む。

次に、Ｓ６０２において、急峻なカメラ動作があるかについてカメラの角速度、加速度変化に基づき判定を行う。急峻なカメラ動作がない（Ｎｏ）と判定されるとＳ６０４に進む。
急峻なカメラ動作がある（Ｙｅｓ）と判定されるとＳ６０９に進む。即ち、撮像装置の加速度が所定値以上の場合には、Ｓ６０９に進み、被写体角速度予測部による被写体角速度の予測を行わない。ここで、急峻なカメラ動作とは、例えばユーザーが被写体を追従できずＬＣＤ画面（ライブビュー画面）に被写体を捉えられていない場合を指す。この場合は、カメラの角速度変化が著しいため急峻なカメラ動作をしているといえる。また、撮影者は被写体を追従できていても急峻なカメラ動作をしているといえる場合がある。

それは、例えばモーターバイクの流し撮りで、勾配が急なコーナー（ヘアピンコーナー）では被写体の動きはコーナーに入る前に減速、旋回を行い、旋回を終えると同時に加速して走り抜けるような場合である。このとき、３つの運動を行うため、撮影者が被写体を追従できていたとしても、カメラ内の角速度、加速度変化を見れば急峻なカメラ動作をしているといえる。
このように、急峻なカメラ動作をしている場合は、被写体角速度と被写体角加速度の履歴だけに基づいて制御を行うと被写体角速度の誤算出が生じ、却って像振れ補正を助長してしまうおそれがある。

そのため、同一撮影シーンではなかったり、カメラが急峻な動きをしたりしている場合は、正確な動きベクトルが検出できていない場合があるため、Ｓ６０９において、保持していた被写体角加速度の履歴を初期化する。そして、被写体角速度予測部により被写体角速度を予測せず、被写体振れ補正は行わずに図３のＳ３１１に進み、通常の手振れ補正に基づく像振れ補正制御を行う。
一方、Ｓ６０２において急峻なカメラ動作がない（Ｎｏ）と判定されるとＳ６０４に進み、露光前のライブビュー中の複数動画フレームの被写体角加速度の履歴を読出す。

このとき代わりに被写体角速度の履歴が保存されていたらそれを読み出すようにしても良い。そして保存された被写体角速度のデータ履歴に基づき被写体角加速度を算出するようにしても良い。
次にＳ６０５において、Ｓ６０４で読み出したライブビュー中の各動画フレームの被写体角加速度（または被写体角速度）の履歴を用いて、露光直前の動画フレームに被写体角加速度の変曲点があるか判定を行う。

変曲点は、露光直前の動画フレームをＮ番目のフレームとしたとき、例えば以下のように求める。即ち、Ｎ−２フレームの被写体角加速度αＮ−２がー２［ｄｅｇ／ｓｅｃ^２］、Ｎ−１フレームの被写体角加速度αＮ−１がー３［ｄｅｇ／ｓｅｃ^２］、Ｎフレームの被写体角加速度αＮが１［ｄｅｇ／ｓｅｃ^２］とする。その場合、Ｎ−１フレーム時点の被写体角加速度差分ΔαＮ−１はー１［ｄｅｇ／ｓｅｃ^２］で、Ｎフレーム時点の被写体角加速度差分ΔαＮは＋２［ｄｅｇ／ｓｅｃ^２］となる。即ち、角加速度の差分の極性が変わるので露光直前の動画フレームであるＮフレームで被写体角加速度の変曲点があると判定する。

変曲点があると判定された場合はＳ６０６に進む。変曲点がないと判定された場合はＳ６０７に進む。
Ｓ６０６において、Ｓ６０５で被写体角加速度の変曲点を見つけているため、露光前の被写体角速度と被写体角加速度と、レリーズ釦押下から露光開始までのレリーズタイムラグ分を考慮して露光期間中の被写体角速度の算出を行う。

例えば、露光開始時点の被写体角速度を、直前の露光時の被写体角速度及び複数の動画フレームの被写体角速度の線形補間により求めるとともに、露光直前の動画フレームに存在する変曲点から露光開始時点までの時間に被写体角加速度を乗じる。それによって得た角速度を、前記の線形補間により求めた被写体角速度に加減算することで補正し、露光開始時点の補正後の被写体角速度を算出する。露光終了時点の補正された被写体角速度も同様にして求めることができるので、露光開始時点の補正後の被写体角速度と露光終了時点の補正後の被写体角速度の平均値を露光期間中の被写体角速度とすることができる。

このように、静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じと判定された場合には、Ｓ６０６で静止画撮影の直前の別の静止画撮影により得られた画像の被写体角速度も用いて静止画露光期間における被写体角速度を予測する。
なお、流し撮りモードの最初の静止画撮影の場合には、上記において露光開始時点や露光終了時点の被写体角速度を線形補間で算出する際には、複数の動画フレームの被写体角速度だけを用いて線形補間により求める。

このように、Ｓ６０６においてカメラマイコン１４１は、静止画露光期間前の被写体角速度に基づいて静止画露光期間前の被写体角加速度の変曲点を判別する。また、変曲点と静止画露光期間前の被写体角速度に基づいて静止画露光期間における被写体角速度を予測する被写体角速度予測部として機能している。
Ｓ６０７において、直近の動画の２フレームにおいて各々のフレーム時点におけるカメラのシステム時間を取得し、その差分値が閾値（例えば１［ｓｅｃ］）を超えているか判定を行う。

システム時間の差分値が閾値未満の場合はＳ６０８に進む。システム時間の差分値が閾値以上の場合は、線形補間の誤差が大きくなるのでＳ６０９に進む。
Ｓ６０８において、露光中（例えば露光期間の中央時点）の被写体角速度を、直前の露光時の被写体角速度及び複数の動画フレームの被写体角速度の線形補間により求める。なお、Ｓ３０６で最終的に選択した被写体ベクトルが図４の閾値４０４以上であっても例えば所定の閾値（例えば６［ｐｉｘｅｌ］）未満の場合には、角速度センサのフレーム毎の角速度情報に基づき露光期間中の疑似的な被写体角速度を算出しても良い。

本システムで算出すべき被写体角速度は上述した式１で示す通り、撮像装置の角速度と、撮像装置と被写体との相対的な動き量に依存する。撮影者が被写体を精度よく追従出来ているほど、撮像装置と被写体との相対的な動き量は小さくなる。そのため、撮像面上の移動量において許容できる誤差範囲（例えば２０［ｕｍ］）に収まるのであれば、角速度センサの角速度情報で補間して、露光中における被写体角速度を算出しても良い。
図７に示すように、露光期間中７０５においてもカメラ内の角速度検出部１７１またはレンズ内の角速度検出部１１１は常にデータ取得を行っているのでそれを使う。Ｓ６０８、Ｓ６０６、Ｓ６０９のステップの次にＳ３１１に進む。

図３のＳ３１１において、Ｓ３１０で算出した被写体角速度を用いて式１に基づき振れ補正系であるシフトレンズ１０４を駆動させる。即ち、Ｓ３１１において、カメラマイコン１４１、レンズマイコン１１２及びドライバ１１３は、被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部として機能している。
Ｓ３１２において、静止画撮影のための所定の露光時間が経過したかの判定を行う。所定の露光時間が経過した場合は処理を終了する。所定の露光時間が経過していない場合は、Ｓ３１１に進み、所定の露光時間が経過するまで、振れ補正系であるシフトレンズ１０４を駆動し続ける。

以上、本発明の好ましい実施形態について図１で示すデジタルカメラシステムを用いて説明したが、本発明は撮像装置本体とレンズ装置とが一体的に構成された撮像システムにも適用可能である。また、デジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ネットワークカメラなど撮像機能を有する電子機器等にも適用可能である。なお、図１で示すデジタルカメラシステムはペンタプリズムやレフレックスミラーが存在しない所謂、ミラーレスカメラを想定しているが、一眼レフカメラにも適用可能である。一眼レフカメラの場合には、レフレックスミラーで反射された像の測光を行うための測光用の撮像素子を設け、測光用の撮像素子からの映像信号を動きベクトル検出部１４５に入力すれば良い。

なお、以上の説明では、振れ補正手段として、レンズを光軸に垂直な面内でシフトすることによって光学的に像振れを補正する例を説明したが、撮像素子を光軸に垂直な面内でシフトすることによって像振れを補正するものであっても良い。或いは像振れ補正手段は、画像信号を画面内でシフトすることによって像振れを補正するものであってもよい。更には上記の複数タイプの一部または全部の像振れ補正手段を組み合わせたものであっても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置等に供給するようにしてもよい。そしてその撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００ 交換レンズ
１０４ シフトレンズ
１１１ レンズ内の角速度検出部
１１２ レンズマイコン
１３０ カメラ本体
１４１ カメラマイコン
１４５ 動きベクトル検出部
１５２ 被写体角速度算出部
１５３ シャッタ速度算出部
１５４ ズーム流し撮り制御部
１７１ カメラ内の角速度検出部

Claims (14)

1. 撮像装置の振れを検出する第１の検出部と、
   所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出部と、
   第１の検出部と前記第２の検出部の検出結果から前記静止画露光期間前の被写体角速度を検出する被写体角速度検出部と、
   前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測部と、
   前記被写体角速度予測部により予測された被写体角速度に基づき被写体の振れ補正をする振れ補正部と、を有することを特徴とする撮像装置。
2. 前記第１の検出部はジャイロセンサを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の検出部は画像の動きベクトルを検出するものであることを特徴とする請求項１または２に記載の撮像装置。
4. 前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定する撮影シーン判定部を有することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記撮影シーン判定部は、前記静止画撮影を開始するためのレリーズ操作の際の動画像と、直前の静止画撮影の画像を比較することによって、前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定することを特徴とする請求項４に記載の撮像装置。
6. 前記撮影シーン判定部は、前記静止画撮影の露光タイミングと、直前の別の静止画撮影の露光タイミングの時間差が所定値より小さいか否かを判定することによって、前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じか否かを判定することを特徴とする請求項４に記載の撮像装置。
7. 前記撮影シーン判定部によって、前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じと判定されなかった場合には、前記被写体角速度予測部により被写体角速度を予測しないことを特徴とする請求項４〜６のいずれか１項に記載の撮像装置。
8. 前記撮影シーン判定部によって、前記静止画撮影の撮影シーンと、直前の別の静止画撮影の撮影シーンが同じと判定された場合には、前記静止画撮影の直前の別の静止画撮影により得られた画像の被写体角速度も用いて静止画露光期間における被写体角速度を予測することを特徴とする請求項４〜７のいずれか１項に記載の撮像装置。
9. 前記静止画露光期間前の前記被写体角速度に関する情報の履歴を保存する保存部を有することを特徴とする請求項１〜８のいずれか１項に記載の撮像装置。
10. 前記振れ補正部はレンズを光軸に垂直な方向に移動させるレンズ駆動部を含むことを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 前記撮像装置を流し撮りモードに設定するための操作部を有し、前記操作部により前記撮像装置が前記流し撮りモードに設定されていない場合には、前記被写体角速度予測部による被写体角速度の予測を行わないことを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 前記撮像装置の角加速度が所定値以上の場合に、前記被写体角速度予測部による被写体角速度の予測をおこなわないことを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
13. 撮像装置の振れを検出する第１の検出ステップと、
    所定の静止画撮影前の異なるフレーム間で像の動きを検出する第２の検出ステップと、
    第１の検出ステップと前記第２の検出ステップの検出結果から前記静止画露光期間前の被写体角速度を検出する被写体角速度検出ステップと、
    前記静止画露光期間前の前記被写体角速度に基づいて前記静止画露光期間前の被写体角加速度の変曲点を判別するとともに、前記変曲点と前記静止画露光期間前の被写体角速度に基づいて前記静止画露光期間における被写体角速度を予測する被写体角速度予測ステップと、
    前記被写体角速度予測ステップにより予測された被写体角速度に基づき被写体の振れ補正をする振れ補正ステップと、を有することを特徴とする制御方法。
14. 請求項１〜１２のいずれか１項に記載の前記撮像装置の各部としてコンピュータを機能させるためのコンピュータプログラム。
    
    

Images