JP2016109758A - 像ブレ補正装置、撮像装置および制御方法 - Google Patents

Abstract

【課題】流し撮り撮影中の像ブレを補正する光学補正手段の駆動信号を算出するための、動きベクトルの判定処理を精度良く実行する像ブレ補正装置を提供する。【解決手段】流し撮り撮影中の像ブレをシフトレンズ群１３４を用いて補正する像ブレ補正装置を設ける。像ブレ補正装置が、シフトレンズ群１３４の駆動信号の算出に用いる主被写体の角速度を計算するための動きベクトルの判定処理を実行する。そして、像ブレ補正装置は、上記動きベクトルの判定処理をカメラの状態に応じて変更する。【選択図】図１

Description

本発明は、像ブレ補正装置、撮像装置および制御方法に関する。

移動している被写体のスピード感を表現する撮影技術として、流し撮り撮影が提案されている。流し撮り撮影は、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。流し撮り撮影においては撮影者が被写体の動きに合わせてパンニングをする必要がある。しかし、パンニング速度が早すぎたり遅すぎたりすると、被写体の移動速度とパンニング速度の間に差が発生してしまい、被写体像がブレる（像ブレが発生する）。

特許文献１は、露光前に求めた撮像装置に対する被写体の相対角速度と、露光中の撮像装置の角速度とに基づいて、露光中の光学系を駆動して像ブレを補正する像ブレ補正装置を開示している。

特開平４−１６３５３５号公報

特許文献１が開示する像ブレ補正装置は、像ブレを補正するための光学系の駆動量を計算するために必要な、撮影画像から検出した被写体の像面上の移動量と、露光中の撮像装置の角速度とが正確な値であることが前提である。しかし、被写体の像面上の移動量の検出精度は、カメラの状態に応じて変化する。例えば、流し撮り撮影開始時にパンニングのためにカメラが加速中である状態では、検出される被写体の像面上の移動量は正確でないことがある。被写体の像面上の移動量が正確でない場合には、被写体のブレは補正されず、流し撮りは失敗してしまう。

本発明は、流し撮り撮影中の像ブレを補正する光学補正手段の駆動信号を算出するための、動きベクトルの判定処理を精度良く実行する像ブレ補正装置の提供を目的とする。

本発明の一実施形態の像ブレ補正装置は、流し撮り撮影中の像ブレを光学補正手段を用いて補正する像ブレ補正装置であって、前記光学補正手段の駆動信号の算出に用いる主被写体の角速度を計算するための動きベクトルの判定処理を実行する判定手段と、前記判定手段による判定処理をカメラの状態に応じて変更する制御手段とを備える。

本発明の像ブレ補正装置によれば、流し撮り撮影中の像ブレを補正する光学補正手段の駆動信号を算出するための、動きベクトルの判定処理を精度良く実行することができる。

本実施形態の像ブレ補正装置を有する光学機器の構成を示す図である。 手ブレ補正制御部によるシフトレンズの駆動を説明する図である。 パンニングの有無に応じた手ブレ補正制御部の処理を説明する図である。 角速度データと、所定値Ａ、Ｂの関係を示す図である。 動きベクトルの検出例である。 動きベクトルの検出例である。 動きベクトルの検出対象となる被写体の領域を説明する図である。 交換レンズ内のシフトレンズ駆動制御に関する構成図である。 流し撮りアシストモード時のカメラマイコンの動作処理を説明するフローチャートである。 流し撮り判定処理を説明するフローチャートである。 流し撮り判定部による制御を説明する図である。 判定閾値の一例である。 判定閾値を変更するタイミングを説明するフローチャートである。 カメラシステムの構成例である。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの検出対象となる被写体の領域を説明する図である。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの検出対象となる被写体の領域を説明する図である。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの検出対象となる被写体の領域を説明する図である。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの検出対象となる被写体の領域を説明する図である。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。 動きベクトルの判定閾値の変更処理を説明するフローチャートである。

図１は、本実施形態の像ブレ補正装置を有する光学機器の構成を示す図である。
図１に示す光学機器は、交換レンズ１００とカメラ本体１２０を備えるカメラシステムである。なお、光学機器は、交換レンズ単体として実現することもできるし、カメラ本体単体からなる撮像装置として実現することもできる。

交換レンズ１００は、撮影レンズユニット１０１を備える。撮影レンズユニット１０１は、主撮像光学系１０２、ズームレンズ群１０３、シフトレンズ群１０４を備える。ズームレンズ群１０３は、焦点距離を変更可能である。シフトレンズ群１０４は、撮像装置の振れによる光軸に対する像の振れを、光軸と垂直方向に移動することにより光学的に補正する光学補正手段である。また、交換レンズ１００は、ズームレンズ群の位置を検出するズームエンコーダ１０５、シフトレンズ群の位置を検出する位置センサ１０６、撮像装置の振れを検出する角速度センサ１１１、角速度センサ１１１の出力を増幅するアンプ１１２を備える。

また、交換レンズ１００は、レンズシステム制御用マイクロコンピュータ（以下、レンズマイコン）１１３、駆動信号によりシフトレンズを駆動するドライバ１１４を備える。また、交換レンズ１００は、シフトレンズの位置センサ１０６の出力を増幅するアンプ１１５、カメラ本体１２０およびマウント接点部１１６を備える。

レンズマイコン１１３は、手ブレ補正制御を行う手ブレ補正制御部１１７と、流し撮りアシスト用の制御を行う流し撮り制御部１１８とを備える。レンズマイコン１１３は、フォーカスレンズ制御、絞り制御等も行うが、説明を省略する。手ブレ補正のためには、例えば、横方向と縦方向といった、直交する２軸に関して検出および補正が行われるが、図１では１軸分のみ記載している。

カメラ本体１２０は、シャッタ１２１、ＣＭＯＳセンサ等の撮像素子１２２、アナログ信号処理回路（ＡＦＥ）１２３、カメラ信号処理１２４、撮像素子１２２やアナログ信号処理回路１２３の動作タイミングを設定するタイミングジェネレータ１２５を備える。また、カメラ本体１２０は、電源スイッチ、レリーズスイッチ、操作スイッチ１３１を備える。操作スイッチ１３１は、流し撮りアシストモードにするか否かを切り替える切り替えスイッチ等を有する。

また、カメラ本体１２０は、カメラ全体のシステムを制御するカメラシステム制御用マイクロコンピュータ（以下、カメラマイコン）１３２、シャッタ動作を行わせるためのモータを駆動するドライバ１３３、シャッタ駆動用モータ１３４を備える。また、カメラ本体１２０は、撮影した映像を記録するメモリカード１７１、カメラで撮影しようとしている画像をモニタし、撮影した画像を表示する液晶パネル（以下、ＬＣＤ）１７２、および交換レンズ１００とのマウント接点部１６１を備える。レンズマイコン１１３とカメラマイコン１３２とは、マウント接点部１１６および１６１を介して所定のタイミングでシリアル通信を行う。

カメラ信号処理回路１２４は、動きベクトル検出部１４１、被写体検出部１４２、ベクトル判定部１４３を備える。動きベクトル検出部１４１は、撮影画像から動きベクトルを検出する。被写体検出部１４２は、人体検出、顔検出、顔認識、特定物体認識などを実行する。動きベクトル判定部１４３は、動きベクトル検出部１４１で検出された動きベクトルを、動的に変えられる閾値を用いて、主要被写体、背景、その他動体、誤検出動きベクトルのいずれであるかを判定する。判定結果は、カメラマイコン１３２に出力される。また、カメラマイコン１３２は、シャッタ制御部１５１、被写体角速度算出部１５２、流し撮り判定部１５３を備える。被写体角速度算出部１５２は、動きベクトル判定部１４３による動きベクトルの判定結果に基づいて、主被写体の角速度を算出する。

操作スイッチ１３１によりカメラの電源がＯＮされると、その状態変化をカメラマイコン１３２が検出し、カメラマイコン１３２の制御により、カメラ本体１２０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズマイコン１１３の制御により、交換レンズ１００内の初期設定が行われる。そして、レンズマイコン１１３とカメラマイコン１３２との間で所定のタイミングで通信が開始される。この通信で、カメラ本体１２０から交換レンズ１００に対して、カメラの状態、撮影設定等が送信される。また、交換レンズ１００からカメラ本体１２０に対して、レンズの焦点距離情報、角速度情報等が送信される。

流し撮りアシストモード設定が行われていない通常モード時、交換レンズ内では、角速度センサ１１１が手ブレ等によるカメラの振れを検出し、その検出結果を用いて手ブレ補正制御部１１７がシフトレンズ群を駆動して手ブレ補正動作が行われる。図１に示す構成においては、少なくとも、レンズマイコン１１３、カメラマイコン１３２、カメラ信号処理回路１２４によって像ブレ補正装置を実現できる。

図２は、手ブレ補正制御部によるシフトレンズの駆動を説明する図である。
図１と共通の構成については同じ符号を付し、説明を省略する。図２において、４０１〜４０７は手ブレ補正制御部１１７の詳細な構成である。４０１はＡ／Ｄ変換器であり、角速度センサ１１１で検出された振れ信号をデジタル信号に変換する。角速度センサ出力のデータサンプリングは１〜１０ｋＨｚ程度で行われている。４０２はハイパスフィルタ（ＨＰＦ）等で構成されたフィルタ演算部であり、角速度センサ出力に含まれているオフセット成分の除去を行い、またカットオフ周波数を変更することでパンニング対策を行う。

４０３は積分器であり、シフトレンズの駆動目標データを生成するために角速度データを角変位データに変換する。４０６はＡ／Ｄ変換器であり、位置センサ１０６の出力をデジタルデータに変換する。４０４は加算器であり、シフトレンズの駆動目標値から現在のシフトレンズ位置を減算してシフトレンズの実際の駆動信号を算出する。４０５はＰＷＭ出力部であり、算出された駆動量信号をシフトレンズ駆動用のドライバ１１４に出力する。４０７はパンニング制御部であり、角速度データの状態からカメラがパンニングされたかどうかを判定する。パンニング制御部４０７は、カメラがパンニングされたと判定した場合は、フィルタ演算部４０２のカットオフ周波数変更制御、積分器４０３の出力の調整を行う。

図３は、パンニングの有無に応じた手ブレ補正制御部の処理を説明するフローチャートである。
Ｓ５０１において、手ブレ補正制御部１１７が、Ａ／Ｄ変換器４０１で取り込まれた角速度データの平均値（所定サンプリング回数分の平均値）が所定値Ａよりも大きいかを判断する。角速度データの平均値が、所定値Ａ以下である場合、手ブレ補正制御部１１７は、パンニングが行われていないと判断する。そして、Ｓ５０７において、手ブレ補正制御部１１７が、ＨＰＦカットオフ周波数を通常値に設定し、処理がＳ５０８に進む。

角速度データの平均値が、所定値Ａよりも大きい場合は、処理がステップＳ５０２に進む。Ｓ５０２において、手ブレ補正制御部１１７が、角速度データの平均値が、所定値βより大きいかを判断する。

角速度データの平均値が、所定値Ｂより大きい場合、手ブレ補正制御部１１７は、早いパンニングが行われていると判断し、処理がＳ５０３に進む。Ｓ５０３において、手ブレ補正制御部１１７は、フィルタ演算部４０２内にあるＨＰＦのカットオフ周波数を最大値に設定する。そして、Ｓ５０４において、手ブレ補正制御部１１７は、手ブレ補正制御を強制的にＯＦＦとする。この設定は、ＨＰＦのカットオフ周波数を高くすることでシフトレンズが除々に停止するようにし、手ブレ補正制御をＯＦＦしたときの違和感をなくすためである。また、早いパンニング時は、手ブレの大きさに対してパンニングによる移動量が非常に大きくなるため、手ブレ補正をＯＦＦすることで手ブレが残っていても違和感はないためである。この設定を行わず、パンニングを大きなブレとして補正しようとすると、パンニング開始時には画が停止するが、その後シフトレンズ１０３が補正端に到達した瞬間に突然画が大きく動くため、非常に不自然な動きとして見えてしまうことになる。

次に、Ｓ５０５において、手ブレ補正制御部１１７は、積分器４０３の出力を現在のデータから除々に初期位置のデータに変更することで、シフトレンズ群１０４を初期位置に動かす。これは、次に手ブレ補正動作を再開する場合に、シフトレンズ群の位置が駆動範囲の初期位置にあることが望ましいためである。

Ｓ５０２で角速度データの平均値が所定値Ｂ以下である場合、手ブレ補正制御部１１７は、ゆっくりとしたパンニングが行われていると判断し、処理がＳ５０６に進む。Ｓ５０６において、手ブレ補正制御部１１７は、角速度データの大きさに応じてＨＰＦのカットオフ周波数を設定する。これは、ゆっくりとしたパンニングが行われている場合は手ブレの影響を無視することができないためであり、パンニング時の画の追従性を不自然にならない程度に保ちながら、手ブレ補正を行うために必要な処理となる。続いて、Ｓ５０８において、手ブレ補正制御部１１７が、手ブレ補正制御のＯＦＦを解除する。

図４は、パンニング時の横方向の角速度データと、所定値Ａ、Ｂの関係を示す図である。
７０１は角速度データのサンプルである。この例では、右方向にパンニングした場合に＋方向の出力、左方向にパンニングすると−方向の出力となる。図４に示す例では、右方向の急激なパンニングと、左右方向のゆっくりとしたパンニングが検出されている。図４からわかるように、パンニング中は角速度データが初期値（ここでは０）から大きく外れる。このデータを積分してシフトレンズの駆動目標値を算出した場合、ＤＣ的なオフセット成分により、積分器出力が非常に大きな値となり、制御不能状態になってしまう。したがって、パンニングが検出された場合はＨＰＦのカットオフ周波数を高く変更することにより、ＤＣ成分をカットすることが必要となる。急激なパンニングの場合は、よりカットオフ周波数を上げることで、積分器出力が増大しないようにしている。特にパンニングが早い場合は、パンニング速度による画の動きが手のブレに対して非常に大きくなるため、パンニング方向に関して手ブレ補正機能をＯＦＦとしても違和感は発生しない。以上のようにパンニング制御が行われることで、パンニング中も違和感のない画像をモニタすることが可能となる。

図１の説明に戻る。操作スイッチ１３１により、流し撮りアシストモードが設定されると、カメラマイコン１３２は、流し撮りアシスト用の制御に切り替わる。また、流し撮りアシスト用の制御に切り替わったことを示す情報がカメラマイコン１３２からレンズマイコン１１３へと送信され、レンズマイコン１１３が、流し撮りアシストモードに移行する。

流し撮りアシストモードを設定中のカメラ本体１２０は、流し撮り撮影中に撮像した映像情報から動きベクトル検出部１４１が検出した被写体の動きベクトルを出力する。また、レンズマイコン１１３から、交換レンズ１００内の角速度センサで検出された角速度データを受信する。

撮影者が流し撮りを行っているときに動きベクトル検出部１４１から出力される被写体の動きベクトルは、図５に示すように、４種類である。一つ目の動きベクトルは、撮影者が撮影しようとしている主被写体（図７の１３０１）に対応した動きベクトル１１０１である。二つ目の動きベクトルは、流れている背景（図７の１３０２）に対応した動きベクトル１１０２である。三つ目の動きベクトルは、主被写体以外の画面内の動被写体に対応した動きベクトル１１０３である。動きベクトル１１０３は、誤検出されて主被写体と判定された動きベクトルである。４つ目の動きベクトルは、誤検出されて背景と判定された動きベクトル１１０４である。図７では、１３０３が誤検出された動きベクトルを示す。流し撮りが目的であるので、検出された４種類の動きベクトルのうち、動き量の小さいデータが主被写体の動きベクトルである可能性が高く、この動きベクトルの値が主被写体の像面上の移動量となる。

図５に示す検出例のように、誤検出された動きベクトルが少ないときは、主被写体と背景の正しい動きベクトルのピークを選択することが可能となる。しかし、図６に示す検出例のように、誤検出された動きベクトルが多い場合は、以下の問題がある。すなわち、正常に検出された動きベクトルよりも誤検出された動きベクトルが多いときや正常に検出された動きベクトルに誤検出された動きベクトルが上乗せされたときに、主被写体や背景動きベクトルのピークや計算結果がずれる。

一方、レンズから受信した角速度データは、カメラの流し撮り速度に対応している。したがって、カメラマイコン１３２は、レンズから受信した角速度データと、主被写体の像面上の移動量およびレンズの現在の焦点距離から算出される角速度の差分を算出する。その結果はカメラに対する主被写体の角速度データとなる。そして、カメラマイコン１３２は、算出した主被写体の角速度データをレンズマイコン１１３に送信する。

図８は、流し撮りアシストモード時の交換レンズ内のシフトレンズ駆動制御に関する構成図である。
図８では、図１、図２と共通の構成に対して同じ符号を付している。流し撮り制御部１１８は、カメラ情報取得部６０１乃至設定変更部６０６を備える。カメラ情報取得部６０１は、流し撮りアシストモードの設定情報、レリーズ情報を取得する。

角速度データ出力部６０２は、所定のタイミングで角速度データをサンプリングし、カメラカメラマイコン１３２に対して出力する。被写体角速度取得部６０３は、通信によって得られたカメラ情報から流し撮りアシストに必要な主被写体の角速度情報を取得する。加算器６０４は、角速度データと被写体の角速度データとの差分を算出する。第２の積分器６０５は、所定期間のみ積分動作を行う。通信制御部６１０はレンズマイコン１１３に設けられ、カメラマイコン１３２との双方向通信を行う。

流し撮り判定部１５３は、レンズマイコン１１３から送信された角速度データを積分して保持しておく。これにより、ユーザが流し撮りを行う際に、所定のタイミングを起点としたカメラの角度変化（以降、流し撮り角度）を得ることができる。

カメラ本体のスイッチ操作によって、流し撮りアシストモードが設定されると、通信制御部から、その情報がカメラ情報取得部６０１で読み込まれ、設定変更部６０６に通知される。設定変更部６０６は、通知されたモード情報に従い、パンニング制御部４０７の設定変更を行う。ここで行われる設定変更は、急激なパンニング状態に移行しやすくする変更である。具体的には、設定変更部６０６は、前述のパンニング判定用の所定値ＡおよびＢを変更する。

カメラ本体からレンズマイコン１１３へと送信される主被写体の移動角速度情報が被写体角速度取得部６０３によって取得されると、加算器６０４は、角速度センサ１１１により検出された角速度データと、主被写体の移動角速度情報の差を計算する。計算結果は、第２の積分器６０５へ送信される。

第２の積分器６０５は、カメラ情報取得部６０１で取得された露光期間中を示す信号により積分動作を開始し、その他の期間はシフトレンズの位置が中央となる値を出力する。ここで、露光期間以外はシフトレンズを中央位置に配置しようとした場合、露光期間終了時は現在のシフトレンズ位置から中央位置までシフトレンズが急峻に移動することになる。しかし、露光期間終了直後はセンサからの読み出しのため、ＬＣＤ上では画が消失している期間であり、シフトレンズの急峻な移動による画像の動きは問題とならない。また、第２の積分器６０５の出力は、加算器４０４で積分器４０３の出力、およびシフトレンズ位置情報と共に加算され、シフトレンズの駆動信号が算出される。

流し撮りアシストモード設定中に、実際に撮影者により流し撮り動作が行われると、交換レンズ内では、パンニング制御部４０７がすぐに急パン状態に対するパンニング制御を行い、振れ補正動作が禁止される。シフトレンズは、カメラのパンニング時の角速度と被写体角速度の差分に対応した量を補正することになる。したがって、流し撮り失敗の原因となる露光期間中のカメラのパンニング速度と被写体の速度の差分がシフトレンズの動作で相殺され、流し撮りが成功する。

図９は、流し撮りアシストモード時のカメラマイコンの動作処理を説明するフローチャートである。
Ｓ２０１において、カメラマイコン１３２が、レリーズスイッチが半押しされたかを判断する。レリーズスイッチが半押しされていない場合は、処理がＳ２０３に進む。そして、Ｓ２０３において、カメラマイコン１３２が、レリーズスイッチが半押しされるまで時間計測カウンタをリセットする。レリーズスイッチが半押しされている場合は、処理がＳ２０２に進む。そして、カメラマイコン１３２が、時間計測カウンタをインクリメントする。

次に、Ｓ２０４において、カメラマイコン１３２が、動きベクトルの判定閾値を変更する。変更された判定閾値に基づいて、ベクトル判定部１４５によって、動きベクトルが主要被写体から出力される動きベクトルか、背景から出力される動きベクトルか、その他動体から出力される動きベクトルか、誤検出された動きベクトルかが判定される。これにより、誤検出された動きベクトルの影響が大きくならないように、被写体角速度算出（Ｓ２０７）で用いる動きベクトルの精度が高められる。

次に、Ｓ２０５において、カメラマイコン１３２が、主被写体の移動角速度がすでに算出されているかを判断する。主被写体の移動角速度がすでに算出されている場合は、処理がＳ２０６に進む。主被写体の移動角速度がまだ算出されていない場合は、処理がＳ２０７に進む。

Ｓ２０６において、カメラマイコン１３２は、時間計測カウンタが所定時間Ｔになっているかを判断する。時間計測カウンタが所定時間Ｔになっていない場合は、処理がＳ２１０に進む。時間計測カウンタが所定時間Ｔになっている場合は、処理がＳ２０７に進む。Ｓ２０７において、カメラマイコン１３２が、主被写体の角速度を算出する。ここで、主被写体の角速度を算出し直すのは、時間と共に主被写体の速度が変化する場合を考慮しての処置である。Ｓ２０７で算出された主被写体の角速度は、算出される度にレンズマイコン１１３へと送信される。

次に、Ｓ２０８において、カメラマイコン１３２が、流し撮り判定部１５３で積分している流し撮り角度をリセットして計測を始める。続いて、Ｓ２０９において、カメラマイコン１３２が、レリーズスイッチが全押しされたかを判断する。レリーズスイッチが全押しされていない場合は、処理がＳ２０１へ戻る。

レリーズスイッチが全押しされた場合は、処理がＳ２１１へ進む。そして、カメラマイコン１３２が、流し撮り判定処理を行う。流し撮り許可である場合は、処理がＳ２１３に進む。そして、現在のカメラ設定の状態で撮影する。流し撮り不許可である場合は、処理がＳ２１２に進む。そして、カメラマイコン１３２が、ＬＣＤ１７２に警告表示を行い、処理がＳ２１３に進む。

次に、Ｓ２１４において、カメラマイコン１３２が、レリーズスイッチが全押しされたかを判断する。レリーズスイッチが全押しされた場合は、処理がＳ２１１へ戻り、次の撮影を開始する。レリーズスイッチが全押しされていない場合は、処理がＳ２０１へ戻る。

図１０は、カメラマイコン内の流し撮り判定部が実行する流し撮り判定処理を説明するフローチャートである。
Ｓ３０１において、流し撮り判定部１５３が、カメラが流し撮りアシストモードであるかを判断する。カメラが流し撮りアシストモードでない場合は、処理がＳ３０１へ戻る。カメラが流し撮りアシストモードである場合は、処理がＳ３０２に進む。

Ｓ３０２において、流し撮り判定部１５３が、流し撮り角度を取得する。そして、Ｓ３０３において、流し撮り判定部１５３が、被写体角速度と流し撮り経過時間から、被写体が被写体角速度を保った場合の被写体角度（予測被写体角度）を算出する。続いて、Ｓ３０４において、流し撮り判定部１５３が、流し撮り判定を行うための角度の閾値（流し撮り閾値）を算出する。流し撮り閾値は、焦点距離が大きい（画角が小さい）ほど値を小さくする。この例では、流し撮り閾値は、焦点距離から算出した画角とする。

Ｓ３０５において、流し撮り判定部１５３が、予測被写体角度と流し撮り角度との差の絶対値が流し撮り閾値θより大きいかを判断する。予測被写体角度と流し撮り角度との差の絶対値が流し撮り閾値θより大きい場合は、処理がＳ３０６に進む。予測被写体角度と流し撮り角度との差の絶対値が流し撮り閾値θ以下である場合は、処理がＳ３０７に進む。

Ｓ３０６において、流し撮り判定部１５３が、流し撮りを許可する。Ｓ３０７においては、流し撮り判定部１５３が、流し撮り撮影を許可せず、レンズマイコン１１３へ流し撮りアシストモードの解除を通知する。

図１１は、流し撮り判定部による制御を説明する図である。
１００１は、カメラである。１００２は、被写体角速度を算出したタイミングでの被写体の位置である。１００３は、算出した被写体角速度で被写体が動いた場合の被写体の位置である。１００２から１００３までの角度を仮想被写体角度θ１とする。１００４は、角速度センサ１１１からの情報から算出した実際の被写体の位置である。１００２から１００４までの角度を流し撮りθ２とする。１００５は撮影時の画角θ３である。したがって、流し撮り判定部１５３は、｜θ１−θ２｜と比べてθ３の方が小さければ、流し撮りアシスト撮影を許可する判定を行う。

次に、図９のＳ２０４における、動きベクトルの判定の基準とする閾値（以下、単に「判定閾値」と記述する）を変更する処理について説明する。
本実施形態では、流し撮り動作中に、主要被写体、背景、その他動体、誤検出の動きベクトルに動きベクトルを判定するために、図１２に示すように、複数の判定閾値を記憶手段に記憶する。カメラマイコン１３２は、記憶手段に記憶した判定閾値を用いて、動きベクトルの判定を実行する。本実施形態では、判定閾値は、カメラの状態に応じて、α１乃至α７のいずれかに設定される。また、本実施形態では、動きベクトルの判定対象に応じて、それぞれの判定閾値を厳しくするか、ゆるくするかが設定される。例えば、判定閾値α１は、カメラが流し撮り撮影開始時で加速中の状態である場合に設定される判定閾値である。この状態では、主要被写体、背景について、判定閾値α１を厳しくする。これにより、判定された動きベクトルが主要被写体の角速度計算に与える影響を少なくすることができる。

図１３は、動きベクトルの判定閾値を変更するタイミングを説明するフローチャートである。
Ｓ２０４１において、カメラマイコン１３２が、カメラの状態が、流し撮り動作が開始した時点の、被写体を追い始めた加速中であるかを判断する。加速中である場合、被写体を追いきれていない可能性が高い。したがって、Ｓ２０４２において、カメラマイコン１３２は、判定閾値としてα１を設定する。加速中でなく、等速動作中である場合、Ｓ２０４３において、カメラマイコン１３２は、判定閾値としてα２を設定する。

次に、Ｓ２０４４において、カメラマイコン１３２が、オートフォーカス（自動焦点調節動作）を実行する。Ｓ２０４５において、カメラマイコン１３２が、被写体に合焦したかを判断する。被写体に合焦した場合、Ｓ２０４６において、カメラマイコン１３２が、判定閾値としてα３を設定する。被写体に合焦していない場合、Ｓ２０４７において、カメラマイコン１３２が、距離画像を生成する。

Ｓ２０４８において、カメラマイコン１３２が、生成した距離画像から被写体の領域が確定したかを判断する。被写体の領域が確定した場合、Ｓ２０４９において、カメラマイコン１３２が、判定閾値としてα４を設定する。被写体の領域が確定しない場合はＳ２０５０に進む。

次に、Ｓ２０５０において、カメラマイコン１３２が、撮影画像からの人体検出処理、顔検出処理、被写体速度計算を実行する。続いて、Ｓ２０５１において、カメラマイコン１３２が、人体の領域が確定したかを判断する。人体の領域が確定した場合、カメラマイコン１３２は、判定閾値としてα５を設定する。人体の領域が確定しない場合は、Ｓ２０５３に進む。

Ｓ２０５０において、カメラマイコン１３２が、顔認識を実行する。続いて、カメラマイコン１３２が、特定の人物の認識に成功したかを判断する。特定の人物の認識に成功した場合、カメラマイコン１１３が、判定閾値としてα６を設定する。特定の人物の認識に失敗した場合は、Ｓ２０５６に進む。

次に、Ｓ２０５６において、カメラマイコン１１３が、特定の被写体の認識を実行する。カメラマイコン１１３は、ＳＨＩＦＴなど特定物体検出アルゴリズムを用いて、特定の被写体の認識を実行する。そして、Ｓ２０５７において、カメラマイコン１１３が、特定の被写体の認識に成功したかを判断する。特定の被写体の認識に成功した場合、カメラマイコン１１３は、判定閾値としてα７を設定する。特定の被写体の認識に失敗した場合、処理を終了する。

以上、図１に示すカメラシステムの動作を説明したが、カメラシステムは、図１４に示す構成をとることもできる。図１４に示すカメラシステムは、交換レンズ９００とカメラ本体９２０とを備える。図１４に示す例では、カメラマイコン９３１が、ドライバ９３２を介して撮像素子９３４を光軸と垂直方向に駆動させることにより、撮像装置の振れによる光軸に対する像の振れを光学的に補正する。また、カメラマイコン９３１が、図１のレンズマイコン１１３が備える手ブレ補正制御部１１７と同様の機能を有する手ブレ補正制御部９５１を備える。また、カメラマイコン９３１が、図１のレンズマイコン１１３が備える流し撮り制御部１８と同様の機能を有する流し撮り制御部９５２を備える。図１４に示す構成においては、少なくとも、カメラ信号処理回路１２４、カメラマイコン９３１、撮像素子９３４によって像ブレ補正装置を実現できる。

（実施例１）
図１５は、実施例１における、動きベクトルの判定閾値の変更処理を説明するフローチャートである。
まず、Ｓ６０１において、カメラマイコン１３２が、カメラの状態を示す情報を含むジャイロからの出力を取得する。続いて、Ｓ６０２において、カメラマイコン１３２が、ジャイロから得られた出力に基づいて、カメラが停止中であるかを判断する。カメラが停止中である場合は、処理を終了する。カメラが停止中でない場合は、処理がＳ６０３に進む。

Ｓ６０３において、カメラマイコン１３２が、ジャイロから得られた出力に基づいて、カメラの状態が、流し撮り撮影の開始時（パンニング動作の開始時）における加速動作中であるかを判断する。カメラの状態が、流し撮り撮影の開始時における加速動作中である場合は、処理がＳ６０４に進む。そして、Ｓ６０４において、カメラマイコン１３２が、判定閾値として図１２のα１を設定する。

カメラの状態が、流し撮り撮影の開始時における加速動作中でない場合は、処理がＳ６０５に進む。Ｓ６０５において、カメラマイコン１３２が、ジャイロから得られた出力に基づいて、カメラが被写体を追尾できて安定した状態での等速動作中であるかを判断する。カメラが等速動作中でない場合は、処理を終了する。カメラが等速動作中である場合は、処理がＳ６０６に進む。そして、Ｓ６０４において、カメラマイコン１３２が、判定閾値として図１２のα２を設定する。

本実施例では、カメラシステムは、流し撮り撮影のユーザ補助において、主要被写体の角速度の計算に用いる動きベクトルの判定をカメラの状態（加速中、等速中）に応じて、変更する。これによって主要被写体、背景、その他動体、誤検出の動きベクトルを良く判定することが可能になる。そして、主要被写体の角速度の計算を精度良く行うことが出来るようになり、流し撮り撮影のユーザ補助を性能良く行うことが可能になる。更に、主要被写体の角速度計算を行うために所定時間Ｔの経過を待ってから計算を行っているが、動きベクトルの判定を精度良く行うことができれば、所定時間Ｔを極力小さくすることが可能になる。その結果、被写体を追うためのパンニング動作を開始してすぐに流し撮り撮影のユーザ補助が可能になる。

（実施例２）
図１６は、実施例２における、動きベクトルの判定閾値の変更処理を説明するフローチャートである。
Ｓ７０１乃至Ｓ７０６は、図１５のＳ６０１乃至Ｓ６０６と同様である。
Ｓ７０７において、カメラマイコン１３２が、流し撮り時のＳ１ＯＮ動作（図９のＳ２０１）によって、撮像素子１２２で被写体を結像させる動作を自動的に行うオートフォーカスを実行する。

次に、Ｓ７０８において、カメラマイコン１３２が、被写体に合焦したかを判断する。被写体に合焦していない場合は、処理を終了する。被写体に合焦した場合は、処理がＳ７０９に進む。そして、Ｓ７０９において、カメラマイコン１３２が、判定閾値としてα３（図１２）を設定する。

実施例２では、Ｓ７０７の処理により、画角の中で結像した被写体のある領域を知ることが可能である。カメラマイコン１３２は、結像した被写体のある領域を主要被写体（図１７の１４０５）として判定し、被写体のある領域とその領域以外の領域とで、それぞれ動きベクトルの判定の閾値α３に変更する。これにより、主要被写体（図１７の１４０１）、背景（図１７の１４０２）、その他動体、誤検出動きベクトル（図１７の１４０３）の判定を精度良く実行することが可能である。本実施例によれば、オートフォーカスによって合焦した領域とそれ以外の領域にそれぞれ動きベクトルの判定閾値α３を設定することで、主要被写体の角速度を精度良く計算でき、流し撮り撮影のユーザ補助を性能良く実施できることが可能になる。

（実施例３）
図１８は、実施例３における、動きベクトルの判定閾値の変更処理を説明するフローチャートである。
Ｓ８０１乃至Ｓ８０９は、図１６のＳ７０１乃至Ｓ７０９と同様である。
Ｓ８１０において、カメラマイコン１３２が、の流し撮り時に撮像素子１２２に結像された画像に基づいて、被写体までの距離画像を生成する。続いて、Ｓ８１１において、距離画像に基づいて、主要被写体が存在する画素領域（図１９の１５０５）があるかを判断する。主要被写体が存在しない場合は、処理を終了する。主要被写体が存在する場合は、処理がＳ８１２に進む。Ｓ８１２において、カメラマイコン１３２が、判定閾値としてα４を設定する。

実施例３では、Ｓ８１０で生成された距離画像から判明する主要被写体領域とそれ以外の領域とでそれぞれ判定閾値α４を設定する。これにより、主要被写体（図１９の１５０１）、背景（図１９の１５０２）、その他動体、誤検出動きベクトル（図１９の１５０３）の判定を精度良く実行することが可能である。本実施例では、生成された被写体までの距離画像から、主要被写体とそれ以外の領域にそれぞれ判定閾値α４を設定することで主要被写体の角速度を精度良く計算できる。

（実施例４）
図２０および図２１は、実施例４における、動きベクトルの判定閾値の変更処理を説明するフローチャートである。
図２０のＳ９０１乃至Ｓ９１２は、図１８のＳ９０１乃至Ｓ８１２と同様である。
図２１のＳ９１３において、カメラマイコン１３２が、撮像素子に結像された画像に対して、被写体検出部１４２（図１）に内蔵された人体検出アルゴリズムを適用する。続いて、Ｓ９１４において、カメラマイコン１３２が、撮像素子に結像された画像に対して、被写体検出部１４２に内蔵された顔検出アルゴリズムを適用する。これにより、カメラマイコン１３２は、主要被写体となる人物の存在する領域（図２２の１６０５）を検出する。

次に、Ｓ９１５において、カメラマイコン１３２が、主要被写体となる人物の移動速度を計算する。続いて、Ｓ９１６において、カメラマイコン１３２が、主要被写体となる人物が検出されたかを判断する。主要被写体となる人物が検出されていない場合は、処理を終了する。主要被写体となる人物が検出された場合は、処理がＳ１０１７に進む。Ｓ１０１７において、カメラマイコンが、Ｓ９１３とＳ９１４の処理で検出された主要被写体領域とそれ以外の領域とでそれぞれ判定閾値としてα５（図１２）を設定する。

ここで、人が移動する時には、手足の画像領域が検出される動きベクトルは、必ずしも人が移動する方向に出るとは限らず、手足の振れる方向に出る。この手足の領域で検出された動きベクトルは、人の移動速度計算に用いると良くない。したがって、カメラマイコン１３２は、人の手足が存在する領域（図２２の１６０６）については、Ｓ９１７で設定する判定閾値α５を厳しくする。すなわち、判定閾値α５を、手足の領域から検出される動きベクトルが主被写体の角速度の計算から除外されることになる値に設定する。判定閾値α５を厳しくすることで、誤検出の動きベクトルと同様の扱いにしてしまい、主要被写体である人物の移動速度計算への影響を少なくし、誤差を小さくすることが可能である。また、カメラマイコン１３２は、手足があると推測される領域（図２２の１６０６）のサイズを、Ｓ９１５で検出された人物の移動速度によって変えることで、より適した判定閾値の設定を行う。人の移動速度が遅い場合は、領域を小さく設定することで適正な領域のみ判定閾値を変更することが可能になる。

本実施例によれば、人体検出処理、顔検出処理によって検出される主要被写体とそれ以外の領域とにそれぞれ判定閾値α５を設定することで、主要被写体の角速度を精度良く計算できる。

（実施例５）
図２３および図２４は、実施例５における、動きベクトルの判定閾値の変更処理を説明するフローチャートである。
図２３のＳ１００１乃至Ｓ１０１２は、図２０のＳ９０１乃至Ｓ９１２と同様である。また、図２４のＳ１０１３乃至Ｓ１０１７は、図２１のＳ９１３乃至Ｓ９１７と同様である。

Ｓ１０１８において、カメラマイコン１３２が、流し撮り時に撮像素子１２２に結像された画像に対して、被写体検出部１４２に内蔵された顔認識アルゴリズムを適用する。Ｓ１０１８によって、主要被写体となる特定の人物の存在する領域（図２５の１７０５）がわかる。また、主要被写体ではないと判定された人物のいる画像領域もわかる。

続いて、カメラマイコン１３２が、予め登録された人物が検出されたかを判断する。登録された人物が検出されない場合は、処理を終了する。登録された人物が検出された場合は、処理がＳ１０２０に進む。Ｓ１０２０において、カメラマイコン１３２が、判定閾値としてα６（図１２）を設定する。主要被写体ではないと判定された人物のいる領域で検出された動きベクトルは、主要被写体の移動量計算に用いると誤差が大きくなってしまうため、使わない方が良い。したがって、カメラマイコン１３２は、主要被写体領域とそれ以外の領域とで異なる判定閾値α６を設定する。

本実施例によれば、顔認識アルゴリズムで認識された主要被写体とそれ以外の領域にそれぞれ複数の判定閾値α６を設定することで、主要被写体の角速度を精度良く計算できる。

（実施例６）
図２６および図２７は、実施例６における、動きベクトルの判定閾値の変更処理を説明するフローチャートである。
図２６のＳ１１０１乃至Ｓ１１１２は、図２３のＳ１００１乃至Ｓ１０１２と同様である。また、図２７のＳ１１１３乃至Ｓ１１２０は、図２４のＳ１０１３乃至Ｓ１０２０と同様である。

Ｓ１１２１において、カメラマイコン１３２が、流し撮り時に撮像素子１２２に結像された画像に対して、被写体検出部１４２に内蔵された特定物体認識アルゴリズムを適用する。適用する特定物体認識アルゴリズムは、例えばＳＨＩＦＴである。Ｓ１１２１によって主要被写体となる特定の物体の存在する領域（図２８の１８０５）がわかる。

次に、Ｓ１１２２において、カメラマイコン１３２が、Ｓ１１２１による特定物体認識アルゴリズムの適用結果に基づいて、予め登録された物体が認識されたかを判断する。登録された物体が認識されていない場合は、処理を終了する。

登録された物体が認識された場合は、処理がＳ１１２３に進む。Ｓ１１２３において、カメラマイコン１３２が、判定閾値としてα７（図１２）を設定する。具体的には、カメラマイコン１３２は、主要被写体領域とそれ以外の領域とで異なる判定閾値α７を設定する。本実施例によれば、検出された特定物体である主要被写体とそれ以外の領域にそれぞれ複数の判定閾値α７を設定することで主要被写体の角速度を精度良く計算できる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 交換レンズ
１２０ カメラ本体

Claims (14)

1. 流し撮り撮影中の像ブレを光学補正手段を用いて補正する像ブレ補正装置であって、
   前記光学補正手段の駆動信号の算出に用いる主被写体の角速度を計算するための動きベクトルの判定処理を実行する判定手段と、
   前記判定手段による判定処理をカメラの状態に応じて変更する制御手段とを備える
   ことを特徴とする像ブレ補正装置。
2. 撮影画像から前記動きベクトルを検出する第１の検出手段を備え、
   前記判定手段は、前記検出された動きベクトルが、主被写体の動きベクトル、背景の動きベクトル、その他動体の動きベクトル、誤検出された動きベクトルのうちのいずれであるかを判定し、
   前記制御手段は、前記判定の基準とする判定閾値をカメラの状態に応じて変更する
   ことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記カメラの状態を検出する第２の検出手段を備え、
   前記制御手段は、前記検出されたカメラの状態に応じて前記判定閾値を変更する
   ことを特徴とする請求項２に記載の像ブレ補正装置。
4. 前記制御手段は、前記カメラの状態が、前記流し撮り撮影の開始時における加速動作中である場合に、前記判定閾値として第１の閾値を設定する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
5. 前記制御手段は、前記カメラの状態が、等速動作中である場合に、前記判定閾値として第２の閾値を設定する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
6. 前記制御手段は、前記カメラの状態が、自動焦点調節動作によって被写体に合焦した状態である場合に、前記判定閾値として第３の閾値を設定する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
7. 撮影画像から被写体までの距離を示す距離画像を生成する生成手段を備え、
   前記制御手段は、前記距離画像に基づいて、主被写体の領域があるかを判断し、主被写体の領域があると判断した場合に、主被写体の領域と主被写体の領域以外の領域とについて、前記判定閾値として第４の閾値を設定する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の像ブレ補正装置。
8. 撮影画像から主被写体として人物の領域を検出する第３の検出手段を備え、
   前記制御手段は、前記検出された人物の領域と人物の領域以外の領域とについて、前記判定閾値として第５の閾値を設定する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の像ブレ補正装置。
9. 前記制御手段は、前記検出された人物が移動している場合には、前記人物の手足の領域については、前記手足の領域から検出される動きベクトルが前記主被写体の角速度の計算から除外されることになる閾値を前記第５の閾値として設定する
   ことを特徴とする請求項８に記載の像ブレ補正装置。
10. 撮影画像に含まれる顔の認識を実行する顔認識手段を備え、
    前記制御手段は、登録された人物の顔が認識された場合に、当該人物を主被写体とし、主被写体の領域と主被写体の領域以外の領域とについて、前記判定閾値として第６の閾値を設定する
    ことを特徴とする請求項９に記載の像ブレ補正装置。
11. 前記制御手段は、登録された人物の顔が認識された場合に、当該人物の領域以外の領域については、当該人物の領域以外の領域から検出される動きベクトルが前記主被写体の角速度の計算から除外されることになる閾値を前記第６の閾値として設定する
    ことを特徴とする請求項１０に記載の像ブレ補正装置。
12. 前記制御手段は、撮影画像に登録された特定の物体が含まれる場合に、当該特定の物体を主被写体とし、主被写体の領域と主被写体の領域以外の領域とについて、前記判定閾値として第７の閾値を設定する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の像ブレ補正装置。
13. 請求項１乃至１２のいずれか１項に記載の像ブレ補正装置を備える撮像装置。
14. 流し撮り撮影中の像ブレを光学補正手段を用いて補正する像ブレ補正装置の制御方法であって、
    前記光学補正手段の駆動信号の算出に用いる主被写体の角速度を計算するための動きベクトルの判定処理を実行する判定工程と、
    前記判定工程による判定処理をカメラの状態に応じて変更する制御工程とを有する
    ことを特徴とする制御方法。

Images