JP2021164087A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】撮影者が期待する被写体ブレの補正位置において被写体ブレ補正を行うことができる撮像装置を提供すること。
【解決手段】カメラ制御部１４１は、第１の方法で被写体を検出し、第１の方法とは異なる第２の方法で被写体を検出し、第１の方法による検出結果と第２の方法による検出結果のそれぞれに基づいて、被写体ブレの補正を行う補正位置の候補をＬＣＤ１４０に表示する。カメラ制御部１４１およびレンズ制御部１１２は、候補の中から指定された補正位置に基づいてシフトレンズ１０４を駆動して被写体ブレを補正する制御を行う。
【選択図】図７

Description

本発明は、撮像装置およびその制御方法に関する。

近年のカメラには人物や動物の瞳を検出し、瞳に対してオートフォーカス（以下ＡＦ）を行う瞳ＡＦという機能が搭載されてきている。ポートレート写真では正確に瞳に対してピントを合わせることが重要であるように、構図やシーンによってピントを合わせたい位置が決まっていることがある。そして、ピントを合わせたい位置では、ブレも抑制することが求められる。

画像に発生するブレの種類を簡単に説明する。ブレには、手や身体の振動により発生する手振れと、被写体が動いてしまうことにより発生する被写体ブレの２種類がある。ブレのうち被写体ブレでは、同一被写体においても被写体の位置によって被写体のブレ量が変わる。そのため、被写体ブレ補正を行う場合は、同一被写体のどこか１点を決めて補正することになる。そこで、被写体ブレを補正する位置をユーザーインターフェース表示し、撮影者に対して通知する仕組みが必要である。特許文献１は、撮像光学系のＡＦ用の測距点枠位置の表示を用いて被写体ブレについて表示する方法を開示している。特許文献１では、検出したベクトル情報から被写体ブレを補正する位置のベクトル枠を決定し、決定したベクトル枠のベクトル値と設定したシャッタ速度で駆動させた場合に、駆動量が光学補正系の駆動領域内に収まるか否かで表示内容を変えて表示している。

特開２０１８−１８０３３６号公報

しかしながら、カメラが自動的に被写体ブレを補正する位置と、撮影者の期待する被写体ブレを補正する位置が一致するとは限らない。

本発明は、撮影者が期待する被写体ブレの補正位置において被写体ブレ補正を行うことができる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、被写体を検出する第１の検出手段と、前記第１の検出手段が被写体の検出を行う方法とは異なる方法で被写体を検出する第２の検出手段と、前記第１の検出手段の検出結果と前記第２の検出手段の検出結果のそれぞれに基づいて、被写体ブレの補正を行う補正位置の候補を表示する表示手段と、前記候補の中から指定された補正位置に基づいて被写体ブレを補正する制御を行う制御手段と、を備える。

本発明によれば、撮影者が期待する被写体ブレの補正位置において被写体ブレ補正を行うことができる撮像装置を提供することができる。

撮像装置の構成を示す図である。 手振れ補正制御に関する構成の一例を示す図である。 流し撮り制御の全体フローチャートである。 被写体ベクトルの検出方法を説明するための図である。 撮像装置と被写体とが成す角度を説明する図である。 撮像装置と被写体とが成す角度と、被写体角速度および被写体角加速度の関係を説明する図である。 被写体ブレの補正位置の候補の表示例を示す図である。 被写体ブレの補正位置表示のフローチャートである。 重心点の算出を説明するための図である。 被写体の重心点に基づく被写体ブレの補正位置について説明する図である。

図１を参照して、本実施形態における撮像装置の構成について説明する。図１は、撮像装置の構成を示す図である。撮像装置は、カメラ本体１３０と、レンズ装置である交換レンズ１００とを有する。カメラ本体１３０には、交換レンズ１００が着脱可能である。なお、本実施形態では、交換レンズ１００がカメラ本体１３０に対して着脱可能な交換レンズ式の撮像装置を例に説明するが、これに限られるものではなく、レンズとカメラ本体が一体となったレンズ一体型の撮像装置であってもよい。

まず、交換レンズ１００の構成について説明する。交換レンズ１００は、撮影レンズユニット１０１、位置検出部１０５、エンコーダ１０６、角速度検出部１１１、レンズ制御部１１２、ドライバ１１３、アンプ回路（ＡＭＰ）１１４、マウント接点部１１５を有する。

撮影レンズユニット１０１は、撮像光学系１０２、ズームレンズ群（以下、ズームレンズと記述）１０３、シフトレンズ群（以下シフトレンズと記述）１０４を有する。撮像光学系１０２は、被写体光をズームレンズ１０３とシフトレンズ１０４を介して撮像素子１３２に導く。ズームレンズ１０３は、焦点距離を変更可能なレンズ群である。シフトレンズ１０４は、撮像装置に加わる振れにより生じる撮像画像のブレ（像ブレ）を光学的に補正するために用いられる補正手段である。具体的には、レンズ制御部１１２が、ドライバ１１３を制御することでシフトレンズ１０４を光軸と垂直方向に駆動することによって、像ブレが補正される。

位置検出部１０５は、シフトレンズ１０４の位置を検出する。位置検出部１０５は、例えばホール素子である。エンコーダ１０６は、ズームレンズ１０３の位置を検出するズームエンコーダである。また、角速度検出部１１１は、撮像装置に加わる振れを検出し、角速度信号を振れ検出信号として出力する。角速度検出部１１１は、例えばジャイロセンサである。

また、ドライバ１１３は、シフトレンズ１０４を駆動する。アンプ回路１１４は、位置検出部１０５が検出したシフトレンズ１０４の位置を示す信号（位置検出信号）を増幅してレンズ制御部１１２に出力する。マウント接点部１１５は、交換レンズ１００とカメラ本体１３０との通信を中継する。

また、レンズ制御部１１２は、交換レンズ１００全体を制御する。レンズ制御部１１２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。レンズ制御部１１２は、手振れ補正制御部１２１と、流し撮り制御部１２２とを有する。手振れ補正制御部１２１は、手振れにより生じる像ブレを補正する制御である手振れ補正制御を実行する。流し撮り制御部１２２は、流し撮りアシストの制御を実行する。流し撮りアシストの制御は、流し撮り時において、被写体の動きに対する撮像装置の撮影方向のズレに応じた被写体に係る像ブレ（被写体ブレ）を補正光学系で補正する制御である。本実施形態では、補正光学系としてシフトレンズ１０４を用いるが、補正光学系として撮像素子を用いてもよい。流し撮り制御部１２２は、被写体ブレの補正に用いるシフトレンズ１０４の駆動量の算出に、カメラ制御部１４１が算出する被写体角速度を用いる。

レンズ制御部１１２は、手振れ補正制御と流し撮りアシストの制御の他に、フォーカスレンズ制御、絞り制御等も行うが、図の簡略化のために説明を省略する。また、手振れ補正制御の実行のためには、例えば縦方向と横方向といった、直交する２軸に関する振れの検出および補正が必要であるが、一方の軸に関する処理に必要な構成は、他方の軸に関する処理に必要な構成と同様である。したがって、以下では１軸に関する構成に関して説明する。

次に、カメラ本体１３０の構成について説明する。カメラ本体１３０は、シャッタ１３１、撮像素子１３２、アナログ信号処理回路（ＡＦＥ）１３３、カメラ信号処理回路１３４を備える。シャッタ１３１は、撮像素子１３２が受光する光量を調節する。撮像素子１３２は、例えば、ＣＭＯＳセンサ等であり、被写体光を光電変換して撮像画像に係る信号を出力する。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。ＡＦＥ１３３は、撮像素子１３２が出力したアナログ信号をデジタル信号に変換してカメラ信号処理回路１３４に出力する。カメラ信号処理回路１３４は、ＡＦＥ１３３が出力した信号に対して所定の処理を実行する。カメラ信号処理回路１３４は、撮像画像から動きベクトルを検出する動きベクトル検出部１４５を備える。動きベクトル検出部１４５は、撮像素子１３２から取得した異なるフレーム間における画像の動き量を動きベクトルとして検出する。なお、本実施形態は、ミラーレスカメラを想定しているが、レフレックスミラーが存在する一眼レフカメラにも適用が可能である。一眼レフカメラの場合には、動きベクトル検出部１４５は、測光センサの映像信号から動きベクトルを検出すればよい。

また、カメラ本体１３０は、タイミングジェネレータ（ＴＧ）１３５、操作部１３６、メモリカード１３９、表示パネル（以下、ＬＣＤと記述）１４０を備える。ＬＣＤ１４０は、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略称である。ＴＧ１３５は、撮像素子１３２やアナログ信号処理回路１３３の動作タイミングを設定する。操作部１３６は、ユーザの操作入力を受け付ける。操作部１３６は、電源スイッチ、レリーズスイッチ等を有する。メモリカード１３９には、撮影された映像（撮像画像）が記録される。ＬＣＤ１４０は、撮像画像、各種情報等を表示する。また、ＬＣＤ１４０は、静電方式や感圧方式等を利用したタッチ操作可能なタッチパネル機能を有し、ユーザの操作を受け付ける。

また、カメラ本体１３０は、ドライバ１３７、シャッタ駆動用モータ１３８、角速度検出部１７１、距離検出部１８１、マウント接点部１４４、カメラ制御部１４１、メモリ１４２を備える。ドライバ１３７は、シャッタ駆動用モータ１３８を駆動する。シャッタ駆動用モータ１３８は、シャッタ１３１を駆動する。角速度検出部１７１は、撮像装置に加わる振れを検出して、角速度信号（振れ検出信号）をカメラ制御部１４１に出力する。距離検出部１８１は、被写体までの距離を検出する。マウント接点部１４４は、カメラ本体１３０と交換レンズ１００との通信を中継する。メモリ１４２は、画像データを一時的に記憶する他、各種設定情報、演算情報等を記憶する。

カメラ制御部１４１は、ＣＰＵを備え、カメラ本体１３０全体を制御する。例えば、カメラ制御部１４１は、カメラ信号処理回路１３４を制御することで撮像画像から取得される動きベクトルに基づいて、像ブレ補正に用いられる被写体の角速度（被写体角速度）を算出する。また、カメラ制御部１４１は、マウント接点部１１５およびマウント接点部１４４を介して、交換レンズ１００のレンズ制御部１１２との間で、各種の情報（例えば流し撮りアシストの制御に必要な被写体角速度の情報など）を通信する。

カメラ制御部１４１は、シャッタ制御部１５１、被写体角速度算出部１５２、シャッタ速度算出部１５３、ズーム流し撮り制御部１５４を備える。シャッタ制御部１５１は、ドライバ１３７に指示して、シャッタ動作を制御する。被写体振れ補正算出部１５２は、被写体のブレ補正量として被写体角速度を算出する。被写体振れ補正算出部１５２は、算出した被写体角速度をレンズ制御部１１２に対して送信する。具体的には、動きベクトル検出部１４５によって、画像の動き量が動きベクトルとして検出されるので、被写体振れ補正算出部１５２は、検出された動きベクトルから被写体に対応するベクトル（被写体ベクトル）を正確に検出する。そして、被写体振れ補正算出部１５２は、検出された被写体ベクトルに基づいて、被写体角速度を算出する。カメラ制御部１４１は、算出された被写体角速度をレンズ制御部１１２に対して送信する。シャッタ速度算出部１５３は、流し撮りに適したシャッタ速度を算出する。ズーム流し撮り制御部１５４は、フレーム毎に撮影画角に写る被写体を一定の大きさで写すようにズーム位置を制御する。

以上の説明したように、本実施形態の撮像システムは、補正手段であるシフトレンズ１０４を光軸と直交する方向に駆動して像ブレ補正を行う像ブレ補正装置を備えている。そして、カメラ制御部１４１とレンズ制御部１１２とが、撮像画像から得られる被写体角速度に基づいて、シフトレンズ１０４を駆動することにより、流し撮り時の被写体に係る像ブレを補正する制御手段として機能する。カメラ制御部１４１とレンズ制御部１１２は、被写体ブレの補正位置に基づき算出される被写体角速度に基づいて、シフトレンズ１０４を駆動する。

図１において、操作部１３６によりカメラ本体１３０の電源がＯＮされると、電源がＯＮとなったことをカメラ制御部１４１が検出し、カメラ制御部１４１の制御によりカメラ本体１３０の各回路への電源供給および初期設定が行われる。また、交換レンズ１００への電源供給が行われ、レンズ制御部１１２の制御により、交換レンズ１００内の初期設定が行われる。そして、レンズ制御部１１２とカメラ制御部１４１との間で所定のタイミングで通信が開始される。カメラ本体１３０から交換レンズ１００へ送られる通信データは、例えば、カメラの状態、撮影設定等である。また、交換レンズ１００からカメラ本体１３０へ送られる通信データは、例えば、レンズの焦点距離情報、角速度情報等である。

図２は、手振れ補正制御に関する構成の一例を示す図である。交換レンズ１００内では、角速度検出部１１１が手振れ等によって撮像装置に加わる振れを検出し、手振れ補正制御部１２１によって、手振れ補正制御が行われる。なお、図２の説明において、図１と共通の構成については、同じ符号を付し説明を省略する。

手振れ補正制御部１２１は、オフセット除去部２０１〜パルス幅変調部２０８を備える。オフセット除去部２０１は、例えばハイパスフィルタ（以下、ＨＰＦ）等を有するフィルタ演算部であり、角速度検出部１１１の出力に含まれている直流成分の除去を行う。利得位相算出部２０２は、オフセット除去部２０１によってオフセット成分が除去された角速度信号に対して増幅および位相補償を行う。このために、利得位相算出部２０２は、オフセット成分が除去された角速度信号を所定のゲインで増幅する増幅器と、角速度信号に対して位相補償を行う位相補償フィルタを備える。

積分器２０３は、任意の周波数帯域でその特性を変更し得る機能を有しており、利得位相算出部２０２の出力を積分し、シフトレンズ１０４の駆動量を算出する。積分器２０３は、角速度検出部１１１の角速度が一定値以上の大きさで所定時間経過した場合は、パンニング中と判定し、オフセット除去部２０１のＨＰＦのカットオフ周波数を高周波側に除々に変更する。積分器２０３が、カットオフ周波数を高周波側へ除々に変更することで、手振れ補正制御の目標信号が除々に小さくなり、補正光学系（シフトレンズ）を光学中心位置に戻す。パンニング中と判定されるほどの大きな角速度を、カットオフ周波数を高周波側へ変更せずに補正光学系で補正してしまうと、補正光学系は補正限界点に達してしまい、撮影者に不自然な画角変化が見えてしまうからである。

防振制御判定部２０４は、積分器２０３と後述の積分器２２５の各出力を取得し、いずれかを減算器２０５に出力する。防振制御判定部２０４は、カメラ情報取得部２２６の出力に応じてシフトレンズ１０４を駆動させるための信号を、以下のように切り替える。例えば、撮影モードが流し撮りアシストモードに設定されている場合は、防振制御判定部２０４は、流し撮り制御部１２２で算出された積分器２２５の出力を選択する。一方、撮影モードが流し撮りアシストモード以外に設定されている場合は、防振制御判定部２０４は、手振れ補正制御部１２１で算出された積分器２０３の出力を選択する。

位置検出部１０５は、シフトレンズ１０４の位置を検出し、位置検出信号をアンプ１１４が増幅する。Ａ（アナログ）／Ｄ（デジタル）変換器２０６は、アンプ１１４が増幅した位置検出信号をデジタル化して減算器２０５に出力する。

減算器２０５は、防振制御判定部２０４の出力を正入力とし、Ａ／Ｄ変換器２０６の出力を負入力として減算を行い、減算結果である偏差データを制御器２０７へ出力する。制御器２０７は、減算器２０５の出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器２０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部２０８に出力される。パルス幅変調部２０８は、制御器２０７の出力データを取得し、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、シフトレンズ駆動用のドライバ１１３へ出力する。

ドライバ１１３は、シフトレンズ１０４を駆動させる、例えばボイスコイル型モータである。ドライバ１１３は、パルス幅変調部２０８の出力にしたがって、シフトレンズ１０４を撮像光学系の光軸と垂直な方向に移動させる。

ここで、流し撮りアシストモードにおける制御と流し撮り制御部１２２の構成について説明する。ユーザが操作部１３６により、流し撮りアシストモードに設定する操作を行うと、カメラ制御部１４１は流し撮りアシストの制御に切り替える。また、その切り替えを示す情報がカメラ制御部１４１からレンズ制御部１１２へと送信され、レンズ制御部１１２が、流し撮りアシストの制御に切り替わる。

カメラ情報取得部２２６は、通信制御部２１１を介してカメラ制御部１４１から送信されてくる各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部２２６は、防振制御判定部２０４に対し、判定処理に必要な情報を出力する。

角速度出力部２２２は、オフセット除去部２０１の出力、つまりオフセット成分が除去された角速度信号を取得する。角速度出力部２２２は、通信制御部２１１とマウント接点部１１５を介して、カメラ制御部１４１へ角速度信号を送信する。被写体角速度取得部２２３は、カメラ本体部１３１内の被写体角速度算出部１５２で算出される被写体角速度を、マウント接点部１４４，１１５と通信制御部２１１を介して取得する。そして、被写体角速度取得部２２３は、取得した被写体角速度に基づいて、被写体ブレを補正する際の、シフトレンズ１０４の駆動量の算出に用いられる被写体角速度を出力する。

減算器２２４は、オフセット除去部２０１の出力を正入力とし、被写体角速度取得部２２３の出力を負入力として、減算を行う。被写体角速度取得部２２３が出力する被写体角速度から、オフセット成分が除去された角速度信号が示す角速度が減算されることで、偏差が算出される。減算器２２４は偏差を積分器２２５に出力する。積分器２２５は偏差を積分し、積分演算の結果を防振制御判定部２０４に出力する。

被写体ブレ補正の制御方法について図３のフローチャートを用いて説明する。図３は、流し撮りアシストの制御として行われる被写体ブレの補正の一例を説明するフローチャートである。

ステップＳ３０１において、カメラ制御部１４１が、交換レンズ１００内のシフトレンズ１０４の位置情報を取得する。動きベクトル検出部１４５が検出するベクトル値δｖは、撮像装置の角速度を撮像面上の変位量δｇへ換算した値とシフトレンズ１０４の駆動量を撮像面上の変位量δｏに換算した値を加算したもの（δｖ＝δｇ＋δｏ）である。

ステップＳ３０２において、カメラ制御部１４１が、交換レンズ１００内の角速度検出部１１１とカメラ本体１３０内の角速度検出部１７１が出力する角速度情報を取得する。そして、カメラ制御部１４１は、焦点距離［ｍｍ］、フレームレート［ｆｒａｍｅ／ｓｅｃ］、画素ピッチ［ｕｍ／ｐｉｘｅｌ］を用いて、角速度情報が示す角速度［ｄｅｇ／ｓｅｃ］を撮像面上の移動量［ｐｉｘｅｌ／ｆｒａｍｅ］に換算する。

ステップＳ３０３において、動きベクトル検出部１４５が、複数のフレーム間における画像の動き量を示す動きベクトルを検出する。
ステップＳ３０４において、カメラ制御部１４１が、ステップＳ３０１乃至ステップＳ３０３で取得された情報に基づいて、動きベクトルに関するヒストグラムを算出する。ヒストグラムの詳細に関しては後述する。

ステップＳ３０５において、カメラ制御部１４１が、ステップＳ３０４で算出したヒストグラムに基づいて、被写体ベクトルが検出できたかを判定する。被写体ベクトルが検出された場合は、処理がステップＳ３０６に進む。一方、被写体ベクトルが検出されていない場合は、処理がステップＳ３０１に進み、次のフレームを対象に処理が実行されるよう備える。

ここで、図４を用いて被写体ベクトルの検出判定方法について説明する。図４は、被写体ベクトルの検出を説明する図である。被写体ベクトルの検出判定は、ステップＳ３０４で算出されたヒストグラムを用いて行われる。図４に示すヒストグラムは、図３のステップＳ３０５で算出されるヒストグラムの一例である。横軸は、ベクトル値を示す。縦軸は、度数を示す。

動きベクトル検出部１４５によって、所定位置に配置されたベクトル検出枠内の各ブロックにおいて、１フレーム前のフレームとの動き量がベクトル値として検出される。カメラ制御部１４１は、動きベクトル検出部１４５で検出したベクトル値をヒストグラム算出する。動きベクトル検出部１４５は、検出した各ブロックが被写体のベクトルもしくは背景のベクトルに分類する機能はない。そこで、カメラ制御部１４１は、ヒストグラムに基づいて、撮像面上の移動量δｇに換算した角速度情報４０１を起点に、背景範囲４０２内に存在する動きベクトルを背景ベクトル群４０３であると判定する。カメラ制御部１４１は、背景範囲４０２外に存在する動きベクトルであって、度数が所定の閾値４０４以上を超えているベクトルを被写体ベクトル４０５であると判定する。なお、背景範囲４０２については、焦点距離や動きベクトル検出部１４５による動きベクトルの検出精度に応じて、長さ（背景範囲とみなすベクトル値の幅）を可変としてもよい。

また、カメラ制御部１４１は、以下のようにして被写体ベクトルが検出されたかを判定してもよい。すなわち、カメラ制御部１４１は、角速度信号に代えて、焦点調節処理（オートフォーカス）で得られるデフォーカス量に基づいて、合焦枠のデフォーカス量を起点に所定範囲の深度差の領域に存在するベクトルを被写体ベクトルと判定してもよい。そして、カメラ制御部は、所定範囲の深度差の領域外に存在するベクトルを背景ベクトル群と判定してもよい。また、カメラ制御部１４１は、デフォーカス量と角速度信号を併用して被写体ベクトルと背景ベクトル群の判定を行ってもよい。

図３の説明に戻る。
ステップＳ３０６において、カメラ制御部１４１が、被写体ブレの補正のためのシフトレンズ１０４の駆動量の算出に用いる被写体角速度を算出する。具体的には、カメラ制御部１４１は、ステップＳ３０５で検出した被写体ベクトル４０５のうち、被写体ブレの補正に用いる被写体ベクトルを選択する。その理由は、被写体の位置によってベクトル値は変わる（被写体ブレ量は変わる）場合があるからである。

例えば、撮影者が、直線運動をしている電車を流し撮りする場合、電車の車輛前方と車輛後方とでベクトル値が異なる。撮像装置の撮影方向を変えずに、撮像装置を被写体と同じ速度で一緒に動かせば、つまり被写体と撮像装置が平行移動すれば、被写体の前方も後方も同等のベクトル値になる。しかし、実際の流し撮りでは、撮影者は、撮像装置を被写体に対して並行に振るのではなく、角度変化を伴って振る。したがって、撮像装置から被写体を見たときに、被写体の前方と後方のベクトルとが異なる。焦点距離が広角になり、撮影距離が近くなる程、被写体の前方と後方のベクトルとが大きく異なるようになる。逆に、撮影距離が無限に長い場合は、被写体と並走しながら撮影するのと同等となるので、被写体全体が止まりやすくなる。被写体ブレ補正においては被写体の１点のブレを補正するため、ステップＳ３０６では、被写体ベクトル４０５の中から最終的に制御で使う被写体ベクトルを選択し被写体角速度へ換算する。

ステップＳ３０７において、カメラ制御部１４１が、ステップＳ３０６で算出した被写体角速度と、１フレーム前の被写体角速度の差分を求めることによって、被写体角加速度を算出する。

ここで、図５および図６を用いて撮影者から見た被写体角速度と被写体角加速度について説明する。図５は、被写体の移動状態に応じた撮像装置（撮影者）と被写体とが成す角度を説明する図である。図６（Ａ）は、撮像装置と被写体とが成す角度と、被写体角速度との関係を示す図である。図６（Ｂ）は、撮像装置と被写体とが成す角度と、被写体角加速度との関係を示す図である。

被写体の速度をｖ［ｍ／ｓ］、被写体までの距離をＬ［ｍ］とすると、被写体と撮影者との成す角度θ［ｄｅｇ］は、下記の式１で表される。

ここで、角速度ω［ｄｅｇ／ｓｅｃ］は角度θの１階微分で示せるので、下記の式２で表される。

更に、角加速度α［ｄｅｇ／ｓｅｃ^２］は角速度ωの１階微分で示せるので、下位の式３で表される。

したがって、図５は、式１で示したカメラから見た被写体との成す角度θを示している。図６は、被写体との成す角度θに対する、式２、式３で示した被写体角速度ωと被写体角加速度αの関係を示している。図６（Ａ）に示す被写体角速度６０１は、ステップＳ３０６において算出される被写体角速度である。図６（Ｂ）に示す被写体加速度６０２は、ステップＳ３０７において算出される被写体加速度である。

図３の説明に戻る。
ステップＳ３０８において、カメラ制御部１４１の指示によりメモリ１４２が、フレーム毎に算出した被写体角速度と被写体角加速度の履歴を保持する。被写体角速度と被写体角加速度の履歴は、後述するステップＳ３１１において露光期間中の被写体角速度の推定に用いられる。露光期間中に被写体角速度の推定を行うのは、露光期間中には動きベクトルの検出に用いる評価画像が取得できず、被写体角速度と被写体角加速度の算出の基となる動きベクトルの検出ができないためである。

ステップＳ３０９において、カメラ制御部１４１の指示によりＬＣＤ１４０が、被写体ブレの補正位置の候補を表示する。被写体ブレの補正位置の候補の表示について、図７および図８を用いて詳細に説明する。図７は、被写体ブレの補正位置のユーザーインターフェース表示の一例を示す図である。ステップＳ３０９においては、図７に示すようにライブビューの画像上に被写体ブレの補正位置の候補となる位置情報を示す枠（枠７０１および枠７０２）を重ねて表示する。なお、本実施形態では、枠を用いて被写体ブレの補正位置の候補の位置情報を示す例を説明するが、これに限られるものではなく、候補に挙がっている被写体ブレ補正を行う位置がユーザに認識可能であれば表現方法は問わない。

図８は、被写体ブレの補正位置の候補を表示する処理を示すフローチャートである。
ステップＳ８０１において、カメラ制御部１４１は、被写体の重心点Ｇを算出する。ここで、図９を用いて重心点Ｇの算出について説明する。図９は、重心点の算出について説明する図である。点Ａの座標を（ｘ_１、ｙ_１）、点Ｂの座標を（ｘ_２、ｙ_２）、点Ｃの座標を（ｘ_３、ｙ_３）、点Ａの質量をｍ_１、点Ｂの質量をｍ_２、点Ｃの質量をｍ_３とすると、重心点Ｇの座標（ｘ_ｇ、ｙ_ｇ）は、下記の式４で表される。

ここで、画像上においては各点の質量は全て等しいと仮定すると、画像上における重心点Ｇは下記の式５で算出できる。カメラ制御部１４１は、被写体ベクトルであると判定されたベクトルを検出した各ベクトル枠の中心座標（ｘ_ｎ、ｙ_ｎ）から、被写体の重心点Ｇ（ｘ_ｇ、ｙ_ｇ）を算出する。

図８の説明に戻る。
ステップＳ８０２において、カメラ制御部１４１が、ステップＳ８０１で算出した被写体の重心点を起点にした被写体ブレの補正位置を決定する。この際、カメラ制御部１４１は、被写体の重心点を起点に構図や被写体情報などに基づいて、被写体ブレの補正位置を決定する。

被写体の重心点を起点にした被写体ブレの補正位置の決定方法について図１０を用いて説明する。図１０は、被写体の重心点に基づく被写体ブレの補正位置について説明する図である。図１０（Ａ）は、被写体領域を示す図である。被写体領域は、ステップＳ３０５において被写体ベクトルが検出された領域である。図４を用いて説明したように、カメラ制御部１４１は、検出したベクトル値から被写体ベクトルと背景ベクトルに分離し、被写体ベクトルを検出する。図１０（Ａ）において斜線で示される領域が被写体領域である。

図１０（Ｂ）は、被写体の重心点に基づく被写体ブレの補正位置を示す図である。カメラ制御部１４１は、被写体ベクトルであると判定されたベクトルを検出した各ベクトル枠の中心座標、すなわち被写体領域内の各ベクトル枠の中心座標から、被写体領域の重心点Ｇを算出する。そして、カメラ制御部１４１は、重心点Ｇを起点に構図や被写体情報に基づいて、被写体ブレの補正位置を決定する。被写体ブレの補正位置を決定するために用いられる被写体情報には、被写体の移動方向、被写体の移動速度、被写体との成す角度θ等が含まれる。

例えば、被写体が画面右上方向へ移動している場合、被写体の移動方向にある重心点Ｇ（ｘ_ｇ、ｙ_ｇ）より右上方向のベクトル枠を被写体ブレの補正位置とする。また、特定の構図の場合、重心点Ｇ（ｘ_ｇ、ｙ_ｇ）から所定の位置にあるベクトル枠を被写体ブレの補正位置とするようにしてもよい。例えば、近づいてくるバイクを撮影している場合において、式１で示した被写体との成す角度θの値が大きい場合には、バイクを正面から見たような構図になる。そのため、バイク前方の側面付近が被写体ブレの補正位置となるよう、重心点Ｇより進行方向側かつ上側の位置のベクトル枠を被写体ブレの補正位置とする。

ステップＳ８０３において、カメラ制御部１４１が指示してＬＣＤ１４０に、ステップＳ８０２で決定した被写体の重心点を起点にした被写体ブレの補正位置を示す枠を表示する。

ステップＳ８０４において、カメラ制御部１４１が、被写体の検出ができたか否かを判定する。被写体の検出ができた場合はステップＳ８０５に進む。一方、被写体の検出ができなかった場合は、ステップＳ８１２に進む。ここで、本ステップにおける被写体の検出は、ステップＳ３０５の動きベクトルによる被写体検出以外の任意の方法で行う。例えば、あらかじめ登録された被写体モデル情報（パターン）との比較により被写体を検出してもよいし（パターンマッチング）、検出学習モデル（機械学習結果）を用いて被写体検出を行ってもよい。また、画像の色相や彩度等の色情報または輝度情報のヒストグラムに基づいて被写体を検出する方法でもよいし、被写体までの距離情報によって被写体検出を行ってもよい。また、検出される被写体は１つに限られるものではなく、複数の被写体を検出してもよい。

ステップＳ８０５において、ステップＳ８０４で検出した被写体において特徴の検出ができたか否かを判定する。被写体の特徴は、複数検出されてもよい。特徴の検出ができた場合は、ステップＳ８０５に進む。一方、特徴の検出ができなかった場合は、ステップＳ８０９に進む。

被写体の特徴としては、例えば、モータースポーツシーンであればヘルメットやバイク前方のライトなどを指し、被写体が人や動物である場合は、被写体の顔や目などを指す。被写体の特徴の検出方法は、任意の方法で行ってよい。例えば、あらかじめ登録された特徴点モデル情報（パターン）との比較により特徴の検出を行ってもよいし（パターンマッチング）、検出学習モデル（機械学習結果）を用いて特徴の検出を行ってもよい。

ステップＳ８０６において、カメラ制御部１４１が指示してＬＣＤ１４０に、ステップＳ８０５で決定した被写体の特徴部位に基づいた被写体ブレの補正位置を示す枠を表示する。
ステップＳ８０９において、カメラ制御部１４１が指示してＬＣＤ１４０に、被写体の全体に対して枠を表示する。

ステップＳ８０７において、ユーザによる枠選択手動設定が行われたか否かの判定を行う。ユーザにより枠が指定された場合は、枠選択手動設定が行われたとしてステップＳ８０８に進む。一方、ユーザにより枠が指定されなかった場合は、枠選択手動設定が行わなかったとしてステップＳ８１０に進む。

ここで、ユーザによる枠選択手動設定の例について図７を用いて説明する。枠７０２は、ステップＳ８０３で表示される、被写体ベクトルの重心点に基づく被写体ブレの補正位置を示す枠である。枠７０１は、ステップＳ８０６で表示される、被写体の特徴に基づく被写体ブレの補正位置を示す枠である。モーターバイクの場合は、バイク、ライダー、ヘルメットという主に３つの特徴がある。本実施形態では、ヘルメットが被写体の特徴として検出された例を示している。

ユーザは複数表示されている枠から被写体ブレを補正したい枠位置を手動で指定する。枠の指定は、例えば、タッチパネルであるＬＣＤ１４０に表示された枠をタッチすることで指定してもよいし、操作部１３６のジョイスティックやボタンを操作して指定してもよい。

ステップＳ８０８において、カメラ制御部１４１が指示してＬＣＤ１４０において、ステップＳ８０７でユーザが選択した枠を他の枠よりも強調して表示する。ここで、強調して表示する例としては、枠の色を変える、枠を点滅させる等がある。なお、本実施形態では、ユーザによる枠の選択が行われるまでは、ステップＳ８０３で表示した被写体の重心に基づく像ブレ補正候補位置を示す枠を強調表示する。

ステップＳ８０４で被写体検出ができなかった場合、または、ステップＳ８０７において、枠選択手動設定が行われなかった場合は、ステップＳ８１０に進む。ステップＳ８１０において、カメラ制御部１４１が指示してＬＣＤ１４０において、被写体ベクトルを検出した領域の重心点に基づく被写体ブレの補正位置を強調して表示する。

このように、本実施形態では、被写体ブレ補正を行う位置の候補を画像上に表示し、ユーザが候補の中から指定できるようにする。被写体ブレの補正位置の候補には、被写体ベクトルが検出された領域の重心点を起点とした補正位置（第１の検出手段の検出結果に基づく補正位置）と、被写体の特徴に基づく補正位置（第２の検出手段の検出結果に基づく補正位置）が含まれる。なお、本実施形態では、被写体ベクトルの重心点に基づく被写体ブレの補正位置と、被写体の特徴が検出された位置または被写体全体の位置を、被写体ブレ補正を行う位置の候補として表示する例について説明したが、これに限られるものではない。例えば、候補の中にユーザが事前に指定した位置を含めてもよい。

図３の説明に戻る。
ステップＳ３１０において、カメラ制御部１４１が、撮影者によってレリーズ釦が押下げられて露光開始の指示がされたかを判断する。露光開始の指示がされた場合は、処理がステップＳ３１１に進む。露光開始の指示がされていない場合は、処理がステップＳ３０１に戻る。

ステップＳ３１１において、レンズ制御部１１２が露光期間中における被写体角速度を算出（推定）する。具体的には、まず、カメラ制御部１４１が、ステップＳ３０９で決定された被写体ブレの補正位置に応じた露光前の被写体角速度と被写体角加速度とを交換レンズ１００のレンズ制御部１１２に送信する。レンズ制御部１１２に送信される露光前の被写体角速度と被写体角加速度は、ステップＳ３０６およびステップＳ３０７で算出され、ステップＳ３０８でメモリ１４２に保持された被写体角速度と被写体角加速度の履歴である。レンズ制御部１１２は、カメラ制御部１４１から受信した被写体ブレの補正位置の被写体角速度と被写体角加速度とに基づいて、露光期間中における被写体角速度を算出する。なお、交換レンズ側で算出する被写体角速度は、レリーズ釦を押下してから露光開始までのレリーズタイムラグも考慮し、露光期間中における被写体の動きを推定して被写体角速度を算出する。

ステップＳ３１２において、レンズ制御部１１２が、ステップＳ３１１で算出した被写体角速度に基づいて、光学的に振れを補正する補正光学系であるシフトレンズ１０４を駆動させる。これにより、ユーザが選択した被写体ブレの補正位置における被写体ブレが補正される。また、レンズ制御部１１２は、ユーザが選択した被写体ブレの補正位置で合焦するように、ズームレンズ１０３を駆動させる。

ステップＳ３１３において、カメラ制御部１４１が、所定の露光時間が経過したかを判定する。露光時間が経過した場合は、本処理を終了する。そして、現像完了後、次のフレームから図３を参照して説明した処理を開始する。一方、露光時間が経過していない場合は、ステップＳ３１２に戻り、露光時間が経過するまでシフトレンズ１０４の駆動を継続する。

なお、本実施形態はレフレックスミラーが存在しないミラーレスカメラを想定しているが、一眼レフカメラにも適用が可能である。ミラーレスカメラとの差異は、動きベクトル検出部１４５に入力する映像信号を撮像素子１３２ではなく、測光センサの映像信号を入力すれば同等の制御が可能であることは言うまでもない。また、本実施形態では、シフトレンズ１０４を駆動することにより被写体ブレを補正する例について説明したが、これに限られるものではなく、例えばカメラ本体１３０内の撮像素子を駆動することで光学的に被写体ブレを補正してもよい。また、被写体ブレ補正を行う位置とＡＦの対象とする位置のそれぞれをユーザが認識可能なように、被写体ブレ補正を行う位置の候補を示す枠とともにＡＦの対象とする位置を示す枠もＬＣＤ１４０に表示してもよい。このとき、被写体ブレ補正を行う位置の候補を示す枠とＡＦの対象とする位置を示す枠とは表示形態（大きさ、形、色など）を異ならせるようにすれば、ユーザがそれぞれをより認識しやすくなる。さらに、被写体ブレ補正を行う位置の候補を示す枠とＡＦの対象とする位置を示す枠とが重なる場合には、重なっていない場合と枠の表示形態を異ならせてもよい。

以上のように、本実施形態によれば、複数の被写体ブレの補正位置の候補を表示し、候補の中からユーザが補正位置を選択できるようにすることで、ユーザから指定を受けた補正位置に対して被写体ブレ補正を行うことができる。これにより、撮影者が期待する被写体ブレの補正位置において被写体ブレ補正を行うことができる撮像装置を提供することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 交換レンズ
１０４ シフトレンズ
１１１ レンズ内角速度検出部
１１２ レンズ制御部
１３０ カメラ本体
１４１ カメラ制御部
１４５ 動きベクトル検出部
１５２ 被写体ブレ補正算出部
１５３ シャッタ速度算出部
１７１ カメラ内角速度検出部

Claims (13)

1. 被写体を検出する第１の検出手段と、
   前記第１の検出手段が被写体の検出を行う方法とは異なる方法で被写体を検出する第２の検出手段と、
   前記第１の検出手段の検出結果と前記第２の検出手段の検出結果のそれぞれに基づいて、被写体ブレの補正を行う補正位置の候補を表示する表示手段と、
   前記候補の中から指定された補正位置に基づいて被写体ブレを補正する制御を行う制御手段と、を備えることを特徴とする撮像装置。
2. 前記第１の検出手段は、動きベクトルに基づいて被写体を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記表示手段は、前記第１の検出手段が検出した被写体の重心点を算出し、前記重心点に基づいて被写体ブレの補正を行う補正位置の候補を表示することを特徴とする請求項１または２に記載の撮像装置。
4. 前記表示手段は、前記重心点と、被写体の移動方向、被写体と撮像装置がなす角度、画像の構図のいずれかに基づいて、前記補正位置を決定し表示することを特徴とする請求項３に記載の撮像装置。
5. 前記第２の検出手段は、画像の色情報、輝度情報、被写体までの距離情報、パターンマッチング、機械学習結果のいずれかに基づいて被写体を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第２の検出手段は、検出した被写体の特徴を検出することを特徴とする請求項５に記載の撮像装置。
7. 前記第２の検出手段は、パターンマッチング、機械学習結果のいずれかに基づいて前記被写体の特徴を検出することを特徴とする請求項６に記載の撮像装置。
8. 前記表示手段は、前記第２の検出手段が被写体の特徴を検出した場合は前記特徴に対応する位置を被写体ブレの補正を行う補正位置の候補として表示し、前記第２の検出手段が被写体の特徴を検出できなかった場合は前記第２の検出手段が検出した被写体に対応する位置を被写体ブレの補正を行う補正位置の候補として表示することを特徴とする請求項６または７に記載の撮像装置。
9. 前記表示手段は、複数の補正位置の候補を表示している場合、ユーザに指定された補正位置の候補を強調して表示することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記表示手段は、複数の補正位置の候補を表示している場合、ユーザから補正位置の指定を受けるまでは、前記第１の検出手段の検出結果に基づく補正位置を強調して表示することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記制御手段は、ユーザによって前記補正位置が指定されなかった場合、前記第１の検出手段の検出結果に基づく補正位置に基づいて被写体ブレの補正を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記制御手段は、前記指定された被写体ブレの補正位置について算出される被写体角速度に基づいて補正手段を駆動することにより、被写体ブレの補正を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 撮像装置の制御方法であって、
    被写体を検出する第１の検出工程と、
    前記第１の検出工程とは異なる方法で被写体を検出する第２の検出工程と、
    前記第１の検出工程による検出結果と前記第２の検出工程による検出結果のそれぞれに基づいて、被写体ブレの補正を行う補正位置の候補を表示する表示工程と、
    前記候補の中から指定された補正位置に基づいて被写体ブレを補正する制御を行う制御工程と、を有することを特徴とする制御方法。
    

Images