JP2019028343A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】流し撮り撮影をアシストするモードにおいて、状況に応じた撮影を行うことができる撮像装置を提供すること。
【解決手段】撮像装置はＣＰＵ１０３と撮像装置の角速度を検出する角速度センサ１０５を備える。ＣＰＵ１０３は、被写体の動きベクトルを取得し、前記被写体の像面上の動きベクトルと、撮像装置の角速度と、に基づいて被写体の角速度を算出する。さらに、ＣＰＵ１０３は、撮像装置の角速度および被写体の角速度の信頼度に応じて、流し撮りアシスト撮影を行うか否かを判定する。
【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

移動している被写体のスピード感を表現する撮影技術として流し撮りがある。流し撮りは、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流す撮影技術である。シフトレンズを駆動して流し撮りをアシストする流し撮りアシスト機能では、パンニング検知情報、ジャイロ情報、ベクトル検知情報等の流し撮り情報の取得を周期的に行う必要がある。さらに、取得した流し撮り情報から、被写体角速度および被写体角加速度情報を生成する。生成した被写体角速度・角加速度情報をレンズへ通信し、レンズは、被写体角速度・角加速度情報とパンニング速度の差からシフトレンズを駆動させて補正を行うことで流し撮りアシストを実現している。このように、流し撮りでは、流し撮り情報の取得、補正情報の生成および通信を規定回数必要とするため、一般的に通常の撮影よりも撮影可能になるまでの時間が長くなってしまう（撮影速度が遅くなってしまう）。撮影を許可するタイミングについて、特許文献１では、光軸方向のブレ量が合焦の範囲であるかを判定して、撮影を許可するしないを制御する技術を開示している。

特開２０１０−２３１１５３号公報

しかしながら、特許文献１では、合焦するまで撮影ができないように制御はできるが、精度の高い被写体のブレ補正の効果を担保することができない。また、撮影速度を改善することもできない。

本発明は、流し撮り撮影をアシストするモードにおいて、状況に応じた撮影を行うことができる撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、被写体の動きベクトルを取得する取得手段と、撮像装置の角速度を検出する検出手段と、前記被写体の像面上の動きベクトルと、前記撮像装置の角速度と、に基づいて被写体の角速度を算出する算出手段と、前記撮像装置の角速度および前記被写体の角速度の信頼度に応じて、流し撮りアシスト撮影を行うか否かを判定する判定手段と、を備える。

本発明によれば、流し撮り撮影をアシストするモードにおいて、状況に応じた撮影を行うことができる撮像装置を提供することができる。

撮像装置のブロック構成図である。 撮りアシスト処理の流れを示した図である。 撮影を許可する判定処理の流れを示した図である。 ベクトルの精度説明図である。

（第１実施形態）
図１は、本実施形態の撮像装置１００の基本構成を示すブロック構成図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。撮像装置１００は、光学系１０１、撮像素子１０２、ＣＰＵ１０３、一次記憶装置１０４、角速度センサ１０５、画像処理装置１０６、記録媒体１０７、二次記憶装置１０８、表示部１０９および操作部１１０を備える。

光学系１０１は、レンズ、シャッターおよび絞りを含む撮像光学系であり、ＣＰＵ１０３の制御によって被写体からの光を撮像素子１０２に結像させる。撮像素子１０２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子であり、光学系１０１を通って結像した光を画像信号に変換する光電変換部を有する。角速度センサ１０５は、例えばジャイロセンサであり、撮像装置１００の移動量を表す角速度を検出し、電気信号として変換してＣＰＵ１０３へ伝達する。なお、角速度センサ１０５は光学系１０１に含めてもよい。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる制御部である。一次記憶装置１０４は、例えばＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような揮発性装置である。一次記憶装置１０４は、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりもする。二次記憶装置１０８は、例えばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）のような不揮発性記憶装置である。二次記憶装置１０８は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０３によって利用される。

画像処理装置１０６は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整など、撮像画像に対する様々な画像処理を行う。なお、画像処理装置１０６の機能の少なくとも一部は、ＣＰＵ１０３がソフトウェア的に実現しても良い。なお、本実施形態の撮像装置１００は、画像処理装置１０６が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１１０から設定可能である。

記録媒体１０７は、一次記憶装置１０４に記憶されている、撮影により得られた画像のデータなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。記録媒体１０７に記録されたデータは、パーソナルコンピュータなどに装着して読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構および記録媒体１０７への読み書き機能を有する。

表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画像などの表示を行う。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群である。操作部１１０は、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線などを用いた入力機器であってもよい。

ここで、流し撮りアシストにおけるＣＰＵ１０３の処理について説明する。流し撮りアシストは、ユーザの流し撮りを支援する機能であり、シフトレンズの駆動により被写体の移動速度とパンニング速度の差を補っている。本実施形態では、流し撮りアシストモードを設定したうえで、さらに、流し撮りを行うことを優先するアシスト優先モードと、流し撮りよりも撮影速度を優先する連写優先モードをユーザが設定可能である。図２は流し撮りアシスト機能を実現するための処理を示したフローチャートである。ＣＰＵ１０３は操作部１１０からの例えば電源ボタンやライブビュー開始指示などの入力を受けて本処理を開始する。

まず、ステップＳ２０１で、ＣＰＵ１０３は光学系１０１および撮像素子１０２を制御し画像を取得する。取得された画像は一次記憶装置１０４へ保存される。また画像処理装置１０６によって処理され表示部１０９へ転送されることでビューファインダー画像として表示される。

ステップＳ２０２で、ＣＰＵ１０３は被写体の角速度を算出する。具体的には、まず、一次記憶装置１０４に保存された前フレーム画像と、ステップＳ２０１で取得された現フレームの画像との差から取得した動きベクトル情報から、被写体の像面上のブレ量を算出する。ここで、画像の複数の位置に検出枠を配置することで、複数の動きベクトル情報を取得することができる。算出した被写体の像面上のブレ量、光学系１０１から得られる焦点距離情報および角速度センサ１０５から得られる撮像装置１００の角速度に基づいて、被写体の角速度（角速度情報）を算出する。算出された被写体の角速度は、光学系１０１に転送され被写体の像ブレを補正する際に使用される。なお、ステップＳ２０２で被写体の角速度の算出に利用された検出枠の位置を表示部１０９に表示させてもよい。

ステップＳ２０３で、ＣＰＵ１０３は撮影するかどうかの判定を行う。なお、撮影するかどうかの判定は、操作部１１０によってユーザからの撮影指示が出されているかによって判断してもよい。また、ＣＰＵ１０３が撮像素子１０２から得られた画像を解析した結果を用いて判定してもよい。撮影を行うと判定した場合、ステップＳ２０４に進む。一方、撮影を行わないと判定した場合は、ステップＳ２０１に戻り、ステップＳ２０３で撮影を行うと判断するまで、ステップＳ２０１とステップＳ２０２の処理を繰り返す。

ステップＳ２０４で、ＣＰＵ１０３は露光およびブレ補正を行う。ＣＰＵ１０３は光学系１０１を制御することによって光学系１０１を通って撮像素子１０２に取り込まれる光量を調節し、露光を行う。また、ＣＰＵ１０３は、角速度センサ１０５から取得した角速度とステップＳ２０２で算出した被写体の角速度の差分から被写体の像ブレが軽減するように光学系１０１を制御し、ブレ補正を行う。なお、光学系１０１が角速度センサを備えている場合、ブレ補正は光学系１０１が自ら制御してもよい。

露光が終了すると、ステップＳ２０５で、ＣＰＵ１０３は画像処理装置１０６を制御し、撮像素子１０２から得られた画像の現像処理を行う。
次に、ステップＳ２０６で、ＣＰＵ１０３は現像処理された画像を記録媒体１０７に保存し、ステップＳ２０１に戻る。

図３を用いて、ステップＳ２０３における撮影を行うか否かの判定処理の詳細を説明する。図３は、撮影許可の切り替え制御を示すフローチャートである。
ステップＳ３０１で、ＣＰＵ１０３は、流し撮り（パンニング）をしているか否か判定する。具体的には、ＣＰＵ１０３は、操作部１１０のシャッターが押下されたとき、角速度センサ１０５で検出した角速度情報に基づいて、パンニングしているか否か判定する。角速度が０の場合にパンニングしていないと判定してもよいし、角速度が所定の値未満である場合にパンニングしていないと判定するようにしてもよい。流し撮りアシストモードが設定されていた場合でも、角速度が所定の値未満であると判定した場合、すなわち、パンニングしていないと判定した場合は、ステップＳ３０７に進む。一方、角速度が所定の値以上であると判定した場合、すなわち、パンニングしていると判定したときは、ステップＳ３０２に進む。ステップＳ３０２で用いる角速度情報は、操作部１１０のシャッターが押下された後に取得された情報であってもよいし、シャッターが押下される直前に取得された情報であってもよい。

ステップＳ３０２で、ＣＰＵ１０３は、所定の回数連続して信頼度の高い被写体の角速度情報を取得できたか否か判定する。所定の回数は求める撮影速度や被写体検出の信頼度に応じて設定すればよく、本実施形態においては、所定の回数を例えば３回とする。ここで、信頼度の高い被写体の角速度情報とは、複数のベクトル検出枠のうち同じ位置にあるベクトル検出枠で被写体の動きベクトルを算出できた場合を意味する。すなわち、同じ検出位置で動きベクトルを取得できた場合を意味する。

具体例を、図４を用いて説明する。図４は、動きベクトルの信頼度を説明する図である。（Ｎ＋２）フレームが現在取得した最新の画像であり、（Ｎ＋１）フレームは（Ｎ＋２）フレームの１つ前に、Ｎフレームは（Ｎ＋１）フレームの１つ前に取得した画像である。図４（Ａ）は信頼度の高い被写体の角速度情報を取得できた例である。Ｎフレーム、（Ｎ＋１）フレームおよび（Ｎ＋２）フレームの３つのフレームにおいて、同じ位置にあるベクトル検出枠４０１から有効な被写体ベクトルを取得できている。一方、図４（Ｂ）は、信頼度の低い被写体の角速度情報を取得した例である。Ｎフレームおよび（Ｎ＋１）フレームでは、同じ位置のベクトル検出枠４０１から被写体ベクトルを取得できているが、（Ｎ＋２）フレームでは、Ｎフレームおよび（Ｎ＋１）フレームとは異なる位置のベクトル検出枠４０２で被写体ベクトルを取得している。したがって、図４（Ｂ）の例では、複数の連続したフレームで同じ位置のベクトル検出枠から有効なベクトルを得ることができていない。所定の回数連続して信頼度の高い被写体の角速度情報が得られれば、ステップＳ３０８に進む。一方、所定の回数連続して信頼度の高い被写体の角速度情報が得られなければ、ステップＳ３０３に進む。

ステップＳ３０３で、ＣＰＵ１０３は、所定の回数以上連続して信頼度の低い被写体の角速度情報を取得できたか否か判定する。所定の回数は求める撮影速度や被写体検出の信頼度に応じて設定すればよく、ステップＳ３０２と同じ回数でもよいし、異なる回数を設定してもよい。本実施形態においては、所定の回数を例えば３回とする。所定の回数以上連続して信頼度の低い被写体の角速度情報が得られた場合は、ステップＳ３０７に進む。一方、所定の回数以上連続して信頼度の低い被写体の角速度情報が得られなければ、ステップＳ３０４に進む。

ステップＳ３０４で、ＣＰＵ１０３は、被写体の角速度が所定の回数分蓄積されるのを待つ。所定の回数は、求める撮影速度に応じて設定すればよく、本実施形態においては、例えば所定の回数を５回とする。所定の回数を５回とすると、ステップＳ３０３からのフローの場合は５−３＝２回分待つこととなる。なお、ステップＳ３０２〜Ｓ３０４で取得できか否かを判定する角速度情報は、操作部１１０のシャッターが押下された後に取得された情報である。

ステップＳ３０５で、ＣＰＵ１０３は、蓄積されている被写体の角速度について、信頼度の高い角速度が所定の回数あるか否か判定する。すなわち、信頼できる被写体検出結果が所定のフレーム数分揃っているか否か判定する。ステップＳ３０５で使用する所定の回数は、求める被写体検出の信頼度に応じて設定すればよく、本実施形態においては、例えば所定の回数を３回とする。信頼度の高い角速度が所定の回数以上ある場合は、ステップＳ３０８に進む。一方、信頼度の高い角速度が所定の回数未満である場合は、ステップＳ３０６に進む。

ステップＳ３０６で、現在のモードが連写優先モードであるか否か判定する。現在のモードが連写優先モードであればステップＳ３０７に進む。一方、現在のモードがアシスト優先モードであれば、ステップＳ３０４に進む。すなわち、連写優先モードであれば、被写体の角速度情報が所定の回数分揃ったら、角速度情報の信頼度に関わらず通常の撮影を行う。一方、アシスト優先モードにおいては、流し撮りアシストを行うために必要な信頼度の高い被写体の角速度情報が所定の回数分揃うまで撮影を行わない。アシスト優先モードでは、信頼度の高い被写体の角速度が所定の回数取得できるまで、被写体の角速度の算出を継続し、ステップＳ２０１〜Ｓ２０３およびステップＳ３０４〜Ｓ３０６を繰り返す。

ステップＳ３０７では、流し撮りではなく通常撮影を行い、フローを終了する。
ステップＳ３０８では、流し撮りアシスト撮影を行い、フローを終了する。流し撮りアシスト撮影では、被写体の角速度と角速度センサ１０５から取得した角速度に基づいて被写体の像ブレ補正を行い、流し撮りで撮影を行う。

以上のように、本実施形態によれば、時系列で動きベクトル情報の信頼度が高い場合は、素早く流し撮りアシストで精度の高い流し撮り撮影をすることができる。また、動きベクトル情報の信頼度が低い場合でも、ユーザの選択したモードによって、ブレ補正を行わずに素早く撮影することも、連写速度は落ちるがブレ補正を行って流し撮りアシストで撮影することもできる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１０３ ＣＰＵ
１０５ 角速度センサ

Claims (10)

1. 被写体の動きベクトルを取得する取得手段と、
   撮像装置の角速度を検出する検出手段と、
   前記動きベクトルと、前記撮像装置の角速度と、に基づいて被写体の角速度を算出する算出手段と、
   前記撮像装置の角速度および前記被写体の角速度の信頼度に応じて、流し撮りアシスト撮影を行うか否かを判定する判定手段と、を備えることを特徴とする撮像装置。
2. 前記判定手段は、前記撮像装置の角速度が所定の値未満の場合、流し撮りアシスト撮影を行わずに通常撮影を行うと判定することを特徴とする請求項１に記載の撮像装置。
3. 前記判定手段は、前記撮像装置の角速度が所定の値以上であり、かつ、前記信頼度の高い前記被写体の角速度が所定の回数連続した場合は、流し撮りアシスト撮影を行うと判定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記判定手段は、前記撮像装置の角速度が所定の値以上であり、かつ、前記信頼度の低い前記被写体の角速度が所定の回数連続した場合は、流し撮りアシスト撮影を行わずに通常撮影を行うと判定することを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
5. 前記判定手段は、前記撮像装置の角速度が所定の値以上であり、かつ、前記信頼度の高い前記被写体の角速度が所定の回数ある場合は、流し撮りアシスト撮影を行うと判定することを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。
6. 流し撮りをアシストする流し撮りアシストモードにおいて、さらに、撮影速度を優先する連写優先モードもしくは流し撮りの画像を取得することを優先するアシスト優先モードをユーザの選択により設定する設定手段を備えることを特徴とする請求項１乃至５のうちいずれか１項に記載の撮像装置。
7. 前記連写優先モードが設定されている場合、前記判定手段は、前記撮像装置の角速度が所定の値以上であり、かつ、前記被写体の角速度が所定の回数ある場合は、前記信頼度の高い前記被写体の角速度が所定の回数なくても流し撮りアシスト撮影を行わずに通常撮影を行うと判定することを特徴とする請求項６に記載の撮像装置。
8. 前記アシスト優先モードが設定されている場合は、前記信頼度の高い前記被写体の角速度が所定の回数取得できるまで、前記算出手段による前記被写体の角速度の算出を継続することを特徴とする請求項６または７に記載の撮像装置。
9. 前記判定手段は、複数の被写体の角速度の算出に使用した動きベクトルが同じ検出位置で取得されていた場合は、前記複数の被写体の角速度は信頼度が高いと判定し、複数の被写体の角速度の算出に使用した動きベクトルが異なる検出位置で取得されていた場合は、前記複数の被写体の角速度は信頼度が低いと判定することを特徴とする請求項１乃至８のうちいずれか１項に記載の撮像装置。
10. 撮像装置の制御方法であって、
    被写体の動きベクトルを取得する工程と、
    撮像装置の角速度を検出する工程と、
    前記被写体の像面上の動きベクトルと、前記撮像装置の角速度と、に基づいて被写体の角速度を算出する工程と、
    前記撮像装置の角速度および前記被写体の角速度の信頼度に応じて、流し撮りアシスト撮影を行うか否かを判定する工程と、を有することを特徴とする制御方法。
    
    

Images