JP2020060638A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】移動する被写体を撮像する際に安定した測光結果を得ることができる撮像装置を提供する。【解決手段】撮像装置１００が、撮像装置１００の角速度と、撮像画像から検出される動きベクトルとに基づいて、被写体領域を検出し、撮像領域に設定された複数の測光領域から取得されるデータに対する重み付けを行って、測光値を算出する。撮像装置１００は、複数の測光領域のうち、検出された被写体領域に対応する測光領域から取得されるデータに対する重みを大きくする。【選択図】図１

Description

本発明は、撮像装置およびその制御方法に関する。

撮影者が、移動している被写体に対して撮像装置を追従させながらスローシャッタで撮影することで、主被写体を静止させながら、背景を流すことで躍動感のある写真を撮影する流し撮りが知られている。また、流し撮りを支援（アシスト）する流し撮りアシスト機能を有する撮像装置が提案されている。流し撮りの際は、撮影者は、移動する主被写体に合わせて撮像装置を移動する操作（例えばパンニング操作）を行うので、背景部分の露出が変わりやすい。主被写体、背景を含む画面全体をバランスよく測光する評価測光方式では、パンニング操作中の測光結果が安定しない。したがって、流し撮りで連写する際に露出のばらつき（キリムラ）が生じたり、流し撮りアシスト機能に必要な、動きベクトルの検出精度が低下したりする。特許文献１は、被写体の撮像状況毎に想定される撮像方向の変化度合を基準として、被写体の状態を計測する領域の大きさを設定する撮像装置を開示している。

特開２０１５−１８５８５９号公報

特許文献１が開示する撮像装置では、撮像画像における背景部分の露出変化の測光値への影響を抑え、移動する被写体に応じた適切な露出制御を行うことができない。本発明は、移動する被写体を撮像する際に安定した測光結果を得ることができる撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、撮像装置の角速度と、撮像画像から検出される動きベクトルとに基づいて、被写体領域を検出する検出手段と、撮像領域に設定された複数の測光領域から取得されるデータに対する重み付けを行って、測光値を算出する制御手段と、を備える。前記制御手段は、前記複数の測光領域のうち、前記検出された被写体領域に対応する測光領域から取得されるデータに対する重みを大きくする。

本発明の撮像装置によれば、移動する被写体を撮像する際に安定した測光結果を得ることができる。

光学装置の構成例を示す図である。 撮像装置の基本構成例を示す図である。 被写体の動きベクトルの検出結果の一例を示す図である。 動きベクトルの頻度分布を示す図である。 測光領域を示す図である。 測光領域における被写体の領域を示す図である。

図１は、本実施形態の光学装置の構成例を示す図である。
図１では、光学装置として撮像装置１００を例にとって説明する。なお、本実施形態の中で説明されている特徴の組み合わせ全てが本発明に必須とは限らない。本発明は、デジタルカメラ、デジタルビデオカメラといった撮像装置のほか、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の光学装置に適用可能である。

撮像装置１００は、撮像光学系１０１乃至被写体角加速度計算部１１３を備える。撮像光学系１０１は、レンズ、シャッタ、絞りを有し、ＣＰＵ１０４の制御によって被写体からの光を撮像素子１０２に結像させる。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。撮像光学系１０１が備えるレンズは、フォーカスレンズ、ズームレンズ、シフトレンズ等を有する。シフトレンズは、撮像装置に加わる振れにより生じる画像のブレ（像ブレ）を光学的に補正する補正手段である。撮像素子１０２は、撮像光学系１０１を通って結像した光を画像信号に変換する。撮像素子１０２は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等である。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。また、ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。

焦点検出回路１０３は、焦点検出処理を実行して焦点距離を検出し、ＣＰＵ１０４に出力する。角速度センサ１０６は、撮像装置１００に加わる振れを検出し、電気信号（角速度データ）としてＣＰＵ１０４へ伝達する。角速度センサ１０６は、例えばジャイロセンサである。角速度センサ１０６は、レンズ側に設けられてもよいし、撮像装置１００の本体部（カメラ本体部）に設けられていてもよい。

ＣＰＵ１０４は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００が備える各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置１０５は、例えばＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０４の作業用に用いられる。また、一次記憶装置１０５に記憶されている情報は、画像処理装置１０７で利用されたり、記録媒体１０８へ記録されたりもする。二次記憶装置１０９は、例えばＥＥＰＲＯＭのような不揮発性記憶装置である。ＥＥＰＲＯＭは、Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。二次記憶装置１０９は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。二次記憶装置１０９に記憶されたプログラムは、ＣＰＵ１０４によって利用される。

記録媒体１０８は、一次記憶装置１０５に記憶されているデータ（例えば、撮像画像）などを記録する。なお、記録媒体１０８は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータは、パーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０８の着脱機構及び読み書き機能を有する。

表示部１１０は、撮影時のビューファインダー画像の表示、撮像画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１１１は、ユーザの操作を受け付けてＣＰＵ１０４へ入力情報を伝達する入力デバイス群である。操作部１１１は、例えばボタン、レバー、タッチパネル等であってもよいし、音声や視線などを用いた入力機器であってもよい。動きベクトル検出部１１２は、撮像画像に基づいて、動きベクトルを検出して出力する。被写体角加速度計算部１１３は、一次記憶装置１０５に蓄積される被写体角速度の履歴を読み出し、被写体角加速度を計算する。被写体角速度は、被写体の撮像装置に対する角速度である。算出された被写体角加速度は、露光時の被写体角速度の算出に用いられる。なお、撮像装置１００は、画像処理装置１０７が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして、操作部１１１を用いて設定可能である。画像処理装置１０７は、いわゆる現像処理と呼ばれる画像処理をはじめ、撮影モードに応じた色調の調整なども行う。なお、画像処理装置１０７の機能の少なくとも一部は、ＣＰＵ１０４がソフトウェア的に実現してもよい。

図２は、撮像装置の基本構成例を示す図である。
図２に示す撮像装置は、図１の撮像装置１００に対応する。図２に示す撮像装置は、レンズ装置４００とカメラ本体部２００とを有する。レンズ装置４００は、カメラ本体部２００に着脱可能である。なお、本発明は、レンズ装置４００がカメラ本体部２００と一体となっている撮像装置にも適用可能である。

カメラマイコンであるＣＰＵ２０１は、カメラ本体部２００が備える各処理部を制御する。図２に示す例では、ＣＰＵ２０１は、図１に示す被写体角加速度計算部１１３を備えており、算出された被写体角加速度の変化量に基づいて、露光時の被写体角速度を算出する。また、ＣＰＵ２０１は、例えば、測光センサ（ＡＥ）２０８による測光結果に基づいて、露出制御を行う。ＣＰＵ２０１、ＡＰＵ２１２およびＬＰＵ４０１が、図１のＣＰＵ１０４に対応する。メモリ２０２は、ＣＰＵ２０１に接続されているＲＡＭやＲＯＭ等の記憶手段である。ＲＡＭは、Ｒａｎｄｏｍ Ｍｅｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。撮像素子２０３は、被写体光を受光して光電変換し、撮像画像に係る信号を出力する撮像手段として機能する。撮像素子２０３は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤ，ＣＭＯＳ等である。シャッタ２０４は、非撮影時には、撮像素子２０３を遮光し、撮影時には、開いて撮像素子２０３へ被写体光を導く。

ハーフミラー２０５は、非撮影時にレンズ装置４００から入射する被写体光の一部を反射し、ピント板２０６に結像させる。表示素子２０７は、ＣＰＵ２０１によって設定される焦点検出領域を示すＡＦ測距点を表示する。表示素子２０７は、例えば、ＰＮ液晶等である。表示素子２０７は、ユーザが光学ファインダーを覗いたときに、どの位置で焦点検出しているかを示す。測光センサ（ＡＥ）２０８は、被写体光を受光して光電変換し、撮像画像に係る信号を出力する撮像素子を使用することにより測光を行う。ペンタプリズム２０９は、ピント板２０６に結像した被写体像を測光センサ２０８及び光学ファインダーに導く。すなわち、測光センサ２０８は、撮像光学系から光学部材を介して被写体光を受光する。測光センサ２０８は、ペンタプリズムを介してピント板２０６に結像された被写体像を斜めの位置から見込んでいる。

ＡＦミラー２１１は、レンズ装置４００から入射してハーフミラー２０５を通過した被写体光の一部を焦点検出回路（ＡＦ）２１０内のＡＦセンサに導く。焦点検出回路２１０は、図１の焦点検出回路１０３に対応する。焦点検出回路２１０は、ＡＦミラー２１１を介して入射した被写体光に基づいて、焦点検出（測距）を行う。ＡＰＵ２１２は、測光センサ２０８専用の制御部（ＣＰＵ）である。ＡＰＵ２１２は、図１の画像処理装置１０７、動きベクトル検出部１１２を備える。メモリ２１３は、ＡＰＵ２１２に接続されているＲＡＭやＲＯＭ等の記憶手段である。図２に示す例では、撮像装置は、ＡＰＵ２１２のように測光センサ専用の制御部を備えるが、ＣＰＵ２０１が、ＡＰＵ２１２が行う処理を実行するようにしてもよい。

ＬＰＵ４０１は、レンズ装置４００が備えるＣＰＵであり、レンズ装置４００内の各処理部を制御する。ＬＰＵ４０１は、被写体との距離情報、角速度情報等をＣＰＵ２０１に送信する。角速度センサ４０２は、レンズ装置４００の移動量を表す角速度を検出し、角速度情報を電気信号として変換してＬＰＵ４０１へ伝達する。角速度センサ４０２は、例えばジャイロセンサである。ＬＰＵ４０１は、ＣＰＵ２０１との通信によって、被写体角速度を受信する。ＬＰＵ４０１は、受信した被写体角速度に基づいて、シフトレンズの制御量（駆動量）を算出し、この駆動量に基づいてシフトレンズを駆動することで、被写体に係る像ブレ（被写体ブレ）を補正する。すなわち、ＣＰＵ２０１およびＬＰＵ４０１は、被写体角速度に基づいて算出される制御量により補正手段を制御することによって、被写体に係る像ブレを補正する。これにより、撮影者のパンニング動作が被写体の動きに対してずれている場合でも被写体ブレを抑えつつ、背景を流すことができる機能（流し撮りアシスト機能）が実現される。なお、流し撮りアシストの方法として、シフトレンズを駆動させる方法ではなく、撮像素子１０２を駆動させる方法、あるいはシフトレンズと撮像素子１０２の両方を駆動させる方法でもよい。

図３は、移動する被写体を流し撮りする際の被写体の動きベクトルの検出結果の一例を示す図である。
図３では、等速移動する自動車を被写体５０１として流し撮りした場合を例にとって説明する。図３において、被写体５０１は、右から左へ移動しているものとする。動きベクトル検出部１１２は、異なる撮影時刻の撮像画像（画像１と画像２）を取得する。画像１と画像２は、撮像素子２０３または測光センサ２０８から出力される信号に係る画像である。動きベクトル検出部１１２は、画像１と画像２とを比較することで、画像に含まれる被写体の移動量、移動方向を検出する。

ＡＰＵ２１２は、ＣＰＵ２０１の制御により、画像を複数の領域に分割し、分割された領域に対応するベクトル検出領域５０２を設定する。動きベクトル検出部１１２は、ベクトル検出領域５０２を対象として動きベクトルの検出を行う。各ベクトル検出領域５０２において検出される動きベクトル量５０３が、図３中の二等辺三角形で示される。二等辺三角形の向きは、画像の移動方向を示し、底辺から頂角に向かって画像が移動していることがわかる。また、二等辺三角形の大きさが、被写体の移動量を示す。流し撮り中は、ユーザが撮像装置を被写体５０１に合わせてパンニングしているので、被写体５０１が含まれるベクトル検出領域５０２での動きベクトル量は小さくなり、背景部分が含まれるベクトル検出領域５０２での動きベクトル量は大きくなる。また、背景部分のベクトル検出領域５０２における画像の移動方向は、被写体５０１の移動方向とは逆向きになる。このように、流し撮り中は、被写体領域に対応する動きベクトル（被写体ベクトル）と、背景の領域に対応する動きベクトル（背景ベクトル）とが検出される。

図４は、検出された動きベクトルの頻度分布（ヒストグラム）を示す図である。
図４に示すヒストグラムにおいて、横軸は、動き量（単位：ピクセル）を示す。縦軸は、度数（頻度）を示す。ＣＰＵ２０１は、動きベクトル検出部１１２によって検出された動きベクトルから、被写体ベクトルを決定する。ＣＰＵ２０１は、被写体領域と背景領域とを区別するために、角速度センサ１０６が出力する情報を使用する。

撮影者が流し撮りを行って、撮像装置が被写体５０１に追従できている場合、被写体ベクトル６０１の動き量は、０［ｐｉｘ］に近い値となる。しかし、撮像装置が被写体５０１に追従できていない場合、被写体ベクトル６０１の動き量は、大きくなり、０［ｐｉｘ］から離れていく。したがって、この場合には、被写体ベクトルと背景ベクトル６０２との区別がつきにくくなる。

本実施形態では、ＣＰＵ２０１が、撮像光学系の焦点距離やフレームレートのデータを用いて、角速度センサ１０６の出力である角速度データを像面移動量６０３に換算する。そして、ＣＰＵ２０１は、像面移動量６０３の動き量を基準として、一定の範囲６０４内に存在するベクトル群を、背景ベクトル６０２として決定する。ＣＰＵ２０１は、一定の範囲６０４外に存在するベクトル群を、被写体ベクトル６０１として決定する。すなわち、ＣＰＵ２０１は、撮像装置の角速度と、撮像画像から検出される動きベクトルとに基づいて、被写体領域を検出する検出手段として機能する。ＣＰＵ２０１は、被写体ベクトル６０１に対応する被写体角速度を算出し、ＬＰＵ４０１に送信する。

図５は、本実施形態において適用する測光領域を示す図である。
測光領域の分割方法と、ベクトル検出領域５０２（図３）の分割方法とは必ずしも同じである必要はない。ＡＰＵ２１２は、ＣＰＵ２０１の制御により、撮像領域を分割して、分割された領域ごとに測光領域７０１を設定する。測光センサ２０８は、設定された複数の測光領域７０１のそれぞれに対応する信号を出力し、ＡＰＵ２１２が、測光センサ２０８が出力した信号に基づいて、測光領域７０１に対応するデータ（測光値）を取得する。ＡＰＵ２１２は、取得された測光値に対する重み付けを行って、最終的な測光値を算出する。ＣＰＵ２０１は、算出された測光値に基づいて、露出制御を行う。本実施形態では、ＣＰＵ２０１は、撮像装置が流し撮りを支援する動作モード（流し撮りアシストモード）である場合に、測光値に対する重み付けを行って最終的な測光値を算出する。
図５に示す例では、ｘ方向に１６個、ｙ方向に８個の測光領域７０１が設定されている。各々の測光領域７０１に対応する測光値をａ（ｘ）と定義する。したがって、ａ（ｘ）として、ａ（０）からａ（１２７）までの１２８個の測光値を取得することができる。

全測光エリアの平均測光値Ｅａが、以下の式を用いて計算される。

図６は、図５に示す測光領域のうち、ベクトル検出領域において検出される被写体領域を示す図である。被写体領域に含まれる３２個の測光領域７０１からは、ａ（５１）〜（５８），ａ（６７）〜ａ（７４），ａ（８３）〜ａ（９０），ａ（９９）〜ａ（１０６）までの、合計３２個の測光値が得られる。したがって、被写体領域の平均測光値Ｅｓは、被写体領域に対応する上記３２個の測光値の合計を３２で割ることで算出される。

ＡＰＵ２１２は、ＣＰＵ２０１の制御により、ＥａとＥｓとを重み付けして、最終的な測光値Ｅを算出し、測光結果として出力する。Ｅａに対する重みをＷａ、Ｅｓに対する重みをＷｓとすると、測光値Ｅは、以下の式で算出される。
Ｅ＝（（Ｅａ＊Ｗａ）＋（Ｅｓ＊Ｗｓ））／（Ｗａ＋Ｗｓ）

本実施形態では、ＡＰＵ２１２は、重みＷｓの値を重みＷａよりも大きな値にする。すなわち、ＡＰＵ２１２は、被写体領域に対応する測光領域から取得される測光値に対する重みを大きくする。これにより、測光結果に対する被写体領域の測光値の寄与率を高くすることができる。その結果、移動する被写体を撮像する際に、安定した測光結果を得ることができる。

測光値Ｅを算出するための重み付けの方法は、上述した方法に限定されない。ＡＰＵ２１２は、重み付けを行って測光値Ｅを算出する際に、被写体領域に対応する測光値に対する重みを、他の測光値に対する重みよりも相対的に大きくすればよい。例えば、ＡＰＵ２１２が、被写体の各々の領域の測光値と、被写体領域以外の各々の領域の測光値とに対する重み付けを行って、測光値Ｅを算出してもよい。また、ＡＰＵ２１２が、自動的に、またはユーザの選択に応じて、被写体領域に含まれる複数の領域のうち、被写体の特定の部分からの測光値に対する重みを、特定の部分以外の領域からの測光値に対する重みより大きくするようにしてもよい。また、ＡＰＵ２１２が、ＣＰＵ２０１によって設定される点検出領域において被写体領域が検出された場合に、測光値に対する重み付けを行うようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０４ ＣＰＵ

Claims (8)

1. 撮像装置の角速度と、撮像画像から検出される動きベクトルとに基づいて、被写体領域を検出する検出手段と、
   撮像領域に設定された複数の測光領域から取得されるデータに対する重み付けを行って、測光値を算出する制御手段と、を備え、
   前記制御手段は、前記複数の測光領域のうち、前記検出された被写体領域に対応する測光領域から取得されるデータに対する重みを大きくする
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記撮像装置が流し撮りを支援する動作モードである場合に、前記重み付けを行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、焦点検出領域において前記被写体領域が検出された場合に、前記重み付けを行う
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記制御手段は、前記検出された被写体の角速度に基づいて算出される制御量により補正手段を制御することによって、前記被写体に係る像ブレを補正する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記検出手段は、前記動きベクトルの頻度分布に基づいて、前記被写体領域を検出する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記複数の測光領域のそれぞれに対応する前記データを取得する取得手段を備える
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 被写体光を受光して前記撮像画像に係る信号を出力する撮像手段を備え、
   前記撮像手段は、撮像光学系から被写体光を受光し、または前記撮像光学系から光学部材を介して前記被写体光を受光する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像装置の角速度と、撮像画像から検出される動きベクトルとに基づいて、被写体領域を検出する検出工程と、
   撮像領域に設定された複数の測光領域から取得されるデータに対する重み付けを行って、測光値を算出する制御工程と、を有し、
   前記制御工程では、前記複数の測光領域のうち、前記検出された被写体領域に対応する測光領域から取得されるデータに対する重みを大きくする
   ことを特徴とする撮像装置の制御方法。

Images