JP2019083364A - 画像処理装置、撮像装置および制御方法 - Google Patents

Abstract

【課題】同一画角内に複数の被写体が存在する場合でも精度良く主被写体の動きベクトルを検出することができる画像処理装置を提供する。【解決手段】撮像装置３００が、短秒露光の画像と、長秒露光の画像とを取得する。撮像装置３００は、短秒露光の画像に基づいて、動きベクトルを検出する。また、撮像装置３００は、長秒露光の画像に基づいて、主被写体の領域を検出する。そして、撮像装置３００は、検出された動きベクトルのうち、主被写体の領域に対応する動きベクトルを、主被写体の動きベクトルとして決定する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置および制御方法に関する。

連続的に取得したフレーム間において、主被写体の移動量をベクトルとして検出し、検出したベクトル情報を利用して、像ブレ補正や画像合成を行う画像処理装置が提案されている。画像処理装置が、ベクトルの検出の際に、同一の画角内に複数の被写体が存在する場合、主被写体ベクトルを誤検知してしまうと、像ブレを過補正したり、画像合成に失敗したりする。特許文献１は、フレーム内の複数位置からベクトルを検出してヒストグラムを作成し、ある閾値以上の大きさのベクトルを主被写体ベクトルとして検出する装置を開示する。

特開２０１６−１７１５４１号公報

特許文献１が開示する装置では、ある閾値以上のベクトルを主被写体ベクトルとして検出するので、複数の被写体が同一画角内に存在した場合、設定した閾値によっては主被写体ベクトルを誤検知する。また、この装置は、フレームの複数位置で検出したベクトルをヒストグラム化しているので、ベクトルを取得した位置情報を失ってしまっている。本発明は、同一画角内に複数の被写体が存在する場合でも精度良く主被写体の動きベクトルを検出することができる画像処理装置の提供を目的とする。

本発明の一実施形態の画像処理装置は、第１の露光時間に対応する第１の撮像画像と、前記第１の露光時間より長い第２の露光時間に対応する第２の撮像画像とを取得する取得手段と、前記第１の撮像画像に基づいて、動きベクトルを検出する第１の検出手段と、前記第２の撮像画像に基づいて、主被写体の領域を検出する第２の検出手段と、前記第１の検出手段によって検出された動きベクトルのうち、前記第２の検出手段によって検出された主被写体の領域に対応する動きベクトルを、主被写体の動きベクトルとして決定する制御手段とを備える。

本発明の画像処理装置によれば、同一画角内に複数の被写体が存在する場合でも精度良く主被写体の動きベクトルを検出することができる。

本実施形態の画像処理装置の構成例を示す図である。 撮像装置の基本構成を示すブロック図である。 主被写体ベクトルの検知を説明する図である。 主被写体ベクトルの検知を説明するフローチャートである。 被写体マスクの作成を説明するフローチャートである。 主被写体ベクトルの検知を説明する図である。

（実施例１）
図１は、本実施形態の画像処理装置の構成例を示す図である。
図１では、画像処理装置の一例として、撮像装置１００を例にとって説明する。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラの他、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。

図１に示す撮像装置１００は、撮像光学系１０１乃至ジャイロセンサ１１２を備える。なお、撮像光学系１０１乃至ジャイロセンサ１１２は、撮像装置１００に着脱可能な交換レンズに設けられていてもよい。撮像光学系１０１は、ＣＰＵ１０４の制御によって、被写体光を撮像素子１０２に結像させる。撮像光学系１０１は、レンズ、シャッタ、絞りを有する。撮像素子は、撮像光学系１０１を通って結像した光を画像信号に光電変換する。撮像素子は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどである。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。焦点検出回路１０３は、例えば位相差検出方式等を利用して、焦点検出処理（ＡＦ）を行う。

ＣＰＵ１０４は、本実施形態の画像処理装置の機能を実現する制御手段である。具体的には、ＣＰＵ２０１は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御する。一次記憶装置１０５は、例えばＲＡＭのような揮発性装置であり、一時的なデータを記憶し、ＣＰＵ１０４の作業用に使われる。また、一次記憶装置１０５に記憶されている情報は、移動ベクトル検出部１１０や主被写体領域検出部１１１に利用されたり、記録媒体１０７へ記録されたりもする。二次記憶装置１０６は、例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶し、ＣＰＵ１０４によって利用される。ＥＥＰＲＯＭは、Ｅｌｅｃｔｏｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

記録媒体１０７は、一次記憶装置１０５に記憶されている、撮影で得られた撮像画像のデータなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記録されたデータはパーソナルコンピュータなどに装着してデータを読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。

表示部１０８は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１０９は、ユーザの操作を受け付けてＣＰＵ１０４へ入力情報を伝達する入力デバイス群である。表示部１０８が、例えばボタン、レバー、タッチパネル等の他、音声や視線などを用いた入力機器であっても良い。移動ベクトル検出部１１０は、撮像画像を用いて、動きベクトルを出力する。主被写体領域検出部１１１は、撮像画像から主被写体領域を検出する。ジャイロセンサ１１２は、カメラに加わる振れを検出する。これにより、カメラのパンニング動作などが検出される。

図２は、撮像装置の基本構成を示すブロック図である。
図２に示す撮像装置３００は、図１に示す撮像装置１００に対応しており、図１に示す各処理部の機能を有している。撮像装置３００は、カメラ本体２００と、レンズ４００とを有する。

カメラ本体２００は、ＣＰＵ２０１乃至メモリ２１３を備える。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＣＰＵ２０１は、撮像装置３００全体を制御する。メモリ２０２は、ＣＰＵ２０１に接続されているＲＡＭやＲＯＭ等の記憶手段である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。

撮像素子２０３は、図１の撮像素子１０２に対応する。シャッタ２０４は、非撮影時には撮像素子２０３を遮光し、撮影時には開いて撮像素子２０３へ光線を導く。ハーフミラー２０５は、非撮影時にレンズ４００より入射する光の一部を反射し、ピント板２０６に結像させる。表示素子２０７は、ＰＮ液晶等のＡＦ測距点を表示する。これにより、光学ファインダーを覗いたときにどの位置で焦点検出処理しているかがユーザに示される。

測光センサ（ＡＥ）２０８は、測光を行う。ペンタプリズム２０９は、ピント板２０６の被写体像を測光センサ２０８及び光学ファインダーに導く。測光センサ２０８は、ペンタプリズムを介してピント板２０６に結像された被写体像を斜めの位置から見込んでいる。焦点検出回路（ＡＦ）２１０は、レンズより入射し、ハーフミラー２０５を通過した光線の一部をＡＦミラー２１１でＡＦセンサに導き、測距を行う。ＡＰＵ２１２は、測光センサ２０８の画像処理・演算用のＣＰＵである。

メモリ２１３は、ＡＰＵ２１２に接続されているＲＡＭやＲＯＭ等の記憶手段である。図２に示す例では、撮像装置３００は、ＡＰＵ２１２のように測光センサ専用のＣＰＵを備えるが、撮像装置３００が、カメラマイコンとして機能するＣＰＵ２０１で処理を行っても良い。図１中の移動ベクトル検出部１１０と主被写体領域検出部１１１は、ＣＰＵ２０１内に設けられてもよいし、ＡＰＵ２１２内に設けられてもよい。

レンズ４００は、ＬＰＵ４０１、角速度センサ４０２を備える。ＬＰＵ４０１は、レンズマイコンとして機能するＣＰＵである。ＬＰＵ４０１は、被写体との距離情報、角速度情報等をＣＰＵ２０１に送信する。角速度センサ４０２は、レンズ４００に加わる振れを表す角速度を検出し、角速度情報（振れ検出信号）を電気信号として変換してＬＰＵ４０１へ伝達する。角速度センサ４０２は、例えばジャイロセンサである。ＬＰＵ４０１は、主被写体のベクトルに応じた角速度と、角速度センサ４０２の出力とに基づいて、シフトレンズを駆動することによって、被写体に係る像振れを補正する。

図３は、実施例１の画像処理装置による主被写体ベクトルの検知を説明するフローチャートである。
Ｓ３０１において、ＣＰＵ２０１が、ジャイロセンサ１１２または角速度センサ４０２の出力に基づいて、撮影者がパンニング動作を行っているかを判断する。具体的には、ＣＰＵ２０１は、ジャイロセンサ１１２または角速度センサ４０２の出力が一定値以上（閾値以上）であるかを判断する。ジャイロセンサ１１２または角速度センサ４０２の出力が閾値以上でない場合、ＣＰＵ２０１は、撮影者がパンニング動作を行っていないと判断して、処理がＳ３０３に進む。Ｓ３０３において、ＣＰＵ２０１が、撮像装置３００の動作モードを、短秒露光で撮影した画像（短秒露光の画像）からベクトル検知を行う短秒キャプチャモード（第１のモード）に設定する。短秒露光の画像は、第１の露光時間に対応する第１の撮像画像である。撮影者がパンニング動作を行っていない場合、異なる露光時間で撮影しても、撮影した画像に違いが出ないので、撮像装置３００は、手振れや被写体振れを防ぐために、短秒露光の画像のみからベクトル検知を行う。

ジャイロセンサ１１２または角速度センサ４０２の出力が閾値以上である場合、ＣＰＵ２０１は、撮影者がパンニング動作を行っていると判断して、処理がＳ３０２に進む。Ｓ３０２において、ＣＰＵ２０１が、撮像装置３００の動作モードを、短秒露光の画像と、長秒露光の画像をキャプチャする短秒・長秒キャプチャモード（第２のモード）に設定する。長秒露光の画像は、長秒露光で撮影された画像、すなわち第１の露光時間より長い第２の露光時間に対応する第２の撮像画像である。

Ｓ３０４において、ＣＰＵ２０１が、短秒露光の画像を取得（撮像）する際に用いる第１の露光時間（以下Ｔｖ）［ｓｅｃ］を、式（１）を用いて算出する。

ｆは撮影レンズの焦点距離［ｍｍ］である。αは任意の値である。ωはパンニング時のカメラ角速度［ｄｅｇ／ｓｅｃ］である。αの設定を変えることで、短秒・長秒それぞれの時の露光時間を求めることが可能である。ＣＰＵ２０１が、ジャイロセンサ１１２または角速度センサ４０２の出力の大きさに応じて、第１の露光時間を変更するようにしてもよい。例えば、ＣＰＵ２０１は、ジャイロセンサ１１２または角速度センサ４０２の出力が大きいほど、第１の露光時間を短くする。

次に、Ｓ３０５において、ＣＰＵ２０１が、Ｓ３０４で設定したＴｖに基づいて、短秒露光の画像を取得する。続いて、Ｓ３０６において、ＣＰＵ２０１が、第１の検出手段として機能し、Ｓ３０５で取得した短秒露光の画像から動きベクトルを検知（検出）する。動きベクトルの検知の手法については、テンプレートマッチングや背景差分法など、様々な手法を適用できる。

次に、Ｓ３０７では、ＣＰＵ２０１が、短秒・長秒キャプチャモードが設定されているかを判断する。短秒・長秒キャプチャモードが設定されている場合は、処理がＳ３０８に進む。短秒・長秒キャプチャモードではなく、短秒キャプチャモードが設定されている場合は、処理がＳ３１２に進む。Ｓ３１２において、ＣＰＵ２０１が、Ｓ３０６で取得したベクトルデータのみから、主被写体ベクトルを検知する。

図４は、図３のＳ３１２における主被写体ベクトルの検知を説明するフローチャートである。
Ｓ４０１において、ＣＰＵ２０１が、Ｓ３０６で検知された全ベクトルデータからヒストグラムを作成する。続いて、Ｓ４０２において、ＣＰＵ２０１が、ジャイロセンサ１１２または角速度センサ４０２の出力に基づいて、背景領域のベクトルをヒストグラムから除去する。具体的には、ＣＰＵ２０１は、ジャイロセンサ１１２または角速度センサ４０２から出力された角速度をベクトル換算し、その逆位相になっているベクトルを背景領域のベクトルとして除去する。

Ｓ４０３において、ＣＰＵ２０１が、Ｓ４０２において背景領域のベクトルが除かれたヒストグラムから、ピークとなっているベクトルを検出し、検出されたベクトルを主被写体ベクトルとする。なお、主被写体ベクトルの検出方法に関しては、本実施例で挙げた以外の手法を用いてもよい。

図３の説明に戻る。Ｓ３０８において、ＣＰＵ２０１が、長秒露光時のＴｖを算出する。ＣＰＵ２０１は、式（１）のαを、Ｓ３０４でのＴｖの算出の際よりも大きい値に設定することで、長秒露光時のＴｖを求めることができる。続いて、Ｓ３０９において、ＣＰＵ２０１が、Ｓ３０８で算出した長秒露光時のＴｖで長秒露光の画像を取得する。撮影者が一定の角速度でパンニングを行っている（Ｓ３０１でＹｅｓ）ので、Ｓ３０９で取得される画像は、主被写体以外が流れている画像になる。続いて、Ｓ３１０において、ＣＰＵ２０１が、第２の検出手段として機能し、主被写体領域を検出する。具体的には、ＣＰＵ２０１は、ステップＳ３０９で取得した長秒露光の画像から被写体マスクを作成する。被写体マスクは、主被写体領域を示す情報である。

図５は、図３のＳ３１０における被写体マスクの作成を説明するフローチャートである。
Ｓ５０１において、ＣＰＵ２０１が、図３のＳ３０９で取得した長秒露光の画像に対して、各画素に対するエッジ強調処理を行う。エッジ強調処理において用いられるエッジ強調フィルタとして、ＬａｐｌａｃｉａｎフィルタやＳｏｂｅｌフィルタといった、一般的に知られているフィルタを用いてもよいし、実施形態に応じて独自にフィルタを設定してもよい。また、任意の種類のフィルタを組み合わせて適用してもよい。

Ｓ５０２において、ＣＰＵ２０１が、Ｓ５０１におけるエッジ強調処理の際に計算した角画素のエッジ強度によって二値化を行う。Ｓ５０３において、ＣＰＵ２０１が、Ｓ５０２で二値化された画像において、ＡＦポイントを含んでいる領域を主被写体領域として被写体マスクを作成する。

本実施例では、エッジ強調フィルタによる領域分割、及び、ＡＦポイントを始点とした領域検出によって被写体マスクを作成したが、実施形態によっては、デフォーカス量などを用いて主被写体領域を検出してもよい。また、ＣＰＵ２０１が、長秒露光の画像から被写体に関する情報（被写体情報）を取得し、取得した被写体情報に基づいて、短秒露光の画像から主被写体領域を検出し、検出した主被写体領域に対応する動きベクトルを主被写体ベクトルとしてもよい。例えば、ＣＰＵ２０１は、被写体情報として被写体の色情報を取得し、取得した色情報に基づいて、短秒露光の画像から主被写体領域を検出する。

図３の説明に戻る。Ｓ３１１において、ＣＰＵ２０１が、制御手段として機能し、Ｓ３０６で取得したベクトルのうち、主被写体領域に対応するベクトルを主被写体ベクトルとして決定する。具体的には、ＣＰＵ２０１は、Ｓ３１０で取得した主被写体マスクの範囲内（主被写体領域の範囲内）にあるベクトルを主被写体ベクトルとして選択する。続いて、Ｓ３１３において、ＣＰＵ２０１が、ベクトル検知を継続するかを判断する。撮影動作に入るなどしてベクトル検知を終了させなければ、処理がＳ３０１に戻る。ベクトル検知を継続しない場合は、処理を終了する。なお、Ｓ３０２において短秒・長秒キャプチャモードが設定された場合には、ＣＰＵ２０１が、表示部１０８に長秒露光の画像を画面表示するようにしてもよい。以上のようにして主被写体ベクトルの検出を行った後、検出された主被写体ベクトルを用いた処理が行われる。検出された主被写体ベクトルを用いた処理は、例えば、被写体の像振れを補正するために、ＣＰＵ２０１が撮像素子１０２及び撮像光学系１０１に含まれるレンズの少なくとも一方を撮像光学系１０１の光軸と直交する方向に移動させる防振処理などである。精度良く検出された主被写体ベクトルを用いることで、主被写体の動きを抑制した撮像画像を取得することができる。

本実施例の画像処理装置は、長秒露光の画像を用いて主被写体領域を検出し、短秒露光の画像から取得したベクトルの中から主被写体領域内にあるベクトルを主被写体ベクトルとする。これにより、精度良く主被写体ベクトルの検出を行うことができる。

（実施例２）
図６は、実施例２の画像処理装置による主被写体ベクトルの検知を説明するフローチャートである。
Ｓ７０１乃至Ｓ７０４は、図３のＳ３０１乃至Ｓ３０４と同様であるので、説明を省略する。Ｓ７０５において、ＣＰＵ２０１が、Ｓ７０４で設定したＴｖに基づいて、短秒露光の画像を取得する。ＣＰＵ２０１は、取得した短秒露光の画像を一時記憶装置１０５に保存する。Ｓ７０６、Ｓ７０７、Ｓ７１１は、それぞれ、図３のＳ３０６、Ｓ３０７、Ｓ３１１と同様であるので、説明を省略する。

Ｓ７０７の判断処理で、短秒・長秒キャプチャモードが設定されていると判断された場合は、処理がＳ７０８に進む。Ｓ７０８において、ＣＰＵ２０１が、一時記憶装置１０５に保存されている短秒露光の画像を読み出し、読み出した短秒露光の画像に基づいて、長秒露光相当の画像を生成する。長秒露光相当の画像は、実施例１の長秒露光の画像と同様に、第１の露光時間より長い第２の露光時間に対応する第２の撮像画像である。本実施例では、ＣＰＵ２０１は、短秒露光の画像について画素毎の加算平均をとることで、長秒露光相当の画像を合成する。なお、実施形態によって、画像合成の方法を変更してもよい。

次に、Ｓ７０９において、ＣＰＵ２０１が、Ｓ７０８で生成した長秒露光相当の画像から主被写体マスクを作成する。主被写体マスクの作成方法については、実施例１と同様であるので、説明を省略する。Ｓ７１０、Ｓ７１２は、図３のＳ３１０、Ｓ３１２と同様であるので、説明を省略する。

実施例２の画像処理装置は、画像合成により作成した長秒露光相当の画像を用いて主被写体領域を検出し、短秒露光の画像から取得したベクトルの中から主被写体領域内にあるベクトルを主被写体ベクトルとする。これにより、精度良く主被写体ベクトルの検出を行うことができる。以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、実施例の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１１０ 移動ベクトル検出部
１１１ 主被写体領域検出部

Claims (11)

1. 第１の露光時間に対応する第１の撮像画像と、前記第１の露光時間より長い第２の露光時間に対応する第２の撮像画像とを取得する取得手段と、
   前記第１の撮像画像に基づいて、動きベクトルを検出する第１の検出手段と、
   前記第２の撮像画像に基づいて、主被写体の領域を検出する第２の検出手段と、
   前記第１の検出手段によって検出された動きベクトルのうち、前記第２の検出手段によって検出された主被写体の領域に対応する動きベクトルを、主被写体の動きベクトルとして決定する制御手段とを備える
   ことを特徴とする画像処理装置。
2. 前記制御手段は、前記検出された動きベクトルのうち、前記主被写体の領域内の動きベクトルを前記主被写体の動きベクトルとして決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の検出手段は、
   前記第２の撮像画像から被写体情報を取得し、
   前記被写体情報に基づいて、前記第１の撮像画像から前記主被写体の領域を検出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記第２の検出手段は、
   前記被写体情報として色情報を取得し、
   前記色情報に基づいて、前記第１の撮像画像から前記主被写体の領域を検出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、前記第１の撮像画像から前記第２の撮像画像を合成して取得する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記取得手段は、前記画像処理装置に加わる振れ検出信号の出力が閾値以上である場合に、前記第１の撮像画像と前記第２の撮像画像とを取得する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記画像処理装置に加わる振れ検出信号の出力が閾値以上である場合に、前記取得された前記第２の撮像画像を画面表示する表示手段を備える
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記取得手段は、前記画像処理装置に加わる振れ検出信号の出力の大きさに応じて、前記第１の露光時間を変更する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記取得手段は、前記画像処理装置に加わる振れ検出信号の出力が大きいほど、前記第１の露光時間を短くする
   ことを特徴とする請求項８に記載の画像処理装置。
10. 撮像光学系を介して結像した被写体光を光電変換する撮像素子と、請求項１乃至９のいずれか１項に記載の画像処理装置とを備え、
    前記制御手段により決定された前記主被写体の動きベクトルに基づいて、前記撮像光学系に含まれるレンズ及び前記撮像素子の少なくとも一方を、前記撮像光学系の光軸と直交する方向に移動させる
    ことを特徴とする撮像装置。
11. 第１の露光時間に対応する第１の撮像画像と、前記第１の露光時間より長い第２の露光時間に対応する第２の撮像画像とを取得する工程と、
    前記第１の撮像画像に基づいて、動きベクトルを検出する工程と、
    前記第２の撮像画像に基づいて、主被写体の領域を検出する工程と、
    前記検出された動きベクトルのうち、前記検出された主被写体の領域に対応する動きベクトルを、主被写体の動きベクトルとして決定する工程とを有する
    ことを特徴とする画像処理装置の制御方法。

Images