JP2019161583A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】デフォーカスマップを用いた被写体探索処理及び被写体領域補正処理をともに精度よく実現できるようにする。【解決手段】画像及びそれぞれの画像について生成時のブロックのサイズが異なる複数のデフォーカスマップを取得し、取得した画像及びデフォーカスマップに基づいてテンプレートマッチング部が被写体探索処理を行い、取得した画像及びデフォーカスマップに基づいて大きさ推定部が被写体領域補正処理を行うとともに、複数のデフォーカスマップの内から被写体領域補正処理に用いるデフォーカスマップを選択して適宜切り替えるようにして、被写体探索処理及び被写体領域補正処理をともに精度よく実現できるようにする。【選択図】図１

Description

本発明は、取得される複数の画像において被写体領域を特定し、特定された被写体領域に応じた画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

時系列に並んだ複数の画像において画像解析により被写体の存在する被写体領域をそれぞれ特定する被写体探索処理を行う技術がある。特許文献１では、テンプレートマッチングを用いて被写体探索処理を行うとともに、被写体領域を含む周辺領域の画像情報を参照して被写体領域を補正する被写体領域補正処理を行う技術の開示がある。

特開２０１４−１２７１５４号公報

しかしながら、特許文献１に記載の方法では、単に画像信号のレベルから被写体領域とそれ以外の領域を分離するため、同色だが異なる被写体が近い場合など、色や輝度によって両者を分離できない場合には被写体領域を正しく特定できないことがある。
上記課題に鑑み、本発明は、奥行き情報を用いて被写体領域を精度よく特定する画像処理装置及び画像処理方法を提供することを目的とする。

本発明に係る画像処理装置は、画像を取得する第１の取得手段と、前記画像のそれぞれについて、生成時のブロックのサイズが異なる複数のデフォーカスマップを取得する第２の取得手段と、前記画像及び前記デフォーカスマップに基づいて、対象の被写体を探索する探索手段と、前記画像及び前記デフォーカスマップに基づいて、前記探索手段が決定した被写体領域を補正する補正手段と、前記複数のデフォーカスマップの内から前記補正手段での前記被写体領域の補正に用いる前記デフォーカスマップを選択する選択手段とを有することを特徴とする。

本発明によれば、画像から被写体領域を特定する際にデフォーカス情報を用いることで、精度よく被写体領域を特定することができる。

本発明の実施形態における撮像装置の構成例を示す図である。 本実施形態における撮像素子の構成例を示す図である。 本実施形態における被写体探索処理を説明する図である。 本実施形態における視差画像とデフォーカスマップの例を示す図である。 本実施形態における撮像装置の処理の例を示すフローチャートである。 本実施形態における被写体探索処理の例を示すフローチャートである。 本実施形態におけるデフォーカスマップ選択処理の例を示すフローチャートである。 本実施形態における視差画像とデフォーカスマップの例を示す図である。 本実施形態における視差画像とデフォーカスマップの例を示す図である。 本実施形態におけるラベリング処理の例を示す図である。 本実施形態における被写体領域補正処理の例を示すフローチャートである。 本実施形態におけるラベリングしたデフォーカスマップを用いた被写体領域補正処理の例を示す図である。

以下、本発明の実施形態を図面に基づいて説明する。

＜撮像システム＞
本発明の一実施形態における撮像装置について説明する。
本実施形態では、時系列に並んだ複数の画像に対して特許文献１のような被写体探索処理と被写体領域補正処理を行う際に、瞳分割された被写体光を受光する撮像素子からの出力を用いて位相差検出方式で求められたデフォーカス情報を用いる。

ここで、瞳分割型撮像素子からの出力を用いて位相差検出方式により生成されるデフォーカスマップは、相関演算時に用いる微小ブロックの大きさにより異なる性質を持つ。具体的には、微小ブロックの大きさが小さいと相関演算に用いるデータ量が少なくなり、同一距離である領域のデフォーカス量がばらつくことがある。一方、微小ブロックの大きさが大きいと、遠近競合の影響によりデフォーカスマップ上で被写体輪郭部分の形状が正確に捉えられないことがある。

また、被写体探索処理と被写体領域補正処理とでは重視すべき性能が異なる。被写体探索処理は、画像の広い領域から大まかな被写体位置を探索する処理であるので、被写体と背景との境界を識別する精度は低くても良いが、背景を安定的に識別できる必要がある。一方、被写体領域補正処理は、おおまかに特定した被写体位置から被写体領域を細かく補正する処理であるので、背景を安定的に識別できなくても良いが、被写体と背景との境界を識別する精度は高い必要がある。

すなわち、同じ大きさの微小ブロックを用いて生成されたデフォーカスマップを被写体探索処理及び被写体領域補正処理のそれぞれに用いる場合、両方の処理を精度よく実現することができないことがある。
そこで、本実施形態では、デフォーカス情報を算出する最小単位であるブロックのサイズが異なる複数のデフォーカスマップを生成する。それらを被写体探索処理と被写体領域補正処理とで選択的に用いることで、両処理の精度を上げ、被写体領域の特定精度を上げることを特徴とする。

図１は、本実施形態における撮像装置１００の構成例を示すブロック図である。本実施形態における撮像装置１００は、例えば被写体の画像を撮像するデジタルカメラとして具現化される。また、本実施形態における撮像装置１００は、時系列に並んだ画像に含まれる被写体を追跡する被写体領域追跡装置としても機能する。本実施形態における撮像装置１００は、撮像光学系１０１、撮像素子１０２、アナログ信号処理部１０３、Ａ／Ｄ（アナログ／デジタル）変換部１０４、制御部１０５、画像処理部１０６、表示部１０７、及び記録媒体１０８を有する。また、撮像装置１００は、被写体指定部１０９、被写体追跡部１１０、ＲＯＭ（Read Only Memory）１２１、及びＲＡＭ（Random Access Memory）１２２を有する。

撮像装置１００において、被写体像に係る光は、撮像レンズを含む撮像光学系１０１によって集光され撮像素子１０２に入射する。撮像素子１０２は、入射する光の強度に応じた電気信号をそれぞれ出力する複数の光電変換素子を有し、被写体像（光学像）を電気信号に光電変換する。撮像素子１０２における画素配列構成の詳細は後述する。アナログ信号処理部１０３は、撮像素子１０２から出力された画像信号に対して相関二重サンプリング（ＣＤＳ）等のアナログ信号処理を施す。Ａ／Ｄ変換部１０４は、アナログ信号処理部１０３から出力されたアナログの画像信号をデジタルデータの形式に変換する。Ａ／Ｄ変換部１０４によって変換されたデジタル形式の画像信号（以下、単に画像ともいう）は、制御部１０５及び画像処理部１０６に入力される。

制御部１０５は、例えばＣＰＵ（Central Processing Unit）やマイクロコントローラ等であり、撮像装置１００の動作を制御する。制御部１０５は、選択手段の一例である。制御部１０５は、ＲＯＭ１２１に記憶されたプログラムコードをＲＡＭ１２２の作業領域に展開して順次実行することで、撮像装置１００の各機能部を制御する。また、制御部１０５は、撮像素子１０２で撮像する際の焦点状況や露出状況等の撮像条件を制御することもできる。例えば、制御部１０５は、Ａ／Ｄ変換部１０４から出力された画像信号に基づいて、撮像光学系１０１の図示しない焦点制御機構や露出制御機構の制御を行う。焦点制御機構は撮像光学系１０１に含まれる撮像レンズを光軸方向へ駆動させるアクチュエータ等であり、露出制御機構は撮像光学系１０１に含まれる絞りやシャッタを駆動させるアクチュエータ等である。

画像処理部１０６は、入力されるデジタル形式の画像信号に対して、ガンマ補正やホワイトバランス処理等の画像処理を施す。画像処理部１０６は、第１の取得手段及び第２の取得手段の一例である。本実施形態では、異なる２つの瞳領域の画像信号を加算することで撮像面の画像を取得することができる他、異なる２つの瞳領域の画像信号を各々扱うことにより視差の異なる２つの画像（視差画像）を取得することもできる。本実施形態における説明では、異なる２つの瞳領域の画像信号を加算したものを（Ａ＋Ｂ）像、異なる２つの瞳領域の画像信号を各々扱ったものをＡ像、Ｂ像と呼称する。また、画像処理部１０６は、被写体追跡部１１０から供給される画像中の被写体領域に関する情報を用いた画像処理を行ったり、デフォーカスマップの生成を行ったりする。さらに、画像処理部１０６は、デフォーカスマップの２値化処理やラベリング処理を行う。

デフォーカスマップの生成は、公知の瞳分割型位相差検出方式であって良い。例えば、画像処理部１０６は、異なる２つの瞳領域の画像信号のそれぞれについて相関演算を行い、視差の異なるＡ像及びＢ像のずれ量である位相差、つまりＡ像及びＢ像の像ずれ量を算出する。そして、画像処理部１０６は、算出したＡ像及びＢ像の位相差（像ずれ量）に基づいてデフォーカス量を算出することで、デフォーカスマップを生成する。デフォーカスマップは画素毎にデフォーカス量を有するマップであり、デフォーカス量はＦδの単位で表される。本実施形態において、画像処理部１０６は、相関演算を行う微小ブロックの大きさが異なる複数のデフォーカスマップを生成する。例えば、微小ブロックのサイズを基準サイズの等倍と２倍に設定した２種類のデフォーカスマップを生成する。基準サイズとは、被写体追跡部１１０で取り扱う最小被写体サイズに基づいて決定する。なお、デフォーカスマップ生成において入力となる視差画像と被写体追跡部１１０の入力画像との解像度が異なる場合には、最小被写体サイズを視差画像上に換算したサイズを基準サイズとする。

表示部１０７は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイであり、画像処理部１０６から供給される画像信号に基づいて画像を表示する。撮像装置１００は、撮像素子１０２で時系列的に撮像した画像を表示部１０７に表示させることで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、表示部１０７は、被写体追跡部１１０によって追跡している被写体を含む被写体領域の位置等も表示可能とする。また、画像処理部１０６から出力される画像信号は、記録媒体１０８に記録可能である。記録媒体１０８は、例えば撮像装置１００に着脱可能なメモリカードである。なお、画像処理部１０６から出力される画像信号の記録先は、撮像装置１００に内蔵されたメモリであっても良いし、撮像装置１００と通信可能に接続された外部装置であっても良い。

被写体指定部１０９は、画像に含まれる、追跡対象とする被写体を指定する。被写体指定部１０９は、例えばタッチパネルやボタン等を含む入力インターフェイスであり、この被写体指定部１０９を介して、ユーザー（撮像者）は画像に含まれる任意の被写体を追跡対象に指定することが可能である。被写体追跡部１１０は、画像処理部１０６から時系列的に画像信号及びデフォーカス量が順次供給され、撮像された時刻の異なる画像に含まれる被写体を追跡する。被写体追跡部１１０は、画像における被写体の画素パターンや特徴量、デフォーカスマップにおけるデフォーカス量に基づき、被写体指定部１０９によって指定された追跡対象の被写体を検出して追跡する。被写体追跡部１１０は、テンプレート登録部１１１、色特徴量抽出部１１２、距離特徴量算出部１１３、テンプレートマッチング部１１４、及び大きさ推定部１１５を有する。

テンプレート登録部１１１は、画像処理部１０６から時系列的に順次供給される画像から追跡対象の被写体に対応する部分領域を抽出してテンプレート画像として登録する。なお、登録されたテンプレート画像は、大きさ推定部１１５での処理結果に応じて拡大処理や縮小処理が適宜施された上でテンプレートマッチング部１１４に入力される。また、時系列的に順次供給される画像に含まれる被写体の見え方の変化を考慮して、時系列的に順次供給される画像毎にテンプレート画像を更新しても良い。この場合には、テンプレート画像として登録する部分領域の範囲を、大きさ推定部１１５での処理結果に応じて変化させれば良い。

色特徴量抽出部１１２は、画像処理部１０６から時系列的に順次供給される画像から追跡対象の被写体に関する色特徴量を抽出して保持する。具体的には、色特徴量抽出部１１２は、被写体指定部１０９によって指定された被写体に対応する領域の画素値情報から色特徴量を抽出する。例えば、画像処理部１０６から供給される画像をＨＳＶ色空間で表現する場合、色特徴量抽出部１１２は、色相（Ｈｕｅ）を画素値情報とし、色相のヒストグラムから頻度（要素数）が所定の閾値以上の階調を色特徴量として抽出する。閾値は例えば２５％とする。また、色相のヒストグラムは０〜３５９で表現される色相情報を１２階調に分け、頻度を要素数で正規化しているものとする。ここで、正規化とはヒストグラムを取得する領域の面積（画素数）で割っていることを示す。

距離特徴量算出部１１３は、画像処理部１０６から時系列的に順次供給されるデフォーカスマップから追跡対象の被写体に関する距離特徴量を算出して保持する。距離特徴量は、被写体指定部１０９によって指定された被写体に対応する領域からデフォーカス量の平均値で算出して良い。なお、平均値に限らず、中央値や分散値等の他のものでも良い。また、時系列的に順次供給されるデフォーカスマップに含まれる被写体の光軸方向の移動や、見た目の大きさの変化を考慮して、時系列的に順次供給される画像毎に距離特徴量を更新しても良い。この場合には、距離特徴量を算出する部分領域の範囲を、大きさ推定部１１５での処理結果に応じて変化させれば良い。

テンプレートマッチング部１１４は、画像処理部１０６から時系列的に逐次供給される（Ａ＋Ｂ）像及びデフォーカスマップに含まれる被写体を探索する。テンプレートマッチング部１１４は、探索手段の一例である。探索処理においては、テンプレートマッチング部１１４は、被写体モデルとして、テンプレート登録部１１１に保持されたテンプレート画像と、距離特徴量算出部１１３に保持された距離特徴量とを参照する。

大きさ推定部１１５は、画像処理部１０６からの時系列的に順次供給される入力群に対し、基準領域と特徴量とを参照して被写体の大きさを推定する。ここで、入力群とは画像処理部１０６から入力される画像及びデフォーカスマップである。また、基準領域とはテンプレートマッチング部１１４が決定した被写体領域であり、特徴量とは色特徴量抽出部１１２により抽出された色特徴量及び距離特徴量算出部１１３により算出された距離特徴量である。大きさ推定部１１５は、供給される画像の各画素において、色特徴量抽出部１１２により抽出された色特徴量と一致する画素であるか否か、距離特徴量算出部１１３により算出された距離特徴量と一致する画素であるか否かを判定する。大きさ推定部１１５は、色特徴量及び距離特徴量と一致すると判定した画素を特徴画素とし、基準領域から特徴画素の分布状況に応じて被写体の大きさを拡大するか否か、縮小するか否かを判定する。ただし、予め最小被写体サイズを定めておき、縮小は最小被写体サイズまでしか行わないものとする。最小被写体サイズは入力画像に対する比率で決定し、例えば入力画像がＶＧＡであれば、最小被写体サイズは３２画素とする。大きさ推定部１１５によって推定された被写体の大きさに基づき被写体領域は更新され、制御部１０５や画像処理部１０６に供給される。また、大きさ推定部１１５によって推定された被写体の大きさは、テンプレート登録部１１１や距離特徴量算出部１１３に伝えられ、各種情報が更新される。大きさ推定部１１５は、補正手段の一例である。

＜撮像素子の画素配列構成＞
次に、本実施形態における撮像素子１０２について説明する。図２（ａ）は、図１に示した撮像素子１０２の画素配列構成を示す図である。撮像素子１０２においては、図２（ａ）に示すように画素２００が二次元マトリクス状（行列状）に規則的に配列されている。各画素２００は、図２（ｂ）に示すように、マイクロレンズ２０１と一対の光電変換部２０２Ａ、２０３Ｂ（以下、瞳分割画素２０２Ａ、２０３Ｂとも呼ぶ）から構成される。

本実施形態においては、二次元マトリクス状に規則的に配列された瞳分割画素２０２Ａ、２０３Ｂから、視差画像としてＡ像、Ｂ像が出力されるものとする。図２（ａ）に示すように撮像素子１０２を構成することで、撮像光学系１０１の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらをＡ像及びＢ像として出力することができる。本実施形態では、このＡ像、Ｂ像を参照して画像処理部１０６がデフォーカスマップを生成する。なお、Ａ像、Ｂ像の取得方法は、これに限定されない。例えば、空間的に間隔をあけて設置した複数台のカメラから取得した互いに視差のついた画像をＡ像、Ｂ像としても良いし、複数の光学系と撮像部を有する１台のカメラから得られる視差画像をそれぞれＡ像、Ｂ像としても良い。

＜テンプレートマッチング部における処理＞
次に、本実施形態におけるテンプレートマッチング部１１４における処理について説明する。図３は、テンプレートマッチング部１１４における被写体探索処理を説明する図である。被写体が指定された際の（Ａ＋Ｂ）像を図３（ａ）に示し、図３（ａ）に示した（Ａ＋Ｂ）像に対応する２値化デフォーカスマップを図３（ｂ）に示す。図３（ａ）に示す領域３００はテンプレート画像を切り出した領域を示し、図３（ｂ）に示す領域３０１は領域３００に対応するデフォーカスマップ上の領域であり、距離特徴量を算出した領域を示している。また、被写体探索処理対象の（Ａ＋Ｂ）像を図３（ｃ）に示し、図３（ｃ）に示した（Ａ＋Ｂ）像に対応する２値化デフォーカスマップを図３（ｄ）に示す。

テンプレートマッチング部１１４は、被写体探索処理を行うとき、図３（ｃ）に示すようにサーチ領域３０２及びウィンドウ領域３０３を設定する。サーチ領域３０２は、（Ａ＋Ｂ）像全域とすることが好ましいが、前画像における被写体領域と重心が等しく、一辺の比がＮ倍の領域としても良い。さらに、テンプレートマッチング部１１４は、図３（ｃ）に示すように、サーチ領域３０２の内部において、２次元空間的に順次画素単位でずらしながら領域３００と同じ大きさのウィンドウ領域３０３を複数設定する。また、同時にテンプレートマッチング部１１４は、（Ａ＋Ｂ）像におけるウィンドウ領域３０３に対応するデフォーカスマップ上の領域３０４を設定する。

テンプレートマッチング部１１４は、領域３００から切り出したテンプレート画像とウィンドウ領域３０３から切り出した画像との相関度を算出するとともに、領域３０１から算出した距離特徴量と領域３０４から算出した距離評価値との類似度を算出する。そして、テンプレートマッチング部１１４は、算出した相関度と類似度とに基づいて被写体領域を決定する。ここで、相関度は、領域３００から切り出したテンプレート画像とウィンドウ領域３０３から切り出した画像の各画素の画素値の差分和を用いて良く、求められた差分和の値が小さい程、相関度が高いことを表す。また、距離評価値は、領域３０４の各座標のデフォーカス量に対して距離特徴量と同様の方法で算出して良い。類似度は、距離評価値と距離特徴量の差の絶対値を用いて良く、求められた値が小さい程、類似度が高いことを表す。なお、相関度、距離評価値、及び類似度を算出する方法は一例であり、前述した方法に限定されるものではない。例えば、相関度を求める方法は、正規化相互相関などの他の方法であっても良いし、類似度を算出する方法は分散であっても良い。

＜画像処理部が生成するデフォーカスマップ＞
次に、本実施形態における画像処理部１０６が生成するデフォーカスマップについて説明する。図４は、Ａ像及びＢ像において設定される微小ブロックと、その微小ブロックを用いて生成されたデフォーカスマップの例を示す図である。デフォーカスマップの着目座標のデフォーカス量を算出するために、図４（ａ）ではＡ像において小さいサイズの微小ブロック４００が設定されており、図４（ｂ）ではＢ像に対して小さいサイズの微小ブロック４０１が設定されている例である。微小ブロック４００及び微小ブロック４０１は同じ大きさであり、着目座標のデフォーカス量を算出するために位置をずらしながら複数組設定され、各々に含まれる画像情報から相関演算が行われる。この小さいサイズの微小ブロックに基づき全座標に対して相関演算を行って得られるデフォーカスマップを２値化した例を図４（ｃ）に示す。図４（ｃ）に示すように、生成時の微小ブロック４００及び４０１が小さいため、被写体輪郭部分の形状は正しく捉えられている。しかし、微小ブロック４００及び４０１が小さいために相関演算に用いる情報量が少なく、ノイズや背景のエッジ成分等が誤相関することにより、同一距離である背景領域の一部においてデフォーカス量がばらついている。

図４（ｄ）及び図４（ｅ）に示す例は、大きいサイズの微小ブロック４０２及び４０３が設定されていることを除けば、図４（ａ）及び図４（ｂ）に示した例と同様である。この大きいサイズの微小ブロックに基づき全座標に対して相関演算を行って得られるデフォーカスマップを２値化表現した例を図４（ｆ）に示す。図４（ｆ）に示すように、生成時の微小ブロック４０２及び４０３が大きいため、同一距離である背景領域のデフォーカス量はばらついていない。しかし、微小ブロック４０２及び４０３が大きいために、デフォーカスマップの各着目座標において相関演算を行う際に被写体成分を含む座標が多いことにより、被写体輪郭部分の形状が正しく捉えられていない。

＜撮像装置１００における処理＞
次に、本実施形態における撮像装置１００での処理の流れについて説明する。図５は、本実施形態における撮像装置１００の処理の例を示すフローチャートである。図５には、撮像装置１００における被写体探索処理及び被写体領域補正処理に係る処理について示している。なお、被写体探索処理及び被写体領域補正処理に係る処理以外の処理は、一般的な撮像装置と同様であるので、説明は省略する。

まず、ステップＳ５００にて、画像処理部１０６は、撮像素子１０２等を介して得られた画像信号から生成した（Ａ＋Ｂ）像及び微小ブロックのサイズが異なる２種類のデフォーカスマップを入力として読みこみ、被写体追跡部１１０に供給する。次に、ステップＳ５０１にて、被写体追跡部１１０は、被写体指定部１０９による指定を受け付け、指定された領域を（Ａ＋Ｂ）像における被写体領域とする。続いて、ステップＳ５０２にて、テンプレート登録部１１１は、（Ａ＋Ｂ）像の被写体領域から切り出した画像をテンプレート画像として登録する。また、ステップＳ５０３にて、色特徴量抽出部１１２は、（Ａ＋Ｂ）像の被写体領域から色特徴量を抽出する。また、ステップＳ５０４にて、距離特徴算出部１１３は、被写体領域に対応する微小ブロックが小さいデフォーカスマップ上の領域から距離特徴量を抽出する。なお、前述したステップＳ５０２、Ｓ５０３、Ｓ５０４の処理の実行順序は、順不同であり、また一部又は全部を並列して実行しても良い。

次のステップＳ５０５〜Ｓ５１２の処理は、時系列的に順次供給される（Ａ＋Ｂ）像及びデフォーカスマップ毎に繰り返し実行される。ステップＳ５０５にて、ステップＳ５００と同様に、画像処理部１０６は、（Ａ＋Ｂ）像及び微小ブロックのサイズが異なる２種類のデフォーカスマップを入力として読みこみ、被写体追跡部１１０に供給する。次に、ステップＳ５０６にて、テンプレートマッチング部１１４は、（Ａ＋Ｂ）像とデフォーカスマップを入力として被写体探索処理を行い、テンプレート画像と距離特徴量とを参照して（Ａ＋Ｂ）像において最も被写体らしい領域を被写体領域に決定する。次に、ステップＳ５０７にて、制御部１０５は、ステップＳ５０５において入力された２つのデフォーカスマップから被写体領域補正に用いるデフォーカスマップを選択する。

次に、ステップＳ５０８にて、画像処理部１０６は、ステップＳ５０７において選択したデフォーカスマップに対して２値化処理を行う。この２値化処理では、デフォーカスマップの各座標において、それぞれのデフォーカス量が基準値に近いか否かに基づいて２値化する。ここでの基準値は、ステップＳ５０６において決定された被写体領域に対応するデフォーカスマップ上の領域から得られる距離評価値とする。次に、ステップＳ５０９にて、画像処理部１０６は、ステップＳ５０８において２値化したデフォーカスマップのラベリングを行う。次に、ステップＳ５１０にて、大きさ推定部１１５は、被写体領域補正処理を行い、直前の画像における被写体領域を基準として、色特徴量及び距離特徴量に基づき被写体の大きさを推定して被写体領域を補正する。このとき、大きさ推定部１１５は、画像平面上の位置が、ステップＳ５０６において決定された被写体領域に近いラベルに属するデフォーカス量を優先的に用いて被写体領域を補正する。

次に、ステップＳ５１１にて、ステップＳ５１０において大きさ推定部１１５により補正された被写体領域がテンプレート登録部１１１に供給され、テンプレート画像に反映されてテンプレート画像が更新される。ステップＳ５０２において登録されたテンプレート画像を保持する手法であれば、ステップＳ５１１では、ステップＳ５１０において補正された被写体領域とテンプレート登録時の被写体領域の大きさの比率に基づいてテンプレート画像を拡大又は縮小を行う。テンプレート画像を更新する手法であれば、ステップＳ５１１では、ステップＳ５０５において入力された（Ａ＋Ｂ）像からステップＳ５１０において補正された被写体領域を切り出した部分画像でテンプレート画像を更新する。このようにテンプレート画像の大きさ又は部分領域の範囲を、大きさ推定部１１５による被写体の大きさの推定の結果に基づいて逐次更新することで、被写体の画像上の大きさ変化に頑健な被写体追跡が実現できる。

次に、ステップＳ５１２にて、ステップＳ５１０において大きさ推定部１１５により補正された被写体領域が距離特徴量算出部１１３に供給され、距離特徴量に反映されて距離特徴量が更新される。そして、ステップＳ５０５に戻る。ステップＳ５１２では、ステップＳ５０４において算出された距離特徴量を更新する手法であれば、ステップＳ５０７において選択したデフォーカスマップにおいて、ステップＳ５１０において補正された被写体領域から算出された値で距離特徴量を更新する。このように距離特徴量を、大きさ推定部１１５による被写体の大きさの推定の結果に基づいて逐次更新することで、被写体の光軸上の位置変化に頑強な被写体追跡が実現できる。

＜被写体探索処理＞
次に、図５のステップＳ５０６において、テンプレートマッチング部１１４が行う被写体探索処理について説明する。図６は、本実施形態における被写体探索処理の例を示すフローチャートである。

まず、ステップＳ６００にて、テンプレートマッチング部１１４は、入力画像（（Ａ＋Ｂ）像）に対してサーチ領域を決定する。次に、ステップＳ６０１にて、テンプレートマッチング部１１４は、入力画像のサーチ領域内部に対してウィンドウ領域を設定する。次に、ステップＳ６０２にて、テンプレートマッチング部１１４は、テンプレート画像とウィンドウ領域の画像情報を参照して相関度を算出する。次に、ステップＳ６０３にて、テンプレートマッチング部１１４は、ウィンドウ領域に対応する微小ブロックが大きいデフォーカスマップ上の領域を参照し、距離評価値を算出する。次に、ステップＳ６０４にて、テンプレートマッチング部１１４は、図５のステップＳ５０４において算出した距離特徴量とステップＳ６０３において算出した距離評価値から類似度を算出する。

次に、ステップＳ６０５にて、テンプレートマッチング部１１４は、入力画像のサーチ領域内部に未設定のウィンドウ領域があるか否かを判定する。未設定のウィンドウ領域があるとテンプレートマッチング部１１４が判定した場合、ステップＳ６０１に戻り、未設定のウィンドウ領域が無いと判定した場合、ステップＳ６０６に進む。ステップＳ６０６において、テンプレートマッチング部１１４は、ステップＳ６０１〜Ｓ６０５の一連の処理を行った複数のウィンドウ領域の内から、最も被写体らしさの高い領域を被写体領域として決定し、被写体探索処理を終了する。例えば、テンプレートマッチング部１１４は、ステップＳ６０４において算出された類似度が閾値よりも小さく（類似性が高い）、かつステップＳ６０２において算出した相関度が最も高いウィンドウ領域を被写体領域として決定する。このように、画素情報とデフォーカス量を参照して被写体探索処理を行うことにより、画素情報だけでは分離が難しい被写体に対する被写体探索精度を向上させることができる。

＜デフォーカスマップ選択処理＞
ここで、図５のステップＳ５０７において、制御部１０５が行うデフォーカスマップの選択処理について説明する。図７は、本実施形態におけるデフォーカスマップ選択処理の例を示すフローチャートである。

まず、ステップＳ７００にて、制御部１０５は、入力画像を撮影した際のＩＳＯ感度（露光感度）が閾値以上であるか否かの判定を行う。撮影した際のＩＳＯ感度（露光感度）が閾値以上であると制御部１０５が判定した場合にはステップＳ７０３に進み、閾値以上ではないと制御部１０５が判定した場合にはステップＳ７０１に進む。ＩＳＯ感度（露光感度）に応じたデフォーカスマップの切り替えについては後述する。ステップＳ７０１において、制御部１０５は、前画像での被写体領域のサイズが閾値以上であるか否かの判定を行う。前画像での被写体領域のサイズが閾値以上であると制御部１０５が判定した場合にはステップＳ７０３に進み、閾値以上ではないと制御部１０５が判定した場合にはステップＳ７０２に進む。被写体領域の大きさに応じたデフォーカスマップの切り替えについては後述する。

ステップＳ７０２では、制御部１０５は、微小ブロックが小さいデフォーカスマップを選択する。また、ステップＳ７０３では、制御部１０５は、微小ブロックが大きいデフォーカスマップを選択する。このように、撮影条件や被写体領域のサイズによるデフォーカスマップの影響を踏まえ、微小ブロックの大きさが異なるデフォーカスマップを選択することで、被写体領域補正処理で使用するデフォーカスマップを適切に切り替えることができる。なお、本実施形態では２つのデフォーカスマップを切り替える方法について記載したが、これに限定されるものではない。複数のデフォーカスマップを供給するとともに、ＩＳＯ感度（露光感度）、被写体サイズ毎に複数の閾値を設定し、現フレームにおける値と閾値との関係性から複数のデフォーカスマップを適宜切り替えるようにしても良い。

以下、ＩＳＯ感度（露光感度）に応じたデフォーカスマップの切り替えについて説明する。ステップＳ７００において、ＩＳＯ感度（露光感度）が高い場合における視差画像及びデフォーカスマップについて図４及び図８を用いて説明する。図４の説明は前述のとおりであり、図８全体の説明はＩＳＯ感度（露光感度）が高いためにゲインノイズ８００が表れている点を除いて図４と同様である。

図８（ｃ）に示した例と図４（ｃ）に示した例とを比べると、図８（ｃ）に示した例において、同一距離である領域のデフォーカス量のばらつきが顕著になっている。これは、図８（ａ）及び図８（ｂ）において、微小ブロック８０１及び８０２内にゲインノイズ８００が含まれるためである。また、図８（ｆ）に示した例と図８（ｃ）に示した例とを比べると、同一距離の領域でデフォーカス量がばらつく問題が抑制されている。これは、図８（ｄ）及び図８（ｅ）において、微小ブロック８０３及び８０４が、微小ブロック８０１及び８０２に比べて大きく、微小ブロックにおけるゲインノイズ８００の割合が低いためである。したがって、ＩＳＯ感度（露光感度）が閾値以上であると判定された場合には、微小ブロックが大きいデフォーカスマップに優先的に切り替えるようにすることが好ましい。

次に、被写体領域の大きさに応じたデフォーカスマップの切り替えについて説明する。ステップＳ７０１において、被写体領域のサイズが大きい場合における視差画像及びデフォーカスマップについて図４及び図９を用いて説明する。図４の説明は前述の通りであり、図９全体の説明は、被写体領域の大きさが異なる点を除いて図４と同様である。

図９（ｆ）に示した例と図４（ｆ）に示した例とを比較すると、図９（ｆ）に示した例では被写体輪郭部分の形状が正しく捉えられていない問題が軽微であるが、図４（ｆ）に示した例では被写体輪郭部分の形状が正しく捉えられていない問題が顕著である。これは、被写体領域のサイズが異なるために、白く表現されている領域におけるデフォーカス量が誤相関している座標の割合が、図９（ｆ）の例では低く、図４（ｆ）の例では高いからである。したがって、被写体領域の大きさが小さい場合には、微小ブロックが小さいデフォーカスマップを優先し、被写体領域の大きさが大きい場合には、微小ブロックが大きいデフォーカスマップを優先することが望ましい。

＜ラベリング処理＞
次に、図５のステップＳ５０９において、画像処理部１０６が行うラベリング処理について説明する。図１０は、画像処理部１０６におけるラベリング処理を説明する図である。図１０（ａ）は、ステップＳ５０８において２値化したデフォーカスマップに対してラベリング処理を行う様子を表す図である。ラベリング処理では各座標に対して、着目座標１０００を切り替えながら８近傍の周辺座標１００１に対し、既にラベルＩＤが発番されているかを判定する。発番されていない場合には着目座標に新規のラベルＩＤを割り振り、発番されている場合には周辺座標１００１と同一のラベルＩＤを発番する。デフォーカスマップの全座標に対してラベリング処理を行った結果が図１０（ｂ）である。被写体領域内の各座標には同一のラベルＩＤが発番され、他の領域には異なるラベルＩＤが発番される。図１０の例では周辺座標を８近傍で判定しているが、４近傍で判定しても良い。

＜被写体領域補正処理＞
次に、図５のステップＳ５１０において、大きさ推定部１１５が行う被写体領域補正処理について説明する。図１１は、本実施形態における被写体領域補正処理の例を示すフローチャートである。図１１において、ステップＳ１１０１〜Ｓ１１０４の処理が拡大判定処理を示し、ステップＳ１１０５〜Ｓ１１０８の処理が縮小判定処理を示す。なお、以下の説明において、被写体領域の形状は矩形であるとする。また、以下では、拡大判定処理（ステップＳ１１０１〜Ｓ１１０４）を行った後に縮小判定処理（ステップＳ１１０５〜Ｓ１１０８）を行う例を説明するが、縮小判定処理を行った後に拡大判定処理を行うようにしても良い。

まず、ステップＳ１１００にて、大きさ推定部１１５は、供給された（Ａ＋Ｂ）像の各画素値を着目画素とし、特徴画素であるか否かを判定する。大きさ推定部１１５は、着目画素が、条件（Ａ）を満たし、かつ条件（Ｂ）を満たす場合、特徴画素であると判定する。条件（Ａ）は、着目画素の画素情報が色特徴量抽出部１１２で抽出された色特徴量と合致していることである。また、条件（Ｂ）は、着目画素とステップＳ５０６において決定した被写体領域の重心座標が、ステップＳ５０９においてラベリングしたデフォーカスマップにおいて同じラベルに属することである。

次に、ステップＳ１１０１にて、大きさ推定部１１５は、テンプレートマッチング部１１４により決定された被写体領域を基準として、その被写体領域の外周領域の各辺において特徴画素の占める割合を算出する。次に、ステップＳ１１０２にて、大きさ推定部１１５は、被写体領域の４辺の内の１つの辺について、ステップＳ１１０１において算出した特徴画素の占める割合が所定の閾値（第１の閾値）以上であるか否かを判定する。特徴画素の占める割合が所定の閾値（第１の閾値）以上であると大きさ推定部１１５が判定した場合にはステップＳ１１０３に進み、所定の閾値（第１の閾値）以上ではないと大きさ推定部１１５が判定した場合にはステップＳ１１０４に進む。

尚、ラベリングしたデフォーカスマップを参照する様子を図１２に示す。被写体領域１２００の左側に外周領域１２０１があり、外周領域１２０１の領域内に距離情報がばらついている。しかし、被写体のラベルＩＤが１であり、ラベルＩＤが２または４である座標は条件（Ｂ）を満たさない。従ってラベリングしたデフォーカスマップを領域補正に用いることで、外周領域内における距離情報のばらつきの影響を抑制することができる。

ステップＳ１１０３では、大きさ推定部１１５は、当辺の方向に被写体領域を拡大し、その後ステップＳ１１０４に進む。次に、ステップＳ１１０４にて、大きさ推定部１１５は、被写体領域の４辺のすべてにおいて拡大判定処理が完了したか否かを判定する。被写体領域の４辺のすべてにおいて拡大判定処理が完了したと大きさ推定部１１５が判定した場合には、拡大判定処理を終了してステップＳ１１０５に進み、そうでない場合にはステップＳ１１０２に戻って未処理の辺について処理を行う。

ステップＳ１１０５にて、大きさ推定部１１５は、テンプレートマッチング部１１４により決定された被写体領域を基準として、その被写体領域の内周領域の各辺において特徴画素の占める割合を算出する。次に、ステップＳ１１０６にて、大きさ推定部１１５は、被写体領域の４辺の内の１つの辺について、ステップＳ１１０５において算出した特徴画素の占める割合が所定の閾値（第２の閾値）未満であるか否かを判定する。特徴画素の占める割合が所定の閾値（第２の閾値）未満であると大きさ推定部１１５が判定した場合にはステップＳ１１０７に進み、所定の閾値（第２の閾値）未満ではないと大きさ推定部１１５が判定した場合にはステップＳ１１０８に進む。

ステップＳ１１０７では、大きさ推定部１１５は、当辺の方向に被写体領域を縮小し、その後ステップＳ１１０８に進む。次に、ステップＳ１１０８にて、大きさ推定部１１５は、被写体領域の４辺のすべてにおいて縮小判定処理が完了したか否かを判定する。被写体領域の４辺のすべてにおいて縮小判定処理が完了したと大きさ推定部１１５が判定した場合には、縮小判定処理を終了して被写体領域補正処理を終了し、そうでない場合にはステップＳ１１０６に戻って未処理の辺について処理を行う。なお、拡大判定処理において、拡大した辺に関しては、縮小判定処理の対象から除外するようにしても良い。

以上のように、被写体探索と被写体領域補正との処理の性質に応じて、微小ブロックの大きさが異なる複数のデフォーカスマップを適宜切り替えることで、適切なデフォーカスマップを用いて各処理を行う。これにより、画像情報だけでは背景と被写体を分離できないようなシーンにおいても、被写体探索処理及び被写体領域補正処理をともに精度良く実現でき、例えば精度良く被写体追尾を行うことが可能となる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像装置 １０１：撮像光学系 １０２：撮像素子 １０５：制御部 １０６：画像処理部 １０９：被写体指定部 １１０：被写体追跡部 １１１：テンプレート登録部 １１２：色特徴量抽出部 １１３：距離特徴量算出部 １１４：テンプレートマッチング部 １１５：大きさ推定部 ２００：画素 ２０１：マイクロレンズ ２０２Ａ、２０３Ｂ：光電変換部 ３０２：サーチ領域 ３０３：ウィンドウ領域 ４００、４０１、４０２、４０３：微小ブロック １０００：着目座標 １００１：周辺座標 １２００：被写体領域 １２０１：外周領域

Claims (12)

1. 画像を取得する第１の取得手段と、
   前記画像のそれぞれについて、生成時のブロックのサイズが異なる複数のデフォーカスマップを取得する第２の取得手段と、
   前記画像及び前記デフォーカスマップに基づいて、対象の被写体を探索する探索手段と、
   前記画像及び前記デフォーカスマップに基づいて、前記探索手段が決定した被写体領域を補正する補正手段と、
   前記複数のデフォーカスマップの内から前記補正手段での前記被写体領域の補正に用いる前記デフォーカスマップを選択する選択手段とを有することを特徴とする画像処理装置。
2. 前記選択手段は、前記探索手段での前記被写体の探索に用いる前記デフォーカスマップよりも生成時のブロックのサイズが小さい前記デフォーカスマップを選択することを特徴とする請求項１記載の画像処理装置。
3. 前記第１の取得手段は、時系列に並んだ画像を取得し、
   前記第２の取得手段は、時系列に並んだ画像のそれぞれについて、生成時のブロックのサイズが異なる複数のデフォーカスマップを取得し、
   前記探索手段は、前記補正手段により前記被写体領域が補正された画像を用いて、次の画像における前記被写体を探索することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記選択手段は、前記第１の取得手段により取得した画像の露光感度が閾値以上である場合には、前記画像の露光感度が閾値以上でない場合に選択される前記デフォーカスマップよりも生成時のブロックのサイズが大きい前記デフォーカスマップを選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記選択手段は、前記補正手段により補正された前記被写体領域のサイズが閾値以上である場合には、前記被写体領域のサイズが閾値以上でない場合に選択される前記デフォーカスマップよりも生成時のブロックのサイズが大きい前記デフォーカスマップを、次の画像に用いる前記デフォーカスマップに選択することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
6. 前記補正手段は、前記選択手段が選択した前記デフォーカスマップにラベリング処理を施し、画像平面上の位置が、前記探索手段が決定した前記被写体領域に近いラベルに属するデフォーカス量を優先的に用いて被写体領域を補正することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記第２の取得手段は、１つの前記画像に係る異なる２つの瞳領域の画像信号のそれぞれで前記ブロックを用いた相関演算を行い、前記２つの瞳領域に対応する２つの像の位相差を算出し、前記位相差に基づいてデフォーカス量を算出して前記デフォーカスマップを取得することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 画像を取得する第１の取得手段と、
   １つの前記画像に係る異なる２つの瞳領域の画像信号のそれぞれでブロックを用いた相関演算を行い、前記２つの瞳領域に対応する２つの像の位相差を算出し、前記位相差に基づいてデフォーカス量を算出することでデフォーカスマップを生成するとともに、前記画像のそれぞれについて、第１のブロックを用いて第１の前記デフォーカスマップを取得し、前記第１のブロックよりサイズが小さい第２のブロックを用いて第２の前記デフォーカスマップを取得する第２の取得手段と、
   前記第１のデフォーカスマップを用いて、前記画像から対象の被写体を探索する探索手段と、
   前記第１のデフォーカスマップ及び前記第２のデフォーカスマップの内から選択された前記デフォーカスマップを用いて、前記探索手段が決定した被写体領域を補正する補正手段と、
   前記画像の露光感度が閾値以上でなく、かつ前記補正手段により補正された前記被写体領域のサイズが閾値以上でない場合、前記第２のデフォーカスマップを前記補正手段で用いる前記デフォーカスマップに選択し、前記画像の露光感度が閾値以上である場合、又は前記補正手段により補正された前記被写体領域のサイズが閾値以上である場合、前記第１のデフォーカスマップを前記補正手段で用いる前記デフォーカスマップに選択する選択手段とを有することを特徴とする画像処理装置。
9. 画像を取得する第１の取得工程と、
   前記画像のそれぞれについて、生成時のブロックのサイズが異なる複数のデフォーカスマップを取得する第２の取得工程と、
   前記画像及び前記デフォーカスマップに基づいて、対象の被写体を探索する探索工程と、
   前記画像及び前記デフォーカスマップに基づいて、前記探索工程で決定した被写体領域を補正する補正工程と、
   前記複数のデフォーカスマップの内から前記補正工程で前記被写体領域の補正に用いる前記デフォーカスマップを選択する選択工程とを有することを特徴とする画像処理方法。
10. 画像を取得する第１の取得工程と、
    １つの前記画像に係る異なる２つの瞳領域の画像信号のそれぞれでブロックを用いた相関演算を行い、前記２つの瞳領域に対応する２つの像の位相差を算出し、前記位相差に基づいてデフォーカス量を算出することでデフォーカスマップを生成するとともに、前記画像のそれぞれについて、第１のブロックを用いて第１の前記デフォーカスマップを取得し、前記第１のブロックよりサイズが小さい第２のブロックを用いて第２の前記デフォーカスマップを取得する第２の取得工程と、
    前記第１のデフォーカスマップを用いて、前記画像から対象の被写体を探索する探索工程と、
    前記第１のデフォーカスマップ及び前記第２のデフォーカスマップの内から選択された前記デフォーカスマップを用いて、前記探索工程で決定した被写体領域を補正する補正工程と、
    前記画像の露光感度が閾値以上でなく、かつ前記補正工程で補正された前記被写体領域のサイズが閾値以上でない場合、前記第２のデフォーカスマップを前記補正工程で用いる前記デフォーカスマップに選択し、前記画像の露光感度が閾値以上である場合、又は前記補正工程で補正された前記被写体領域のサイズが閾値以上である場合、前記第１のデフォーカスマップを前記補正工程で用いる前記デフォーカスマップに選択する選択工程とを有することを特徴とする画像処理方法。
11. 画像を取得する第１の取得ステップと、
    前記画像のそれぞれについて、生成時のブロックのサイズが異なる複数のデフォーカスマップを取得する第２の取得ステップと、
    前記画像及び前記デフォーカスマップに基づいて、対象の被写体を探索する探索ステップと、
    前記画像及び前記デフォーカスマップに基づいて、前記探索ステップで決定した被写体領域を補正する補正ステップと、
    前記複数のデフォーカスマップの内から前記補正ステップで前記被写体領域の補正に用いる前記デフォーカスマップを選択する選択ステップとをコンピュータに実行させるためのプログラム。
12. 画像を取得する第１の取得ステップと、
    １つの前記画像に係る異なる２つの瞳領域の画像信号のそれぞれでブロックを用いた相関演算を行い、前記２つの瞳領域に対応する２つの像の位相差を算出し、前記位相差に基づいてデフォーカス量を算出することでデフォーカスマップを生成するとともに、前記画像のそれぞれについて、第１のブロックを用いて第１の前記デフォーカスマップを取得し、前記第１のブロックよりサイズが小さい第２のブロックを用いて第２の前記デフォーカスマップを取得する第２の取得ステップと、
    前記第１のデフォーカスマップを用いて、前記画像から対象の被写体を探索する探索ステップと、
    前記第１のデフォーカスマップ及び前記第２のデフォーカスマップの内から選択された前記デフォーカスマップを用いて、前記探索ステップで決定した被写体領域を補正する補正ステップと、
    前記画像の露光感度が閾値以上でなく、かつ前記補正ステップで補正された前記被写体領域のサイズが閾値以上でない場合、前記第２のデフォーカスマップを前記補正ステップで用いる前記デフォーカスマップに選択し、前記画像の露光感度が閾値以上である場合、又は前記補正ステップで補正された前記被写体領域のサイズが閾値以上である場合、前記第１のデフォーカスマップを前記補正ステップで用いる前記デフォーカスマップに選択する選択ステップとをコンピュータに実行させるためのプログラム。

Images