JP2021103598A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】 テンプレートマッチングによって対象の検出を行う場合において、テンプレートの形状の最適化を行なって対象の変形に対する対応性を向上し得る、画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】 本開示の一態様に係る画像処理装置１００は、対象を検出するためのテンプレートを作成する、テンプレート作成部１０と、入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成するマスク作成部２０と、前記マスクによって一部が遮蔽された前記テンプレートを生成する生成部と、を備える。【選択図】 図１

Description

本発明は、画像から対象を検出する、画像検出装置、画像検出方法、及びこれらを実現するためのプログラムに関する。

近年、カメラ技術の向上により、監視カメラを用いた監視システムの利用が増加している。また、このような監視システムでは、監視カメラからの映像上で、監視対象となる物体等を検出し、検出した物体を追跡することが行なわれている。

そして、映像上で監視対象を検出及び追跡するため、種々の手法が提案されている（例えば、非特許文献１及び２参照）。具体的には、非特許文献１は、監視対象の特徴点分布に基づいて、監視対象の検出及び追跡を行なう手法を開示している。また、非特許文献２は、映像上の監視対象の画像とテンプレート画像とのマッチングを行なうことによって、監視対象の検出及び追跡を行なう手法を開示している。

但し、非特許文献１に開示された特徴点分布を用いる手法には、監視対象の変形に強いという特徴があるが、抽出した特徴量を扱っているため、監視対象が別の物に乗り移ったり、監視領域から外れたりした場合に、再び正しい監視対象を追跡することが難しいという問題がある。

一方、非特許文献２に開示されたテンプレートマッチングを用いた手法には、照合性能が高く、監視対象が別の物に乗り移ったり、監視領域から外れたりした場合であっても、再び正しい監視対象を追跡できる。よって、非特許文献２に開示された手法によれば、非特許文献１に開示された手法の問題を解消できるが、この手法には、監視対象の変形に弱いという問題がある。

これらの問題に対して、特許文献１は、テンプレートマッチングを用いた場合において、監視対象の変形に弱いという問題を克服する手法を提案している。具体的には、特許文献１は、二値画像をラベリングしてマスクを生成し、得られたマスクを包含する矩形領域の短辺の長さを用いて、テンプレートの大きさを更新する手法を開示している。特許文献１に開示された手法によれば、監視対象の変形に合わせてテンプレートを更新できるため、監視対象の変形に弱いという問題が解消されると考えられる。

特開２０１３−２５４３８６号公報

Georg Nebehay, "Clustering of Static-Adaptive Correspondences for Deformable Object Tracking",Institute for Computer Graphics and Vision, Graz University of Technology, IEEE, 2015. 金子敏充、堀修、「テンプレートマッチングを用いた物体追跡のためのテンプレート画像更新基準」、電子情報通信学会論文誌D、Vol.J88-D2 No.8、pp.1378-1388、2005。

しかしながら、特許文献１に開示された手法であっても、テンプレートの形状の最適化は行われておらず、また、大きさが最適化されてもテンプレートの一部に背景が入り込むことがあるので、監視対象の変形の程度によっては追跡が困難となる場合がある。

本発明の目的の一例は、上記問題を解消し、テンプレートマッチングによって対象の検出を行う場合において、テンプレートの形状の最適化を行なって対象の変形に対する対応性を向上し得る、画像検出装置、画像検出方法、及びプログラムを提供することにある。

本開示の一態様に係る画像処理装置は、対象を検出するためのテンプレートを作成する、テンプレート作成手段と、入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成するマスク作成手段と、前記マスクによって一部が遮蔽された前記テンプレートを生成する生成手段と、を備える。

本開示の一態様に係る画像処理方法は、対象を検出するためのテンプレートを作成し、入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成し、前記マスクによって一部が遮蔽された前記テンプレートを生成する、ことを特徴とする。

本開示の一態様に係るプログラムは、コンピュータに、対象を検出するためのテンプレートを作成するテンプレート作成処理と、入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成するマスク作成処理と、前記マスクによって一部が遮蔽された前記テンプレートを生成する生成処理と、を実行させる。本開示の一態様は、上述のプログラムを記憶する記憶媒体によっても実現される。

以上のように、本発明によれば、テンプレートマッチングによって対象の検出を行う場合において、テンプレートの形状の最適化を行なって対象の変形に対する対応性を向上することができる。

図１は、本発明の実施の形態における画像検出装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像検出装置の構成を具体的に示すブロック図である。 図３は、本発明の実施の形態における画像検出装置の動作を示すフロー図である。 図４は、図３に示した追跡処理とマスクの作成又は更新処理とを具体的に示すフロー図である。 図５は、図４に示すステップＢ１を説明する図である。 図６は、図４に示すステップＢ２及びＢ３を説明する図である。 図７は、図４に示すステップＢ４を説明する図である。 図８Ａは、図４に示すステップＢ５からＢ８のうち、ステップＢ５又はＢ６の結果を示す図である。 図８Ｂは、図４に示すステップＢ５からＢ８のうち、ステップＢ７の結果を示す図である。 図８Ｃは、図４に示すステップＢ５からＢ８のうち、ステップＢ８の結果を示す図である。 図９は、本発明の実施の形態における画像検出装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における、画像検出装置、画像検出方法、及びプログラムについて、図１〜図９を参照しながら説明する。
［装置構成］
最初に、図１を用いて本実施の形態における画像検出装置の概略構成について説明する。図１は、本発明の実施の形態における画像検出装置の概略構成を示すブロック図である。

図１に示す本実施の形態における画像検出装置１００は、入力された画像から対象を検出するための装置である。図１に示すように、画像検出装置１００は、テンプレート作成部１０と、マスク作成部２０と、検出部３０とを備えている。

テンプレート作成部１０は、対象を検出するためのテンプレートを作成する。マスク作成部２０は、画像の対象を含む領域（以下「対象領域」と表記する。）から抽出された特徴点群の時系列変化に基づいて、テンプレートの一部を遮蔽するマスクを生成する。検出部３０は、マスクによって一部が遮蔽されたテンプレートを用いて、画像から対象を検出する。

このように、本実施の形態では、対象の画像上の特徴点の時系列変化に基づいて、テンプレートの形状が最適化される。このため、本実施の形態によれば、テンプレートマッチングによって対象の検出を行う場合において、対象の変形に対する対応性を向上することができる。

続いて、図２を用いて、本実施の形態における画像検出装置１００の構成についてより具体的に説明する。図２は、本発明の実施の形態における画像検出装置の構成を具体的に示すブロック図である。

図２に示すように、本実施の形態では、画像検出装置１００は、テンプレート作成部１０、マスク作成部２０、及び検出部３０に加えて、データ取得部４０と、対象追跡部５０と、画像選択部６０とを更に備えている。

このうち、データ取得部４０は、外部から画像を取得し、これをテンプレート作成部１０に入力する。具体的には、データ取得部４０は、カメラで撮影された画像の画像データをフレーム毎に取得する。また、データ取得部４０は、検出及び追跡の対象を指定するデータ（以下「対象指定データ」と表記する。）も取得し、対象指定データもテンプレート作成部１０に入力する。指定データは、対象の画像データであっても良いし、対象の特徴量を特定するデータであっても良い。また、指定データは、ユーザが画面上で選択することによって得られたデータであっても良いし、コンピュータが指定するデータであっても良い。

テンプレート作成部１０は、本実施の形態では、未だテンプレートの作成が一度も行われていない場合は、データ取得部４０によって入力された画像データと対象指定データとを用いて、テンプレートを作成する。テンプレートは、対象の画像データ、または対象の画像データを元にしたデータで構成されている。なお、対象の画像データを元にしたデータとしては、画像データを輝度又は色差に変換して得られたデータ、画像データのヒストグラム等が挙げられる。

また、テンプレート作成部１０は、後述する画像選択部６０によって画像が選択されると、選択された画像を用いて新たなテンプレートを学習し、テンプレートを更新する。つまり、テンプレート作成部１０は、テンプレートの学習を行うテンプレート学習部としても機能している。

対象追跡部５０は、画像の対象を含む領域（対象領域）から抽出された特徴点のうち、作成されたマスクに重なる領域から抽出される特徴点以外の特徴点を用いて、対象を追跡する。つまり、対象追跡部５０は、前回のフレームの対象領域のうちマスク以外の領域から抽出された特徴点群と現在のフレームの特徴点群との照合処理を行うことによって、対象を追跡する。

マスク作成部２０は、本実施の形態では、対象追跡部５０によって抽出された特徴点を用い、特徴点の時系列変化として、特徴点の移動方向、即ち、前回のフレームと現在のフレームとの間における特徴点の位置の変化の方向を特定する。

また、マスク作成部２０は、本実施の形態では、特定した特徴点の移動方向のうち、支配的な方向を特定し、テンプレートにおける、移動方向が支配的な方向ではない特徴点を含む領域を遮蔽して、マスクを生成する。更に、マスク作成部２０は、テンプレートにおける、特徴点が存在していない領域も遮蔽して、マスクを生成しても良い。また、最も多い移動方向の特徴点の数が全特徴点の半分を超える場合に、この最も多い移動方向が支配的な方向となる。

また、マスク作成部２０は、テンプレートにおける、前回のフレームからの移動方向が支配的な方向ではない特徴点を含む領域において、移動した方向が支配的な方向である特徴点の個数又は割合が一定以下であり、且つ、その状態が設定期間継続した場合に、当該領域を遮蔽しても良い。また、マスク作成部２０は、フレーム毎にマスクを作成するので、マスクはフレーム毎に更新されることになる。

検出部３０は、マスク作成部２０によって作成されたマスクによって一部が遮蔽されたテンプレートを用いて、データ取得部４０によって取得された画像データから対象を検出する。この場合、対象の検出は、画像データ上の特徴点をテンプレート上の特徴点に照合させるテンプレートマッチングによって行われても良いし、テンプレートをスライドさせながら明度及び模様を比較するスライディングウィンドウ法によって行なわれても良い。

画像選択部６０は、対象追跡部５０による対象の追跡の結果得られた領域の画像、及び検出部３０によって検出された対象の画像、それぞれについて、テンプレートとの類似度を算出する。また、この類似度の計算においては、テンプレートに対して、作成又は更新されたマスクが用いられる。そして、画像選択部６０は、類似度に基づいて、類似度の計算の対象になった画像のうち、いずれかを選択する。

具体的には、画像選択部６０は、類似度の計算の対象になった画像のうち、例えば、類似度の高い画像を選択しても良い。また、画像選択部６０は、類似度に加え、各画像の位置情報も用いて、テンプレートの更新が適切となるように総合的に判断して、いずれかの画像を選択しても良い。

画像選択部６０による画像の選択が行われると、上述したように、テンプレート作成部１０は、選択された画像を用いてテンプレートを更新する。また、画像選択部６０は、選択した画像の画像データを、追跡している対象の画像データとして外部に出力する。
［装置動作］
次に、本実施の形態における画像検出装置１００の動作について図３を用いて説明する。図３は、本発明の実施の形態における画像検出装置の動作を示すフロー図である。以下の説明においては、適宜図１及び図２を参酌する。また、本実施の形態では、画像検出装置１００を動作させることによって、画像検出方法が実施される。よって、本実施の形態における画像検出方法の説明は、以下の画像検出装置１００の動作説明に代える。

最初に、図３に示すように、データ取得部４０は、検出及び追跡の対象指定する対象指定データを取得する（ステップＡ１）。続いて、データ取得部４０は、カメラで撮影された画像の画像データを取得する（ステップＡ２）。また、画像データは１フレーム毎に送られてくるので、ステップＡ２では、データ取得部４０は、１フレーム分の画像データを取得する。

次に、テンプレート作成部１０は、未だテンプレートの作成が一度も行われていない場合は、ステップＡ２で取得された画像データと、ステップＡ１で取得された対象指定データとを用いて、テンプレートを作成する（ステップＡ３）。

また、既にテンプレートが作成されており、前回のフレームに対して後述のステップＡ８が実行されている場合は、テンプレート作成部１０は、新たなテンプレートとすべき画像を学習し、テンプレートを更新する。

なお、実際には、テンプレートは複数作成されていても良い。この場合において、前回のフレームに対して後述のステップＡ８が実行されると、テンプレート作成部１０は、新たにテンプレートとして追加すべき画像を学習し、テンプレート群を更新する。

次に、対象追跡部５０は、画像上の対象領域を特定し、特定した対象領域から抽出された特徴点を用いて、対象を追跡する（ステップＡ４）。また、前回のフレームに対してマスクが作成されている場合は、対象追跡部５０は、作成されたマスクに重なる領域から抽出される特徴点を除いて、対象を追跡する。

次に、マスク作成部２０は、テンプレートの一部を遮蔽するマスクが未だ作成されていない場合は、ステップＡ４で特定された対象領域上の特徴点の時系列変化、例えば、特徴点の移動方向を特定し、特定した時系列変化に基づいて、マスクを作成する（ステップＡ５）。また、既にマスクが作成されている場合も、マスク作成部２０は、マスクの作成を行い、既存のマスクを更新する。なお、ステップＡ４及びＡ５については更に具体的に後述する。

次に、検出部３０は、ステップＡ５で作成されたマスクによって一部が遮蔽されたテンプレートを用いて、ステップＡ２で取得された画像データから対象を検出する（ステップＡ６）。

次に、画像選択部６０は、ステップＡ４で特定された対象領域、及びステップＡ６で検出された対象の画像、それぞれについて、ステップＡ３で作成又は更新されたテンプレートとの類似度を算出する（ステップＡ７）。

次に、画像選択部６０は、算出した類似度に基づいて、対象領域の画像及び検出された対象の画像のうち、いずれかの画像を選択する（ステップＡ８）。また、画像選択部６０は、選択した画像の画像データを、追跡している対象の画像データとして外部に出力する。

次に、データ取得部４０は、画像検出装置１００での処理について終了が指示されているかどうかを判定する（ステップＡ９）。ステップＡ９の判定の結果、終了が指示されている場合は、画像検出装置１００における処理は終了する。

一方、ステップＡ９の判定の結果、終了が指示されていない場合は、データ取得部４０は、再度ステップＡ２を実行し、新しいフレームの画像データを取得する。これにより、新しいフレームについて、更に、ステップＡ３〜Ａ９の処理が実行される。

ここで、図３に示した、追跡処理（ステップＡ４）とマスクの作成又は更新処理（ステップＡ５）とについて、図４〜図８を用いて更に具体的に説明する。図４は、図３に示した追跡処理とマスクの作成又は更新処理とを具体的に示すフロー図である。図５は、図４に示すステップＢ１を説明する図である。図６は、図４に示すステップＢ２及びＢ３を説明する図である。図７は、図４に示すステップＢ４を説明する図である。図８は、図４に示すステップＢ５からＢ８を説明する図である。また、図８ＡはステップＢ５又はＢ６の結果を示し、図８ＢはステップＢ７の結果を示し、図８ＣはステップＢ８の結果を示している。

図４に示すように、最初に、対象追跡部５０は、前回のフレームについてのステップＡ４で特定された対象領域を取得し、取得した対象領域から特徴点を抽出する（ステップＢ１）。

具体的には、図５に示すように、対象追跡部５０は、前回のフレームの対象領域７０を網目状に分割（ａ×ｂ）して、小領域７１を作成する。そして、対象追跡部５０は、小領域７１の中心を特徴点７２として抽出する。また、既にマスクが生成されている場合は、対象追跡部５０は、マスクを前回のフレームの対象領域７０に重ね、マスクに重なる領域の特徴点を除いて特徴点７２を抽出する。なお、対象追跡部５０は、対象領域の画素の変化等に基づいて、小領域７１に囚われずに特徴点を抽出しても良い。

次に、対象追跡部５０は、現在のフレームの画像データにおいて、前回のフレームで抽出された特徴点に対応する特徴点を特定する（ステップＢ２）。具体的には、図６に示すように、対象追跡部５０は、現在のフレームの画像データ８０から、図５に示した特徴点７２に対応する特徴点を対応点８１として抽出する。

次に、対象追跡部５０は、対応点の分布に基づいて、現在のフレームにおける対象領域８２の位置及び大きさを決定して、現在のフレームにおける対象領域８２を特定する（ステップＢ３）。これにより、対象が追跡されることになる。具体的には、図６に示すように、マスク作成部２０は、対応点８１が分布している領域を囲む矩形を設定し、これを現在のフレームにおける対象領域８２として特定する。以上のステップＢ１〜Ｂ３が、図３に示したステップＡ４に相当する。

次に、マスク作成部２０は、各対応点の移動方向を求め、最も多い移動方向を決定する（ステップＢ４）。具体的には、図７に示すように、マスク作成部２０は、前回のフレームの特徴点７２の位置と、各対応点８１の位置とを比較して、位置の変化の方向を特定し、これを対応点の移動方向とする。

次に、マスク作成部２０は、最も多い移動方向が全体の半分以下であるかどうかを判定する（ステップＢ５）。ステップＢ５の判定の結果、最も多い移動方向が全体の半分以下ではない場合は、図７に示すように、マスク作成部２０は、最も多い移動方向を支配的な方向とし、対象領域８２を網目状に分割（ｉ×ｊ）して小領域８３を作成する。そして、マスク作成部２０は、支配的な方向の対応点についてのみ小領域８３毎に個数を計測し、計測値を正規化する（ステップＢ６）。結果は、例えば、図８Ａに示すようになる。

一方、ステップＢ５の判定の結果、最も多い移動方向が全体の半分以下である場合は、マスク作成部２０は、全ての対応点について、小領域８３毎に個数を計測し、計測値を正規化する（ステップＢ７）。結果は、図８Ａに示す通りである。

次に、ステップＢ５又はＢ６の実行後、マスク作成部２０は、図８Ｂに示すように、正規化値が０．０の小領域８３を遮蔽対象に決定する（ステップＢ８）。また、正規化値が０．０の小領域は、移動方向が支配的な方向である特徴点がない小領域、又は対応点が全く存在しない小領域のいずれかである。

次に、マスク作成部２０は、図８Ｃに示すように、正規化値が閾値以下の状態が設定期間継続した小領域も遮蔽対象に決定する（ステップＢ９）。具体的には、図８Ｃの例では、閾値は０．４に設定されている。そして、（ｉ，ｊ）＝（３，４）、（４，４）の小領域では、正規化値が０．４以下の状態が、設定回数分のフレームにおいて継続しているので、この小領域は遮蔽対象に決定されている。一方、（ｉ，ｊ）＝（１，３）について値は０．４であるが、設定期間において閾値以下が連続してはいないため、遮蔽対象とはされていない。

次に、マスク作成部２０は、遮蔽されていない小領域が一定数以上であるかどうかを判定する（ステップＢ１０）。ステップＢ１０の判定の結果、遮蔽されていない小領域が一定数以上ある場合は、マスク作成部２０は、遮蔽対象に決定された小領域と対象領域８２の外側の領域とを遮蔽するマスクを作成する（ステップＢ１１）。また、この後の、ステップＡ６とＡ８では、ステップＡ３で作成又は更新されたテンプレートに、ステップＢ１１で作成されたマスクが重ね合わされる。

一方、ステップＢ１０の判定の結果、遮蔽されていない小領域が一定数以上でない場合は、マスク作成部２０はマスクを作成せずに、ステップＡ５を終了する。この場合は、ステップＡ６では、ステップＡ３で作成又は更新されたテンプレートがそのまま用いられる。
［実施の形態における効果］
このように、ステップＡ１〜Ａ９、及びステップＢ１〜Ｂ１１が実行されると、検出及び追跡の対象の特徴点の時系列変化に基づいて、マスクの作成及び更新が行われる。また、テンプレートの形状は、更新の際、マスクによって最適化される。このため、本実施の形態によれば、対象の変形に対する対応性を高めつつ、誤追跡の抑制も図られることになる。また、ステップＢ１〜Ｂ９で述べたように、対象の追跡とマスクの生成とが連続して行われるので、マスク作成による処理負担の増加が抑制される。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図３に示すステップＡ１〜Ａ９、図４に示すステップＢ１〜Ｂ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像検出装置１００と画像検出方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、テンプレート作成部１０、マスク作成部２０、検出部３０、データ取得部４０、対象追跡部５０、及び画像選択部６０として機能し、処理を行なう。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、テンプレート作成部１０、マスク作成部２０、検出部３０、データ取得部４０、対象追跡部５０、及び画像選択部６０のいずれかとして機能しても良い。

ここで、本実施の形態におけるプログラムを実行することによって、画像検出装置１００を実現するコンピュータについて図９を用いて説明する。図９は、本発明の実施の形態における画像検出装置１００を実現するコンピュータの一例を示すブロック図である。

図９に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

なお、本実施の形態における画像検出装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像検出装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

上記の実施形態及び実施例の一部又は全部は、以下の付記のようにも記載しうるが、以下には限定されない。

（付記１）
対象を検出するためのテンプレートを作成する、テンプレート作成手段と、
入力された画像の前記対象を含む領域から抽出された特徴点の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成する、マスク作成手段と、
前記マスクによって一部が遮蔽された前記テンプレートを用いて、前記画像から前記対象を検出する、検出手段と、
を備えていることを特徴とする画像検出装置。

（付記２）
前記マスク作成手段は、前記時系列変化として、複数の前記特徴点の移動方向を特定し、特定した移動方向に基づいて、前記マスクを生成する、
付記１に記載の画像検出装置。

（付記３）
前記マスク作成手段は、特定した特徴点の移動方向のうち、支配的な方向を特定し、移動した方向が前記支配的な方向ではない特徴点を含む領域を遮蔽して、前記マスクを生成する、付記２に記載の画像検出装置。

（付記４）
前記マスク作成手段は、更に、前記特徴点が存在していない領域を遮蔽して、前記マスクを生成する、
付記３に記載の画像検出装置。

（付記５）
前記マスク作成手段は、移動した方向が前記支配的な方向ではない特徴点を含む領域において、移動した方向が前記支配的な方向である特徴点の個数又は割合が一定以下である状態が設定期間継続した場合に、当該領域を遮蔽する、
付記３または４に記載の画像検出装置。

（付記６）
前記画像の前記対象を含む領域から抽出された前記特徴点のうち、前記マスクに重なる領域から抽出される特徴点以外の特徴点を用いて、前記対象を追跡する、対象追跡手段と、
前記対象追跡手段による前記対象の追跡に用いられた特徴点が抽出された領域の画像及び検出された前記対象の画像それぞれについて、前記テンプレートとの類似度を算出し、算出した前記類似度に基づいて、いずれかの画像を選択する、画像選択手段と、
を更に備え、
前記テンプレート作成手段は、選択された画像を用いて前記テンプレートを更新する、
付記１から５のいずれか１項に記載の画像検出装置。

（付記７）
対象を検出するためのテンプレートを作成し、
入力された画像の前記対象を含む領域から抽出された特徴点の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成し、
前記マスクによって一部が遮蔽された前記テンプレートを用いて、前記画像から前記対象を検出する、
ことを特徴とする画像検出方法。

（付記８）
前記時系列変化として、複数の前記特徴点の移動方向を特定し、特定した移動方向に基づいて、前記マスクを生成する、
付記７に記載の画像検出方法。

（付記９）
特定した特徴点の移動方向のうち、支配的な方向を特定し、移動した方向が前記支配的な方向ではない特徴点を含む領域を遮蔽して、前記マスクを生成する、付記８に記載の画像検出方法。

（付記１０）
更に、前記特徴点が存在していない領域を遮蔽して、前記マスクを生成する、
付記９に記載の画像検出方法。

（付記１１）
移動した方向が前記支配的な方向ではない特徴点を含む領域において、移動した方向が前記支配的な方向である特徴点の個数又は割合が一定以下である状態が設定期間継続した場合に、当該領域を遮蔽する、
付記９または１０に記載の画像検出方法。

（付記１２）
前記画像の前記対象を含む領域から抽出された前記特徴点のうち、前記マスクに重なる領域から抽出される特徴点以外の特徴点を用いて、前記対象を追跡し、
前記対象の追跡に用いられた特徴点が抽出された領域の画像及び検出された前記対象の画像それぞれについて、前記テンプレートとの類似度を算出し、算出した前記類似度に基づいて、いずれかの画像を選択し、
選択された画像を用いて前記テンプレートを更新する、
付記７から１１のいずれか１項に記載の画像検出方法。

（付記１３）
コンピュータに、
対象を検出するためのテンプレートを作成する、テンプレート作成処理と、
入力された画像の前記対象を含む領域から抽出された特徴点の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成する、マスク作成処理と、
前記マスクによって一部が遮蔽された前記テンプレートを用いて、前記画像から前記対象を検出する、検出処理と、
を実行させるプログラムを記憶する記憶媒体。

（付記１４）
前記マスク作成処理は、前記時系列変化として、複数の前記特徴点の移動方向を特定し、特定した移動方向に基づいて、前記マスクを生成する、
付記１３に記載の記憶媒体。

（付記１５）
前記マスク作成処理は、特定した特徴点の移動方向のうち、支配的な方向を特定し、移動した方向が前記支配的な方向ではない特徴点を含む領域を遮蔽して、前記マスクを生成する、付記１４に記載の記憶媒体。

（付記１６）
前記マスク作成処理は、更に、前記特徴点が存在していない領域を遮蔽して、前記マスクを生成する、
付記１５に記載の記憶媒体。

（付記１７）
前記マスク作成処理は、移動した方向が前記支配的な方向である特徴点を含む領域において、移動した方向が前記支配的な方向ではない特徴点の個数又は割合が一定以下である状態が設定期間継続した場合に、当該領域を遮蔽する、
付記１５または１６に記載の記憶媒体。

（付記１８）
前記プログラムは、前記コンピュータに、
前記画像の前記対象を含む領域から抽出された前記特徴点のうち、前記マスクに重なる領域から抽出される特徴点以外の特徴点を用いて、前記対象を追跡する、対象追跡処理と、
前記対象追跡処理による前記対象の追跡に用いられた特徴点が抽出された領域の画像及び検出された前記対象の画像それぞれについて、前記テンプレートとの類似度を算出し、算出した前記類似度に基づいて、いずれかの画像を選択する、画像選択処理と、
を更に実行させ、
前記テンプレート作成処理は、選択された画像を用いて前記テンプレートを更新する、
付記１３から１７のいずれか１項に記載の記憶媒体。

この出願は、２０１６年３月３１日に出願された日本出願特願２０１６−０７２４１２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

以上のように、本発明によれば、映像上の対象の検出を行う場合において、テンプレートの形状の最適化を、動的なマスクを活用することにより行い、対象の変形に対する対応性を向上することができる。また、本発明では、対象が一時的に遮蔽された場合であっても、その影響を抑制することができる。本発明は、特に、監視システム、デジタルカメラ、移動体に搭載されるカメラ等に有用である。

１０ テンプレート作成部
２０ マスク作成部
３０ 検出部
４０ データ取得部
５０ 対象追跡部
６０ 画像選択部
７０ 前回のフレームの対象領域
７１ 小領域
７２ 特徴点
８０ 現在のフレームの画像データ
８１ 対応点
８２ 現在のフレームの対象領域
８３ 小領域
１００ 画像検出装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (10)

1. 対象を検出するためのテンプレートを作成する、テンプレート作成手段と、
   入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成するマスク作成手段と、
   前記マスクによって一部が遮蔽された前記テンプレートを生成する生成手段と、
   を備える画像処理装置。
2. 前記マスク作成手段は、前記時系列変化として、前記領域から抽出された複数の特徴点の移動方向を特定し、特定した移動方向に基づいて、前記マスクを生成する、
   請求項１に記載の画像処理装置。
3. 前記マスク作成手段は、特定した特徴点の移動方向のうち、支配的な方向を特定し、移動した方向が前記支配的な方向ではない特徴点を含む領域を遮蔽して、前記マスクを生成する、請求項２に記載の画像処理装置。
4. 前記マスク作成手段は、更に、前記特徴点が存在していない領域を遮蔽して、前記マスクを生成する、
   請求項３に記載の画像処理装置。
5. 前記マスク作成手段は、移動した方向が前記支配的な方向ではない特徴点を含む領域において、移動した方向が前記支配的な方向である特徴点の個数又は割合が一定以下である状態が設定期間継続した場合に、当該領域を遮蔽する、
   請求項３または４に記載の画像処理装置。
6. 前記画像の前記対象を含む領域から抽出された特徴点のうち、前記マスクに重なる領域から抽出される特徴点以外の特徴点を用いて、前記対象を追跡する、対象追跡手段と、
   前記対象追跡手段による前記対象の追跡に用いられた特徴点が抽出された領域の画像及び検出された前記対象の画像それぞれについて、前記テンプレートとの類似度を算出し、
   算出した前記類似度に基づいて、いずれかの画像を選択する、画像選択手段と、
   を更に備え、
   前記テンプレート作成手段は、選択された画像を用いて前記テンプレートを更新する、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 対象を検出するためのテンプレートを作成し、
   入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成し、
   前記マスクによって一部が遮蔽された前記テンプレートを生成する、
   ことを特徴とする画像処理方法。
8. 前記時系列変化として、前記領域から抽出された複数の特徴点の移動方向を特定し、特定した移動方向に基づいて、前記マスクを生成する、
   請求項７に記載の画像処理方法。
9. 特定した特徴点の移動方向のうち、支配的な方向を特定し、移動した方向が前記支配的な方向ではない特徴点を含む領域を遮蔽して、前記マスクを生成する、請求項８に記載の画像処理方法。
10. コンピュータに、
    対象を検出するためのテンプレートを作成するテンプレート作成処理と、
    入力された画像の前記対象を含む領域の時系列変化に基づいて、前記テンプレートの一部を遮蔽するマスクを生成するマスク作成処理と、
    前記マスクによって一部が遮蔽された前記テンプレートを生成する生成処理と、
    を実行させるプログラム。

Images