JP2020126383A - 動体検出装置、動体検出方法、動体検出プログラム - Google Patents

Abstract

【課題】画像データを用いた動体の追跡で、画像フレーム内の画像から色彩や形状等の外観的に際立った特徴が少ない目標とする動体の検出において、目標とする動体の画像と背景画像の重なりが大きく、かつ、互いの色彩が同じもしくは近しいなどの場合には目標とする動体の検出が困難であるとの課題を解決する。【解決手段】目標とする動体のテンプレート画像と目標の候補位置の周辺の背景画像を重ね合わせた合成画像を生成し、合成画像と目標の候補位置の周辺の画像とを対比して算出した一致度に基づいて動体を検出する。【選択図】図１

Description

本発明は、動体検出装置、動体検出方法、動体検出プログラムに関するものである。

従来、撮像された画像データを用いて動体を追跡する装置が知られている。これらの装置では、色彩や形状等の外観的な特徴に着目して目標とする動体を検出して追跡するもの（特許文献１など）が多いが、特許文献２には、目標とする動体に外観的な際立った特徴が少なく、また、画像フレーム内の画像に目標とする動体と同様の画像が複数存在するような場合であっても、高精度に動体を追跡する装置が記載されている。この発明は、色彩や形状等の外観的に際立った特徴が少ない動体（例えば、野球、卓球等のボールなど）は外観的特徴に頼ることでの追跡が難しいとの課題を解決したものである。

国際公表第２０１２／１２７６１８号公報 特許第６４１２９９８号公報

しかしながら、色彩や形状等の外観的に際立った特徴が少ない動体の画像からの検出おいては、次に述べるさらなる課題がある。

すなわち、目標とする動体を画像から検出する際に、目標とする動体の画像と背景画像の重なりが大きく、かつ、互いの色彩が同じもしくは近しい場合には目標とする動体の検出が困難であるとの課題がある。例えば、野球や卓球などの球技での画像から目標とする動体である白いボールを検出する場合において、白いボール（目標とする動体の画像）と白いライン（背景画像）の重なりが大きい場合など、白いボールは色彩や形状等の外観的に際立った特徴が少ないことから正しく検出することが難しい。

前述のような場合に、目標とする動体を検出できずに見失ってしまうことで、高精度に動体を追跡することができなくなる。

本発明は、画像データを用いた動体の追跡で、画像フレーム内の画像から色彩や形状等の外観的に際立った特徴が少ない目標とする動体の検出における前述の課題を解決しようとするものである。

本発明に係る動体検出装置は、画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出する動体検出装置であって、前記画像フレーム内での目標とする動体の候補位置を一ないし複数予測する候補位置予測部と、目標とする動体のテンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する合成画像生成部と、前記合成画像と前記候補位置の周辺の画像とを対比して一致度を算出する一致度算出部、前記一致度に基づいて前記画像フレーム内の画像から目標とする動体を検出する動体検出部と、を備えることを特徴とする。

本発明に係る動体検出装置は、画像フレーム内の画像からテンプレート画像を一ないし複数生成してテンプレート画像のもととなった物体の位置の情報とともに保持するテンプレート画像生成部をさらに備えることができる。

本発明に係る動体検出装置では、合成画像生成部は、画像フレーム内での目標とする動体の候補位置とテンプレート画像のもととなった物体の位置の情報から算出される適切な大きさにテンプレート画像を拡大または縮小してから候補位置の周辺の背景画像を重ね合わせた合成画像を生成することができる。

本発明に係る動体検出装置では、合成画像生成部は、テンプレート画像のもととなった物体の位置が候補位置から最も近いテンプレート画像と候補位置の周辺の背景画像を重ね合わせた合成画像を生成することができる。

本発明に係る動体検出方法は、画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出する動体検出方法であって、前記画像フレーム内での目標とする動体の候補位置を一ないし複数予測する候補位置予測ステップと、目標とする動体のテンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する合成画像生成ステップと、前記合成画像と前記候補位置の周辺の画像とを対比して一致度を算出する一致度算出ステップと、前記一致度に基づいて前記画像フレーム内の画像から目標とする動体を検出する動体検出ステップと、を備えることを特徴とする。

本発明に係る動体検出プログラムは、画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出するようにコンピュータを機能させる動体検出プログラムであって、前記画像フレーム内での目標とする動体の候補位置を一ないし複数予測する候補位置予測ステップと、目標とする動体のテンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する合成画像生成ステップと、前記合成画像と前記候補位置の周辺の画像とを対比して一致度を算出する一致度算出ステップと、前記一致度に基づいて前記画像フレーム内の画像から目標とする動体を検出する動体検出ステップと、をコンピュータに実行させることを特徴とする。

以上のように本発明によれば、前述の課題を解決しつつ、画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出することができる。

動体検出装置のブロック図である。 動体検出装置のハードウェア構成図である。 テンプレート画像生成部の動作によるテンプレート画像の生成を模式的に示した図である。 目的とする画像フレームにおける画像の例を模式的に示した図である。 目的とする画像フレームにおける画像の例を模式的に示した図である。 動体検出装置の動作を示すフローチャートである。 候補位置予測部が行う処理を模式的に示した図である。 合成画像生成部が行う処理を模式的に示した図である。 テンプレート画像と加工テンプレート画像の関係を示す図である。 一致度算出部が行う処理を模式的に示した図である。

本発明の実施形態について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。

本実施形態に係る動体検出装置は、画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出する動体検出装置である。本実施形態に係る動体検出装置は、例えば、野球、卓球等の球技においてボールの動きを追跡するような、定められたフィールド内において運動法則に従って運動する色彩や形状等の外観的に際立った特徴が少ない動体を高精度に追跡する装置における目標とする動体の検出に好適に採用されるものである。これは例示であって、球技のみに適用を限るものではない。

図１は、動体検出装置１のブロック図である。動体検出装置１は、単独で装置として構成される形態のみならず、画像データを用いた動体追跡装置など他の装置に組み込まれて使用される形態であってもよい。動体検出装置１を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であってもよい。動体検出装置１は、図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。

動体検出装置１の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に
画像フレーム内の画像から目標とする動体を検出するようにコンピュータを機能させるプログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。

図１に示すように、動体検出装置１は、候補位置予測部１０１、合成画像生成部１０２、一致度算出部１０３、動体検出部１０４、及び、テンプレート画像生成部１０５を備えている。動体検出装置１には、外部から入力として、カメラ等によって撮像された複数の画像又は動画を連続する画像フレームとして与えられる。また、動体検出装置１は、外部への出力として、画像フレームにおいて目標として検出した動体を特定するための情報として目標として検出した動体の画像フレームでの座標を出力する。なお、出力情報は、画像フレームにおいて目標として検出した動体を特定できる情報であればよいので、座標のみに限るものではない。

ここで、連続する画像フレームとは、２つの画像フレームの間に別の画像フレームが存在しない状態であって、必ずしも画像フレーム番号が連続である必要はない。例えば、２つの画像フレームが連続であっても、もともと間に存在した画像フレームがコマ落とし処理されたために画像フレーム番号が連続でない場合などがある。また、連続する画像フレームとは、時刻が前の連続する画像フレームであっても、時刻が後の連続する画像フレームであってもよい。時間の流れに沿っての動体追跡を行う場合には時刻が前の連続する画像フレーム、時間の流れを遡っての動体追跡を行う場合には時刻が後の連続する画像フレームとなる。

候補位置予測部１０１は、画像フレーム内での目標とする動体の候補位置を一ないし複数予測する。候補位置予測部１０１は、目標とする動体の候補位置を予測する画像フレーム（以下、目的とする画像フレーム）に連続する一ないし複数の画像フレームの情報から、目的とする画像フレーム内での目標とする動体の候補位置を一ないし複数予測する。

合成画像生成部１０２は、検出する目標である動体の画像（以下、テンプレート画像）と候補位置予測部１０１が予測した候補位置の周辺の背景画像を重ね合わせた合成画像を生成する。目標とする動体のテンプレート画像は、本実施形態ではテンプレート画像生成部１０５によって生成されるが、本発明においては外部からの入力によってもよいし、あらかじめ動体検出装置１に与えられていることでもよい。背景画像とは、目標とする動体が映り込んでいない背景のみの画像である。背景画像は、目的とする画像フレームに連続する一ないし複数の画像フレームから生成してもよいし、あらかじめ動体検出装置１に与えられていてもよい。周辺とは、候補位置予測部１０１が予測した候補位置を中心とした定められた範囲であって、一致度算出部１０３において一致度を算出することができる程度の範囲をいう。

一致度算出部１０３は、合成画像生成部１０２が生成した合成画像と候補位置予測部１０１が予測した候補位置の周辺の画像とを対比して一致度を算出する。ここで、周辺の画像とは、周辺の背景画像とは異なり、周辺に目標とする動体が存在する場合にはそれも含む候補位置の周辺の画像である。一致度とは、合成画像生成部１０２が生成した合成画像と候補位置予測部１０１が予測した候補位置の周辺の画像について両者の画素の誤差や相関係数などから定量的に求められる一致の程度である。一致度が求められれば算出の方法は問わない。例えば、各画素値の２乗誤差を合計した値を比較するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法、各画素値の誤差の絶対値の和の値を比較するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法、各画素値の相関係数を比較するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法などがある。

動体検出部１０４は、一致度算出部１０３が算出した一致度に基づいて目的とする画像フレーム内の画像から目標とする動体を検出する。目標とする動体をひとつ検出するのであれば、一致度に基づいて最も一致していると判定される動体を目標として検出する。目標とする動体を複数検出するのであれば、例えば、一致度に基づいて最も一致していると判定されるものから順に一定数を目標として抽出する方法、一致度に基づいて一定の条件を満たさない候補を抽出する目標から除外する方法などがある。

テンプレート画像生成部１０５は、画像フレーム内の画像からテンプレート画像を一ないし複数生成して保持する。図３は、テンプレート画像生成部１０５の動作によるテンプレート画像の生成を模式的に示した図である。動体検出装置１に入力された画像フレームからテンプレート画像の生成に使用する画像フレーム３１を選択する。画像フレーム３１の選択は、目標とする動体の画像が鮮明である画像フレームとの条件の他、目標とする動体が背景との関係において見失いやすい画像フレーム、日光や照明の当たり具合によって目標とする動体の明度が異なる画像フレームなどの条件による。画像フレーム３１内の画像から目標とする画像（ここではボールの画像３２）を抽出してテンプレート画像３３を生成する。例えば、コンピュータの画面上に表示された画像フレーム３１内の画像からマウスやタッチペンなどで目標とする画像３２の外縁を指示することで外縁に囲まれた部分の画像をテンプレート画像３３とするなどの方法によってテンプレート画像３３を生成する。

テンプレート画像生成部１０５は、テンプレート画像３３のもととなった目標とする画像３２の位置の情報をあわせて取得してテンプレート画像３３と紐づけて保持する。位置の情報は、あらかじめ定められた画像フレーム内での座標系による。例えば、野球であれば、原点を地面のピッチャーマウンド、Ｘ軸を地面に対して上方に向かって垂直方向、Ｙ軸をピッチャーマウンドからホームベース方向にとる２次元座標系、卓球であれば、原点を卓球台の中心から下した垂線と床面との交点、Ｘ軸を卓球台の長辺方向、Ｙ軸を卓球台の短辺方向、Ｚ軸を卓球台に対して上方に向かって垂直方向にとる３次元座標系をとる。画像フレーム内での位置が特定できればどのような座標系であるかは問わないため、本実施形態の方法に限るものではない。

テンプレート画像生成部１０５は、テンプレート画像３３を一ないし複数生成する。各々のテンプレート画像３３に紐づく位置の情報を保持しているため、テンプレート画像３３を複数生成することで位置による違い（例えば、日なたと日陰における目標とする動体の画像の明度の違いなど）に対応することができる。具体的な方法は後述する。

なお、前述の通り、本発明において、テンプレート画像は外部からの入力によってもよいし、あらかじめ動体検出装置１に与えられていることでもよい。その場合、テンプレート画像生成部１０５は存在しない。

次に、本実施形態に係る動体検出装置１の動作について説明する。なお、説明理解の容易性を考慮して、以下では、球技における白いボールを検出する動体検出装置の動作を例にとって説明する。例えば、野球、卓球等がこれにあたる。

ここで、球技において白いボールを検出する場合の課題についてあらためて説明する。前述の通り、球技での画像において、白いボール（目標とする動体の画像）と白いライン（背景画像）の重なりが大きい場合など、白いボールは色彩や形状等の外観的に際立った特徴が少ないことから検出が難しい。

図４は、目的とする画像フレームにおける画像の例を模式的に示している。図４は、白いボール（目標とする動体の画像）と白いライン（背景画像）の重なりが大きい場合の例である。図４に示す目的とする画像フレームにおける画像では、ボールの中心座標はＰ４０である。破線はボールの外縁を示すものであるが、実際の画像ではボールも背景のラインも同じく白色のため白いボールの外縁を判別はできない。目標の検出手法が目標の形状的な特徴によって検出する手法である場合、目標の予測位置の座標が同じくＰ４０であったとしてもボールの形状を画像から判別できないため目標として検出することができない。

図５は、目的とする画像フレームにおける画像の例（図４とは別の例）を模式的に示している。図５は、白いボールの中心座標はＰ５０であってボールの外縁と白いラインとは重なっていない場合の例である。目標の検出手法が目標の色彩や模様などの特徴によって検出する手法である場合、目標の予測位置の座標がＰ５１をとるとボールも背景のラインも同じく白色のため予測位置の座標であるＰ５１に目標が存在すると誤って検出する。

このように、画像を用いた動体の追跡において、色彩や形状等の外観的に際立った特徴が少ない白いボールは、競技フィールドの白いラインをまたがる際に見失いやすい。動体検出装置１は、以下に説明する動作によってこのような課題を解決する。

図６は、本実施形態に係る動体検出装置１の動作を示すフローチャートである。図６のフローチャートに従って動体検出装置１の動作を説明する。

動体検出装置１は、目的とする画像フレームについての目標とする動体の検出を行うための情報が外部から入力されることによって動作を開始する。動作の開始は、入力後に自動的であっても、明示的な命令によるものであってもよい。

動体検出装置１が動作を開始すると、Ｓ６０１の処理の開始前に、テンプレート画像生成部１０５がテンプレート画像（Ｄ６１１）を生成する。生成の方法は前述の通りである。

Ｓ６０１の処理では、候補位置予測部１０１が、目的とする画像フレームに連続する一ないし複数の画像フレームの情報から、目的とする画像フレーム内での目標とする動体の候補位置を一ないし複数予測する処理を行って、目標とする動体の候補位置の座標を算出する。座標の算出は、前述の通り、あらかじめ定められた画像フレーム内での座標系による。

図７は、Ｓ６０１の処理を模式的に示した図である。図７を参照して、候補位置予測部１０１が、目的とする画像フレームに連続する一ないし複数の画像フレームの情報から、目的とする画像フレーム内での目標とする動体の候補位置を一ないし複数予測する処理について説明する。なお、本願発明においては、予測位置の求め方は本実施形態の求め方に限るものではない。

ｔ０フレームとｔフレームは連続した画像フレームである。Ｐｎ（ｔ０）は、ｔ０フレームでの目標とする動体の候補のｎ番目である。Ｖｎ（ｔ０）は、Ｐｎ（ｔ０）の速度である。Ｑｎ（ｔ）は、ｔフレームでの目標とする動体の予測候補のｎ番目であって、Ｐｎ（ｔ０）を基礎としたｔフレームでの位置として予測される。ｔフレームにおけるＰｎ（ｔ０）の予測位置は、Ｑｎ（ｔ）＝Ｐｎ（ｔ０）＋Ｖｎ（ｔ０）として求められる。

また、ｔフレームにおけるＰｎ（ｔ０）の予測位置Ｑｎ（ｔ）を求めるにあたって、競技による目標とする動体の存在位置についての条件を付加することもできる。例えば、卓球においては予測位置のＺ座標の値Ｑｎ（ｔ）．ｚが卓球台の高さよりも大きな値を取ることを条件とする等である。

Ｓ６０３の処理では、合成画像生成部１０２が、目標とする動体のテンプレート画像（Ｄ６１１）とＳ５０１の処理で予測した候補位置の周辺の背景画像を重ね合わせた合成画像を生成する処理を行う。目標とする動体のテンプレート画像（Ｄ６１１）は、テンプレート画像生成部１０５によってＳ６０３の処理に先立って生成されている。Ｓ５０１の処理で目的とする画像フレーム内での目標とする動体の候補位置を複数予測した場合には、Ｓ５０３の処理はすべての予測候補について行われる（Ｓ６０７）。

図８は、Ｓ６０３の処理を模式的に示した図である。図８を参照して、合成画像生成部１０２が、目標とする動体のテンプレート画像（Ｄ６１１）とＳ６０１の処理で予測した候補位置の周辺の背景画像を重ね合わせた合成画像を生成する処理について説明する。

Ｓ６０３の処理では、まず、合成画像生成部１０２が、目標とする動体のテンプレート画像を取得する。３３は、目標とする動体（白いボール）のテンプレート画像である。ここでテンプレート画像３３におけるボールの半径の値をＲａとする。

Ｓ６０３の処理では、次に、合成画像生成部１０２が、取得した目標とする動体のテンプレート画像３３をＳ６０１の処理で予測した候補位置の周辺の背景画像と合成するために適切な大きさに拡大または縮小する。８１は、Ｓ６０１の処理で予測した候補位置の周辺の背景画像と合成するために適切な大きさに拡大または縮小した目標とする動体のテンプレート画像である。以下、加工テンプレート画像という。ここで加工テンプレート画像８１におけるボールの半径の値をＲｂとする。本実施例において、テンプレート画像３３を適切な大きさに拡大または縮小するとは、テンプレート画像３３を縦横ともにＲｂ／Ｒａ倍して加工テンプレート画像８１を生成することである。

図９は、テンプレート画像３３と加工テンプレート画像８１の関係を示す図である。撮像するカメラ９１の位置からテンプレート画像３３のもととなった物体の位置までの距離をＬａ、撮像するカメラ９１の位置からＳ６０１の処理で予測した候補位置までの距離をＬｂとする。Ｌａ＜ＬｂならばＲａ＞Ｒｂと、Ｌａ＞ＬｂならばＲａ＜Ｒｂとなる。合成画像生成部１０２は、Ｒｂを算出することでテンプレート画像３３から加工テンプレート画像８１を生成する。

Ｒａは、画像フレーム内の画像から求められ、ＬａとＬｂは、撮像するカメラ９１の位置の座標、テンプレート画像３３のもととなった物体の位置の座標及びＳ６０１の処理で予測した候補位置の座標から算出される。カメラ９１の位置から見た物体の見かけの大きさはカメラ９１の位置からの距離に反比例するため、これらの値からＲｂは次の式によって導かれる。
Ｒｂ＝（Ｌａ／Ｌｂ）・Ｒａ

Ｓ６０３の処理では、次に、合成画像生成部１０２が、Ｓ６０１の処理で予測した候補位置の周辺の背景画像を生成する。図８に戻り、８２は、Ｓ６０１の処理で予測した候補位置の周辺の背景画像である。図８では白いラインが表されている。本実施形態において、背景画像は、一辺がＫ・Ｒｂ（Ｋは正の定数、Ｋ＞２Ｒｂ）であって、対角線の交点の座標がＳ６０１の処理で予測した候補位置Ｑｎ（ｔ）となる正方形である。Ｋの値は、一致度算出処理（Ｓ６０５）において一致度を算出することができる程度の範囲となるように設定する。図８は、Ｋ＝６とした例を示している。なお、背景画像の周辺の定義は、一致度算出処理（Ｓ６０５）において一致度を算出することができる程度の範囲となるように設定すればよいため、本実施形態に限るものではない。

Ｓ６０３の処理では、最後に、合成画像生成部１０２が、生成した周辺の背景画像８２の中心（対角線の交点）に目標とする動体の加工テンプレート画像８１の中心が一致するように合成画像８３を生成する。なお、図８における合成画像８３の破線は目標とする動体の加工テンプレート画像８１の外縁を示すものであって、合成画像には表れない。

テンプレート画像生成部１０５が複数のテンプレート画像（Ｄ６１１）を生成している場合には、Ｓ６０３の処理では、合成画像生成部１０２がテンプレート画像（Ｄ６１１）のもととなった目標とする画像の位置が候補位置から最も近いテンプレート画像と候補位置の周辺の背景画像を重ね合わせた合成画像を生成する。これにより、テンプレート画像の位置による違い（例えば、日なたと日陰における目標とする動体の画像の明度の違いなど）に対応できる。

Ｓ６０５の処理では、一致度算出部１０３が、Ｓ６０３の処理で生成した合成画像とＳ６０１の処理で予測した候補位置の周辺の画像とを対比して一致度を算出する処理を行う。Ｓ６０１の処理で目的とする画像フレーム内での目標とする動体の候補位置を複数予測した場合には、Ｓ６０５の処理はすべての予測候補について行われる（Ｓ６０７）。

図１０は、Ｓ６０５の処理を模式的に示した図である。図１０を参照して、一致度算出部１０３が、Ｓ６０３の処理で生成した合成画像とＳ６０１の処理で予測した候補位置の周辺の画像とを対比して一致度を算出する処理について説明する。

Ｓ６０５の処理では、一致度算出部１０３が、Ｓ６０１の処理で予測した候補位置の周辺の画像を生成する。１００１は、目的とする画像フレーム（ｔフレーム）である。１００２は、ｔフレーム１００１におけるＳ５０１の処理で予測した候補位置Ｑｎ（ｔ）の周辺の画像である。一致度算出部１０３は、ｔフレーム１００１から一辺がＫＲ（Ｋは正の定数、Ｋ＞２Ｒ）であって、対角線の交点の座標がＳ６０１の処理で予測した候補位置Ｑｎ（ｔ）となる正方形を周辺の画像１００２として生成する。

Ｓ６０５の処理では、次に、一致度算出部１０３が、Ｓ６０３の処理で生成した合成画像８３とＳ６０１の処理で予測した候補位置の周辺の画像１００２とを対比して一致度を算出する。一致度の算出は、各画素値の２乗誤差を合計した値を比較するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）法、各画素値の誤差の絶対値の和の値を比較するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）法、各画素値の相関係数を比較するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）法などによって行う。なお、一致度が求められれば算出の方法は本実施形態の方法に限るものではない。

Ｓ６０１の処理で目的とする画像フレーム内での目標とする動体の候補位置を複数予測した場合には、Ｓ６０３及びＳ６０５の処理はすべての予測候補について行われる。Ｓ６０７はそのための再帰処理である。

Ｓ６０９の処理では、動体検出部１０４が、Ｓ６０５の処理で算出した一致度に基づいて目的とする画像フレーム内の画像から目標とする動体を検出する。目標とする動体をひとつ検出するのであれば、一致度に基づいて最も一致していると判定される動体を目標として検出する。目標とする動体を複数検出するのであれば、一致度に基づいて最も一致していると判定されるものから順に一定数を目標として抽出する、もしくは、一致度に基づいて一定の条件を満たさない候補を抽出する目標から除外する。なお、目標とする動体を複数検出する方法は本実施形態の方法に限るものではない。

動体検出装置１は、目的とする画像フレームについての目標とする動体の検出を行った後、目標として検出した動体を特定するための目的とする画像フレームにおける座標を出力して一連の処理を終了する。なお、出力情報は、目的とする画像フレームについて目標として検出した動体を特定できる情報であればよく、本実施形態に限るものではない。

次に、コンピュータを動体検出装置１として機能させるための動体検出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。

動体検出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、画像処理を統括的に制御する部分である。入出力モジュールは、画像フレーム内の画像データなどの入力情報の取得や、目標として検出した動体を特定するための目的とする画像フレームにおける座標を一連の処理後に出力するようにコンピュータを動作させる。演算処理モジュールは、候補位置予測モジュール、合成画像生成モジュール、一致度算出モジュール及び動体検出モジュールを備える。メインモジュール、入力モジュール及び演算処理モジュールを実行させることにより実現される機能は、動体検出装置１の候補位置予測部１０１、合成画像生成部１０２、一致度算出部１０３、動体検出部１０４及びテンプレート画像生成部１０５の機能とそれぞれ同様である。

動体検出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、動体検出プログラムは、ネットワークを介して提供されてもよい。

以上、本実施形態に係る動体検出装置１では、目標とする動体のテンプレート画像と目標の候補位置の周辺の背景画像を重ね合わせた合成画像を生成し、合成画像と目標の候補位置の周辺の画像とを対比して算出した一致度に基づいて動体を検出することで、画像フレーム内の画像からの色彩や形状等の外観的に際立った特徴が少ない目標とする動体の検出において、目標とする動体の画像と背景画像の重なりが大きく、かつ、互いの色彩が同じもしくは近しいなどの場合では目標とする動体の検出が困難であるとの課題を解決する。

１ 動体検出装置
１０１ 候補位置予測部
１０２ 合成画像生成部
１０３ 一致度算出部
１０４ 動体検出部
１０５ テンプレート画像生成部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３１ テンプレート画像の生成に使用する画像フレーム
３２ 画像フレームからテンプレート画像として抽出する目標の画像
３３ テンプレート画像
８１ 目標とする動体のテンプレート画像
８２ 予測した目標とする動体の候補位置の周辺の背景画像
８３ 目標とする動体のテンプレート画像と候補位置の周辺の背景画像を重ね合わせた合成画像
９１ 撮像するカメラ
１００１ 目的とする画像フレーム
１００２ 予測した目標とする動体の候補位置の周辺の画像

Claims (6)

1. 画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出する動体検出装置であって、
   前記画像フレーム内での目標とする動体の候補位置を一ないし複数予測する候補位置予測部と、
   目標とする動体のテンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する合成画像生成部と、
   前記合成画像と前記候補位置の周辺の画像とを対比して一致度を算出する一致度算出部と、
   前記一致度に基づいて前記画像フレーム内の画像から目標とする動体を検出する動体検出部と、
   を備えることを特徴とする動体検出装置。
2. 前記画像フレーム内の画像から前記テンプレート画像を一ないし複数生成して前記テンプレート画像のもととなった物体の位置の情報とともに保持するテンプレート画像生成部、
   をさらに備えることを特徴とする請求項１に記載の動体検出装置。
3. 前記合成画像生成部は、前記候補位置と前記もととなった物体の位置の情報から算出される適切な大きさに前記テンプレート画像を拡大または縮小してから前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する、
   請求項２に記載の動体検出装置。
4. 前記合成画像生成部は、前記もととなった物体の位置が前記候補位置から最も近い前記テンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する、
   請求項２または請求項３に記載の動体検出装置。
5. 画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出する動体検出方法であって、
   前記画像フレーム内での目標とする動体の候補位置を一ないし複数予測する候補位置予測ステップと、
   目標とする動体のテンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する合成画像生成ステップと、
   前記合成画像と前記候補位置の周辺の画像とを対比して一致度を算出する一致度算出ステップと、
   前記一致度に基づいて前記画像フレーム内の画像から目標とする動体を検出する動体検出ステップと、
   を備えることを特徴とする動体検出方法。
6. 画像データを用いた動体の追跡において画像フレーム内の画像から目標とする動体を検出するようにコンピュータを機能させる動体検出プログラムであって、
   前記画像フレーム内での目標とする動体の候補位置を一ないし複数予測する候補位置予測ステップと、
   目標とする動体のテンプレート画像と前記候補位置の周辺の背景画像を重ね合わせた合成画像を生成する合成画像生成ステップと、
   前記合成画像と前記候補位置の周辺の画像とを対比して一致度を算出する一致度算出ステップと、
   前記一致度に基づいて前記画像フレーム内の画像から目標とする動体を検出する動体検出ステップと、
   をコンピュータに実行させることを特徴とする動体検出プログラム。