JP2014112888A - 移動体追尾装置およびその方法 - Google Patents

Abstract

【課題】追尾精度を向上させること。
【解決手段】互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理部３１ａ〜３１ｃと、各追尾処理部３１ａ〜３１ｃから出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を追尾方式毎に算出する評価部３２と、評価部３２によって算出された追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択部３３とを具備する移動体追尾装置１を提供する。
【選択図】図１

Description

本発明は、移動体を追尾する移動体追尾装置およびその方法に関するものである。

移動体の検出および追尾に用いられる画像処理方法として、例えば、連続的に得られる画像に対して、フレーム間差分や背景差分といった、時間的に連続したフレーム画像間で演算を行う画像処理が知られている。
また、追尾精度の向上を図るために、例えば、指定された目標移動体領域の特徴（輪郭線、温度差等）を抽出し、その特徴パターンを記憶し、時系列で得られる動画像に対して記憶した特長パターンと相関度の高い領域を逐次検索することにより、目標移動体領域を追尾する追尾方法が提案されている（例えば、特許文献１参照）。
また、特許文献２には、例えば、複数の追尾方式で追尾を行い、これら複数の追尾方式によって取得された複数の追尾点のうち、いずれか一の追尾点を選択して出力するマルチモードの追尾方法が開示されている。

特開２００５−３０９７４０号公報 特開２００５−２６０６３３号公報

しかしながら、上記特許文献１、２に開示されているような追尾方法では、一つの撮像装置で得られる画像のみを用いて移動体の追尾を行っているため、例えば、その撮影装置が不得手とするシーン（例えば、可視カメラを用いて追尾している場合の夜間等）では、鮮明な画像を得ることができず、安定した追尾を実現することが難しいという問題があった。

本発明は、上記問題を解決するためになされたもので、追尾精度を向上させることのできる移動体追尾装置およびその方法を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理部と、各前記追尾処理部から出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を前記追尾方式毎に算出する評価部と、前記評価部によって算出された前記追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択部とを具備し、複数の前記追尾処理部は、互いに異なる撮像素子により取得された画像に対して、同じ画像処理または異なる画像処理を行うことにより前記移動体の追尾点をそれぞれ検出し、異なる前記撮像素子は、共通の光学系を用いてそれぞれの画像を取得する移動体追尾装置を提供する。

このような構成によれば、異なる複数の追尾方式によって検出された追尾点のうち、過去所定期間における追尾点のバラツキ度が最小であった追尾方式の追尾点が逐次選択されて出力される。このように、異なる追尾方式を用いて追尾点をそれぞれ求め、これらの追尾点の中から各時刻で最適と推定される追尾点を選択するので、移動体の追尾精度を向上させることが可能となる。
また、過去所定期間における追尾点のバラツキ度が最小の追尾方式を選択することにより、安定した追尾結果を得ることができる。

上記追尾点のバラツキ度は、例えば、移動体の速度標準偏差である。
「互いに異なる追尾方式」とは、例えば、共通の撮像素子によって取得された共通の画像に対して、面積重心追尾方式、ピーク点追尾方式、相関追尾方式等の異なる追尾方式を行う場合のほか、例えば、赤外線カメラ、可視カメラ等のように、異なる撮像素子によって取得された画像に対して、同じ追尾方式、或いは、異なる追尾方式を行う場合であってもよい。要は、撮像素子および画像処理のうち、いずれか一方が他と異なっていればよい。また、撮像素子を異ならせる場合には、光学系（レンズ系）として共通のものを用いることが好ましい。つまり、同一のレンズ系を介して入力された視野情報を赤外イメージセンサや可視イメージセンサ等に分岐入力させることが好ましい。このように、レンズ系（光学系）を共通化することにより、同一視野の画像に基づいて追尾点を検出することが可能となるので、画像間における誤差を解消することが可能となる。
上記過去所定期間とは、例えば、１０フレームから２０フレーム程度の画像が取得される期間に相当する。

上記移動体追尾装置において、各前記追尾方式には、周囲の環境に応じて、重み付け値がそれぞれ設定可能とされており、前記評価部は、前記追尾点のバラツキ度に、前記重み付け値を反映させた評価値を算出し、前記選択部は、前記評価値に基づいて一の前記追尾方式を選択することとしてもよい。

これにより、周囲の環境を考慮した追尾点の選択を行うことが可能となる。

上記移動体追尾装置は、各前記追尾処理部間における追尾点のオフセット量を保有しており、前記選択部から出力された追尾点を前記オフセット量に基づいて補正し、補正後の追尾点を出力する補正部を更に備えることとしてもよい。

これにより、各追尾方式による追尾点のオフセットを解消することが可能となる。

上記移動体追尾装置において、前記オフセット量は、複数の前記追尾方式のうち、追尾精度が最も安定している追尾方式の追尾点を基準として設定されていることとしてもよい。

このように、追尾精度が最も安定している追尾方式の追尾点を基準としてオフセット量を設定しておくことにより、補正部における処理負担を軽減することが可能となる。

上記移動体追尾装置において、前記評価部は、各前記追尾処理部から入力された追尾点の信頼度を算出し、該信頼度が予め設定されている第１閾値よりも低い追尾点を、選択部に先行して、選択の対象から除外することとしてもよい。

信頼度の低い追尾点を予め選択対象から除外してしまうことにより、後続の処理を不要とすることができる。この結果、処理負担の低減を図ることが可能となる。

上記移動体追尾装置において、前記追尾点の信頼度が前記第１閾値よりも低くなった場合は、同時刻に得られた他の追尾方式の追尾点と各前記追尾処理部間における追尾点のオフセット量とから当該追尾方式の仮の追尾点を求め、該仮の追尾点を用いて追尾を継続して行うこととしてもよい。

このように、追尾点の信頼度が第１閾値よりも低くなった場合には、他の追尾方式によって得られた追尾点（例えば、同時刻に選択部によって選択された追尾点）とオフセット量とから当該追尾方式の仮の追尾点を求め、この仮の追尾点に基づいて次点の追尾点の検出を行うので、信頼度が一旦低下してしまった後でも信頼度の回復を図ることが可能となる。

上記移動体追尾装置において、追尾点の信頼度が前記閾値よりも低いと判定された追尾方式については、所定期間、該追尾方式の追尾点を選択の対象から除外することとしてもよい。

このように、追尾点の信頼度が閾値よりも低くなった場合には、当該追尾方式によって検出された追尾点を所定期間にわたって選択の対象から除外する。これにより、選択される可能性の低い追尾点を先行して処理対象から除外することができ、各部の処理を軽減させることが可能となる。

上記移動体追尾装置は、各前記追尾処理部によって追尾された追尾点に基づいて、追尾精度に係る追尾スコアを算出するスコア算出部を更に備え、前記選択部は、前記追尾点のバラツキ度と前記追尾スコアとに基づいて、一の追尾方式を選択することとしてもよい。

このように、追尾点のバラツキ度だけではなく、その他の指標を用意し、これらに基づいて総合的に追尾精度を評価することにより、選択部が好ましくない追尾点を誤って選択してしまうことを防止することが可能となる。これにより、選択部における選択精度を向上させることが可能となる。

上記移動体追尾装置において、前記スコア算出部は、前記追尾スコアが予め設定されている第２閾値よりも低かった場合に、その追尾スコアに該当する前記追尾点を、前記選択部に先行して、選択の対象から除外することとしてもよい。

このように、追尾スコアの低い追尾点を除外することにより、選択部が好ましくない追尾点を誤って選択してしまうことを防止することが可能となる。これにより、追尾精度の更なる向上を図ることが可能となる。

本発明は、互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理工程と、各前記追尾処理工程から出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を前記追尾方式毎に算出する評価工程と、前記評価工程によって算出された前記追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択工程とを含み、複数の前記追尾処理工程の各々は、互いに異なる撮像素子により取得された画像に対して、同じ画像処理または異なる画像処理を行うことにより前記移動体の追尾点をそれぞれ検出し、異なる前記撮像素子は、共通の光学系を用いてそれぞれの画像を取得する移動体追尾方法を提供する。
また、上記本発明の各態様は、可能な範囲で組み合わせて利用することができるものである。

本発明によれば、追尾精度を向上させることができるという効果を奏する。

本発明の第１の実施形態に係る移動体追尾装置の概略構成を示したブロック図である。 図１に示した追尾処理装置によって実行される処理の手順を示したフローチャートである。 本発明の第２の実施形態に係る移動体追尾装置の追尾処理装置によって実行される処理の手順を示したフローチャートである。 本発明の第３の実施形態に係る移動体追尾装置の追尾処理装置の概略構成を示したブロック図である。 各追尾方式における追尾点のオフセットについて説明するための図である。 図４に示した追尾処理装置によって実行される処理の手順を示したフローチャートである。 本発明の第４の実施形態に係る移動体追尾装置の追尾処理装置によって実行される処理の手順を示したフローチャートである。 本発明の第４の実施形態に係る移動体追尾装置の追尾処理装置により実行される処理の変形例を示したフローチャートである。 本発明の第５の実施形態に係る移動体追尾装置の追尾処理装置の概略構成を示した図である。 図９に示したスコア算出部により行われる追尾スコアの算出方法の一例を示した図である。

以下に、本発明に係る移動体追尾装置の一実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本実施形態に係る移動体追尾装置の概略構成を示したブロック図である。
図１に示されるように、本実施形態に係る移動体追尾装置１は、カメラ装置２と追尾処理装置３とを備えている。
カメラ装置２は、追尾対象である移動体を含む視野情報を取り込むレンズ系２１と、レンズ系２１によって取り込まれた視野情報が分岐して入力される第１イメージセンサ２２ａおよび第２イメージセンサ２２ｂを備えている。

第１イメージセンサ２２ａは、例えば、可視カメラ用のイメージセンサであり、レンズ系２１から入力された視野情報に対して所定の画像処理を施すことにより、可視画像を生成し、追尾処理装置３に出力する。第２イメージセンサ２２ｂは、例えば、赤外カメラ用のイメージセンサであり、レンズ系２１から入力された視野情報から赤外画像を生成し、追尾処理装置３に出力する。

このように、カメラ装置２１は、１つのレンズ系２１と、互いに異なる画像処理を施す複数のイメージセンサとを備えている。
また、レンズ系２１を共通とすることで、同一視野の情報を各イメージセンサに供給することが可能となる。これにより、イメージセンサ間の画像ずれを解消することができる。

追尾処理装置３は、カメラ装置２の第１イメージセンサ２２ａから可視画像が入力される第１追尾処理部３１ａおよび第２追尾処理部３１ｂと、第２イメージセンサ２２ｂから赤外画像が入力される第３追尾処理部３１ｃと、第１〜第３追尾処理部３１ａ〜３１ｃによって検出された追尾点が入力される評価部３２と、評価部３２によって算出された追尾点のバラツキ度が入力される選択部３３とを備えている。

第１追尾処理部３１ａおよび第２追尾処理部３１ｂは、互いに異なる追尾方式によりカメラ装置２から入力された可視画像中の移動体の追尾点を検出し、追尾点を評価部３２に出力する。例えば、第１追尾処理部３１ａは相関追尾方式を用いて追尾点を検出し、第２追尾処理部３１ｂは面積重心追尾方式を用いて追尾点を検出する。
第３追尾処理部３１ｃは、カメラ装置２の第２イメージセンサ２２ｂから入力された赤外画像から輝度の高い箇所を追尾点として検出し、この追尾点を評価部３２に出力する。

評価部３２は、第１〜第３追尾処理部３１ａ〜３１ｃから入力される追尾点を各追尾方式と対応付けて蓄積するデータ蓄積部３２１を備えている。評価部３２は、追尾点が入力される度に、その追尾点をデータ蓄積部３２１に蓄積するとともに、該追尾点を含む過去所定期間における追尾点をデータ蓄積部３２１から取得し、過去所定期間における追尾点のバラツキ度を追尾方式毎に算出する。

本実施形態では、評価部３２は、追尾点のバラツキ度として、移動体の速度標準偏差を算出し、この速度標準偏差と最新の追尾点と追尾方式とを互いに対応付けて選択部３３に出力する。評価部３２は、例えば、１０〜２０フレーム間において検出された追尾点を用いて、移動体の速度標準偏差を算出する。この場合、データ蓄積部３２１は、各追尾方式に対して１０〜２０フレーム程度の画像データを蓄積できる適度のメモリ容量を有している。

選択部３３は、追尾点のバラツキ度が最小の追尾方式、つまり、速度標準偏差が最小の追尾方式を選択し、選択した追尾方式に対応付けられている追尾点を出力する。
これにより、選択部３３からは、追尾点のバラツキ度が最小の追尾点が逐次選択されて出力されることとなる。

次に、上述した追尾処理装置３によって実行される処理手順について図２を参照して説明する。
図２に示されるように、第１から第３追尾処理部３１ａ〜３１ｃにカメラ装置２から可視画像、赤外画像等の画像データがそれぞれ入力されると、第１〜第３追尾処理部３１ａ〜３１ｃにおいて、入力画像内における追尾対象領域抽出処理がそれぞれ実行され（ステップＳＡ１）、抽出された追尾対象領域内において追尾点が算出される（ステップＳＡ２）。なお、追尾点の求め方については、公知の手法であるので、詳細な説明を省略する。また、このような追尾点の算出については、略同時進行で行われる。

このようにして、各追尾方式による追尾点が検出されると、この追尾点（追尾点座標）が評価部３２に出力される。評価部３２は、この追尾点を追尾方式と対応付けてデータ蓄積部３２１に蓄積するとともに（ステップＳＡ３）、データ蓄積部３２１に蓄積されている過去所定期間における追尾点データを用いて追尾点のバラツキ度、例えば、速度標準偏差をそれぞれ算出する（ステップＳＡ４）。評価部３２は、各追尾方式の速度標準偏差を算出すると、これらを選択部３３に出力する。選択部３３では、速度標準偏差が最小の追尾方式を選択し（ステップＳＡ５）、この追尾方式の追尾点を出力する。

このような移動体追尾装置１によれば、例えば、夜間等のように、可視カメラの追尾精度よりも赤外カメラの追尾精度の方が高いシーンでは、第３追尾処理部３１ｃの追尾点のバラツキ度が最小となる可能性が高いことから、第３追尾処理部３１ｃによる追尾点が選択部３３により選択され、昼間のように周囲が明るく、移動体の輪郭が明確に捉えられるようなシーンにおいては、第１または第２追尾処理部３１ａ，３１ｂによる追尾点が選択部３３により選択されることとなる。

このように、本実施形態に係る移動体追尾装置１によれば、その時々で最適な追尾点を逐次選択することが可能となるので、移動体の追尾精度の向上を図ることが可能となる。更に、同じレンズ系２１を介して入力された視野情報から可視画像、赤外画像を作成するので、第１および第２イメージセンサ２２ａ，２２ｂには、同一のレンズ系２１によって取り込まれた視野情報が入力されることとなる。これにより、１フレーム内における移動体の位置を一致させることが可能となる。この結果、異なるイメージセンサ２２ａ，２２ｂ間における画像の位置ずれを解消することができ、画像間における移動体の追尾誤差を解消することが可能となる。

〔第２の実施形態〕
次に、本発明の第２の実施形態について説明する。
本実施形態の移動体追尾装置では、各追尾方式に対してシーン（周囲の明暗状況等）に応じた重み付け値が設定されている点で上述した第１の実施形態に係る移動体追尾装置１とは異なる。
例えば、昼間などのように周囲が明るいシーンでは、赤外カメラを用いた追尾方式よりも可視カメラを用いた追尾方式の方が好ましく、夜間等のように周囲が暗いシーンでは、可視カメラを用いた追尾方式よりも赤外カメラを用いた追尾方式の方が好ましい。

本実施形態においては、評価部３２が各シーンに応じて追尾方式毎に重み付け値を保有しており、第１の実施形態と同様の手順によって算出した追尾点のバラツキ度に対して、対応する重み付け値を乗算することにより、各追尾方式の追尾評価値を算出し、これを選択部３３に出力することとする。

図３は、本実施形態に係る移動体追尾装置の追尾処理装置によって実行される処理手順を示したフローチャートである。この図に示されるように、ステップＳＡ４において算出される各バラツキ度に対して更に重み付け処理（ステップＳＢ１）を実行することにより、追尾評価値を算出し、この追尾評価値に基づいて選択処理が実行される（ステップＳＡ５）。

以上説明してきたように、本実施形態に係る移動体追尾装置によれば、シーンに応じて好ましい追尾方式を確実に選択することが可能となるので、選択部３３における追尾点の選択精度を向上させることが可能となる。
なお、上記重み付け値は、オペレータによる入力が可能とされていてもよいし、時刻に応じて自動的に設定されるものであってもよい。また、自動的に設定される重み付け値をオペレータがその時々に応じて変更可能としてもよい。重み付け値は、例えば、１以下の係数として設定されている。

〔第３の実施形態〕
次に、本発明の第３の実施形態について、図４および図５を参照して説明する。
図４に示されるように、本実施形態の移動体追尾装置３ａは、選択部３３から出力される追尾点を補正する補正部３４を更に備える点で上述した第１の実施形態と異なる。
以下、本実施形態に係る移動体追尾装置３ａについて上述した第１の実施形態と異なる点について主に説明する。

例えば、図５に示されるように、移動体Ａ内に設定される追尾点の位置は、第１〜第３追尾処理部３１ａ〜３１ｃによってそれぞれ異なる場合がある。例えば、第３追尾処理部３１ｃは、熱源を捉えて追尾を行う追尾方式を採用しているため、例えば、移動体Ａが車両であった場合には、第３追尾処理部３１ｃによる追尾点Ｐｃは、車両のエンジン部分周辺となる。一方、第１または第２追尾処理部３１ａ、３１ｂによる追尾点Ｐａ，Ｐｂは、移動体Ａの輪郭内において、それぞれの追尾方式に応じて判別される種々の特徴点等になることが多い。

このように、各追尾処理部３１ａ〜３１ｃによって移動体Ａ内に設定される追尾点の設定位置が異なる場合に、選択部３３によって選択される追尾方式が代わると、今まで採用していた追尾点と今回採用された追尾点との間にオフセット量が加わることとなる。例えば、時刻ｔｎにおいて追尾点Ｐａ（ｔｎ）が選択されており、時刻ｔｎ＋１において、追尾点Ｐｂ（ｔｎ＋１）が選択された場合には、オフセット量Ｌｂが加わることとなり、移動体の追尾位置にＬｂの誤差が生じることとなる。

そこで、本実施形態では、補正部３３が、基準追尾点に対する各追尾処理部３１ａ〜３１ｃにおける追尾点Ｐａ〜Ｐｃのオフセット量を予め保有しており、選択部３３によって選択される追尾点の追尾方式が切り替えられた場合には、予め設定されているオフセット量を用いて追尾点を補正し、補正した追尾点を出力することとしている。

ここで、補正部３３が保有するオフセット量は、追尾点の検出精度が最も安定している追尾方式の追尾点を基準として設定されていることが好ましい。ここで、検出精度が最も安定している追尾方式とは、例えば、移動体の追尾開始時点から所定期間内に選択部３３によって選択される回数が最も多かった追尾方式等が挙げられる。また、可視画像に基づいて追尾点を検出する追尾方式においては、例えば、移動体の輪郭の明瞭さを判断基準として定めることとしてもよい。或いは、赤外画像に基づいて追尾点を検出する追尾方式においては、例えば、熱源が十分大きいか、熱源の輝度が十分明るいか等を判断基準として定めることとしてもよい。

このように、基準となる追尾方式による追尾点と他の追尾方式の追尾点とのオフセット量（例えば、図５における距離Ｌｂ，Ｌｃ等）を予め登録しておくことにより、追尾方式が切り替えられることによる検出誤差を解消でき、安定した追尾を行うことが可能となる。更に、検出精度が最も安定している追尾方式を基準とすることで、補正部３３によるオフセット補正の頻度を低減することが可能となり、処理効率を向上させることが可能となる。

図６は、図４に示した本実施形態に係る追尾処理装置３ａによって実行される処理の手順を示したフローチャートである。図６に示されるように、選択部３３によって行われる追尾方式選択処理の後段に、補正部３４によるオフセット補正処理（ステップＳＣ１）が設けられている。

以上説明してきたように、本実施形態に係る移動体追尾装置３ａおよび移動体追尾方法によれば、各追尾方式による追尾点のオフセットを解消することができ、移動体の追尾精度を更に向上させることが可能となる。

〔第４の実施形態〕
次に、本発明の第４の実施形態について説明する。
本実施形態に係る追尾処理装置は、図１に示した第１の実施形態に係る追尾処理装置と構成を略同じくするが、評価部による処理内容が異なる。
以下、図７を参照して説明する。図７は、本実施形態の移動体追尾装置における追尾処理装置によって実行される処理の手順を示したフローチャートである。
図７に示されるように、本実施形態に係る追尾処理装置では、評価部３２が行う処理として、各追尾処理部３１ａ〜３１ｃから入力された追尾点の信頼度が予め設定されている第１閾値よりも低いか否かを判定する判定処理が設けられている（ステップＳＤ１）。そして、上記判定処理において、信頼度が第１閾値よりも低かった場合には、選択部３３における選択の対象に先行して、当該追尾点を対象から除外することとしている。

上記評価部３２は、例えば、前回の追尾点に基づいて移動体の移動量を求め、この移動量が所定距離以上であった場合に、信頼度が第１閾値よりも低いと判定する。このように、追尾点から算出される移動体の移動の様子が通常では考えられないようなものであった場合には、評価部３２によって当該追尾点の信頼度は第１閾値よりも低いと判定され、選択部３３による選択対象から予め除外される。

以上説明したように、本実施形態に係る移動体追尾装置および移動体追尾方法によれば、信頼性の低い追尾点を選択の対象から予め除外してしまうことで、後続の処理を行う必要がなくなるので、処理の低減を図ることが可能となる。なお、上記判定処理（ステップＳＤ１）は、上述のように、評価部３２において行われることとしてもよいし、第１〜第３追尾処理部３１ａ〜３１ｃの各々において行われることとしてもよい。また、この処理を実行する専用の回路を設けることとしてもよい。

なお、上述した第４の実施形態において、図８に示されるように、選択部３３によって選択された追尾点を第１〜第３追尾処理部３１ａ〜３１ｃにおける追尾対象領域抽出処理にフィードバックさせることとしてもよい。このように、最適な追尾点を第１〜第３追尾処理部３１ａ〜３１ｃに逐次フィードバックするので、追尾点の検出に失敗し、信頼度が一旦低下してしまった場合であっても、次回の追尾対象領域抽出処理、追尾点算出処理を最適な追尾点の位置に応じて行うことが可能となる。これにより、追尾点の信頼度を回復させることが可能となる。

なお、この追尾点のフィードバックは、信頼度に関わらず常に行うこととしてもよい。このように、適切な追尾点を常にフィードバックさせることで、安定した追尾を実現させることができる。
また、追尾点をフィードバックさせる際には、選択部３３によって選択された追尾点を上述した第３の実施形態におけるオフセット量に基づいて補正するとよい（仮の追尾点）。このようにすることで、追尾点の検出精度の向上を図ることが可能となる。

また、上記追尾点のフィードバックに代えて、或いは、加えて、追尾点の信頼度が第１閾値よりも低いと判断された場合には、その追尾方式による追尾点を所定の期間に渡って選択部３３による選択対象から除外することとしてもよい。このように、信頼度が低下した追尾方式に関しては、所定の期間に渡って選択対象から除外することで、安定した追尾を容易に行うことが可能となる。

〔第５の実施形態〕
次に、本発明の第５の実施形態について、図９を用いて説明する。
例えば、上述した第１の実施形態においては、追尾点のバラツキ度に基づいて追尾点の選択を行っていたため、選択部３３によって必ずしも最適な追尾点を選択することができない場合が生ずる。

例えば、夜間に可視カメラで取得された画像に基づいて追尾処理を行う場合には、移動体の輪郭が不明確になることが多いことから、第１または第２の追尾処理部３１ａ，３１ｂにおいては、追尾不可能と判断され、この結果、フレーム中の決まった位置に常に追尾点が設定されて出力される可能性がある。このような場合、実際には、移動体が移動しているにもかかわらず、追尾点は常にフレームの一定の場所にとどまっていることとなる。従って、第３追尾処理部３１ｃから出力される追尾点が最も信頼性の高いものであったとしても、追尾点のバラツキ度から判断すると、第１または第２追尾処理部３１ａ，３１ｂによる追尾点が誤って選択される可能性がある。

このような誤った選択を回避するべく、本実施形態では、図９に示されるように、上述した追尾点のバラツキ度のほかに、追尾スコアという新たな選択指標を算出するスコア算出部３６を設け、スコア算出部３６によって算出された追尾スコアを選択部３３ａに出力する。選択部３３ａは、スコア算出部３６から入力された追尾スコアと、評価部３２から入力されるバラツキ度とに基づいて、最適な追尾点を選択する。

ここで、スコア算出部３６によって実行される追尾スコア算出処理の一例について図１０を参照して説明する。
例えば、スコア算出部３６には、第１および第２追尾処理部３１ａ，３１ｂから追尾点検出に用いられたフレーム画像がそれぞれ入力される。スコア算出部３６は、図１０に示されるように、フレーム画像内において追尾対象領域抽出処理を行い、追尾対象領域Ｋを抽出する。次に、追尾対象領域Ｋにおいてスコア評価画像を切り出すためのスコア評価領域を少しずつずらしながら設定し、設定した各スコア評価領域内のスコア評価画像と、予め設定されているテンプレート画像との相関演算を順次実行する。相関演算は、例えば、以下の（１）式で表される。なお、テンプレート画像は、追尾対象である移動体の画像である。

上記（１）式において、Ｉ（ｘ，ｙ）は、スコア評価画像における座標（ｘ，ｙ）の輝度値、Ｔ（ｘ，ｙ）はテンプレート画像における座標（ｘ，ｙ）の輝度値、ｗはテンプレート画像の幅、ｈはテンプレート画像の高さである。
このようにして、追尾スコアを算出すると、スコア算出部３６は選択部３３に追尾スコアを出力する。選択部３３は、例えば、追尾スコアが予め設定されている所定の閾値を超えており、かつ、評価部３２から入力されるバラツキ度が最小である追尾方式を選択する。

以上説明してきたように、本実施形態に係る移動体追尾装置によれば、バラツキ度のほかに追尾スコアという新たな選択指標を設け、追尾点のバラツキと追尾スコアとの両観点から総合的に追尾点の信頼度を評価するので、選択部における選択精度の向上を図ることが可能となる。これにより、移動体の追尾精度の更なる向上を図ることが可能となる。

なお、上述した追尾スコアの算出方法は一例であり、他の方法によって追尾スコアを算出することとしてもよい。また、追尾スコアは、各追尾方式による追尾点の信頼度をバラツキ度以外の方法で判定するための指標値であればよく、各追尾方式によって異なる追尾スコア算出方法を用いることとしてもよい。例えば、可視画像に基づいて追尾点を検出するような追尾方式を採用している場合には、上述した追尾スコア算出処理に代えて、或いは、加えて、輪郭線が明瞭に抽出されているかによって追尾スコアを算出することとしてもよい。また、赤外画像に基づいて追尾点を検出するような追尾方式を採用している場合には、検出されている熱源が十分な大きさを持っているか、或いは、十分な輝度値が検出されているか等を評価することにより、追尾スコアを算出することとしてもよい。

また、上記実施形態においては、スコア算出部３６が、各追尾方式の追尾スコアが予め設定されている第２閾値以上であるか否かを判定し、第２閾値以下であった場合には、当該追尾点を選択の対象から予め除外することとしてもよい。これにより、最適ではない追尾点を予め除外することが可能となるので、選択部３３ａにおける処理負担を軽減することが可能となる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、上述した実施形態では、イメージングセンサを２つ設け、追尾処理部を３つ設ける場合について説明したが、これらの設置数については限定されない。要は、少なくとも２つの異なる追尾方式によって追尾点が検出されていればよい。この場合、同一のイメージングセンサから出力される画像を用いて異なる追尾処理によって追尾点を検出してもよいし、異なる画像処理が施されることによって得られた画像に対して同一の追尾処理を行うことにより、追尾点を検出することとしてもよい。

また、上記各実施形態においては、追尾処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ソフトウェアにて処理する構成も可能である。この場合、各実施形態に係る追尾処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の追尾処理装置と同様の処理を実現させる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。

１ 移動体追尾装置
２ カメラ装置
３ 追尾処理装置
２１ レンズ系
２２ａ 第１イメージセンサ
２２ｂ 第２イメージセンサ
３１ａ 第１追尾処理部
３１ｂ 第２追尾処理部
３１ｃ 第３追尾処理部
３２ 評価部
３３ 選択部
３４ 補正部
３６ スコア算出部
３２１ データ蓄積部

Claims (10)

1. 互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理部と、
   各前記追尾処理部から出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を前記追尾方式毎に算出する評価部と、
   前記評価部によって算出された前記追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択部と
   を具備し、
   複数の前記追尾処理部は、互いに異なる撮像素子により取得された画像に対して、同じ画像処理または異なる画像処理を行うことにより前記移動体の追尾点をそれぞれ検出し、
   異なる前記撮像素子は、共通の光学系を用いてそれぞれの画像を取得する移動体追尾装置。
2. 各前記追尾方式には、周囲の環境に応じて、重み付け値がそれぞれ設定可能とされており、
   前記評価部は、前記追尾点のバラツキ度に、前記重み付け値を反映させた評価値を算出し、
   前記選択部は、前記評価値に基づいて一の前記追尾方式を選択する請求項１に記載の移動体追尾装置。
3. 各前記追尾処理部間における追尾点のオフセット量を保有しており、前記選択部から出力された追尾点を前記オフセット量に基づいて補正し、補正後の追尾点を出力する補正部を更に備える請求項１または請求項２に記載の移動体追尾装置。
4. 前記オフセット量は、複数の前記追尾方式のうち、追尾精度が最も安定している追尾方式の追尾点を基準として設定されている請求項３に記載の移動体追尾装置。
5. 前記評価部は、各前記追尾処理部から入力された追尾点の信頼度を算出し、該信頼度が予め設定されている第１閾値よりも低い追尾点を、前記選択部に先行して、選択の対象から除外する請求項１から請求項４のいずれかに記載の移動体追尾装置。
6. 前記追尾点の信頼度が前記第１閾値よりも低くなった場合は、同時刻に得られた他の追尾方式の追尾点と各前記追尾処理部間における追尾点のオフセット量とから当該追尾方式の仮の追尾点を求め、該仮の追尾点を用いて追尾を継続して行う請求項５に記載の移動体追尾装置。
7. 追尾点の信頼度が前記閾値よりも低いと判定された追尾方式については、所定期間、該追尾方式の追尾点を選択の対象から除外する請求項５または請求項６に記載の移動体追尾装置。
8. 各前記追尾処理部によって追尾された追尾点に基づいて、追尾精度に係る追尾スコアを算出するスコア算出部を更に備え、
   前記選択部は、前記追尾点のバラツキ度と前記追尾スコアとに基づいて、一の追尾方式を選択する請求項１から請求項７のいずれかに記載の移動体追尾装置。
9. 前記スコア算出部は、前記追尾スコアが予め設定されている第２閾値よりも低かった場合に、その追尾スコアに該当する前記追尾点を、前記選択部に先行して、選択の対象から除外する請求項８に記載の移動体追尾装置。
10. 互いに異なる追尾方式によって、追尾対象である移動体の追尾点をそれぞれ検出し、出力する複数の追尾処理工程と、
    各前記追尾処理工程から出力された追尾点が入力され、過去所定期間における追尾点のバラツキ度を前記追尾方式毎に算出する評価工程と、
    前記評価工程によって算出された前記追尾点のバラツキ度が最小である追尾方式の追尾点を逐次選択して出力する選択工程と
    を含み、
    複数の前記追尾処理工程の各々は、互いに異なる撮像素子により取得された画像に対して、同じ画像処理または異なる画像処理を行うことにより前記移動体の追尾点をそれぞれ検出し、
    異なる前記撮像素子は、共通の光学系を用いてそれぞれの画像を取得する移動体追尾方法。
    

Images