JP2005260633A - マルチモード追尾方式 - Google Patents

Abstract

【課題】本発明はマルチモード追尾方式に関し，３つ以上の追尾方式を並行して所要の追尾安定性を得ることを目的とする。
【解決手段】カメラ等により撮像された画像データから目標領域を抽出しその視野中心画像を抽出して，面積重心点追尾方式による追尾点計算部と，ピーク点追尾方式による追尾点計算部と，相関追尾方式による追尾点計算部とを備える。各追尾方式に対応した複数の成分の追尾成功確率を算出する手段を備え，各追尾方式に対応したそれぞれ複数の追尾成功確率の成分に対して重み付けの係数を乗算して各乗算結果を加算する手段と，各追尾方式の加算結果を比較して最も高い値となる追尾方式を自動追尾方式選択判定処理部で判別して選択し，選択した追尾方式による追尾誤差値を出力し，追尾制御を行うよう構成する。
【選択図】図１

Description

本発明は，侵入者監視用や防衛用偵察・監視用等の各種監視システムに利用されるマルチモード追尾方式に関し，特にカメラ等により撮像された画像データから目標領域を抽出し，その視野中心からの偏差を算出し，目標を包含するゲートや目標の中心を示すクロス・ヘア・マーク（十字線）を表示して監視者の注意を惹起したり，カメラの視軸指向を制御するシステムに送出して目標像を継続的に視野内に保持する画像追尾システムにおける，目標領域の視野中心からの偏差（追尾誤差）を算出する追尾方式に関する。

侵入者監視用や防衛用偵察・監視用のシステムでは，カメラ等で撮像した画像において目標を設定し，その目標の動きに追随して観測者の注意を惹起するマーカを表示したり，カメラの視軸を動かして目標を視野内に保持するよう追尾する装置が利用されており，本発明はそのような移動する目標を追尾するためのマルチモード追尾方式に関する。

従来の追尾方法として複数の追尾方式を用いて追尾の継続性を高めるための手法として，多種の方法がある。

従来の技術の一つに，目標の画像を画像センサにより取得して，目標形状記憶部の形状と画像センサの画像との相関値を算出し，目標形状との相関値から目標を特定できないと判定されると重心位置を追尾目標の追尾目標位置として出力する画像誘導装置がある（特許文献１参照）。また，対象物を追尾するための対象枠を設定し，対象枠内で対象物を代表する特徴量を決定し，対象追尾時に対象枠のパターンをテンプレートとして記憶し，入力される画像信号中のテンプレートと最も相関の高い場所を対象物追尾結果枠としてテンプレートマッチングにより検出し，検出された対象物追尾結果枠で代表特徴量を用いてテンプレートの更新を行うかどうかを判定し，テンプレートを対象追尾結果枠のパターンに更新する方法を用いる自動追尾装置がある（特許文献２参照）。

更に，画像目標追尾装置において市街地のように複雑背景下で目標と弁別困難なクラッタの存在する画像内でも，従来追尾していた目標を含む入力画像の局所領域と全画面の画素毎の差の絶対値相関値または積相関値を特徴量に付加し，目標及び近傍領域のテクスチャー情報も目標決定の因子とすることにより複雑背景下でも目標を正確に判定し，追尾するようにした技術（特許文献３参照）。

また，２モードビデオ追尾装置として，相関追尾処理と面積重心追尾処理の２つのモードを用いて目標シーンを表す入力ビデオ信号の生成と追尾誤差信号を生成する技術がある（特許文献４参照）。更に，被写体追尾の技術として，代表点データと検出ブロックの画素データとに基づいて最小相関値を求め，それを基に部分動きベクトルを求めて基準ベクトルとし，各検出ブロック毎の部分動きベクトルと基準ベクトルから相関値を得る。その相関値が閾値以下なら追尾領域を構成する検出ブロックとし，追尾領域の重心を求め，重心に基づいて動きベクトルを出力し，基準ベクトルはフィールド毎に更新され，動きベクトルに基づいてカメラの雲台を制御して被写体を追尾する技術もある（特許文献参照５）。
特開２００２−１６８６００号公報 実開平５−６４３４号公報 特開２００２−１６８６００号公報 米国特許第４，８４９，９０６号 特開平８−２３７５３５号公報

上記の従来の技術では，面積重心追尾とテンプレート・マッチングによる相関追尾を併用したものが多い。これらは，相関追尾のレファレンス更新に面積重心追尾点及びその時の２値化された目標のサイズを利用したり，相関係数が極大値となるテンプレート内で面積重心点を算出したりする。このように，追尾方式の併用は２つまでであり，２つの追尾方式を併用した追尾方式を併用した追尾処理での方式の選択としては，マニュアルでどちらか一方を選択するか，面積重心方式で開始し，追尾状態が不安定になった場合に相関追尾方式に以降するといった遷移方向が一方向のみのものであった。

また，２つの追尾方式で並行処理し，２つの追尾誤差から複合追尾誤差を算出する方式があるが，各方式の安定性に応じて複合方法（加算の重み付けを変更する等）を変化させるようなことはしていない。

上記したように，従来の方式では並行処理する追尾方式が２個以下であることや，複数備えている方式から一つの選択や，複合追尾誤差の算出に方式毎の追尾安定性が反映されていないことから，追尾方式を複数化することに期待される追尾頑強性（常に目標を追い続ける強さ）を実現することができないという問題があった。

本発明は追尾安定性を反映した方式選択や，各方式による追尾誤差を複合していないことによる追尾頑強性が不十分である点を改善すると共に，従来の複数の方式間の遷移が一方向であった点を改善し，３つ以上の追尾方式を並行して所要の追尾安定性が得られることができるマルチモード追尾方式を提供することを目的とする。

図１は本発明の原理構成を示す図である。図中，１０はカメラ等の撮像装置により得られた画像から追尾の対象となる目標が画像の中心となるよう抽出する対象画像抽出部，１１ａは面積重心点特徴量計算部，１１ｂは面積重心点追尾点計算部，１２ａはピーク点特徴量計算部，１２ｂはピーク点追尾点計算部，１３ａは相関追尾特徴量計算部，１３ｂは相関追尾点計算部，１４は自動追尾方式選択判定処理部，１５は自動追尾方式選択判定処理部１４からの選択した追尾方式による追尾点（追尾誤差値）出力である。

この原理構成では，追尾方式として面積重心追尾方式，ピーク点追尾方式及び相関追尾方式の３つの追尾方式を使用した例を示す。すなわち，追尾安定性指標として任意の値を許してしまうと，指標の算出事態の処理量が増大してしまい，指標間のスケーリングが必要になってしまい，指標の複合演算が複雑になる（１次結合では済まなくなる），ため，各指標について追尾の成功・失敗を分ける閾値を設定し，閾値条件を満たす場合は「成功」，満たさない場合は「失敗」とする単純化を行った。これにより，追尾安定性指標演算量を十分に小さく押さえることができる。なお，単純化により，追尾安定性指標は追尾成功確率とみなすことができ，閾値条件を満たすか満たさないかによって１００％と０％の何れかの値になる２値化された指標を使用する。

対象画像抽出部１０において撮像画像から追尾の対象となる目標が画像の中心となるよう抽出することで対象画像を抽出すると各追尾方式による演算を開始する。面積重心点特徴量計算部１１ａは，追尾ゲート内の目標領域と背景領域の画素分布から，従来から知られた面積重心点方式による重心点の特徴量を求め，面積重心点追尾点計算部１１ｂにおいて面積重心点による追尾点を求める。この場合，面積重心点特徴量計算部１１ａにおいて，面積重心点追尾方式による，(1-1) 信号対クラッタ（雑音画像）比，(1-2) 追尾ゲート内の目標領域占有率，(1-3) 目標画素数のフレーム間揺らぎの計算を行い，(1-1) 〜(1-3) の各計算において予め設定した閾値と比較して，閾値を越えると“１”（成功）として，閾値を越えないと“０”（不成功）とする。面積重心点追尾点計算部１１ｂは，(1-4) 追尾誤差のフレーム間揺らぎの計算をし，前フレームからの重心点の揺らぎ量を得て，対応する閾値と比較して，閾値を越えると“１”，そうでないと“０”を出力する。この面積重心点追尾方式による(1) 〜(4) の判定結果（それぞれの“１”または“０”）は，自動追尾方式選択判定処理部１４へ入力する。

ピーク点追尾方式によるピーク点特徴量計算部１２ａは，上記面積重心点追尾方式による追尾に並行して，追尾ゲート内の輝度（または色）の高い領域（ピーク点群）について追尾を行うもので，従来から知られたピーク点追尾方式によりピーク点特徴量の計算を行い，求めたピーク点特徴量に基づいてピーク点追尾点計算部１２ｂで追尾点をもとめる。また，ピーク点特徴量計算部１２ａでは，(2-1) ピーク対クラッタ比，(2-2) ピーク点（群）目標画素数，(2-3) ピーク点と第２ピーク点の輝度差，(2-4) ピーク点輝度のフレーム間揺らぎ，の各計算を行い，上記面積重心点特徴量計算部１１ａと同様に各計算に対して予め設定した閾値と比較して，各閾値を越えると“１”，越えないと“０”を出力する。続いて，ピーク点追尾点計算部１２ｂにおいて(2-5) 追尾誤差のフレーム間揺らぎの計算をし（この揺らぎがピーク点追尾点に相当する），その揺らぎ量が予め設定された閾値と比較して，越えると“１”，越えないと“０”を出力する。このピーク点追尾方式による(2-1) 〜(2-5) の判定結果は，自動追尾方式選択判定処理部１４へ入力する。

また，相関追尾方式による相関追尾特徴量計算部１３ａは，上記面積重心点追尾方式による演算とピーク点追尾方式による演算と並行して動作し，基準画像（レファレンス画像ともいう）の取り込み，追尾において画像の縦，横の一定間隔毎に切り取られたテンプレートと基準画像との相関係数を算出し，相関追尾の特徴量を計算して，相関追尾点計算部１３ｂで相関追尾方式による追尾点をもとめる。

相関追尾特徴量計算部１３ａは，特徴量の計算と共に相関追尾方式における(3-1) 相関係数の極大値と平均値の差，(3-2) 相関係数極大点とその隣接画素とでの相関係数差, (3-3) 相関係数極大値と相関係数第２極大値の差，(3-4) レファレンス画像とテンプレート画像の平均勾配強度の各計算を行い，各計算に対して予め設定された閾値と比較して，各閾値を越えると“１”，越えないと“０”を出力する。次に，相関追尾点計算部１３ｂにおいて(3-5) 追尾誤差のフレーム間揺らぎの計算をし，その揺らぎ量が予め設定された閾値と比較して，越えると“１”，越えないと“０”を出力する。この相関追尾方式による(3-1) 〜(3-5) の判定結果は，自動追尾方式選択判定処理部１４へ入力する。

自動追尾方式選択判定処理部１４には，面積重心点追尾点計算部１１ｂからの上記(1-1) 〜(1-4) の各判定結果に対して，それぞれに重み付けの乗算をした上で加算する。また，ピーク点追尾点計算部１２ｂからの上記(2-1) 〜(2-5) の各判定結果に対して，それぞれに重み付けの乗算をした上で加算する。更に，相関追尾点計算部１３ｂからの上記(3-1) 〜(3-5) の各判定結果に対して, それぞれに重み付けの乗算をした上で加算する。これらの各方式に対応した加算結果の中から最も大きな値が得られた方式が現時点における追尾安定性が最も高い方式として選択し，選択した追尾方式により追尾点「追尾誤差値」が出力される。出力された追尾誤差値は，カメラの視軸指向を制御する機構を駆動し，目標がカメラにより撮像される画像の中心になるよう追尾する。

本発明によれば，従来の１つの方式または遷移の向きが固定されている２つの追尾方式により構成された追尾処理では１つまたは最終的に行き着く追尾方式の追尾安定性で決まってしまった追尾継続性が，３つ以上の追尾方式の間で，各々の方式について計算された追尾成功確率を基に任意の向きに追尾安定性が最も高い方式に遷移することができるので，常に複数の追尾方式の内の最も追尾安定性が高い方式における追尾継続性を得ることができる。

図２は実施例の構成を示す図である。図中，２０ａ〜２０ｅはビデオカメラに関する機構であり，２０ａはビデオカメラの本体，２０ｂはジンバル部（視軸駆動装置），２０ｃはジンバルの角速度センサ，２０ｄはジンバルの角速度を保持する角速度保持部である。

２１はビデオカメラ２０ａからの映像信号データが入力される画像入力部，２２は処理領域指定視軸中心画像抽出部，２３ａは図１の１１ａに対応する面積重心点追尾判定用特徴量算出処理部，２３ｂは図１の１１ｂに対応する面積重心点位置算出処理部，２４ａは図１の１２ａに対応するピーク点追尾判定用特徴量算出処理部，２４ｂは図１の１２ｂに対応するピーク点位置算出処理部，２５ａは図１の１３ａに対応する相関点追尾判定用特徴量算出処理部，２５ｂは図１の１３ｂに対応する相関点位置算出処理部，２６は最適追尾方式選択手段２６ａと最適追尾方式による追尾点算出手段２６ｂとで構成する最適追尾方式選択・追尾点算出部，２７は視軸中心からの追尾誤差値算出部である。

図２において，目標シーンをデジタルのビデオカメラ２０ａで撮影し，その映像信号データは画像入力部２１へ入力され，処理領域指定視軸中心画像抽出部２２において，マニュアルによる指定により視軸中心画像が抽出される。抽出された視軸中心画像について，３つの追尾方式による追尾処理が面積重心点追尾判定用特徴量算出処理部２３ａと面積重心点位置算出処理部２３ｂ，ピーク点追尾判定用特徴量算出処理部２４ａとピーク点位置算出処理部２４ｂ，相関点追尾判定用特徴量算出処理部２５ａ及び相関点位置算出処理部２５ｂにおいて実行される。なお，以下の説明において，「目標画素」とは，目標領域を構成する画素，「背景画素」とは背景領域を構成する画素を意味する。

図３は面積重心点追尾方式による処理領域と画像の例を示す図である。上記図２の処理領域指定視軸中心画像抽出部２２において抽出された視軸中心画像について，面積重心点追尾判定用特徴量算出処理部２３ａで面積重心点追尾判定用の特徴量を抽出し，面積重心点位置算出処理部２３ｂで面積重心点位置を算出する場合，図３に示すように定義された処理領域を用いて実行される。

図３のＡ．は追尾ゲート設定の例を示し，図中，３０は画面，３１は追尾ゲート，３２は目標領域，３３は追尾ゲート３１の中の目標領域３２を除いた領域である背景領域を表す。画像入力部２１の画像を見てマニュアルによりビデオカメラ２０ａを動かすことにより目標領域３２が画面の中央となるよう調整して目標を補足する。Ａ．の右側に示す３４は，画面３０の水平方向の中央部における垂直位置（方向）の輝度の分布を示す，Ａ．の下側に示す３５は，画面３０の垂直方向の中央部における水平位置（方向）の輝度の分布を示す。図３のＢ．は輝度に対応した画素数の分布を表し，左側の山の形は背景画素（背景領域を構成する画素）分布を表し，右側の小さい山の形は目標画素（目標領域を構成する画素）の分布であり，これらの輝度別の画素数の分布に基づいて２値化閾値を自動算出する。

図３のＣ．は前記Ａ．の追尾ゲート設定の後に，追尾ゲート３１内の目標領域３２の輪郭を含む最も小さい矩形領域を目標ゲート３６として設定する。この目標ゲート３６内の目標領域３２の輪郭の外部を目標ゲート内背景３７と定義し，追尾ゲート３１内の目標ゲート３６の外部を境界領域３８と定義する。図３のＣ．に示すように目標ゲート３６，境界領域３８等を定義して，目標の追尾開始トリガをマニュアルにより指示することで，目標追尾が実行される。図３のＤ．は目標追尾時の画面であり，３９は目標領域の面積重心を表し画面の中心に位置している。

１．面積重心点追尾（Centroid Tracking)については，追尾安定性指標として，次の(1) 〜(4) つの追尾成功確率の計算を行う。なお，この中の(1) 〜(3) の計算は図２の面積重心点追尾判定用特徴量算出処理部２３ａで行い,(4)の計算は面積重心点位置算出処理部２３ｂにおいて実行される。

(1) S/C （Signal-to-Clutter Ratio : 信号対クラッタ比）
pSCR ＝１ ＠εSCR ≧θSCR
＝０ ＠εSCR ＜θSCR
pSCR はS/C に関する追尾成功確率である。また，
εSCR ＝( μ｛I(i,j)｜≧Ith,(i,j) ∈追尾ゲート内画素｝−Ith)／
σ｛I(i,j)｜＜Ith,(i,j) ∈追尾ゲート内画素｝
但し，εSCR は追尾ゲート内のS/C ，μ｛x ｝はx の平均値, σ｛x ｝はx の標準偏差, I(i,j)は画面内座標(i,j) の画素の輝度,Ithは２値化閾値（図３のＢ．に示す），θSCR はS/C に関する閾値を表す。

(2) 追尾ゲート内の目標領域占有率
pTR ＝１＠ εTR ≧θTR
＝０＠ εTR ＜θTR
pTR は追尾ゲート内目標領域占有率に関する追尾成功確率である。また，
εTR＝nTR ＝nTP/nTGP
nTP は目標画素(I(i,j) ｜(i,j) ∈追尾ゲート内画素｝≧Ith である画素) 数，nTGPは追尾ゲート内に含まれる全画素数，θTRは追尾ゲート内目標領域占有率に関する閾値を表す。

(3) 目標画素数のフレーム間揺らぎ
pnTP ＝１＠ εnTP ≦θnTP
＝０＠ εnTP ＞θnTP
pnTPは目標画素数のフレーム間揺らぎに関する追尾成功確率である。

εnTP ＝σ｛nTP(f)｜f:fP- Δf 〜fP｝/ μ｛nTP(f):fP-Δf 〜fP｝
σ｛nTP(f)｜f:fP- Δf 〜fP｝は，第fP−Δf フレーム〜第fPフレームでの目標画素数nTP(f)の平均値［pix rms ］を表す。

(4) 追尾誤差のフレーム間揺らぎ
pTEc ＝１＠ εTEc ≦θTEc
＝０＠ εTEc ＞θTEc
pTEcは面積重心点追尾における追尾誤差のフレーム間揺らぎに関する追尾成功確率である。

εTEc ＝σ｛TEc(f)｜f:fP- Δf 〜fP｝/dTG
σ｛TEc(f)｜f:fP- Δf 〜fP｝は，第fP−Δf フレーム〜第fPフレームでの追尾誤差TEc(f)の標準偏差［pix rms ］（水平成分と垂直成分の各々について）を表し，dTG は追尾ゲートの寸法 ［pix ］（水平成分と垂直成分の各々について），θTEc は面積重心点追尾における追尾誤差のフレーム間揺らぎに関する閾値である。

面積重心点追尾方式における追尾成功確率Ｐｃとして，上記(1) 〜(4) 項に挙げた成分pSCR,pTR，pnTP，pTEcとし，各々に対して設定される重み付け係数としてｗSCR,wTR ，wnTP，wTEcを設定し，次式のようにPc（面積重心点追尾方式による追尾成功確率）の計算をする。但し，ｗSCR+wTR+wnTP +wTEc＝1 とする。

Pc＝wSCR・pSCR＋wTR ・pTR ＋wnTP・pnTP＋wTEc・pTEc
図４はピーク点追尾方式による処理領域と画像の例を示す図である。上記図２の処理領域指定視軸中心画像抽出部２２において抽出された視軸中心画像について，ピーク点追尾判定用特徴量算出処理部２４ａでピーク点追尾判定用の特徴量を算出処理し，ピーク点位置算出処理部２４ｂでピーク点位置を算出する場合に，図４に示すように定義された処理領域を用いて実行される。なお，ピーク画素とはピーク点（群）を構成する画素を意味し，背景画素とは背景を構成する（ピーク画素以外の）画素を意味する。

図４のＡ．は追尾ゲート設定の例を示し，図中，４０は画面，４１は矩形の追尾ゲート，４２はピーク点（群）（１点ではなく一定の広がりを持つ群を含む），４３はピーク点（群）４２を除く追尾ゲート内背景を表す。このＡ．の画面４０においてピーク点（群）４２を含む追尾ゲート４１をマニュアルにより設定し，ピーク点群捜索が自動で行われる。これにより，図４のＢ．に示すように追尾ゲート４１の画像として追尾ゲート内背景４３とピーク点（群）４２が補足された状態となる。このＢ．のピーク点（群）を補足した状態で，追尾開始トリガをマニュアルでセットすることで，目標の自動追尾が開始し，図４のＣ．のようにピーク点（群）が画面の中心となるようカメラの向きが制御される。

２．ピーク点追尾方式(Peak Tracking) に関しては以下の(1) 〜(5) の計算による追尾成功確率を用いる。なお，これらの中の(1) 〜(4) の計算は上記図２のピーク点追尾判定用特徴量算出処理部２４ａで行い，(5) の計算はピーク点位置算出処理部２４ｂで行う。

(1) P/C(Peak-to-Clutter Ratio:ピーク対クラッタ比）
pPCR ＝１＠εPCR ≧θPCR
＝０＠εPCR ＜θPCR
pPCR はP/C に関する追尾成功確率である。また，
εPCR ＝( μ｛I(i,j)｜≧Imax−ΔImax, (i,j) ｜iP- ΔiP≦i ≦iP+ ΔiP,jP-ΔjP≦j ≦jP+ ΔjP｝- μ｛I(i,j)｜(i,j) ∈追尾ゲート内画素｝) ／σ｛I(i,j)｜(i,j) ∈追尾ゲート内画素｝
但し，εPCR は追尾ゲート内のP/C を表し，μ｛x ｝はx の平均値,I(i,j) は画面内座標(i,j) の画素の輝度, σ｛x ｝はx の標準偏差, Imaxは追尾ゲート内画素の輝度の最大値［LSB ］, ΔImaxはピーク点群目標画素とする輝度閾値のImaxとの差［LSB ］,(iP,jP)はピーク点座標, ΔiP, ΔjPはピーク点周りで輝度がImax- ΔImax以上か調べる範囲, θPCR はP/C に関する閾値を表す。

(2) ピーク点（群) 目標画素数
pnPP ＝１＠ npp≦θnPP
＝０＠ nPP＞θnPP
pnPP はピーク点（群）目標画素数に関する追尾成功確率，nPP はピーク点（群）目標画素［I(i,j)｜(i,j) ∈追尾ゲート内画素≧Imax−ΔImaxである画素］数, θnPP はピーク点（群）目標画素数上限値である。

(3) ピーク点と第２ピーク点の輝度差
nPLD ＝１＠ εPLD ≦θPLD
＝０＠ εPLD ＞θPLD
εPLD ＝μ｛I(i,j)｜≧Imax−ΔImax, (i,j) ｜iP- ΔiP≦i ≦iP+ ΔiP,jP-ΔjP≦j ≦jP+ ΔjP｝- μ｛I(i,j)｜≧I2ndmax-ΔImax,(i,j)｜i2ndP-ΔiP≦i ≦i2ndP+ΔiP, j2ndP-ΔjP≦j ≦j2ndP+ΔjP｝
nPLD はピーク点（群）目標画素の輝度平均値と第２ピーク点（群）画素の輝度平均値の差に関する追尾成功確率，εPLD はピーク点（群）画素の輝度平均値と第２ピーク点（群）画素の輝度平均値の差を表し，I2ndmax は第２ピーク点の輝度（第２ピーク点は第１ピーク点の周囲ΔiP，ΔjPより外),(i2ndP,j2ndP) は第２ピーク点座標，θPLD はピーク点（群）画素の輝度平均値と第２ピーク点（群）画素の輝度平均値の差に関する閾値である。

(4) ピーク点輝度のフレーム間揺らぎ
pPLP ＝１＠ εPLP ≧θPLP
＝０＠ εPLP ＜θPLP
εPLP ＝μ( ［μ｛ I(i,j) ｜(i,j) ｜iP- ΔiP≦i ≦iP+ ΔiP,jP-ΔjP≦j ≦jP+ ΔjP｝(f) ｜f:fP- Δf 〜fP］- ［μ｛I(i,j)｜(i,j) ∈追尾ゲート内画素｝(f) ｜f:fP- Δf 〜fP］) ／σ［μ｛ I(i,j) ｜(i,j) ｜iP- ΔiP≦i ≦iP+ ΔiP,jP-ΔjP≦j ≦jP+ ΔjP｝(f) ｜f:fP- Δf 〜fP］
上記式において，pPLPはピーク点（群）画素輝度平均値のフレーム間揺らぎに関する追尾成功確率，εPLP は背景輝度平均値基準ピーク点（群）画素輝度平均値のフレーム間平均値に対するピーク点（群）画素輝度平均値のフレーム間標準偏差，θPLP はピーク点（群）画素輝度平均値のフレーム間揺らぎに関する閾値を表す。

(5) 追尾誤差のフレーム間揺らぎ
pTEp ＝１＠ εTEp ≧θTEp
＝０＠ εTEp ＜θTEp
pTEpは面積重心点追尾における追尾誤差のフレーム間揺らぎに関する追尾成功確率である。

εTEp ＝σ｛TEp(f)｜f:fP- Δf 〜fP｝/dTG
σ｛TEp(f)｜f:fP- Δf 〜fP｝は，第fP−Δf フレーム〜第fPフレームでの追尾誤差TEp(f)の標準偏差［pix rms ］（水平成分と垂直成分の各々について）を表し，dTG は追尾ゲートの寸法 ［pix ］（水平成分と垂直成分の各々について），θTEp はピーク点追尾方式における追尾誤差のフレーム間揺らぎに関する閾値である。

面積重心点追尾方式における追尾成功確率Ｐp として，上記(1) 〜(5) 項に挙げた成分pPCR,pnPP ，pPLD，pPLP,pTEp とし，各々に対して設定される重み付け係数としてｗPCR,wnPP，wPLD，wPLP,wTEp を設定し，次式のようにPp（ピーク点追尾方式による追尾成功確率）の計算をする。但し，ｗPCR+wnPP+wPLD +wPLP+wTEp＝1 とする。

Pp＝ｗPCR ・pSCR+wnPP ・pnPP+wPLD ・pPLD +wPLP・pPLP+wTEp ・pTEp
図５，図６は相関追尾方式による処理領域と画像の例（その１），（その２）を示す図である。上記図２の処理領域指定視軸中心画像抽出部２２において抽出された視軸中心画像について，相関点追尾判定用特徴量算出処理部２５ａで相関追尾判定用の特徴量を算出処理し，相関点位置算出処理部２５ｂで相関点位置を算出する場合に，図５に示すように定義された処理領域を用いて実行される。

図５のＡ．は相関追尾方式において使用するレファレンス設定時の基準ゲート設定／基準画像取り込み時の画面である。Ａ．において，５０は画面，５１は追尾の対象となる基準画像（レファレンス）を含む矩形の領域である基準ゲート，５２は基準画像の輪郭を含むインナ・ゲート，５３は基準ゲート５１内のインナ・ゲート５２を除いた領域であるアウタ・ゲートである。このＡ．の画面で基準ゲート５１がマニュアルで設定されると，Ｂ．に示すように基準ゲート内の基準画像がレファレンスとして自動保存される。続いて相関追尾方式による追尾に移行すると，画面内の基準ゲート５１の領域をサーチエリア（幅Ｗsa×高さＨsa) として，その領域内の各座標を中心座標とするサーチエリアと同じ領域を走査してそれぞれをテンプレート画像として得る。図５のＤ．に示すａ〜ｅは，基準ゲート５１の左上端の位置を座標（０，０）として，各座標（０，０），（１，０），（Ｗsa/2，Ｈsa/2),( Ｗsa/2，Ｈsa),( Ｗsa，Ｈsa) をそれぞれの中心座標とするテンプレート画像である。各座標におけるテンプレート画像と基準画像との相関係数を求める（上記図２の相関点追尾判定用特徴量算出処理部２５ａと相関点位置算出処理部２５ｂによる）。図５のＤ．のｆはこのようにしてテンプレート中心座標に対する相関係数が同じ値のものを線図として表した相関係数マップであり，座標は各テンプレート画像の中心座標に対応する。

追尾対象となる画像が移動により追尾誤差が発生した例を図６のＥ．に示す。この場合図５のＡ．やＣ．に示す基準画像が左上の方向に少し移動している。このように移動すると，基準画像（レファレンス）との間で追尾誤差が発生し，図６のＦ．に示すように相関係数マップが図５のＤ．のｆに対して相関係数の中心位置が左上に移動する。この追尾誤差を０にするようカメラの向きの修正が行われると，図６のＧ．のような画面が得られ，その時の相関係数マップが図６のＨ．のように得られる。

３．相関追尾方式(Correlation Tracking)に関しては以下の(1) 〜(5) の計算による追尾成功確率を用いる。なお，これらの中の(1) 〜(4) の計算は上記図２の相関点追尾判定用特徴量算出処理部２５ａで行い，(5) の計算は相関点位置算出処理部２５ｂで行う。

(1) 相関係数の極大値と平均値の差
pCC ＝１＠εCC ≧θCC
＝０＠εCC ＜θCC
εCC＝(CCmax -μ｛CC(i,j) ｜(i,j) ∈サーチ・エリア内座標｝)/σ｛CC(i,j) ｜(i,j) ∈サーチ・エリア内座標｝
上記式において，pCC はサーチ・エリア内相関係数標準偏差で規格化した相関係数の極大値と平均値の差に関する追尾成功確率，εCCはサーチ・エリア内相関係数標準偏差で規格化した相関係数の極大値と平均値の差，CCmax は相関係数極大値，CC(i,j) は画面内座標(i,j) の相関係数，θCCはサーチ・エリア内相関係数標準偏差で規格化した相関係数の極大値と平均値の差に関する閾値である。

(2) 相関係数極大点とその隣接画素とでの相関係数差
pCCD＝１＠εCCD ≧θCCD
＝０＠εCCD ＜θCCD
εCCD ＝μ｛G(n)｝
G() ＝(CCmax- μ｛CC(i,j) ｜(i,j) ∈極大点座標の１重隣接画素（８画素）の座標｝) ／σ｛CC(i,j) ｜(i,j) ∈サーチ・エリア内座標｝
G(2)＝(CCmax- μ｛CC(i,j) ｜(i,j) ∈極大点座標の２重隣接画素（２４画素）の座標−μ｛CC(i,j) ｜(i,j) ∈極大点座標の２重隣接画素（２４画素）の座標｝）／σ｛CC(i,j) ｜(i,j) ∈サーチ・エリア内座標｝
上記式において，pCCDはサーチ・エリア内相関係数偏差で規格化した相関係数極大点とその隣接画素とでの相関係数差に関する追尾成功確率，G() はサーチ・エリア内相関係数標準偏差で規格化した相関係数極大点とその隣接画素とでの相関係数差，G(2)はサーチ・エリア内相関係数標準偏差で規格化した相関係数極大点とその隣接画素とでの相関係数差であり，ｎ＝１の時，隣接画素数３×３−１（極大画素数）＝８画素，ｎ＝２の時，隣接画素数５×５−１＝２４画素，……。θCCD はサーチ・エリア内相関係数標準偏差で規格化した相関係数極大点とその隣接画素とでの相関係数差に関する閾値を表す。

(3) 相関係数極大値と相関係数第２極大値の差
pCC12 ＝１＠ εCC12 ≧θCC12
＝０＠ εCC12 ＜θCC12
εCC12＝(CCmax- CC2ndma)／σ｛CC(i,j) ｜(i,j) ∈サーチ・エリア内座標｝
上記式において，pCC12 はサーチ・エリア内相関係数標準偏差で規格化した相関係数極大値と相関係数第２極大値の差に関する追尾成功確率，εCC12はサーチ・エリア内相関係数標準偏差で規格化した相関係数極大値と相関係数第２極大値との差，CC2ndma は相関係数第２極大値, θCC12はサーチ・エリア内相関係数標準偏差で規格化した相関係数極大値と相関係数第２極大値の差に関する閾値を表す。

(4) レファレンス画像とテンプレート画像の平均勾配強度
画像の平均勾配強度とは以下のように定義される指標である。

F(i,j)＝( ΣG(i,j)＿in)/N ＿in・（ΣG(i,j)＿out)/N＿out
G(i,j)＝G ＿h(i,j)+G＿v(i,j)
G ＿h(i,j)＝abs ｛R(i,j)-R(i+1,j)
G ＿v(i,j)＝abs ｛R(i,j)-R(i,j+1)
上記式において，F(i,j)は中心座標(i,j) のテンプレート画像あるいは, レファレンス画像に対する平均勾配強度，G(i,j)＿inは中心座標(i,j) のインナ・ゲートの隣接画素間の輝度レベルの差，G(i,j)＿out は中心座標(i,j) のアウト・ゲートの隣接画素間の輝度レベルの差，G(i,j)は隣接画素間の輝度レベルの差，G ＿h(i,j)は隣接画素間の輝度レベルの差（水平成分），G ＿v(i,j)は中心座標(i,j) のアウト・ゲートの隣接画素間の輝度レベルの差（垂直成分），R(i,j)はレファレンス画像あるいは相関係数が極大のテンプレート画像の画素(i,j) における輝度レベル，N ＿inはインナ・ゲート内画素数，N ＿out はアウタ・ゲート内画素数を表す。

このような平均勾配強度に対して
pAGS ＝１＠ εAGS ≧θAGS
＝０＠ εAGS ＜θAGS
εAGS ＝F(iR,jR)
pAGSは平均勾配強度に関する追尾成功確率，εAGS はレファレンス（基準）画像取得時における中心座標(iR,jR) の基準ゲートの平均勾配強度（＠基準画像取得時），F(iCCP,JCCP)は相関係数が極大のテンプレート［中心座標(iCCP,jCCP) ］の平均勾配強度（＠追尾時），θAGS は平均勾配強度に関する閾値を表す。

(5) 追尾誤差のフレーム間揺らぎ
pTEcr ＝１＠ εTEcr ≧θTEcr
＝０＠ εTEcr ＜θTEcr
εTEcr＝σ｛TEcr(f) ｜f:fP- Δf 〜fP｝/dSA
上記式において，pTEcr は相関追尾における追尾誤差のフレーム間揺らぎに関する追尾成功確率，σ｛TEcr(f) ｜f:fP- Δf 〜fP｝／dSA は第fp- Δf 〜第fpフレームでの追尾誤差TEcr(f) の標準偏差［pix rms ］（水平成分と垂直成分の各々について），dSA はサーチ・エリアの寸法［pix ］（水平成分と垂直成分の各々について），θTEcrは相関追尾方式における追尾誤差のフレーム間揺らぎに関する閾値を表す。

追尾相関方式における追尾成功確率Pcr として，(1) 〜(5) 項に挙げた成分pCC,pCCD，pCC12,pAGS,pTEcrと，各々に対して設定される重み付け係数wCC,wCCD,wCC12,wAGS,wTEcr を用いて次式の計算をする。

Pcr ＝wCC ・pCC+wCCD・pCCD+wCC12・pCC12+wAGS・pAGS+wTEcr・pTEcr
但し, wCC+wCCD+wCC12+wAGS+wTEcr ＝１である。

ここで，Pc（面積重心点追尾方式による追尾成功確率）またはPp（ピーク点追尾方式による追尾成功確率）が
Pc・Pcr ≧ΔP またはPp−Pcr ≧ΔP ，または
Pc/ Pcr ≧rPまたはPp/Pcr≧rP
である場合，面積重心点追尾方式またはピーク点追尾方式によって算出された追尾点を中心とする基準ゲートによって現フレームから切出した画像で，相関追尾方式の基準画像を更新することも可能とする。

ここで，ΔP は相関追尾方式の基準画像更新をする追尾成功確率の他方式との差異,rP は相関追尾方式の基準画像更新をする追尾成功確率の他方式との比を表す。

上記の１．の面積重心点追尾方式，２．のピーク点追尾方式，３．の相関追尾方式のそれぞれにおいて得られた３つの追尾方式の各追尾成功確率Pc，Pp，Pcr 及び各方式により得られた面積重心点位置，ピーク点位置，及び相関点位置のデータは，図２の最適追尾方式選択・追尾点算出部２６へ入力される。ここで，最適追尾方式選択手段２６ａで各追尾成功確率Pc，Pp，Pcr の中で最も高い確率の追尾方式を判別して選択し，選択した追尾方式の種別を追尾点算出手段２６ｂに出力すると，追尾点算出手段２６ｂは選択した追尾方式に対応する面積重心点位置，ピーク点位置，及び相関点位置の何れかを選択して，追尾点（位置）を算出し，追尾誤差値算出部２７に供給する。追尾誤差値算出部２７は供給された追尾点に基づいて視軸中心からの追尾誤差を算出し，算出した追尾誤差値をジンバル制御部２０ｅに供給する。ジンバル制御部２０ｅは，入力された追尾誤差値に対応する視軸指向速度指令を生成し，ジンバル部２０ｂに出力し，ジンバル部２０ｂは入力した視軸指向速度指令に基づいてビデオカメラの視軸を駆動する。なお，ジンバル部２０ｂの視軸の駆動に伴いジンバルの角速度センサ２０ｃから発生するジンバルの角速度を表す信号は角速度保持部２０ｄに保持され，ジンバル制御部２０ｅに供給される。

図７は追尾方式の選択の例を示す。上記図２の最適追尾方式選択・追尾点算出部２６の最適追尾方式選択手段２６ａにおいて最適追尾方式を判定する場合，ピーク点追尾方式，面積重心点追尾方式，相関追尾方式の３つの各追尾成功確率の数値が高い場合は「◎」，普通の値（高くも低くもない値）の場合は「○」，低い値の場合は「×」として表示し，各方式の評価（追尾成功確率の数値）結果の組み合わせに対して，追尾方式の選択結果の例とそれぞれの特徴が示されている。なお，追尾方式の選択結果の「Ｐ」はピーク点追尾方式，「Ｇ」は面積重心点追尾方式，「Ｃ」は相関追尾方式を表し，「＋」は追尾成功確率が「○」として評価された方式を選択可能として表示したものである。図７の左端の列のピーク点追尾方式（Ｐ）が「◎」，面積重心点追尾方式（Ｇ）が「○」，相関追尾方式（Ｃ）が「○」の場合，は「Ｐ」が選択され，「Ｇ」と「Ｃ」も選択が可能であることを示し，この特徴の欄の「適合ゲート」は面積重心点追尾ができる場合で，目標の一定領域の形状が発生することで目標に適合するゲートが得られることを表し，「相関更新」は相関追尾をとった場合に最新のレファレンスに更新（例えば，一定時間毎等）することができることを表す。

（付記１） カメラ等により撮像された画像データから目標領域を抽出しその視野中心画像を抽出して，面積重心点追尾方式による追尾点計算部と，ピーク点追尾方式による追尾点計算部と，相関追尾方式による追尾点計算部とを備え，前記各追尾方式に対応した複数の成分の追尾成功確率を算出する手段を備え，前記各追尾方式に対応したそれぞれ複数の追尾成功確率の成分に対して重み付けの係数を乗算して各乗算結果を加算する手段と，各追尾方式の加算結果を比較して最も高い値となる追尾方式を判別して選択する自動追尾方式選択判定処理部と，選択した追尾方式による追尾誤差値を出力する手段と，前記追尾誤差値により追尾制御を行うことを特徴とするマルチモード追尾方式。

（付記２） 付記１において，前記面積重心点追尾方式の追尾成功確率の成分として，｛（目標画素輝度平均値)-( ２値化閾値）｝/(追尾ゲート内背景画素輝度標準偏差）が閾値を越えている場合は１００％，越えていない場合は０％とするマルチモード追尾方式。

（付記３） 付記１において，前記面積重心点追尾方式の追尾成功確率の他の成分として，（目標画素数）／（追尾ゲート内画素数）が設定値内に収まっている場合１００％，設定値を越える場合は０％とし，（連続Ｎフレームでの目標画素数標準偏差）／（連続Ｎフレームでの目標画素数平均値）が設定値以下である場合１００％，設定値を越えている場合は０％とすることを特徴とするマルチモード追尾方式。

（付記４） 付記１において，前記面積重心点追尾方式の追尾成功確率の他の成分として，（連続Ｎフレームでの追尾誤差の標準編集）／（追尾ゲートサイズ）が設定値以下である場合１００％，設定値を越える場合は０％とすることを特徴とするマルチモード追尾方式。

（付記５） 付記１において，面積重心点追尾方式の全体の追尾成功確率をＰ＿１とし，付記２の成分をｐ１，付記３の２つの成分をそれぞれｐ２，ｐ３，付記４の成分をｐ４として，それぞれに対して重み付け係数ｗ１，ｗ２，ｗ３，ｗ４（但し，ｗ１＋ｗ２＋ｗ３＋ｗ４＝１）を設定し，Ｐ＿１＝ｗ１・ｐ１＋ｗ２・ｐ２＋ｗ３・ｐ３＋ｗ４・ｐ４を求めることを特徴とするマルチモード追尾方式。

（付記６） 付記１において，ピーク点追尾方式の追尾成功確率の成分として，｛（ピーク点（群）画素輝度平均値)-( 背景画素輝度平均値）｝/(背景画素輝度標準偏差）が閾値を越えている場合は１００％，越えてない場合０％とすることを特徴とするマルチモード追尾方式。

（付記７） 付記１において，ピーク点追尾方式の追尾成功確率の他の成分として，（ピーク点（群）目標画素数）が閾値を越えていない場合は１００％，越えている場合０％とし，（ピーク点（群）画素輝度平均値)-( 第２ピーク点（群）画素輝度平均値）｝/(背景画素輝度標準偏差）が閾値を越えている場合は１００％，越えていない場合０％とすることを特徴とするマルチモード追尾方式。

（付記８） 付記１において，ピーク点追尾方式の追尾成功確率の他の成分として，｛連続Ｎフレームでの〔ピーク点（群）画素輝度平均値〕−〔背景画素輝度平均値〕の平均値｝／（連続Ｎフレームでのピーク点（群）画素輝度標準偏差）が閾値を越える場合１００％，閾値を越えない場合０％とすることを特徴とするマルチモード追尾方式。

（付記９） 付記１において，ピーク点追尾方式の追尾成功確率の他の成分として，（連続Ｎフレームでの追尾誤差の標準偏差）／（追尾ゲートサイズ）が設定値以下である場合１００％，設定値を越える場合０％とすることを特徴とするマルチモード追尾方式。

（付記１０） 付記１において，ピーク点追尾方式の全体の追尾成功確率をＰ＿２とし，付記６に記載の追尾成功確率の成分をｐ１，付記７に記載の追尾成功確率の２つの成分をそれぞれｐ２，ｐ３，付記８に記載の成分をｐ４，付記９の成分をｐ５として，それぞれに対して重み付け係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５（但し，ｗ１＋ｗ２＋ｗ３＋ｗ４＋ｗ５＝１）を設定し，Ｐ＿２＝ｗ１・ｐ１＋ｗ２・ｐ２＋ｗ３・ｐ３＋ｗ４・ｐ４＋ｗ５・ｐ５を求めることを特徴とするマルチモード追尾方式。

（付記１１） 付記１において，相関追尾方式の追尾成功確率成分として，｛（相関係数極大値）−（サーチ・エリア内相関係数平均値）｝/(サーチ・エリア内相関係数標準偏差）が閾値を越えている場合１００％，越えていない場合０％とすることを特徴とするマルチモード追尾方式。

（付記１２） 付記１において，相関追尾方式の追尾成功確率の他の成分として，｛（相関係数極大値）−（ｎ隣接画素相関係数平均値）／（サーチ・エリア内相関係数標準偏差）が閾値を越えている場合１００％，越えていない場合０％とすることを特徴とするマルチモード追尾方式。

（付記１３） 付記１において，相関追尾方式の追尾成功確率の他の成分として，｛（相関係数極大値）−（相関係数第２極大値）／（サーチ・エリア内相関係数標準偏差）が閾値を越えている場合１００％，越えていない場合０％とし，基準画像取得時のレファレンス（基準）画像の平均勾配強度及び追尾時の相関係数が極大となるテンプレートの平均勾配強度が閾値を越えている場合１００％，越えてない場合は０％とすることを特徴とするマルチモード追尾方式。

（付記１４） 付記１において，相関追尾方式の追尾成功確率の他の成分として，（連続Ｎフレームで追尾誤差の標準偏差）／（追尾ゲートサイズ）が設定値以下である場合１００％，設定値を越える場合０％とすることを特徴とするマルチモード追尾方式。

（付記１５） 付記１において，相関追尾方式の全体の追尾成功確率をＰ＿３とし，付記１１に記載の成分をｐ１，付記１２に記載の成分をｐ２，付記１３に記載の成分をｐ３，ｐ４，付記１４に記載の成分をｐ５とし，それぞれに対して重み付け係数ｗ１，ｗ２，ｗ３，ｗ４，ｗ５（但し，ｗ１＋ｗ２＋ｗ３＋ｗ４＋ｗ５＝１）を設定し，Ｐ＿３＝ｗ１・ｐ１＋ｗ２・ｐ２＋ｗ３・ｐ３＋ｗ４・ｐ４＋ｗ５・ｐ５を求めることを特徴とするマルチモード追尾方式。

本発明の原理構成を示す図である。 実施例の構成を示す図である。 面積重心点追尾方式による処理領域と画像の例を示す図である。 ピーク点追尾方式による処理領域と画像の例を示す図である。 相関追尾方式による処理領域と画像の例（その１）を示す図である。 相関追尾方式による処理領域と画像の例（その２）を示す図である。 各追尾方式毎の判定結果と選択の例を示す図である。

符号の説明

１０ 対象画像抽出部
１１ａ 面積重心点特徴量計算部
１１ｂ 面積重心点追尾点計算部
１２ａ ピーク点特徴量計算部
１２ｂ ピーク点追尾点計算部
１３ａ 相関追尾特徴量計算部
１３ｂ 相関追尾点計算部
１４ 自動追尾方式選択判定処理部
１５ 追尾点（追尾誤差値）出力

Claims (4)

1. カメラ等により撮像された画像データから目標領域を抽出しその視野中心画像を抽出して，面積重心点追尾方式による追尾点計算部と，ピーク点追尾方式による追尾点計算部と，相関追尾方式による追尾点計算部とを備え，
   前記各追尾方式に対応した複数の成分の追尾成功確率を算出する手段を備え，
   前記各追尾方式に対応したそれぞれ複数の追尾成功確率の成分に対して重み付けの係数を乗算して各乗算結果を加算する手段と，各追尾方式の加算結果を比較して最も高い値となる追尾方式を判別して選択する自動追尾方式選択判定処理部と，選択した追尾方式による追尾誤差値を出力する手段と，前記追尾誤差値により追尾制御を行うことを特徴とするマルチモード追尾方式。
2. 請求項１において，
   前記面積重心点追尾方式の追尾成功確率の成分として，
   ｛（目標画素輝度平均値)-( ２値化閾値）｝/(追尾ゲート内背景画素輝度標準偏差）
   が閾値を越えている場合は１００％，越えていない場合は０％とすることを特徴とするマルチモード追尾方式。
3. 請求項１において，
   ピーク点追尾方式の追尾成功確率の成分として，
   ｛（ピーク点（群）画素輝度平均値)-( 背景画素輝度平均値）｝/(背景画素輝度標準偏差）
   が閾値を越えている場合は１００％，越えていない場合０％とすることを特徴とするマルチモード追尾方式。
4. 請求項１において，
   相関追尾方式の追尾成功確率成分として，
   ｛（相関係数極大値）−（サーチ・エリア内相関係数平均値）｝/(サーチ・エリア内相関係数標準偏差）
   が閾値を越えている場合１００％，越えていない場合０％とすることを特徴とするマルチモード追尾方式。

Images