JP2006279890A - 相関追尾方法および相関追尾装置 - Google Patents

Abstract

【課題】 相関追尾方式が採用された相関追尾装置において、追尾に関する各種判定を高い精度で行うことを可能とした相関追尾方法を提供することである。
【解決手段】 本発明の相関追尾方法は、相関性に基づいて基準画像をコンピュータが追尾する相関追尾方法において、取り込まれた画像から抽出された中心画像の、前記コンピュータの記憶部に保持される基準画像に対する画質情報を画像状態指標として算出し、指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出し、算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出し、前記算出された各指標が適正値の範囲内にあるかを判定し、前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する、ことを特徴とする。
【選択図】図１

Description

本発明は、相関性に基づいて基準画像を追尾する相関追尾方法および相関追尾装置に関する。

追尾対象に対して、マルチモードで追尾を行うシステムがある。このようなシステムでは、マルチモード中の最適なモードに切り替えて追尾を行っている。
例えば特許文献１には、３つ以上の追尾方式を並行して用いることで、追尾安定性を得ることを目的とするマルチモード追尾方式が開示されている。

このマルチモード追尾方式は、カメラ等により撮像された画像データから抽出された目標領域中の視野中心画像に基づいて、面積重心点追尾方式を用いて追尾点を算出する追尾点算出部と、ピーク点方式を用いて追尾点を算出する追尾点算出部と、相関追尾方式を用いて追尾点を算出する追尾点算出部と、各追尾方式に対応して複数の成功確率の成分を算出する手段と、各追尾方式に対応したそれぞれ複数の追尾成功確率の成分に対して重み付け係数を乗算して各乗算結果を加算する手段と、各追尾方式の加算結果を比較し、最も高い値となる追尾方式を使用する追尾方式として選択する追尾方式選択判定処理部と、を備える。そして、選択した追尾方式の追尾誤差値を用いて追尾制御を行う。
特開平９−１３０７８４号公報

相関追尾モードの切替については、完全な一致点を追尾点とするのではなく、一番相関度が高い点を追尾点とするため、目標以外のものを追尾してしまうことがあり、切替判定が難しいという問題がある。

本発明の課題は、相関追尾方式が採用された相関追尾装置において、追尾に関する各種判定を高い精度で行うことを可能とした相関追尾方法および相関追尾装置を提供することである。

本発明の第１態様の相関追尾方法は、相関性に基づいて基準画像をコンピュータが追尾する相関追尾方法において、取り込まれた画像から抽出された中心画像の、前記コンピュータの記憶部に保持される基準画像に対する画質情報を画像状態指標として算出し、指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出し、算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出し、前記算出された各指標が適正値の範囲内にあるかを判定し、前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する、ことを特徴とする相関追尾方法である。

ここで、第１態様の相関追尾方法によれば、取り込まれた画像から抽出された（視野）中心画像の基準画像に対する画質情報や、算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からの（複数の）ずれ量を算出することで、追尾状態を定量化している。そして、画質情報や（複数の）ずれ量によって示される各指標が適正範囲内にあるかどうかを判定し、それらに各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定しているので、追尾に関する各種判定を高い精度で行うことが可能となる。

本発明の第２態様の相関追尾装置は、相関性に基づいて基準画像を追尾する相関追尾装置において、取り込まれた画像から抽出された中心画像の、前記基準画像に対する画質情報を画像状態指標として算出する画像状態指標算出部と、指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出する相関係数値算出部と、算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出する追尾状態指標算出部と、前記算出された各指標が適正値の範囲内にあるかを判定する判定部と、前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する決定部とを備えることを特徴とする相関追尾装置である。

装置においても方法同様の作用・効果が実現できることは言うまでもない。

本発明によれば、画質情報や（複数の）ずれ量によって示される各指標が適正範囲内にあるかどうかを判定し、それらに各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定しているので、追尾に関する各種判定を高い精度で行うことが可能となる。

以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
図１は、本発明の一実施形態の相関追尾装置の構成を示すブロック図である。
図１において、相関追尾装置は、映像を取り込むビデオ・カメラ（撮像部）１１、ビデオ・カメラ１１からの映像信号データ（アナログ値）をディジタル値に変換するＡ／Ｄ変換部１２、取り込まれた画像中に処理領域（サーチエリア）を指定する処理領域指定部１３、取り込まれた画像から中心画像（視軸中心画像）を抽出する中心画像抽出部１４、取り込まれた画像中から追尾対象を特定するためのレファレンス画像（基準画像）１６を指定できるユーザインターフェイスとしてのレファレンス画像更新部（レファレンス画像指定部）１５、取り込まれた画像から抽出された中心画像の、レファレンス画像１６に対する勾配強度を画像状態指標（第４追尾状態指標）として算出する第４追尾状態指標算出部２４、指定された処理領域を走査して得られる対象画像とレファレンス画像１６との相関係数値を順次算出する相関係数値算出部１７、算出された各相関係数値の極値点から追尾点を特定する追尾点特定部１８、算出された各相関係数値に基づいて、追尾対象（目標）を示すピークの平均値からのずれを算出する第１追尾状態指標算出部２１、算出された各相関係数値に基づいて、追尾対象を示すピーク近傍の急峻さを算出する第２追尾状態指標算出部２２、算出された各相関係数値に基づいて、追尾対象を示すピーク（第１候補）と２番目に大きいピーク（第２候補）との差を算出する第３追尾状態指標算出部２３、算出された第１、第２、第３、および、第４追尾指標が適正値の範囲内にあるかをそれぞれ判定する第１判定部２５、第２判定部２６、第３判定部２７、および、第４判定部２８、第１、第２、第３、および、第４追尾指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する決定部３１、ビデオ・カメラを動かす機構としてのジンバル部に関わる各部、を備える。

第１追尾状態指標、第２追尾状態指標、第３追尾状態指標、第４追尾状態指標がそれぞれ適正範囲にあるかの判定は、第１判定部２５、第２判定部２６、第３判定部２７、第４判定部２８でそれぞれ行われるが、各判定部において用いられる各指標に対する適正値の範囲としては、上記レファレンス画像１６の更新時から所定時間以内の上記各指標（第１追尾状態指標、第２追尾状態指標、第３追尾状態指標、第４追尾状態指標）の変化した範囲が上記各判定部に動的に設定される。すなわち、設定された所定時間以内の各指標の変化範囲は、対応する指標の適正範囲として、各判定部での判定に用いられる。

決定部３１は、例えば、算出された勾配強度（第４追尾状態指標）が適正範囲外にあると判定され、かつ、第１、第２、および、第３の追尾状態指標の少なくとも１つが適正範囲にあると判定された場合に、レファレンス画像１６を更新すると決定する。

また、決定部３１は、例えば、第１、第２、第３、および、第４の追尾状態指標のいずれかが適正範囲外にある場合に、追尾をコースト状態で行うと決定し、その適正範囲外にあった追尾状態指標が適正範囲内に復帰し、かつ、残りの各指標の少なくとも１つが適正範囲内にある場合に、コースト状態を通常の追尾状態に戻すと決定する。

また、決定部３１は、例えば、第１、第２、第３、および、第４の追尾状態指標がすべて適正範囲外にある場合に、追尾をブレークすると決定する。
以下、本実施形態の相関追尾装置の動作について説明する。

まず、ビデオ・カメラ１１により映像信号データ（アナログ値）が取り込まれる。その取り込まれたアナログ値の映像信号データはＡ／Ｄ変換部１２を介してディジタル値の映像信号データに変換される。

追尾開始時や、決定部３１によってレファレンス画像を更新する決定がなされた場合は、レファレンス画像更新部１５が起動され、ユーザに取り込んだ画像中から追尾対象を含む画像をレファレンス画像として指定するように促す画面が表示される。

ユーザが指定作業を行う端末の画面には、例えば図２に示すような追尾対象５２を含む画面５１が提示され、ユーザは所定の操作を行い、その画面５１上で、追尾対象５２を含む矩形領域（基準ゲート）５３を指定する。

なお、相関追尾装置は、追尾対象を毎回中心にとらえるように、ビデオ・カメラ１１の指向速度を制御しているが、レファレンス画像の設定・更新時から一定時間以上経過した場合、取り込んだ画像の中心部から追尾対象がずれてしまう場合がある。このような追尾対象の中心部からのずれを定量的に求めるために、通常、基準ゲート５３内にインナーゲート（矩形領域）５４をさらに設け、そのインナーゲート５４の外側で、基準ゲート５３の内側にある領域をアウターゲートとして、画質判定時などにインナーゲート５４の各画素で算出した値とアウターゲートの各画素で算出した値との差をとるようにしている。

ユーザによって指定された基準ゲート内の画像は、レファレンス画像１６として記憶部（不図示）内に保持される。
処理対象指定部１３は、指定された基準ゲートに基づいて処理領域を指定する。例えば図２の画面６１では、基準ゲートと同じ形状、大きさのテンプレート（矩形領域）を、そのテンプレートの中心点が基準ゲート（矩形領域）の左上から右下の点までを走査するようにして処理領域（サーチエリア）を指定している。

このようにすれば、基準ゲートの各点に対応するテンプレート（対象画像）と基準ゲート内のレファレンス画像との相関係数値を、その基準ゲート内の各点にマッピングすることが可能となるが、そのようにしてマッピングをしたものを、相関係数マップ７１と呼んでいる。相関係数マップを、基準ゲートを設定したのと同じ画像で作成すれば、原点に対応するテンプレートと基準ゲートとは一致するので、原点において相関度の極大点を持つ相関係数マップが得られる。

相関係数値算出部１７は、指定された処理領域を走査して得られる対象画像とレファレンス画像１６との相関係数値を順次算出するが、その計算式を以下に示す。
レファレンス画像と、中心点が(m, n)で与えられる対象画像との相関係数値corr(m, n)（差相関とも呼ばれる）は次式で表される。
corr(m, n) = 1/(rclm・rlin)Σ_|i|≦rclm/2Σ_|j|≦rlin/2 abs((refimg(i, j) − ref_mean) − (inimg(i+m, j+n) − (trg_mean(m, n)))
上式の右辺の各変数の意味は以下のようである。
rclm, rlin ・・・ レファレンス画像サイズ
(i, j)または(i+m, j+n) ・・・ レファレンス画像または対象画像上のサーチ位置
ref_meanまたはtgt_mean ・・・ レファレンス画像または対象画像内輝度平均値
ここで、ref_mean, tgt_meanは、以下の式でそれぞれ与えられる。
ref_mean = 1/(rclm・rlin) Σ_|i|≦rclm/2Σ_|j|≦rlin/2 refimg(i, j)
tgt_mean = 1/(rclm・rlin) Σ_|i|≦rclm/2Σ_|j|≦rlin/2 inimg(i+m, j+n)
上式の右辺の各変数の意味は以下のようである。
ref_mean, tgt_mean ・・・ レファレンス画像内または対象画像内の各画素位置の輝度
なお、相関係数として差相関を用いたことから、相関係数マップのピークが０（ゼロ）に近いほど比較対象画像間の相関度は高くなる。すなわち、この場合、相関マップ内の極小値のうちで、最小の値を持つものが目標とするピーク（第１候補）となり、２番目に小さい値を持つものが第２候補となる。

追尾点特定部１８は、算出された各相関係数値（相関係数マップ）の極値点から追尾点を特定する。この追尾点特定部１８の処理を図２を参照してより具体的に説明する。
図２において、画面６２は、例えば、レファレンス画像が更新されてから少し後の時刻で取り込まれた画像を示すものとする。

この画面６２に対して、相関係数値算出部１７により相関係数マップを算出すると、図２に示すように、元の画面６２内で追尾対象が左上に若干移動したことに対応して、原点の少し左上に相関度の極大点を持つ相関係数マップ７２が作成される。

相関係数マップ７２の極大点についての情報は、追尾点特定部１８から追尾誤差値算出部３２に渡される。
追尾誤差算出部３２は、相関マップの極大点を原点に戻した場合の差分（追尾誤差値）を算出するが、決定部３１から追尾をやめる（追尾をブレークする）ことを決定した情報を入力しない限り、ビデオ・カメラ１１を動かす機構であるジンバル部３６を制御するジンバル制御部３３にその算出した追尾誤差値を渡す。

ジンバル制御部（ジンバル駆動信号生成部）３３は、ジンバル角速度センサ３５から取得したジンバルの角速度（視軸指向速度）が保持される角速度保持部３４からジンバル角速度を取得し、追尾誤差値を加味して、角速度の差分を算出し、その算出結果を視軸指向速度としてジンバル部（視軸駆動装置）３６に通知する。

このような指向速度の調整の結果として、次回取り込まれる画像として、例えば図２の画像６２ように、追尾対象が中心に位置するような画像が得られる。この画像６３に対応する相関係数マップ７３では、相関度の極大点が中心点に一致している。

本実施形態においては、追尾状態を判定する指標として、相関係数マップのピークの形状についての情報を示す３つの指標（第１、第２、および、第３追尾状態指標）と、取り込んだ画像の中心画像の画質についての情報を示す１つの指標（第４追尾状態指標）とを用い、それら４指標中の少なくとも２指標を用いて、決定部３１において、通常の追尾状態からコースト状態への遷移、コースト状態から通常の追尾状態への復帰、追尾をブレークするかどうかの判定、レファレンス画像を更新するかどうかの判定、を行っている。

ここで、相関係数マップのピークの形状についての情報とは、追尾対象を明確にとらえている場合のピーク形状からの「ずれ」を定量化して示した情報である。
本実施形態では、このような情報として、「ピークが１つの大きなピークである」、「ピークが適度な空間的広がりを持っている」、「ピーク周辺に同等な大きさのピークがない」の３つの情報を用いた。すなわち、ピークが１つの大きなピークでない場合、ピーク近傍が急峻でない場合、ピーク周辺に同等な大きさのピーク（第２候補）がある場合は、追尾対象への追尾が良好には行われていないものとした。

第１追尾状態指標は、上述の「ピークが１つの大きなピークである」か否かを判定する指標である。この指標は、以下の式により算出される。
第１指標＝（ｕｃ−Ｃ１）／σｃ
ここで、Ｃ１は相関係数ピーク値、ｕｃは相関係数サーチエリア内平均値、σｃは相関係数サーチエリア内標準偏差である。ｕｃ、σｃは次式で与えられる。
ｕｃ＝Σ［Ｘ］Σ［Ｙ］（Ｃｉｊ）／（Ｘ・Ｙ）（Ｃｉｊは座標（ｉ，ｊ）における相関係数、Ｘ，Ｙはサーチエリア内画素位置）
σｃ＝√［Σ［Ｘ］Σ［Ｙ］｛（Ｃｉｊ−ｕｃ）＾２｝／（Ｘ・Ｙ）］
この第１指標においては、目標のピーク（山）が相関係数全体の中でどのくらいの大きさかを目標のピークと相関係数の平均値との差をとることで定量化する。この第１指標が大きな値をとる場合は、図３（ａ）に示すように、大きな１つのピークを有する相関係数マップ・プロファイルが得られる。一方、この第１指標が小さい値をとる場合は、図３（ｂ）に示すように、目標とするピークと似たような値を持つピークが多数含まれる相関係数マップ・プロファイルが得られる。

続いて、第２追尾状態指標は、上述の「ピークが適度な空間的広がりを持っている」か否かを判定する指標である。この指標は、以下の式により算出される。
第２指標＝（Ｃ_ｎｅａｒ−Ｃ１）／σｃ
ここで、Ｃ１は相関係数ピーク値、Ｃ_ｎｅａｒは例えばピーク位置の画素（矩形）を中心位置に持つ７×７画素の矩形領域の淵部での相関係数値の平均値である。相関係数マップ・プロファイル内には、目標のピーク以外の極小ピークも図４に示すように多数存在するが、これらのピーク間の相違点としては、極小ピークが局所的に発生するのに対して、目標ピークは適度な空間的広がりを持つことが挙げられる。

すなわち、目標のピーク（画素）に対して相関係数値の値変化が急峻である淵部を適当な位置に設けることで、目標ピークに対して算出された第２指標の値を、他の極小ピークに対して算出された第２指標の値より大きくできる。

また、第３追尾状態指標は、上述の「ピーク周辺に同等な大きさのピークがある」か否かを判定する指標である。この指標は、以下の式により算出される。
第３指標＝（Ｃ２−Ｃ１）／σｃ
ここで、Ｃ１は相関係数ピーク値（第１候補）、Ｃ２は相関係数の極小値であって、その値が２番目に小さいものである。

この第３指標においては、目標のピーク（第１候補）と第２候補のピークとの差をとることで、相関追尾判定の困難度を定量化する。この第３指標が大きな値をとる場合は、図５からも分かるように、相関追尾判定が容易となり、また、この第３指標が小さな値をとる場合は、相関追尾判定が困難となる。

第４追尾状態指標は、第１〜第３追尾状態指標と異なり、取り込んだ画像から抽出した中心画像の画質を判定して、追尾可能かどうかの判断の一材料を提供している。この指標は、以下の式により算出される。
第４指標＝Ｆｔｇｔ／Ｆｒｅｆ
ここで、Ｆｔｇｔ、Ｆｒｅｆは、それぞれ抽出された中心画像とレファレンス画像とに対する平均勾配強度（Average Gradient Strength）である。平均勾配強度とは、各画素の隣の画素との間（水平方向：Ｈ，垂直方向：Ｖ）の差分の絶対値の累積値として、画像に対する強度を定義するものである。第４指標においては、抽出された中心画像の強度とレファレンス画像の強度との比を求め、その比が所定の範囲から外れた場合、画質劣化により追尾困難と判定している。

平均勾配強度Ｆの計算式を以下に示す。
Ｆ＝（Σ_ｉｎＧ（ｉ，ｊ））／Ｎ_ｉｎ−（Σ_ｏｕｔＧ（ｉ，ｊ））／Ｎ_ｏｕｔ
ここで、Σ_ｉｎＧ（ｉ，ｊ）は、インナーゲートの画素位置（ｉ，ｊ）に対してＧ（ｉ，ｊ）の総和をとること、Σ_ｏｕｔＧ（ｉ，ｊ）は、アウターゲートの画素位置（ｉ，ｊ）に対してＧ（ｉ，ｊ）の総和をとること、をそれぞれ示している。また、Ｎ_ｉｎは、インナーゲート内画素数、Ｎ_ｏｕｔは、アウターゲート内画素数をそれぞれ表す。

また、Ｇ（ｉ，ｊ）は下記式で与えられる。
Ｇ（ｉ，ｊ）＝｜Ｒ（ｉ，ｊ）−Ｒ（ｉ＋１，ｊ）｜＋｜Ｒ（ｉ，ｊ）−Ｒ（ｉ，ｊ＋１）｜（Ｒ（ｉ，ｊ）は、位置（ｉ，ｊ）での強度（輝度））
なお、第４指標は、抽出された（視野）中心画像の平均勾配強度のレファレンス画像の平均勾配強度に対する比であることから、その視野中心画像の画質状態指標を示すことは当然であるが、画質が劣化すると、追尾が困難になることを考慮すると、これは、追尾状態指標にもなり得る。

第１、第２、第３、および、第４（追尾状態）指標に対する適正値を得るために、図６に示すようなシミュレーションを行った。
図６のグラフ８１は、追尾対象が±１０％以内のサイズ変化をした場合に、各指標の値が変化した範囲を示すグラフである。このグラフ８１中、折れ線８５は、第１追尾状態指標の値変化を示し、折れ線８６は、第２追尾状態指標の値変化を示し、折れ線８７は、第３追尾状態指標の値変化を示し、また、折れ線８８は、第４追尾状態指標の値変化を示している。

このシミュレーション結果から例えば、第１追尾状態指標に対しては２．０以上を適正範囲とし、また、第２追尾状態指標に対しては１．５以上を適正範囲とし、また、第３追尾状態指標に対しては０．８以上を適正範囲とし、また、第４追尾状態指標に対しては−０．５以上１．５以下を適正範囲とすればよいことが分かる。

このシミュレーションと同様の機能を相関追尾装置上に設けるには、上述の±１０％以内のサイズ変化をレファレンス画像が設定・更新されてから所定時間以内での各指標の変化範囲に置き換えるようにすればよい。

そして、その所定時間経過時にそれら各指標の変化範囲を取得し、各判定部に閾値として動的に設定すればよい。
図６のグラフ９１、１０１、１１０には、上記グラフ８１の各指標を算出する際に用いられた、各変数の変化を示す折れ線が示されている。すなわち、グラフ９１には、目標ピーク値Ｃ１の変化を示す折れ線９５、第２候補のピーク値Ｃ２の変化を示す折れ線９６、相関係数サーチエリア内平均値の変化を示す折れ線９７が示され、グラフ１０１には、サーチエリア内の相関係数の標準偏差の変化を示す折れ線１０２が示され、グラフ１１１には、抽出された中心画像の平均勾配強度の変化を示す折れ線（レファレンス画像の平均勾配強度に対する相対値）１１３とレファレンス画像の平均勾配強度の変化を示す折れ線１１５が示される。

（付記１） 相関性に基づいて基準画像をコンピュータが追尾する相関追尾方法において、
取り込まれた画像から抽出された中心画像の、前記コンピュータの記憶部に保持される基準画像に対する画質情報を画像状態指標として算出し、
指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出し、
算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出し、
前記算出された各指標が適正値の範囲内にあるかを判定し、
前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する、ことを特徴とする相関追尾方法。
（付記２） 前記基準画像の更新時から所定時間以内の前記各指標の範囲を該各指標に対する適正値の範囲として、前記判定に用いることを特徴とする付記１記載の相関追尾方法。
（付記３） 前記決定において、前記算出された画質情報が前記適正範囲外にあると判定され、かつ、前記複数のピーク形状からのずれ量の少なくとも１つが適正範囲にあると判定された場合に、前記基準画像を更新すると決定することを特徴とする付記２記載の相関追尾方法。
（付記４） 前記決定において、前記複数のピーク形状からのずれ量のいずれかが適正範囲外にある場合に、追尾をコースト状態で行うと決定し、
前記適正範囲外にあったずれ量が適正範囲内に復帰し、かつ、残りの各指標の少なくとも１つが適正範囲内にある場合に、前記コースト状態を通常の追尾状態に戻すと決定することを特徴とする付記２記載の相関追尾方法。
（付記５） 前記決定において、前記各指標がすべて適正範囲外にある場合に、追尾をブレークすると決定することを特徴とする付記２記載の相関追尾方法。
（付記６） 前記算出された各相関係数値を用いて、追尾対象としての基準画像が移動したことにより生じる誤差値を算出し、
算出された誤差値を用いて、追尾対象を撮像する撮像部の指向速度を制御する、ことを特徴とする付記１記載の相関追尾方法。
（付記７） 前記基準画像に対する画質情報とは、抽出された中心画像の平均勾配強度と前記基準画像の平均勾配強度との比であることを特徴とする付記１記載の相関追尾方法。
（付記８） 前記ずれ量を示す複数の追尾状態指標とは、ピークが１つの大きなピークであるか、ピークが適度な空間的広がりを持っているか、または、ピーク周辺に同等な大きさのピークがあるか、を示す指標の少なくとも１つを含むことを特徴とする付記１記載の相関追尾方法。
（付記９） 前記追尾に関する各種情報は、基準画像の更新トリガ、通常の追尾状態からコースト状態の追尾、または、その逆への追尾モード遷移、追尾のブレーク可否であることを特徴とする付記１記載の相関追尾方法。
（付記１０） 相関性に基づいて基準画像を追尾する相関追尾装置において、
取り込まれた画像から抽出された中心画像の、前記基準画像に対する画質情報を画像状態指標として算出する画像状態指標算出部と、
指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出する相関係数値算出部と、
算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出する追尾状態指標算出部と、
前記算出された各指標が適正値の範囲内にあるかを判定する判定部と、
前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する決定部とを備えることを特徴とする相関追尾装置。
（付記１１） 前記基準画像の更新時から所定時間以内の前記各指標の範囲を該各指標に対する適正値の範囲として、前記判定部での判定に用いることを特徴とする付記１０記載の相関追尾装置。
（付記１２） 前記決定部は、前記算出された画質情報が前記適正範囲外にあると判定され、かつ、前記複数のピーク形状からのずれ量の少なくとも１つが適正範囲にあると判定された場合に、前記基準画像を更新すると決定することを特徴とする付記１１記載の相関追尾装置。
（付記１３） 前記決定部は、前記複数のピーク形状からのずれ量のいずれかが適正範囲外にある場合に、追尾をコースト状態で行うと決定し、
前記適正範囲外にあったずれ量が適正範囲内に復帰し、かつ、残りの各指標の少なくとも１つが適正範囲内にある場合に、前記コースト状態を通常の追尾状態に戻すと決定することを特徴とする付記１１記載の相関追尾装置。
（付記１４） 前記決定部は、前記各指標がすべて適正範囲外にある場合に、追尾をブレークすると決定することを特徴とする付記１１記載の相関追尾装置。
（付記１５） 前記算出された各相関係数値を用いて、追尾対象としての基準画像が移動したことにより生じる誤差値を算出する誤差値算出部と、
算出された誤差値を用いて、追尾対象を撮像する撮像部の指向速度を制御する撮像部動作機構と、をさらに備えることを特徴とする付記１０記載の相関追尾装置。
（付記１６） 前記基準画像に対する画質情報とは、抽出された中心画像の平均勾配強度と前記基準画像の平均勾配強度との比であることを特徴とする付記１０記載の相関追尾装置。
（付記１７） 前記ずれ量を示す複数の追尾状態指標とは、ピークが１つの大きなピークであるか、ピークが適度な空間的広がりを持っているか、または、ピーク周辺に同等な大きさのピークがあるか、を示す指標の少なくとも１つを含むことを特徴とする付記１０記載の相関追尾装置。
（付記１８） 前記追尾に関する各種情報は、基準画像の更新トリガ、通常の追尾状態からコースト状態の追尾、または、その逆への追尾モード遷移、追尾のブレーク可否であることを特徴とする付記１０記載の相関追尾装置。

本発明の一実施形態の相関追尾装置の構成を示すブロック図である。 基準ゲート設定処理、相関係数マップ算出処理、追尾点特定処理を説明する図である。 第１追尾状態指標を説明する図である。 第２追尾状態指標を説明する図である。 第３追尾状態指標を説明する図である。 各指標の適正範囲を求めるためのシミュレーションの結果を示した図である。

符号の説明

１１ ビデオ・カメラ
１２ Ａ／Ｄ変換部
１３ 処理領域抽出部
１４ 中心画像抽出部
１５ レファレンス画像更新部
１６ レファレンス画像
１７ 相関係数値算出部
１８ 追尾点特定部
２１ 第１追尾状態指標算出部
２２ 第２追尾状態指標算出部
２３ 第３追尾状態指標算出部
２４ 第４追尾状態指標算出部
２５ 第１判定部
２６ 第２判定部
２７ 第１判定部
２８ 第２判定部
３１ 決定部
３２ 追尾誤差値算出部
３３ ジンバル駆動信号生成部
３４ 角速度保持部
３５ ジンバル角速度センサ
３６ ジンバル部

Claims (5)

1. 相関性に基づいて基準画像をコンピュータが追尾する相関追尾方法において、
   取り込まれた画像から抽出された中心画像の、前記コンピュータの記憶部に保持される基準画像に対する画質情報を画像状態指標として算出し、
   指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出し、
   算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出し、
   前記算出された各指標が適正値の範囲内にあるかを判定し、
   前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する、ことを特徴とする相関追尾方法。
2. 前記基準画像の更新時から所定時間以内の前記各指標の範囲を該各指標に対する適正値の範囲として、前記判定に用いることを特徴とする請求項１記載の相関追尾方法。
3. 前記決定において、前記算出された画質情報が前記適正範囲外にあると判定され、かつ、前記複数のピーク形状からのずれ量の少なくとも１つが適正範囲にあると判定された場合に、前記基準画像を更新すると決定することを特徴とする請求項２記載の相関追尾方法。
4. 前記決定において、前記複数のピーク形状からのずれ量のいずれかが適正範囲外にある場合に、追尾をコースト状態で行うと決定し、
   前記適正範囲外にあったずれ量が適正範囲内に復帰し、かつ、残りの各指標の少なくとも１つが適正範囲内にある場合に、前記コースト状態を通常の追尾状態に戻すと決定することを特徴とする請求項２記載の相関追尾方法。
5. 相関性に基づいて基準画像を追尾する相関追尾装置において、
   取り込まれた画像から抽出された中心画像の、前記基準画像に対する画質情報を画像状態指標として算出する画像状態指標算出部と、
   指定された処理領域を走査して得られる対象画像と前記基準画像との相関係数値を順次算出する相関係数値算出部と、
   算出された相関係数値をマッピングして得られるピーク形状の、追尾対象を明確にとらえている場合のピーク形状からのずれ量を複数の追尾状態指標として算出する追尾状態指標算出部と、
   前記算出された各指標が適正値の範囲内にあるかを判定する判定部と、
   前記各指標のうちの少なくとも２つの指標の判定結果を用いて、追尾に関する各種情報を決定する決定部とを備えることを特徴とする相関追尾装置。