JP2022543017A - センサ間キャリブレーションのためのシステム及び方法 - Google Patents

Abstract

方法は、レーダデータ及び初期レーダパラメータを使用して初期レーダトラックを生成し、画像角度位置データ、初期カメラパラメータ、及びレーダ距離データを使用して初期カメラトラックを生成することと、初期レーダトラック及び初期カメラトラックからのオブジェクトの位置を比較して、レーダデータ及び画像データの一方に適用するための補正パラメータを以下のように計算することと、を含む。第１補正パラメータは、前記レーダ及び前記カメラの他方のデータに適用して第１補正トラックを生成する際に、前記第１補正トラックと前記レーダ及び前記カメラのうち他方のトラックとの対応度が、前記初期レーダトラックと前記初期カメラトラックとの対応度より高くなるように選択される。【選択図】図６

Description

本開示は、センサ間キャリブレーションのためのシステム及び方法に関する。特に、本開示は、その場で動くオブジェクトを追跡することによって、ほぼリアルタイムでセンサ間キャリブレーションを行うためのシステム及び方法に関する。

移動するオブジェクトは通常、単一のセンサによって追跡されるが、構成をマルチセンサ追跡システムに拡張する場合、利点が生じる。１つの利点は、複数のセンサにより、トラッキングシステムの取得量が大きくなることである。もう１つの利点は、複数のセンサが冗長な測定を提供し、精度を向上させ、異常値の測定を強調できることである。また、異なるタイプのセンサを組み合わせることで、相互に補完することができる。例えば、水平方向と垂直方向に高い角度精度を持つカメラセンサは、レーダと組み合わせることで、距離と距離速度を正確に測定することができる。何れにせよ、これらの利点を得るためには、すべてのセンサが互いにキャリブレーションされていなければならない。

マルチセンサ追跡システムの例として、ゴルフボール追跡システムは、１つ以上のカメラ又はレーダ、カメラとレーダの組合せ、及び、ゴルフボールの飛行の異なる部分及び／又は重なる部分を追跡する他のセンサを含むことができる。センサの各々は、装置に固有の座標系で、１つ以上の時間におけるボールの測定値からなるオブジェクトデータを取得し、互いにキャリブレーションされると、それらのデータは、データの更なる処理及び融合のために高い一貫性をもってグローバル座標系に表現することができる。

センサのキャリブレーションには、センサの内部及び外部の様々なパラメータを決定することが必要である。内部パラメータは、カメラの場合は焦点距離、レンズ歪みパラメータ、主点、レーダの場合は位相オフセットで構成されることがある。外部パラメータは、典型的にはセンサの位置と向きである。この２つのパラメータを決定する従来から知られた方法は、硬直的で、時間が掛かり、手作業が多くなる。更に、一般的に、センサを本来の環境、つまり、ここでは、移動するオブジェクトを追跡するときに利用することができない。このように、既知のキャリブレーション方法は、しばしばセンサのダウンタイムを引き起こす。

内部パラメータをキャリブレーションするための既知の方法の第１の例では、カメラセンサが手動で固定装置に設置され、既知の寸法の物体（通常は１つ以上のチェッカーボード）に向けられる。対象物の主要な特徴は、手動又はソフトウェアで自動的に、画像内で検出される。当業者に明らかであるように、既知の対象物の寸法から、カメラの内部パラメータを計算する数学的演算が実行される。第２の例では、レーダが手動で固定装置に設置され、レーダと相対する、位置が既知の１つ以上の装置に向けて照射される。この装置（通常はトランスポンダ）は、予め定義された既知のドップラーシフトを持つ信号をレーダに返すことができる。この情報と装置の相対的な位置との組み合わせにより、当業者は、レーダの各受信機の必要な位相オフセットを計算することができる。

外部パラメータをキャリブレーションするための既知の方法も、同様の方法で進められる。第１の例では、ＧＰＳローバー等を用いてセンサの３次元位置を手動で抽出することができる。センサがカメラの場合、ＧＰＳローバーは、カメラから見えるいくつかの固定点の３Ｄ座標を決定するために、同様に使用されるかもしれない。カメラは、固有の座標系において、画像に表示された固定点を、自動的に又は手動で識別する。その結果、ＧＰＳ座標系におけるカメラの姿勢を更に推定するための数学的演算が実行される。第２の例では、Ｌｉｄａｒスキャナが、スキャナに対して直線的な視線を持つセンサのシステムの相対的な３Ｄ座標を抽出する。スキャナを複数の場所に移動させ、データをつなぎ合わせてセンサの相対的な位置を抽出する必要があるかもしれない。センサの向きを決定するためには、他の手段を採用する必要がある。第３の例では、センサに結合された傾斜計を使用して、傾斜計に対するセンサの以前に決定された向きに基づいて、センサの外部パラメータの一部、即ち、そのチルトとロールを決定することができる。

センサのパラメータは、通常、一度キャリブレーションされると一定に保たれる。しかし、温度や経年変化等の要因により、センサのパラメータは時間とともにドリフトすることがある。例えば、野球場のスタンドに固定され、飛行中の野球ボールを追跡するように構成されたレーダは、レーダが取り付けられているスタンドがファンでいっぱいになると、平行移動と回転の両方を行うことがある。センサのパラメータが変化するため、繰り返しキャリブレーションを行う必要があるが、センサへのアクセスが困難な場合、またキャリブレーション作業に手作業が必要な場合、キャリブレーションが面倒になる場合がある。また、キャリブレーション作業によってセンサの動作が停止するような場合には、キャリブレーションを繰り返すことは非常に非現実的である。

マルチセンサシステムのセンサが互いに対して不正確にキャリブレーションされている場合、センサからのデータを融合させると、配信されるデータの品質が劣化することがある。第１の例として、２つ以上のセンサが同じ移動物体を重複する時間に監視する場合、様々なセンサからの測定値間の差は、例えば、単純平均、加重平均、カルマンフィルタ、又は他の既知の数学的アプローチによって対処することができる。図１は、２つのセンサからの不整合な追跡データが、素朴ではあるが、軌跡を平均化したときに、重複する領域の始めに物体の非物理的な軌跡を生成する例を示している。第２の例として、２つ以上のセンサが同じ移動物体を時間的な重複なく測定する場合、それらの測定値はセンサ間の移行点での不連続性をもたらす可能性がある。図２は、オブジェクトがあるセンサの視野から他のセンサの視野に移行する地点で不連続な軌道を生成する、一貫性のないトラッキングデータの例である。最終的な軌道の不連続性は、例えば、カルマンフィルタでデータを平滑化することで軽減できるが、それでも、不整合なデータが最終的な軌道の品質を低下させることに変わりがない。

本開示は、マルチセンサ追跡システムにおいて、レーダでレーダデータを、カメラで画像データを取得することを含み、前記レーダデータ及び前記画像データはオブジェクトの経路に対応し、前記レーダデータは前記オブジェクトのレーダ距離データ及びレーダ速度データを含み、前記カメラデータは前記オブジェクトの画像角度位置データを含むことと；前記レーダデータ及び初期レーダパラメータを用いて初期レーダトラックを生成することと；前記画像角度位置データ、初期カメラパラメータ、及び前記レーダ距離データを用いて初期カメラトラックを生成することと；以下の何れか１つを計算すること；を含む方法に関連する。第１補正パラメータは、前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記レーダデータに適用される。第１補正パラメータは、前記レーダデータに適用されて第１補正トラックを生成するときに、前記第１補正トラックと前記初期カメラトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度よりも高くなるように選択される。第２補正パラメータは、前記初期レーダトラックと前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記画像角度位置データに適用される。前記第２補正パラメータは、前記画像角度位置データに適用されて第２補正トラックを生成するとき、前記第２補正トラックと前記初期レーダトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度よりも高くなるように選択される。

１つの実施形態において、この方法は、第１補正パラメータで前記レーダをキャリブレーションすること、又は第２補正パラメータで前記カメラをキャリブレーションすることの何れかを更に含む。

１つの実施形態において、第１補正パラメータは、前記レーダの最適化された向きを構成し、第２補正パラメータは、前記カメラの最適化された向きを構成し、方法は、前記第１補正パラメータに基づいて補正された向きに前記レーダをキャリブレーションするための、前記初期レーダパラメータに対するチルト調整及びパン調整、並びに、前記第２補正パラメータに基づいて補正された向きに前記カメラをキャリブレーションするための、前記初期カメラパラメータに対するチルト調整及びパン調整、のうち１つを決定することを更に含む。

１つの実施形態において、この方法は、初期レーダトラックに多項式を当てはめることと；前記画像データが取得された時間に対応する一連の時点において前記多項式を評価して、一連の各時点に対応するレーダ位置を決定することを更に含む。

１つの実施形態において、この方法は、前記一連の時点の各時点における前記多項式と前記カメラトラックとを比較することによって、レーダ及びカメラの一方に対する一連のチルト及びパン調整を決定することと；一連のチルト及びパン調整に対する中央値をチルト及びパン調整中央値として決定することと；チルト及びパン調整中央値に対してローパスフィルタリングを行うこととを更に含む。

１つの実施形態において、前記初期レーダトラックは、状態ベクトルと力学モデルによって表され、前記状態ベクトルは前記オブジェクトの経路パラメータを表し、前記力学モデルは前記オブジェクトに対する揚力と抗力を考慮するものである。

１つの実施形態では、前記画像角度位置データを３次元座標に展開するためにレーダ距離測定が使用される。

１つの実施形態では、前記マルチセンサ追跡システムに野球場に実装され、前記オブジェクトが野球ボールである。

本開示はまた、マルチセンサ追跡システムにおいて、レーダ及びカメラと通信する中央処理装置を備えるシステムであって、前記中央処理装置は、オブジェクトの経路に対応する前記レーダからのレーダデータ及び前記カメラからのカメラデータを受信し、前記レーダデータは前記オブジェクトのレーダ距離データ及びレーダ速度データを含み、前記カメラデータは前記オブジェクトの画像角度位置データを含み、前記中央処理装置は、前記レーダデータ及び初期レーダパラメータを用いて初期レーダトラックを生成するとともに、前記画像角度位置データ、初期カメラパラメータ、及び前記レーダ距離データを用いて初期カメラトラックを生成し、更に、以下のうちの１つを計算する。前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記レーダデータに適用される第１補正パラメータであって、前記第１補正パラメータは、前記レーダデータに適用されて第１補正トラックを生成するときに、前記第１補正トラックと前記初期カメラトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度より高くなるように選択される、第１補正パラメータ。前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記画像角度位置データに適用される第２補正パラメータであって、前記第２補正パラメータは、前記画像角度位置データに適用されて第２補正トラックを生成するときに、前記第２補正トラックと前記初期レーダトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度より高くなるように選択される、第２補正パラメータ。

１つの実施形態において、前記第１補正パラメータは、前記レーダの最適化された向きを含み、前記第２補正パラメータは、カメラの最適化された向きを含み、前記中央処理装置は、前記第１補正パラメータに基づいて前記レーダを補正された向きにキャリブレーションするための、前記初期レーダパラメータに対するチルト調整、パン調整、前記第２補正パラメータに基づいて前記カメラを補正された向きにキャリブレーションするための、前記初期カメラパラメータに対するチルト調整、及びパン調整、のうち１つを決定する。

１つの実施形態において、前記中央処理装置は、前記初期レーダトラックに多項式をあてはめ、画像データが取得された時間に対応する一連の時点において前記多項式を評価して、前記一連の時点の各時点に対応するレーダ位置を決定する。

１つの実施形態において、前記中央処理装置は、一連の時点の各々で前記多項式と前記カメラトラックとを比較することによって、前記レーダ及び前記カメラの一方に対する一連のチルト及びパン調整を決定し、一連のチルト及びパン調整に対する中央値をチルト及びパン調整中央値として決定し、前記システムは、チルト及びパン調整中央値をフィルタリングするローパスフィルタ装置を更に備える。

１つの実施形態において、前記中央処理装置は、前記初期レーダトラックを状態ベクトル及び力学モデルによって表し、前記状態ベクトルは、前記オブジェクトの経路パラメータを表し、前記力学モデルは、前記オブジェクトに対する揚力及び抗力を考慮するものである。

更に、本開示は、マルチセンサ追跡システムにおいて、第１センサで第１センサデータを取得し、第２センサで第２センサデータを取得することであり、前記第１センサデータ及び前記第２センサデータは、オブジェクトのの経路に対応するものであることと；前記第１センサデータ及び初期の第１センサパラメータを用いて、初期の第１トラックを生成することと；前記第２センサデータ及び前記第１センサデータの少なくとも１つの形態を用いて初期の第２トラックを生成することであって、前記第１センサデータの少なくとも１つの形態は、前記第２センサデータを３次元空間に展開するのに使用されることと；以下のうち１つを計算することと；を含む方法に関するものである。前記初期の第１トラック及び前記初期の第２トラックからの前記オブジェクトの位置を比較することによるものであり、前記第１センサデータに適用される第１補正パラメータであって、前記第１補正パラメータは、前記第１センサデータに適用されて第１補正トラックを生成するときに、前記第１補正トラックと前記初期の第２トラックとの間の対応度が前記初期の第１トラックと前記初期の第２トラックとの間の対応度より高くなるように選択される、第１補正パラメータ。前記初期の第１トラック及び前記初期の第２トラックからの前記オブジェクトの位置を比較することによるものであり、前記第２センサデータに適用される第２補正パラメータであって、前記第２補正パラメータは、前記第２センサデータに適用されて第２補正トラックを生成するときに、前記第２補正トラックと前記初期の第１トラックとの間の対応度が前記初期の第１トラックと前記初期第２トラックとの間の対応度より高くなるように選択される、第２補正パラメータ。

図１は、従来の方法による場合の、オブジェクトの不連続な軌跡を生成する、２つのセンサからの矛盾したデータの第１の例を示す。 図２は、従来の方法による場合の、オブジェクトの不連続な軌跡を生成する、２つのセンサからの矛盾したデータの第２の例を示す。 図３は、生のセンサデータをグローバル座標系における移動オブジェクトの軌道に変換する例示的な方法を示す。 図４は、マルチセンサ追跡装置におけるセンサをキャリブレーションするための例示的なシステムを示す。 図５は、マルチセンサシステムにおけるセンサをキャリブレーションするための例示的な方法を示す。 図６は、例示的なデータフローと処理ステップを有する図４のシステムを示す。 図７ａ～７ｂは、例示的なセンサ間キャリブレーションを実行する前と後の合成データを示す。 図７ａ～７ｂは、例示的なセンサ間キャリブレーションを実行する前と後の合成データを示す。 図８ａ～８ｂは、例示的なセンサ間キャリブレーションを実行する前と後の実際の測定データを示す。 図８ａ～８ｂは、例示的なセンサ間キャリブレーションを実行する前と後の実際の測定データを示す。 図９は、野球で投げられた球及び／又は他の野球の軌道等のオブジェクトの軌道を追跡するための、レーダと２つのカメラからなるシステムを示す。 図１０は、オブジェクト、例えば野球で投げられたボールの軌跡データに基づいて、カメラに対する図９のレーダの向きをキャリブレーションするための方法を示す。詳細な説明

例示的な実施形態は、感知された移動オブジェクトの一貫したより正確な追跡データが生成され得るように、マルチセンサシステムにおける１つ以上のセンサの内部及び外部センサパラメータの一部又は全部を自動的にかつ適応的に決定する学習システムを説明する。パラメータは、手動による介入を必要とせず、センサの通常動作からのダウンタイムなしに、その場で、ほぼリアルタイムで決定される。

複数のセンサからなるシステムの通常動作時、センサは移動オブジェクトを追跡するように構成される。１つの例として、マルチセンサシステムは、ゴルフコースに設置され、飛行中のゴルフボールを追跡するように構成された任意の数のカメラ及びレーダとすることができる。センサは、同じ移動オブジェクトを追跡する際に冗長データを生成し、この冗長データを使用して、１つ又は複数のセンサの内部及び外部パラメータを互いにキャリブレーションする。これにより、一貫性がある、より正確な追跡データを生成することができる。

このシステムは複数のセンサで構成され、各センサは生データを追跡ユニットに送り、追跡ユニットは中央処理装置（以下、「ＣＰ」）と通信する。センサは、移動する対象オブジェクトのデータを取得する役割を果たす。センサは、パルス、ドップラー、ＣＷ、ＦＭＣＷ若しくはＭＦＣＷのレーダ、可視若しくは赤外線のカメラ、Ｌｉｄａｒ、慣性測定ユニット等、又はそれらの任意の組み合わせであっても良い。

センサの内部パラメータとは、一般にセンサの内部動作に関するパラメータであると定義することができる。例えば、カメラの焦点距離、レンズ歪みパラメータ、主点、レーダの位相オフセット、アンテナ放射パターン、センサ全般の内部クロックオフセット等が考えられる。センサの内部パラメータが高い精度で知られている場合、センサによって受信されたデータを、高い精度で出力を生成するために処理することができる。

センサの外部パラメータは、一般的に、グローバル座標系に対するセンサの位置と向きを示す。センサの外部パラメータを知ることで、センサの座標系からグローバル座標系に測定データをマッピングし、他のセンサからのデータと比較することができる。

ここで定義される追跡ユニットは、生のセンサデータから目的の移動オブジェクトを検出し、可能であれば、同じ移動オブジェクトの連続した検出を「トラック」にまとめる役割を果たす。従って、トラックとは、連続した時間における、１つ以上の移動オブジェクトの検出のことである。例えば、ゴルフ場での連続した画像をカメラで撮影するとする。その結果、その追跡ユニットは、各画像における例えばゴルフボールのピクセル位置を抽出することができる。また、追跡ユニットは、連続する画像におけるゴルフボールのピクセル位置を、カメラのローカル座標系におけるピクセル位置のトラックとなるようにつなぎ合わせることができる。

追跡ユニットは、センサ及びＣＰとは物理的に独立したものであっても良いし、センサに組み込まれたもの、又は、ＣＰと統合されたものであっても良い。追跡ユニットは、生のセンサデータにおいて移動オブジェクトを検出し、検出された移動オブジェクトのトラックを生成するようにプログラムされた内部処理装置を有し、更に、そのセンサの内部及び外部パラメータを記憶するメモリを有するだろう。追跡ユニットは、追跡を支援するために、センサの内部パラメータについて生のセンサデータを補正する場合がある。例えば、追跡ユニットは、カメラからの生の画像をスケーリングし、歪みを取り除いてから、対象の移動オブジェクトのピクセル位置を抽出することができる。当業者によって理解されるだろうが、センサが移動可能である場合、例えば、カメラ等がスライド及び／又は回転するステーションに取り付けられた場合であって、この動きがセンサのコンポーネント、センサに取り付けられた追加のセンサ、例えば、慣性ナビゲーションシステム、又は画像分析を通じて内部的に監視されるときは、この情報は同様に、測定値をつなぎ合わせてトラックとするのを補助するために、追跡ユニットが利用することができる。

追跡ユニットは、更に、他のセンサから発信されたトラックに関する情報を持つＣＰによって、その追跡を誘導することができる。例えば、複数のカメラが飛行中のゴルフボールを追跡しているゴルフ練習場では、１つの追跡ユニットが、飛行中のゴルフボールをカメラの生の画像から検出し、それがＣＰに伝達されることがある。当業者には明らかなように、ＣＰは、今度は、各カメラの内部及び外部パラメータの情報を通じて、検出されたゴルフボールを他のカメラの画像に投影する。これにより、それらの追跡ユニットが、それぞれの画像内の投影点の周囲の適切な近傍で同じゴルフボールを検索することができる。

複数のセンサのそれぞれは、与えられたセンサのローカルな座標系で、オブジェクトを測定する。センサは、異なる視点からの測定だけでなく、異なる空間での測定も可能である。例えば、カメラセンサは、一連の画像における、オブジェクトの２次元ピクセル位置を測定することができる。レーダセンサは、オブジェクトの３次元位置と同様に半径方向の速度からなる４次元空間において測定することができる。

ＣＰは、後述するように、グローバル座標系でセンサ間のトラックをマッチングさせ、マッチングしたトラックが、ユーザにより定義された最適な方法で一致するようにセンサパラメータを最適化し、正確なデータを出力として提供できるように、マッチングしたトラックと最適化したセンサパラメータを融合する役割を果たす。

図３は、生のセンサデータをグローバル座標系における移動オブジェクトのトラックに変換する例示的な方法を示す図である。１つの実施形態において、センサはカメラである。３０２において、カメラは、移動オブジェクトを含む一連の画像を生データとして取り込み、画像の各々における移動オブジェクトの画素位置を検出する。３０４で、移動オブジェクトの複数の連続した検出はつなぎ合わされてトラックとなる。３０６において、当業者に知られているように、カメラの内部パラメータ（３０６－ａ）、及び、変換を実施するための適切な方法（３０６－ｂ）が処理に供給されることにより、トラック内の各ピクセルが正規化カメラ座標に変換される。最後に、３０８において、トラック内の正規化されたカメラ座標の各々は、カメラの外部パラメータ（３０８－ａ）だけでなく、マッピングを実行するために必要な適切な数学演算（３０８－ｂ）が供給されることによって、グローバル座標系にマッピングされる。カメラの場合、最終的な出力は、対象の移動オブジェクトの位置を特定するグローバル座標系における光線の連続である。

図４は、マルチセンサ追跡装置におけるセンサをキャリブレーションするための例示的なシステム４００を示す。このシステムは、複数のセンサ４０２（即ち、センサ４０２（１）～４０２（ｎ））、複数の追跡ユニット４０４（即ち、追跡ユニット４０４（１）～４０４（ｎ））、及び中央処理装置（ＣＰ）１４０を含む。言い換えれば、システム４００は、生データを追跡ユニット４０４に供給する任意の数のセンサ４０２を含むことができ、このセンサ４０２は、順番に単一のＣＰ４１０と通信する。センサ４０２は、（例えば、オブジェクト又は人の）動きを追跡するように構成された任意のセンサ、例えば、レーダアレイ、カメラ、Ｌｉｄａｒ等とすることができる。センサ４０２は、ある場所に固定されていても良いし、移動可能であっても良い。追跡ユニット４０４はそれぞれ、内部プロセッサ４０６及びメモリ４０８を有することができる。内部プロセッサ４０６及びメモリ４０８は、生のセンサデータに対して計算を実行し、生のセンサデータにおける移動オブジェクトの連続した測定及び検出に対応するトラックをＣＰ４１０に出力するように構成される。メモリ４０８に格納されたセンサパラメータは、追加的に、追跡ユニット４０４からＣＰ４１０に渡されても良い。もしくは、上述したように、１つ以上の追跡ユニット４０４がＣＰ４１０で実装されても良い。

ＣＰ４１０は、プロセッサ４１２及びストレージ４１４を含む。ＣＰ４１０は、それらの追跡ユニット４０４を介してセンサ４０２に接続され、追跡ユニット４０４からトラック及びセンサパラメータを受信し、追跡ユニット４０４に案内を送信するように構成される。ＣＰ４１０は、更に、エンドユーザ４１６にデータを出力するように構成することができる。エンドユーザ４１６は、例えば、ディスプレイ又は更なる処理装置とすることができる。ＣＰ４１０のプロセッサ４１２は、複数のプロセッサを含んでも良い。いくつかの実施形態では、ＣＰ４１０は、数十又は数百の物体のトラックを同時に処理しても良く、これは、比較的高い計算能力を必要とすることになる。ＣＰ４１０は、追跡関連の計算を実行するための実行可能な命令を、格納された形で有する。例えば、ＣＰ４１０は、センサから受信した追跡データを照合し、センサ間キャリブレーション処理を行い、オブジェクトのトラックをエンドユーザに出力するために追跡データを融合させることができる。

センサ４０２のパラメータは、事前に、追跡ユニットのメモリ４０８に格納された状態でキャリブレーションされている可能性がある。既存のキャリブレーションは、工場でのセンサのキャリブレーションによるものでも良いし、本明細書に概説されるセンサ間キャリブレーション手順の以前の実行によるものでも良い。

図５は、マルチセンサシステムにおいてセンサ４０２を－－１回だけ－－キャリブレーションするための例示的な方法５００を示す。特に、このキャリブレーションは、各センサの通常動作中に実施される。

前述したように、センサ４０２の各々について、既存のパラメータのセットがメモリ４０８に記憶されても良い。以下に詳細に説明する例示的なキャリブレーション手順を含むこれらのパラメータを決定するために、当技術分野で知られている様々な手段の何れかが使用されるかもしれない。

５０５において、複数のセンサ４０２は、少なくとも１つの移動オブジェクトに対応する生データを取得する。センサ４０２は、例えばゴルフ練習場におけるゴルフボールのような複数の移動オブジェクトを同時に追跡するために、追跡場所又はその周辺に備えられても良い。しかしながら、例示的なキャリブレーション手順を実行するためには、１つの移動オブジェクトが追跡されるだけでよい。

５１０において、各センサ４０２の追跡ユニット４０４は、センサ４０２が生のデータを生成したオブジェクトの動きの部分について個別にトラックを決定する。トラックは、メモリ４０８から取得された既存のセンサパラメータを潜在的に使用して、生のデータに対して計算を実行することによって決定される。追跡ユニット４０４からのトラックが部分的にでも時間的に重なることは、要件ではない。例えば、第１センサ４０２（１）がトラックの始まりを測定し、第２センサ４０２（２）がその後の部分を測定しても良い。当業者に理解されるように、物体に関連する力学的モデル（例えば、ニュートンの第２法則及び移動物体の空気力学的特性の知識）により、ＣＰ４１０又は他のプロセッサは、２つのトラックをより容易に互いに比較できるように、重なりの量を増加させるために時間的に前と後の両方でトラックを外挿することができる。

５１５において、各追跡ユニット４０４は、５１０で決定したそれぞれのトラックを、メモリ４０８に格納されたセンサパラメータとともにＣＰ５１０に出力する。

５２０において、ＣＰ４１０は、グローバル座標系において、複数のセンサ４０２にまたがるトラックをマッチングする。生データからグローバル座標系でのデータへ変換する処理は、図３に概略的に示されている。複数のトラックは、各トラックによって示される固有の特性を識別することによってマッチングされる。そのような特性は、例えば、オブジェクトの位置及び時間の同期、オブジェクトの速度、スピン率、スピン軸、オブジェクトのバウンドの位置及びタイミング、オブジェクトの色又は反射係数等とすることができる。全てのトラックがセンサ間で一致するわけではない。例えば、第１オブジェクトの動きの一部が、センサ４０２の１つの視点からは、介在する構造物又は第２オブジェクトの動きによって不明りょうになり、当該センサ４０２が、第１オブジェクトから、所定の時間におけるデータを取得してトラックを生成することに失敗することがあり得る。更に、いくつかのトラックは、いくつかのセンサに対してマッチングされる一方で、他のトラックは、他のセンサに対してマッチングされる可能性がある。先に述べたように、トラックをよりよく比較するために、トラックは時間的な前及び／又は後に外挿することができる。ＣＰ４１０は、センサの既存のパラメータの情報を有する。これにより、ＣＰ４１０は、（センサ座標系で生成された）トラックを、グローバル時刻を伴うグローバル座標系に投影することを可能にする。

マッチングされると、５２５において、ＣＰ４１０は、以下に詳細に説明するセンサ間キャリブレーション処理を実行する。センサ間キャリブレーション処理は、センサトラックがグローバル座標系において最適な方法で一致するように、センサ４０２の１つ以上の内部及び外部パラメータを調整する。必須ではないが、５３０において、センサトラックは、以下で詳細に説明する将来のキャリブレーション処理で使用するために、メモリ４１４に格納される。

５３５において、最適化されたパラメータは、各センサ４０２の追跡ユニット４０４に返される。各追跡ユニット４０４は、メモリ４０８に格納された既存のパラメータを最適化されたパラメータで更新し、更新されたパラメータを将来の追跡のために使用することができる。このようにして、センサ４０２は、個々のトラックがＣＰ４１０において融合されるとき、一貫した追跡データを生成するようにキャリブレーションされる。パラメータがキャリブレーションされていれば追跡は既に整合しているはずなので、その後の追跡について（更なる調整が必要になるまで）、ＣＰ４１０は受信したトラックを整合させるための計算を実行する必要はない。ＣＰ４１０は、グローバル座標系でトラックを単に融合し、結合されたトラックをエンドユーザ４１６に出力することができる。

図６は、センサ間キャリブレーション処理とそのフィードバックが、マルチセンサシステムの通常動作に統合される方法を示している。通常の動作の間、センサは生のデータを取り込み、そこから追跡ユニットによって移動オブジェクトが検出される。その結果、移動オブジェクトのトラックを、エンドユーザに出力される前にマッチングさせ、融合することができる。センサ間キャリブレーション処理は並行的に行うことができ、これにより、センサのダウンタイムを不要とすることができる。センサ間キャリブレーション処理が実行可能であるとともに、最適化されたパラメータは、その後の追跡のためにそれぞれの追跡ユニットに戻すことができる。

センサ間キャリブレーション処理では、追跡ユニット４０４によって生成されたトラックがグローバル座標系において最適な方法で空間的及び／又は時間的に一致するように、センサ４０２の内部及び外部パラメータが決定される。

最適性は、ユーザが定義することができる。１つの実施形態では、トラック間の重み付け３次元位置偏差を最小化することによって、最適性が構成される。アルゴリズムを説明すると、最小化されるべきコスト関数Ｅが典型的に定義される。位置偏差を最小化するとき、このコスト関数は、単一のマッチしたトラックｔについて以下のように表すことができる。

上記の関数において、ｘ_i ^nt（訳注：ｔはｎに対して下付き文字であるが、都合上^ntと表記する。以下同様）は、センサｉに関連する追跡ユニットによって検出又は推定された、グローバル座標系における、トラックｔに属するオブジェクトのｎ番目の位置の推定値である。ｘ_i ^ntは、センサｉの内部及び外部パラメータに関する最新の推定値を関数化したものである。

は、ユーザが定義した、ある重み行列Ｗ_ij ^ntの下での、その引数の重み付き２－ノルムを表す。

あるセンサ４０２からのデータの品質は、そのデータに高い信頼性を与え、他のセンサ４０２からの他のデータの品質は、低い信頼性を示すことがある。高品質のデータが他の高品質のデータと比較される場合、より大きな重みが付けられ、重み行列Ｗ_ij ^ntに反映することができる。すべてのデータの重みが等しい場合、重み行列が単位行列に設定されることがある。信頼性の低い測定値の例としては、例えば、ノイズの多い測定値；センサの「空間」の外側の測定値、例えば、画像中のオブジェクトの深さ；又は動的モデルを外挿することによって到達した位置を測定した値等がある。

別の実施形態では、最小化されるコスト関数は、速度、スピン軸、加速度、ピクセル、ピクセル強度等における偏差の関数、又はそれらの任意の重み付けされた組合せとすることができる。１つの例として、マルチセンサシステムは、移動オブジェクト、例えばゴルフボールを検出するレーダとカメラで構成される。レーダによって検出されたボールの位置を、カメラの画像平面に投影して、カメラとレーダの投影の間のピクセル座標の偏差を最小化するコスト関数を定義することができる。別の例では、２台のカメラが、照明が変化する空間を横切る飛行中の野球ボールを追跡し、各カメラで見るとボールが次第に暗くなるように構成されている。最小化されるべきコスト関数がピクセル座標だけでなくピクセル強度の関数でもあるように、各カメラによって監視されるピクセル強度の差を、コスト関数に組み込むことができる。更に別の例では、カメラとレーダを備えたセンサ配置において、カメラの画像平面で検出されたピクセル位置は、レーダによって検出されたボール位置のレーダ距離測定を使用して３Ｄユークリッド空間に展開され、この空間において偏差を最小化するコスト関数を定義することができる。

複数のトラックがＣＰによってマッチングされた場合、コスト関数は、各トラックのコストの重み付け和として表されても良い。即ち、

ここで、ｗ_tは各トラックｔに割り当てられた重みである。デフォルトとして、各トラックに割り当てられた重みが同一であると仮定しても良い。即ち、ｗ_t＝１である。

最適化への到達、即ちＥを最小化することは、ＣＰによって、数値的に行われても良い。最も単純な形態では、ＣＰは、すべてのセンサのすべてのパラメータ－－内部及び外部の－－にわたって総当たり的なグリッド検索を行い、コスト関数を最小化するパラメータを選択することができる。これは、すべてのパラメータについてインテリジェントな推測が存在する場合、その周囲の小さなグリッドをサンプリングすることによっても同様に行うことができる。別の実施形態では、インテリジェントな最適化技術を利用することができる。そのような技術の例としては、Ｎｅｌｄｅｒ－Ｍｅａｄアルゴリズム、及び－－コスト関数の導関数を評価できる場合－－ガウス－ニュートンアルゴリズム、Ｌｅｖｅｎｂｅｒｇ－Ｍａｒｑｕａｒｄｔアルゴリズム、又は他の勾配降下法に基づくアルゴリズムが挙げられる。コスト関数Ｅが最小化され、最適化された内部及び外部パラメータが決定された後、最適化されたパラメータは、その後のトラッキングのために各センサに戻すことができる。

マルチセンサシステムの性質とユーザの好みに応じて、センサ間キャリブレーション処理は様々な方法で実施することができる。１つの実施形態では、センサ間キャリブレーションは、１回、例えば導入時に実施され、その後、内部及び外部パラメータはキャリブレーション済、かつ時間的に一定とみなされる。導入時に１つ以上のトラックを収集し、ディスクに保存してもよく、その後、センサ間キャリブレーションルーチンを実行することができる。

別の実施形態では、センサ間キャリブレーション処理が、各センサの内部及び外部パラメータが、新たに識別されたトラック又はトラックごとに連続的に更新されるように、連続的に実行されても良い。新たに特定された１又は複数のトラックは、メモリから取り出された、いくつか又はすべての特定されたトラックヒストリーのリストに追加されて、センサ間キャリブレーションが実行されても良い。

更に別の実施形態では、新たに特定された１又は複数のトラックは、メモリから取り出された、いくつか又はすべての特定された特定されたトラックヒストリーのリストに追加され、センサ間キャリブレーションを実行することができる。しかし、この実施形態では、いくつか又はすべてのセンサの内部及び外部パラメータは、トラックの収集中に時間的にドリフトしたと仮定することができる。これを考慮するために、トラックは、より最近に特定されたトラックがセンサ間キャリブレーション処理の際により大きな重みを与えられるように、時間に関して指数関数的に重み付けすることができる。このような重み関数は、

の形をとることができる。Δτはトラックが観察されてからの秒単位の時間であり、λはユーザによって定義された減衰率定数である。

更に別の実施形態では、一部又はすべてのセンサの前述のドリフトが、１つ以上の手段、例えばセンサに組み込まれた慣性運動ユニット（ＩＭＵ）により監視される。測定されたドリフトは、センサ間キャリブレーションの最適化ステップの間、ＣＰによって考慮することができる。これにより、利益を伴う再トラックが、最小化されるべきコスト関数において等しい重み、即ちｗ_t＝１が与えられるようにすることができる。

更に別の実施形態では、新規及び記憶の両方のすべてのトラックのセンサ間キャリブレーションの完全な実行を行う時間及び／又はリソースがない場合がある。単に、数百万というオーダーで、トラックが多すぎるかもしれない。その代わりに、当業者に知られているように、確率的又はミニバッチ勾配降下アプローチを採用することができる。新たに識別されたトラック又はトラックを受信すると、ＣＰ４１０は、まず、すべてのセンサに対するパラメータ値の最新のセットをｐａｒａｍ_k-1として記憶することができる。次に、ＣＰ４１０は、そのトラック又はそれらのトラックだけに対してセンサ間キャリブレーションを実行することによって、新たに受信したトラック又はトラックに基づくパラメータ値の最適なセットを計算することができる。このパラメータ値のセットは、ｐａｒａｍ_kとして記憶される。最後に、ＣＰ４１０は、各センサのパラメータ値の最適セットを、上記の重み付け和、即ち、ｗ×ｐａｒａｍ_k＋（１－ｗ）×ｐａｒａｍ_k-1として近似的に計算する。ここで、０≦ｗ≦１は、使用のために定義された重みである。ユーザ定義ｗを設定するためのヒューリスティックは、当業者に公知だろう。

すべての場合において、すべての内部及び外部センサパラメータの更新された値は、その後のトラッキングのために各センサの追跡ユニットに送信することができる。

センサ間キャリブレーション処理は、任意の特定のセンサの任意の１つ以上のセンサパラメータが最適化されるように設定されても良い。言い換えれば、すべてのセンサパラメータが最適化される必要はない。第１の例として、複数のレーダが搭載されているゴルフ練習場の場所において、各レーダのパン角度のみをセンサ間キャリブレーション処理を通じて最適化するように選択し、残りのすべての内部及び外部センサパラメータは他の手段によって到達させることができる。センサのすべてのパラメータではなく、いくつかのパラメータに最適化を制限することは、制約付き最適化を実行することと等価であり、当業者には馴染み深いものだろう。

センサ間キャリブレーションは、様々な設定で実施することができる。例えば、当該処理は、移動オブジェクトが移動する可能性のある容積全体を取得するために、類似しているか否かを問わず複数のセンサが必要とされる場所で行うことができる。ゴルフ練習場、ゴルフコースのホール、野球場、サッカー場、又は任意の他の競技場等の場所では、複数のセンサがスポーツボール又はボール状のオブジェクトを追跡し、多数のセンサにわたる追跡データを組み合わせて、単一のトラックを例えば放送ディスプレイに出力することができる。このような場所では、精密な測定が必要となることもあり、冗長な測定のためにセンサ間の十分なオーバーラップが要求される。組み合わせられた測定値の分散を最小化し、外れ値を取り除くことで、システムの精度を高めることができる。

場所によっては、１つ又は複数のセンサをキャリブレーションしなければならないカテゴリ的出力を提供する基準センサを利用する場合がある。例えば、野球においては、基準センサが人間、即ち審判であり、その出力は投球のコール、即ちストライク又はボールである場合がある。１つ以上の第２センサは、投球中のボールの軌跡を取得しても良い。例として、第２センサのパラメータが、第２センサによって提案されたコールが基準センサ（ここでは審判）のものと良好に相関するように更新されても良い。

更に他の場所では、オブジェクトの全軌跡を測定するセンサと、軌跡の一部だけを測定するセンサを組み合わせても良い。全軌跡センサは、部分軌跡センサよりも低い精度で対象物を測定することができる。このようなシステムの１つの例は、既にボールの全軌跡を測定するセンサが存在するゴルフ練習場に、高精度なゴルフボール発射モニタを追加することである。ゴルフ練習場に設置されているセンサに合わせて、発射モニタの外部パラメータをキャリブレーションすることで、インパクト時だけでなく、飛行中のショットについても詳細なデータを取得することができる。高精度ゴルフ発射モニタは、ゴルファー自身がセットアップする携帯型ユニットであっても良い。この携帯用ゴルフ発射モニタのキャリブレーション方法は、その後、ゴルファー側からの操作なしに自動的に行うことができる。

更に他の場所では、まだ時刻が同期していない複数のセンサが備えられる場合がある。そのような例として、野球の投球の軌道を追跡する２つのセンサであって、一方は時間的に正しく、もう一方はあるΔｔだけオフセットしている２つのセンサがある。ＣＰにおいて２つのトラックを一致させた後、第２センサにおけるトラックを－Δｔだけオフセットすることによって、例えば、２つのトラック間の位置偏差を最小化しようとするセンサ間キャリブレーションを実施することができる。

別の実施形態では、慣性測定装置（ＩＭＵ）が、例えばゴルフクラブに取り付けられ、クラブのスイングを追跡するレーダ及び／又はカメラと組み合わせて使用される。ＩＭＵは、クラブのスイング中に、クラブのパラメータ（速度や向き等）を取得する。レーダやカメラからの同様の測定値と比較することで、ＩＭＵの位置と向きを決定することができる。ＩＭＵが取り付けられる他の例としては、テニスラケット、野球のバット、クリケットのバット等が考えられる。

以下に詳細に説明する別の実施形態では、上述のノルムベースのアプローチよりもヒューリスティックなアプローチを利用するキャリブレーションアプローチが使用される。この実施形態は、スタジアムの設定、例えば野球場に特に適用することができる。本実施形態のキャリブレーション処理は、ピッチされたボールを追跡することに関連して説明されるが、当業者は、例示的なキャリブレーション処理が、野球場における他の投げられた又は打たれたボール、又は任意の他の設定における他のスポーツボールを追跡するための他の設定及び他の目的で使用されても良いことを理解するだろう。

図９は、レーダ９０２と、野球の投げられたボール及び／又は他の野球の軌道等のオブジェクトの軌道を追跡するための２つのカメラ９０４、９０６とを含むシステム９００を示す。第１カメラ９０４は、広い開口部を有し、ワイドカメラと呼ばれることがある。第２カメラ９０６は、狭い開口部を有し、ナローカメラと呼ばれることがある。レーダ９０２及び２つのカメラ９０４、９０６は、本実施形態では、追跡ユニット等の同じ構造体に取り付けられ、重複する視野（ＦＯＶ）を有するように、即ち、レーダアンテナのメインビームがカメラ９０４、９０６と同じＦＯＶを有するように、又はカメラ９０４、９０６のＦＯＶの一部を覆うように方向付けることができる。

しかし、他の実施形態では、レーダ９０２とカメラ９０４、９０６の１つ以上が別々に取り付けられ、それらのＦＯＶの間の重なりが少なくなっても良い。第１カメラ９０４は、フィールドキャリブレーションの目的のための、例えば外部パラメータのキャリブレーションのための主要なセンサと考えることができ、この実施形態では、プレイフィールド全体をカバーするＦＯＶを有する。第２カメラ９０６は、第１カメラ９０４と同様のＦＯＶを有する一方で、追跡目的のために、例えばピッチャーマウンド、バッターボックス、及び周辺エリア等のエリアを含むように後でトリミングされる画像を取得する。これはまた、第２カメラ９０６が正確に方向付けられる必要がないため、設置時の柔軟性を高めることができる。ただし、トリミングされていない画像やトリミングが異なる画像も使用することができる。第１カメラ９０４のフレームレートは、例えば３０ｆｐｓとすることができ、第２カメラ９０６のフレームレートは、例えば６０ｆｐｓとすることができる。初期キャリブレーション処理の最初のステップとして、第１カメラ（ワイドカメラ）９０４の外部パラメータが決定され、その後、第１カメラ９０４に対する第２カメラ（ナローカメラ）９０６の外部パラメータが決定される。

以下に詳細に説明する１つの実施形態では、レーダ９０２の外部パラメータは、レーダ９０２とナローカメラ９０６のボール検出値のみに基づくセンサ間キャリブレーションによって決定される。しかし、他の実施形態では、レーダパラメータは、ワイドカメラ９０４におけるボール検出値にも基づいて決定することができる。システム９００内のセンサは時間同期されているので、センサの１つによって所定の時間に取得された測定値は、他のセンサの１つによって同じ時間（又は最も近い取得可能な時間）に取得された測定値と直接比較することができる。もしくは、当業者に理解されるように、測定値は、２つの最も近い取得可能な時間の間で補間された値と比較されても良い。

上述したＣＰ４１０のような中央処理装置を使用して、物体追跡及びキャリブレーション計算を実行することができる。ライブキャリブレーションシステムは、以下に説明するセンサ間キャリブレーション処理と並行して実行されても良いことが注目される。ライブキャリブレーションシステムは、ナローカメラでホームプレートを検出し、これらの検出に基づいてベースラインキャリブレーションを調整する。当業者は、特にホームプレートが選手、審判等によってしばしば隠されているため、ライブキャリブレーションシステムが、フィールド上又はスタジアム内の他の任意の特徴又は固定的な特徴に依存しても良いことを理解するだろう。ライブキャリブレーションシステムは、ホームプレート又は他の所定の特徴の検出に基づいて、ベースラインキャリブレーションを調整してもよく、ナローカメラ又はワイドカメラの何れかにおける特徴マッチングに基づいて、ベースラインキャリブレーションを調整しても良い。

図１０は、オブジェクト、例えば野球で投げられたボールの軌跡データに基づいて、カメラ、例えばナローカメラ９０６に対して、レーダ、例えばレーダ９０２の向きをキャリブレーションする方法１０００を示す。１００５において、オブジェクトの軌跡に対応するセンサデータが、レーダ９０２及びカメラ９０６によって取得される。例えば、オブジェクトは野球のボールであってもよく、軌跡は投球に対応しても良い。１０１０では、キャリブレーションのために、レーダデータに対してトラックが決定される。例えば、本実施形態では、生のレーダデータ（距離データ及び速度データを含むレーダデータ）から３次元位置データを算出し、初期パラメータを用いて処理する。トラックは、生のデータに基づくオブジェクトの経路の任意の数学的、グラフィカル、又は論理的表現であってよく、様々な方法で、及び、様々な空間で表現されても良い。

例えば、１つの実施形態では、位置データに多項式を当てはめ、多項式の評価により、飛行中の任意の時間における物体の位置を決定できるようにすることができる。別のパラメトリック表現は、時間ｔ＝ｔ０における状態ベクトルと、任意の時間ｔ｜＝ｔ０への外挿を可能にする力学的モデルとすることができる。スポーツボールでは、状態ベクトルはボールの位置、速度、スピン、スピン軸等を表現することができ、力学的モデルでは、特にボールの抗力と揚力を考慮することができる。このようなパラメトリック表現は、多項式の係数や状態ベクトルの座標が決まれば、生の測定データにアクセスすることなく、オブジェクトの位置を評価することができる。従って、センサ間キャリブレーションを行う前に生データを破棄することができる。

これは、パラメトリック表現がデータについての良いモデルである場合や、生のデータを保存することが非現実的な場合に有利である。パラメトリック表現が使用される場合、最適化は、実際の測定値が表現される空間（又は空間の投影）ではなく、パラメータ空間で行われることがある。当業者に理解されるだろうが、相互にキャリブレーションされる様々なセンサの測定の周期が同期している状況（即ち、あるセンサの各測定が別のセンサからの測定と時間的に正確に対応する状況）では、同じ時間についての各センサからの生のデータは、キャリブレーションのために直接比較されても良い。

他の実施形態では、時刻ｔ＝ｔ０におけるボールの位置は、ｔ０に時間的に最も近い測定値、又はｔ０に時間的に最も近いボールのｋ個の測定値の重み付け平均によって表すことができる。これらの表現において、軌道は、生の測定データ、例えばレーダスペクトルのピーク、又は他のセンサのためのオブジェクト位置又は画素位置、及び任意の所与の時間における、生のデータからオブジェクトの位置又は他の特性を抽出するための方法によって表される。当業者に理解されるように、生の測定データは、追跡／キャリブレーション処理で使用する前に、平滑化され、又は外れ値が除去されるかもしれない。パラメトリック又はノンパラメトリックで、生のデータから物体のトラックを決定する任意のそのような方法は、トラックの性質及び測定値上のノイズに関する仮定を表すことに注意すべきである。

１０１５では、レーダデータから得られたトラックが、画像フレームの各々の取得に対応する時点において評価される。軌道を表現するために多項式が使用される場合、レーダ多項式は、カメラ９０６によってフレームが取得された時間（瞬間）の各々で評価され、それらの時間（瞬間）に対応するレーダ位置が決定される。しかしながら、上述したように、レーダデータの他のトラック表現が、レーダ位置を抽出するために異なる方法で評価されても良い。

１０２０において、画像データは、３Ｄ画像位置、即ちカメラトラックを決定するために、レーダ距離データ（即ち、画像が取得された時間（瞬間）のそれぞれにおけるレーダからオブジェクトまでの距離に対応するデータ）と組み合わされる。具体的には、画像中のオブジェクトの角度位置とレーダからの距離測定値を組み合わせて、カメラトラックを決定する。距離測定値は、投影である画像平面から、ビジョンポイント（角度測定値）の３Ｄ空間での位置を求めるために使用され、言い換えれば、変換は、結合されたレーダの距離測定値とビジョンポイントに基づいて３Ｄ空間を定義するために使用される。従って、１０１５及び１０２０の後、３Ｄ座標系、例えばグローバル座標において、画像データが取得された時間（瞬間）のそれぞれについて、１対の位置（レーダ位置及び画像位置）が決定されている。上記で詳述したように、画像位置は、画像データから厳密に導出されるのではなく、レーダからの距離データ（即ち、レーダからの距離）を画像位置の決定に組み込んでいる。別の実施形態において、３Ｄ空間におけるレーダ軌跡が２Ｄ画像平面に投影されても良い。例えば、レーダ測定値は、オブジェクトが２Ｄ画像平面内に位置することになる位置を定義するために変換されても良い。

当業者であれば理解できるように、撮像装置は、画像平面内の位置が異なるのに応じて変化する歪みを発生させることがある。例えば、画素位置に基づく関数として表されるこの歪みは、補正された２Ｄ平面におけるボールの補正された角度位置を決定するために、ボールの検出された位置（例えば、画素内）に適用されても良い。これらの補正された角度位置は、その後に、キャリブレーション目的のために、レーダデータに基づいて決定された角度位置と比較することができる。あるいは、この歪み関数の逆関数がレーダデータに適用されて、レーダデータによって表される未補正の画像データにおける角度位置が決定され、このデータが、その後に、キャリブレーション目的のために未補正の画像データと比較されても良い。

１０２５では、こうして決定されたレーダ位置と画像位置の各組について、２つの位置が一致するようなカメラ９０６又はレーダ９０２の何れか一方に対する姿勢の変化（即ち、上下／左右調整）、が計算される。言い換えれば、レーダ又はカメラのチルト及びパン（即ち、向き）が、最適化される外部パラメータである。カメラ９０６又はレーダ９０２の何れか一方についてパラメータが最適化されれば良いが、レーダの向きがカメラの向きに一致するように更新される場合、上述したようにカメラがベースライン計算に使用されるので、実装が若干シンプルになる可能性がある。しかし、カメラの向きを更新することは、実世界座標へのマッピングも更新される限り、レーダ方位を更新することと数学的に等価である。各投球（ピッチ）について、その投球のすべての検出ペアの傾き／パンの中央値を、投球ごとの傾き／パン調整値として決定する。複数の連続する投球に対する傾斜／パン調整値の組は、上述したように、確率的又はミニバッチ勾配アプローチを使用してフィルタリングされても良い。１０３０において、レーダ又はカメラは、決定されたチルト／パン調整値に対応する新たな外部パラメータでキャリブレーションされる。

上述したように、方法１０００では、カメラのチルト／パンの中央値が投球ごとに決定され、それに従ってカメラパラメータが調整される。このアプローチは、上述のように最適化されたコスト関数を使用するよりも発見的であり、キャリブレーションアルゴリズムを外れ値に対してより寛容にすることができる。方法８００の別の態様は、複数のセンサのそれぞれについて独立したトラックを決定し、それらのトラックを比較するのではなく、方法１０００は、最初にカメラデータをレーダデータと組み合わせてカメラトラックを決定し、その後、この（組み合わせた）カメラトラックを、レーダデータから厳密に導かれるレーダトラックと比較することである。

図７ａ～７ｂは、例示的なセンサ間キャリブレーションを実行する前と後の合成データの説明図である。図７ａにおいて、第１センサ及び第２センサは、複数の移動オブジェクトを追跡し、その追跡は、ＣＰ４１０によって最初に照合されている。分かりやすくするために、追跡されたオブジェクトには１～６の番号が付けられている。物体１～３について、複数のセンサは、キャリブレーションを実行するのに十分な重複するデータを取得している。物体４については、トラックの一部は、時間的な前及び後に力学的モデルを外挿することによって到達したものであり、鎖線で表されている。物体５については、第２センサのみが軌跡を生成している。つまり、第１センサが算出した軌跡と、第２センサが算出した軌跡が一致していない。物体６については、逆の状況、つまり、第１センサだけがそのオブジェクトの軌跡を生成している。トラックは、空間的に重ならないトラックによって視覚化された、それらの位置推定における著しい偏差を示している。

図７ｂでは、センサ間キャリブレーションが実行されている。この例では、マッチしたトラックが位置の偏差に基づいて最適な方法で一致するように、第１センサの外部パラメータのみが最適化されている。図７ｂに示すように、第１センサのトラックの、平行移動及び回転の両方が行われている。

図８ａ～８ｂは、例示的なセンサ間キャリブレーションを実行する前と後の実際の測定データを示す説明図である。この図は、ＭＬＢスタジアムで野球のバットで打った多数の野球ボールの軌跡の上面図を示している。軌跡を生成するために使用されるセンサは、レーダである。レーダ間で照合された軌跡のみが表示されている。各レーダの軌跡には、打撃から着弾までのボールの位置の推定と、レーダによるボールの位置の推定の信頼度を定量化した力学モデルが当てはめられている。この信頼度はエラーバーとして表示され、最小化すべきコスト関数の重みとして使用される。追跡されたすべてのボールには、レーダが追跡したことを示すマーカーが付けられている。

図８ａの未補正データでは、レーダ間でボールの位置の推定値に明らかなズレがあることがわかる。図８ｂの補正後のデータでは、センサ間キャリブレーションの後、レーダの内部パラメータ（位相オフセット）が最適化・更新され、偏差が大幅に減少していることがわかる。

Claims (14)

1. マルチセンサ追跡システムにおいて、レーダでレーダデータを取得し、カメラで画像データを取得することであって、前記レーダデータ及び前記画像データはオブジェクトの経路に対応し、前記レーダデータは前記オブジェクトのレーダ距離データ及びレーダ速度データを含み、前記カメラデータは前記オブジェクトの画像角度位置データを含むものであることと、
   前記レーダデータ及び初期レーダパラメータを用いて初期レーダトラックを生成することと、
   前記画像角度位置データ、初期カメラパラメータ、及び前記レーダ距離データを用いて初期カメラトラックを生成することと、
   前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記レーダデータに適用される第１補正パラメータであって、前記第１補正パラメータは、前記レーダデータに適用されて第１補正トラックを生成するときに、前記第１補正トラックと前記初期カメラトラックの間の対応度が前記初期レーダトラックと前記初期カメラトラックの間の対応度より高くなるように選択される、第１補正パラメータ、及び、
   前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記画像角度位置データに適用される第２補正パラメータであって、前記第２補正パラメータは、前記画像角度位置データに適用され第２補正トラックを生成するときに、前記第２補正トラックと前記初期レーダトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度より高くなるように選択される、第２補正パラメータ、
   のうち１つを計算することと、
   を含むことを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記レーダを前記第１補正パラメータでキャリブレーションし、又は前記カメラを前記第２補正パラメータでキャリブレーションすることを更に含むことを特徴とする方法。
3. 請求項１に記載の方法であって、
   前記第１補正パラメータが前記レーダの最適化された向きを構成し、第２補正パラメータが前記カメラの最適化された向きを構成し、
   前記方法は、更に、前記第１補正パラメータに基づいて補正された向きに前記レーダをキャリブレーションするための、前記初期レーダパラメータに対するチルト調整、パン調整、前記第２補正パラメータに基づいて補正された向きに前記カメラをキャリブレーションするための、前記初期カメラパラメータに対するチルト調整、及びパン調整、のうち１つを決定することを含むことを特徴とする方法。
4. 請求項３に記載の方法であって、
   前記初期レーダトラックに多項式を当てはめることと、
   前記画像データが取得された時間に対応する一連の時点において前記多項式を評価して、前記一連の時点の各時点に対応するレーダ位置を決定することと、
   を更に含むことを特徴とする方法。
5. 請求項４に記載の方法であって、
   前記一連の時点の各時点における前記多項式と前記カメラトラックとを比較することにより、前記レーダ及び前記カメラの一方に対する一連のチルト及びパン調整を決定することと、
   前記一連のチルト及びパン調整に対する中央値を、チルト及びパン調整中央値として決定することと、
   前記チルト及びパン調整中央値をローパスフィルタリングすることと、
   を更に含むことを特徴とする方法。
6. 請求項３に記載の方法であって、
   前記初期レーダトラックは、状態ベクトルと力学モデルによって表され、前記状態ベクトルは前記オブジェクトの経路パラメータを表し、前記力学モデルは前記オブジェクトに対する揚力と抗力を考慮するものであることを特徴とする方法。
7. 請求項１に記載の方法であって、前記画像角度位置データを３次元座標に展開するためにレーダ距離測定が使用されることを特徴とする方法。
8. 請求項１に記載の方法であって、
   前記マルチセンサ追跡システムが野球場に実装され、前記オブジェクトが野球ボールであることを特徴とする方法。
9. マルチセンサ追跡システムにおいてレーダ及びカメラと通信する中央処理装置であって、
   前記中央処理装置は、オブジェクトの経路に対応する前記レーダからのレーダデータ及び前記カメラからのカメラデータを受信し、前記レーダデータは前記オブジェクトのレーダ距離データ及びレーダ速度データを含み、前記カメラデータは前記オブジェクトの画像角度位置データを含み、
   前記中央処理装置は、前記レーダデータ及び初期レーダパラメータを用いて初期レーダトラックを生成するとともに、前記画像角度位置データ、初期カメラパラメータ、及び前記レーダ距離データを用いて初期カメラトラックを生成し、更に、
   前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記レーダデータに適用される第１補正パラメータであって、前記第１補正パラメータは、前記レーダデータに適用されて第１補正トラックを生成するときに、前記第１補正トラックと前記初期カメラトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度より高くなるように選択される、第１補正パラメータ、及び、
   前記初期レーダトラック及び前記初期カメラトラックからの前記オブジェクトの位置を比較することによるものであり、前記画像角度位置データに適用される第２補正パラメータであって、前記第２補正パラメータは、前記画像角度位置データに適用されて第２補正トラックを生成するときに、前記第２補正トラックと前記初期レーダトラックとの間の対応度が前記初期レーダトラックと前記初期カメラトラックとの間の対応度より高くなるように選択される、第２補正パラメータ、
   のうち１つを計算する中央処理装置を備えることを特徴とするシステム。
10. 請求項９に記載のシステムであって、
    前記第１補正パラメータは、前記レーダの最適化された向きを含み、前記第２補正パラメータは、前記カメラの最適化された向きを含み、
    前記中央処理装置は、前記第１補正パラメータに基づいて前記レーダを補正された向きにキャリブレーションするための、前記初期レーダパラメータに対するチルト調整、パン調整、前記第２補正パラメータに基づいて前記カメラを補正された向きにキャリブレーションするための、前記初期カメラパラメータに対するチルト調整、及びパン調整、のうち１つを決定することを特徴とするシステム。
11. 請求項１０に記載のシステムであって、
    前記中央処理装置は、前記初期レーダトラックに多項式を当てはめ、画像データが取得された時間に対応する一連の時点において前記多項式を評価して、前記一連の時点の各時点に対応するレーダ位置を決定することを特徴とするシステム。
12. 請求項１１に記載のシステムであって、
    前記中央処理装置は、一連の時点の各々で前記多項式と前記カメラトラックとを比較することによって、前記レーダ及び前記カメラの一方に対する一連のチルト及びパン調整を決定し、
    一連のチルト及びパン調整に対する中央値をチルト及びパン調整中央値として決定し、
    前記システムは、チルト及びパン調整中央値をフィルタリングするローパスフィルタリング装置を更に備えることを特徴とするシステム。
13. 請求項１０に記載のシステムであって、
    前記中央処理装置は、前記初期レーダトラックを状態ベクトル及び力学モデルによって表し、前記状態ベクトルは前記オブジェクトの経路パラメータを表し、前記力学モデルは前記オブジェクトに対する揚力及び抗力を考慮するものであることを特徴とするシステム。
14. マルチセンサ追跡システムにおいて、第１センサで第１センサデータを取得し、第２センサで第２センサデータを取得することであり、前記第１センサデータ及び前記第２センサデータは、オブジェクトの経路に対応するものであることと、
    前記第１センサデータ及び初期の第１センサパラメータを用いて、初期の第１トラックを生成することと、
    前記第２センサデータ及び前記第１センサデータの少なくとも１つの形態を使用して初期の第２トラックを生成することであって、前記第１センサデータの少なくとも１つの形態は、前記第２センサデータを３次元空間に展開するために使用されることと、
    前記初期の第１トラック及び前記初期の第２トラックからの前記オブジェクトの位置を比較することによるものであり、前記第１センサデータに適用される第１補正パラメータであって、前記第１補正パラメータは、前記第１センサデータに適用されて第１補正トラックを生成するときに、前記第１補正トラックと前記初期の第２トラックとの間の対応度が前記初期の第１トラックと前記初期の第２トラックとの間の対応度より高くなるように選択される、第１補正パラメータ、及び、
    前記初期の第１トラック及び前記初期の第２トラックからの前記オブジェクトの位置を比較することによるものであり、前記第２センサデータに適用される第２補正パラメータであって、前記第２補正パラメータは、前記第２センサデータに適用されて第２補正トラックを生成するときに、前記第２補正トラックと前記初期の第１トラックとの間の対応度が前記初期の第１トラックと前記初期第２トラックとの間の対応度より高くなるように選択される、第２補正パラメータ、
    のうち１つを計算することと、を含むことを特徴とする方法。

Images