JP2022017330A - レーダデータ及び撮像装置データを使用して物体を追跡するための装置、システム、及び方法 - Google Patents

Abstract

【課題】物体の移動を追跡するためのシステムを提供する。【解決手段】システムは、レーダ装置であって、第１の視野を有し、前記装置は、第１の視野内で動く物体の装置からの間隔を示す距離、又は、物体と装置との間の間隔の時間変化率を示す距離レートに対応するレーダデータを生成するものであるレーダ装置と、撮像装置であって、重複視野内で第１の視野と少なくとも部分的に重複する第２の視野を有し、撮像装置は、物体が第２の視野内にある場合に、撮像装置に対する角度位置を少なくとも１つの次元で測定する撮像装置データを生成するものである撮像装置と、プロセッサであって、前記重複視野内に物体がある場合に、前記物体の追跡を少なくとも２次元で特定するために撮像装置とレーダのデータを組み合わせ、角度位置は撮像装置からのデータのみを用いて決定されるものであるプロセッサと、を備える。【選択図】図１

Description

［優先権主張］この出願は、２０１６年１２月５日に出願された米国特許出願１５／３６９，３７２に基づく優先権を主張する；その開示は、参照によって本明細書に組み込まれる。

追跡システムは、物体の位置、速度及び／又は軌跡を決定するために、例えば、移動物体を含むターゲット領域の画像のシーケンスを捕捉する撮像装置を使用してきた。しかしながら、これらのシステムは、一般的に２次元撮像装置を採用するために、ある条件下では望まれるレベルの精度を得ることが難しかった。加えて、物体を追跡するために使用されるレーダ追跡システムもまた、ある種の欠陥を抱えている。

従来のシステムは、飛行機やミサイルのような物を追跡するために、パルスレーダを撮像装置と組み合わせることでこれらの欠陥を解決しようとしてきた。しかし、このようなシステムは、一般的に、地面及び他の物体の近くの短い距離で、スポーツボールのような動きの速い物体を追跡するのには適していない。例えば、パルスレーダシステムは、高電力で信号を送信し、物体によって反射されたこれらの信号の一部の反射に必要な時間を決定することによって、物体までの距離を決定する。そのようなシステムによって追跡される場合、遠方のターゲットからは送信信号のごくわずかな部分しか戻ってこないので、受信機は、送信信号よりも桁違いに小さい微弱な信号を検出しなければならない。従って、このようなシステムの受信機は、パルスレーダが送信しているときはシャットダウンされる必要がある、そうでなければ、非常に敏感な受信機が高電力信号によって飽和され又は損傷してしまうだろう。送信から受信へ切り換えるために必要な時間によって、パルスレーダによって検出可能な最小ターゲット距離が決まる－－一般的に数百メートルのオーダーである。更に、これらのシステムは、一般的に、似た位置にある異なる物体（例えば、物体が、静止している物体、又は、別経路で動く物体の近くを通過する）を判別することができない。従って、これらのシステムは、例えば、地面の近くの領域を通過するスポーツボールのような物体を追跡する状況であって、その領域が、動いている又は静止している選手、樹木等のような他の物体を含んでいるときは、あまり適していない。

本開示の実施形態は、物体の移動を追跡するための、以下を備えるシステムに関する：レーダ装置であって、第１の視野を有し、前記レーダ装置は、前記第１の視野内で動く物体の前記レーダ装置からの間隔を示す距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうちの１つに対応するレーダデータを生成するものであるレーダ装置；撮像装置であって、重複視野内において前記第１の視野と少なくとも部分的に重複する第２の視野を有し、前記撮像装置は、物体が第２の視野内にある場合に、前記撮像装置に対する物体の角度位置を少なくとも１つの次元で測定する撮像装置データを生成するものである撮像装置；プロセッサであって、前記物体が前記重複視野内にある場合に、物体の追跡を少なくとも２次元で特定するために前記撮像装置データと前記レーダデータを組み合わせ、物体の角度位置は前記撮像装置からのデータのみに基づいて決定されるものであるプロセッサ。

レーダ装置は、１次元レーダである。プロセッサは、撮像装置に対するレーダ装置の位置を示す離隔ベクトルに対応するデータを含む。プロセッサは撮像装置から物体までの単位ベクトルを計算し、単位ベクトル、レーダデータ、及び離隔ベクトルに基づいて、プロセッサは、３次元における物体の位置を計算する。プロセッサは第２の視野内の基準点に基づいてフィールド基準の座標系を定義し、物体の位置を３次元でフィールド基準の座標系に変換し、回転させる。このシステムは、物体が見つけられるべき位置を予測する事前情報を記憶するメモリを更に備える。

プロセッサは、事前情報を使用して、物体が現れると予想される注目領域を、第１及び第２の視野のうちの１つの縮小された部分として定義する。事前情報は、物体の過去の位置、物体の過去の速度、及び物体の過去の距離のうちの少なくとも１つに関する情報を含む。物体はスポーツボールであり、事前情報は、ボールがプレイされる可能性が高い場所に関する。物体はスポーツボールであり、ターゲット空間はプレイフィールドを含み、基準点は、プレイフィールド上でプレイされるゲームのプレイルールにとって重要な位置を含む。レーダ装置は、ドップラーレーダである。プロセッサは、距離の初期値と、レーダデータから決定された距離レートの時間にわたる積分と、に基づいて、レーダ装置からの距離を計算する。距離の初期値は、事前の情報に基づく。

本発明の実施形態はまた、物体の移動を追跡するための、以下を含む方法に関する：レーダ装置を、第１の視野が、物体が移動するターゲット空間の少なくとも一部をカバーするように向けられるように位置させることであって、レーダ追跡装置は、前記第１の視野内で動く物体の前記レーダ装置からの間隔を示す距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうち１つに対応するレーダデータを生成するものであること；撮像装置を、前記撮像装置の第２の視野がターゲット空間の所望の部分において前記第１の視野と少なくとも部分的に重複するように向けられるように位置させることであって、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する物体の角度位置を少なくとも２次元で測定する撮像装置データを生成するものであること；物体が前記重複視野内にある場合に、前記物体の軌跡を少なくとも２次元で特定するために前記撮像装置データと前記レーダデータとを組み合わせることであって、前記物体の角度位置は、前記撮像装置からのデータのみを使用して決定されるものであること。

本発明の実施形態は物体の移動を追跡するための、以下を備えるシステムにも関する：レーダ装置であって、第１の視野を有し、前記レーダ装置は、前記第１の視野内で動く物体の前記レーダ装置からの間隔に対応する距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうちの１つを示すレーダデータを生成するレーダ装置；撮像装置であって、重複視野内で前記第１の視野と少なくとも部分的に重複する第２の視野を有し、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する物体の角度位置を少なくとも１つの次元で測定する撮像装置データを生成し、前記撮像装置と前記レーダ装置のうち少なくとも一方が前記撮像装置と前記レーダ装置のうち他方に対して移動可能なものである撮像装置；メモリであって、前記撮像装置に対する前記レーダ装置の位置を示す離隔ベクトルに対応するデータを含むメモリ；プロセッサであって、前記プロセッサは前記撮像装置から前記物体までの単位ベクトルを計算し、前記単位ベクトル、前記レーダデータ、及び前記離隔ベクトルに基づいて、前記プロセッサは、物体の追跡を少なくとも２次元で特定するために、前記物体の位置を少なくとも２次元で計算し、前記プロセッサは物体の角度位置を前記撮像装置からのデータのみに基づいて決定するプロセッサ。プロセッサは、撮像装置に対するレーダ装置の位置における物体の追跡中に生じる変化を反映するように、離隔ベクトルを調整する。

本実施形態はまた、物体の移動を追跡するためのシステムに関し、このシステムは、レーダ装置であって、第１の視野を有し、前記レーダ装置は、前記第１の視野内の動く物体の前記レーダ装置からの間隔に対応する距離と、前記間隔がレーダ装置に対して変化するレートに対応する距離レートと、のうち１つを示すレーダデータを生成するものであるレーダ装置と、撮像装置であって、前記第１の視野と重複視野において少なくとも部分的に重複する第２の視野を有し、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する角度位置を少なくとも１次元で測定する撮像装置データを生成し、前記撮像装置は、物体が前記重複視野内にある場合に、前記物体の軌跡を少なくとも２次元で特定するために、プロセッサと共同して、前記レーダデータと前記撮像装置データを組み合わせるものである撮像装置と、を備える。

レーダ装置は１次元レーダであり、レーダデータは、物体の距離レートを含む。撮像装置は２次元撮像装置であり、撮像装置データは少なくとも２次元における物体の角度位置を測定し、プロセッサは、物体の追跡を３次元で特定する。画像追跡装置は、撮像装置の座標系における垂直及び水平角度を測定する。プロセッサは、レーダ装置から撮像装置までの距離及び向きを示す離隔ベクトルに対応するデータを含む。

プロセッサは撮像装置から物体までの単位ベクトルを計算し、単位ベクトル、レーダデータ、及び離隔ベクトルに基づいて、プロセッサは、３次元における物体の位置を計算する。プロセッサは重複視野内の基準点に基づいてフィールド基準の座標系を定義し、物体の位置を３次元でフィールド基準の座標系に変換し、回転させる。レーダ装置は、物体までの距離と、ターゲットに対する水平及び垂直角度のうちの１つと、を検出する。

システムは、物体が見つけられるべき位置を予測する事前情報を格納するメモリを更に備える。プロセッサは、事前情報を使用して、物体が現れると予想される注目領域を、第１及び第２の視野のうちの１つの縮小された部分として定義する。事前情報は、物体の過去の位置、物体の過去の速度、及び物体の過去の距離のうちの少なくとも１つに関する情報を含む。物体はスポーツボールであり、事前情報は、ボールがプレイされる可能性が高い場所に関する。

物体はスポーツボールであり、ターゲット空間はプレイフィールドを含み、基準点は、プレイフィールド上でプレイされるゲームのプレイルールにとって重要な位置を含む。レーダ装置は、ドップラーレーダである。プロセッサは、レーダ装置からの距離レートと、その距離の初期値とに基づいて距離を決定する。距離の初期値は、事前の情報に基づく。

一実施形態による物体の移動を追跡するための方法は、レーダ装置を、第１の視野が、物体が移動するターゲット空間の少なくとも一部をカバーするように向けられるように位置させることであって、レーダ追跡装置は、前記第１の視野内で動く物体の前記レーダ装置からの距離を示すレーダデータを生成するものであることと、撮像装置を、第２の視野が、ターゲット空間の所望の部分内の第１の視野に少なくとも部分的に重複するように向けられるように位置させることであって、前記撮像装置は、物体が前記第２の視野内にある場合に、物体の前記撮像装置に対する角度位置を少なくとも２次元で測定し、物体が前記重複視野内にある場合に、前記物体の追跡を３次元で特定するために、前記レーダデータと撮像装置データとが組み合わせられるものであることと、を含む。

図１は、例示的な実施形態による、物体を追跡するためのシステムの平面図を示す； 図２は、別の例示的な実施形態による、追跡及び物体のためのシステムの斜視図を示す； 図３は、図１のシステムの平面図を示す； 図４は、図１のシステムの側面図を示す； 図５は、図１のシステムの第１の実施形態によるレーダ追跡装置、画像追跡装置、及びデータ処理システムの概略図を示す； 図６は、図１のシステムの第２の実施形態によるレーダ追跡装置、画像追跡装置、及びデータ処理システムの概略図を示す； 図７は、図１のシステムを用いて物体の軌跡を決定する方法のフローチャートを示す； 図８は、図１のシステムの例示的な実施形態による撮像装置フレームを示す； 図９Ａは、図１のシステムによって生成された平面追跡図を示す；図９Ｂは、図１のシステムによって生成された側面追跡図を示す； 図１０は、レーダ及び撮像装置からターゲットへのベクトル、並びに撮像装置からレーダへのベクトルを示す； 図１１は、レーダ及び撮像装置に関連する３次元座標系を示す； 図１２Ａ～Ｃは、図１のシステムによって生成されたデータを示す； 図１３Ｄ～Ｆは、図１のシステムによって生成されたデータを示す； 図１４は、捕捉されたフレーム上に物体の追跡が重ね合わされた、図１のシステムによって出力される例示的な画像を示す。

例示的な実施形態は以下の説明及び関連する添付の図面を参照して更に理解されることができ、ここで、同様の要素は同じ参照番号を与えられる。例示的な実施形態は、１つ又は複数の撮像装置及び１つ又は複数のレーダ装置からのデータを組み合わせることによって物体を追跡するための装置、システム、及び方法に関する。本明細書で詳述される例示的な実施形態は野球ボール及びゴルフボールの追跡を説明するが、当業者は、任意のスポーツボール又は非スポーツ関連物体も、同じ方法でシステムで追跡できることを理解するだろう。同様に、システムは、野球バット、ゴルフクラブ、又は、画像内で検出可能であり、レーダデータ内に信号を生成する任意の他の物を追跡することができる。

図１～図４は、例示的な実施形態による、物体１０６を追跡するための第１のシステム１００を示す。第１のシステム１００は、２つの追跡装置、即ち、レーダ追跡装置１０２と、画像追跡装置又は撮像装置１０４と、を備える。２つの追跡装置は、物体１０６が通過するターゲット領域の近くに配置される。図１の第１の実施形態では、システム１００は、野球ボール１０６を追跡するためのシステムである。野球ボール１０６は、ターゲット領域（例えば、野球場）内を、例えばピッチャーマウンド１０８に位置する開始位置からホームプレート１１０に向かって移動する。当業者に理解されるように、開始位置１０８は、レーダ追跡装置１０２及び画像追跡装置１０４の両方の視野（ＦｏＶ）内の任意の領域に配置することができる。以下でより詳細に説明するように、レーダ追跡装置１０２は一般に、ドップラーレーダである。システム１００の実施形態ではレーダ装置１０２は１次元レーダであるが、当業者であれば、２次元レーダ又は３次元レーダの何れを使用してもよいことを理解するだろう。更に、以下でより詳細に説明するように、システム１００の撮像装置１０４は、２次元撮像装置である。しかし、３次元撮像装置１０４を使用することもできる。本実施形態では、距離及び／又は距離レートのみを測定する１次元レーダ装置１０２と、垂直及び水平角度を測定する２次元撮像装置１０４とを使用することにより、費用効果が高く、正確な３次元位置測定システムが構築される。当業者であれば、距離は、距離の初期値（例えば、事前の情報に基づいて決定される）と、レーダ追跡装置１０２によって測定される距離レートの積分と、に基づいて決定されてもよいことを理解するだろう。即ち、距離は、時間Ｔ₀における距離の初期値Ｒ₀に、距離レートの時間積分を加えたものとして決定され、Ｒ（ｔ）は、式Ｒ（ｔ）＝Ｒ₀＋∫（ｄＲ／ｄＴ、Ｔ₀からｔまで）に基づいて決定されてもよい。例えば、野球では、レーダ追跡装置１０２から、ボール１０６がピッチャーマウンド１０８から放たれる平均位置までの距離が、ある程度の精度で知られている。更に理解されるように、この距離の初期値は、上記の式を使用した距離の初期値から更新される距離を用いて、任意の既知の技術を使用して決定することができる。更に、当業者であれば、特定の用途では、レーダ装置１０２からの距離／レート（及び計算された距離）データを撮像装置１０４からの１つの角度（例えば、水平角度）のみと組み合わせることによって、必要な全ての情報が得られることを理解するだろう。例えば、平坦な表面上を転がるボール（例えば、ボウリングボール）、又はスロープを下って移動するスキーヤー若しくはグリーン上を転がるパットのような、その地形が知られている平坦でない表面上を移動する物体を追跡するために、距離データは、物体が移動している表面の幾何学的形状、及び、物体の経路を追跡するための撮像装置１０４からの１つの角度の情報と組み合わせることができる。

単一の撮像装置１０４及び単一のレーダ１０２を備える第１のシステム１００が例示に過ぎないことに留意されたい。他の構成では、１つ又は複数の画像を捕捉する１つ又は複数の撮像装置、及び／又はレーダ情報を取得する１つ又は複数のレーダ装置があってもよい。図２に示す例示的な実施形態では、システム１００が、単一のレーダ１０２と、２つの撮像装置１０４，１０４’とを備える。

レーダ追跡装置１０２は、物体の距離、位置、速度、及び／又はスピンを検出するために反射放射を測定するように構成された任意のレーダとすることができる。レーダ追跡装置１０２は、例えば、約５００ミリワットのＥＩＲＰ（等価等方性放射電力）を放射するＸバンド（１０．５～１０．６ＧＨｚ）でマイクロ波を放射する連続波ドップラーレーダとすることが可能であり、従って、短距離意図的放射器のためのＦＣＣ及びＣＥ規制に従うのに適切である。任意のタイプの連続波（ＣＷ）ドップラーレーダを使用することができる。これらには、位相又は周波数変調ＣＷレーダ、多周波数ＣＷレーダ、又は単一周波数ＣＷレーダを含む。物体の追跡は、ドップラー周波数スペクトルの使用に基づくことができる。理解されるように、ドップラー周波数スペクトルは、連続波ドップラーレーダからのデータを指す。本明細書に記載されたものと同様の物体を追跡することができる任意の他のタイプのレーダも、それらが１次元、２次元、又は３次元で追跡するかどうかにかかわらず、使用することができる。レーダ装置１０２はＦｏＶを有する。図１で分かるように、レーダ１０２は、レーダ１０２から延び、ターゲット領域を取り囲むＦｏＶ１１２を有する。ＦｏＶ１１２は、ターゲット領域全体と、ターゲット領域の周りの拡張された捕捉エリアとを含むことができ、又は、複数のレーダを有するシステムでは、ターゲット領域の一部のみを含むことができる。

撮像装置１０４はターゲット領域の画像を捕捉するように構成された任意の装置であってもよく、画像は可視又は非可視スペクトル（赤外など）の放射を受け取るように構成されてもよい。例えば、撮像装置は、スチルカメラ又はビデオカメラであってもよい。それによって、ターゲット領域の単一の画像を捕捉することができ、又は一連の画像をある期間にわたって連続的に捕捉することができる。画像は様々なタイプの画像（例えば、白黒、カラーなど）を生成するために、様々な技術の何れかを使用して捕捉することができる。撮像装置１０４はまた、ターゲット領域内の要素の可変ズーム又は拡大、選択可能なシャッタ時間、時間間隔当たりの選択可能な画像数（例えば、１秒当たりのフレーム数）などの様々な特徴を有するように構成されてもよい。図１に示すように、撮像装置１０４は、撮像装置１０４から延び、ターゲット領域を取り囲むＦｏＶ１１４を有する。ＦｏＶ１１４は、ターゲット領域全体と、ターゲット領域の周りの拡大された捕捉エリアとを含むことができ、又は、複数の撮像装置が含まれる実施形態の場合は、各撮像装置はターゲット領域の一部のみを包含する視野を有することができる。

レーダ１０２は、少なくとも１つの次元を測定するためのデータを生成する。例えば、１次元レーダはターゲットまでの距離及び／又は距離レート（本明細書ではまとめて又は個別に「距離」と呼ぶ）を示すデータを生成し、２次元レーダは距離及び／又は距離レート並びに垂直角度又は水平角度を示すデータを生成し、３次元レーダは、距離及び／又は距離レート、垂直角度及び水平角度を示すデータを生成する。撮像装置１０４は、２次元又は３次元を含む画像を捕捉する。例えば、撮像装置１０４は、垂直角度及び水平角度の測定を可能にする２次元画像、又はターゲットの３次元位置の特定（即ち、垂直角度及び水平角度だけでなく距離を測定する）を可能にする３次元画像を捕捉することができる。システム１００の実施形態は、１次元レーダ１０２及び２次元撮像装置１０４を利用する。しかし、更なる実施形態は、レーダ１０２及び撮像装置１０４の任意の組合せを利用して、３次元すべて（例えば、距離、垂直角度、及び水平角度）の情報が、選択された期間に取り込まれるようにすることができる。例えば、３次元レーダ及び３次元撮像装置は冗長データを提供し、この冗長データは、結果を検証し、及び／又は、それらの精度における信頼レベルを高めるために使用され得る。

図３～図４に示すように、ターゲット領域は、ピッチャーマウンド１０８からホームプレート１１０まで野球ボール１０６が軌跡３１６に沿って移動する空間とすることができる。より詳細には、図３の平面視では、レーダ１０２からその軌跡３１６に沿ったボールの位置までの距離及び水平角度を示し、一方、図４の側面視では、レーダ１０２からその軌跡３１６に沿ったボールの位置までの距離及び垂直角度を示す。フィールド基準の座標系は、図３及び図４にも示されている。この座標系は、フィールドｘ軸、フィールドｙ軸、及びフィールドｚ軸を含み、ホームプレートの頂点を中心とする。レーダ１０２及び撮像装置１０４は、野球スタジアムセットアップで描かれ、ホームプレート１１０の後方の距離Ｄ（この実施形態では約４５ｍ）及びホームプレート１１０の上方の距離Ｈ（この実施形態では１５ｍ）に配置される。ブルペン又はバッティングケージの場合、実際のセットアップでは、レーダ１０２及び撮像装置１０４は、ホームプレートの後方２～１０ｍ及び上方０～３ｍなど、より近くに配置される。レーダはレーダのｘ軸、ｙ軸及びｚ軸を規定し、撮像装置は撮像装置のｘ軸、ｙ軸及びｚ軸を規定する。図に示すように、レーダ１０２は距離Ｒ５０２の経路３１８に沿ってターゲットに放射を送信し、経路３１８に沿ってターゲットから反射された放射を受信する。同様に、距離Ｒ_c５０４の経路３１９は、撮像装置１０４から野球ボール１０６まで延びる。レーダ装置１０２又は撮像装置１０４の何れかからフィールド基準の座標系の頂点までのベクトルを知ることにより、システム１００は、レーダ装置１０２又は撮像装置１０４からの座標系の何れかにおいて定義された位置を、フィールド基準の座標系における対応する位置に、平行移動及び回転させることができる。これにより、システム１００はフィールド上の位置（例えば、ボールとストライク、フェアとファウルなどのコール）に関する結果を与えることができる。

以下でより詳細に説明するように、レーダ１０２及び撮像装置１０４は、それぞれ、経路に沿った物体のレーダデータ及び画像を、時間同期方式で捕捉する。即ち、第１のレーダデータ及び第１の画像は、物体が経路に沿って移動している間の第１の時間におけるターゲットの位置に対応し得る。レーダ１０２及び撮像装置１０４は、経路がＦｏＶ１１２及びＦｏＶ１１４内にあるときにシステム１００（以下に説明する）によって時間同期されるレーダデータ及び画像をそれぞれ生成するために、ある期間中に物体を追跡する。従って、レーダ１０２のＦｏＶ１１２と撮像装置１０４のＦｏＶ１１４は、図１に示すように、重複領域１１６で重複しなければならない。時間同期は、各レーダデータ点及び各撮像装置データ点が共通の時間基準を有することを保証する。時間同期は、多くの方法で実現することができる。１つの方法は、全ての画像が撮影されるときに、ハードウェアトリガ信号がレーダデータに記録されることである。別の方法は、レーダと画像データの両方で識別することができる時間イベント、例えば、ボールが、放たれたり、バットで打たれたり、ゴルフクラブによって打ち出されること等を使用する。第２の方法では、レーダデータに対して任意の追加の画像フレームを配置するために、レーダデータのサンプルレート及び撮像装置のフレームレートの記録又は事前の情報が更に存在するだろう。

図３及び図４に示すように、システム１００のレーダ１０２及び撮像装置１０４は、ホームプレート１１０及びピッチャーマウンド１０８を含むターゲット領域の後方に位置し、これに面している。この実施形態における両方の装置１０２，１０４は、各ＦｏＶ１１２，１１４がホームプレート１１０、ピッチャーマウンド１０８、及び周囲領域の一部を取り囲むように配置される。フィールドに近く、かつフィールドの上方のこの位置は、追跡装置１０２，１０４がその軌跡のすべて又はほぼすべての間、移動物体（即ち、野球ボール）の明瞭な視野を有することを可能にするように選択される。典型的な野球場では、これは、レーダ１０２及び撮像装置１０４がホームプレート１１０の背後に配置され、打者、捕手、及び審判による軌跡の閉塞が最小限に抑えられるように選手の上に配置されることを意味する。いくつかの実施形態では、追跡装置１０２，１０４の最適位置は約３０～５０メートル（ｍ）、又はより具体的には４５ｍ、ホームプレート１１０の背後にあり、約１０～２０ｍ、又はより具体的には１５ｍ、フィールドの上方に配置される。例示的な実施形態では、マウント１１８を使用して、システム１００を野球スタジアムに結合することができる。マウント１１８は、グランドスタンド又は他の構造に固定されてもよい。別の実施形態では、三脚又は他のスタンドを地上に配置して、レーダ１０２及び撮像装置１０４を所望のシーンに面するように（例えば、ピッチャーマウンド１０８に面するホームプレート１１０の背後に）位置させることができる。第１のシステム１００のための本明細書の例示的な実施形態は、追跡装置１０２，１０４を固定的に位置させることが可能なマウント１１８に関する。当業者は、例示的な実施形態が、追跡のための移動可能な構成とともに使用するために修正されてもよいことを理解するだろう。

レーダ装置１０２及び撮像装置１０４は、互いに対して、及びターゲット領域に対して、初期の既知の位置及び向きに配置される。上述したように、例示的な実施形態では、追跡装置１０２，１０４はターゲット領域（即ち、野球場）の後方に配置され、ターゲット領域の上方に配置される。レーダ装置１０２及び撮像装置１０４は図１に示すように、互いに既知の距離ｔだけ離れて配置される（以下でより詳細に説明するように、レーダ１０２と撮像装置１０４との間の離隔は、既知の長さｔ及び向きのベクトルｔによって定義される）。例示的な実施形態では、装置１０２，１０４は、一方の追跡装置が他方の上に直接、他方の脇に直接、又は任意の他の適切な相対位置に配置されるように位置する。このとき、装置１０２，１０４は、追跡装置１０２，１０４のＦｏＶ１１２及び１１４が重なり合い、装置１０２，１０４間のベクトルｔが既知であるように配置される。

システム１００はデータ処理システム２００を含む。データ処理システム２００は、当業者に理解されるように、有線接続又は無線接続の何れかを介してレーダ装置１０２及び撮像装置１０４に結合された１つ又は複数のコンピュータを含むことができる。例示的な実施形態では、単一のコンピュータ２０１を使用して、レーダ追跡及び画像追跡、並びにレーダ装置１０２から出力されたデータと撮像装置１０４からのデータとの統合を実行する。しかし、別の例示的な実施形態では、データ処理システム２００が図６に示すように、レーダ装置１０２及び撮像装置１０４のうちの対応する１つにそれぞれ関連付けられた別個のコンピュータ２０２，２０２’と、２つのコンピュータ２０２，２０２’からのデータを調整する中央コンピュータ２０４と、を含む。当業者は、任意の数のコンピュータが、任意の所望の方法で、コンピュータ間に分散された様々なタスクとともに使用され得ることを理解するだろう。当業者に理解されるように、データ処理システム２００は、本出願に記載された機能を提供するのに必要なハードウェア、ファームウェア、及びソフトウェアを含む。例示的な実施形態では、レーダ装置１０２及び撮像装置１０４のそれぞれは、その記録された追跡データに関連するそれ自体の座標系を定義する。また、データ処理システム２００は、コンピュータがレーダの座標系及び撮像装置の座標系のそれぞれから追跡データを変換する全般的な３次元座標系を定義する。例えば、これは、垂直なｚ軸と、水平なｘ軸及びｙ軸と、ターゲット領域内の位置（例えば、ホームプレートの頂点）における頂点とを有する座標系であってもよい。

レーダ装置１０２及び撮像装置１０４からのデータは、これら２つのソースからのデータの組合せに基づいて追跡情報の精度を保証するために時間同期される。例えば、レーダ装置１０２からの距離情報を、ピッチャーによって投げられた野球ボールに関する撮像装置１０４によって撮像されたフレームに関連付ける場合、野球ボールの位置を計算する際の精度のレベルは、これらのデータ点の各々が撮像された時間が互いに適切にマッチングされるときに高くなる。即ち、正確な追跡を確実にするために、レーダ装置１０２及び撮像装置１０４から統合されたデータが、同時に（又は可能な限りほぼ同時に）ボールの位置に対応することを確実にすることが必要である。上述のように、レーダ１０２は、撮像装置のフレームレートよりもはるかに短い時間間隔でレーダデータを生成するＣＷドップラーレーダであってもよい。従って、データ点間に１：１の対応関係がない場合であっても、野球ボールの軌跡を正確に決定するためには、レーダデータを撮像装置１０４からのフレームに、それと最も同期してマッチングさせる必要がある。この短い期間中にそれぞれの捕捉された画像間の時間整合を増大させるために、レーダ装置１０２及び撮像装置１０４は、例えば、撮像装置１０４が各フレームの捕捉のタイミングを示す信号をレーダ装置１０２に提供することができ、その結果、取り付けられた又は一体化されたコンピュータが画像とレーダデータとの間の時間対応を決定することができるように、電気的に共に配線されてもよい。あるいは、同様の信号がレーダ装置１０２によって撮像装置１０４に供給されてもよい。例えば、撮像装置１０４はレーダ装置１０２から、いつ写真を撮るべきかをシグナリングする信号、又は、写真を撮るシグナリングの信号を、例えば、２０ミリ秒（ｍｓ）ごとに受信することができる。別の例では、撮像装置１０４がレーダ装置１０２にパルスを送信し、各画像フレームがどの時間に撮影されたかをシグナリングすることができる。また、データ処理システム２００上のソフトウェアは、撮像装置の画像データをレーダ装置１０２からのレーダデータに整合させることができる。別の例では、撮像装置１０４が画像を撮影するたびに、信号がレーダ装置１０２に送信され、レーダ装置１０２はフレームが捕捉された時間をマークして（信号及び処理の遅延を許容して）、撮像装置１０４の画像から対応するレーダデータに画像を同期させる。

図７のフローチャートは、レーダ装置１０２によって生成されたレーダデータを、撮像装置１０４によって捕捉された画像からのデータと統合するために、コンピュータ２０１によって実施される動作の方法３００を示す。この方法は、３次元を表すパラメータの高精度な確実性を有する、物体の３次元軌跡を生成するために行われる。方法３００はまた、図１のシステム１００に関して、ピッチャーマウンド１０８からホームプレート１１０に向かって投げられる野球ボール１０６の軌跡を決定する上述の例に関する。この実施形態では、野球ボール１０６が、ピッチャーの手から放たれる軌跡に沿って、ピッチャーマウンド１０８上をホームプレート１１０に向かって追跡される物体である。

ステップ３１０において、レーダ装置１０２はレーダデータを記録し、撮像装置１０４はコンピュータ２０１に送信される画像データを記録する。上述したように、レーダ１０２は、ＦｏＶ１１２内のターゲット領域内を移動する物体に対応するレーダデータを生成する。撮像装置１０４は、物体が移動しているＦｏＶ１１４内のターゲット領域の画像を捕捉することができる。例示的な実施形態によれば、物体は、ＦｏＶ１１２及びＦｏＶ１１４の重複領域１１６内のターゲット領域内で移動していると仮定することができる。

ステップ３２０では、コンピュータ２０１が、レーダ１０２によって生成されたレーダデータ又は撮像装置１０４によって捕捉された画像の何れかにおいて、ターゲット物体が捕捉されたかどうかを検出する。物体検出は、任意の識別メカニズムを使用して行うことができる。例えば、コンピュータ２０１は、パターン認識アルゴリズムを利用して、１つ又は複数の画像内のターゲット物体の存在を検出することができる。別の例では、追跡装置１０２がレーダデータ内の移動物体を検出し、探索エリアを制限することができる。以下でより詳細に説明するように、システム１００は、事前の情報を使用して、注目領域（ＲＯＩ）を、ターゲット物体を探索するＦｏＶ１１４の選択された一部として定義することができる。例えば、野球ボールの追跡の場合、システム１００は、毎回の投球が起こる領域として、ピッチャーマウンド１０８及びいくつかの周囲領域を含む画像の一部としてＲＯＩを定義することができる。これにより、演算負担が軽減され、画像データにおけるターゲット物体の特定を高速化することができる。同様に、システム１００は、レーダデータ内で探索されるデータのＲＯＩとして、ターゲット範囲を、マウンド１０８までの距離±所定のマージンとして定義することができる。従って、ＲＯＩ内で検出された動きは、より迅速に、投げられた野球ボール１０６として識別することができる。

ステップ３３０において、コンピュータ２０１は、レーダデータ及び画像データの一方又は両方における、野球ボール１０６の新しい位置に対応する後続計測を行う。この新しいデータに基づいて、システム１００はステップ３４０で、レーダの新しいＲＯＩ（即ち、ボールの後続の検出が予想される新しい範囲）と、撮像装置の新しいＲＯＩ（即ち、ボールが位置すると予想される後続の画像（フレーム）の一部）とを定義する。レーダからの過去の位置、距離及び／又は距離レートデータを使用して、システム１００は、レーダ１０２及び撮像装置１０４の各々について新しいＲＯＩを定義するために、野球ボール１０６が後続のレーダ読み取り及び後続のフレームのどこにあるかを予測する。次に、本方法はステップ３５０に進み、システム１００は物体を追跡する（即ち、レーダ装置１０２及び撮像装置１０４のＲＯＩ内に物体を配置する）。レーダ１０２の場合、ＲＯＩは、距離及び／又は距離レートの注目領域も含む。フローチャートから分かるように、レーダデータに基づく追跡によるデータは、撮像装置１０４のＲＯＩの決定に使用することができ、撮像装置データに基づく追跡によるデータは、レーダ装置１０２のＲＯＩの決定に使用することができる。上述したように、ステップ３４０では、探索されるそれぞれのＦｏＶ１１２，１１４の一部を、ＲＯＩを定義することによって制限するために、野球ボール１０６の位置に関するレーダ装置１０２又は撮像装置１０４の何れかからの情報を使用することができる。第１の例では、物体がレーダ装置１０２によって識別されると、システム１００は、ＦｏＶ１１２全体の一部としてのＲＯＩ、並びに、制限された距離及び／又は距離レートを定義することができる。Ｆｏｖ１１２全体と距離／距離レート全体にわたってボール１０６の存在について分析される必要がないので、これは計算上の低減に繋がる。即ち、ＦｏＶ１１２の残りを無視しながら、ＦｏＶ１１２の一部のみを分析することができ、同様に、ボールの軌跡に関する関連情報を有さない可能性が高い残りを無視しながら、距離及び／又は距離レートの一部のみを分析することができる。同様に、ボール１０６の事前情報又は以前の位置及び／又は軌跡に基づいて、システムは撮像装置１０４のＲＯＩを、ＦｏＶ１１４全体の一部として設定することができる。これにより、全ＦｏＶ１１４がボール１０６の存在について分析される必要がないので、撮像装置データの計算の低減に繋がる。即ち、ボールの軌跡に関する関連情報を有さない可能性が高いＦｏＶ１１４の残りを無視しながら、ＦｏＶ１１４の一部のみを分析することができる。ステップ３４０と同様に、レーダ１０２のレーダ追跡を使用して、撮像装置１０４の注目領域を裏付けることができる。更に、ステップ３４０において撮像装置１０４が注目領域を予め定義している場合、更に小さい注目領域をレーダ追跡によって定めることができ、その結果、撮像装置データのための計算の更なる低減がもたらされる。ボール１０６の存在についての撮像装置１０４からの肯定的な確認は、注目領域を設定する際にレーダデータを裏付けることができる。あるいは、画像データによるボール１０６の存在の確認の失敗が、レーダ追跡を拒絶するために使用されてもよい。更に、撮像装置１０４の画像追跡は、レーダ１０２の注目領域を裏付けることができる。更に、レーダ１０２がステップ３４０で注目領域を予め定義した場合、更に小さい注目領域を画像追跡によって定めることができ、その結果、レーダ１０２の計算の更なる低減がもたらされる。レーダ１０２からのボール１０６の存在の肯定的な確認は、注目領域を設定する際に画像追跡を裏付けることができる。あるいは、レーダ装置１０２が画像データからボール１０６の存在を確認できない場合、これを使用して画像追跡を拒絶することができる。当業者に理解されるように、難しい光条件、画像中のアーチファクト、同様の誤検出シナリオなどのために、誤った画像追跡が発生することがある。

その後、ステップ３６０において、レーダ及び撮像装置からの追跡データはボール１０６の３次元位置を計算するために統合され（例えば、フィールド座標に変換され）、このデータは、例えば放送目的のために、ライブビデオ又は２Ｄ／３Ｄコンピュータグラフィックスに追跡結果を重畳するなど、他のアプリケーションに利用可能なライブデータストリームとして提供され得る。ステップ３７０において、システム１００は、これが追跡の終わりを表すかどうかを判定する。イエスの場合、方法はステップ３８０に進み、出力データ（例えば、投球の区切りの計算など）が生成され、ノーの場合、方法３００はステップ３３０に戻る。具体的には、野球ボール１０６は、野球ボール１０６が軌跡に沿って移動しているときの最初の画像から、野球ボール１０６がバット、グローブ、又は地面などの物体に衝突したときの最終の画像まで追跡される。野球ボール１０６はまた、野球ボール１０６がレーダ又は画像データ内で識別される最初の位置から、野球ボール１０６が停止しているか、又はそのコースが偏差閾値（例えば、速度ベクトルの方向の変化）を超えて逸脱している最終の位置まで追跡される。この時点で、軌跡が閾値を超えて逸脱した場合（例えば、ボール１０６がバッターによって打たれた場合）、システム１００は新しい軌跡の追従を開始することができ、方法３００は、新しい軌跡が終了するまで、新しい軌跡に基づく新しいＲＯＩの定義を再び始める。

ステップ３３０～３７０は、新しいレーダ測定値又は新しい画像フレームが生成される各時間間隔で繰り返すことができる。例えば、例示的なシステムでは、コンピュータ２０１が、記録された新しいフレームごとに２０ｍｓ（又は毎秒５０回）ごとにステップ３３０を実行することができ、又は、典型的には１～５ｍｓなど、はるかに頻繁である新しいレーダ測定が行われるたびにステップ３３０を実行することができる。レーダ装置１０２によって行われる各レーダ測定について、コンピュータ２０１は、生のドップラーレーダデータを使用してボール１０６までの距離を計算することができる。

図９Ａ～Ｂは、撮像装置のためにレーダ追跡によって設定された例示的な注目領域の平面視及び側面視を示す。図Ａは図１のシステムの平面追跡図を示し、図９Ｂは側面追跡図を示す。図から分かるように、ターゲット領域１２２は、野球ボール１０６が移動すると予想される、ピッチャーマウンド１０８からホームプレート１１０までの空間とすることができる。例示的な実施形態では、撮像装置１０４は水平軸と垂直軸とを有する。水平軸は、ホームプレート１１０の後方点から延びる軸に平行に整列され、ピッチャーマウンド１０８を２等分する。垂直軸は、ホームプレート１１０の後方点を通り、ホームプレート１１０を定めるプレートに垂直な軸に平行に整列される。ＦｏＶ１１４は、水平方向に＋７．９２度と－７．９２度との間、及び垂直方向に＋１．３７度と－３３．３７度との間に延在するように示されている。事前の情報に基づいて、野球ボール１０６は、ピッチャーマウンド１０８とホームプレート１１０との間にあることが予想され、従って、ＦｏＶ１１４をボール追跡エリア１２４に狭める。注目領域を識別する上述の方法が適用される場合、レーダ１０２からのレーダトラックは、ボール追跡エリア１２４を更に縮小するために使用されてもよい。即ち、レーダ１０２は、野球ボール１０６がどこに位置するかを規定する野球ボール１０６の範囲を示すことができる。従って、レーダ追跡が使用されているこの時間フレームにおいて捕捉され、当該フレームに関連付けられた画像は、ボール追跡エリア１２４を、例えば、分析目的のための注目領域１２６に縮小することができる。

上述したように、ステップ３６０では、レーダ追跡と画像追跡とが統合されて、３次元座標系（例えば、フィールド基準の座標系）におけるボール１０６の位置が決定される。上述の例示的な実施形態ではレーダ１０２が１次元レーダデータ測定範囲を生成することができ、撮像装置１０４は垂直及び水平角度を測定する２次元画像を捕捉することができる。コンピュータ２０１は、物体の軌跡について、３つのパラメータ（例えば、次元）のすべてが分かるように、情報を統合することができる。図４及び図１０に示すように、コンピュータ２０１は、図８のボール１０６の画像に対応する画像内の画素位置（ｕ_px，ｖ_px）１０６’に基づいて、撮像装置１０４から物体１０６に向かって延びる単位ベクトルｎ _c５０６を計算することによって、物体の位置を決定する。画素を角度測定値に変換するための様々な周知の方法が存在し、以下では、撮像装置システム、光学系などの様々な不完全性を考慮に入れて、レンズ歪みが考慮されない好ましい方法が説明される。画素位置（ｕ_px，ｖ_px）は、まずコンピュータ２０１によって、［１］を用いて正規化画素位置（ｕ，ｖ）に変換される。

ここで、（ｕ_px，ｖ_px）１０６’は画像内の画素位置であり、（ｐｐ_u，ｐｐ_v）は画像内の主点（典型的には画像の中心に非常に近い）であり、ｆは焦点距離であり、これは撮像装置１０４に対して予め定められている。次に、正規化された画素位置（ｕ，ｖ）は、コンピュータ２０１によって式［２］を用いて単位ベクトルｎ _c５０６に変換される。

装置の設置時に、レーダ１０２と撮像装置１０４との間の変位ベクトルｔ５００（及びその長さｔ＝｜ｔ｜）が決定される。従って、図８に示す撮像装置１０４からの画像内で画素位置（ｕ_px，ｖ_px）１０６’でボール１０６が検出されると、システム１００は単位ベクトルｎ _c５０６を計算し、レーダ１０２からのレーダデータから決定される距離Ｒ５０２とともに、ボール１０６の３次元位置を決定する。具体的には、３角形の関係が確立される：ベクトルｔ５００が３角形の第１の脚を表し、距離Ｒ５０２が３角形の第２の脚（レーダ１０２に対する野球ボール１０６の測定距離）となり、角度φ_c５１４がベクトルｎ _c５０６とｔ５００との間の関係に基づいて決定される。システムは、撮像装置からボール１０６までの距離Ｒ_c５０４を以下のように計算することができる。

前述のベクトルｎ _c５０６は撮像装置１０４から測定された単位ベクトルであり、ベクトルｎ５０８は、レーダ１０２からボール１０６に向かって測定された単位ベクトルである。式［２］の単位ベクトルｎ _c５０６と同様に、単位ベクトルｎは座標ｎ＝(α，β，γ）を有する。角度５１０（φ_Rとして示される）はベクトルｎ５０８とベクトルｔ５００との間の角度として定義され、角度５１２（φ_Tとして示される）はベクトルｎ５０８とｎ _c５０６との間の角度として定義され、角度５１４（φ_cとして示される）はベクトルｎ _c５０６とｔ５００との間の角度として定義される。次に、φ_c５１４は、acos（ｄｏｔ（ｎ _c，ｔ／｜ｔ｜））に等しく、ここで、ｄｏｔ（）はベクトル積を表す。φ_c５１４を決定した後、φ_T５１２は、asin（（｜ｔ｜／Ｒ）（sinφ_c））に等しいと決定することができる。φ_T５１２を決定した後、φ_R５１０は、ラジアンで、π－（φ_T＋φ_c）に等しいと決定することができる。距離Ｒ_c５０４は、その後、Ｒ・(sin(φ_R)／sin(φ_c））に等しい角度に基づいて決定することができる。従って、野球ボール１０６の結合された３次元追跡（レーダの位置１０２を起点とする位置ベクトルＸによって示される）は、Ｘ＝Ｒ・ｎ＝Ｒ_c・ｎ _c－ｔとして決定され得る。あるいは、ボール１０６の３次元位置は、撮像装置の位置１０４における原点を用いて、ベクトルＸ _c＝Ｒ_c・ｎ _cによって表されるように決定されてもよい。以上、レーダ１０２と撮像装置１０４との間の既知の３次元変位ベクトルｔによる計算方法を説明した。ＦｏＶ１１２，１１４が重複する限り、変位の距離ｔやｔの向きに制限はない。距離ｔが例えば距離Ｒ５０２及びＲ_c５０４に対して小さい場合、小さな不確実性を伴うだけで、Ｒ_cはＲに等しいと仮定することができる。これは計算を簡略化する。上記はｔがヌルベクトル０に等しいと仮定することに対応し、これは撮像装置１０４がレーダ１０２の原点に配置される状況である。

撮像装置１０４及びレーダ装置１０２は、画像から抽出された情報とレーダデータとが互いに相関し得るように時間同期されることに再び留意されたい。時間同期を通じて、コンピュータ２０１は野球ボール１０６の３次元追跡、最終的には軌跡３１６を決定するために、パラメータを統合する。例えば、コンピュータ２０１は、軌跡アプリケーションを実行するように構成されてもよい。軌跡アプリケーションは、データ統合アプリケーションから軌跡３１６のパラメータ情報を受け取ることができる。軌跡アプリケーションは、パラメータ情報に基づいて軌跡を決定することができる。例えば、軌跡アプリケーションは第１のパラメータ情報が与えられたターゲット領域１２２内の物体１０６の第１の３次元位置を第１の時間に決定し、その後、第２のパラメータ情報が与えられたターゲット領域１２２内の物体１０６の第２の３次元位置を第２の時間に決定することができる。ターゲット領域１２２内の第１及び第２の３次元位置を使用して、軌跡アプリケーションは、第１及び第２の３次元位置を接続するトラックレットを生成する。軌跡アプリケーションは、後の時点で更なるトラックレットを決定するために、これらの動作を実行し続けることができる。また、トラックレットはボール１０６の軌跡を決定するために、時間順に接続されてもよい。

当業者は、別の例示的な実施形態では、レーダ１０２が垂直及び水平角度並びにボール１０６までの距離を測定する３次元情報を取得できることを理解するだろう。この場合、ｎは、レーダデータから直接決定されてもよい。従って、レーダ及び撮像装置からの垂直及び水平角度データは、より正確な結果を得るために重み付けされてもよい。典型的には、撮像装置１０４から受信される垂直及び水平角度データがより正確であり、より重く重み付けされる。しかし、場合によっては（例えば、背景とボールの色が類似している、別の物体がボールを部分的にブロックしている、又は画像内の遮蔽）、レーダデータがより正確であり得る。別の例示的な実施形態では、撮像装置１０４及びレーダ装置１０２が垂直及び水平角度並びに距離を測定する３次元画像を個々に取得することができる。この場合、コンピュータ２０１は、垂直角度測定値がともに統合され、水平角度測定値がともに統合され、距離がともに統合され、３つのパラメータすべてが冗長情報を利用して精度を高めるように、情報を統合することができる。

野球ボールの使用は例示に過ぎないことに再び留意されたい。例示的な実施形態は、画像及びレーダデータの両方において識別され得るターゲット領域内の任意の物体又は物体の一部を追跡するために利用され得る。例えば、物体は、任意の他のタイプのボール、ゴルフクラブのクラブヘッド、ゴルフシャフト、野球バット、テニスラケットなどであってもよい。

システム１００を適用することができる別の例示的な実施形態では、パットされているゴルフボールの軌跡を決定することができる。以下は、ゴルフボールの軌跡を決定し、２次元撮像装置によって捕捉された画像から導出されたデータと１次元レーダから導出されたデータとが統合され、画像の分析が、レーダトラックによって規定される注目領域に低減される上述の特徴の全てを組み込むことに関する。以下の例はパットされているゴルフボールの追跡を示しているが、レーダデータ及び撮像装置データの両方において検出可能である限り、どのようなタイプのゴルフショット又は他のどのような移動物体に対しても、全く同じ方法を使用することができる。

図１２Ａ～Ｃは、上記のゴルフの実施形態によるシステム１００から得られた例示的な結果を示す。図面から分かるように、図１２Ａは例示的な距離結果を示し、図１２Ｂは例示的な垂直成分結果を示し、図１２Ｃは例示的な水平成分結果を示し、各グラフはレーダデータ、撮像装置データ、及び統合データを提供する。具体的には、図１２Ａは、Ｒ５０２に対応するレーダ１０２から決定された距離結果４０２と、Ｒ_c５０４に対応する撮像装置１０４から決定された距離結果４０４と、Ｒ５０２に対応するデータ統合による距離結果４０６（レーダ１０２を原点とする）と、を示す。統合データ４０６は、レーダデータ４０２を撮像装置データ４０４と統合した結果である。当業者は、特定の状況下では撮像装置１０４が範囲に関して十分に正確な情報を提供しない場合があることを理解するだろう。従って、撮像装置データ４０４は距離結果のために、統合されたデータ４０６において、省略されてもよく、又はより少なく重み付けされてもよい。従って、統合されたデータ４０６は、図から分かるように、レーダデータ４０２の曲線により近接して従うことができる。図１２Ｂは、β（単位ベクトルｎ５０８の垂直座標）に対応するレーダデータから決定された垂直成分結果４０２’と、β_c（単位ベクトルｎ _c５０６の垂直座標）に対応するイメージデータから決定された垂直成分結果４０４’と、βに対応する統合データ４０６’からの垂直成分結果（レーダ１０２を原点とする）と、を示す。この場合、特定の条件下では、レーダ装置１０２が垂直成分又は角度を決定するための十分に正確な情報を提供しない場合があることを当業者は理解するだろう。従って、レーダデータ４０２’は、垂直成分の結果について、統合されたデータ４０６’においてより少なく重み付けされてもよい。図１２Ｃは、γ（単位ベクトルｎ５０８の水平座標）に対応するレーダデータから決定された水平成分結果４０２”、γ_c（単位ベクトルｎ _c５０６の水平座標）に対応するイメージデータから決定された水平成分結果４０４”、及び、γに対応する統合データ４０６”からの水平成分結果４０４”（レーダ１０２を原点とする）を示す。垂直角度と同様に、水平角度では、レーダ１０２が特定の条件下では、水平成分又は角度を決定するための許容可能な正確な情報を提供しないことがある。従って、レーダデータ４０２”は、水平結果のための統合されたデータ４０６”において、より少なく重み付けされてもよい。

図１３Ｄ～図１３Ｆは、図１２Ａ～図１２Ｃと同じデータを示す。しかしここでは、データはＲ，β，γではなく、ゴルフボール１０６の開始位置に原点を有するデカルト座標（ｘ，ｙ，ｚ）で示されている。具体的には、グラフ１３Ｄ～１３Ｆは、ボールの開始位置（例えば、パットの開始位置）を原点とする座標系で、時間の経過に伴う物体１０６の位置を示す。図１３Ｄは、レーダデータ４１２、撮像装置データ４１４、及び統合されたデータ４１６に対応する物体１０６のｘ軸結果を示す。図１３Ｅは、レーダデータ４１２’、撮像装置データ４１４’、及び統合されたデータ４１６’に対応する物体１０６のｙ軸結果を示し、ｙ軸は鉛直線に平行な垂直軸である。図１３Ｆは、レーダデータ４１２”、撮像装置データ４１４”、及び統合されたデータ４１６”に対応する物体１０６のｚ軸結果を示し、ｚ軸は、デカルト右手座標系を満たす。

図１４は、ゴルフボール１０６の弾道の例示的な出力を示す。具体的には、図１４は、画像データ４２４に基づく第２の軌跡で画像内に重ね合わされたレーダデータ４２２に基づくボール１０６の第１の軌跡を示す。コンピュータ２０１は、軌跡のグラフィック表現が示されるべき画像又は一連の画像を識別するためのタイミング情報と同様に、図１２Ａ～１３Ｆに示される情報を利用することができる。前述のように、この例示的な出力データはコンピュータ２０１によって生成することができ、コンピュータ２０１は、当業者に理解されるように、このデータ生成機能を提供するのに必要なすべてのハードウェア、ファームウェア、及びソフトウェアを含むことができる。

本開示の一実施形態は、物体の動きを追跡するためのシステムに関し、以下を備える：レーダ装置であって、レーダ装置は第１の視野を有しており、前記レーダ装置は、前記第１の視野内で動く物体の前記レーダ装置からの間隔を示す距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうちの１つを示すレーダデータを生成するものであるレーダ装置；撮像装置であって、重複視野内で前記第１の視野と少なくとも部分的に重複する第２の視野を有しており、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する物体の角度位置を少なくとも１つの次元で測定する撮像装置データを生成するものである撮像装置；プロセッサであって、物体が前記重複視野内にある場合に、前記物体の軌跡を少なくとも２次元で特定するために、前記レーダデータと前記撮像装置データとを組み合わせるプロセッサ。

レーダ装置は１次元レーダであり、レーダデータは、物体の距離レートを含む。撮像装置は２次元撮像装置であり、撮像装置データは少なくとも２次元における物体の角度位置を測定し、プロセッサは、物体の追跡を３次元で特定する。画像追跡装置は、撮像装置の座標系における垂直及び水平角度を測定する。プロセッサは、レーダ装置から撮像装置までの距離及び向きを示す離隔ベクトルに対応するデータを含む。プロセッサは撮像装置から物体までの単位ベクトルを計算し、単位ベクトル、レーダデータ、及び離隔ベクトルに基づいて、プロセッサは、３次元における物体の位置を計算する。

プロセッサは重複視野内の基準点に基づいてフィールド基準の座標系を定義し、物体の位置を３次元でフィールド基準の座標系に変換し、回転させる。レーダ装置は、物体までの間隔と、ターゲットに対する水平及び垂直角度のうちの１つと、を検出する。このシステムは、物体が見つけられるべき位置を予測する事前情報を記憶するメモリを更に備える。プロセッサは、事前情報を使用して、物体が現れると予想される注目領域を、第１及び第２の視野のうちの１つの縮小された部分として定義する。

事前情報は、物体の過去の位置、物体の過去の速度、及び物体の過去の距離のうちの少なくとも１つに関する情報を含む。物体はスポーツボールであり、事前情報は、ボールがプレイされる可能性が高い場所に関する。物体はスポーツボールであり、ターゲット空間はプレイフィールドを含み、基準点は、プレイフィールド上でプレイされるゲームのプレイルールにとって重要な位置を含む。レーダ装置は、ドップラーレーダである。プロセッサは、レーダ装置からの距離レートと、その距離の初期値と、に基づいて距離を決定する。距離の初期値は、事前の情報に基づく。

加えて、本開示は物体の移動を追跡するための方法に関し、以下を含む：レーダ装置を、第１の視野が、物体が移動するターゲット空間の少なくとも一部分をカバーするように向けられるように位置させることであって、レーダ追跡装置は、前記第１の視野内で動く物体のレーダからの間隔を示す距離を示すレーダデータを生成するものであること；撮像装置を、前記撮像装置の第２の視野がターゲット空間の所望の部分において第１の視野に少なくとも部分的に重複するように向けられるように位置させることであって、前記撮像装置は、物体が前記第２の視野内にある場合に、撮像装置に対する物体の角度位置を少なくとも２次元で測定する撮像装置データを生成するものであること；物体が重複視野内にある場合に、物体の追跡を３次元で特定するために、レーダデータと撮像装置データを組み合わせること。

例示的な実施形態は、物体の３次元軌跡を決定するための装置、システム、及び方法を提供する。これらにおいては、撮像装置によって取得された画像からの情報と、レーダによって生成されたレーダデータと、が統合される。情報は、軌跡の各次元が、許容閾値を上回る確実性を有する対応する情報を提供するソースから決定されるように統合される。また、冗長情報が、パラメータ決定を確証する際に利用されてもよい。時間同期に基づいて情報を統合することによって、３次元軌跡は、よりロバストで、正確で、汎用性のある方法で生成され得る。

前述の実施形態は、野球の投球について詳細に説明し、ゴルフボールのパットをより簡単に説明しているが、当業者は、前述の例示的な実施形態は様々な軌跡タイプ（即ち、自由飛行、跳ね返り、又は転がり）で任意の物体の移動を追跡するように実装され得ることを理解するだろう。例えば、システム１００は、テニスボールを、サーブを含むラリーの任意の部分で追跡することもできる。別の例示的な実施形態では、説明されたシステム１００が、サッカーボール、特にゴールでのより高速のキックを追跡するためにも使用され得る。更なる例示的な実施形態では、説明されたシステム１００が、ボウリングレーンを滑って転がり落ちるときのボウリングボールを追跡するために使用されてもよい。システム１００は、球形物体の移動を追跡することに限定されず、任意のタイプの物体の移動を追跡することができることも、当業者は理解するだろう。例えば、システム１００は、ボールにスイングする野球バット又はゴルフクラブの動きを追跡することができる。システム１００はまた、ボールを投げる野球選手の手、又はゴルファーの手の軌跡のように、アスリートの一部を追跡するために使用されてもよい。更に、システム１００はまた、スキースロープを下るアルペンスキーヤーを追跡するために、又は、スキージャンパーを、ジャンプ台上及び飛行と着陸の間の両方で追跡するために使用されてもよい。

上記の例示的な実施形態が任意の適切なソフトウェア又はハードウェア構成、又はそれらの組合せで実装され得ることを、当業者は理解するだろう。例示的な実施形態を実装するための例示的なハードウェアプラットフォームは例えば、互換性のあるオペレーティングシステムを有するＩｎｔｅｌ ｘ８６ベースのプラットフォーム、Ｗｉｎｄｏｗｓプラットフォーム、Ｍａｃプラットフォーム及びＭＡＣ ＯＳ、ｉＯＳ、Ａｎｄｒｏｉｄなどのオペレーティングシステムを有するモバイル装置を含むことができる。更なる例では、上述の方法の例示的な実施形態が、プロセッサ又はマイクロプロセッサ上で実行され得る、非一過性のコンピュータ可読記憶媒体上に格納されたコードの行を含むプログラムとして具現化され得る。

本開示の精神又は範囲から逸脱することなく、本開示において様々な修正を行うことができることは、当業者には明らかであろう。従って、本開示は添付の特許請求の範囲及びそれらの均等物の範囲内に入る限り、本開示の修正及び変形を包含することが意図される。

Claims (16)

1. 物体の動きを追跡するシステムであって、
   レーダ装置であって、第１の視野を有しており、前記レーダ装置は、前記第１の視野内で動く物体の前記レーダ装置からの間隔を示す距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうちの１つに対応するレーダデータを生成するものであるレーダ装置と、
   撮像装置であって、前記第１の視野と少なくとも部分的に重複視野内で重複する第２の視野を有しており、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する物体の角度位置を少なくとも１つの次元で測定する撮像装置データを生成するものである撮像装置と、
   プロセッサであって、前記プロセッサは、物体が前記重複視野内にある場合に、前記物体の軌跡を少なくとも２次元で特定するために、前記撮像装置データと前記レーダデータとを組み合わせ、前記物体の角度位置は、前記撮像装置からのデータのみを使用して決定されるものであるプロセッサと、
   を備えることを特徴とするシステム。
2. 請求項１に記載のシステムであって、
   前記レーダ装置は１次元レーダであることを特徴とするシステム。
3. 請求項１に記載のシステムであって、
   前記プロセッサは、前記撮像装置に対する前記レーダ装置の位置を示す離隔ベクトルに対応するデータを含むことを特徴とするシステム。
4. 請求項３に記載のシステムであって、
   前記プロセッサは前記撮像装置から前記物体までの単位ベクトルを計算し、前記単位ベクトル、前記レーダデータ、及び前記離隔ベクトルに基づいて、前記プロセッサは、前記物体の位置を３次元で計算することを特徴とするシステム。
5. 請求項４に記載のシステムであって、
   前記プロセッサは前記第２の視野内の基準点に基づいてフィールド基準の座標系を定義し、前記物体の位置を３次元で前記フィールド基準の座標系に変換及び回転させることを特徴とするシステム。
6. 請求項１に記載のシステムであって、
   前記物体が発見されるべき位置を予測する事前情報を記憶するメモリを更に含むことを特徴とするシステム。
7. 請求項６に記載のシステムであって、
   前記プロセッサは、前記事前情報を使用して、前記物体が現れることが期待される注目領域を、前記第１及び第２の視野のうちの１つの縮小された部分として定義することを特徴とするシステム。
8. 請求項６に記載のシステムであって、
   前記事前情報は、前記物体の過去の位置、及び前記物体の過去の速度、及び前記物体の過去の距離のうちの少なくとも１つに関する情報を含むことを特徴とするシステム。
9. 請求項６に記載のシステムであって、
   前記物体はスポーツボールであり、前記事前情報は、前記ボールがプレイされる可能性が高い場所に関することを特徴とするシステム。
10. 請求項５に記載のシステムであって、
    前記物体はスポーツボールであり、前記ターゲット空間はプレイフィールドを含み、前記基準点は、前記プレイフィールド上でプレイされるゲームのプレイルールにとって重要な位置を含むことを特徴とするシステム。
11. 請求項１に記載のシステムであって、
    前記レーダ装置はドップラーレーダであることを特徴とするシステム。
12. 請求項１に記載のシステムであって、
    前記プロセッサは、前記距離の初期値と、前記レーダデータから決定された前記距離レートの時間にわたる積分と、に基づいて、前記レーダ装置からの距離を計算することを特徴とするシステム。
13. 請求項１２に記載のシステムであって、
    前記距離の初期値は、事前の情報に基づくことを特徴とするシステム。
14. 物体の動きを追跡する方法であって、
    レーダ装置を、第１の視野が、物体が移動するターゲット空間の少なくとも一部をカバーするように向けられるように位置させることであって、レーダ追跡装置は、前記第１の視野内で動く物体の前記レーダ装置からの間隔を示す距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうち１つに対応するレーダデータを生成するものであることと、
    撮像装置を、前記撮像装置の第２の視野がターゲット空間の所望の部分において前記第１の視野と少なくとも部分的に重複するように向けられるように位置させることであって、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する物体の角度位置を少なくとも２次元で測定する撮像装置データを生成するものであることと、
    物体が重複視野内にある場合に、前記物体の軌跡を少なくとも２次元で特定するために前記撮像装置データと前記レーダデータとを組み合わせることであって、前記物体の角度位置は、前記撮像装置からのデータのみを使用して決定されるものであることと、
    を含むことを特徴とする方法。
15. 物体の動きを追跡するためのシステムであって、
    レーダ装置であって、第１の視野を有しており、前記レーダ装置は、前記第１の視野内の動く物体の前記レーダ装置からの間隔に対応する距離、及び、動く物体と前記レーダ装置との間の間隔の時間変化率を示す距離レートのうちの１つを示すレーダデータを生成するものであるレーダ装置と、
    撮像装置であって、重複視野内において前記第１の視野と少なくとも部分的に重複する第２の視野を有しており、前記撮像装置は、物体が前記第２の視野内にある場合に、前記撮像装置に対する物体の少なくとも１つの次元における角度位置を測定する撮像装置データを生成し、前記撮像装置及び前記レーダ装置のうちの少なくとも一方は前記撮像装置及び前記レーダ装置の他方に対して移動可能なものである撮像装置と、
    メモリであって、前記撮像装置に対する前記レーダ装置の位置を示す離隔ベクトルに対応するデータを含むメモリと、
    プロセッサであって、前記撮像装置から物体までの単位ベクトルを計算し、前記プロセッサは、前記単位ベクトル、前記レーダデータ、及び前記離隔ベクトルに基づいて、少なくとも２次元における前記物体の位置を計算し、前記プロセッサは、前記物体の軌跡を少なくとも２次元で特定するために、前記撮像装置からのデータのみに基づいて前記物体の角度位置を決定するものであるプロセッサと、
    を含むことを特徴とするシステム。
16. 請求項１５に記載のシステムであって、
    前記プロセッサは、前記撮像装置に対する前記レーダ装置の位置における前記物体の追跡中に生じる変化を反映するように前記離隔ベクトルを調整することを特徴とするシステム。

Images