JP2002530970A - 多標的追跡システム - Google Patents

Abstract

(57)【要約】 オーバヘッドＸ−Ｙ撮影カメラと、付属の周波数選択フィルタを備える追跡カメラとの組み合わせを用いて、所定領域内の多数の標的の動きを追跡するためのシステムである。追跡される標的には、パッチ、ステッカー、およびテープ、などの周波数選択反射材料でマークが付けられる。システムは、選択されたエネルギーを追跡領域全体にわたって照射し、反射材料に反射させる。次いで反射エネルギーは追跡カメラにより受け取られる。ローカルコンピュータシステムは、追跡カメラからの画像を捕捉して、上記マークの場所を特定する。この場所情報を、上記多数の標的の最大速度レートおよび最大サイズに関するあらかじめ分かっている情報と、計算された移動情報とともに用いて、システムは、上記多数の標的を表すフィルタ処理されていない画像のバックグラウンドを抽出することができる。

Description

【発明の詳細な説明】

【０００１】 （発明の分野） 本発明は、所定の領域内において複数の標的の移動経路を追跡するシステムに
関する。

【０００２】 （発明の背景） カメラ、マイクロエレクトロニクスおよびコンピュータシステムの技術が急速
に発展するにつれて、従来人間が行ってきたような、良好に規定された反復的視
覚／認識タスクに取って代わるものとして意図されている機械的視覚システムが
ますます多く供給されてきている。初期のシステムは、組立ラインに沿って移動
する部品を認識して、製造プロセスを援助するように設計されていた。より最近
では、人間およびその移動経路を認識するような発明が多く提案されてきた。人
間およびその着衣の変動性ならびに人間が行動（ｅｎｄｅａｖｏｒ）する背景の
複雑性は、最先端の技術に対して重大な課題を呈してきた。エッジ検出技術を用
いて静止状態（すなわち背景）の情報を探し、その情報を除去するような、人間
の背景から人間の姿形を識別する（ｄｉｓｃｅｒｎ）様々な技術に対し、多くの
注目が集まっている。これらの様々な技術の成否に影響を与える要素は主に２つ
ある。第１の要素は画像の解像度であり、これは、情報量を駆動し、従って、背
景から前景を区別するために、付属のコンピュータシステムにとって利用可能な
情報の詳細を駆動する。理想的には、解像度は高ければ高いほど良い。しかし、
解像度が上がると、それに応じてカメラおよび付随するコンピュータシステムの
コストも上昇する。さらに重要なことには、解像度が上がると、処理時間も顕著
に増加し、その上、処理時間が増加すると、これらのシステムがリアルタイムで
動作する能力の妨げとなる。

【０００３】 以下は、いくつかの様式または他の様式で設計された、所定の領域の中から人
間または標的の動きを認識する７つの機械的視覚システムに関する例である。

【０００４】 １９９４年１１月に、「Ａｕｔｏｍａｔｅｄ Ｃａｍｅｒａ−Ｂａｓｅｄ Ｔ
ｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｓｐｏｒｔｓ Ｃｏｎｔｅｓｔｓ」と
いう名称の米国特許第５，３６３，２９７号が、Ｌａｒｓｏｎらに対して付与さ
れた。このシステムでは、複数のカメラを用いて、進行中のスポーツイベントの
領域を継続的にモニタリングする。各カメラは、静止状態の背景から選手を抽出
するための情報として自身の情報を付属コンピュータシステムへと供給し、これ
により選手のシルエットを追跡する。発明者は、個々の選手が衝突するかまたは
別の場合は互いに接触した状態になることで、個々の選手のシルエットが同化し
た場合の問題を予期していた。また、各選手がシステムの視野内に現れたときに
、先ず各選手を識別することによりシステムを初期設定する必要も認識された。
Ｌａｒｓｏｎらは、これらの問題に対して２つの解決策を述べている。第１に、
Ｌａｒｓｏｎらは、モニタを追跡システムに取りつけて、人間に、初期認識だけ
ではなく、その後、シルエットの同化によってシステムが選手を追跡できなくな
った場合に再識別も全て行わせることを提案した。第２に、Ｌａｒｓｏｎらは、
個々の選手を識別および追跡するために、電子追跡デバイスを取り付けて、受信
した信号の三角測量を用いることを提案した。Ｌａｒｓｏｎの特許には少なくと
も４つの大きな問題がある。第１に、リアルタイムで選手を抽出するために必要
なデジタル処理量は、今日のコスト効率の良いコンピュータ技術をはるかに越え
ており、１９９４年時点ではなおさらである。第２に、この抽出を行うためには
、多大な量の詳細情報（ｄｅｔａｉｌ）が必要となり、そのため、より多くのカ
メラおよび関連コンピュータシステムが必要となることとなり、システムを構成
するためのコストが増大する。また、このさらなる詳細情報によって、システム
の応答性が必然的にさらに遅くなる。第３に、１人以上のオペレータによって選
手を初期認識して次いで選手を再認識するような要件があると、要件が極めて限
定的となり、コストも高くつく。このような要件は、人間のオペレータによる進
行コスト等のシステムコストの方がわずかな収入（ｒｅｖｅｎｕｅ ｓｔｒｅａ
ｍｓ）をはるかに越えるような、アマチュアの若者によるスポーツイベントをモ
ニタリングする場合、この特許をコスト面において実質的に実施不可能なものと
する。注目すべきは、このような場合のオペレータは、若者の１人の保護者であ
る場合が多く、これらの保護者は、恐らくは全ての選手を知っているわけではな
いため、非常に多くの判断をリアルタイムで行うことに多大なストレスを感じる
こととなることである。このアプローチはまた、オペレータの訓練および再訓練
も必要とし、これもまた大きな負担となる。第４に、選手をリアルタイムで追跡
するために必要な種類の電子機器を高周波数で動作させる必要があり、これも、
コストを上げ、従ってコスト面において欠点があることを意味する。第５の大き
な問題は、システムにとって、選手の方向を判定することは困難であり得る点で
ある。例えば、Ｌａｒｓｏｎの発明では個々の選手の動く方向を検出することは
できるが、その人物が前方を向いているのかそれとも後方を向いているのかは判
定不可能であり、ましてやその人物の頭部が別の方向を向いていた場合はなおさ
ら判定ができなくなる。

【０００５】 １９９５年１２月、「Ｏｂｊｅｃｔ Ｔｒａｃｋｉｎｇ Ａｐｐａｒａｔｕｓ
」という名称の米国特許第５，４７３，３６９号がＫｅｉｋｏ Ａｂｅに付与さ
れた。このシステムは、フレーム単位で標的を追尾する（ｆｏｌｌｏｗ）ために
用いられる実際の画像処理技術に関する。発明者は、従来技術では、１つのフレ
ームから次のフレームまで画像をブロック単位で比較し、１つのブロックは１つ
以上のの画素からなる画像であると見なされていたと述べている。このようなシ
ステムは、時間がかかりかつエラーの起き易い統計的計算に依存しており、視野
内の標的のサイズか変わるかまたは標的が全く消えた場合は特に判定を誤り易い
ことが指摘されている。Ａｂｅは、同じ映像フレームを用いるが、先ずこれらの
フレームを輝度および色のヒストグラムに分類し、次いでフレーム単位で比較す
ることを提案している。Ａｂｅは、比較をブロック単位ではなくヒストグラムで
行うことにより、このシステムの方がブロックマッチングシステムよりもより正
確かつ効率的であると主張している。しかし、Ａｂｅの特許には少なくとも５つ
の大きな問題がある。第１に、この技術の効果および信頼性は、追跡対象となる
視野内の初期／経時的採光条件に大きく左右される。例えば、初期フレームが良
好な採光条件下で得られた場合、標的の輝度ヒストグラムは理想的なものとなる
が、採光条件が最初から乏しいかまたはさらに悪い状況では（周囲光が突然変化
（ｓｕｄｄｅｎ ｂｕｒｓｔ）した場合のように）フレームによって採光条件が
異なる場合、輝度ヒストグラムがかなりのエラーに晒される。第２に、色ヒスト
グラムに依存することも、同様に確実性に欠ける。これは、部分的には、やはり
フレーム毎に採光条件が異なり得ると色検出が影響を受け易く、部分的には、色
スキーム（ｓｃｈｅｍｅｓ）がオーバーラップすると標的および背景がぼやける
可能性があるためである。第３の問題は、Ａｂｅのシステムは、類似または同一
の輝度／色情報を有し得、フレーム単位でオーバーラップする複数の標的を追跡
する場合には有用でない点である。第４の問題は、Ａｂｅの明細書にも記載され
ているが、追跡対象の標的を含む映像画像の一部（Ａｂｅの明細書では領域指定
フレームと呼ばれている）を選択することによりシステムを初期化する人間のオ
ペレータが必要である点である。この要件は、互いに一時的にオーバーラップす
る視野において複数の標的が入出する場合にこれらの標的を追跡するを考えると
、さらに限定的なものとなる。そして最後に、第５の問題が同明細書において言
及されており、同明細書では、この第５の問題は、システムがカメラのパン、傾
斜およびズームを自動制御する機会であると述べている。そうすると、システム
は、「標的のいかなるサイズ変化も複写（ｃｏｐｙ）することができ、かつ目標
の標的の写真を常時所望のサイズでとることができ、これによって装置と共に用
いられ得る設備の面において実質的な向上を達成することができる」とＡｂｅは
述べている。したがって、同特許のこの方法／装置も、同特許が先んじようとす
るブロックによる方法と同様に、解像度に大きく依存していることが認識される
。

【０００６】 １９９７年４月、「Ｓｙｓｔｅｍ ｆｏｒ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｒ
ｅｃｏｇｎｉｚｉｎｇ ａｎｄ Ｔｒａｃｋｉｎｇ Ｔａｒｇｅｔ Ｍａｒｋ」
という名称の米国特許第５，６１７，３３５号が、Ｈａｓｈｉｍａらに付与され
た。この発明は、追跡を行うカメラおよび処理メカニズム（例えば、１つの２次
元画像からのロボットアーム等）に対して、標的の３次元座標を決定する問題に
対処している。Ｈａｓｈｉｍａは、これらの座標を、追跡対象の標的上に配置さ
れているターゲット印のアティチュードおよび位置として示している。Ｈａｓｈ
ｉｍａによる従来技術の考察において、Ｈａｓｈｉｍａは、いくつかの既存の方
法を挙げており、これらの方法の多くは、非常に多大な量の計算を必要とし、ま
たは、標的が複数である場合および背景画像にノイズがある場合に問題を有する
。Ｈａｓｈｉｍａは、黒円の内側にある白色の三角形を用いて追跡したい標的に
印を付ける技術を開示している。これらの特殊な印を取り込んだ（ｃａｐｔｕｒ
ｅ）後、重心ならびにＸおよびＹ方向の最大ヒストグラム値も判定し、その後、
これらの印を、三角形の印の画像のＸおよびＹ方向の射影（ｐｒｏｊｅｃｔｅｄ
）ヒストグラムに急速変換する。次いで、これらの情報をまとめて、「重心位置
と、最大ヒストグラム値と、Ｘ軸およびＹ軸の値と、上記ターゲット印の公知の
幾何学的データとに基づいて、上記ターゲット印の三角形のアティチュードが、
どの分類／プレセットアティチュードパターンに属するのかを判定する」ために
用いる。Ｈａｓｈｉｍａは効率および正確度が向上すると断言しているが、Ｈａ
ｓｈｉｍａの技術には、少なくとも３つの大きな制約がある。第１に、追跡対象
の標的を非常に正確な様式で印付けしなければならず、しかも、この印を、追跡
を行うカメラから常時見える状態にしておかなければならない。これらの印が追
跡を行うカメラの視野から一時的にブロックされた場合に標的を追跡する方法に
ついては、なんの記載も開示されていない。第２に、１つの２次元画像から３次
元情報を判定しようとすることにより、Ｈａｓｈｉｍａは、パースペクティブ（
ｐｅｒｓｐｅｃｔｉｖｅ）カメラを追加することができない状況に解決策を絞っ
ている。このようなカメラを追加すれば、３次元をもっと効率的かつ正確に判定
する方法ができる。第３に、この発明は、「画像が多くの標的を含むときまたは
ノイズを多く有するときのいずれの場合にでも」良好に機能するシステムを教示
している。しかし、これらの複数の標的のそれぞれを同じ画像内で追跡しなけれ
ばならない場合、いかなる所与の時間においても、３次元内に散らばった複数の
標的について、カメラと標的との間との間の好適な方向関係を同時に保持するこ
とは不可能であるため、Ｈａｓｈｉｍａの発明は、最良の結果を出せない。

【０００７】 １９９８年３月、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｌｏｃａ
ｔｉｎｇ Ｏｂｊｅｃｔｓ Ｉｎｃｌｕｄｉｎｇ ａｎ Ｉｎｈｉｂｉｔｉｎｇ
Ｆｅａｔｕｒｅ」という名称の米国特許第５，７３１，７８５号が、Ｌｅｍｅ
ｌｓｏｎらに付与された。この発明は、「携帯ハウジング中の標的によって搬送
される、電子コード発生システムまたはデバイス」による標的の追跡を教示して
いる。この「システムまたはデバイス」は、測位（ｌｏｃａｔｉｎｇ）信号（例
えば、ＧＰＳの衛星群（ｃｏｎｓｔｅｌｌａｔｉｏｎ）または地上ベースの三角
測量設定からの測位信号等）を受信するように指定される。次いで、この「シス
テムまたはデバイス」は、これらの信号を用いて自身の位置を判定する。Ｌｅｍ
ｅｌｓｏｎは、リモート追跡システムのオペレータは、何らかの時点において、
このような追跡デバイスを収容する多数の標的の中の１つの標的の正確な所在に
興味を有し得ると予期している。標的の位置を判定するために、この追跡システ
ムでは、先ず、１つの特定の標的内の１つの特定のデバイスについてコード化さ
れた、一意に定まる「照会信号」を送信する。次いで、個々の追跡デバイスは全
てこの信号を受信するが、識別コードがこの「照会信号」にマッチングするデバ
イスのみが応答する。この応答は、現在位置を測定している追跡デバイスを含む
伝送の形態である。次いで、追跡システムは、この信号を受信し、識別された／
測位された標的に関する関連情報をコンピュータシステムモニタに表示する。Ｌ
ｅｍｅｌｓｏｎらの発明は、主に、任意の適度な大きさのカメラ追跡システムの
領域範囲から多くの標的が外れるほど大きな領域では、多くの標的の追跡に適用
可能である。カメラネットワークに適切な範囲内の標的を追跡する装置および方
法として、この発明は、少なくとも３つの大きな問題を有する。第１に、各標的
が、自身の位置を常時モニタリングおよび追跡する能力を有することを必要とす
る。このような要件があると、ＧＰＳまたは他の追跡信号を受信し、かつ測位信
号も送信するように設定されなければならない演算デバイスを用いる必要が出て
くる。このようなデバイスは典型的には、標的上に配置して次いでカメラで追跡
することのできる印または表示（ｉｎｄｉｃｉａ）よりも、スペースを多くとる
。その上、このデバイスはパワーも必要とする。第２に、Ｌｅｍｅｌｓｏｎらの
発明は、リモート追跡ステーションは、所与の時間における潜在的標的の１つま
たは１つよりも小さな部分にのみ興味を有することを前提としている。しかし、
追跡対象の標的が所定の領域内を移動する場合に、全標的の正確かつ連続的な移
動経路を追尾することが望ましい状況が多く存在する。この発明が、全標的に対
して「照会信号」を常時送信し、測位信号応答を常時受信することができること
は考えられるが、このような量の情報は、システムの移動分解能（ｍｏｖｅｍｅ
ｎｔ ｒｅｓｏｌｕｔｉｏｎ）を受容不可能に限定することが予想される。第３
に、このような電子的システムは、標的の移動経路に対する標的の方向を理解し
ていない。そのため、追跡対象の車両または人物が移動する方向を判定すること
は可能であるが、同じ車両または人物が現在の移動方向に向いているかまたは現
在の移動方向からそむいているかをシステムがどのように決定し得るのかという
記載は無い。

【０００８】 １９９８年６月、「Ｓｙｓｔｅｍ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ｔｈｅ
Ｔｒａｊｅｃｔｏｒｙ ｏｆ ａｎ Ｏｂｊｅｃｔ ｉｎ ａ Ｓｐｏｒｔｓ
Ｓｉｍｕｌａｔｏｒ」という名称の米国特許第５，７６８，１５１号が、Ｌｏ
ｗｅｒｙらに付与された。この発明は、限定された視野に向けられた立体カメラ
を用いて、標的の予想される軌跡を追尾することを教示している。標的が視野を
横切るにつれて、カメラは、標的が移動する際にぼやけるように、適度に低速な
速度で画像を取り込む。次いで、このぼやけた経路を解析し、視野内における標
的の軌跡ベクトルに変換する。Ｌｏｗｅｒｙらの装置の別の主要手段として、追
跡を開始するタイミングを判定する能力がある。このような音声検出デバイスは
、視野内の標的の存在を感知した後すぐに画像取込システムを起動するように規
定されているため、Ｌｏｗｅｒｙらの発明には少なくとも４つの大きな制約があ
り、これらの制約は、その広範な適用可能性を妨げる。第１に、この発明は、非
常に狭い範囲の標的の動きを想定しているため、有意に限定された視野を有する
。この考え方を大きな領域に適用すると、複数のパースペクティブカメラを用い
る必要が出てくる。また、このシステムは、標的が追跡領域内を移動しているの
を検出した後に、起動すべきカメラを決定することも必要とする。しかし、（例
えば、標的によって発せられる音声の三角測量による測量を試みるなどして）実
際に標的位置をまず判定しなければ、このシステムは、どのカメラを起動すべき
か判定する材料を持たない。従って、全カメラが画像を取り込まなければならず
、これにより、標的の位置を判定するために、非常に大量のセットデータを作成
し、そのデータを、追跡を行うコンピュータによって解析する必要が出てくる。
第２の制約は、このシステムは、感知対象の各標的を一意的に識別しようとしな
い点である。そのため、このシステムは、個々の標的の軌跡ベクトルを判定する
能力は有するが、各標的が通過する際に各標的の一意に定まる識別子を判定する
方法の必要性を予想していないし、開示もしていない。第３の制約は、同じ視野
内で複数の標的を同時に追跡する能力に関する。この発明は、一度に１つの標的
のみを予想しているため、軌跡ベクトルを判定するだけで、標的は識別しない。
そのため、２つ以上の標的が追跡領域中を移動し、互いの移動経路に影響を与え
るような様式で衝突すると、この同化イベントが起こった後に、このシステムは
、どの標的をどの経路で継続させるのかを判定する必要に迫られる。第４の制約
は、標的と背景との間の色および／または輝度の差が不十分である場合、このシ
ステムは背景から標的を取り出すことができない点に関する。

【０００９】 上記で挙げた従来技術は全て、１つの様式または別の様式で、所定の領域にお
いて少なくとも１つの標的の移動経路を追跡しようとする。これらを組合わせて
考え、解消しなければならない上記従来技術の制約をまとめると、以下のように
なる。

【００１０】 １−Ｌａｒｓｏｎらの場合のように、追跡システムが画素単位の比較のみに基
づいて標的を背景から区別しようとすると、映像画像は、正確となるよう高い解
像度を持たなければならず、その結果、コンピュータ処理時間はリアルタイムの
動作を妨げる。

【００１１】 ２−Ａｂｅの場合のように、追跡システムが、色情報および輝度情報を分ける
ことに基づいて平均化技術を行うことにより、処理時間を削減しようとすると、
特に複数の標的間で色が同化した場合および色の背景条件または採光条件が画像
フレーム間で実質的に変動する場合に正確性が損なわれる。このような削減技術
は、標的サイズが減少し、これにより背景情報に対する標的量が実質的に削減さ
れると、さらに阻害を受け、これにより「ノイズ」が増加する。唯一の解決策は
、追跡中の標的をズームインして、標的と背景情報との間の適切な比率を保持す
ることであるが、そうすると、この追跡中の各標的に対して１つずつ専用カメラ
を設けなければならず、これにより、より多くの標的および／またはより大きな
視野のいずれかを追跡するこれらの技術の効率性が大幅に低下する。

【００１２】 ３−Ｌｏｗｅｒｙらによる追跡システムのような追跡システムが、２つのパー
スペクティブカメラおよび画像ぼやかし技術（ｉｍａｇｅ ｂｌｕｒｒｉｎｇ
ｔｅｃｈｎｉｑｕｅ）を用いて３次元軌跡情報を取り込もうとすると、画像処理
要件は減少するが、重要な映像画像の詳細が不正確（ｌｏｏｓｅｓ）となる。

【００１３】 ４−Ｈａｓｈｉｍａらによる追跡システムのような追跡システムが、追跡対象
の標的上に配置された詳細な表示を用いると、画像の処理量を削減するためには
効果的であり得るが、Ｈａｓｈｉｍａは、（彼が必須要件とするものの１つであ
る）１つの２次元画像からの３次元情報の判定を行おうとすると、重大な問題に
直面する。その結果、複数の高速移動する標的の表示が、時々視野からブロック
され、または少なくとも追跡を行うカメラの視野から顕著に移動する（ａｔ ｌ
ｅａｓｔ ｂｅ ａｔ ｓｉｇｎｉｆｉｃａｎｔｌｙ ｃｈａｎｇｉｎｇ ｐｅ
ｒｓｐｅｃｔｉｖｅｓ）場合、Ｈａｓｈｉｍａの技術は、複数の高速移動する標
的を広範な視野において追跡することを妨げる。

【００１４】 ５−映像／カメラのみを用いた技術（例えば、Ｌａｒｓｏｎ、Ａｂｅ、Ｈａｓ
ｈｉｍａおよびＬｏｗｅｒｙ等の技術）は全て、経路が交差し、かつ／または衝
突する複数の標的を追跡する場合、エラーを発生し易い。Ｌａｒｓｏｎだけは、
この種類の複数の標的の追跡について具体的に予想し、人間のオペレータを用い
て標的のオーバーラップを解消することを提案している。このようなオペレータ
は、コスト負担を大きくし、複数の高速移動する標的をリアルタイムで追尾する
能力も限られている。Ｌａｒｓｏｎが提案するように、システムが標的の識別が
失われたと判定した後に、受動型の電子機器を用いて標的を識別することを支援
することは可能であるが、これらのデバイスのそれぞれの解像度／速度には、価
格によって左右される応答制約がある。

【００１５】 ６−その上、ＬａｒｓｏｎおよびＡｂｅの映像／カメラ解決策は両方とも、シ
ステムを初期化する際に人間オペレータが必要であることを想定している。Ｌａ
ｒｓｏｎは、オペレータがシステムについて各標的を識別することを要求する。
次いで、これらの標的は、何らかの様式で別の標的と同化するまで自動的に追跡
され、同化が発生すると、オペレータは、追跡システムの初期化を再度行わなけ
ればならない。Ａｂｅは、オペレータが初期画像をクロップして「領域指定フレ
ーム」にすることを要求する。この「領域指定フレーム」は、処理要件を実質的
に低減し、少なくとも、この標的も追跡しないかどうかを発見する。いかなるオ
ペレータの介入も、コスト負担を増大させ、同時にリアルタイムの応答を限定す
る。

【００１６】 ７−Ｌｏｗｅｒｙの映像／カメラの解決策は、音声によって視野内の標的の存
在を検出することに基づく自動追跡の起動を予想する。この技術は本来、識別音
声を作成する標的に限定される。この技術はまた、所与の視野において複数の標
的が類似のノイズを同時に作成する場合、追跡を行うことができない。

【００１７】 ８−追跡システムが、起動電子追跡デバイス（例えば、Ｌｅｍｅｌｓｏｎらに
よるデバイス等）を用いることによって画像処理要件を無くそうとする場合、標
的は、測位信号および照会信号の両方を受信および処理することのできる、動力
供給状態の（ｐｏｗｅｒｅｄ）デバイスを収容しなければならない。このような
デバイスは、埋めこまれているコンピューティングデバイスの実施可能度および
コストに基いて追跡可能な標的の範囲および種類を限定する。電子機器のみを用
いた、Ｌｅｍｅｌｓｏｎのシステムのようなシステムの場合、画像データから利
用可能な豊富な情報が失われる。その上、このようなシステムは、位置を追跡す
ることはできるが、標的の方向を追跡すること（例えば、標的の移動方向は前方
か後方かを判定すること等）はできない。

【００１８】 ９−Ｈａｓｈｉｍａの表示技術を除いて、これらの解決策は全て、標的の方向
情報を取り込むことができないでいる。このような情報は、標的の今後の移動経
路を予想するために大変重要であり得る。

【００１９】 １０−これらの映像／カメラを用いた全ての解決策では、どんな技術を用いて
も、色情報および／または輝度情報が別の追跡対象標的または画像背景に密接に
類似する高速移動する標的を取り出すことは困難である。映像を用いない解決策
は全て、価値のある画像情報を諦めることになる。

【００２０】 （発明の要旨） 上述してきたような、複数の標的を追跡する１つの特定の例を参照して本発明
を説明するが、本明細書は、本発明の範囲を限定するものではなく、本発明の好
適な実施形態の例示として解釈されるべきである。発明者は、本明細書中に開示
されている装置および方法の多様な関連用途を想像するが、これらの用途のうち
ほんの一部について、本出願の明細書の結論として言及する。本発明の新規な局
面を教示する目的のため、多標的追跡の実施例を、ホッケー等のスポーツイベン
トとする。ホッケーの特定の局面は、一連のイベントを追跡するのを困難にする
ため、本発明の従来技術に対して持つ利点を示す良い例であり、以下は、これら
の利点を示す。

【００２１】 １−本発明者が知る中で、人間が行う活動であって、標的としての人間が、高
速で移動し、高速で方向および方向付けを変更し得る活動は、ホッケーをおいて
他にない。滑走中、選手の速度は、２５マイル／時間近くになり、この速度は、
何らかの種類の車の助けなく未だ地上で行われている、歩行および走行を伴う任
意の活動よりもずっと高速である。これらの高速の移動経路を追跡すると、特に
人間の形態が変動し得る場合には、システムのリアルタイム性能局面において課
題が出てくる。

【００２２】 ２−選手が競っている標的（すなわち、パック（ｐｕｃｋ））は、最大１００
マイル／時間の速度で移動し得、突然かつ急速に方向を転換する。これらの速度
および方向転換の組み合わせは、追跡に対して困難な問題を呈し、運動競技に特
有である。パックは、その形態を変化させず、しかも選手が移動する速度の約４
倍で移動し、大きさが選手の１００分の１であり、かつ３次元で移動することを
鑑みると、パックを追跡する方が、選手を追跡するよりも容易である。

【００２３】 ３−個々の選手は、追跡視野を出入りし、追跡視野内に存在するため、リアル
タイム性能を得るためには、追跡システムを用いて個々の選手を効率的かつ自動
的に識別する必要がある。

【００２４】 ４−視野内にいる間、パックおよび選手は両方とも、他の選手の経路と同化し
た場合、通常、ビューから全体的または部分的に隠蔽され、これは、画像データ
が限られているかまたは画像データを持たないことが多い移動経路を追尾する際
に問題となる。

【００２５】 ５−氷表面は高反射性の背景を生じ、これによりカメラのＣＣＤ要素の飽和に
繋がり、領域そのものも、観客のカメラのフラッシュまたは屋内採光システムの
いずれかからの光の突然変化に晒され得るため、採光条件の取り扱いが困難とな
っている。これは、輝度を用いた追跡に制約を課す。

【００２６】 ６−同じチームの選手の色は、同じであり、氷表面上の印および周囲のリンク
坂塀（ｂｏａｒｄ）としばしばマッチングし得る。これは、色を用いた追跡技術
に制約を課す。

【００２７】 ７−特定のレベルの霧がアリーナ内にあるときにホッケーゲームを行うことは
珍しいことではない。これは、選手およびパックの視認性を著しく損ねるため、
あらゆるカメラを用いたシステムに対して問題を呈する。

【００２８】 ８−ホッケーは、撮影されるイベントであるため、複数の標的の移動経路を追
跡する機会だけではなく、常に変化しかつ突然変化する興味の中心を判定する機
会も提供する。この中心を一旦決定できると、放送局のカメラを自動的に傾斜、
パンおよびズームさせて、パースペクティブビューからのアクションをリアルタ
イムで追尾できるというさらなる利点が得られる。パースペクティブビュー用に
配置されているカメラを自動的に方向付けることは、パースペクティブビューが
要求するような３次元中の標的をリアルタイムで追尾することはかなり困難であ
るため、機械的視覚システムに対して困難な問題を呈する。

【００２９】 ９−試合中、各個々の選手およびコーチは、いつでも、自分自身、選手集団、
選手のチーム全体および／または相手チームに関する情報を入手することを所望
し得る。この情報はさらに、開始から現時点までの活動の継続時間の全体または
その一部に関し得る。このような要件は、多くのビューポイントから情報を容易
に呼び出すことができるような様式で、情報を高速かつ効率的に格納することを
追跡システムに要求する。

【００３０】 １０−埋設されている金属およびセメント製のブロックアリーナは、ＧＰＳの
使用を妨げ、屋内の三角測量信号は反射する可能性が高いため、受動型電子追跡
デバイスの使用を困難にする。選手自身およびゲームの性質ならびに選手が大き
な衝撃で衝突する可能性のため、能動型電子デバイスを選手の器具内に取り付け
ることのできる可能性が限定される。これらのデバイスは、電源と共に用いなけ
ればならないため、実際は、選手になんらかの危害となり得るようなスペースを
とる。その上、このようなデバイスは、ローカルリンクのレベルでは、文字通り
何百人の子供が毎週試合を行い、これらの子供にそれぞれ自分専用のデバイスを
持たせるかまたはデバイスを共有させる必要のあるため、コスト負担が大き過ぎ
る。

【００３１】 １１−選手の方向付けおよび身体に対する手足の位置は、追跡を行う際に非常
に重要な情報である。選手は、前方を向きながら移動している最中に、頭部を横
に向けて試合の展開を見ようとし得る。頭部を横に向けることは、選手が氷上で
何かに気付いたことを示すため、コーチによる解析にとって重要な情報となる。
その上、選手は、選手が前方ではなく後方に移動するように、同じ方向に進んで
いる間、自身の方向付けをいつでも転換し得る。これも非常に重要な情報である
。選手は頭部を氷にむかって傾斜し得、これは、長時間続く場合または繰返し行
われる場合は望ましくない。これらの情報は全て、追跡を行う際に重要であるが
、選手全体のみを単に追跡する際等に問題を呈する。

【００３２】 １２−追跡対象領域のサイズを限定することは、少数の選手と共に、個々の人
間が一度に、氷の限定された一部分上で練習を行う練習時間の間は好適である。
この条件のもとにおいて、システムの視野内のシステムの追跡領域を容易に限定
することが好ましい。

【００３３】 １３−選手が変化し、衝突する回数および速度は大変多大であるため、人間に
よる介入を用いて選手を識別および再識別することは、実際に可能であったとし
ても、有意にストレスを引き起こし、エラーを引き起こし易くなる（特にローカ
ルリンクレベルではなおさらである）。

【００３４】 カメラシステム、非可視エネルギー源およびフィルタ、デジタル画像処理なら
びに自動化カメラ操作の分野の現状を鑑みれば、所定の領域内で動作し、視野内
の各標的の一定の位置、方向付けおよび移動経路方向を追跡する、完全に自動化
された多標的追跡システムを作成することは可能である。このようなシステムは
、参加者の能力および観客の所与の活動を理解し、分析し、楽しむ能力を大幅に
増加させる。

【００３５】 したがって、本発明の目的および利点は、所定の領域内で複数の標的を追跡す
る、以下の能力を有するシステムを提供することである。

【００３６】 １−複数の、高速移動する、様々な形態の標的（例えば、人間）を、オペレー
タの介入による支援無しにリアルタイムで追跡して、追跡期間中に標的を初期識
別するかまたは条件的に再識別するシステムを提供すること。

【００３７】 ２−先ず最初に、標的に取り付けられている特殊な表示を個別追跡し、その後
、その表示の位置を、方向、加速および速度のベクトルと共に用いて、標的の背
景から標的を効率的に抽出することにより、画像データを処理するために必要な
時間を削減すること。

【００３８】 ３−標的内の色の区別に頼らないシステムを提供すること。

【００３９】 ４−受動型または能動型の電子追跡デバイスに頼らないシステムを提供するこ
と。

【００４０】 ５−標的について、標的の全体および標的の個々の部分の潜在的な方向付け情
報を判定するシステムを提供すること。

【００４１】 ６−可視光に基づいた認識技術にとっては最適ではない場合がある、様々な採
光条件および湿度条件下で良好に機能することのできるシステムを提供すること
。

【００４２】 ７−追跡フィールドをシステム視野内で容易に圧縮（ｃｏｎｓｔｒｉｃｔｅｄ
）できるシステムを提供すること。

【００４３】 ８−時間および／または標的（単数または複数）の識別のいずれかによってア
クセス可能な移動経路データベースをリアルタイムで作成および保持することが
可能なシステムを提供すること。

【００４４】 ９−取り込んだデータの全体または一部を、氷アリーナ内において即座に、ま
たはイベントが終わった後に、インターネット等の通信ネットワークを介して１
つ以上のリモートコンピュータに出力することのできるシステムを提供すること
。

【００４５】 １０−リモート通信（例えば、インターネット）を介した、リモートコンピュ
ータシステムへの情報出力を用いて、イベント再生を操作し、重要な解析を行う
ことのできるシステムを提供すること。

【００４６】 さらなる目的および利点としては、構築コストの効率が良いシステムを提供し
、一定の範囲の温度条件下で動作可能な可動部分を最小限に抑えて取り付けおよ
び保持することである。本発明のさらに別の目的および利点は、図面および以下
の説明から明らかである。

【００４７】 （好適な実施例の詳細な説明） 図１を参照して、多標的追跡システム１００の好適な実施形態の上面図が示さ
れている。システム１００は、オーバーヘッドｘ−ｙカメラアセンブリ２０ｃの
アレイを含み，このオーバーヘッドｘ−ｙカメラアセンブリ２０ｃはそれぞれ、
固定領域（例えば、２０ｖ）内の全標的の移動経路を追跡する。オーバーヘッド
アセンブリ２０ｃのアレイは、全部で、氷上競技場表面２、チームボックス２ｆ
および２ｇ、ペナルティボックス２ｈならびに入場路２ｅの一部における移動経
路を全て追跡する。アセンブリ２０ｃは、撮影カメラ２５、エネルギー源２３、
エネルギーフィルタ２４ｆが取り付けられた追跡カメラ２４をさらに含み、これ
らは全て、アセンブリケーシング２１中に収容され、アセンブリプレキシグラス
２１ａを通じて、下にある氷表面２への視野を得ている。エネルギー源２３は、
選択エネルギー２３ａを発し、この選択エネルギー２３ａは、表面２上に発散お
よび降下され、表面２上を移動する標的（例えば、選手１０およびパック３）か
ら離隔する。選択エネルギー２３ａは、通常の雰囲気光の範囲外であるだけでは
なく霧等の湿度条件に影響を受けない周波数となるように特別に選択されている
点に留意されたい。特別に配置されたオーバーヘッドアセンブリ２０ｃ１は、氷
表面２の入場路２ｅを被覆するように示されている。このアセンブリ２０ｃ１は
、２０ｃと構造が同じであり、重要なものである。追跡対象の標的は全て、この
カメラの視野を入出させる必要があるため、アセンブリ２０ｃ１については、具
体的な参照を用いて後に説明する。また、氷２の両端に１対として配置されてい
るパースペクティブｚ追跡カメラセット３０も、氷表面２の選択部分上で移動経
路を追跡する。最後に、パック３を現在操っている選手１０によって表されるよ
うな、常時競技の中心部分の方向に向いている自動撮影カメラ４０がある。自動
撮影カメラ４０は、映像処理および解析を行うローカルコンピュータシステム６
０と継続的に通信状態にあり、このシステム６０から方向指示（ｄｉｒｅｃｔｉ
ｏｎｓ）を受信する。また、システム６０そのものも、オーバーヘッドｘ−ｙ追
跡カメラアセンブリ２０ｃのアレイおよびパースペクティブｚ追跡カメラセット
３０と継続的な通信状態にある。ローカルシステム６０は、さらに、オプション
で、シーン２８を表示する視聴モニタ２７を取り付けている、取り込まれたイベ
ント７０を閲覧するためのリモートコンピュータシステムとも通信をとる。ロー
カルシステム６０はまた、オプションで、チーム結果（ｏｕｔｐｕｔ）ステーシ
ョン８０とも通信をとり、このチーム結果ステーション８０は、イベントの開始
から現時点までの追跡対象の標的の移動経路に関する情報を提供する。

【００４８】 ここで図２ａを参照して、典型的な選手のジャージ５および選手の肩パッド６
が示されている。パッド６には、右肩チームパッチ７ｒおよび左肩選手パッチ７
ｌが取り付けられている。パッチ７ｒは、方向付け印７ｒ１を含み、この方向付
け印７ｒ１は、頭部から腕部およびチーム表示７ｒ２にかけての部分からの方向
を指す矢印であり、一意に定まるバーコードである。パッチ７ｌは方向付け印７
ｌ１を含み、この方向付け印７ｌ１も、頭部から腕部および選手表示７ｌ２にか
けての部分の方向を指す矢印であり、一意に定まる番号である。パッチ７ｒおよ
び７ｌ上の表示は、周波数選択型（ｓｅｌｅｃｔｉｖｅ）反射材料（好適にはイ
ンク）から作成される点に留意されたい。図２ａを再度参照して、パッド６上に
配置されるジャージ５が示されている。ジャージ５も、その下にある選手パッチ
７ｌの全体像について省略されて図示されている点に留意されたい。

【００４９】 図２ａにはまた、透過性ジャージ５を通じて放射される様子が示されている反
射エネルギー７ｍも図示されている。このような衣服をパースペクティブする技
術は新しいものではなく、Ｓｏｎｙ Ｃｏｒｐｏｒａｔｉｏｎによって実証され
ており、Ｓｏｎｙ Ｃｏｒｐｏｒａｔｉｏｎは、ライセンスプレート上にシャツ
を配置し、２つの写真を、１つはフィルタ無しでもう１つは可視光フィルタを用
いて撮影した。衣服は可視スペクトル中の光を強烈に反射するため、プレートは
、画像をフィルタリングしないと見ることができない。しかし、赤外線パスフィ
ルタを用いると、赤外線光のみを取り込んで、ライセンスプレート上の番号およ
び文字が可視状態となる。本発明は、所望の画像のコントラスト（すなわち、信
号／ノイズ比）を、Ｓｏｎｙが論じているフィルタリング技術よりも良好にさら
に向上させる特殊な周波数選択型反射性材料の使用について教示する点に留意さ
れたい。

【００５０】 ここで図２ｂを参照して、典型的なホッケーパック３が図示されており、パッ
ク３の上部表面（実際は外側表面全て）には、パッチ７ｒおよび７ｌにおいて用
いられる周波数選択型反射性材料に類似する反射性インク３ａが塗布されている
。インク３ａは、例えばエネルギー源２３によって発せられるエネルギーの特定
の周波数に応答して、反射エネルギー３ｂを生じる。典型的なホッケースティッ
ク４も図示されており、スティック４の刃部は、同じ特殊反射性インクを含有す
るように製造された特殊反射性ホッケーテープ４ａで被覆されている。反射性テ
ープ４ａは、例えばエネルギー源２３が発するようなエネルギーの特定の周波数
に応答して、反射エネルギー４ｂを生じる。

【００５１】 ここで図２ｃを参照して、典型的なホッケー選手のヘルメット８の上面図およ
び透視図の両方が示されており、反射性ステッカー９が、ヘルメット８の上部表
面に添付され、同じ特殊反射性インクを含有するように製造されている。ステッ
カー９は、例えばエネルギー源２３が発するようなエネルギーの特定の周波数に
応答して、反射エネルギー９ａを生じる。

【００５２】 ここで図３ａを参照して、オーバーヘッドｘ−ｙ追跡カメラアセンブリ２０ａ
の第１の実施形態が示されている。この実施形態において、アセンブリ２０ａは
、アセンブリケーシング２１に収容されている追跡カメラ２４（エネルギーフィ
ルタ２４ｆは無し）に限定され、アセンブリプレキシグラス２１ａを通じて、ア
センブリ２０ａの下にある氷表面２への視野を得る。アセンブリ２０ａの下には
、無印選手１０、無印スティック４および無印パック３が図示されている。アセ
ンブリ２０ａを、ローカルコンピュータシステム６０（図示せず）と、リモート
コンピュータ７０（これも図示せず）およびゆえにシーン２８を表示する視聴モ
ニタ２７とに取りつけるケーブル２６も図示されている。

【００５３】 ここで図３ｂを参照して、オーバーヘッドｘ−ｙ追跡カメラアセンブリ２０ｂ
の第２の実施形態が示されている。この実施形態において、アセンブリ２０ｂは
、エネルギー源２３を含むように強化されており、このエネルギー源２３は、氷
表面を移動する標的（例えば、選手１０、パック３およびスティック４）上に自
身の選択エネルギー２３ａを放射し、降下させる。選手１０のパッド６は、右肩
チームパッチ７ｒおよび左肩選手パッチ７ｌを含むように強化されている点に留
意されたい。これによってパック３は反射性インク３ａを含み、スティック４は
特殊な反射性ホッケーテープ４ａで被覆されている点にも留意されたい。これに
より、シーン２８は、ずっと少量の解析／追跡対象情報セットを表示する。

【００５４】 ここで図４ａを参照して、オーバーヘッドｘ−ｙ追跡カメラアセンブリ２０ｃ
の第３の好適な実施形態が示されている。この実施形態において、アセンブリ２
０ｃは、撮影カメラ２５を含むように強化されており、この撮影カメラ２５は、
アセンブリ２０ｃ下の氷表面上の全移動経路の未フィルタリング画像を取り込む
。図４ｂは、追跡対象の標的の映像画像を効率的に抽出するための、本発明の新
規なプロセスの主要要素を示し、この新規なプロセスでは、先ず最初に、添付さ
れている表示の場所を特定し、この表示からの多方向において画像の各画素と既
知の背景２ｒとを比較して処理を行う。背景画素に到達したことが判定された後
、限定された経路が完成するまで、画像追跡経路１０ｐが標的を取り囲み続ける
。この限定された経路１０ｐの周囲において、追跡対象の標的を含む映像画像部
分を短時間で抽出するために、最小境界矩形１０ｒを計算する。図４ｃも参照し
て、好適なアセンブリ２０ｃを用いた、氷表面２上の選手１０の動きの処理が示
されている。選手１０が、計算対象のショット三角形２ｃ内のゴール２ｂに向か
ってショットする経路に沿って、パック３を操りながら４つの移動経路ポイント
１０ａ１、１０ａ２、１０ａ３および１０ａ４を通過する様子が示されている。
ポイント２ａは、氷表面２の中心を示し、ポイント２ａからの第１の移動経路角
度１０ａ１ｏおよび移動経路半径１０ａ１ｒを計算して、ポイント１０ａ１に対
する選手１０の第１の移動経路を表す。ポイント１０ａ１に対するパック３の初
期移動経路を示す、移動経路角度３１ｏおよび移動経路半径３１ｒも計算する。
中心ポイント２ａの周囲には、最大境界円１０ｂが示されており、最大境界円１
０ｂ内において、分かっている標的の最新位置（この場合はポイント２ａ）およ
びこの標的の方向、加速および速度のベクトルに関する最新計算結果に基づいて
、標的の次の存在位置を計算する。そして最後に、視野の最大部分を範囲とする
最大初期設定サーチ矩形１０ｅが、入場路２ｅから氷表面２のみまでにかけて配
置されているオーバーヘッドアセンブリ２０ｃ１によって追跡されている様子が
示されている。

【００５５】 ここで図５を参照して、オーバーヘッド取り付けフレーム５０が示されており
、このオーバーヘッド取り付けフレーム５０は、リンクガーダー２ｄの構造が異
なっても、変更してガーダー２ｄに取り付け可能である。フレーム５０にはまた
、オーバーヘッドｘ−ｙ追跡カメラアセンブリ（例えば、２３ｃ）のアレイがさ
らに取りつけられ、このオーバーヘッドｘ−ｙ追跡カメラアセンブリは、自身の
下にある氷表面２上に選択エネルギー２３ａを発散して降下させる。アセンブリ
２３ｃは、映像処理／解析６０を行うローカルコンピュータシステムに接続され
る。

【００５６】 ここで図６を参照して、氷表面２が示されており、この氷表面２の追跡領域は
、反射性インク１１ａを塗布した、４つの典型的円錐１１を配置することにより
、限定されている。例えばエネルギー源２３が発するエネルギーの特定の周波数
に応答して、インク１１ａは、反射エネルギー１１ｂを生じる。限定領域２ｔ内
に１人の選手１０が示されており、選手１０が領域２ｔ内に留まっている間、選
手１０の現在の動きを追跡する。領域２ｔの外部には、複数の選手（例えば、１
０ｉ）が示されており、これらの選手の移動経路は追跡しない。ショット時計９
１および携帯型追跡操作デバイス９０も図示されており、これらの機器はどちら
とも、ローカルコンピュータシステム６０と随時通信できる状態にある。

【００５７】 ここで図７を参照して、チーム結果ステーション８０の詳細が示されており、
このチーム結果ステーション８０は、図示のチームボックス２ｆ（図示する）お
よび２ｇおよびペナルティボックス２ｈに取り付けられる。

【００５８】 ここで図８を参照して、システム全体のブロック図が示されている。オーバー
ヘッドｘ−ｙ追跡カメラアセンブリ３０ｃについて、さらなるオプションのｒｆ
モデム２５ｍが示されており、このモデム２５ｍは、ワイヤ２６（図示せず）の
代わりに用いて、撮影カメラ２５とローカルコンピュータシステム６０との間を
リンクさせることができる。また、さらなるオプションのＲＦモデム２４ｍも示
されており、このモデム２４ｍは、ワイヤ２６（図示せず）の代わりに用いて、
追跡カメラ２４とローカルコンピュータシステム６０との間をリンクさせること
ができる。パースペクティブｚ追跡カメラセット３０についても、同等の追加が
示されている。ローカルシステム６０をその構成ブロック毎に分類すると、先ず
、追跡カメラ（単数または複数）ユニット６１の映像取込から始まり、このユニ
ット６１は、オーバーヘッドアセンブリ３０ｃまたはパースペクティブセット３
０内に取りつけられた全追跡カメラ（単数または複数）２４からの入力を受け取
る。その後、取込ユニット６１は、自身のデータストリームを表示／標的追跡解
析ユニット６２に供給する。時間的に並行する動作において、撮影カメラ（単数
または複数）ユニット６３の映像取込が示されており、このユニット６３は、オ
ーバーヘッドアセンブリ３０ｃまたはパースペクティブセット３０内に取り付け
られている全撮影カメラ２５（単数または複数）からの入力を受け取る。その後
、取込ユニット６３は、自身のデータストリームを標的／シーン抽出解析ユニッ
ト６４に供給する。また、ユニット６４は、同時に、表示／標的追跡解析ユニッ
ト６２からの入力も受け取る。抽出解析ユニット６４および追跡解析ユニット６
２はどちらとも、同時に自身のデータストリームを複数のオーバーラップ画像の
構成物に提供して、ビューフレームユニット６５の全体をそれぞれ作成する。ユ
ニット６５も、携帯型追跡操作デバイス９０から条件的入力を受け取り、自身の
データストリームを、競技の中心／ビュー選択解析ユニット６６と、追跡フレー
ムおよび映像フレームを標的番号およびフレーム番号／時間シーケンス別に格納
するユニット６７との両方に提供する。次いで、ビュー選択解析ユニット６６は
、従来のワイヤまたはオプションのＲＦモデム４５ｍを通じて、リアルタイム指
令を自動撮影カメラ４０に提供する。その後、このような指令は、コンピュータ
指令イベント撮影カメラ４５に入力される。その後、撮影カメラ４５は、従来の
ワイヤまたはオプションのＲＦモデムを介して、自身のデータストリームを格納
／追跡ユニット６７に返送する。その結果、ユニット６７は、自身のデータスト
リームを、クロスリンクされているデータベースユニット６８中に格納されてい
る、標的移動経路の定量化および解析に提供する。ユニット６８は、オプション
として、携帯型追跡操作デバイス９０と、チーム結果ステーション８０と、取り
込んだイベント７０を閲覧するためのリモートコンピュータシステムとの双方向
通信を行う。デバイス９０とのオプションリンクは、Ｒｆ接続部（図示せず）を
介して為され、リモートシステム７０とのリンクは、リモート通信デバイス６９
および７９を介して為される。ローカルシステム６０からリモートシステム７０
へと提供された情報は、リモートアクセスを介して、追跡フレームおよび撮影フ
レームの格納データベースならびに標的移動経路の定量化／解析ユニット７ｌを
通過して、エンドユーザへと提供される。

【００５９】 （動作） 最初に図１および５を参照して、システム１００を氷アリーナ（例えば、２）
に適切に取り付けた後に、好適な実施形態の通常の動作を開始する。取り付け時
に重要な局面の１つとしては、オーバーヘッドｘ−ｙ追跡カメラアセンブリ３０
ｃのアレイをアリーナ２の屋根部に取り付けることが重要である。取付けフレー
ム５０は、リンクガーダー２ｄに様々な様式で取り付けられるように設計されて
おり、これにより、取り付けられたオーバーヘッドアセンブリ３０ｃのアレイは
、アレイ下の氷表面２にわたってオーバーラップ視野を形成する。各アセンブリ
３０ｃは、表面２に対して垂直位置を保持することが好ましい。事前選択された
深さの視野を有する固定したレンズまたは電子的に操作可能なズーミング可能レ
ンズのいずれかを用いて、オーバーラップフィールドを適切に確立することが予
想される。このオーバーラップは、あらゆる追跡対象標的が所定の領域内を移動
する際に、各カメラが追跡対象標的を追尾できることを確実にするために重要で
ある。システム１００の初期取付けおよび設定の一部として、各撮影カメラ２５
および追跡カメラ２４の視野の限界を規定するために、キャリブレーション手順
を行う。視野の限界が分かった後、本システムは、重複処理を最小限にするため
に、自身のサーチ対象を非オーバーラップ領域に限定する。アセンブリ３０ｃは
全て、ケーブル（例えば、２６）またはオプションのＲＦモデム（例えば、２５
ｍおよび２４ｍ）のいずれかを介して、ローカルシステム６０と通信を行う。

【００６０】 ここで図２ａ、２ｂおよび２ｃを参照して、この好適な実施形態は、追跡対象
標的を、特別に選択した周波数選択型反射性材料（例えば、インク）で印付けす
る様々な方法を提供する。続いて、このインクを用いて、反射性インク３ａとし
てパック３内に付着させ、反射性テープ４ａを作成し、パッチ７ｒおよび７ｌの
印に付着させ、ヘルメット８の反射性ステッカー９を製造する。また、このイン
クは、図６に示すような反射性インク１１ａを用いた円錐１１を作成するために
も用いられる。このインクは、エネルギー２３ａをエネルギー源２３による出力
として反射するように明確に選択されている点に留意することは、本発明の新規
性にとって重要である。この反射を３ｂ、４ｂ、７ｍ、９ａおよび１１ｂとして
示し、この反射は、エネルギーフィルタ２４ｆを通じて追跡カメラ２４によって
受け取られる。特別にマッチングさせたエネルギーフィルタ２４ｆを各カメラ２
４上で用いることにより、全標的の動きを追尾するためにするために必要な情報
の処理量が最小限となり、これにより、標的位置を判定する速度を大幅に高速化
する。

【００６１】 このポイントの新規性についてさらに説明する。図３ａ、３ｂおよび４ａは、
この追跡インクを追加することにより得られる効果を分かり易く示したものであ
る。図３ａは、従来の雰囲気光を取り込むためのカメラシステムを示し、同シス
テムの対応する視野を、モニタ２７上のシーン２８として示す。このビュー中に
は、標的（例えば、選手１０）および背景（例えば、氷表面２）等の、処理が必
要な情報がかなり多い点に留意されたい。上述したような反射性材料を３ａ、４
ａ、７ｒ、７ｌおよび９の形態で追加することにより、図３ｂは、シーン２８に
おいてずっと少量の情報を示す。また、このことは、エネルギー源２３が選択エ
ネルギー２３ａとして発する狭帯域の周波数を通過させるように特別に選択され
たエネルギーフィルタ２４ｆを追跡カメラ２４に取り付けることにより、さらな
るコンピュータ処理を要することなくリアルタイムで達成される。エネルギー２
３ａは、所定の領域（例えば、氷表面２）を通じて放散され、３ｂ、４ｂ、７ｍ
および９ａとして反射される。方向付け印７ｒ１および７ｌ１、チーム表示７ｒ
２、選手表示７ｌ２ならびに反射性ステッカー９は、表示／標的追跡解析ユニッ
ト６２にとって容易に識別可能な特殊な印を含むように作成される。これらの印
の大きさは、オーバーヘッドアセンブリ３０ｃ内の追跡カメラ２４のターゲット
解像度にマッチングさせられる。従って、視野に対して解像度が低いほど、認識
を容易にするために、印を大きくする必要がある。この好適な実施形態はまた、
非フィルタリグ撮影カメラ２５も含み、この非フィルタリグ撮影カメラ２５は、
図４ａに示すように、全ての周囲光の周波数を取り込む。しかし、後述するよう
に、追跡解析により提供される情報の、関連する標的情報を全て抽出するために
は、このデータのほんの一部のみを通過させなければならない。

【００６２】 システム１００を動作させる前に、パースペクティブｚ追跡カメラセット３０
を取り付けることも必要である。１つのセットを氷表面２の各端部に取り付けて
、これにより、各ゴール２ｂのすぐ周囲を取り囲む領域のビュー内に１つのセッ
トが常時存在するようにする。これらのセット３０をこのような配置にしたのは
、パック３がゴール２ｂに向かうとき、表面２から離れて、Ｚ方向に移動する移
動経路を予想してのことである。アセンブリ３０ｃは、そのオーバーヘッド特性
のため、いずれのＺ次元の標的移動経路も取り出すことができず、これは、全標
的を追跡するために必要な処理量を低減するため、受容可能であり、望ましくさ
えある点に留意されたい。しかし、ゴール２ｂの最近隣にある限定領域（すなわ
ち、三角領域２ｃによって規定される領域）の場合、パック３の移動経路のＺ要
素を追跡することは、非常に有用であり得る。セット３０およびセット３０が収
集する情報は、本発明者が本発明に関して新規性があると考える主要な局面を可
能にするためには不要である点に留意することは重要である。具体的には、以下
の特殊に印付けされた標的の移動経路を実施し、この情報を通常の映像画像に適
用すれば、標的情報を敏速に抽出できる。

【００６３】 オプションであるが本発明にとって新規である別なこととして、氷表面アリー
ナ２内の任意の位置に自動撮影カメラ４０を配置することがある。従来のカメラ
オペレータは、競技の中心を直観で判定し、放送用のイベント（例えば、ホッケ
ー）の撮影を操作し、自身の撮影カメラのパン、ズーム、および傾斜を自分で方
向付けて、限定されたシーンを取り込んでいた。現在は、システム１００は、氷
表面２上の標的の移動経路に関する全情報を有するため、ローカルコンピュータ
システム６０は、競技の中心／ビュー選択解析ユニット６６を介して、自動撮影
カメラ４０のパン、ズームおよび傾斜を自動的に方向付けることが企図される。

【００６４】 オーバーヘッドｘ−ｙ追跡カメラアセンブリ３０ｃ、パースペクティブｚ追跡
カメラセット３０および自動撮影カメラ４０を全て正確に取り付けて較正し、全
追跡対象標的を印（例えば、３ａ、４ａ、７ｒ、７ｌおよび９）で適切に強化し
た後、システム１００は、動作可能な状態となる。以下の説明では、Ｘ−Ｙおよ
びＺ次元内の所定の視野全体にわたるイベントが行われる間、１人の選手１０、
１つのスティック４および１つのパック３の移動経路をフレーム単位で追跡する
方法について説明する。この説明の後、本発明者は、スティック４を持つ他の選
手１０を同時に追跡する方法と、標的のオーバーラップ、標的のサイズの変化、
標的のビューからの消失、周囲光の突然変化および別の場合の霧等による可視性
の低下等による問題の処理方法とについて教示する。

【００６５】 ここで図１、２、４ａ、４ｂ、および８を参照して、システムがオンにされ、
最初の選手１０が入場路２ｅを進み、オーバーヘッドアセンブリ３０ｃのアレイ
の視野に入ってきた後、システム１００は、複数の標的の追跡を開始する。入場
路２ｅにおいて、選手１０は最初に１つのフレーム内に現れ、このフレームは、
追跡用映像取込カメラ（単数または複数）ユニット６１によって取り込まれる。
ユニット６１は、アセンブリ２０ｃ内の各追跡カメラから１秒あたり全部で４０
以上のフレーム（４０⁺ｆｐｓ）を取り込み、各フレームを表示／標的追跡解析
ユニット６２に供給する。

【００６６】 現在の技術の現状を鑑みれば、ユニット６１内に必要となるような１つのカメ
ラ制御盤は、最大８個のカメラの制御が可能である点に留意されたい。実際に取
り込みが必要な１秒当たりのフレーム数は、所望の移動経路解像度によって決ま
る。例えば、本発明者の実施例における最高速の標的は、時々最大１００ｍｐｈ
で移動するパック３である。１秒あたり４０個のフレームにおいて、１マイルは
５２８０フィートであり、１時間は６０＊６０＝３６００秒であり、パック３の
１秒あたりの最大移動距離は、：（１００マイル／時間＊５２８０フィート／マ
イル）／（３，６００秒／時間）＝１４６．７フィートとなる。速度が４０フレ
ーム／秒のとき、フレーム間の最大移動距離は３．７フィートとなる。滑走中の
選手（例えば、１０）の最大速度は約２５ｍｐｈまたはパック速度の４分の１で
ある点に留意されたい。４０フレーム／秒のとき、選手１０が移動する最大距離
は約０．９２５フィートである。２０フレーム／秒のとき、パック３の移動は最
大速度で８フィート以下であり、選手１０の移動距離は約２フィートに限定され
る。選手１０およびパック３はどちらとも最大速度で移動することは滅多に発生
しないことを考えると、移動経路の解像度は実際はかなり高いものとなる。パッ
ク３が最高速度で到達する領域（すなわちゴール２ｂの周囲）が予想される点に
も留意されたい。オーバーヘッドカメラアセンブリ２０ｃおよびパースペクティ
ブカメラセット３０は両方とも、これらの特定のゾーンにおける移動経路解像度
を向上させるように、高いフレーム取込速度で動作可能である。いかなる場合に
おいても、本発明は、フレーム速度と１つのコンピュータおよび映像取込カード
に取り付けられる追跡カメラ２４の数とをトレードオフすることにより、演算能
力のコストと移動経路解像度とをトレードオフする能力を有する。複数のコンピ
ュータを用いてデータの収集および解析を行うことは、本発明にとって新規では
なく、また限定ともならない点が認識されるべきである。

【００６７】 解析ユニット６２は、オーバーヘッドアセンブリ２０ｃ１の追跡カメラ２４か
ら各フレームを受け取ると、各画素のグレースケールと閾値とを比較し、閾値を
超える画素は、任意の形態の特殊な印（例えば、３ａ、４ａ、７ｒ、７ｌおよび
９）があることを示す。各選手１０は、アセンブリ２０ｃ１によって常時見られ
ている入場路２ｅからの氷表面２を出入りしなければならず、また、フレーム間
の最大移動経路は、予想最大速度およびフレーム取込速度に基づいて計算可能で
あるため、新規選手（例えば、１０）の存在を最初に検出するために、完全にサ
ーチすることが必要な画素の最小数を計算することが可能である。図４ｃにおい
て、この最小画素数を１０ｅとして示し、これらの最小画素数１０ｅは、アセン
ブリ２０ｃ１の視野外側エッジ部分に並行に沿って、氷表面２の主要部分に向か
う複数の列（ｒｏｗ）の内部に走る画素からなる。この矩形領域の深さは、ここ
でも、フレーム取込間に選手１０が移動すると予測される最大距離に依存する。
バスケットボールまたはサッカー等の他のスポーツイベントにおいても、通常は
、各チームが主要アリーナに移動してアクセスするために通り抜けなければなら
ないトンネルがある点に留意されたい。システムの視野を適切に延長して任意の
このようなトンネルにまで延長すると、この最小サーチ技術を用いて、最初に、
任意の新規の追跡対象となる選手を検出する。説明するように、これが一旦検出
されると、フレーム間の選手の移動経路範囲が限定されるため、追跡を継続する
ための処理要件が有意に低減する。

【００６８】 ここで図４ｃをさらに参照して、パッド６上のパッチ７ｒまたは７ｌであれ、
あるいはヘルメット８上の反射性ステッカー９であれ、あるいはパック３上の反
射性インク３ａであれ、あるいはスティック刃部４周囲を被覆する反射性ホッケ
ーテープ４ａであれ、印付けされた標的を検出した後、検出した標的を個別に追
跡する。各印の最初に検出した移動経路を、氷表面２の中心ポイント２ａに対す
る極座標として表す。従って、各標的の最初の移動経路は、０°からの角度（ａ
ｎｇｌｅ ｏｆｆ）および規定された角度に沿った中心ポイント２ａからの距離
として表される。これらの計算は、標的追跡解析ユニット６２によって頻繁に行
われる。ユニット６２は、所与の標的を検出した後、最新の既知座標、最新の既
知の方向ベクトル、加速ベクトルおよび速度ベクトルならびにフレーム間の最大
移動距離の計算値に基づいて、自身の視野においてその標的を継続的に探す。最
新の既知座標は、可能な最大移動距離と組み合わさると、図４ｃ中に１０ｂとし
て示すような、標的の次の位置を発見するためにサーチしなければならない移動
経路候補の最大境界円を規定するように機能する。この境界円内における平均サ
ーチ時間を短縮するために、ユニット６２は、最新の既知の速度を既知のフレー
ム速度で除算した（ｄｉｖｉｄｅｄ）値に等しい距離から得た今までの移動経路
に基づいて、先ず最初に最新の既知の移動方向を探す。境界円内のこの最新の最
有望ポイントから、ユニット６２は、境界円全体が解析されるまで、このポイン
トを全方向に発展させることによりサーチを継続する。印が発見されず、かつ、
入場路２ｅを範囲に含む視野エッジ部に境界を有する最小画素矩形を標的が完全
に通過したことがわかった場合、次のフレーム上において標的をサーチする。こ
の場合、新規の最大境界円の半径は、前回のサーチ結果のものよりも２倍大きい
。

【００６９】 マークが付けられた標的が検出され、そしてシステム１００から見えなくなる
と、追跡分析ユニット６２はまず、標的／場面抽出分析ユニット６４と通信して
、周囲光に基づく追加情報があれば標的の場所が明らかになるかどうかを判定す
る。この技術を検討する前に、まず、マークが付けられた標的が一旦検出される
と、その種類および場所が、追跡ユニット６３から抽出ユニット６４に送られる
ことに注目されたい。抽出ユニット６４は次いで、同じオーバヘッドアセンブリ
２０ｃ内に収納される撮影カメラ２５によりとらえられた、対応するフィルタ処
理されていないビデオフレームを分析する。オーバヘッドアセンブリ２０ｃの追
跡カメラ２４は現在、場所が特定された標的を見ている。例えばパッチ７ｒまた
は反射性ステッカー９などの、標的の種類を知ることにより、例えばパッド６ま
たはヘルメット８などの実際の標的の最大予想サイズを、抽出ユニット６４に示
す。この最大サイズが、反射性の印の現在の場所とともに与えられると、ユニッ
ト６４は、図４ｂに示されるように、付けられた印の場所を起点とし、そしてそ
の印から外側に向かって、画像の各画素を予め分かっているバックグラウンド２
ｒと比較する。バックグラウンド画素に到達したと判定されると、画像トレース
経路１０ｐは、閉路が完成するまで、標的の周りで継続する。ビデオ画像のうち
の、追跡標的を含む部分を迅速に抽出するために、この閉路１０ｐの周りで、最
小境界矩形１０ｒが計算される。印が見つかった標的の種類（例えば、パッド６
またはヘルメット８またはプレーヤ１０）に関連する標的の予想最大サイズを知
ることにより、このプロセスは、標的の端を見つけるために、最大境界円に限定
されてもよい。なお、閉路１０ｐにより規定されたこの標的は、パッチ７ｒ、７
ｌおよびステッカー９などの２つ以上の印を含み得、また、含む場合が多い。次
いで、１０ｒで規定されるようなこの抽出表面と、その表面内の各反射性標的の
追跡された場所とは、多数の重複画像を複合して個々の完全なビューフレームに
するユニット６５に送られる。次いで、ユニット６５は、３ｂ、４ｂ、７ｍおよ
び９ａなどのすべての検出された反射性標的と、視野全体にわたって検出された
、それらの反射性標的に対応する抽出された標的画素とをカタログ化して、１つ
の完全な組にする。実際には、抽出された画素は、画素座標のリストではなく、
１０ｒで示されるような最小境界矩形として表される。この最小境界矩形内にお
いて、すべてのバックグラウンド画素は、後の検査中に前景標的とはっきり区別
するために、抽出ユニット６４によりヌル値に設定されている。重心およびその
中心点に対する極座標もまた、抽出ユニット６４により計算され、そして複合ユ
ニット６５に送られる。そして最後に、ユニット６４は、各標的に関連付けられ
る開始エッジポイントを決定する。この開始エッジポイントは、標的の最小境界
矩形内から標的の輪郭を迅速にトレースして最終抽出を行うために、後のルーチ
ンにより使用され得る。３ｂ、４ｂ、７ｍおよび９ａなどの反射性表面と、パッ
ド６またはヘルメット８またはプレーヤ１０などの、これらの反射性表面が取り
付けられた標的とをつなぎ合わせることも、複合ユニット６５の担当である。こ
れは、別個の撮影カメラ２５または追跡カメラ２４によりとらえられたフレーム
を重ね合わせることであり得る。

【００７０】 複合ユニット６５が、すべての既知の反射性マークおよびそれらに対応する標
的についての重心に対する極座標の既知の組を作成し、かつ、最小境界矩形およ
び開始エッジポイントを規定すると、このデータの組全体が、標的およびフレー
ム番号／時間シーケンスユニット６７によりインデックスが付けられた追跡およ
びビデオフレームの記憶ユニットに送られる。オーバヘッドアセンブリ２０ｃお
よびパースペクティブセット３０のアレイにより作成された、視野全体のフレー
ムの組全体が、捕捉ユニット６１により連続的に入力されると、それらは、追跡
ユニット６２に送られる。追跡ユニット６２は、新しい標的の各々が視野２０ｃ
１に入り最終的に同じアセンブリ２０ｃ１を介して出ていくときに、この標的を
追う。発明者らは、インクが付けられた表面またはそれに対応する標的の最初の
出現を識別した後は、追跡ユニット６２が同じ極座標法を用いてその後の重心を
表すことを可能にすることが、より効率的であり得ると予期している。ただしこ
のとき、中心点は氷の中心２ａではなく、インクが付けられた同じ表面またはそ
れに対応する標的の以前の重心である。この変化する基準中心の方法は、図４ｃ
において、シーケンス１０ａ１〜１０ａ４で示される。

【００７１】 記憶ユニット６７は、インクが付けられた表面およびそれに対応する標的の情
報の上記連続フローを取り込み、そして、後の分析のために幾つかのデータベー
スを作成する。まず、個々の表面および標的の各々について、それが視野に入る
ポイントから、その後いつか出ていくまでの、独自の動きがカタログ化される。
なお、視野は、チームボックス２ｆおよび２ｇと、ペナルティボックス２ｈとを
カバーするように広げられる。従って、システム１００にとっては、これらの表
面および標的が活性である氷表面２上ではなく、現在のイベントにおいては活性
でないこれらの領域において、これらの表面および標的を追跡することと全く変
わらない。記憶ユニット６７はまた、グループ情報の作成および格納も担当する
。例えば、ユニット６７は、以下の関連性を見つけることを予想している。

【００７２】 １．プレーヤ１０が、関連する右側パッチ７ｒおよび左側パッチ７ｌを有して
いることは常に真である。

【００７３】 ２．プレーヤ１０が、ステッカー９を貼った関連するヘルメット８、およびテ
ープ４ａを貼ったスティック４も有していることは、ほとんどの場合真である。

【００７４】 ３．プレーヤ１０が、その直接の制御半円内にパック３を有していることは真
である場合もある。この半円は、プレーヤ１０の現在の場所、方向、移動速度、
および向きにより規定され、図４ｃにおいて１０ｓとして示される。

【００７５】 ４．プレーヤ１０が、追加のパッチ、ヘルメット、またはスティックを有して
いるように見え得ることは真である場合もある。この場合、多数のプレーヤが衝
突する可能性がある。

【００７６】 検出された関連性は、どんなものであっても、プレーヤグループデータベース
の作成に使用される。なお、記憶ユニット６７は、プレーヤから離れたスティッ
クまたはヘルメットと、プレーヤとを区別する。従って、プレーヤから離れたス
ティックまたはヘルメットは、プレーヤグループの別のインスタンスを作らない
。従って、固有プレーヤグループの総数まで、フレームごとに数えられる。この
総数は、以下のことがない限り、同じままでなければならない。

【００７７】 １．新しいプレーヤが視野に入る。

【００７８】 ２．既存のプレーヤが視野から出ていく。

【００７９】 ３．プレーヤの姿が一時的に結合するような、１人以上のプレーヤ同士の衝突
がある。

【００８０】 ２つ以上のプレーヤグループを一緒にして、視野内のどこかで１つのグループ
を作る場合、最終的にはプレーヤ同士が離れることが予期される。このとき、そ
のグループに入った既知の各プレーヤにグループの動きを割り当てたシステムは
次に個々のプレーヤを追跡し始め、そして、グループ総数カウント値は、衝突前
のカウント値に戻されている。

【００８１】 記憶ユニット６７は、その様々なデータベースを連続的に更新すると、この同
じ情報は、クロスリンクされたデータベースユニット６８に格納された標的の動
きの定量化および分析ユニットにリアルタイムで利用可能になる。定量化および
分析ユニット６８は、追跡データベースに対して実行可能なタスクの可変の組を
有する。このタスクの組は、リアルタイム、または、イベント後のいずれかとし
て可能にされ得る。いずれの場合でも、これらのタスクの幾つかは、以下に示さ
れる通りである。

【００８２】 １．個々のプレーヤグループのデータを、予め分かっている潜在的プレーヤの
リストと相関する。これは、チームの印７ｒ２およびプレーヤの印７ｌ２を、予
め分かっている値データベースと比較することにより達成される。

【００８３】 ２．抽出された標的内でのインクが付けられた表面の場所と、インクが付けら
れた表面およびそれらに関連する標的の既知の最後の方向、速度、向きとの組み
合わせに基づいて、プレーヤの向きを決定する。 したがって、ユニット６８は、プレーヤがフォワードに対して後方に滑走してい
ること、または、プレーヤの頭および肩が回転し始めていることを識別すること
ができ、従って、その次の捕捉フレームで、プレーヤの進行方向も同様になると
予想される。反射性ステッカー９が、関連ヘルメット８（および従ってプレーヤ
の頭）が下を向いているのかまたはまっすぐ前を向いているかを判定する際にユ
ニット６８も助けるように特に設計されていることにもさらに注目されたい。こ
れは、ヘルメット８の向きによってカウント値が変わる、ステッカー９の交互の
白黒の正方形により容易にされる。

【００８４】 ３．氷表面から出入りした時間（シフトとして既知である）、シフトの所要時
間、平均速度、ディフェンスゾーン、ニュートラルゾーンまたはオフェンスゾー
ンで費やしたシフトのパーセンテージ、パック制御のパーセンテージ、シュート
回数、転倒回数、スチール回数、パス回数、などのプレーヤ統計値を更新する。

【００８５】 ４．シフト回数、平均シフト所要時間、ディフェンスゾーン、ニュートラルゾ
ーン、オフェンスゾーンでのプレーのパーセンテージ、パック制御のパーセンテ
ージ、シュート回数、転倒回数、スチール回数、パス回数、などのチーム統計値
を更新する。

【００８６】 リアルタイム追跡が予め可能にされたこの情報のいずれかまたは全ては今、問
い合わせと、チーム出力ステーション８０上の表示とに利用可能である。イベン
トが終了すると、または、イベント活動の予定された中断の間、定量化および分
析ユニット６８は、リアルタイムが予め可能にされなかった追加情報を得るため
に、格納されたデータベースの処理を継続し得る。その他のイベントは、スポー
ツのものであるかどうかにかかわらず、また、人間の標的を含んでいるかどうか
に関係なく、固有に望ましい定量化および分析の要求の独自の組を有する。

【００８７】 イベントと、ユニット６８によるイベント分析のすべてとが終了した後であれ
ばいつでも、選択された個人が、ローカルコンピュータシステム６０により追跡
および分析された情報について遠隔から問い合わせをすることが望ましい場合が
ある。図８において６９および７９として示される従来のリモート通信装置の使
用により、７０として示される、捕捉されたイベントを見るためのリモートコン
ピュータシステムは、イベントデータベースにアクセスするために使用され得る
。本発明者らは、追跡したい標的に取り付けられている、専用のインクが付けら
れた表面をまず追跡し、次いでそれらの標的の動きの最小境界領域を抽出する開
示された技術が、少なくとも以下の理由で新規であると考えている。

【００８８】 １．上記技術は、最小限の時間で動作し、かつ、選択された狭いエネルギー帯
を用いて、周囲バックグラウンド反射に関係なく、標的の識別、向き、進行方向
および最小速度を少なくとももたらすわずかな情報を照明して捕捉することによ
り、最低限のコンピュータ処理を必要とする。

【００８９】 ２．上記技術は、狭いエネルギー帯から迅速に判定された情報を用いて、典型
的には周囲光で見られるエネルギー帯全体から、情報のより大きな組を効率的に
抽出する。

【００９０】 ３．上記技術は、予め分かっている氷表面バックグラウンド上に、捕捉されか
つ抽出された標的の動きのすべてを再びオーバレイすることにより、イベント終
了後に、イベントの１つ以上の部分またはすべてを再構成するために使用され得
る、結果として得られる動きのデータベースを作成する。

【００９１】 この最後に示した点は特に有益である。なぜなら、実際に、この点により、他
の技術では禁止されるであろう量のイベントビデオ情報が、後に通常のシステム
を介してインターネットなどのシステム接続に転送され得る動き情報の最小の組
として、セーブされることが可能になるからである。従って、イベントに関与す
る数人が、このデータを各自のリモートシステム７０に別個にかつ容易にダウン
ロードして、独自に選択的に再生および分析することができる。最小境界ボック
ス内のすべての標的画素ではなく重心だけを送信すればよい場合も想定される。
なぜなら、アーケードスタイルのイベントの再生では、プレーヤの身体、ヘルメ
ットおよびスティック、ならびにパックのグラフィックスは、ローカルシステム
により容易に生成され得るからである。

【００９２】 システム１００の別の新規な局面が、図６に示される。具体的には、反射性イ
ンク１１ａを有する円錐体１１などの、予め指定された、マークが付けられた標
的の使用により、システム１００の追跡範囲を、２ｔなどの、システム１００の
視野の幾らかのサブ部分に限定することが可能である。実際に、氷上のコーチな
どのオペレータは、追跡制御装置９０への専用エントリコード入力を用いて、シ
ステム１００の、この低減追跡モードを開始する。装置９０は、この制御シーケ
ンスを、従来のＲＦを介してローカルコンピュータシステム６０に送信する。こ
の情報は次いで、多数の重複画像を複合するユニット６５に提供される。ユニッ
ト６５は次いで、氷表面２上で、２つ以上の予め指定された標的、例えば、円錐
体１１を探索する。これらの２つ以上の円錐体１１は、ひとまとめにして考える
と、２ｔなどの１つ以上の幾何学的領域を規定する。この領域内では、すべての
追跡が可能にされ、領域外では、すべての追跡が不能にされる。円錐体が曖昧な
態様で配置されている場合、ユニット６５は、検出された現在の円錐体１１を考
慮して、すべての可能なレイアウトを送信して表示させる。制御装置９０のオペ
レータは、これらのレイアウトから適切なレイアウトを選択する。例えば、コー
チは単に、氷表面を２つの部分に分けるレッドラインの両側に１つずつ、２つの
円錐体１１を氷２上に配置し得る。このとき、ユニット６５は、氷の一方側また
は他方側のいずれかをカバーする２つの可能なレイアウトを表示する。

【００９３】 システム１００の追跡範囲を制限した後は、その他すべての機能は、以前に説
明したものと同じである。さらに、定量化および分析ユニット６８は、氷上コー
チのリアルタイムの問い合わせに応答して、すべての捕捉情報をポータブル追跡
制御装置９０に出力することができる。装置９０により、ユニット６８がゴール
への成功シュートの速度をシュートクロック９１に出力することが可能にされて
もよい。

【００９４】 従って、マルチプルオブジェクト追跡システムが、以下の新規な装置および方
法を提供することが分かる。

【００９５】 １−オペレータの介入による助けなしに、人間などの多数の高速移動する様々
な形状の標的をリアルタイムで追跡し、追跡期間中に標的を最初に識別するかま
たは条件付きで識別し直し、 ２−まず、標的に付けられている専用の印を別個に追跡することにより、画像
データ処理に必要とされる時間を低減し、その後、標的をそのバックグラウンド
から効率的に抽出するために、印の場所が、方向、加速度および速度のベクトル
とともに使用され得、 ３−標的内の色区別とは独立して、認識タスクを実行し、 ４−受動または能動電子追跡装置とは独立して、認識タスクを実行し、 ５−標的全体、および潜在的には標的の個々の部分、の向き情報を決定し、 ６−可視光に基づく認識技術にとって最適ではない場合がある様々な照明およ
び空気湿度条件下で実行し、 ７−視野内で追跡範囲を容易に構成し、 ８−時間および／または標的（単数または複数）の識別によりアクセス可能な
動きデータベースをリアルタイムで作成しかつ維持し、 ９−捕捉データのすべてまたは幾らかを、氷上競技場内で即座にまたはイベン
ト後に、インターネットなどの通信ネットワークを介して１つ以上のリモートコ
ンピュータに出力し、そして、 １０−制御されたイベントの再生および批評分析に使用され得る情報を、イン
ターネットを介してリモートコンピュータシステムに提供する、装置および方法
。

【００９６】 上記説明は多くの具体例を含んでいるが、これらの具体例は、本発明の範囲に
対する限定としてではなく、本発明の好適な実施形態の例示として解釈されるべ
きである。システム機能の多くの局面は、その他の局面が無くても、それ自体で
有益である。例えば、別個の撮影カメラは、コスト節約および／または速度向上
のために削除されてもよい。それでも、このシステムは、追跡される標的に取り
付けられた、インクが付けられた表面を追跡することにより、有意かつ新規な利
益を提供する。追跡されるイベントの真上に取り付けられる追跡カメラのアレイ
は、無くてもよい。この構成が不都合であることが分かれば、インク表面を見え
る状態に維持する可能性が最も高い重複視野をカメラ同士が作り出し得るように
、カメラを配置するだけでよい。例えば、映画製作のセットでは、このシステム
は、アクションが展開するときに場面の１つ以上の局面を自動的に追うために使
用され得る。従って、役者が、パッチに専用インクを付けた大きなマークを衣服
の下に隠して着用すれば、この追跡システムは、役者の動きを追い、選択された
製作カメラのパン、傾斜、およびズームを自動的に指示し得る。

【００９７】 必須ではないが有益である、システムの局面の別の例は、捕捉されたイベント
を見るためのリモートコンピュータシステムへのリンクである。発明者らは、リ
モートダウンロードに特に有益な情報を格納する点でこのシステムが独自である
と考えているが、リモートシステムは、システムが新規性および有用性を有する
ために必要であるわけではない。

【００９８】 マルチプルオブジェクト追跡システムの上記説明から、マルチプルオブジェク
ト追跡システムが、アイスホッケーの試合中のホッケー選手およびパックの動き
を追跡する適用可能性を超える適用可能性を有していることは明らかである。例
えば、この同じシステムは、オーバヘッドアセンブリを保持するフレーム自体が
、プレー領域の上に保持されるようにポストまたはポールに取り付けられれば、
屋外ローラーホッケーリンクの上で構成されてもよい。このシステムはまた、ア
イスホッケーと非常に類似した態様でバスケットボールを追跡するために使用さ
れてもよい。なぜなら、これらの試合は、たいてい屋内競技場で行われるからで
ある。フットボールおよび野球などのその他のスポーツでも、同様のアプローチ
が使用され得る。ただし、この場合オーバヘッドアセンブリがないため、これは
、パースペクティブ追跡カメラで視野が十分にカバーされる場合に限る。システ
ムはまた、大きな会議場または講堂で、セキュリティ関係の場所、補助スタッフ
の参加者の流れを追跡するために使用されてもよい。これは、同じオーバヘッド
追跡カメラを用いることにより達成され得るが、撮影カメラはおそらく不要であ
る。各種類の追跡される人には、専用パッチを身に付けることが要求される。こ
の専用パッチは、イベント主催者により決められる統計学的に関連のある基準に
基づいてコード化されてもよい。パッチを付けた個人が移動して異なるブースを
訪れると、選択した各ブースで費やした時間を含む彼らの選択は、自動的に追跡
され得る。そのようなシステムはまた、大きな列が選択領域の周りにできている
として検出された場合に、群衆を流れさせる助けになり得る。なお、この適用例
では、追跡されるすべての人のすべての動きを追うことはあまり重要ではなく、
全体として、すべての類似した個人の動きの大部分が決定され、それらの動きか
ら有用な決定および戦略が得られ得ることが決定的に重要である。

【００９９】 本発明のマルチプルオブジェクト追跡システムの上記の詳細な説明から、本発
明が多くの利点を有していることが明らかである。これらの利点の幾つかは、上
で説明されており、それ以外は、本発明に固有のものである。また、本発明の教
示から逸脱することなく、マルチプルオブジェクト追跡システムに改変がなされ
てもよいことも明らかである。従って、本発明の範囲は、前掲の特許請求の範囲
によってのみ制限されるものである。

【図面の簡単な説明】

【図１】 図１は、本発明の好適な実施形態の上面図であり、オーバーヘッドＸ−Ｙ追跡
カメラのアレイを示す。これらのオーバーヘッドＸ−Ｙ追跡カメラは、一緒に用
いられると、氷ホッケーアリーナ内の滑走領域およびベンチ領域を包含する視野
を形成する。また、各ゴールの後ろにあるパースペクティブＺ追跡カメラセット
、自動パン、傾斜およびズームを行うパースペクティブ撮影カメラならびに１つ
の代表的選手およびパックも図示されている。

【図２ａ】 図２ａは、一連の３つの透視図であり、典型的な選手のジャージと、追跡パッ
チを適所に設けたパッドと、パッド上のジャージをパッチと組合わせた様子とを
示している。

【図２ｂ】 図２ｂは、一連の２つの透視図であり、ホッケーパックおよび典型的な選手の
ホッケースティックを示し、これらはそれぞれ、少なくとも自身の外側表面の一
部上に追跡インクを含むように強化されている。

【図２ｃ】 図２ｃは、典型的なホッケー選手のヘルメットを示す、一連の２つの透視図で
あり、このヘルメットは、少なくとも自身の外側表面の一部上に追跡ステッカー
を含むように強化されている。

【図３ａ】 図３ａは、典型的なホッケー選手のパッド、ヘルメット、スティックおよびパ
ックの透視図であり、これらの器具は、オーバーヘッドＸ−Ｙ撮影カメラから取
り込まれ、ビュー画面上に表示される。

【図３ｂ】 図３ｂは、追跡インクをホッケースティックおよびパックに追加し、追跡パッ
チをパッドに追加し、追跡ステッカーをヘルメットに追加している点以外は図３
ａに類似する、透視図である。加えて、追跡エネルギー源および周波数マッチン
グフィルタをオーバーヘッドＸ−Ｙ撮影カメラに追加して、追跡カメラとしてい
る。

【図４ａ】 図４ａは、さらなる非フィルタリング撮影カメラをオーバーヘッドＸ−Ｙ追跡
カメラに追加して、これにより、両方の情報セットを効率的に組み合わせている
点以外は図３ｂに類似する、透視図である。

【図４ｂ】 図４ｂは、追跡対象標的の映像画像を効率的に抽出するための、本発明の新規
なプロセスの主要要素の上面図であり、このプロセスは、先ず最初に添付されて
いる表示の位置を特定し、次いで、この表示からの多方向において画像の各画素
を既知の背景と比較処理し、これによって追跡対象標的の輪郭を効果的に得る。

【図４ｃ】 図４ｃは、氷アリーナの一部の上面図であり、図４ａに示すオーバーヘッドＸ
−Ｙ撮影および追跡カメラによって追跡および探知される、典型的なホッケー選
手、スティックおよびパックの一連の動きを示す。

【図５】 図５は、オーバーヘッドＸ−Ｙ撮影および追跡カメラを有する取り付け可能な
カメラアレイフレームを、典型的な氷アリーナの屋根に取り付けた様子を示す透
視図である。

【図６】 図６は、氷アリーナの上面図であり、追跡インクを付けた領域限定円錐を、視
野全体の一部のみが追跡されるように、オーバーヘッドＸ−Ｙ追跡カメラに対し
て示すように配置する。典型的な選手も示されており、１人の選手は追跡ゾーン
におり、他の多くの選手は追跡ゾーンの外部にいる。携帯型デバイスも示されて
おり、この携帯型デバイスは、氷上でコーチ担当者が機能を操作し、本発明によ
り生成される情報を照会し得る。

【図７】 図７は、ホッケー選手ベンチの前面図であり、これは、キーパッドを備える一
連の表示デバイスを装備し、ホッケー試合の最中に典型的なホッケー選手が本発
明により生成される情報を照会するために用いられ得る。

【図８】 図８は、提案されている本発明の全追跡およびコンピュータ要素を示すブロッ
ク図である。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ， ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，Ｓ Ｋ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 ハラー， ウィリアム アール． アメリカ合衆国 ペンシルベニア 18015， ベスレヘム， ブライトン ストリート ナンバー403 425 Ｆターム(参考） 5B057 BA08 BA12 BA17 CA12 CA16 DA08 DB02 DC08 5C022 AA01 AB63 5C054 AA05 CE16 FC12 HA16 HA19 5L096 AA06 BA08 CA04 EA14 HA05

Claims (23)

【特許請求の範囲】
1. 【請求項１】 所定領域内の多数の標的の動きを追跡するための自動システ
   ムであって、 選択された狭帯域のエネルギーの連続的反射性を有し、追跡される該標的のそ
   れぞれに貼り付けられる多数の受動マークと、 該所定領域にわたって、該選択された狭帯域のエネルギーを放射可能な少なく
   とも１つのエネルギー源と、 該受動マークから該放射されたエネルギーの反射を受け取るため、該選択され
   た狭帯域のエネルギーのみを受け取るようにフィルタリングされた少なくとも１
   つのカメラと、 専用マークの位置およびそれによる該反射に基づく該標的を判定する該カメラ
   と通信する位置追跡コンピュータと、 を含む、システム。
2. 【請求項２】 前記受動マークは、前記標的を被覆する材料に埋め込まれる
   インクを含む、請求項１に記載のシステム。
3. 【請求項３】 前記受動マークは、反射材料を有する事前にマークを付けた
   少なくとも１つのステッカーおよびパッチである、請求項１に記載のシステム。
4. 【請求項４】 前記エネルギーソースは、非可視スペクトルから選択される
   、請求項１に記載のシステム。
5. 【請求項５】 前記フィルタリングされたカメラは、前記追跡される標的上
   の固定されたオーバーヘッド位置において存在する、請求項１に記載のシステム
   。
6. 【請求項６】 グリッドを形成し、視野を有する多重性オーバーヘッドフィ
   ルタリングカメラをさらに含み、各固定されたオーバーヘッドカメラフィルタリ
   ングカメラの該視野が、いくつかおよび全て隣接する固定されたフィルタリング
   カメラの該視野をわずかに重ね合わせる、請求項５に記載のシステム。
7. 【請求項７】 前記標的のパースペクティブ視野内に配置される１つ以上の
   可動パースペクティブフィルタリングカメラをさらに含む、請求項６に記載のシ
   ステム。
8. 【請求項８】 前記各フィルタリングカメラは、選択された標的に特別に従
   うようにコンピュータを追跡することによって、選択された標的制御的にパンし
   、傾けられ、ズームされる、請求項７に記載のシステム。
9. 【請求項９】 前記追跡コンピュータは、各オーバヘッドフィルタリングカ
   メラおよび各パースペクティブフィルタリングカメラから複数のビデオフレーム
   を受信する、請求項８に記載のシステム。
10. 【請求項１０】 前記追跡コンピュータは、各個々のフレームを該フレーム
    内に各個々のマークを位置付けるように解析し、該フレーム内の該マーキングの
    位置の前記転送オーバーヘッドフィルタリングカメラまたはパースペクティブフ
    ィルタリングカメラの既知の固定された位置に基づく前記所定領域内で、該マー
    キングの位置をさらに計算する、請求項９に記載のシステム。
11. 【請求項１１】 多数のマーキングは、追跡される単一の標的に貼り付けら
    れる、請求項１０に記載のシステム。
12. 【請求項１２】 前記追跡コンピュータは、同一の標的に貼り付けられる前
    記関連する各マークの関連する前記変化位置を比較することによって、各多数の
    マーク付けされた標的の配置を判定する、請求項１１に記載のシステム。
13. 【請求項１３】 前記マークは、同様の形態の追跡された標的の間で異なる
    パターンを固有に識別することを含む、請求項１２に記載のシステム。
14. 【請求項１４】 前記追跡コンピュータは、前記マークとともに作成された
    固有に識別するパターンを検出し、連続的に追跡された位置および配置データと
    各固有の標的とを相互接続する情報のデータベースを作成する、請求項１３に記
    載のシステム。
15. 【請求項１５】 少なくとも１つのディスプレイおよび解析コンピュータを
    さらに含み、前記コンピュータは、各追跡された標的に関する前記相互接続され
    た情報を前記少なくとも１つのディスプレイおよび解析コンピュータに伝達する
    、請求項１４に記載のシステム。
16. 【請求項１６】 少なくとも１つのフィルタリングされていないカメラをさ
    らに含み、前記各オーバーヘッドフィルタリングカメラおよび各パースペクティ
    ブカメラフィルタリングカメラは、重なり合う視野を有するフィルタリングされ
    ていないカメラによって達成される、請求項１３に記載のシステム。
17. 【請求項１７】 前記各フィルタリングされていないカメラがビデオカメラ
    であって、該ビデオカメラの画像は、人間の目に可視である、請求項１６に記載
    のシステム。
18. 【請求項１８】 前記追跡コンピュータは、フィルタリングされたカメラお
    よびフィルタリングされていないカメラ両方からの対応する重なり合うフレーム
    を受信する、請求項１７に記載のシステム。
19. 【請求項１９】 前記追跡コンピュータは、前記フィルタリングされたカメ
    ラのフレーム内に含まれる前記情報をまず解析して、視野内で検出される全標的
    の位置を識別し、前記所定の領域のバックグラウンドから該標的の画像をより有
    効に抽出するために、該情報を前記フィルタリングされていないカメラの重なり
    合うフレームに対応させるために適用する、請求項１８に記載のシステム。
20. 【請求項２０】 前記追跡コンピュータは、グリッド内で前記様々なオーバ
    ヘッドフィルタリングカメラから、前記視野の部分が追跡された標的に対して前
    記所定の領域の入口点および出口点を示すことを理解するようプログラムされる
    、請求項１３に記載のシステム。
21. 【請求項２１】 前記追跡コンピュータが、標的が前記所定領域に入る場合
    、該標的を最初に検出および識別するために入口点を特別に最小でモニタリング
    する、請求項２０に記載のシステム。
22. 【請求項２２】 前記追跡コンピュータは計算労力を最小化し、以前のフレ
    ーム内に含まれる位置および配置情報を用いることによって、第１の検出された
    標的の位置が１つのフレームから次のフレームに変化するする場合、該標的の以
    後の位置を決定し、移動の最大可能領域および現在のフレームに対する検索の最
    小領域を予測する、請求項２１に記載のシステム。
23. 【請求項２３】 前記以前のフレームに含まれる前記位置および配置情報は
    、各追跡標的の方向ベクトルおよび移動速度を特異的に決定するために用いられ
    、該各追跡標的は、次いで前記サイズおよび加速可能範囲に関する既知の情報と
    、前記現在のフレームにおける標的の位置を最良に予測する該標的の速度を組み
    合わせる、請求項２２に記載のシステム。