JP2023501336A - マスタクロックと合成画像のためのシステム、装置及び方法 - Google Patents

Abstract

システムは、センサデータを捕捉するセンサと、撮像データを捕捉する撮像装置であって、前記センサ及び前記撮像装置を時刻校正し、前記センサデータから第１イベントの発生を検出して前記第１イベントの生じた第１時刻を取り出し、前記第１イベントの生じた前記第１時刻と相互に関連する時刻に撮像された第１画像を前記撮像データから特定することで、前記第１画像を、前記第１画像の少なくとも一部分と結合した他の撮像データを含み、前記第１イベントを描写する合成画像に挿入する目的で取得するために構成された計算装置と結合したセンサと撮像装置を含む。【選択図】 図３

Description

本出願は、２０１９年１１月４日に出願された米国仮特許出願６２／９３０，３５１に基づく優先権を主張する。前記出願の明細書は、参照により本明細書に組み込まれる。

本開示は、合成画像を生成するためのシステム及び方法に関する。特に、本発明は、例えば野球の試合やその他のスポーツ大会が行われているときにおいて発射物及び人物を追跡し、投球や打球等の１つ又は複数のイベントが発生した正確な時刻をセンサによって検出し、それに一部基づいて撮像データから合成画像を生成するための、センサデータ及び撮像データを用いたシステム及び方法に関する。

画像に基づくイベント検出システムを用いてイベントを検出し描画するシステムは様々なものが考案されてきた。例えば、スポーツの分野においては、スポーツのボール（例えば、野球ボール）を追跡し、撮像データの解析を通してイベントを検知することによって試合中の重要な瞬間における他の物体や選手たちの位置を描画するシステムの試みがいくつかある。そのような瞬間とは、例えば、ピッチャーが投球のリリースを行う瞬間が挙げられる。しかしながら、そのようなシステムは様々な面から制約を受けている。第１に、そのような瞬間の検知精度はカメラのフレームレートによって制限を受ける。即ち、イベントのタイミングは直接判断されるわけではなく、カメラが写した画像を分析することを通して判断されるため、イベントの直近の瞬間を捉えた特定のフレームに紐づけられた瞬間以上に正確になることはない。画像間の動きを補間することで精度はわずかに改善するだろうが、この検知方法は、それぞれの画像の露光過程で、高速で移動する物体の動きに起因して発生するブレによってなお制約を受ける。即ち、たとえその画像がリリース時と全く同じ瞬間に捉えられたとしても、例えばピッチャーの手やボールといった物体の素早い動きが原因で発生するブレにより、リリースの瞬間を高度な正確性をもって特定することは困難又は不可能となるだろう。加えて、実際問題として、そのような画像を基盤としたシステムにおいて使用できるカメラの数は限られている一方で、そのようなイベントの多くはカメラとの間に介在する物体や人物等によって遮られてしまい、正確な検出は不可能となる。

本実施形態は、センサデータを捕捉するセンサ及び撮像データを捕捉する撮像装置であって、センサと撮像装置の時刻を校正し、第１イベントの発生をセンサデータから検出して第１イベントの生じた第１時刻を取り出し、そして撮像データの中から第１イベントの生じた第１時刻と相互に関連する時刻に撮像された第１画像を特定することで、当該第１画像を、第１画像の少なくとも一部分と結合した第１イベントを描写する他の撮像データを含んだ合成画像に挿入するため取得するように構成された計算装置と結合した、センサと撮像装置を含むシステムに関する。

本実施形態は、センサと撮像装置の時刻を校正すること、センサがセンサデータを捕捉し、撮像装置が撮像データを捕捉すること、センサデータから第１イベントが発生したことを検出して第１イベントの生じた第１時刻を取り出すこと、第１イベントの生じた第１時刻と相互に関連する時刻に撮像された第１画像を撮像データの中から特定すること、及び、当該第１画像を、第１画像の少なくとも一部分と結合した第１イベントを描写する他の撮像データを含んだ合成画像に挿入するために取得することを含む方法にも関する。

本特許又は本特許出願は少なくとも１点以上、カラーで作成された図面及び写真を含む。本特許又は本特許公報の、カラーの図面及び写真を含む写しは、米国特許商標庁に対する請求と必要費用の支払いにより提供される。

図１は、例示的な実施形態において合成画像を生成するシステムを示す。 図２は、野球の試合の進行を示す例示的な合成画像を示す。 図３は、試合中、走者が既に塁上にいる状況の、野球の試合を描写する例示的な合成画像を示す。 図４は、あるレーダ装置が、図２の合成画像で描写された状況を観察して（即ち、当該状況に関連するレーダデータを捕捉することによって）生成した例示的なドップラー周波数スペクトル図を示す。 図５は、キャッチャーが、キャッチした投球を、盗塁を防ぐために素早く野手の１人に対して投げるという野球の試合の状況における例示的なドップラー周波数スペクトル図を示す。 図６は、サッカー選手が直接フリーキックを行う様子を描写する例示的な合成画像を示す。 図７は、野球選手が投げられた投球に対してスイングを行う様子を描写する例示的な合成画像を示す。 図８は、砲丸投げにおける例示的な速度のプロットを示す。

追跡装置は、様々なイベント、特にスポーツ大会や練習試合等における１つ以上の移動する物体の位置や速度に関連するイベントを検出するために使用される。例えば、当業者に理解されるように、追跡システムがレーダを含むとき、レーダ信号の急激な変化は物体の軌道の開始、軌道の変更、又は軌道の終了を指し示す場合がある。一例として、レーダデータは、物体が特定の場所に到達する時刻（例えば、物体がしきい値を越えるとき）、又は特定の時刻における物体の位置を特定するために用いられることがある。レーダに基づくイベント検出システムは、一般に画像に基づくイベント検出システムよりも優れた精度で特定のイベントを検出し、特定のフレームレートによって制限を受けているカメラによって得られるデータの粒度よりも細かいデータ粒度でイベントの検出を行うことができる。

例えば、レーダに基づくイベント検出システムのような主要なセンサは、イベントが発生した時刻、例えば、ゴルフボールがクラブで打たれた時、野球ボールがグローブにキャッチされた時、サッカーボールがラインを越えてアウト・オブ・バウンズとなった時等を、現在の画像に基づく検出システムで一般的に採用されているようなカメラのフレームレートよりも正確な時刻精度で非常に精密に検出することができる。当業者に理解されるように、レーダから得られたデータを１つ以上の撮像装置から得られたデータと組み合わせて解析したとき、３次元空間における移動物体の位置の特定をより正確に行うことができる場合がある。

撮像装置等の他のセンサがレーダに対して時刻校正されているとき、例えば、レーダを「マスタクロック」として時刻が設定されている場合、レーダ及びセンサと通信している処理装置は、レーダがある特定のイベントを検出した時刻と同時刻にこれらの他のセンサが補捉したデータを引き出すことができる。従って、撮像装置の視野に当該イベントの生じた場所が含まれていないとき、又は撮像装置のイベントの発生場所への視界がイベント発生時に遮られていた場合であっても、当該イベントが発生した瞬間（若しくは、それに近い瞬間）に個々の撮像装置が捕捉した画像を撮像装置から引き出すことが可能となる。この原理は、データのリアルタイム処理と、データ履歴の処理の両方に関して、様々に応用することができる。当業者であれば、イベントの正確なタイミングを検出するために他のタイプのセンサを採用することもできることを理解するだろう。具体的には、ある種のイベントは、例えばゴルフクラブや野球のバットとボールがぶつかる音を検出するマイクロフォン等の他のセンサを採用することで検出してもよい。又は他の実施形態では、マイクロエレクトロメカニカルシステム（ＭＥＭＳ）を用いたセンサ、例えば、加速度計、ジャイロスコープ等が採用されてもよい。スマートウォッチ等の装置はそのようなセンサを含んでいてもよく、また、本明細書に記載され、当業者によって理解されるような、処理装置へのネットワーク接続を有していてもよい。そのようなセンサは、そのようなイベントの発生時刻を特定する精度を高めるために、レーダと別々に、又は組み合わせて採用されてもよい。

更に、本実施形態は、一群の選手たちのうち誰がシステムによって追跡されている特定の行動を行ったかを自動的に追跡するシステムに関する。例えば、一群の選手たちのうち１人以上が、その選手の動作を検出することができるセンサを有するスマートウォッチ又は同様の装置を身に着けていて、かつそのセンサ又は装置内の他の任意のセンサが本願で説明するようなイベントを検出することができる場合、かかるイベントが発生したタイミングを検出し、後述の方法と同様に、捕捉時刻が任意の検出されたイベントに対応している画像を選択し、後述のように異なる時刻に捕捉された異なる画像の一部を結合することによって所望の合成画像を生成するために使用してもよい。

ただし、この場合には、イベントに関与する選手をシステムで自動的に識別し、任意の画像の対応する部分にこの識別情報をラベル付け又はタグ付けをしてもよい。例えば、サッカー場にいる複数の選手がこのような装置を装着しており、かつ各装置が捕捉したデータがその装置を装着している選手に一意的に割り当てられるように各装置がシステムに登録されている場合、ある装置が捕捉したセンサデータが、装置に対応する選手が特定の時刻にボールを蹴ったことを示したとき、当該ボールを蹴った選手が特定され、このイベントが生じた時刻に関連する画像（例えば、複数のカメラが撮像したビデオの全てのフレーム）に、イベントに関与している選手及び動作を示すラベルを付してもよい。このように、所定の動作及び／又は所定の選手に関連する画像のライブラリは、大量の撮像データから関連する画像を迅速に取得できるようにタグ付けされてもよい。

加えて、イベントを検出したこのような個々のセンサによって生成された合成画像にも同様にタグ付けを行ってもよく、更には合成画像内で特定の動作を行っている選手を特定するためのラベル付けを合成画像に対して行ってもよい。このようなシステムを利用することで、同じ選手が異なるプレー中、更には異なる試合中に、同じ状況下で、関与している様々なイベントに関して異なるフォームや異なるポジショニング等をしていることを示す合成画像を生成することが可能である。例えば、１つのそのような実施形態では、選手を識別してバットのスイング等のイベントを検出するようなスマートウォッチのセンサによって、バッティング練習を行う野球選手を追跡することができる。そして、システムによって、練習日が数日又は数週間にわたる場合であってもその間に行われた複数のスイングから関連するビデオのフレームを自動的に取得し、その期間における当該選手のバッティングの構え、スイングのフォーム等の変化を示す合成画像を自動的に生成してもよい。（ここでは、ホームベースに対する位置がその期間において同じであるカメラを仮定する。）

同様に、このようなシステムは、砲丸投げ選手のようなアスリートにとって、対象のアスリートが投擲を試行する間に、他のアスリートが同じ場所を使用して競争及び／又はトレーニングしている場合であっても、複数の投擲にわたり、砲丸を投げる瞬間における彼の姿勢を示す合成画像を自動的に生成することによって、複数の投擲にわたって彼のフォームを分析することを可能にすることができる。即ち、スマートウォッチから得られた識別データにより、システムは対象のアスリートのみによって行われた投擲を選択することができる。実際、このシステムは、例えば、同じアスリートが砲丸投げを試みる間に、同じ場所で何回か円盤投げを行った場合に、複数の砲丸投げの試行を示す合成画像を生成するため、同じアスリートによって行われた異なる動作を区別することも可能である。もちろん、当業者であれば理解できるように、同じイベント時点、例えば、投擲の行われた時点において、それぞれの選手のフォームを比較できるように、選択された複数のアスリートを同じ画像内に示す合成画像が自動的に生成されてもよい。

本実施形態は、複数の画像に対応する撮像データを理解し易い形態で表示する方法及び装置に関する。第１の実施形態では、レーダによって検出された１つ以上のイベントのタイミングに基づいて、画像のストリームから撮像データが選択される。撮像データは、以下に詳細に説明する様々な規則に従って合成され、イベントに関連した一連の時点における撮像データを表す合成画像が生成される。

図１は、例示的な実施形態における、合成画像を生成するためのシステム１００を示す。システム１００は、イベント検出センサ１２０及び第１撮像装置１３０に結合された計算装置１１０を含む。本明細書で説明する実施形態のいくつかにおいては、イベント検出センサは、レーダ１２０、例えば連続波（ＣＷ）ドップラーレーダを含む。システム１００はまた、計算装置１００に結合された任意の数の追加の（第２）撮像装置１４０を含んでもよい。例えば、システム１００は、野球場等のスポーツ会場において、スタジアムの周辺に配置され、フィールドの方向に設置され、及び／又は特定の選手及び／又は投球や打球といったイベントを捕捉するように設置された複数の撮像装置を含む、追跡システムを構成してもよく、又はそれに含まれてもよい。以下に説明する様々な実施形態によれば、計算装置１１０は、対象となるイベントの複数のうちそれぞれが発生した時刻を指し示すイベント検出データ、例えばレーダデータを受信し、検出されたイベント発生時刻に基づいて、検出されたイベントに対応する撮像データを引き出してもよい。

撮像データは、イベントそのものを含む画像だけでなく、イベントの前後の時刻、及び／又はイベントの発生場所から離れたフィールドの部分について引き出されてもよく、これらの様々な時刻からなる撮像データは、以下に詳細に説明する様々な規則に従って合成画像として結合されてもよい。システム１００は生成された合成画像を表示するためのディスプレイ又はその他の装置への出力１５０を更に含んでもよい。出力１５０は、スポーツ大会の間に起こるイベントの分析に使用され、イベントが起こった後にほぼリアルタイムで合成画像が生成されるような、例えば、スポーツ大会の放送であってよい。出力１５０はまた、例えばコンピュータディスプレイであってもよい。

様々な例示的な実施形態におけるイベント検出センサ１２０は、例えば、Ｘバンド周波数（８～１２ＧＨｚ）であって最大５００ミリワットＥＩＲＰ（等価等方放射電力）の電力でマイクロ波を放射する連続波ドップラーレーダを含み、従って短距離国際放射器に関するＦＣＣ及びＣＥ規制に適合している。ただし、他の法域においては、現地の規制に準拠して他の電力レベルを採用してもよい。例示的な実施形態においては、マイクロ波は、例えば１０～１２５ＧＨｚの間のより高い周波数で放射される。より速度の遅い物体をより正確に測定するために、２０ＧＨｚ以上の周波数が採用されてもよい。位相変調又は周波数変調されたＣＷレーダ、多周波ＣＷレーダ又は単一周波ＣＷレーダ等の、任意のタイプの連続波（ＣＷ）ドップラーレーダが使用されてもよい。ＬＩＤＡＲ等の他の追跡装置には、可視又は不可視の周波数領域での放射を採用してもよいことが理解されるだろう。

しかしながら、当業者であれば、所定の目的において、関心のあるイベントを検出するように構成された任意のタイプのレーダ又は他のセンサを採用してもよいことを理解するだろう。本明細書に記載されるものと同様の、３次元的に又はより少ない次元数において物体を追跡することができる任意の他のタイプのレーダを使用してもよい。別の実施形態では、１次元ドップラーレーダのような１次元追跡装置が使用されてもよい。別の実施形態では、物体がそこに向かって発射されるだろう対象のエリアについて割り振られた複数の追跡装置をシステムに使用してもよい。更に別の実施形態では、イベント検出センサ１２０は、イベントによって発生した音声の痕跡に基づいて、野球の打球等のイベントを検出するためのマイクロフォンで構成される。別の実施形態では、イベント検出センサ１２０は、ＭＥＭＳセンサ、例えば加速度計又はジャイロスコープから構成され、これらは例えばスマートウォッチ上に搭載されてもよい。

計算装置１１０は、イベント検出センサ１２０（例えば、レーダ１２０）、第１撮像装置１２０及び／又は第２撮像装置１４０からデータを受信し、イベント検出センサ１２０から受信した信号を第１撮像装置１２０及び第２撮像装置１４０から受信している信号に時刻同期させ、それによってレーダ１２０によって検出された任意のイベントに関して、計算装置１１０がイベントの時刻に対応して第１撮像装置及び第２撮像装置１４０の何れか又は全てから画像を取得することができるようにする。センサ間の時刻同期は、当業者に知られている様々な方法に従って実行されてよい。当業者には理解されるように、イベントのタイミング（例えば、レーダ１２０によって検出されるような）が撮像装置１３０，１４０のうち１つが記録した画像の記録のタイミングに正確に対応しない場合（例えば、イベント時刻が画像フレームの撮像時刻の間にある場合）、計算装置１１０はイベントの時刻に最も近い撮像時刻の画像を撮像装置（１３０又は１４０）から選択してもよい。

しかしながら、結果として得られる合成画像から読み取りたい所望の情報に応じて、様々な実施形態において、計算装置１１０は、例えば、イベントのタイミングの前又は後の最も近い時刻に撮像された画像を選択するようにデフォルト設定されてもよい。例えば、野球におけるバッターの投球へのアプローチを示すために、バットとボールが接触した直後の画像の代わりに、バットとボールが接触する時点の直前の画像（又は、バッターがボールを逃した場合は、ボールがホームベースを横切る時点の直近の画像）が使用されてもよい。別の実施形態では、例えば、投球がホームベースを横切る０．１秒前といった、イベントの検出から予め決められた時間だけ離れた時点に撮像時刻が最も近い画像を選択してもよい。

また、計算装置１１０は、撮像装置１３０及び１４０のうち１つ以上から受信した画像に関する先験的な情報を含むように予めプログラムされていてもよい。特定の実施形態では、撮像装置１３０、１４０のうち１つ以上は特定の場所に固定され、撮像中において比較的安定した視野を有していてもよい。受信される画像内に写る特定の場所は、スポーツ競技における関心領域、例えば、野球の試合におけるピッチャーマウンド又はバッターボックスに対応していてもよい。また、例えば試合の開始といった重要なイベントが行われる１つ以上の関心領域を設定することが望ましい場合がある。以下に詳細に説明するように、これらの関心領域は、合成画像を生成する過程において異なる方法で処理されてよい。

野球の試合は、一般に、ピッチャーが、ピッチャーマウンドから、投げられたボールを打とうとしてバッターが待機しているホームベースに向けて、ボールを投げることで始まることは理解されるだろう。従って、第１関心領域は、ピッチャーの身体が投球の時点で位置すると予測される領域を含む、ピッチャーマウンドの周辺に対して設置された１つ以上の撮像装置１３０，１４０が撮像した画像内に定義されてもよい。第２関心領域は、ボールがホームベースを横切る時点（即ち、バットとボールの衝突が生じ得る時点）にバッターの身体がその中に位置すると予測される、選択された撮像装置１３０，１４０が撮像した画像の部位を含むように、ホームベースの周辺に定義されてもよい。

以下に詳細に説明するように、合成画像の基礎となるメイン画像が選択されてもよい。この例では、飛球が選手によって捕球された時点において第１撮像装置１３０が撮像した野球場の画像がメイン画像として選択される。メイン画像の、第１関心領域に対応し、投球でのリリースの瞬間におけるピッチャーを示す部分（リリース部）は、リリースの瞬間として特定される時点において第１撮像装置１３０によって撮像された画像からは除去される。

当該リリース部は、メイン画像における第１関心領域の位置において合成画像に挿入され、一方、第１関心領域に対応する領域はメイン画像から削除される。これによってリリース部のみが合成画像の該当部分に含まれることになる。そして、第２関心領域に該当する部分（インパクト部）はメイン画像から削除され、第１撮像装置１３０が撮像した画像であって投球されたボールをバッターがバットと衝突させる瞬間に対応する画像の一部分と置き換えられる。第２関心領域は合成画像から削除され、メイン画像における第２関心領域の位置に対応する合成画像の位置において、当該インパクト部と置き換えられる。ボールの軌跡はレーダ１２０によって、又は何らかの付属的な追跡システムによって追跡され、計算装置１１０は、ボールがピッチャーからバッターへ、そしてバッターからセンターに移動する際の軌跡を示す経路を画像に挿入する。軌道は、例えば参照によりその全体が本明細書に組み込まれる米国特許第９，８５５，４８１号に記載されるように画像に挿入されてもよい。当業者であれば、メイン画像は互いにつなぎ合わされた複数の画像から形成されてもよいことを理解するだろう。

例えば、第１カメラが競技場の第１部分のみを示し、第２カメラが競技場の第２部分を示す場合、競技場の第１部分から第２部分に移動して行われるプレーは、単一の合成画像であって、そのメイン画像が、第２カメラが撮影した全て又は一部の画像と組み合わされた、第１カメラのフレームのうち全て又は一部を含む単一の画像として形成されているものによって示してもよい。例えば、サッカーにおけるプレーは、一方のチームの守備側（第１カメラの視野内）から始まり、フィールドを下って攻撃側（第２カメラの視野内だが、第１カメラの視野内ではない）に移動する場合がある。このプレーについて、メイン画像は、第１イベントの発生時（例えば、選手がボールを相手ゴール側に蹴った瞬間）に特定された少なくとも１つの関心領域を示す、第１カメラの撮影した画像の全て又は一部を含んでもよい。メイン画像は、第１イベントに関連する、少なくとも１つの関心領域における情報（例えば、オフサイドの可能性を説明するための、ボールが蹴られた瞬間の攻撃側選手の位置と、最も深い位置にいる守備側選手の位置）を含む第２カメラが撮影した画像の全て又は一部と結合していてもよい。合成画像の残りの部分（例えば、上述のキックの後に続いてゴールに目掛けて行われるキックを示す）は、第１及び第２カメラの何れによっても完全に捕捉されなかったプレーを説明するために、上述したものと同じ方法で生成されてもよい。

合成画像生成の基本的な数式を以下に示し、更に詳しく説明する。同じ撮像装置で異なる時刻に撮像された１組の画像の集合｛Ｉ₁，・・・Ｉ_n｝が与えられたとき、まず、各ピクセル位置（ｘ，ｙ）について、ｉ（ｘ，ｙ）は、位置（ｘ，ｙ）の平均画素値と最も離れている画素値を持つ集合内の指標画像を示す。合成画像Ｃは、これらの画素値から構成される。

第１の変形形態では、合成画像のうち、ある部分を生成するにあたり、別の画像の集合を考慮してもよい。この形態は、特定のイベントが画像の別の部分で起こることが分かっている場合に望ましいと考えられる。

第２の変形形態では、合成画像に透過情報を付与するために、選択した画素値が不透明度αの選択画像Ｉ_jと結合されてもよい。

第３の変形形態では、関数ｉ（ｘ，ｙ）は、どの画像が最も平均値から離れているかを計算する際に、画素の近傍（即ち、画素の局所領域）を考慮するように拡張してもよい。これによって、合成画像内に、意図しない１つの目立つ画素が出てくるというような、望ましくないアーティファクトが発生する可能性を低減することができる。

図２は、野球の試合の進行を示す例示的な合成画像２００を示す。野球の試合には３つの関心の集まるイベント、具体的には、投球、打球、及び中堅手による捕球が含まれる。上述のように、２つの特別領域２０５又は関心領域、即ち、ピッチャーマウンドを含む第１領域２０５ａ及びバッターボックスを含む第２領域２０５ｂが定義されている。合成画像２００は、投球のリリースが行われた時点における第１領域２０５ａの撮像データと、ボールが打たれた時点における第２領域２０５ｂの撮像データを含む。試合中の野球ボールの軌跡は、２つの部分に分かれて示される。具体的には、投球に関する部分と打球に関する部分であり、ボールが捕球されてプレーが終了するまでが示される。

合成画像２００のメイン画像には、ボールが捕球された時点において第１撮像装置１３０が撮像した画像が選択されるため、第１関心領域及び第２関心領域の外側のすべての領域における選手の位置はメイン画像に表示された状態で示されることになる。これによって、ボールが捕球された瞬間の、捕球している選手が、合成画像２００に鮮明に表示され、かつ、ボールが捕球された瞬間の、第１及び第２関心領域２０５の外側にいる全ての選手（野手及びランナー）及び審判の位置が、合成画像２００に表示されるようにすることができる。又は、別の画像をメイン画像として選択してもよい（例えば、ピッチャーがボールのリリースを行った瞬間の画像）。この場合、必要に応じて、軌跡を描くボールを追跡することで、第３関心領域を定義してもよい。

第３関心領域は、例えば、ボールを捕球するためにそこにいるであろう野手を含む大きさの領域を含んでもよい。即ち、システムは、打者からのボールの移動距離に基づいて、撮像装置からその距離だけ離れた人物の画像における大きさを算出し、ボールが落下する点を中心に関心領域を定義する。即ち、ボールの飛行が終了した時点で、ボールが捕球された場合、ボールを捕球した選手の身体は、ボールの飛行が終了した点を中心とした、例えば直径５メートルの円の内部に位置する可能性が高い。従って、計算装置１１０は、この第３関心領域を定義し、第１撮像装置１３０により撮像された、ボールが捕球された時点に対応する直近の画像の該当箇所を削除し、同じ領域に対応するメイン画像の該当箇所を挿入して、野手がボールを捕らえる様子を示すようにする。

レーダは、１つにはボールの軌道の変化を検出することで、高い時間精度でイベントを検出することができる。また、軌道の変化は、速度又は加速度の何れか、大きさ又は向きの何れかにおける不連続性であってもよい。つまり、重力、抗力、揚力といった滑らかな挙動をする空気力学的な力のみがボールに作用するような弾道飛行からボールが逸脱したことを検出するのである。例えば、レーダによって検出される、この場面に関連する瞬間は、時刻ｔ１においてピッチャーが投球をリリースし、時刻ｔ２においてバッターがボールを打ち、時刻ｔ３において中堅手がボールを捕球する瞬間を含む。この場面においては、撮像装置１３０は、ホームベースの後方に設置され、記録時刻と相互に関連付けられた撮像データを常に記録する（例えば、連続するフレーム群からなるビデオを生成する）。レーダがイベントのタイミングを出力すると、時刻ｔ１，ｔ２，ｔ３と相互に関連する画像（例えば、時刻ｔ１，ｔ２，ｔ３に最も近い記録時刻を持つ動画像列のフレーム）が計算装置１１０によって取得される。

ここでの例における時刻ｔ１，ｔ２，ｔ３は、合成画像２００を生成する際の基準となる時点として用いてもよい。例えば、合成画像２００は、単にこれら３つの瞬間の画像を統合して、野球場でのプレーの展開に伴う選手の動きを示すものであってもよい。ただし、ｔ１とｔ２の間に経過する時間は比較的短いので、ピッチャーがフォロースルーを終え、バッターがバットを振る以外には、フィールド上の動きはあまり期待できない。従って、これらの各瞬間からの特定の要素のみを合成画像２００に使用してもよい。また一方で、投球のリリースの瞬間及び／又はボールがバットに衝突する瞬間における選手たちのポジショニングや準備態勢を示す撮像データを別途引き出してもよいし、合成画像２００に含めてもよい。

例えば、図２に示す実施形態では、合成画像２００において、投球のリリースの瞬間におけるピッチャーの様子を示すために、ｔ１（第１特別領域２０５ａに対応する、投手がリリースを行った瞬間）における画像が用いられている。この例では、ピッチャーのリリース時の姿勢が重要だと考えられるため、第１領域２０５ａにはピッチャーとフィールドのピッチャー周辺部分（例えば、マウンド部分）を含む領域が定義される。この領域内における動きは、その瞬間をより明確に描写するために、投球のリリース時に固定されるが、他の領域での活動は、その後の時点における第１関心領域外での動きを示すために、合成画像２００に追加され続ける。（後述するように）動作を示すにあたり特にマークされていない領域において使用されるゴースト領域が互いにぼやけないように、関連する動きが殆ど期待できない領域は固定される。よって、当業者であれば、より鮮明な合成画像を生成するためにこの第１領域２０５ａの定義は調整されてもよいことを理解するだろう。

これらの特別領域２０５は、例えば、行われているスポーツ、試合内の状況、特定の画像内で強調すべき技術的領域等に応じて変化する。合成画像２００において、ｔ１における画像の、例えば野手や審判等を含む、特別領域以外の領域内の移動体は、以下で更に詳細に説明するように、合成画像２００から除外されてもよいし、半透明化（ゴースト領域）されてもよい。この例示的な画像２００では、バッターを囲む領域も「特別な」領域、例えば領域２０５ｂとして指定されている。より具体的には、ホームベースを囲む円内の領域（バッター、キャッチャー、及び球審を含む）は、ｔ２（ボールがバットに接触するか、ホームベースの前を通過する瞬間）においてのみ示されている。この例示的な画像２００には、以上の他に「特別な」領域は存在しない。

非特別領域（即ち、「特別」領域以外の領域）では、例えば打者が１塁に向かって走る様子を示している領域２１０のように、あらゆる移動体を半透明のゴースト領域として描画することによって、一定の時間間隔（例えば、１秒ごと）で動きが示される。これには、例えば、ボール、野手及び塁審、走塁する打者等が含まれ、合成画像２００を圧迫しないようにそれらの人物を目立たせない一方で、合成画像２００に表される時間における動きの経路を示す。ゴースト領域は、ゴースト領域に示される時刻（例えば、バットとボールの接触から１秒後）における非特別領域の各画素の値と、他の選択時刻（例えば、ｔ１又はｔ３）における画素の値の平均値を算出することで生成される。

フレーム間の画素値の違いを利用して、動きを検出し、移動体の輪郭を自動的に決定してもよい。具体的には、あるフレームとその直後のフレームで画素が変化した場合、画像の背景が変化していないため、画素値の変化は動きを表していると考えることができる。そこで、システムは、画素値が変化した（例えば、しきい値以上変化した）連続領域を特定し、画像内の移動体の輪郭を算出してもよい。ここでの特定は、後述するように、後続の画像を処理する際に用いられてもよい。いくつかの実施形態では、例えば、据え付けられたカメラが風によって向きを変えた場合に、背景が画像間で変化することがある。この場合、背景を一定に保つために、画像整列処理や画像安定化処理を用いてもよい。他の実施形態では、カメラは据え付けられていないため、位置や向きがより大きく変化する可能性があるが、この場合も同様の安定化処理が使用されてもよい。

この例示的な画像において、ｔ３は、合成画像２００の示す時間の範囲の終わりを示す。ｔ３（合成画像２００の位置２１５に示されるように、中堅手が打球を捕球する瞬間を指す）における画像は、時刻ｔ３、即ちプレーが実質的に終了した時点での全ての選手の最終的なポジショニングを強調するために合成画像２００で使用される。合成画像２００では、ｔ３における画像のうち非特別領域内の全ての移動体が最大の不透明度で表示されている。時刻ｔ２（特別領域２０５ｂ内に示される、バットとボールが接触した瞬間）から時刻ｔ３（位置２１５に示される、ボールが捕らえられた瞬間）までの様々な選手の動きを示すために、その間の特定の時点における画像が取得されてもよい。

例えば、ｔ２とｔ３のちょうど中間、又はその他の間隔を追加して画像を取得することができる。別の実施形態では、ボールが打たれた後、毎秒、毎０．５秒、又は他の予め定められた時間ごとに画像が取得される。例えば、図２に示す実施形態は、ｔ２・ｔ３間の４分の１、２分の１、４分の３の時点から取得された３つの画像を含む。例えば、ゴースト領域２１０には、ｔ２・ｔ３間を４等分した時点において、打者が１塁に向かって走っていく様子が示されている。このように、特別領域２０５によって除外される部分を除いて、フィールド上の各選手の、ボールが打たれた時点（ｔ２）からボールが捕球された時点（ｔ３）までの動きを示す５つの画像が示されている。

特別領域が効果を発揮している一例として、プレーの大部分において合成画像２００の領域２０５ｂに位置していた球審が、ボールが捕球された時点では３塁線に沿って位置２２５に位置しているのが表示されることが挙げられる。時刻ｔ３においてのみ（ｔ２・ｔ３の間の追加の時点は除外する）球審は特別領域２０５ｂの外にいる。従って、ホームベース周辺の領域は、ボールの飛行中に捕捉された画像が紛らわしくも重ね合わされてボールが打たれる瞬間の描写が損なわれることから保護される。計算装置１１０は、合成画像に示される所定の時間において、選手や審判の身体の一部分が特別領域２０５の外にある場合にも、身体の全体（特別領域２０５の内側及び外側の部位を含む）が合成画像に表示されないように設定され、それによって邪魔な移動体の写り込みが合成画像に表示されることを防止してもよい。

更に、レーダ及び／又は撮像装置によって割り出されたボールの軌道２２０が合成画像２２０に重ね合わされてもよい。合成画像２００は、ピッチャーからバットに到達するまでのボールの軌道２２０、例えば第１軌道部２２０ａと、バットから外野手に到達するまでのボールの軌道２２０、例えば第２軌道部２２０ｂとを含む。また、合成画像２００は、ボールの軌道をフィールドに投影した投影図２２０ｃを含む。

図３は、プレー中に、走者が既に塁上にいる状況の、野球の試合を描写する例示的な合成画像３００を示す。合成画像３００は、例えば、塁上のランナーが、次の塁に進もうとする前に、「タッチアップ」していたか（即ち、ボールが捕球された時点で、プレーを開始した塁にまだ触れていたか）どうかを判断するために、プレーの分析目的で用いられ得る。例示的な合成画像は、プレーの終了後に非常に迅速に、例えば実質的にはリアルタイムで生成され得るので、合成画像は、走者がルールにかなって進塁したかどうか審判団が判断できるように、試合内でのビデオ判定に使用され得るだろう。合成画像はまた、スポーツ競技の放送中に、コメンテーターによる解析のために使用されてもよい。

図４は、図２の合成画像２００に表された状況を観察する（即ち、関連するレーダデータを捕捉する）レーダシステムによって生成される例示的なドップラー周波数スペクトル図を示す。図４において視覚的に明らかであり、かつ当技術分野で知られている技術を使用してレーダデータから検出可能なのは、投球のリリース（ｔ１）、バットとボールの衝突（ｔ２）、及び外野手による打球の捕球（ｔ３）を特定する、速度の不連続点である。また、外野手が内野に向けてボールを投げ返す際にボールを離す時刻（ｔ４）も、明確に視認及び検出が可能である。速度の不連続点は、速度の大きさだけでなく、方向にも関連する場合がある。例えば、野球のファウルチップのように、衝突前後での速度変化が比較的小さい場合でも、レーダの生データでは、ボールが急に方向転換したことを検出できる。

当業者に理解されるように、軌道及び速度データは、当技術分野で知られている方法でスペクトル図４００から取り出されてもよく、また、その不連続点は、移動するボール又は他の物体が弾道軌道を開始した時点、及び、その後ボール又は他の物体が衝撃又はその他の力を受けたこと（例えば、野球において、ボールが投げられた時点、捕球された時点、打たれた時点等）を示す軌道の停止又は変化があった時点を特定するために、これらの技術を使用して割り出される。例えば、レーダとイベントとの間に人間の身体が位置している場合等、イベントそのもの（例えば、捕球される瞬間のボール）がレーダの視野の一直線上にない場合でも、レーダの波長は測定対象と同じ規模になるように選択できるため、一般的にレーダは「角を回り込んで見る」ことが可能である。この場合、レーダの反射はいわゆる共振領域で起こり、電波が密室や車内で検出できるのと同じように角を回り込むことができるようになる。反射される電波の大きさは、対象物に対する視線がどれだけ遮られているかに依存する。

図５は、キャッチャーが捕球した投球を素早く野手の１人に向けて投げ、盗塁を阻止しようとするという、野球のまた別の状況についての例示的なドップラー周波数スペクトル図５００を示す。図５においては、キャッチャーが投球を捕球する時刻（ｔ２）及び野手がキャッチャーの投げた球を捕球する時刻（ｔ４）、いわゆる「ポップタイム」を正確に特定することができる。そして、これらのイベントは、投球のリリース時に（ｔ１）に走者がどこにいたか、キャッチャーの送球が捕球された時（ｔ４）に走者がどこにいるかを示す合成画像を生成する際に使用してもよい。この合成画像によって、盗塁が成功したか否か（即ち、走者をアウトとすべきか否か）を可視化することができる。また、キャッチャーが球をリリースする時刻（ｔ３）を含む合成画像を生成してもよく、この時刻もスペクトル図５００によって正確に検出することができる。

上述のような例は、例示的な目的のためのみに使用される。異なるスポーツ、異なるカメラアングル、又はその他の要因によって固有の他の多くのルールは、同様の方法で規定することができる。例えば、野球場の他の部分も、固定される「特別領域」（即ち、ある単一の瞬間におけるデータのみを示す領域）を有することができる。例えば、野球において、外野手が外野から打者によって打たれたボールを投げる第１時点と、３塁での触球が試みられた第２時点とを描画する合成画像が生成されるような場面を考えてみる。この場面では、外野手の周囲と３塁の周囲が「特別領域」となり、ピッチャーマウンドやバッターボックスのある領域には画像が重なることに関してそこまでの保護は与えられない。

同様の機構が実施できる他のスポーツとしては、サッカー、ゴルフ、アメリカンフットボール等がある。ただし、フィールド上に多くの選手がいるスポーツ（アメリカンフットボール等）では、選手が重なり合ってわかりにくくなる可能性が高いことを考慮し、画像の特定の部分を除外するためのより厳しいルールが必要になるだろう。他の実施形態では、「特別領域」を指定するのではなく、選手によって行われる特定の動作をトリガとして、合成画像におけるその瞬間が固定されるように、即ち、そこから後の時点における選手は表示されないようにしてもよい。例えば、図６に関して以下に更に詳細に説明するように、サッカーにおいて選手がキックを行うまでの間追跡し、その後、キックの瞬間に固定してもよい。当業者に理解されるように、選手の一部又は全てが、ここで説明されるような「イベント」に対応した選手の動きや行動に対応するセンサデータであって、イベントに関連している選手を具体的に識別するセンサデータを生成する装置（例えば、スマートウォッチ等）を装着又は携帯している場合に、そのようなイベントがより効果的に合成画像の生成のため処理され得る。

合成画像は、スポーツ大会の放送中に、コメンテーターによるプレーの分析のため、又はその他の理由により、実質的にリアルタイムでつなぎ合わされてもよい。別の実施形態では、過去のデータ（レーダデータ及び撮像データが使用可能であり、時間的に相互に関連している場合）を検索し、ユーザが希望する任意の方法でつなぎ合わせてもよい。

第２の実施形態では、レーダは、単に物体の軌道の変化を検出するのではなく、ボールを位置的に追跡し、ボールがしきい値を越えることに関連するイベントを検出してもよい。例えば、野球のボールがホームベース、ファウルライン、外野フェンス（ホームランが打たれたことを示す）等を横切った正確な瞬間をレーダが検出してもよい。ただし、このような方式によるイベント検知は、サッカー等他のスポーツの方が適用し易いだろう。

図６は、サッカー選手が直接フリーキックを行う場面を描写する例示的な合成画像６００を示す。この場面において、画像に関係する人物は、キッカー６０５及びゴールキーパー６１０である。「壁」、即ちキックからゴールまでの経路を遮断する守備側の選手の列の投影図６１５が合成画像６００に重ね合わされている。ただし、他の場面においては、この「壁」は実際に壁であってもよい。

図６の実施形態において関連する「イベント」は、時刻ｔ１においてボールが蹴られること（６２０ａに示される）、時刻ｔ２においてボールが壁のしきい値を越えること（６２０ｂに示される）、及び時刻ｔ３においてボールがゴールラインを越えること（６２０ｃに示される）である。ここで、時刻ｔ１が特定されると、キック前におけるキッカー６０５の画像が（半透明で）重ね合わされ、キックまでの流れが示される（これは、６０５ａ、６０５ｂに示される）。時刻ｔ１におけるキッカーは固定され、６０５ｃにおいてインパクトの正確な瞬間が示される。次に、ボールは、その飛行の経過を追跡され、様々な追加の時点において、例えば、ボールがその飛行の開始位置と壁６１５の間を移動する様子が位置６２０ｂにおいて示され、関連するしきい値を越えた時点（６２０ｂ、６２０ｃ）において色分けされて、それらのしきい値となる面をボールが横切った時点におけるボールの位置が示される。例えば、ボールは壁の面を横切った時に黄色に着色され、ゴールの面を横切った時にオレンジ色に着色されてもよい。

図６では、ゴールキーパー６１０は、時刻ｔ１、即ちボールが蹴られたとき（６１０ａに示される）における位置で固定されている。しかしながら、時刻ｔ１における位置から時刻ｔ３（ボールがゴールラインを越えるとき）における位置の間にゴールキーパーがどのように動いたかを示してもよい。同様に、壁６１５が１人以上の選手からなる生ける壁である場合には、壁となる選手たちの動きも時刻ｔ１とｔ２の間において示されてもよい。一例では、時刻ｔ１における壁は半透明で、一方で時刻ｔ２（ボールが壁を越えるとき）における壁は不透明で表示され、選手たちのあらゆるジャンプ又は水平方向の動作が効果的に示される。壁の投影図は、画像内の異なる場所に表示してもよく、ボールがその場所を横切った時の位置を、それがどこであろうと、着色して表示することができる。

他の実施形態では、合成画像は画像追跡によって検出されたイベントを用いて生成されてもよいことに留意されたい。例えば、図６に示す例では、ボールの位置は画像追跡方法を通じて特定され、レーダを使用せずに合成画像が生成されてもよい。ただし、例えば、比較的小さいフレームレート、露光時間、及び画像間でのボールのサイズがあまり変化しないこと、等を含む様々な理由により、一般的に単一の撮像データは距離に関する情報を伝達しないので、図６において、（ボールが壁を越える）時刻ｔ２及び（ボールがゴールラインを越える）時刻ｔ３は、このような状況において使用される現在の撮像装置によって正確に特定することは困難又は不可能であるかもしれない。一方で、レーダでボールを追跡すれば、ボールの３次元的な位置を特定でき、その結果として、ボールが壁を通過する時刻を知ることができる。

サッカーに関する更なる適用として、例えば、ゴールキーパーの身長と初期位置、壁の高さ、及びボールの軌道を考慮して、フリーキックにおいてボールがゴールキーパーから見えるようになった時点を特定することが含まれる。この時刻は、レーダからのデータを用いて、これらの前述の考慮事項に基づいて特定されてもよく、また、この時刻に基づいて、この瞬間におけるボールの画像が、例えば、色分けされて合成画像に表示されてもよい。

図７は、野球選手が投げられた投球に対してスイングを行う様子を表す例示的な合成画像７００を示す。この場面において画像に関係する人物は、バッター７０５とキャッチャー７１０である。合成画像７００の生成には２つの画像が使用されている。即ち、例えば投球のリリース時といった、投球がバッターに到達する以前のある時点ｔ１におけるバッター７０５を含む画像（７０５ａにおいて半透明で示される）と、バットとボールの接触時若しくはそれに近い瞬間、又はバットがボールを逃す瞬間（バッターがバットを振り、そのうえで外す場合）若しくはそれに近い瞬間ｔ２におけるバッター７０５を含む画像の２つが使用される。当業者であれば、合成画像を生成するために任意の数のそのような画像が使用されてよいことを理解するだろう。時刻ｔ１とｔ２の間ではキャッチャーの動きは比較的小さいと予想されるため、キャッチャー７１０は、単一の時点、例えばインパクトの瞬間ｔ２においてのみ含まれてもよい。また、その代わりに、バッターと同様の時刻においてキャッチャーが表示されてもよい。

また、撮像データに加えて、時刻ｔ１～ｔ２間における投球の経路に対応する、ボール７１５の軌跡７２０を表示してもよい。当該軌跡は時刻ｔ１以前又は時刻ｔ２以降の追加の時間に対応する部分を含んでもよいし、又はｔ１～ｔ２間に対応する部分のみを含むのでもよい。ボール７１５がホームベースを横切る瞬間を特定し、画像７００において表されてもよい（７１５ａにおいて示される）。当業者であれば、画像内に示されていないイベントを表している画像フレームを含む合成画像を生成するために、レーダデータが使用されてもよいことを理解するだろう。例えば、ピッチャーが表示されていないにも関わらず、合成画像７００は投球のリリース時におけるバッター７０５の位置を表示している。

レーダ追跡システム又はレーダと画像を結合した追跡システムの組み合わせによってイベントの時刻を特定することには複数の利点がある。ボールの軌道の変化や特定の位置への到達は全て、画像処理又は画像ベースの追跡を行うことなく、このようなシステムを用いることで、フレームによるものよりも高い精度で特定することができる。この追跡システムは、ただ単にレーダを用いてイベント時刻を特定し、特定された各イベント時刻に発生したイベントの種類を特定するだけである。このイベント時刻をもとに、システムは、合成画像の生成に用いる画像を、利用可能な画像から自動的に選択する。これによって、システムの計算負荷が大幅に軽減され、合成画像を適時に自動生成するために不可欠なロバスト性が向上する。任意で、追跡システムは、イベント時刻及びイベントの種類の特定に加えて、撮像装置が捕捉した画像内の特定の領域に相互に関連する、イベントの発生位置を提供するものであってもよい。

特定の実施形態においては、レーダは、その時点では投射物が選手と接触したままであっても、その投射物が弾道軌道を開始したことを検出できる場合がある。例えば、砲丸投げにおいては、「砲丸」（即ち、重い球状のボール）は、砲丸投げ選手によってリリースされる前の時点で、独立した軌道（選手の手の軌道から独立した軌道）を開始する可能性がある。ボールが独立した軌道を開始する瞬間は、ボールが投擲者の手と接触したままであるため、撮像画像には検出できない。即ち、どの画像においても、手とボールが分離している様子は検出できない。一方で、レーダデータは、上述のように、速度又は加速度の不連続性に基づいて、そのような時刻を正確に検出することができるだろう。

図８は、砲丸投げのある場面における速度プロット８００を示す。この場面では、プロット８００の第１部分８０５が選手による砲丸の加速（即ち、選手はボールに力を与えている）に対応し、また、プロット８００の第２部分８１０は選手から独立した砲丸の軌道（即ち、たとえ選手の手がボールと（軽い）接触を保っていても、ボールの動きは選手から独立している）に対応し、かつ弾道軌道に従っている。従って、砲丸投げの様子を表す合成画像を生成する際に、ボールが投擲者から実質的に独立した軌道を描き始めた瞬間を含むことが可能である。この種の分析が適用できる他のスポーツにはクリケットや野球があり、クリケットのボウラーや野球のピッチャー等から物体がリリースされる時点も、物体が実質的に独立した軌道を描き始める時点とはわずかに異なる場合がある。

第３の実施形態において、時刻校正されたセンサは、リアルタイムでの審判のために使用されてもよい。例えば、レーダが、サッカーにおいてボールが蹴られた瞬間を検出し、その瞬間におけるサッカーのフィールドの画像を取得し、そして時刻が相互に関連する画像を使用することによって、何れかの選手がオフサイドになっていたかどうかを判断することができる。他の例では、レーダが、野球において飛球が捕球された瞬間を検知し、塁上のランナーが次の塁に進もうとしてタッチアップする様子の画像を取得し、そして時刻が相互に関連する画像を使用することによって、選手が飛球を捕球する前に既にランナーが塁を離れていたか否かを判断することもできる。これらの機能は、即時のビデオ判定や、リアルタイムでの審判に使用することができる。更に別の例では、マイクロフォン等のセンサを他のセンサと時刻校正し、他のセンサの検出を補完するために使用してもよい。例えば、野球において、ランナーや野手がベースに触れた瞬間が、カメラ及び／又はレーダの視野ではよく捉えられない場合がある。そこで、ベース上に設置され時間校正されたマイクロフォンや動作検知器を用いて、ベースに接触した際の音や動作を捉え、その音や動作に基づいて接触の瞬間を特定又は推定してもよい。

第４の実施形態では、時間的に相互に関連する過去のデータを取り出して分析を行うことができる。例えば、ピッチャーに関する過去のレーダデータは、投げられた投球のタイプを手動でタグ付けされてもよい。その投球タイプのクエリは、その投球タイプに相互に関連するレーダデータを識別し、リリースの瞬間を取り出し、それらの瞬間と同じ時点で撮影された画像の全てを取得することができる。これらの画像を使用して、投球のリリースの瞬間におけるピッチングの方法を経時的に比較することができる。ゴルフやサッカー等においても、同様の経時的な分析が可能である。

当業者であれば、上述の実施形態の何れかに関して説明したような、合成画像の生成において取り出される視覚的な構成要素は、撮像された順番と全く同じ時系列順に画像が再生される動画像列に関しても適用されてもよいことを理解するだろう。即ち、動画像列は、上記のように、競技場を示す領域のうちイベントの瞬間に固定された部分と、時間の経過に伴って選手と物体の動きを示す他の部分を含む合成画像の連続として生成されてもよい。任意の特別領域は、動画像列の全体を通して固定されてもよく、又は（例えば、その後にイベントが発生した時に）更新されてもよい。当業者であれば、このような連続する合成画像からなる動画のフレームレートは、重要な情報を示すため、処理にかかる時間を短縮するため、又はその他の目的に応じて変更することができることを理解するだろう。

このような使用の具体例は、図６に示すような、キックを行う選手がボールに駆け寄る前における動画像列の一部が、任意の合成画像の重なり合いを含む、直接フリーキックを行うサッカー選手との関係で理解されるだろう。動画が（例えば、スローモーションで）再生されるとき、合成画像の個々の要素、即ち選手、ボール及びゴールキーパーは、動作が再生され続ける間、検出されたイベントに対応するタイミングにおける位置（例えば、上述したように、ゴースト領域として描かれる）で動画像に示され、かつその位置で固定されてもよい。当業者には理解されるだろうが、本実施形態においてそのような合成画像の各部を動画像列において可視化させるトリガは、イベント検出センサ１２０及びセンサと画像（この場合は、ビデオフレーム）間の時間校正によって上述と同じ方法で制御される。また、任意のそのような動画像列には、様々なイベントの検出時に上述と同じ方法で固定された任意の数の特別領域が含まれてもよい。

上述の実施形態と同様に、追加の実施形態では、動画像列の各画像のうち固定されている部分が固定される代わりに、又はそれに加えて、画像の無関係な又は関連性の低い要素が、上述と同じ方法で動画像列のフレームから除去されてもよいことを除いて、同様の方法で動画像列を生成してもよい。即ち、無関係又は関連性の低い情報を含まない、視野の対象領域を含む、（例えば、同じ動画像列から、又は当該動画像列のイベント範囲外の時間に撮像された画像フレームから選択された）他の画像の一部が、無関係な情報（例えば、中心となるプレーに関与していない選手）を含む視野の一部と置き換えられてもよい。

例えば、視野のうち特定のプレーに関与していない野球選手を含む部分は、画像の当該部分に選手が存在していない、フレームの対応する視野の一部分と置き換えられてもよい。例えば、［００２５］で説明したような関心領域の外側の領域は、選手が存在しないフィールドの画像の対応する部分と置き換えられてもよい。即ち、画像のうちそれらの選手を含む部分は、［００２０］で説明したようなメイン画像の対応する部分と置き換えられてもよい。又は、これらの無関係又は関連性の低い領域は、イベントに関与する選手をより効果的に強調するために不透明度を小さくしてもよい。先述と同様に、動画像列との関係における本発明の当該利用においては、イベント検出センサ１２０及びセンサと画像（この場合は、ビデオフレーム）間の時間校正が、一方で他の部分が動作を示し続ける間に、合成画像の様々な部分が動画内で固定されるタイミングを制御するために用いられることになる。

当業者であれば、その発明概念から逸脱することなく、上述した実施形態に変更を加えることができることが理解されよう。更に、実施形態のうち１つに関連する構造的特徴及び方法は、明示的に否認されないか論理的に矛盾しない任意の方法で、他の実施形態に組み込むことができることも理解されるだろう。従って、本発明は、開示された特定の実施形態に限定されるものではなく、むしろ変更や改良も添付の特許請求の範囲によって定義される本発明の範囲内に含まれることが理解されるだろう。

Claims (31)

1. センサデータを捕捉するセンサと、
   撮像データを捕捉する撮像装置と、
   前記センサと前記撮像装置の時刻を校正し、
   第１イベントの発生を前記センサデータから検出して前記第１イベントの生じた第１時刻を取り出し、
   前記第１イベントの生じた前記第１時刻と相互に関連する時刻に撮像された第１画像を前記撮像データから特定し、
   前記第１画像を、前記第１画像の少なくとも一部分と結合した他の撮像データを含む合成画像に挿入するために取得する
   ために構成された計算装置、を含むことを特徴とするシステム。
2. 請求項１に記載のシステムであって、前記センサがレーダデータを捕捉するレーダであり、前記計算装置が、更に、
   前記レーダデータの不連続性がしきい値以上変化したことを検出し、
   検出された前記不連続性に基づいて、前記第１イベントの発生を推測する
   ために構成されていることを特徴とするシステム。
3. 請求項１に記載のシステムであって、前記センサがマイクデータを捕捉するマイクロフォンであり、前記計算装置が、更に、
   前記マイクデータの音声信号が、しきい値以上変化したこと又はしきい値以上の大きさになったことを検出し、
   検出された前記音声信号に基づいて、前記第１イベントの発生を推測する
   ために構成されていることを特徴とするシステム。
4. 請求項１に記載のシステムであって、前記第１画像が、前記撮像データの中で撮像された他のどの画像よりも前記第１イベントが生じた前記第１時刻に近い撮像時刻を有することに基づいて識別されることを特徴とするシステム。
5. 請求項１に記載のシステムであって、前記第１画像が、ｉ）前記第１イベントが生じた前記第１時刻よりも前の時刻であって、前記第１時刻より前に前記撮像データに取り込まれた他のどの画像よりも前記第１時刻に近い撮像時刻、又は、ｉｉ）前記１イベントが生じた前記第１時刻よりも後の時刻であって、前記第１時刻よりも後に前記撮像データに取り込まれた他のどの画像よりも前記第１時刻に近い撮像時刻、の何れかを有することによって識別されることを特徴とするシステム。
6. 請求項１に記載のシステムであって、計算装置が、更に、
   第２イベントの発生を前記センサデータから検出して前記第２イベントの生じた第２時刻を取り出し、
   前記第２イベントの生じた前記第２時刻と相互に関連する時刻に撮像された第２画像を前記撮像データから特定し、
   前記第２画像を、前記合成画像に挿入するために取得する
   ために構成されていることを特徴とするシステム。
7. 請求項６に記載のシステムであって、前記第１イベントが物体の軌道上における物体の発射に対応し、前記第２イベントが前記物体の軌道上における軌道の変更に対応することを特徴とするシステム。
8. 請求項７に記載のシステムであって、前記合成画像が、前記第１イベントを表す前記第１画像の一部と、前記第２イベントを表す前記第２画像の一部と、前記第１イベント及び前記第２イベントが発生した領域を除いた第３画像の一部と、を含むように生成されることを特徴とするシステム。
9. 請求項８に記載のシステムであって、前記合成画像が、前記第１時刻と前記第２時刻との間の前記撮像データにおける他の物体の動きの進行を更に描写するように生成されることを特徴とするシステム。
10. 請求項８に記載のシステムであって、前記計算装置が、更に、
    前記第１イベント及び前記第２イベントの発生が予測される領域に対応し、かつ、前記第１イベント及び前記第２イベントの発生時以外の時間に撮像された撮像データを除くように、第１特別領域及び第２特別領域の範囲を定める
    ために構成されていることを特徴とするシステム。
11. 請求項１０に記載のシステムであって、前記計算装置が、更に、
    前記第１時刻と前記第２時刻の間に存在する第３時刻を決定し、
    前記第３時刻に対応する第３画像を取得し、
    前記合成画像に、前記第３画像のうち前記第１特別領域及び前記第２特別領域を除く部分に描画された前記物体の他の物体を、半透明化して描画したものを挿入する
    ために構成されていることを特徴とするシステム。
12. 請求項１１に記載のシステムであって、前記計算装置が、更に、前記第１時刻と前記第２時刻の間における前記物体の経路を、前記合成画像に挿入するために構成されていることを特徴とするシステム。
13. 請求項１に記載のシステムであって、前記センサがレーダデータを捕捉するレーダであり、前記計算装置が、更に、
    物体の軌跡を位置的に追跡し、
    前記第１イベントの発生を検出する
    ために構成されていることを特徴とするシステム。
14. 請求項１に記載のシステムであって、前記センサが、運動競技のイベントに関与しているある１人の人間に関連する第１参加者センサデータを生成する第１装置を含み、かつ前記計算装置が、
    第１参加者イベントの発生を前記第１装置のセンサデータから検出して前記第１参加者イベントの生じた第４時刻を取り出し、
    前記第１参加者イベントの生じた前記第４時刻と相互に関連する時刻に撮像された第４画像を前記撮像データから特定し、
    前記第４画像を、前記第４画像の少なくとも一部分と結合した他の撮像データを含む合成画像に挿入するために取得する
    ために構成されていることを特徴とするシステム。
15. 請求項１４に記載のシステムであって、前記第１装置が、それによって第１参加者イベントのタイミングを特定することができるデータを生成するセンサを含む、ウェアラブルデバイスであることを特徴とするシステム。
16. 請求項１５に記載のシステムであって、前記第１装置がスマートウォッチであることを特徴とするシステム。
17. 請求項１４に記載のシステムであって、前記計算装置が、第１参加者イベントに関連する画像に、前記第１参加者を識別するデータをラベル付けするように構成されていることを特徴とするシステム。
18. 請求項１５に記載のシステムであって、前記計算装置が、複数の前記第１参加者イベントに関連する複数の画像の一部を含む合成画像を生成するために構成されていることを特徴とするシステム。
19. センサデータを捕捉するセンサと、撮像データを捕捉する撮像装置とを時刻校正すること、
    第１イベントの発生を前記センサデータから検出して、前記第１イベントが生じた第１時刻を取り出すること、
    前記第１イベントの生じた前記第１時刻と相互に関連する時刻に撮像された第１画像を前記撮像データから特定すること、
    前記第１画像を、前記第１画像の少なくとも一部分と結合した他の撮像データを含み、前記第１イベントを描写する、合成画像に挿入するために取得すること、
    を含むことを特徴とする方法。
20. 請求項１９に記載の方法であって、前記センサがレーダデータを捕捉するレーダであり、前記方法が、更に、
    前記レーダデータの不連続性がしきい値以上変化したことを検出すること、
    検出された前記不連続性に基づいて、前記第１イベントの発生を推測すること、
    を含むことを特徴とする方法。
21. 請求項１９に記載の方法であって、前記センサがマイクデータを捕捉するマイクロフォンであり、前記方法が、更に、
    前記マイクデータの音声信号が、しきい値以上変化したこと又はしきい値以上の大きさになったことを検出すること、
    検出された前記音声信号に基づいて、前記第１イベントの発生を推測すること
    を含むことを特徴とする方法。
22. 請求項１９に記載の方法であって、前記第１画像が、前記撮像データの中で撮像された他のどの画像よりも前記第１イベントが生じた前記第１時刻に近い撮像時刻を有することに基づいて識別されることを特徴とする方法。
23. 請求項１９に記載の方法であって、前記第１画像が、ｉ）前記第１イベントが生じた前記第１時刻よりも前の時刻であって、前記第１時刻より前に前記撮像データに取り込まれた他のどの画像よりも前記第１時刻に近い撮像時刻、又は、ｉｉ）前記第１イベントが生じた前記第１時刻よりも後の時刻であって、前記第１時刻よりも後に前記撮像データに取り込まれた他のどの画像よりも前記第１時刻に近い撮像時刻、の何れかを有することによって識別されることを特徴とする方法。
24. 請求項１９に記載の方法であって、
    第２イベントの発生を前記センサデータから検出して前記第２イベントの生じた第２時刻を取り出すること、
    前記第２イベントの生じた前記第２時刻と相互に関連する時刻に撮像された第２画像を前記撮像データから特定すること、
    前記第２画像を前記合成画像に挿入するために取得すること
    を更に含むことを特徴とする方法。
25. 請求項２４に記載の方法であって、前記第１イベントが物体の軌道上における物体の発射に対応し、前記第２イベントが前記物体の軌道上における軌道の変更に対応することを特徴とする方法。
26. 請求項２５に記載の方法であって、前記合成画像が、前記第１イベントを表す前記第１画像の一部と、前記第２イベントを表す前記第２画像の一部と、前記第１イベント及び前記第２イベントが発生した領域を除いた第３画像の一部を、含むように生成されることを特徴とする方法。
27. 請求項２６に記載の方法であって、前記合成画像が、前記第１時刻と前記第２時刻との間の前記撮像データにおける他の物体の動きの進行を更に描写するように生成されることを特徴とする方法。
28. 請求項２７に記載の方法であって、
    前記第１イベント及び前記第２イベントの発生が予測される領域に対応し、かつ、前記第１イベント及び前記第２イベントの発生時以外の時間に撮像された撮像データを除くように、第１特別領域及び第２特別領域の範囲を定めること
    を更に含むことを特徴とする方法。
29. 請求項２８に記載の方法であって、
    前記第１時刻と前記第２時刻の間に存在する第３時刻を決定すること、
    前記第３時刻に対応する第３画像を取得すること、
    前記合成画像に、前記第３画像のうち前記第１特別領域及び前記第２特別領域を除く部分に描画された前記物体の他の物体を、半透明化して描画したものを挿入すること、
    を更に含むことを特徴とする方法。
30. 請求項２９に記載の方法であって、
    前記第１時刻と前記第２時刻の間における前記物体の経路を、前記合成画像に挿入すること、を更に含むことを特徴とする方法。
31. 請求項１９に記載の方法であって、前記センサがレーダデータを捕捉するレーダであり、前記方法が、
    物体の軌跡を位置的に追跡すること、
    前記第１イベントの発生を検出すること
    を更に含むことを特徴とする方法。

Images