JP2009528119A - スポーツ競技場におけるイベントの自動検出方法とシステム - Google Patents

スポーツ競技場におけるイベントの自動検出方法とシステム Download PDF

Info

Publication number
JP2009528119A
JP2009528119A JP2008556904A JP2008556904A JP2009528119A JP 2009528119 A JP2009528119 A JP 2009528119A JP 2008556904 A JP2008556904 A JP 2008556904A JP 2008556904 A JP2008556904 A JP 2008556904A JP 2009528119 A JP2009528119 A JP 2009528119A
Authority
JP
Japan
Prior art keywords
video
subject
ball
camera
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008556904A
Other languages
English (en)
Other versions
JP5442261B2 (ja
Inventor
ディスタンテ、アルカンジェロ
ステラ、エットレ
ニッティ、マッシミリアーノ
カポッツォ、リボリオ
リタ ドラツィオ、ティツィアーナ
イアニグロ、マッシモ
モスカ、ニコラ
レオ、マルコ
スパグノーロ、パオロ
ルイージ マッツェオ、ピエール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Consiglio Nazionale delle Richerche CNR
Original Assignee
Consiglio Nazionale delle Richerche CNR
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Consiglio Nazionale delle Richerche CNR filed Critical Consiglio Nazionale delle Richerche CNR
Publication of JP2009528119A publication Critical patent/JP2009528119A/ja
Application granted granted Critical
Publication of JP5442261B2 publication Critical patent/JP5442261B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605Decision makers and devices using detection means facilitating arbitration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0025Football
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

スポーツ・フィールドにおけるイベント特にゴールあるいはノー・ゴールというイベントについての最終判断を自動的に行う試合管理者に信号で知らせることにより、イベントを自動的に検出する。本システムは、フィールドの構造に対して侵入することはなく、ゲームを中断することを要求したり、ルールを変更することを要求したりせず、単にイベントの発生を客観的に検出することだけを目的としており、検出されたイベントを特別な信号で知らせることによりレフリーの判断をサポートするものである。

Description

本発明は、映像を取得し、記録、表示、処理を行うハードウェア並びにソフトウェアを用いた方法、システムに関する。
説明
本発明は、ゴールあるいはノーゴールというイベントが起きた時に、そのイベントについて最終判断を自律的に行うことができる試合管理者に信号を送ることにより自動検出の問題を解決することを目的としている。
このような問題は、請求項26に詳述したようなシステムによっては勿論解決されるし、請求項26に詳述したような方法を実行することによっても解決される。
特に、本発明における方法は、請求項34、35で定義したように1つ以上の記憶手段に保存された1つ以上のコンピュータ用のプログラムによって実行される。
本システムは、(ゲームを行う)フィールドの諸構造への介入性を排しており、ゲームを中断する必要もなく、ルールを修正する必要もなく、上記イベントの発生を客観的に検出し、検出されたイベントの特定信号(無線および/または映像音声信号)によってレフリーの判定を支援することだけを目的としている。
この特定のケースを解決するため、1つ以上の固定された参照物体(例を挙げれば、ポスト、水平バー、水平の白いラインであるが、これらに限定するのが目的ではない)に対する移動体(例をあげれば、ボールであるが、これに限定するのが目的ではない)の空間位置と移動体に関連する動きの推定という一般的問題に関わるパラダイムが使用される。そしてそれは移動体あるいは移動体が移動する環境を変更することはない(前記介入性をもたないソリューション)。
前記介入性をもたないとの条件に従うため、遠隔検出方式(物理的に非接触の遠隔検出)が、リアルタイムで映像の取得、記録、表示、処理を行うためのハードウェアとソフトウェア両方の構成要素を含む4台のインテリジェント取得ユニットによって実施される。
以下で本システムの「映像マシン」あるいは「ノード」と称する上記の取得ユニットは、さらに可視カメラであって、赤外線に近い高時間解像度(200映像/秒)の複数のディジタル・カメラ(受動センサ)を有する。
(図の詳細な説明)
図1は、スタジアムにおける複数のカメラの位置を示しており、各ゴールを挟んで反対側にある2つのカメラは、それぞれ、その光軸がゴールの内側の平面と同じ平面にあって、ゴール・ラインの中心点に向かって収束するように配置されている。このようなカメラの装備によってボールの全体がゴールの内側ラインを通過したか否かを評価することが可能であり、したがって、ゴール・イベントが本当に起きたかを検証することができる。
各映像マシンは、2時間のディジタル録画(正規の試合、延長時間、ペナルティ・キック)を含むメモリを有する適切に構成された基本処理装置としての(PCがベースの)サーバと、高いフレーム・レート(200フレーム/秒、標準的カメラよりも8倍の速さ)でのリアルタイム・映像シーケンスにおける処理に特化したダブル・プロセッサを利用している。個々のサーバは、異なったソフトウェア要素を有し、下記の操作を行う。
・映像の取得とディジタル保存
・映像上の(phantom)ゴール・イベントを自動的に検出(以下に詳述するボールを認識・追跡するアルゴリズム)
・カメラの遠隔制御および校正(パン撮り(カメラを回すこと)、チルト(カメラを傾ける)、ズーム、絞り)
複数の映像マシンは、すべてローカル・ネットワーク(保護されたネットワーク)で接続されており、「スーパバイザ」とも呼ばれる(PCがベースの)システムの操作により同報(放送)通信を行う、本システムは、以下の機能を行う。
・マン−マシン・マルチメディア・インタフェース、すなわち、映像マシンのオペレーション・モードを設定し、
・本システムは、1つのペアになった映像マシンによって生成される情報を処理し、ゴール・イベント(ゴール判定)の発生を評価し、
・本システムは、FIFA−FIGC(国際サッカー連盟−イタリア・サッカー競技連盟)の決定に基づいてゴールあるいはノーゴール・イベントの発生を審判および/またはアシスタントに信号を送る。
ディジタル・カメラと関連サーバとの間の接続手段は、データ保護を目的として適切に結集され、スタジアムのインフラ内に集積された銅・光ファイバ・ワイヤを配線することにより実施される。図2に示すように、本システムを起動するマン−マシン・インタフェースによってシステム全体が操作され、さらにオンライン(ライブ状態)あるいはオフライン(再生状態)の2つのモードで動作することができる。
ライブ状態では、各ペアの映像マシンは、連続した複数のディジタル映像を、その内部に初期サーチ・エリアを定義することによって、連続して、自主的に、独立して取得し、取得された各映像において、すべての移動体を認識する。各ペアの映像マシンは、移動していると認識された物体だけを含む、フィルタ処理された映像を抽出し(バックグラウンド除去法)、前記フィルタ処理された映像をサーチする前記(サーチ・)エリアにおいて、移動していると認識された物体とあらかじめ定義された類型(例えばボール、ただし、これに限定せず)に属する物体を選び出し、前記サーチ・エリア内の前記物体の空間位置を計算する。したがって、ボール検出処理(インテリジェント・ソフトウェア構成要素)によって、ボールがカメラの視野に入ると直ちに認識され、場所が特定され、ボール追跡処理が始動される(ボール追跡)。ボール追跡処理は、映像平面内のボールの位置がフレームごとに確定されることにより行われる。続いて、データは各ペアの映像マシンから送られてくる情報を統合することにより(データ統合)前記イベントの発生を評価する。このようなイベントの発生をユーザに信号で送り、ゴールあるいはノーゴールの判定が行われる(判定)。映像に対して前記イベントの発生が確定されないとき、各ペアの映像マシンは前記映像サーチ・エリアにおいて計算し、その結果、発生していないと確認されると、次の映像を選ぶための新たなサーチ・エリアを評価するために、1つ以上のパラメータが用いられる。それらのパラメータはボールの動き(ダイナミクス)を明らかにするものであり、評価はそれらのパラメータに基づいて行われる。
システムの反応性は、観察されたシーンの複雑さ(カメラの視野にあるプレーヤの数、ボールの可視性)に依存する。通常の状態(孤立したボールと数人のプレーヤが存在する)では、ゴールのイベントの信号は50ミリ秒単位で(実際には、リアルタイムで)発生する。一方、複雑なシーン(数名のプレーヤが関わり、妨害を受けて時々ボールの追跡が中断される)では、必要な時間はもっと長く、1000ミリ秒単位にも達する。リアルタイムで実行する機能の特徴は、ボール検出前に行われる映像シーケンスの前処理という手段によって実現される。映像シーケンスの前処理は、シーンが動く物体(ボール、プレーヤ、レフリー)に対応する映像領域を自動的に抽出することによって得られる、シーンの静止状態の要素からなるバックグラウンド(プレーのフィールド)をフィルタ処理する工程で構成される。この活動は、バックグラウンド除去と呼ばれる処理によって実行される。本システムの開始フェーズにおいて、各映像マシン用のバックグラウンド映像は、自動的に計算され、ライブ状態では、画像は、連続的に変化する環境状態に適応するように(バックグラウンド更新処理によって)自動的に更新される。
本システムがライブ状態である場合(すなわち、アクティブ記録・処理を行う)、記録されるゲームのどの瞬間の映像にも直接アクセスすることにより、記録したばかりの重要なイベントを客観的にチェックするため、図3に例として示されたように、再生機能を同時に起動することが可能である。本システムは、ユーザが再生モードで表示できる興味を引きそうなイベントのリストを自動的に作成し、保存する。特に、これらのイベントは、同じレフリーとアシスタントが専ら教育を目的として使用し、調べることができる。
進化したインタフェースは、様々な表示モード(可変ラレンティ(だんだん遅くなる)効果、早送り、早巻き戻しなどと組み合わせた可変フレーム・レート)によりビデオクリップへの高速アクセス、表示を可能にする。
本システムでは、下記のような追加機能が、試合後のオフライン状態において進化したインタフェースを使用することによって利用することができる。
・オフライン・インテリジェント再生
試合の記録が行われていないとき、ゴールあるいはノーゴールのイベントの自動サーチを行うための各処理を再起動することが可能である。
・インタラクティブ表示
ナビゲーション・バーを使って、ユーザは、いずれの記録領域も表示し、点検することができる。記録された映像を直接アクセスでき、4つの映像の同時表示(4台のカメラに対応)では、(記録)時間バーを所望の点に位置させることによって迅速に行うことができる。映像の膨大な量(45分間に32,400,000)、前記進化したインタフェースは、自由に使えるスピード・バーを備えており、ユーザは、表示されているフレームから始めて能率的に時間的に前にも、後にも行くことができる。その内容は、ビデオの連続映像を様々な速度で(ラレンティ、高速)、さらに例えば標準的カメラ(25フレーム/秒)によって生成されたビデオクリップの映像をシミュレートするディレイ・バーを使って、異なったサンプリング周波数で表示することが可能である。モーション・インバータ・キーを使えば、興味のある試合のエリアの映像を前に進めたり、後に移行したりして再生することができる。或る試合の特定のイベントを、ディレイ・バーとモーション・インバータ・キーの操作を組み合わせることにより、オンラインあるいは再生モードで効率的に調べることができる。
・チューニング処理パラメータ
処理パラメータ(バックグラウンドの静的および動的閾値、バックグラウンド更新頻度、ニューラル・ネットワークなど)の設定は、ライブ状態やオフライン状態においてユーザがこれを修正することができる。4台のカメラからの連続映像の表示モードは、記録中には同期しておらず、また処理中にも同期していないが、処理中でもひとつのゴールに関わるペアのカメラでは同期している。
・カメラの校正
オフライン状態(処理や記録は行われていない)で、ゴールの情景に対してカメラ装備の位置を調整することができる。この機能は、パン撮りやチルト動作を遠隔で制御することにより、自動的にも、あるいは手動でも行うことができる。光学的校正および放射量測定による校正をズームと絞りを遠隔制御することにより行うことができる。絞りの自動制御は、輝度状態の自動制御のためのライブ状態でも実行できる。
・各種サービス(ビデオクリップの抽出、サーバ起動およびスイッチ・オフなど)、オフライン状態では、本システムにより自動的に生成されたか、あるいはオペレータによって選択された重要なイベントに関連するビデオクリップのセットを、自動的に抽出することができる。RAW映像データ・フォーマット(圧縮映像を除く)の異なったモードと、ユーザが選択した異なった圧縮モード(DivX,Mpeg2,Mpeg4など)のAVIが使用される。RAW映像を表示する処理装置は、各ゴールについての単一のあるいはペアになった映像のビデオクリップを表示する高機能モードを装備して提供される。最後に、システム全体をスイッチ・オン、スイッチ・オフするための自動化手順および試合の記録を保存するバックアップ手順が利用できる。フロントエンド・システムとして動作する(PCベースの)局によってファントム・ゴール・システム(Phantom Goal system)全体を遠隔アクセスためのサービスが提供される。
取得用光学デバイスの校正
カメラの校正はデリケートな操作であり、これを正確に実施することが、ゴール検出システム全体の結果に直接的に大きく影響する。
カメラ校正手段は、すでに利用されてきたが、本発明では、ユーザとのインタラクションの必要とされるレベルによって2つの異なった使用シナリオが提供される。
・マニュアル校正
この使用状況では、実行システムは、タスクを迅速化する適切なグラフィック−絵表示ツールを利用することにより、ユーザはパン・チルト・ズーム・ヘッドの複数のコントローラを直接操作することができる。実施されたソフトウェアは、前記ヘッドの自由度レベルの各項目に個別に独立して働きかけることが、すなわち、水平・垂直動作、前方移動(望遠)ズーム、後方移動(広角)ズームが可能である。これらの操作は連続して、すなわち、次の命令が出るまでヘッドに或る動作を行わせる、つまり段階的に命令することによって、より正確に行うためにはミリ秒単位のパルス長を設定し、個別ストロークで動かすことによって、実行させることができる。シーンの焦点調節は同様な操作で行われる。露出は、個々に説明する必要がある。いずれの場合も、露出は特定コマンドによって自動的に設定され、シーンの輝度に影響を与える。実際には、本システムでは、カメラから送られてくる輝度に関する情報を検証し、そのシーンで光が少な過ぎるか、多過ぎる場合には、絞りを開閉することによって自動的に校正する。シーンの輝度は、取得過程において映像のディジタル処理の積分時間を適切にソフトウェアに設定することにより(絞り調節という物理的機能とは別に)さらに制御することができる。
・自動校正
手動校正用に設けられ、すでに説明したすべての操作は、本システムに送信することができる。この場合、ソフトウェアは、正しい位置に自動的に設定するため、シーンにおける基準を、特にゴール・エリアのライン(水平基準)およびポスト(垂直基準)を抽出して、使用する。いくつかの数学演算器が、カメラで捉えた映像に適用される。これらの演算器は、シーン中にある(既知の)物体のエッジを抽出することを可能にし、これらのエッジから、ユーザが文献でよく知られたハフ変換によって水平および垂直構造物を検出する。このようにして、ユーザは、ゴール・エリアのポストおよびラインを検出することができ、この情報から、システムインストールの際に設定される映像中のそれらの位置に関する基準を参照して、カメラを正しく校正することができる。
映像処理の流れ(複数のノードのソフトウェア要素)
4つのノードのそれぞれについて、3つの操作ステップを実施する。
・動作検出ステップ
・ボール検出ステップ
・ボール追跡ステップ
動作検出ステップにおいては、ボールを確実に除かれた静的エリアから取得した映像が除外される。
ボール検出ステップでは、本システムは、トレーニング(教え込み)の予備的フェーズを過ぎると、最初に、ボール認識の学習をする。この中で、異なった視点や照明の状態において、ボールが映るいくつかの情景が観察される。次に、学習アルゴリズムを一般化する能力があるため、本システムは、従来、高い認識率では見られなかった連続映像において、ボールを検出することができる。
最後の、ボール追跡ステップでは、ボール検出処理が促進され、ボールそのものが部分的に、あるいは一時的に消えることがないように、ボールのダイナミクスパラメータ(軌跡と速度)が決定される。
図4は、連続入力としてのゴールに関する200fpsの連続映像を有する各ノードを処理するソフトウェアの機能ブロック図であり、これらのノードは、適切な処理を経てから、ゴールあるいはノーゴールのイベントを自動的に評価し送信するスーパバイザに対し、抽出されたデータを送る。
(動いている領域の検出)
演算時間の面と、実際の性能の面の両方に関して、取得された映像内のボール・サーチを最適化するため、ボール以外のすべてが抹消されたフィルタ処理が施された映像の取得を目的として、導入すべきと考える準備処理フェーズが行われる。
これを行うために、バックグラウンド除去法に基づいた動作検出アルゴリズムが実施されている。これによって、その後のすべての操作を動的領域だけに限定することにより、静的領域は除外される。
図5は、イタリア選手権のセリエAの試合で取得された映像および移動体だけを含む関連映像を示す。
バックグラウンド除去テクニックは、現在の映像と画素ごとに比較される参照映像(バックグラウンド映像と呼ばれる。その名の通りである。)の使用に基づく。この比較によって、2つの映像の差として移動体が現れる。一方、静的物体は無視される。したがって、そのフェーズの出力は、実際に移動している被写体(ボールとプレーヤ)だけを含む「フィルタ処理された」映像である。
このテクニックで最善の結果を得るには、2つの主要な点、すなわちバックグラウンド映像を作り出すフェーズとその映像を更新するフェーズに特に注意することが必要である。
バックグラウンド映像を作り出すフェーズに対しては、連続した約1000フレーム(観察時間5秒に相当)上における時間平均と各映像画素の変化の計算を基にして、(バックグラウンド映像を)監視しない方式が選択された。
このようにして、5秒の観察時にシーンの中で動く被写体が存在する場合にもバックグラウンドの構築を能率的に完了することができる。
各シーンの画素に対する観察期間の終了時に、平均値およびシーンの静的領域を決定するための基準として使用できる相対標準偏差に相当する1対の値が得られる。
実際には、ユーザは、バックグラウンド画素の確率分布に含まれない現在の映像の画素をゼロにすることによって得られるバックグラウンド映像と現在の映像との差分映像の構築を促進することができる。
現在の映像における画素(x、y)に対する強度値を、I(x、y)と称し、同じ点の平均と標準偏差を、B(x、y)およびS(x、y)と称する。したがって、ある点は、動的点と名付けられ、以下の式を満足するならば、現在の映像に関連する点と等しい値を取る。

その値が標準偏差の2倍と期待される値と異なるならば、また上記の条件を満たさないならば、その点は、ゼロに設定される。
基準モデルは、セグメンテーション(分割処理、segmentation)の結果が悪くなることを避けるため常に更新される。
このような定期的な更新作業において、最も短い時間内に発生する変化をバックグラウンド映像に含める必要がある。しかし、プレーヤとボールが同じ映像領域にあるときに、このような更新速度は、プレーヤとボールを常に表示するという条件とのバランスをとることが要求される。
妥協策としては、映像の静的領域(より早く更新される)と動的領域(よりゆっくり更新される)を異なった重み付けによって更新するというものがある。このようにして、フィールドで実験的に発生した妥協策ではあるが、それにより、あらかじめ指摘されたニーズは理想的にバランスが取られる。
正式には、更新手順は以下の通りである。

ここで実際のバックグラウンド値と現在の映像の相対値に異なった重み付けを行うために、パラメータαとβが使用される。我々の実験で選んだ値は、αに対しては0.5であり、βに対しては0.95であった。
シーンの中に存在する動きのある点が検出されると、接続性調査が行われる。その目的は、いろいろな領域にある隣接した画素を凝集(agglomerate)させるため(引き続きボールのサイズに対応しない画素を除くことにより)であり、その処理に使われる方法論の制限はさておき、映像を取得するために使われるハイテク・デバイスが発生するノイズをシーンから除去するためである。さらに、このフェーズでは、後続のフェーズでの使用が期待される各々の領域のためのその他の情報(面積、重心の座標、幅、高さなど)が計算される。
反復アルゴリズムを実行すると、動きがあると分類された画素から始めてすべての隣接画素が検査され、単一の物体に属する画素として区分けされ、難しい作業の土台を形成する。
前記反復アルゴリズムのベース命令を一例として以下に示す。ただし、この例に限定することが目的ではない。
1 座標(x、y)を用いて全映像Iを回転する

2 IfI(x、y)は動的点である

3 if(x、y)に隣接する1画素が動的であり、まだ検査されていない
then, その画素を「検査された」とマークし、新たな(x、y)とする
3に戻る

//私は1領域の各点を検査した
4 1に戻る

//私はすべての領域を検査した
(ボール検出)
図6を参照して、複雑なボール検出処理の機能的スキームを示す。実際に、ボールを判断する2つのフェーズに注目されたい。最初の前処理フェーズ(以下では、形状検出と呼ぶ)では、形状情報を基にして、ボールを含む有望な領域が検出される。一方、第2のフェーズでは、識別器は、ボール認識(ボール認識フェーズと呼ぶ)の確認または未確認を行う。
実施されたシステムにおいて、形状検出フェーズは、現在の映像内に存在する被写体のエッジを抽出することにより、固定半径rばかりではなく[Rmin、Rmax]タイプの一定の間隔における半径の円周を探すことができる演算子によって実行される。
演算子は、以下のように定義できる。

ここでドメインD(x,y)は


は、傾き回転である。

また、

は、固定半径[Rmin、Rmax]におけるすべての円周のサーチを保証するため、動いている被写体を空間的に特性付けるのに適したフィルタである正規化要因を含む畳み込みの要点を説明するベクトルである。
傾きの回転の使用は、演算結果が求める円周の輪郭とバックグラウンドとの間にあるコントラストから独立している演算子を得るために導入された。この選択は、ボール検出問題にすぐれた適応性が得られるので、このアルゴリズムは、照明の状態および取得状態からの影響を低くしている。
上記フィルタは、図7のマスクによって例示されているが、これに限定するものではなく、x軸とy軸の中核となるベクトルを形成している。
マスクのサイズは、(2Rmax+1)(2Rmax+1)であり、実質的に各点において、中心からの距離で変化する半径方向ベクトルを表している。シーンの中の物体のエッジを含む映像とマスクとの畳み込みによって、どれだけ多くの映像ドットが、マスクで表される1組の円周の傾き方向と一致した傾き方向を有しているかを評価できる。
累積スペースのピークは、ボールを含む候補領域の中心を表す。このテクニックの大きな利点は、単に畳み込みマスクを修正するだけで、いかなる形状の被写体も探すことができることである。これまでボールが一定のアスペクト(様相、aspect)を有することが不可能と言われてきたことを考えると大きな利点である。
前記のテクニックによって検出される領域は、ボールの形状ばかりではなく、ウィービング(weaving)をはじめとする他の特性を考慮することにより、続いて検証される(ボール認識)。
ボール認識を実行するために、諸特徴に基づいて先行フェーズの他のすべての候補物体からボールを選び出す管理された識別器を利用することをここでは選択した。
一般に、映像の中で認識されるパターンの特徴(識別方法とは別の)は、空間ドメインあるいは周波数ドメインに表示できる。
空間ドメインにおける従来からの表示は、カメラで取得されるグレイ・レベルで直接得られるものである。それに対して、周波数ドメインの表示では、フランスの数学者ジャン・バチステ・ジョセフ・フーリエが導入して、よく知られたフーリエ変換の延長であり、後者と対称的である、周波数の空間ローカライズ(限定、localization)に関する情報を保持することを可能にするウェイブレット変換(wavelet transform:画像データを周波数成分に変換する変換の一つ)のような適切な「変換」をユーザは使うことができる。
一般に、周波数ドメインにおけるパターンの表示は、周囲の状態(照明、部分的な消失、形状あるはウィービングの変化)の変化にあまり影響を受けず、ボールまたはその一部を含む候補においてボールが確認されないケースを最小にすることができる。ウェイブレット表示におけるこの特性により、特定状況において形状、色、ウィービングがボールときわめて似てはいるが、ボールではない物体を誤って確認するケースを判定する。
確認エラーが発生することなく、周波数表示特性を活用するため、空間表示および周波数表示の双方を利用することが考えられた。
監視(管理)された識別器に関する限り、ウェイブレット係数に基づいて、あるいは空間情報を直接に参照して先行フェーズから抽出された領域の検証のために人工のニューラルネットワークが選択された。
実際には、2つの異なったニューラル・ネットワークが導入された。一方は、ウェイブレット係数によって教え込まれ、他方は、空間情報(0と1との間で正規化された)によって教え込まれたものである。
しかし、フィールドのどの領域にあるか、あるいはゴール領域にあるか(したがってネットによって一部が覆われている)によって、同じボールが実質的に見かけを変えることを考慮すると、すべての状態において本システムが正しく動作できるようにするためには、たった2つのニューラル・ネットワークを導入しても十分ではない。撮影される領域の照明の状態が、さらに識別に影響を与える可能性がある。
このような問題をなくすために、ニューラル・ネットワークのライブラリ(library)が生成された。それぞれの照明状況(たとえば、日光、暗さ、曇天)について、4つの異なったシナリオが考えられる。
1)ゴールの外(ウェイブレット)
2)ゴールの外(空間情報)
3)ゴールの中(ウェイブレット)
4)ゴールの中(空間情報)
ハフ変換から抽出した候補のそれぞれについて、2つのネットワークが使用され、選択される1組のネットワークは、候補のボールの映像平面の第2の位置(カメラの校正時に定義されるポストの位置に対して右か左)、さらに何時でもコンソール上でオペレータが設定できるノードの視野における大気の状況によって決まる。
(ボール追跡)
ボールのダイナミクスの研究は、ボール検出で説明した方法論を強化するために導入した3番目の最後に説明する処理ステップであり、これは、とりわけ1秒当たりの膨大な映像の処理(リアルタイム処理)を可能にするアプリケーションを迅速化するために行う。後者の要求(膨大な映像の処理)は、サッカーの試合の重要なイベントの検出システムにとって避けられないものである。
ボールダイナミクスの研究は、実質的に予測手順によって映像平面上の速度と軌跡の計算に基づくものである。
実際、時間tにおいて計算された動きの速度と方向と、最新のボールの位置の情報を使用して時間t+1(追跡)におけるボールの位置を予測する。
時間t+1に取得された映像の領域を計算するために、1つの関係が導入された。このなかで、ボールを見つける確率は、先行する映像によって得られた可能な情報に基づいて最大となっている。時間t+1で得られた映像では、検索ウィンドウは中央に位置しており(ボールの半径の2倍に等しい)、その点の横座標と縦座標がそれぞれ下記のように与えられる。
Pxt+1=Px+V・e・Pyt+1=Py+V
ボールの動きを予測することにより検出される領域にボールが検出されなければ、前記式によって得られる点に中心が置かれたサーチ・エリアを次第に拡大していく。
特に、ウィンドウは、120Km/hの速度で進んでいるボールが映っている2つの連続したフレームのシフト量に等しい値によって説明する正方形の辺を伸ばすことによって拡大される(映像の周縁に達するまで)。
前記シフトは、撮像システムに依存し、したがって常に変化できる。
いうまでもなく、ボールの非検出が長くなってサーチ・エリアが映像全面と等しくなると、シーンのダイナミクスについての情報が得られなくなる状態に戻る。
ボール動作情報を知ることから得られる別の利点は、すべての得られたフレームを分析し、処理を高速化するためフレームから詳細サンプルをとることが必要か否かを毎回評価する(ゴールの距離さえも拠り所にして)ことが可能である。
この論理は、ボールがスローな動きをしているときや、ゴールから少なくとも1m離れているときに、フレームごとに分析することを避けるため用いられてきた。またシステムの不要なスローダウンを回避することを可能にし、重要なイベントの検出が不十分にならざるを得ないシステムの混雑フェーズを回避することを可能にした。さらに、この対策のおかげで、ボール検出アルゴリズムは、現れた形状がボールと同様なものと受け取り、その形状の一部分を静的に観察すると、人間の目でも混同しがちな動きのある領域(ショーツ、Tシャツなど)に積極的に反応をみせる散発的なケースでは、本システムに追跡を開始させることができる。
データ統合およびゴール/ノーゴール判定−スーパバイザのソフトウェア(コンソール)
フレームごとに、4つのノードのそれぞれが、ボール検出とボール追跡のソフトウェア処理装置によって抽出することができたすべての情報を、スーパバイザに送信する。
図8は、ゴール・イベントを自動的に検出することを目的とするデータ統合、検証用システム・オペレーティング・スキームの限定を目的としない例を示すものである。前記スーパバイザは、情報を統合し、検証するタスクを行い、情報に基づき、ゴール・イベントを送信すべきか否かの評価を行う。
コンソール(操作盤)上で操作する複数のソフトウェア処理装置と相互のやり取りの論理スキームを図9に示し、以下で詳細に説明する。
コンソールが所定のフレームに関連するデータ・セットを受信すると、最初に、送信者に接続されたノードに対する類似フレームのデータ・セットが待ち行列(queue)にあるか否かを検証する。YESの場合、或るフレームに対する2箇所のノードから送信されてきたデータの処理を直ちに行う。NO場合、コンソール段階のフレーム処理を先送りして、データを待ち行列に入れ、欠けていた情報が届いたとき、あるいは所定の待ち時間が経過した後、取り出される。逆に、反対側のカメラの同じフレームの情報が着信しない場合、各ノードの処理の連続性および現在の処理されたフレームを考えれば(すなわち、反対側のカメラで処理された最後のフレームが、期待されたフレームより大きければ)、そのフレームに関する単一のノードから送られてきたデータを直ちに処理する。
勿論、前記2つの内の第1あるいは第2の状態が起こるかによって、イベントの異なった計算および分析の手順が起動される。
第1のケースでは、1対の両方のノードからの情報があれば、立体的三角測量により、ホモグラフィックおよび3D再構築テクニックに基づいて、ボールのローカライズ手順が開始される。
ボールの位置に関するすべての情報がコーヒレント(coherent)であれば、前記したローカライズ手順によってきわめて低いエラーマージンでボールの質量中心の3D位置を検出することができる。
ホモグラフィック・テクニックは文献ではよく知られていても、ボールの質量中心の3D位置決定の基礎となる幾何学原理をよりよく説明するために、そのテクニックを多少述べることは有益と考えられる。
ホモグラフィック・テクニックは、以下のコセプトに基づいている。すなわち、開始空間と到達空間(開始空間と同じサイズ)には共面の点があり、より複雑もしくは簡単な変換を用いて一方の空間のすべての点を別の空間にマップすることが、また、この逆の仕方でマップすることが可能であるという考えである。
前記実施されたシステムの場合、この特性は、2つの二次元空間の間で、すなわち、2つの平面の間でホモグラフィを挿入することにより、利用された。第1の平面は、プレイ・フィールドで構成され、第2の平面は、カメラの映像の平面で構成されている。詳細に眺めれば、これらの2つの平面の間でホモグラフィック変換を構築するには、少なくとも4つの点の関連位置を知る必要があり、次に映像平面の各点をプレイ・フィールドにマップすることが可能である(この逆も可能、ただしこのアプリケーションでは興味は低い)。
上記の処理は、4台すべてのカメラで繰り返される。最後は、それぞれペアになった同種のカメラで得られた情報の分析から、ボールの3D位置を推定することが可能である。
理論的原理
利用されたホモグラフィック・テクニックの理論的原理を、以下に説明する。
図10において、空間の平面αの一般的ドットをPで表し、映像平面πへの投影をpで表す。
これら2つの平面間のマッピングは、下記のタイプのホモグラフィック関係によって求められる。
P=Mp (1)
ここでMは、行列であり、その大きさは2つの平面の原点空間に依存する。ただし、映像平面の各ドットpは、Mを介して投影されて平面αのドットPに対応する。
このようなマッピングは、サイズ4×3のホモグラフィによって決定される。
このようなケースでは、行列Mのドットmijを計算するのに十分な平面αのドットPの最小数は4である。実際、11の未知の量を含んだ11の方程式のシステムが得られる(1つは予め固定される)。したがって、空間の1つの平面に4つのドットPiと映像平面に投影されたそれぞれのドットpが与えられると、ホモグラフィMを計算することができる。(i=1...4)とする。
・(kx、ky、kz、k)平面αのドットPiの同次座標
・(u、v、1)映像平面上の対応投影ドットpiの同次座標
式(1)は、以下のように書くことができる。

決定すべき成分は、行列Mの未知の量mijである。(2)の4番目の方程式から得られたkの値を置き換えて、
k=m41ui+m42vi+m43
はじめの3つの式で、以下のシステムが得られる。

m43=1を固定して、以下が得られる。
ドットの各ペア(Pi、pi)から3つの式が得られることが分かる。
したがって未知である行列Mの成分mijを決定するためには、少なくとも対応するドットの4つのペアが必要ある。最後の同次ではない一次方程式のシステムは、以下のようになる。

行列Mが得られると、単に式(1)を用いて映像平面πの各ドットを平面αに投影できる。述べておきたいのは、平面αに投影されたドットの3つすべての成分(x、y、z)は、式(3)によって一義的に決定されることである。さらに付け加えて置きたいことは、これらの成分(x、y、z)は、空間のいかなる位置にあってもよい平面α上の実際の座標であることである。
(ボールの3D位置の決定)
前のパラグラフで数学的に説明されたテクニックをプレイ・フィールド(平面α)およびカメラの映像平面(平面π)によって構成される2つの平面に適用すれば、何時でも1つの平面上のドットと他の平面上のドットとの対応を決定することができる。
ボールの3D位置が1つの平面にあるとすれば、今まで述べてきたことで、映像平面に上のその位置をから始めてボールがシーンのどこにあるかを十分判定することができるであろう。実際に、ボールは3D空間のどこかにあるので、その実際の位置を判定するには、同じフィールド部分に向けられた2つのカメラからくる情報の組み合わせをベースにして、さらに一連の数学的処理をする必要がある。
実際に、ホモグラフィック変換の行列Mを説明した2つの同種のカメラの各々においてボールがシーン中にあれば、ホモグラフィック変換によって決定されたカメラの光学中心点およびフィールドの点を通る視線を定める直線が構築される。2つの上記のように構築された直線の交差によってボールの3D位置が表現される。前記交差を分析的に示すため、たとえば、カメラ1による大地に対する垂直線と大地とでなる交点にある参照システムを固定する必要がある。
ボール位置p1とp2から始めてカメラの2つの映像平面に至る変換ホモグラフィック行列M1とM2を用いることにより、対応する点のプレイ・フィールド上の座標を求めることができる。
実際、次の式がある。
(x1,y,0)=M1p(u、v
および
(x,y,0)=M1p(u、v
ここで、p1(u1、v1)とp(u、v)は、2つのカメラの映像平面のボール質量中心の座標を検出する。カメラ1の光学中心O1の座標は(0,0、H1)であり、それに対しカメラ2の光学中心O2の座標は、(X2、0、H2)であり、前記点および対応する光学中心を通る直線r1とr2の式は以下のように書くことができる。
ここにおいて、図11に示すように、ボールの3D位置は、直線r1とr2の交差によって得ることができる。
ノード(ここでは、交差点)についての情報がコーヒレントであれば、スーパバイザは、ノードがボールと映像平面上で検出した点と行列Mの一次ホモグラフィック変換によりプレイ・フィールドに投影された同じ点を結合する2つの直線の間の距離を制御する専用手順を起動する。
理想的には、2つの直線は接触すべきである。しかし実際には、測定および近似におけるエラーのため、前記直線は常にきわめて接近するという(数センチのオーダの距離)結果に終わる。ボールの位置は、これら2つの直線の間の最小距離であるセグメントの平均点として検出される。この距離が大きければ(50センチ以上)、ノードからのデータは、そのシーンの同じ物体に関するものではない。したがって、データ操作には別の手順を開始する必要がある。
その手順は、2台のカメラで検出した2つの異なった物体の空間軌跡を時間の経過において評価し、より線形軌跡の物体を追跡するカメラの解釈が正しいと想定する。この手順は、非線形軌跡が、ノードのボール検出アルゴリズムにより判明する誤判定と関連付けされる可能性も考えることを含む。
1つのフレームについての情報が、2つのペアになったノードの一方のペアだけに利用できる場合(すなわち、ホモグラフィック・コーヒレンスの制御に基づいて上記の手順の後で他のノードのデータが破棄された場合)、コンソールは、ボールの3D位置に戻ることができず、前記手順によってノードの正しい動作を検証できない。
この問題を回避するために、ここでは、アクティブなカメラによって検出された物体の2D平面上の動作の直線性を検証し、線形軌跡でないために信頼性が劣るときには、前処理ウェイブレットに基づくニュウラル・ネットワークおよびグレイ・レベルの直接分析に基づくニュウラル・ネットワークを使ってボールの例が確認されるときにのみ、コンソールは、データを信頼性ありと考え続ける。
以上述べたことから、1つや2つの映像ビューだけではなく、コーヒレントなデータが得られるか否かによって、ゴール・イベントを検出するための特定手順(判定)を起動する必要になろう。
2つのノードからのデータがコーヒレントであれば、イベントの検出は、ボールの3D位置に基づいて行う。3D位置の推定においてエラー・マージンがあるので、ボールの位置が、ポストに対してゴール・エリアの内側にあり、バーまで少なくとも20センチであれば、ゴール・イベントは確実に検出される。実際には、不確実なエリアは検討され、本システムはゴールの可能性のあるメッセージを出してユーザに注意を促す。図12では、ゴール周囲の不確実エリアが略図で描かれている。
注意を促したいのは、ゴール平面に直角な方向には不確実エリアはないことである。その理由は、その方向に沿ったボールの位置の推定に対しては、ホモグラフィック手順の反応は常に信頼できると考えられるほど十分に正確であるからである。
2台のカメラのうちの一方に関するデータだけしか使えない場合、ボールの3D再構築は不可能である。そのようなケースでは、ボール(前記手順によって検証される)がカメラの2D映像平面内でポストを過ぎたとき、本システムはオペレータに注意を促す。勿論、2つのシーンがあって、そのうちの1つのシーンを本システムが信頼できないと見なすというケースでは、この状況に立ち戻ることになる。ここで明らかにしておきたいことは、ゴールを検出するためには、基本となる測定基準は、ゴール(ライン)の内側のエッジを通る垂直平面からのボールの距離である。このような2Dおよび3Dの測定基準は、ボールの全体がボールの内側平面を通り過ぎるとき警報信号が出され、システムによって常に計算される。
(ノードのソフトウェアの動作原理)
このパラグラフは、先行パラグラフで説明された処理装置が全システム内にあるスーパバイザとやり取り、ならびにインタフェースをとるときに使うロジックを詳細に説明することを目的としている。
すでに説明したように、きわめてダイナミックなイベント(ボールが最高120Km/hという高速で移動できることを想起されたい。)を判定することができるように、本システムは、1秒当たり200フレームを取得し、あるいは処理しなければならない。
さらに、考えねばならないのは、空間分解能をよくするには、640*480(0.3Mpel)に等しい最小サイズの映像を使用することが必要である。
これらの動作上の事柄からはじめて、すべての獲得したフレームの処理を保証するためには、各ノードが1/200=0.005sの最大時間内に1つのフレームの処理を完了することが必要であろう。
実際には、1つのフレームを処理する時間は、決定パラメータではなく、いくつかの要素に依存しており、その一番目が、処理すべき動きのある画素の数(1画素に対し、畳み込みと加算演算を行う必要がある)、そしてシーンの変化(ダイナミックス)についての以前の情報の存否(フレームt内のボールの位置およびその速度と移動方向が分かっていれば、フレームt+1内のサーチ・エリアは縮小できる。)
フレーム処理時間の変化を扱うために、各ノードに記憶領域(バッファ)が導入された。実際に、本システムは、この領域に、取得した複数の映像を蓄積し、そのコンテンツを順番に処理する。勿論、バッファの容量は限りがあり、したがって、待ち行列がバッファのサイズを越えることを避けるため、本システムがいかなる状況にも対処できるように、いくつかの動作原理、や特定の管理・回復手順が導入された。
前記動作原理および手順は、ゴール・イベントの検出性能に妥協せずとも、システム・コストの増加が避けられない特殊ハードウェアを使用することなしに、演算負荷を減らすことを可能にする。
まず最初に、すべての取得したフレームを連続して処理するのを避けることが考えられた。カメラの制限された視野(幅はゴール・ラインの前約2メートル、1メートル後ろ、高さはゴール・エリアよりも少し高い)を考慮し、以下の事実が活用された。すなわち、ほとんど常に映像は、ジャンプ機構(以下Jumpという)を利用する目的で、取得した一連の映像にボールを含んでいない。そのため演算システムはバッファを正しく運用することができる。
実際に、通常の状態では、取得された各20フレームの映像につき1フレームだけが本システムによって処理される(Jump20)。ところが、そのうちの1フレームにおいてボールの存在が検出されると、各フレームが分析される(Jump1)。この分析は、前に処理されたフレームの次のフレーム(Jump−19)から始める。これは時間的に過去へ戻る結果となるが(negative result)、シーンにボールが現れた瞬間にボールをロックすることを可能にするための処理である。
本システムが、Jump1を行い、3枚の後続のフレームでボールの存在が判定されると、追跡手順が起動される。上述したように、追跡手順は、先行フレームで得た位置の周囲のエリアで次のフレームでボールをサーチすることを含む。前記周囲のエリアは、プレーヤあるいはゴール・ポストによって(ボールが)逸れるか、退けられたとき、ボールがルースになるのを避けるため方向を考慮せず(最初のサーチ命令に対するものでないにせよ)、120Km/hで移動しているボールが進むことができる最大距離に等しいと想定される。この解決策は、サーチ時間を縮小し、後続の検出が先行の検出と両立することを可能にする。追跡フェーズおよび後続のフレームにボールがあるときには、ボールはこれ以上検出されず、最大の映像になるまで、サーチ周囲エリアは徐々に拡大される。予め定めた待ち時間が過ぎると、その時点でボールはシーンの外にあると想定されるため、Jump20の状態が回復される。
ボールが映像のエッジに近くシーンの外に出ようとしているようなとき、あるいは計算された速度が非常に遅く(ボールが静止しており重要なイベントが観察される可能性が低い)あるいはボールの動作が直線の軌跡を成していない(本システムがボールに似た物体を誤ってボールとして認識するシチュエーションに典型的な)ときに、Jump20の状態に戻る。
バッファの最大サイズに対して適切な処理時間を可能にする戦略は、バックグラウンド除去法を導入する戦略で、運動エリアのラベル付けを行いボールのサイズに不適合な運動エリアを削除することを可能にする(映像データの)接続性を分析する手順である。
この手順は、本システムがjump20の状態のとき常にアクティブであって、それ以外のケースでは、シーンをよりよく解釈することを可能にするため、動作を停止する(ボールがプレーヤに接近しているか、その影に入っているときに、前記接続性を分析する手順を用いるとボールはフィルタ処理されてしまうので)。
連続映像のリアルタイム処理を支援するため、追跡フェーズにおいてボールがゴールから遠いとき、一連の取得された映像(Jump=2)をサンプリングする第4のステップの導入が決定された。
しかし、特別な異常な動作状態のためバッファが満杯になる可能性を除外できないため、本システムが関連するノードの通常の動作状態を約2秒で回復させることができる特殊な操作手順が導入された(ノード・タイム・ドリフト正常化手順)。実際には、取得された各フレームについて、ノードは、バッファが保存しているレコードの数を検証し、その数が90%以上(すなわち、バッファがほとんど満杯)であれば、本システムは、バッファのレコードの制御部が利用可能な全スペースの10%に等しい値を返す(バッファがほとんど空になる)まで、ノードのソフトウェアを特定のフレームの処理に制限する特別な手順を起動する。
ノード・タイム・ドリフトの正常化手順が動作中に、映像が常に取得され保存される(1つもフレームは失われない)ことを明確にすることは重要である。しかし、バックグラウンド除去法のための基準モデルのみを更新するため処理が主要なものに縮小される。この他の手順が、起動されないため、この状態では、ゴール・イベントをリアルタイムで検出することは、不可能である。手順が終了すると、すべてのソフトウェア手順は、元の状態に戻され、現在のフレームについて動作する。ユーザによるオフライン・インテリジェント・プレイバックという次の明示的要求がある場合を除いては、予め部分的に処理されたフレームは、これ以上処理されない。
(約定と特性)
1. FIGC−FIFA(イタリア・サッカー競技連盟−国際サッカー連盟)の全面的管理下にある本システムのオペレーティング・モードに関するソフトウェア保有についての約定および透明性
本システムが外からアクセスもコントロールもできないスタジアムの下部構造に統合されているため、ファントム・ゴール・システムのすべてのハードウェア・コンポーネント、配線、およびソフトウェアは、
FIGC−FIFAの全面的管理下にある。サーバ、カメラ、コンソール、および各種のサポート・デバイスの間の相互接続は、光ファイバと銅配線を介して、アドホック・ネットワーク下部構造において実施される。本システムは、遠隔でアクセスはできず、サーバ・ルーム(コントロール・ルーム)に物理的にアクセスすることによってのみ使用が可能である。
2. 非独占テクノロジーの利用および実施されたアルゴリズムに対するアクセス容易さ
3. プレーヤ、レフリー、アシスタント、ならびに下部構造(フィールド、ボール)へ介入性のないテクノロジー
光学的遠隔検出システムは、スタジアムの下部構造の上に、フィールドからかなり離れて、スタンドからのゲームの見易さを妨げないように構築される。
4. ゲームの進行を妨げない
試合の変化(ダイナミックス)にリアルタイムで適合するように送られてくる信号に基づいて、ゴール/ノーゴール・イベントについての判定を行うファントム・ゴール・テクノロジーがレフリーをサポートする。
5. ゴール(ライン)の内側平面を通る垂直平面に対するボールの位置の判定は1センチの精度
6. 高いセキュリティと整合性
システムの動作を変えることは、全く不可能である。いかなる不具合も指定されたチェック手段による取得映像の客観的評価に基づいて常にチェックされる。
7. 異なった大気状態下の操作性
本システムは、異なった大気状態でテストされた。光学的センサは、人間にとってすでに重大である可視性条件を十分に維持する赤外線スペクトル成分を感知することが確認される。
8. 高い保全性レベル
本システムは、異なったプロバイダによって提案された技術的解決策を受け入れることができる。すべてのハードウェア・コンポーネントはスタンダードなものである。特許された「インテリジェント・ソフトウェア」のコンポーネントについても、国際レベルの特許保護のために発効しているルールにしたがって運用する限りは使用することができる。
本発明の演算システム主題を実施するために利用されたシステム・アーキテクチャを、例を挙げて以下に説明する。
図13と図14に示すファントム・ゴール・システムは、以下のように構成された主もしくは従のアーキテクチャにおけるハードウェアとソフトウェアのコンポーネントを含んでいる。
1. コンソールあるいは監視装置と呼ばれるマスタ・ユニット:すべてのオペレーションを初期化し、オペレータとシステムのすべてのコンポーネントのやり取りを処理する
2. サーバあるいは取得ユニットと呼ばれる4つのツイン・スレーブ(スレーブは、ここでは従属的装置と解す):取得した映像を記録、表示、処理する
コンソールとサーバとのやり取りは、接続手段、たとえば、LAN(ローカル・エリア・ネットワーク)によって行われる。主・従ソフトウェア戦略に基づいて行われる。
(マスタ・コンソール)
コンソール(図15)は、複数のサーバに取得、記録、処理を開始させる。ゴール・イベントを取り扱い、映像を表示する。正しい判定を得るためサーバが生成した処理結果を監視し、統合する。コンソールは、私設LANを介してサーバに接続される。
コンソールは、5つのセクションからなるユーザに使い勝手のよいソフトウェアのマン−マシン・インタフェースを基盤としている。5つのセクションは以下の通り:
1.コマンド・セクション
自動的にゴール・イベントを検出し、標準フォーマットおよび圧縮フォーマットで重要なイベントのビデオクリップを抽出するため、コマンド・セクションはオペレータに画像の取得と記録を行わせる。
2.ビジュアライズ・セクション
このセクションは、ビデオ・レコーダに似た仮想キーを用いて、オペレータに記録された映像を異なったスピードで表示させることができる。すなわち、早送り(たとえば、ノーマル、2×、4×など)あるいは減速(たとえば、1/2×、1/4×など)を指示したり、表示された連続映像を巻き戻したり、あるいは前に進めたり、ある時刻にジャンプさせることができる。
3.ログ・セクション
サーバが検出したすべての重要なイベントは、コンソールへ送信される。ログ・セクションは、これを記録し、オペレータに見せて判定を検証させる。
4.チューニング・セクション
必要があれば、取得中にノードが使用する処理パラメータを調整させるセクションである。試合中に観察された大気状態(たとえば、影、太陽、曇天、降雨)に基づいて予め用意されたセッティングを選択して行う。
5.ウォッチ(検査)セクション
このセクションは、各スレーブ・サーバ(ノード)が得た映像の各種処理フェーズの中間結果を検査することができる。
さらに、コンソールは、サーバ間の同期を行う。実際には、取得動作の同期をとるため、すべてのサーバが同時に受信するトリガ信号を発信する。
コンソールに委ねられたもう1つのタスクは、スレーブ・サーバから来る返答を統合することである。
スレーブ・サーバは、2つの別個のグループに分けて論理的に取り扱われる。各グループは、特定のゴールの判定処理を統括し、特定の検出待ち行列によって処理される。
トリガ信号によって同期が達成されるので、ある時刻においてカメラが同時に行った検出にフレーム番号を割り当てることができる。フレーム番号は、検出の待ち行列の順序付けをするキーとして使われる。
行列作業は、以下の前提に基づいて行われる。
・1つのノードが取得したすべてのフレームを処理することはできない。
・ゴールの判定されたフレームは、ノードの数が、ゼロ、1あるいは2のノードで処理される可能性がある。
・「ライブ」動作中、各ノードが観察した処理順序は、正確に順次的であること。
・スレーブ・サーバから通信は、順次受信されること。
これらの約束ごとによって、2つの映像ビューの情報が得られなくなるまで、あるいは、あるフレームにおいてペア情報が実施できなくなったと推定できなくなるまで、フレームの処理を先延ばし可能である待ち行列の処理中の動作を判断できる。
(スレーブ・サーバ)
各サーバは、映像取得、記録、表示、処理を自動的に実行することができ、その結果をコンソールに送信する。マスタ・コンソールが各サーバを直接に使用可能にする。各サーバは、以下の論理装置で構成される。
1.取得ユニット
2.記録ユニット
3.表示ユニット
4.処理ユニット
各サブ・システムのハードウェア・ソフトウェアのコンポーネントを以下に詳細に説明する。図16は、例として、演算アーキテクチャのハードウェアの詳細を示す。
(取得サブ・システム)
各サーバは、1台のカメラで200fps(1秒当たりのフレーム数)の速度で映像を取得する。各TVカメラは、図17に示すようにIP66ケーシングに設置される。各ケーシングは、TVカメラの動作に正しい環境条件を保証するため温度調節システムと、ウィンドスクリーン・ワイパを装備している。この調節装置は、2つの温冷校正温度センサによって自動的に運転される。温度が35℃を越える場合、複数のファンが起動される。6℃を下回れば、温度抵抗が働く。
TVカメラの正しい位置決めと校正が行えるように、ケーシングは、パン・チルト装置の上に組み立てられる。採用された光学装置は、22×ズームである。パン・チルト装置、ウィンドスクリーン・ワイパ、および光学装置は、RS232ラインを介してコンピュータに接続された制御装置によって遠隔制御される。TVカメラで取得された映像は、ディジタル・フォーマットで形成され、CAMERALINK標準規格にしたがって送信される。
TVカメラとコンピュータとの距離が200mt以上であれば、すべての電気信号は、特殊コンバータで光学信号に変換され、コンピュータまで光ファイバで送られる。制御装置、光学コンバータ、およびTVカメラ電源は、図18に示されるIP66ケーシングに搭載され、TVカメラの近辺に設置される。
コンピュータ・ステーションでは、ツウィン・オプティカル・コンバータが、光学信号をコンピュータに直接送られる電気信号に変換する。コンピュ−タ内に設置された結像システムは、送信された映像を取得するため、CAMERALINKインタフェースを有するディジタルフレーム取り込み器である。CNR−ISSIAが開発した取得プログラムは、映像を後段のサブ・システム(記録、表示その他)に利用できるように提供する。
(記録ユニット)
200fpsの速度でTVカメラから送信される映像をSCSIディスクに直接記録するCNR−ISSIAが開発したソフトウェア・プログラムを有している。このサブ・システム記憶容量は、サッカー試合の全体、延長時間、ペナルティ・キックを含む。
処理装置は、書き込みで動作可能で、オンライン再生時に同時に読み取りが可能にするバッファを使用しない非同期モードで、ディスクに直接アクセスするシステムを取り扱う。適切な保護と同期の機構が、すべての取得されたフレームの記録を保証するために設けられている。
(表示ユニット)
CNR−ISSIAが開発したソフトウェア・プログラムは、各サーバの図形機能を用いてモニタ上で25fpsの速度で映像を表示する。図19は、ビデオ・スプリッタで多重化された全サーバの表示出力を、単一の21インチLCDモニタに映したものである。この表示装置は、TVカメラから直接送られてきた映像(オンライン・モード)、あるいはディスクに保存された映像(再生モード)を表示できる。
(処理ユニット)
CNR−ISSIAが開発したソフトウェア・プログラムは、200fpsの平均処理速度でボールを検出し、追跡するため処理装置を使用する。映像の処理時間の起こりうる変化を吸収するため取得ユニットと処理ユニットの間にバッファ・メモリが設置される。適切な保護と同期の機構が、前記メモリを正しく運用するために設けられる。処理結果は、蓄積の遅れを生じることなくコンソールに送信される。
(結論)
本発明は、独占状態のものに関与しないテクノロジーの使用に限り、現在有効な国際スポーツ・ルールならびにマッチ・マネージャにも違背せず、FIGCが課した約定を遵守してプレーヤ、およびプレイ・フィールドに関する下部構造に対して介入性のないテクノロジーを利用している。
CNRおよびFIGCは、試合自体の進行に衝撃や干渉をもたらすことなしに、セリエAの公式試合において、本システムの全体テストに向けて実験フェーズをきわめて限定的な形で開始した。
2006年3月4日に本システムを示し、FIFAによって承認されており、2007年3月にいずれのかの国際ショーにおいて、本システムの最終実験を開始する計画を練ることになろう。
本発明は、これまで好ましい実施例に言及しながら説明した。同発明上の中核に属する他の実施例がありえること、それらはすべて添付する請求項の保護範囲で構成されることを意味する。
本発明の方法を実施するシステムの全体図である。 本発明のシステムの詳細を示す。 本発明のシステムの特定利用モードを図解する。 本発明の方法論を実施するブロック図である。 本発明の方法論を用いて得た結果の1例を示す。 本発明の方法論を実施するブロック図を1例を、限定を目的とせずに、示す。 本発明の方法論の詳細図である。 本発明の方法論を実施するブロック図の1例を示す。 本発明の方法論を実施するブロック図の1例を示す。 本発明の方法論が準拠する幾何学的原理を三次元図で示す。 本発明の方法論が準拠する幾何学的原理の実施例を定性的映像で示す図である。 本発明の方法論の正確さを概略映像で示す。 本発明のシステムの各種ハードウェア構成要素を接続する例を概略的に示すが、これに限定するものではない。 本発明のシステムの各種ハードウェア構成要素を接続する例を概略的に示すが、これに限定するものではない。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。 本発明のシステムを構成するいくつかのハードウェア構成要素を示す。

Claims (35)

  1. あるエリアにおいてイベントが発生したことを検出し、信号で知らせる方法であって、前記発生は、1つあるいはそれ以上の基準の空間位置に対する予め定めた類型に属する1つあるいはそれ以上の動いている被写体の互いの空間位置に依存し、前記方法は、
    a)前記エリアの複数の連続したディジタル映像を取得し;
    b)前記取得した映像内の最初のサーチ・エリアを定め;
    前記取得した映像のそれぞれについて、
    ・ 前記映像内のすべての動いている被写体を認識し;
    ・ 前記取得した映像から動いていると認識された被写体だけを含んでいるフィルタ処理をした映像を抽出し;
    ・ 前記フィルタ処理をした映像のサーチ・エリア内の動いていると認識され、前記予め定めた類型に属している被写体を選択し;
    ・ 前記サーチ・エリア内の被写体の空間位置を計算し;
    ・ イベント発生を評価し;
    ・ 検証されたとき前記発生を信号で送信し;あるいは反対のケースでは、
    前記サーチ・エリア内の被写体の変化(ダイナミックス)を特定する1つあるいはそれ以上のパラメータを計算し;
    前記パラメータに基づいて、次の映像上で行われる前記選択に用いられる新しいサーチ・エリアを評価することを含むイベント発生を検出し、信号で知らせる方法。
  2. 請求項1に記載の方法であって、前記フィルタ処理をした映像を抽出するフェーズは、予め記憶された参照映像に基づいて行われる方法。
  3. 請求項2に記載の方法であって、前記フィルタ処理をした映像を抽出するフェーズは、現在の映像を参照映像と比較する別のサブ・フェースを含む方法。
  4. 請求項2あるいは3に記載の方法であって、前記参照映像は常に現在の参照映像を使用するため遅れずに更新されることを含む方法。
  5. 請求項1〜4のいずれかに記載の方法であって、前記選択ステップは、前記映像のそれぞれを前処理するステップを含む方法。
  6. 請求項5に記載の方法であって、前記前処理ステップは、縁のある映像を取得することにより、映像内にある被写体のエッジを抽出することを含む方法。
  7. 請求項6記載の方法であって、前記被写体のエッジを抽出するステップは、前記動いている被写体を空間的に特性化するようなフィルタによって前記縁のある映像の畳み込み演算によって相関マップを形成するステップを含む方法。
  8. 請求項7記載の方法であって、前記フィルタは、被写体のサーチされた予め定めた類型のサイズと空間に特徴がある二次元畳み込みマスクによって形成される方法。
  9. 請求項1〜8のいずれかに記載の方法であって、前記選択のステップは、サーチされた前記動いている被写体の特性パラメータを計算する別のステップを含む方法。
  10. 請求項9に記載の方法であって、前記計算するステップは、グレイ・レベルの分析によって実行される方法。
  11. 請求項9あるいは10記載の方法であって、前記計算するステップは、ウェイブレット型の変換演算によって実行される。
  12. 請求項1〜11のいずれかに記載の方法であって、前記選択のステップは、予め定義された種類に属する被写体を選択するステップは、識別器によって実行される方法。
  13. 請求項12記載の方法であって、前記識別器は、ニューラル・ネットワークに基づいている方法。
  14. 請求項13記載の方法であって、前記ニューラル・ネットワークは、空間タイプの情報によって教え込まれる方法。
  15. 請求項14に記載の方法であって、前記空間タイプの情報は、カメラが取得したグレイ・レベルの分析に基づいて得られる方法。
  16. 請求項13〜15のいずれかに記載の方法であって、前記ニューラル・ネットワークは、ウェイブレット係数によって教え込まれる方法。
  17. 請求項16に記載の方法であって、前記ニューラル・ネットワークは、前記検出された被写体の空間位置および可視性付帯条件に基づいて得られるニューラル・ネットワーク・ライブラリの中で選択できる方法。
  18. 請求項12〜17のいずれかに記載の方法は、前記識別器の構成に適した、例を使って教え込むステップを含む方法。
  19. 請求項1〜18のいずれかに記載の方法であって、サーチ・エリアにおける前記被写体の変化(ダイナミックス)を明らかにする1つあるいはそれ以上のパラメータを計算するサブ・ステップは、予測タイプの手順に基づいている方法。
  20. 請求項1〜19のいずれかに記載の方法であって、被写体の空間位置を計算するステップは、さらに前記被写体の質量中心の三次元位置を測定するステップを含む方法。
  21. 請求項20に記載の方法であって,前記測定ステップは、2つの観察点から生成される視線の交点を計算するステップを含む方法。
  22. 請求項21に記載の方法であって、異なった前記2つの観察点によって生成される線は、ホモグラフィック・テクニックによって構築される方法。
  23. 請求項1〜22のいずれかに記載の方法であって、前記イベント発生を評価するステップは、カメラの映像平面内の被写体の二次元位置の推定に基づいている方法。
  24. 請求項1〜23のいずれかに記載の方法であって、前記イベント発生を評価するステップは、そのあとにメートル法タイプの判定システムが設けられる方法。
  25. 請求項1〜24のいずれかに記載の方法は、前記取得された映像をそれぞれ記憶するステップを含む方法。
  26. あるエリアにおいてイベントが発生したことを検出し、信号で知らせるシステムであって、前記発生は、1つあるいはそれ以上の固定基準の空間位置に対する予め定めた類型に属する1つあるいはそれ以上の動いている被写体の相互空間位置に依存し、前記システムは、前記エリアの複数のディジタル映像の1つあるいはそれ以上の取得装置を有し、それぞれの前記装置は、1つあるいはそれ以上の固定基準に対する1つあるいはそれ以上の前記被写体の空間位置を定義するのに適した1つあるいはそれ以上の処理装置を有しており;前記システムは、前記空間位置に基づいて前記イベントの発生を評価する監視装置を有し、前記システムは、前記処理装置および前記監視装置が請求項1から25のいずれかに記載の方法を実行することを特徴とするシステム。
  27. 請求項26に記載のシステムであって、前記取得装置は、少なくともカメラを有するシステム。
  28. 請求項27に記載のシステムであって、前記カメラは、200映像/秒の時間分解能で動作するディジタル・タイプであるシステム。
  29. 請求項27と28に記載のシステムは、さらに前記カメラを校正するための手段を有するシステム。
  30. 請求項26〜29のいずれかに記載のシステムであって、各取得装置は、さらに取得した映像をリアルタイムで記録する装置を有するシステム。
  31. 請求項26〜30のいずれかに記載のシステムであって、前記システムは、さらに前記取得装置を監視装置に接続する手段を有するシステム。
  32. 請求項26〜31のいずれかに記載のシステムであって、前記監視装置は、マン−マシン・インタフェース手段を有するシステム。
  33. 請求項32に記載のシステムであって、前記インタフェース手段は、結果の表示および/または分析を可能にするのに適しているシステム。
  34. 格納手段に格納された、コンピュータ用プログラムであって、前記プログラムは、コンピュータで実行されるとき、請求項1から25のいずれかに記載の方法を実行するのに適しているプログラム。
  35. コンピュータ用プログラムであって、前記プログラムがコンピュータで実行されるとき、請求項1から25のいずれかに記載の方法を実行するのに適しているプログラム。
JP2008556904A 2006-03-03 2007-02-28 スポーツ競技場におけるイベントの自動検出方法とシステム Expired - Fee Related JP5442261B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT000110A ITRM20060110A1 (it) 2006-03-03 2006-03-03 Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
ITRM2006A000110 2006-03-03
PCT/IB2007/050652 WO2007099502A2 (en) 2006-03-03 2007-02-28 Method and system for the automatic detection of events in sport fields

Publications (2)

Publication Number Publication Date
JP2009528119A true JP2009528119A (ja) 2009-08-06
JP5442261B2 JP5442261B2 (ja) 2014-03-12

Family

ID=38459418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008556904A Expired - Fee Related JP5442261B2 (ja) 2006-03-03 2007-02-28 スポーツ競技場におけるイベントの自動検出方法とシステム

Country Status (5)

Country Link
US (1) US8543525B2 (ja)
EP (1) EP1991961A2 (ja)
JP (1) JP5442261B2 (ja)
IT (1) ITRM20060110A1 (ja)
WO (1) WO2007099502A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015505681A (ja) * 2011-10-31 2015-02-26 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン センサー・データを分析する装置と方法
JP2015070503A (ja) * 2013-09-30 2015-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018105247A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
JP2021525127A (ja) * 2018-05-23 2021-09-24 ピクセルロット エルティーディー.Pixellot Ltd. 球技における審判の判定の自動検出用システム及び方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008200966B2 (en) * 2008-02-28 2012-03-15 Canon Kabushiki Kaisha Stationary object detection using multi-mode background modelling
KR20130022410A (ko) 2010-05-28 2013-03-06 퀄컴 인코포레이티드 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
DE102010052527A1 (de) * 2010-11-25 2012-05-31 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur verbesserten Tondarstellung von Geräuschen bei einer Videoaufzeichnung
KR101223046B1 (ko) * 2011-02-08 2013-01-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
US11288472B2 (en) 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
US9275472B2 (en) * 2011-11-18 2016-03-01 Disney Enterprises, Inc. Real-time player detection from a single calibrated camera
US9999825B2 (en) 2012-02-23 2018-06-19 Playsight Interactive Ltd. Smart-court system and method for providing real-time debriefing and training services of sport games
JP6354229B2 (ja) * 2014-03-17 2018-07-11 富士通株式会社 抽出プログラム、方法、及び装置
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
US9275284B2 (en) * 2014-04-30 2016-03-01 Sony Corporation Method and apparatus for extraction of static scene photo from sequence of images
US9213898B2 (en) * 2014-04-30 2015-12-15 Sony Corporation Object detection and extraction from image sequences
CN104200237B (zh) * 2014-08-22 2019-01-11 浙江生辉照明有限公司 一种基于核化相关滤波高速自动多目标跟踪方法
US11551076B2 (en) 2014-09-05 2023-01-10 Qualcomm Incorporated Event-driven temporal convolution for asynchronous pulse-modulated sampled signals
US9639954B2 (en) * 2014-10-27 2017-05-02 Playsigh Interactive Ltd. Object extraction from video images
US9817299B2 (en) 2015-07-23 2017-11-14 Admiral Video, LLC High-definition pylon-mounted camera assembly with mounting structure
US10139709B2 (en) 2015-07-23 2018-11-27 Admiral Video, LLC Corner-oriented high-definition pylon-mounted cameras
US9846805B2 (en) * 2016-03-16 2017-12-19 Sportsmedia Technology Corporation Tracking of handheld sporting implements using computer vision
ITUA20164783A1 (it) * 2016-06-30 2017-12-30 Lacs S R L Un sistema di controllo di simulazioni tattiche
TWI696127B (zh) * 2018-06-29 2020-06-11 奇景光電股份有限公司 無訊框緩衝器的卷積神經網路系統與方法
US20220044423A1 (en) * 2018-12-02 2022-02-10 Playsight Interactive Ltd. Ball trajectory tracking
US11511737B2 (en) 2019-05-23 2022-11-29 Systomix, Inc. Apparatus and method for processing vehicle signals to compute a behavioral hazard measure
US10699002B1 (en) * 2019-11-22 2020-06-30 Capital One Services, Llc Identification of database intrusion by changes in data tables
CN111228777B (zh) * 2020-02-27 2021-04-16 东北石油大学 智能篮球裁判处理方法和装置
US11710316B2 (en) * 2020-08-13 2023-07-25 Toca Football, Inc. System and method for object tracking and metric generation
US11514590B2 (en) 2020-08-13 2022-11-29 Toca Football, Inc. System and method for object tracking
TWI769915B (zh) * 2021-08-26 2022-07-01 財團法人工業技術研究院 投射系統及應用其之投射校準方法
CN117156259B (zh) * 2023-10-30 2024-03-22 海信集团控股股份有限公司 一种视频流获取方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030049590A1 (en) * 2001-09-11 2003-03-13 Eitan Feldbau Determining position of players on a sport field
WO2004012150A1 (ja) * 2002-07-26 2004-02-05 National Institute Of Information And Communications Technology Incorporated Administrative Agancy 画像認識装置及び画像認識プログラム
JP2004522149A (ja) * 2001-01-29 2004-07-22 コンシグリオ・ナツィオナーレ・デレ・リチェルケ 基準点に対する物体の相対位置を測定するシステムおよび方法
JP2006135799A (ja) * 2004-11-08 2006-05-25 Seiko Precision Inc ターゲット監視装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274356B2 (en) * 2003-10-09 2007-09-25 Smart Technologies Inc. Apparatus for determining the location of a pointer within a region of interest

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004522149A (ja) * 2001-01-29 2004-07-22 コンシグリオ・ナツィオナーレ・デレ・リチェルケ 基準点に対する物体の相対位置を測定するシステムおよび方法
US20030049590A1 (en) * 2001-09-11 2003-03-13 Eitan Feldbau Determining position of players on a sport field
WO2004012150A1 (ja) * 2002-07-26 2004-02-05 National Institute Of Information And Communications Technology Incorporated Administrative Agancy 画像認識装置及び画像認識プログラム
JP2006135799A (ja) * 2004-11-08 2006-05-25 Seiko Precision Inc ターゲット監視装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015505681A (ja) * 2011-10-31 2015-02-26 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン センサー・データを分析する装置と方法
JP2015070503A (ja) * 2013-09-30 2015-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2018105247A1 (ja) * 2016-12-07 2018-06-14 ソニーセミコンダクタソリューションズ株式会社 検知システム
US11418705B2 (en) 2016-12-07 2022-08-16 Sony Semiconductor Solutions Corporation Detection system
JP2021525127A (ja) * 2018-05-23 2021-09-24 ピクセルロット エルティーディー.Pixellot Ltd. 球技における審判の判定の自動検出用システム及び方法

Also Published As

Publication number Publication date
JP5442261B2 (ja) 2014-03-12
WO2007099502A3 (en) 2008-08-14
WO2007099502A2 (en) 2007-09-07
US20090074246A1 (en) 2009-03-19
US8543525B2 (en) 2013-09-24
ITRM20060110A1 (it) 2007-09-04
EP1991961A2 (en) 2008-11-19

Similar Documents

Publication Publication Date Title
JP5442261B2 (ja) スポーツ競技場におけるイベントの自動検出方法とシステム
CN107240124A (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN109886078B (zh) 目标对象的检索定位方法和装置
US11045705B2 (en) Methods and systems for 3D ball trajectory reconstruction
US8300935B2 (en) Method and system for the detection and the classification of events during motion actions
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
CN110298231B (zh) 一种用于篮球比赛视频进球判定的方法及系统
CN105745687B (zh) 情景感知移动目标检测
CN109903312A (zh) 一种基于视频多目标跟踪的足球球员跑动距离统计方法
JP5180733B2 (ja) 移動物体追跡装置
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN111325089A (zh) 跟踪对象的方法和设备
US8068640B2 (en) Method for detecting image regions that are conspicuous in terms of the movement in them; apparatus and computer program for performing the method
JP2018523868A5 (ja)
CN107341442A (zh) 运动控制方法、装置、计算机设备和服务机器人
FR2911707A1 (fr) Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
Ren et al. Multi-camera video surveillance for real-time analysis and reconstruction of soccer games
CN104937607A (zh) 用于重建目标的运动的装置、方法以及计算机程序
US10564250B2 (en) Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same
CN107292223A (zh) 一种实时手势检测的在线验证方法及系统
WO2014103673A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN110443114A (zh) 人脸识别方法、装置、计算机设备及可读存储介质
CN109344792A (zh) 一种目标自动识别跟踪方法
JP4465150B2 (ja) 基準点に対する物体の相対位置を測定するシステムおよび方法
CN109977796A (zh) 尾随通行检测方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130321

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131218

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees