JP2021525127A - 球技における審判の判定の自動検出用システム及び方法 - Google Patents

球技における審判の判定の自動検出用システム及び方法 Download PDF

Info

Publication number
JP2021525127A
JP2021525127A JP2020565379A JP2020565379A JP2021525127A JP 2021525127 A JP2021525127 A JP 2021525127A JP 2020565379 A JP2020565379 A JP 2020565379A JP 2020565379 A JP2020565379 A JP 2020565379A JP 2021525127 A JP2021525127 A JP 2021525127A
Authority
JP
Japan
Prior art keywords
event
ball game
rules
images
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020565379A
Other languages
English (en)
Inventor
オズ，ガル
リーベルマン，ヨアフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixellot Ltd
Original Assignee
Pixellot Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixellot Ltd filed Critical Pixellot Ltd
Publication of JP2021525127A publication Critical patent/JP2021525127A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021—Tracking a path or terminating locations
    • A63B2024/0025—Tracking the path or location of one or more users, e.g. players of a game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
    • A63B2102/22—Field hockey
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2243/00—Specific ball sports not provided for in A63B2102/00 - A63B2102/38
    • A63B2243/0025—Football
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Pinball Game Machines (AREA)
  • Display Devices Of Pinball Game Machines (AREA)

Abstract

球技競技中の審判の判定を自動的に検知するシステムが提供される。前記システムは、前記球技競技中に発生する球技場の複数の画像を含むデータベースと、前記データベースに結合した事象検知モジュールと、前記事象検知モジュールに結合した事象分析モジュールと、を含み、前記事象検知モジュールは、所定の球技の規則に基づいて、特定された規則に基づいた事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定し、前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定し、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記特定された規則に基づいた事象の次に起こり、前記事象分析モジュールは、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定する。【選択図】 図１Ａ

Description

本発明は、運動競技の自動解析の分野に関し、特には、運動競技中の審判の判定の自動検出用システム及び方法に関する。
現在、運動競技において規則に基づいた事象に関連する最終判定は、審判によってなされる。運動競技の解析用の現在のいくつかのシステムは、規則に基づいた事象として疑われる事象を検知する。例としてサッカーを参照すると、そのようなシステムは、例えば、ボールが、クロスバーの下方で、ゴールポスト間のゴールラインを完全に超えた事象を検知し、さらに、その事象を得点が入る事象として判定する。しかしながら、検知された事象は、所定の球技の規則に違反した状態で委任されることもあり（例えば、ファール及び／又はオフサイドによって）、審判によって不適当とされることもある。運動競技の現在のいくつかの解析システムは、さらに、検知された事象（例えば、規則に基づいた事象として疑われる）に関する事象に関連するデータを生成し、さらに、事象に基づいたデータを審判に与え、審判がその事象に関して判定する方法を助ける。
運動競技の解析用の現在のシステムの不利な点は、それらが、よく見ても、規則に基づいた事象として疑われる事象の検知を可能にすることである。現在、これらの検知された事象は、審判によって承認されるべきであるので、規則に基づいた事象として直接的に考慮されない。
本発明の一つの局面は、球技競技中の審判の判定を自動的に検知するシステムを提供し、前記システムは、前記球技競技中に発生する球技場の複数の画像を含むデータベースと、前記データベースに結合した事象検知モジュールと、前記事象検知モジュールに結合した事象分析モジュールと、を含み、前記事象検知モジュールは、所定の球技の規則に基づいて、特定された規則に基づいた事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定し、前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定し、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記特定された規則に基づいた事象の次に起こり、前記事象分析モジュールは、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定する。
本発明の他の局面は、球技競技中の得点が入る事象に関連する審判の判定を自動的に検知するシステムを提供し、前記システムは、前記球技競技中に発生する球技場の複数の画像を含むデータベースと、前記データベースに結合した事象検知モジュールと、前記事象検知モジュールに結合した事象分析モジュールと、を含み、前記事象検知モジュールは、所定の球技の規則に基づいて、得点が入る事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定し、前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定し、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記得点が入る事象の次に起こり、前記事象分析モジュールは、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定する。
本発明の他の局面は、球技競技中の審判の判定を自動的に検知する方法を提供し、前記方法は、前記球技競技中に発生する球技場の複数の画像を受け取ること、所定の球技の規則に基づいて、特定された規則に基づいた事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定すること、前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定すること、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記特定された規則に基づいた事象の次に起こり、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定すること、を含む。
本発明の他の局面は、球技競技中の得点が入る事象に関連する審判の判定を自動的に検知する方法を提供し、前記方法は、前記球技競技中に発生する球技場の複数の画像を受け取ること、所定の球技の規則に基づいて、得点が入る事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定すること、前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定すること、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記得点が入る事象の次に起こり、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定することを含む。
これらの、任意の、及び／又は、本発明の他の局面及び／又は利点は、以下に示され、可能であれば詳細な説明から推論され、及び／又は本発明の実行によって学習できる詳細な説明に記述される。
発明の実施形態をより理解し、それがどのように実施されるかを示すために、例示としてのみ、全体を通して同じ数字が対応する要素又は部位を示す添付の図面に参照される。
添付図は以下である。
図１Ａは、本発明のいくつかの実施形態に係る、球技競技中の、審判の判定の自動検知用のシステムの様々な構成を示す。 図１Ｂは、本発明のいくつかの実施形態に係る、球技競技中の、審判の判定の自動検知用のシステムの様々な構成を示す。 図１Ｃは、本発明のいくつかの実施形態に係る、球技競技中の、審判の判定の自動検知用のシステムの様々な構成を示す。 図２Ａは、本発明のいくつかの実施形態に係る、サッカー及びホッケーにおける特定の第２事象の参照パターンの模式図である。 図２Ｂは、本発明のいくつかの実施形態に係る、サッカー及びホッケーにおける特定の第２事象の参照パターンの模式図である。 図３Ａは、本発明の実施形態に係る、球技競技中の審判の判定の自動検知の方法のフローチャートである。 図３Ｂは、本発明の実施形態に係る、球技競技中の審判の判定の自動検知の方法のフローチャートである。 図３Ｃは、本発明の実施形態に係る、球技競技中の審判の判定の自動検知の方法のフローチャートである。 図３Ｄは、本発明の実施形態に係る、球技競技中の審判の判定の自動検知の方法のフローチャートである。 例の簡潔化及び明確化のために、図面に示される要素は、必ずしも縮尺通りに描かれているわけではない。例えば、要素のいくつかの寸法は、明確化のために、他の要素に対して大きく描かれている。さらに、適切と思われる場合、参照数字は、図面の中で繰り返され、対応する又は類似の要素を示す。
以下の記載において、本発明の様々な局面が記載される。説明の目的として、特定の構成及び詳細が明らかにされ、本発明の完全な理解を提供する。しかしながら、本発明が、ここに表される特定の詳細なしに実施されることは、当業者に明らかでもある。さらに、よく知られている特徴は、本発明を妨げないように、省略され又は簡易化され得る。図面を特に参照して、示される事項は、例として使用され、本発明の例示的な検討の目的のみのためであり、本発明の原理及び概念的な検知の最も有効かつ容易に理解される記載であると思われるものを提供するために表されることが強調される。この点において、本発明の構造的詳細を、本発明の基本的理解のために必要である以上に詳細に示す試みはなされておらず、本発明のいくつかの形態が実際にどのように具体化され得るかを当業者に明らかにする図面を用いた説明がなされている。
発明の少なくとも一つの実施形態を詳細に説明する前に、本発明は、以下の説明又は図面に示される要素の構造及び配置の詳細に適用することに限定されない。発明は、開示された実施形態の組合せと同様に、様々な方法で実行され得る又は実施され得る他の実施形態に適用可能である。また、ここに使用される言葉使い及び用語は記載の目的のためであり、限定とみなされるべきでないことが理解されるべきである。
他に特的に記述されない限り、以下の検討から明らかなように、「処理する」、「コンピューティングする」、「計算する」、「判定する」、「強調する」等の用語を用いる特定の検討は、コンピューティングシステムのレジスター及び／又はメモリー内の、例えば電子的な、物理的な量として表されるデータを取り扱う及び／又はコンピューティングシステムのメモリー、レジスター又は他の情報記憶、伝送又は表示機器内の物理的な量として同様に表される他のデータに変換する、コンピューター又はコンピューティングシステム又は同様の電子コンピューティング機器の動作及び／又は処理を参照する。任意の開示されたモジュール又はユニットは、コンピュータープロセッサーによって少なくとも部分的に実行され得る。
概して、球技競技中の審判の判定の自動検知用のシステム及び方法が提供される。方法は、球技競技中に発生する球技場の複数の画像を受け取ることを含む。様々な実施形態において、複数の画像は、例えば、実際の球技競技中のようなリアルタイムで発生し、又は、画像は、オフライン式で前もって記録された画像であってもよい。方法は、さらに、例えば、事象検知モジュールによって、所定の球技の規則に基づいて、特定された規則に基づいた事象（例えば、得点が入る事象）として疑われる第１事象を表す複数の画像のうちの第１サブセットの画像を判定することを含む。方法は、さらに、例えば、事象検知モジュールによって、所定の球技の規則に基づいて、第２事象を表す複数の画像のうちの第２サブセットの画像を判定することを含み、第２事象は、所定の球技の規則に従って、特定された規則に基づいた事象の次に起こる。方法は、さらに、例えば、事象解析モジュールによって、所定の球技の規則に基づいて、第２サブセットの画像を分析し、さらに、その分析に基づいて、第１事象が特定された規則に基づいた事象かどうかに関連する審判の判定を判定することを含む。
発明のいくつかの実施形態に係る、球技競技中の審判の判定の自動検知用のシステム１００の様々な構成を示す図１Ａ〜１Ｃと、発明のいくつかの実施形態に係る、サッカー及びホッケーにおける特定の第２事象の参照パターンを示す図２Ａ及び図２Ｂを参照する。
システム１００は、データベース１１０を含む。データベース１１０は、球技競技中に発生する、球技場９０の複数の画像１１２を含む（例えば、図１Ａに示されるように）。
ここで、この出願において使用される用語「球技」は、それに限定されないが、サッカー、バスケットボール、フットボール、アイスホッケー、ホッケー等の、所定の球技の規則を有する任意の球技に関連する。
いくつかの実施形態において、画像１１２は、実際の球技競技中に、リアルタイムで発生する。あるいは又は補足的に、画像１１２は、予め記録され（例えば、球技競技中に）、データベース１１０に保存されてさらに分析される。
いくつかの実施形態において、システム１００は、少なくとも一つのカメラの少なくとも１セット１２０を含む。例えば、１セット１２０は、第１カメラ１２０ａ、第２カメラ１２０ｂ、第３カメラ１２０ｃ及び／又は第４カメラ１２０ｄを含む（例えば、図１Ｂに示されるように）。１セット１２０のカメラは、球技場９０上の所定の位置に位置付けられている。１セット１２０のカメラは、実際の球技競技中に、リアルタイムで、球技場９０の複数の画像１１２を発生し、複数の発生した画像１１２をデータベース１１０に送る。様々な実施形態において、１セット１２０のカメラは、パノラマカメラ、固定カメラ又は動的カメラである。
いくつかの実施形態において、システム１００は、少なくとも一つのカメラの複数のセット１２０を含む。複数のセット１２０のそれぞれは、対応する複数の球技場９０のうちの異なる球技場に位置付けられ、例えば、対応する複数の球技場９０で行われる対応する複数の球技競技の対応する複数の画像を同時に発生する。
例えば、システム１００は、第１球技場９２に位置付けられた少なくとも一つのカメラの第１セット１２２及び第２球技場９４に位置付けられた少なくとも一つのカメラの第２セット１２４を含む（例えば、図１Ｃに示されるように）。第１セット１２２のカメラは、第１球技競技中の第１球技場９２の複数の第１画像を発生し、及び／又は第２セット１２４のカメラは、第２球技競技中の第２球技場９４の複数の第２画像を発生する。第１セット１２２のカメラ及び第２セット１２４のカメラの両方は、さらに、複数の第１画像１１２ａ及び複数の第２画像１１２ｂを、データベース１１０に送る。
いくつかの実施形態において、システム１００は、複数の球技競技（例えば、第１球技競技及び第２球技競技）に対応する複数の画像１１２（例えば、複数の第１画像１１２ａ及び複数の第２画像１１２ｂ）を同時に分析することが可能である。
システム１００は、校正モジュール１１８を含む。校正モジュール１１８は、データベース１１０に結合している（例えば、図１Ａ〜１Ｃに示されるように）。校正モジュール１１８は、複数の画像１１２（又は、複数の画像の少なくともいくつかの画像）の各画像を校正して、その画像の各画素を、球技場９０上の特定の地理的な位置に関連付ける。
システム１００は、分類モジュール１３０を含む。分類モジュール１３０は、データベース１１０と結合し、及び／又はデータベース１１０から複数の画像１１２を受け取る（例えば、図１Ａ〜１Ｃに示されるように）。
分類モジュール１３０は、複数の画像１１２、又は複数の画像１１２の少なくともいくつかに基づいて、少なくとも一つの背景画像を決定する。分類モジュール１３０は、さらに、複数の画像１１２（又は、複数の画像１１２の少なくともいくつかの画像）に基づいて、及び少なくとも一つの背景画像に基づいて、対応する複数の前景画像を生成する。例えば、分類モジュール１３０は、複数の画像１１２（又は、複数の画像１１２の少なくともいくつかの画像）の各画像から少なくとも一つの背景画像を抽出し、対応する前景画像を生成する。
いくつかの実施形態において、少なくとも一つの背景画像は、球技に関連する静止した（又は実質的に静止した）対象を含む。例えば、少なくとも一つの背景画像は、球技場９０を表す画素を含む。様々な実施形態において、分類モジュール１３０は、機械学習アルゴリズムを用いて、少なくとも一つの背景画像を決定及び／又は更新する。
いくつかの実施形態において、前景画像は、球技に関連する興味対象を含む。例えば、前景画像は、第１チームの選手、第２チームの選手及び／又はボールのような動く対象を含む。
分類モジュール１３０は、複数の画像１１２の少なくともいくつかの画像の分類された画像及び／又は前景画像の少なくともいくつかの画像の分類された画像を生成する。いくつかの実施形態において、分類された画像は、所定の球技の規則９８に基づいて決定される。いくつかの実施形態において、分類された画像の各画像は、複数の画素パッチを含み、複数の画素パッチの各画素パッチは、球技に関連する所定の部類の対象のうちの特定の部類の対象として表される。例えば、サッカーにおいて、所定の部類の対象は、第１チームの選手、第２チームの選手、ボール及び／又は審判を含む。いくつかの実施形態において、分類モジュール１３０は、分類された画像の少なくともいくつかの画像をフィルター処理し、その画像の複数の画素パッチを強調する。
システム１００は、事象検知モジュール１４０を含む。事象検知モジュール１４０は、分類モジュール１３０と結合し、及び／又は分類モジュール１３０から分類された画像を受け取る（例えば、図１Ａ〜１Ｃに示されるように）。
事象検知モジュール１４０は、複数の画像１１２に基づいて又は分類された画像に基づいて、球技中の興味対象（又は、少なくともいくつかの興味対象）の位置を決定して追跡する。例えば、事象検知モジュール１４０は、球技中の第１チームの選手、第２チームの選手及び又はボールの位置を追跡する。いくつかの実施形態において、事象検知モジュール１４０は、興味対象の、決定されて追跡された位置を保護し、保存する。
事象検知モジュール１４０は、さらに、所定の球技の規則９８に基づいて、球技競技中の特定された規則に基づいた事象（例えば、ファール及び／又は得点の入る事象）として疑われる第１事象を表す、複数の画像１１２の第１サブセットの画像又は分類された画像の第１サブセットを決定する。
例えば、特定された規則に基づいた事象は、サッカーにおいて得点が入る事象である。この場合、第１事象は、クロスバーの下方でゴールポスト間のゴールラインをボールが完全に横切ったこと、又は、ゴールでの少なくともボールのキックを含む。しかしながら、第１事象は、所定の球技の規則９８の少なくとも一つに違反した状態で委任されると、得点の入る事象として確実に認識されない場合がある。例えば、得点の入ったチームの選手が反則していたりあるいはボールをゴールした選手がオフセットポジションにいたりする場合がある。
現在、球技（例えば、サッカー）の規則に基づいた事象に関する最終判定は、審判によってなされる。それゆえ、第１事象が、実際に特定された規則に依存した事象であるかどうかを決定するために、第１事象に関連する審判の判定を検知する必要がある。システム１００は、さらに、球技競技中に起こる連続する事象を追跡し（例えば、事象検知モジュール１４０によって）、さらに、連続する事象の少なくとも一つ及び所定の球技の規則９８に基づいて、第１事象に関連する審判の判定を決定する（例えば、第１事象が、特定された規則に基づいた事象かどうか）。
事象モジュール１４０は、さらに、第２事象を表す、複数の画像１１２の第２サブセットの画像又は分類された画像の第２サブセットを決定し、第２事象は、所定の球技規則９８に従って特定された規則に基づいた事象の次に起こる。例えば、特定された規則に基づいた事象は、サッカーにおける得点の入る事象であり、第１事象は得点の入る事象として疑われる事象であり（例えば、前述のように）。この場合、第２事象は、球技場９０のセンタースポットから競技を再開すること（例えば、キックオフ）を含む。
いくつかの実施形態において、データベース１１０は、球技競技中に取得された音声信号を含む。事象検知モジュール１４０は、データベース１１０から音声信号を受け取り、球技競技中の音声信号の基準パワーを決定する。いくつかの実施形態において、事象検知モジュール１１０は、さらに、音声信号パワーの基準パワーからの逸脱を決定し、さらに、その逸脱に基づいて、特定された規則に基づいた事象と疑われる第１事象を決定する。例えば、音声信号パワーが、基準パワー以上の所定の閾値を越えると、いくつかの実施形態においては、それが、特定された規則に基づいた事象の表示となる。
システム１００は、事象解析モジュール１５０を含む。事象解析モジュール１５０は、事象検知モジュール１４０を結合している。事象解析モジュール１５０は、所定の球技の規則９８に基づいて、第２サブセットの画像を解析し、さらに、その解析に基づいて、第１事象に関する審判の判定を決定する（例えば、第１事象が特定された規則依存型の事象かどうか）。
事象分析モジュール１５０は、所定の球技の規則９８に基づいて、第２事象の少なくとも一つの参照パターンを決定し、第２事象は、所定の球技の規則９８に従って特定された規則に基づいた事象の後に起こる。事象分析モジュール１５０は、さらに、少なくとも一つの参照パターンに基づいて、第２サブセットの画像（例えば、第２事象を表す）を分析し、第２事象が少なくとも一つの参照パターンと整合することを実証する。事象分析モジュール１５０は、さらに、その実証に応じて、第１事象に関する審判の判定を決定する（例えば、特定された規則に基づいた事象であると疑われる第１事象が、実際に特定された規則に基づいた事象であるかどうか）。
例えば、図２Ａは、サッカーにおいて得点が入る事象で起こる、球技場９０のセンタースポット９２からのプレイの再開を含む第２事象に対する少なくとも一つの参照パターンを示す。この場合、第２事象の少なくとも一つの参照パターンは、少なくとも以下を含む：（ｉ）ボール９３が球技場９０のセンタースポット９２にある；（ｉｉ）同じチーム９４の二人の選手９４ａのみが球技場９０のセンターサークル９２ａ内にいて、ボール９３が二人の選手９４ａの間にある；（ｉｉｉ）第１チームの選手９４及び第２チームの選手９５が動いていない（実質的に動いていない）；及び／又は（ｉｖ）第１チームの選手９４及び第２チームの選手９５が全て球技場９０の反対側の半分ずつにいる（例えば、図２Ａに示されるように）。
他の例において、図２Ｂは、球技場９０のペナルティサークル９６内の守備側のチーム９５によってなされたファウルにおいて、ホッケーにおけるペナルティコーナーを含む第２事象に対する少なくとも一つの参照パターンを示す。この場合、第２事象の少なくとも一つの参照パターンは、少なくとも以下を含む：（ｉ）ゴール内又はボールから少なくとも５ｍのバックライン上のいずれかでバックラインの後ろに、最大で５人の守備側の選手が並ぶ；（ｉｉ）守備側のチーム９５の他の全ての選手が球技場９０のセンターラインの後ろにいる；（ｉｉｉ）一人の攻撃側の選手９４ａがバックラインに位置し、ボール９３がゴールのいずれかの側で最も近いゴールポストから少なくとも１０ｍの円内にある；（ｉｖ）攻撃側のチームの選手９４以外が、シューティングサークルの外のフィールドにいる；及び（ｖ）バックライン上の攻撃側の選手９４ａ以外の全選手が、ボール９３がプレイされるまで、円内又はセンターライン９７を越えて、自身の身体の一部又はスティックを地面に指していない（例えば、図２Ｂに示されるように）。
様々な実施形態において、事象分析モジュール１５０は、第２事象を表す第２サブセットの画像、所定の球技の規則９８及び／又は第２事象の少なくとも一つの参照パターンに基づいて、第１事象が委任される（例えば、審判によって、特定された規則に基づいた事象として決定された）２つのプレイしているチームのうちのチーム（例えば、第１チーム又は第２チーム）を決定する。サッカーにおける得点が入る事象の例に戻って参照すると（例えば、上記したように）、事象分析モジュール１５０は、第２事象を表す第２サブセットの画像に基づいて、球技場９０のセンタースポットから試合を再開するチームを決定し（例えば、センターサークル内の選手の着衣の色を判定することによって）、さらに、所定の球技規則９８に基づいて、相手チームがゴールしたことを決定する。
いくつかの実施形態において、事象分析モジュール１５０は、球技における複数の特定された規則に基づいた事象に対応する複数の少なくとも一つの参照パターンを含む（例えば、ファウル、オフサイド、得点、等）。いくつかの実施形態において、参照パターンは、所定の球技規則９８に基づいて決定される。様々な実施形態において、事象分析モジュール１５０は、機械学習アルゴリズムを用いて、参照パターンを決定及び／又は更新する。
システム１００は、出力モジュール１６０を含む。出力モジュール１６０は、事象分析モジュール１５０及び／又は事象検知モジュール１４０に結合している（例えば、図１Ａ〜１Ｃに示されるように）。出力モジュール１６０は、第１事象に関する決定された審判の判定に基づいて、第１事象に関連した少なくとも一つの出力を発生する。
いくつかの実施形態において、少なくとも一つの出力は、球技中に、第１事象／特定された規則に基づいた事象に関する通知を含む。通知は、例えば、システム１００の少なくとも一人のユーザーに送られる。
いくつかの実施形態において、少なくとも一つの出力は、第１事象を表す少なくとも一つのビデオクリップを含む。例えば、出力モジュール１６０は、事象検知モジュール１４０から又は事象分析モジュール１５０から、第１事象を表す第１サブセットの画像を受け取り、さらに、第１サブセットの画像に基づいて、第１事象を表す対応する少なくとも一つのビデオクリップを生成する。いくつかの実施形態において、出力モジュール１６０は、第１事象に関する審判の判定に基づいて、デジタル的に特定された規則に基づいた事象表を更新する。
いくつかの実施形態によれば、システム１００は、球技競技中の得点が入る事象に関連する審判の判定を自動的に検知するように配置されている。事象検知モジュール１４０は、所定の球技規則９８に基づいて、得点の入る事象として疑われる第１事象を表す複数の画像の第１サブセットの画像を決定する（例えば、図１Ａ〜１Ｃを参照して上述されたように）。いくつかの実施形態において、第１事象は、球技場９０のゴール領域で起こる（例えば、２つのゴール領域の一つ）。
事象検知モジュール１４０は、さらに、所定の球技の規則に基づいて、第２事象を表す複数の画像の第２サブセットの画像を決定し、第２事象は、所定の球技の規則に従って得点の入る事象の次に起こる（例えば、図１Ａ〜１Ｃを参照して記載したように）。いくつかの実施形態において、第２事象は、球技場９０の特定の領域で起こる。いくつかの実施形態において、特定の領域は、ゴール領域ではない。例えば、特定の領域は、球技場９０のセンタースポットの周囲の所定の範囲である（例えば、図２Ａを参照して上述したように）。
事象解析モジュール１５０は、所定の球技の規則に基づいて、第２サブセットの画像を分析し、さらに、その分析に基づいて、第１事象に関連する審判の判定を決定する（例えば、第１事象が、特定された規則に基づいた事象かどうか、第１Ａ〜１Ｃを参照して上述したように）。
本発明のいくつかの実施形態に係る、球技競技中の審判の判定の自動検知の方法２００のフローチャートである図３を参照する。
方法２００は、方法２００を実行するように配置されたシステム１００によって実行される。方法２００は、図３に示されるフローチャート及び対応する記載に限定されない。例えば、様々な実施形態において、方法２００は、示されたボックス又はステージを通して、あるいは、示されて記載されたものと正確に同じ順序で移動する必要はない。
方法２００は、球技競技中に発生する球技場の複数の画像を受け取ること（ステージ２１０）を含む。様々な実施形態において、複数の画像は、実際の球技競技中に取得されるリアルタイムの画像である。又は、複数の画像は、球技競技中に予め記録されたオフライン画像である（例えば、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、方法２００は、多数の複数画像を受け取ること（ステージ２１２）を含み、多数の複数画像のうちのそれぞれの複数画像は、対応する多数の球技競技のうちの異なる球技競技中に発生される（例えば、図１Ａ〜１Ｃを参照して上述したように）。いくつかの実施形態において、方法２００は、多数の複数画像を同時に分析すること（ステージ２１４）を含む（例えば、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、複数の画像を校正すること（ステージ２１６）を含み、その画像内の各画素を、球技場状の特定の地理的な位置と関連付ける（例えば、校正モジュール１１８によって、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、複数の画像に基づいて、又は複数の画像の少なくともいくつかの画像に基づいて、少なくとも一つの背景画像を発生すること（ステージ２２０）を含む（例えば、分類モジュール１３０によって、図１Ａ〜１Ｃを参照して上述したように）。いくつかの実施形態において、方法２００は、機械学習アルゴリズムを使用して、少なくとも一つの背景画像を決定する及び／又は更新すること（ステージ２２２）を含む。
いくつかの実施形態において、方法２００は、複数の画像に基づいて（又は複数の画像の少なくともいくつかの画像に基づいて）及び少なくとも一つの背景画像に基づいて、対応する複数の前景画像を生成すること（ステージ２２４）を含む（例えば、分類モジュール１３０によって、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、所定の球技の規則に基づいて、複数の画像の少なくともいくつかの画像の分類された画像及び／又は前景画像の少なくともいくつかの画像の分類された画像を発生すること（ステージ２３０）を含む（例えば、分類モジュール１３０によって、図１Ａ〜１Ｃを参照して上述したように）。いくつかの実施形態において、分類した画像の各画像は、多数の画素のパッチを含み、多数の画素のパッチのそれぞれの画素のパッチは、球技に関連する所定のクラスの対象物のうちの特定のクラスの対象物として表される（例えば、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、複数の画像に基づいて、又は分類された画像に基づいて、球技中の興味対象（又は少なくともいくつかの興味対象）の位置を決定及び追跡すること（ステージ２３２）を含む（例えば、事象検知モジュール１４０によって、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、所定の球技の規則に基づいて、球技競技中に特定された規則に基づいた事象として疑われる第１事象を表す、複数の画像、又は分類された画像の第１サブセットを決定すること（ステージ２４０）を含む（例えば、事象検知モジュール１４０によって、図１Ａ〜１Ｃを参照して上述したように）。いくつかの実施形態において、特定された規則に基づいた事象は、得点の入る事象である。
方法２００は、第２事象を表す、複数の画像の、又は分類された画像の第２サブセットの画像を決定すること（ステージ２４２）を含み、第２事象は、所定の球技の規則に従った特定された規則に基づいた事象の次に起こる（例えば、事象検知モジュール１４０によよって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、方法２００は、球技競技中に取得された音声信号を受け取り（ステージ２４４）、音声信号の基準パワーを決定し、基準パワーからの音声信号パワーの逸脱を決定し、さらに、その逸脱に基づいて、特定された既存に基づいた事象として疑われる第１事象を決定すること、を含む（例えば、事象検知モジュール１４０によって、図１Ａ〜１Ｃを参照して上記されたように）。
方法２００は、所定の球技規則に基づいて第２サブセットの画像を分析すること（ステージ２５０）、さらに、その分析に基づいて、第１事象に関連する審判の判定を決定することを含む（例えば、第１事象が特定された規則に基づいた事象かどうか）（例えば、事象分析モジュール１５０によって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、方法２００は、所定の球技規則に基づいて、第２事象の少なくとも一つの参照パターンを決定すること（ステージ２５２）を含み、第２事象は、所定の球技規則に従って特定された規則に基づいた事象の次に起こる（例えば、事象分析モジュール１５０によって、図１Ａ〜１Ｃ及び図２Ａ〜２Ｂを参照して上述したように）。いくつかの実施形態において、方法２００は、機械学習アルゴリズムを用いて、その参照パターンを決定及び／又は更新することを含む（ステージ２５３）。
いくつかの実施形態において、方法２００は、少なくとも一つの参照パターンに基づいて、第２サブセットの画像（例えば、第２事象を表す）を分析し（ステージ２５４）、第２事象が少なくとも一つの参照パターンと整合するかどうかを実証する（例えば、事象分析モジュール１５０によって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、方法２００は、その実証において、特定された規則に基づいた事象として疑われる第１事象が、実際に特定された規則に基づいた事象であるという審判の判定を決定すること（ステージ２５６）を含む（例えば、事象分析モジュール１５０によって、図１Ａ〜１Ｃを参照して上述したように）。
様々な実施形態において、方法２００は、第２サブセットを表す第２事象の画像、所定の球技の規則及び／又は第２事象の少なくとも一つの参照パターンに基づいて、第１事象を犯した２つのプレイチームのうちのチーム（例えば、第１チーム又は第２チーム）を決定すること（ステージ２５８）を含む（例えば、審判によって特定された規則に基づいた事象として決定される）（例えば、事象分析モジュール１５０によって、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、第１事象が特定された規則に基づいた事象であるという審判の判定に基づいて、第１事象に関連した少なくとも一つの出力を発生すること（ステージ２６０）を含む（例えば、出力モジュール１６０によって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、方法２００は、ユーザーに、球技中の第１事象の関連（例えば、審判によって、特定された規則に基づいたとして決定）を通知すること（ステージ２６２）を含む（例えば、出力モジュール１６０によって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、方法２００は、第１事象を表す第１サブセットの画像に基づいて、第１事象を表す少なくとも一つのビデオクリップを発生することを（ステージ２６４）を含む（例えば、出力モジュール１６０によって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態において、特定された規則に基づいた事象は、得点が入る事象であり、方法２００は、第１事象に関連する審判の判定に基づいて、デジタル得点表を更新すること（ステージ２６６）を含む（例えば、出力モジュール１６０によって、図１Ａ〜１Ｃを参照して上述したように）。
いくつかの実施形態によれば、方法２００は、球技競技中に得点が入る事象に関連する審判の判定を自動的に検知する。方法２００は、事象検知モジュール１４０によって、所定の球技の規則に基づいて、得点の入る事象として疑われる第１事象を表す複数の画像の第１サブセットの画像を決定すること（ステージ２７０）を含む（例えば、図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、例えば、事象解析モジュール１４０によって、所定の球技の規則に基づいて、第２事象を表す複数の画像の第２サブセットの画像を決定すること（ステージ２７２）を含み、第２事象は、所定の球技の規則にしたがって得点の入る事象の次に起こる（図１Ａ〜１Ｃを参照して上述したように）。
方法２００は、事象分析モジュール１５０によって、所定の球技の規則に基づいて、第２サブセットの画像を解析すること（ステージ２７４）を含み、さらに、その分析に基づいて、第１事象に関連する審判の判定を決定することを含む（例えば、図１Ａ〜１Ｃを参照して上述したように）。
有利には、開示されたシステム及び方法は、球技競技中の規則依存型の事象に関する審判の反転の自動検知を可能とし、スポーツ事象の解析に対する現在のシステムの不利な点を解消する。開示された自動システム及び方法は、さらに、複数の球技場で行われる複数の球技競技の同時解析を可能とする。
本発明の局面は、発明の実施形態に係る方法、装置（システム）及びコンピュータプログラムプロダクトのフローチャート図及び／又は部分図を参照して上記に記載された。フローチャート図及び／又は部分図の各部、及びフローチャート図の部分及び／又は部分図の組合せは、コンピュータープログラム指示によって実行される。これらのコンピュータープログラム指示は、汎用コンピューター、特別な目的のコンピューター、又は他のプラグラム可能なデータ処理装置のプロセッサーに提供されて装置を生成し、コンピューター又は他のプラグラム可能なデータ処理装置のプロセッサーを介して実行される指示が、フローチャート及び／又は部分図又はその部分に特定された機能／動作を実行する手段を生成する。
これらのコンピュータープログラム指示は、また、コンピューター、他のプラグラム可能なデータ処理装置、又は他の装置に向けられるコンピューターで読み取り可能な媒体に保存され、特殊な方法で作用し、コンピューターで読み取り可能な媒体に保存された指示は、フローチャート及び／又は部分図又はその部分に特定された機能／佐生を実行する指示を含む製品を生成する。コンピュータープログラム指示は、また、コンピューター、他のプラグラム可能な処理装置、又は他の機器にロードされ、一連の動作ステップを、コンピューター、他のプラグラム可能な装置又は他の機器で実行させ、コンピューターで実行されたプロセスを生成し、コンピューター又は他のプログラム可能な装置で実行させる指示は、フローチャート図及び／又は部分図の部分又はその部分に特定された機能／動作を実行するプロセスを提供する。
上記のフローチャート及び図は、本発明の様々な実施形態に係るシステム、方法及びコンピュータープログラム製品の可能な実行の構成、機能性及び動作を示す。この点において、フローチャート及び部分図の各部は、特定された論理的な機能を実行する一つ以上の実行可能な指示を含む、モジュール、セグメント、又はコードの一部を表す。いくつかの別の実施形態において、部分に記される機能は、図に記される順序以外で起こり得ることも特筆される。例えば、連続して示される２つの部分は、実際には、実質的に同時に実行され、又は部分は、含まれる機能性によっては、逆の順序で実行されることもある。部分図及び／又はフローチャートの図の各部分、及び部分図及び／又はフローチャート図の部分の組合せは、特定された機能又は動作を実行する専用のハードウェアベースのシステム、又は専用のハードウェア及びコンピューター指示の組合せによって実行される。
上記において、実施形態は、発明の例又は実行である。「一つの実施形態」、「実施形態」、「ある実施形態」又は「いくつかの実施形態」の様々な出現は、全てが同じ実施形態に言及する必要はない。発明の様々な特徴が一つの実施形態の文脈に記載されているが、特徴は、別々に又は任意の適切な組み合わせに提供され得る。逆に、発明が、明確化のために別の実施形態の文脈にここでは記載されているが、発明は、一つの実施形態に実行され得る。発明のある実施形態は、上記に開示された異なる実施形態からの特徴を含み、ある実施形態は、上記に開示された他の実施形態から要素を取り込むことができる。特定の実施形態の文脈における発明の要素の開示は、それらの使用を特定の実施形態のみに制限すると捉えられない。さらに、発明は、様々な方法で実行又は実施されること、及び発明は、上記の記載に略述されたもの以外のある実施形態で実行され得る。
発明は、これらの図面又は対応する記載に制限されない。例えば、フローは、それぞれ示されたボックス又は状態を通して、又は示されて記載されたものと正確に同じ順序で移行する必要はない。ここに使用された技術的及び専門的な言語の意味は、発明が属する分野の当業者によって、他に定義されない限り、共通に理解されるべきである。発明は、制限された数の実施形態に対して記載されたが、それらは、本発明の範囲に対する制限として解釈されるべきではなく、むしろいくつかの好ましい実施形態の例示として解釈されるべきである。他の可能な変更、改造、及び適用は、発明の範囲内でもある。したがって、発明の範囲は、これまで記載されたものよって制限されるべきではなく、添付の特許請求の範囲及びそれらの法的等価物によって限定されるべきである。

Claims (18)

  1. 球技競技中の審判の判定を自動的に検知するシステムであって、前記システムは、
    前記球技競技中に発生する球技場の複数の画像を含むデータベースと、
    前記データベースに結合した事象検知モジュールと、
    前記事象検知モジュールに結合した事象分析モジュールと、を含み、
    前記事象検知モジュールは、
    所定の球技の規則に基づいて、特定された規則に基づいた事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定し、
    前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定し、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記特定された規則に基づいた事象の次に起こり、
    前記事象分析モジュールは、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定する、システム。
  2. さらに、前記データベース及び前記事象検知モジュールに結合した分類モジュールを含み、
    前記分類モジュールは、前記複数の画像のうちの少なくともいくつかの画像及び前記所定の球技の規則に基づいて、その画像の分類された画像を発生する、請求項１のシステム。
  3. 前記分類された画像の各画像は、多数の画素のパッチを含み、前記多数の画素のパッチのうちの各画素のパッチは、前記球技に関連する所定のクラスの対象物のうちの特定のクラスの対象物として表される、請求項３のシステム。
  4. 前記事象分析モジュールは、所定の球技の規則に基づいて、前記第２事象の少なくとも一つの参照パターンを決定し、前記第２事象は、前記所定の球技の規則にしたがって前記特定された規則に基づいた事象の次に起こる、請求項１のシステム。
  5. 前記事象分析モジュールは、前記少なくとも一つの参照パターンに基づいて、前記第２サブセットの前記画像を分析し、前記第２事象が、前記少なくとも一つの参照パターンと整合するかどうかを実証し、さらに、その実証において、前記第１事象の前記審判の判定を決定する、請求項４のシステム。
  6. さらに、前記事象検知モジュール及び前記事象分析モジュールに結合する出力モジュールを含み、前記出力モジュールは、前記第１事象に関連する前記審判の判定に基づいて、前記第１事象に関連する少なくとも一つの出力を発生する、請求項１のシステム。
  7. 前記少なくとも一つの出力は、前記球技中の前記第１事象に関連する通知、前記第１事象を表す少なくとも一つのビデオクリップ、デジタル的に特定された規則に基づいた事象表の更新、の少なくとも一つを含む、請求項６のシステム。
  8. さらに、前記球技場に位置決めされた少なくとも一つのカメラの少なくとも１セットを含み、前記少なくとも一つのカメラは、実際の球技競技中の前記球技場の前記複数のリアルタイム画像を生成し、その画像を前記データベースに送る、請求項１のシステム。
  9. さらに、少なくとも一つのカメラの多数のセットを含み、前記多数のセットのそれぞれは、対応する多数の球技場の異なる球技場に位置付けられ、前記対応する多数の球技場での対応する多数の球技競技の対応する多数の複数画像を生成するように構成され、前記システムは、前記多数の複数画像を同時に解析する、請求項１のシステム。
  10. 球技競技中の得点が入る事象に関連する審判の判定を自動的に検知するシステムであって、前記システムは、
    前記球技競技中に発生する球技場の複数の画像を含むデータベースと、
    前記データベースに結合した事象検知モジュールと、
    前記事象検知モジュールに結合した事象分析モジュールと、を含み、
    前記事象検知モジュールは、
    所定の球技の規則に基づいて、得点が入る事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定し、
    前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定し、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記得点が入る事象の次に起こり、
    前記事象分析モジュールは、前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定する、システム。
  11. 球技競技中の審判の判定を自動的に検知する方法であって、前記方法は、
    前記球技競技中に発生する球技場の複数の画像を受け取ること、
    所定の球技の規則に基づいて、特定された規則に基づいた事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定すること、
    前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定すること、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記特定された規則に基づいた事象の次に起こり、
    前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定すること、を含む方法。
  12. さらに、分類モジュールによって、前記複数の画像のうちの少なくともいくつかの画像及び前記所定の球技の規則に基づいて、その画像のうちの分類された画像を発生することを含む、請求項１１の方法。
  13. 前記分類された画像の各画像は、多数の画素のパッチを含み、前記多数の画素のパッチのうちの各画素のパッチは、前記球技に関連する所定のクラスの対象物のうちの特定のクラスの対象物として表される、請求項１２の方法。
  14. さらに、前記事象分析モジュールによって、所定の球技の規則に基づいて、前記第２事象の少なくとも一つの参照パターンを決定することを含み、前記第２事象は、前記所定の球技の規則にしたがって前記特定された規則に基づいた事象の次に起こる、請求項１１の方法。
  15. さらに、前記事象分析モジュールによって、前記少なくとも一つの参照パターンに基づいて、前記第２サブセットの前記画像を分析し、前記第２事象が、前記少なくとも一つの参照パターンと整合するかどうかを実証し、さらに、その実証において、前記第１事象の前記審判の判定を決定することを含む、請求項１４の方法。
  16. さらに、出力モジュールによって、前記第１事象に関連する前記審判の判定に基づいて、前記第１事象に関連する少なくとも一つの出力を発生することを含む、請求項１１の方法。
  17. 前記少なくとも一つの出力は、前記球技中の前記第１事象に関連する通知、前記第１事象を表す少なくとも一つのビデオクリップ、デジタル的に特定された規則に基づいた事象表の更新、の少なくとも一つを含む、請求項１６の方法。
  18. 球技競技中の得点が入る事象に関連する審判の判定を自動的に検知する方法であって、前記方法は、
    前記球技競技中に発生する球技場の複数の画像を受け取ること、
    所定の球技の規則に基づいて、得点が入る事象として疑われる第１事象を表す前記複数の画像のうちの第１サブセットの画像を決定すること、
    前記所定の球技の規則に基づいて、第２事象を表す前記複数の画像のうちの第２サブセットの画像を決定すること、ここで、前記第２事象は、前記所定の球技の規則にしたがって、前記得点が入る事象の次に起こり、
    前記所定の球技の規則に基づいて、前記第２サブセットの画像を分析し、さらに、その分析に基づいて、前記第１事象が前記特定された規則に基づいた事象かどうかに関連する審判の判定を決定することを含む、方法。
JP2020565379A 2018-05-23 2019-05-22 球技における審判の判定の自動検出用システム及び方法 Pending JP2021525127A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862675190P 2018-05-23 2018-05-23
US62/675,190 2018-05-23
PCT/IL2019/050580 WO2019224821A1 (en) 2018-05-23 2019-05-22 System and method for automatic detection of referee's decisions in a ball-game

Publications (1)

Publication Number Publication Date
JP2021525127A true JP2021525127A (ja) 2021-09-24

Family

ID=68617239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020565379A Pending JP2021525127A (ja) 2018-05-23 2019-05-22 球技における審判の判定の自動検出用システム及び方法

Country Status (7)

Country Link
US (1) US11568184B2 (ja)
EP (1) EP3797400B1 (ja)
JP (1) JP2021525127A (ja)
CN (1) CN112771571A (ja)
CA (1) CA3101087A1 (ja)
IL (1) IL278884B2 (ja)
WO (1) WO2019224821A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230080954A (ko) * 2021-11-30 2023-06-07 마이스포 주식회사 배드민턴 경기의 파울 판정 시스템 및 시스템의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2843849A1 (fr) * 2002-08-23 2004-02-27 Karim Kaci Procede d'assistance pour l'arbitrage et installation pour sa mise en oeuvre
JP2009528119A (ja) * 2006-03-03 2009-08-06 コンシグリオ・ナツィオナーレ・デレ・リチェルケ スポーツ競技場におけるイベントの自動検出方法とシステム
JP2015070503A (ja) * 2013-09-30 2015-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170102480A1 (en) * 2015-10-09 2017-04-13 Stratom, Inc. Field of play boundary detection system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150297949A1 (en) * 2007-06-12 2015-10-22 Intheplay, Inc. Automatic sports broadcasting system
US7005970B2 (en) * 2002-01-03 2006-02-28 Intel Corporation Officiating system
US8214741B2 (en) 2002-03-19 2012-07-03 Sharp Laboratories Of America, Inc. Synchronization of video and data
WO2004014061A2 (en) * 2002-08-02 2004-02-12 University Of Rochester Automatic soccer video analysis and summarization
ITRM20050192A1 (it) 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
US9352207B2 (en) 2012-01-19 2016-05-31 Nike, Inc. Action detection and activity classification
US9398213B1 (en) * 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US9646387B2 (en) * 2014-10-15 2017-05-09 Comcast Cable Communications, Llc Generation of event video frames for content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2843849A1 (fr) * 2002-08-23 2004-02-27 Karim Kaci Procede d'assistance pour l'arbitrage et installation pour sa mise en oeuvre
JP2009528119A (ja) * 2006-03-03 2009-08-06 コンシグリオ・ナツィオナーレ・デレ・リチェルケ スポーツ競技場におけるイベントの自動検出方法とシステム
JP2015070503A (ja) * 2013-09-30 2015-04-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20170102480A1 (en) * 2015-10-09 2017-04-13 Stratom, Inc. Field of play boundary detection system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230080954A (ko) * 2021-11-30 2023-06-07 마이스포 주식회사 배드민턴 경기의 파울 판정 시스템 및 시스템의 동작 방법
KR102626100B1 (ko) * 2021-11-30 2024-01-17 마이스포 주식회사 배드민턴 경기의 파울 판정 시스템 및 시스템의 동작 방법

Also Published As

Publication number Publication date
EP3797400B1 (en) 2023-08-09
US20210248415A1 (en) 2021-08-12
EP3797400A1 (en) 2021-03-31
WO2019224821A1 (en) 2019-11-28
CN112771571A (zh) 2021-05-07
EP3797400A4 (en) 2021-07-07
CA3101087A1 (en) 2019-11-28
IL278884B2 (en) 2023-12-01
IL278884A (en) 2021-01-31
US11568184B2 (en) 2023-01-31
IL278884B1 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
US8774467B2 (en) Predictive flight path and non-destructive marking system and method
US11138744B2 (en) Measuring a property of a trajectory of a ball
Stöckl et al. Making offensive play predictable-using a graph convolutional network to understand defensive performance in soccer
del Campo et al. The influence of refereeing experiences judging offside actions in football
WO2018122956A1 (ja) スポーツ動作解析支援システム、方法およびプログラム
Jayalath Hawk Eye technology used in cricket
JP2021525127A (ja) 球技における審判の判定の自動検出用システム及び方法
US20220047917A1 (en) Method, device and computer software for determining a relative performance measure between at least two players in a sport
Meyer et al. Shot deception in basketball: Gaze and anticipation strategy in defence
US20200054930A1 (en) Method, system and computer program for automatic refereeing
Chalkley et al. Predicting ball flight in cricket from an umpire's perspective
JP2020000430A (ja) 動作分析装置、動作分析方法及び動作分析プログラム
RU2599699C1 (ru) Способ регистрации и анализа соревновательных игровых действий спортсменов
Gonzalez-Artetxe et al. Effects of free play or artificial rules on young soccer players’ individual tactical behaviour: a one-by-one analysis
JP6760610B2 (ja) 位置計測システム、及び位置計測方法
Hall et al. Robocup spl 2015 champion team paper
AU2007237231A1 (en) Player Position Validation Interface
Tumtong et al. A Method for Football Players Detection on the Soccer Field by Integrated Image Processing Techniques
US11103760B2 (en) Line fault detection systems and method for determining whether a sport gaming device has bounced off an area of a sports field
Robertson An analysis of NBA spatio-temporal data
Abreu et al. Football scientia-an automated tool for professional soccer coaches
JP7246649B2 (ja) 戦術分析装置
US20240216781A1 (en) Automatic real-time basketball box score recording and analysis system with videos captured from arbitrary angles and method thereof
EP4325443A1 (en) Data processing apparatus and method
EP4325448A1 (en) Data processing apparatus and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240402