JP2023123672A - 方法 - Google Patents
方法 Download PDFInfo
- Publication number
- JP2023123672A JP2023123672A JP2023103794A JP2023103794A JP2023123672A JP 2023123672 A JP2023123672 A JP 2023123672A JP 2023103794 A JP2023103794 A JP 2023103794A JP 2023103794 A JP2023103794 A JP 2023103794A JP 2023123672 A JP2023123672 A JP 2023123672A
- Authority
- JP
- Japan
- Prior art keywords
- impact
- striking element
- determining
- images
- ball
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims description 40
- 230000001360 synchronised effect Effects 0.000 claims 1
- 230000003116 impacting effect Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 241000288673 Chiroptera Species 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 238000009499 grossing Methods 0.000 description 5
- 210000003371 toe Anatomy 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N iron Substances [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101100476202 Caenorhabditis elegans mog-2 gene Proteins 0.000 description 1
- 235000009854 Cucurbita moschata Nutrition 0.000 description 1
- 240000001980 Cucurbita pepo Species 0.000 description 1
- 235000009852 Cucurbita pepo Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 235000020354 squash Nutrition 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
- A63B69/36—Training appliances or apparatus for special sports for golf
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0021—Tracking a path or terminating locations
- A63B2024/0028—Tracking the path of an object, e.g. a ball inside a soccer pitch
- A63B2024/0031—Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2102/00—Application of clubs, bats, rackets or the like to the sporting activity ; particular sports involving the use of balls and clubs, bats, rackets, or the like
- A63B2102/32—Golf
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/89—Field sensors, e.g. radar systems
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physical Education & Sports Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Golf Clubs (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Investigating Strength Of Materials By Application Of Mechanical Stress (AREA)
Abstract
【課題】スポーツボール打撃要素のような物体打撃要素のインパクト特性を決定するための新規な方法を使用するシステムに関する。
【解決手段】方法は、(1)物体の物体打撃要素によるインパクトの所定の時間範囲内に取得され、撮像装置108から受信した一連の画像から、第1の画像を選択すること、(2)前記第1の画像に基づいて前記物体打撃要素の一部の輪郭を決定すること、(3)決定された前記物体打撃要素の輪郭に基づいて、前記物体打撃要素での第1の線を特定すること、(4)前記物体の前記物体打撃要素による前記インパクトのインパクト時点t0を決定すること、(5)前記一連の画像から、前記インパクト時点における前記第1の線の角度を決定することを含む。
【選択図】図1
【解決手段】方法は、(1)物体の物体打撃要素によるインパクトの所定の時間範囲内に取得され、撮像装置108から受信した一連の画像から、第1の画像を選択すること、(2)前記第1の画像に基づいて前記物体打撃要素の一部の輪郭を決定すること、(3)決定された前記物体打撃要素の輪郭に基づいて、前記物体打撃要素での第1の線を特定すること、(4)前記物体の前記物体打撃要素による前記インパクトのインパクト時点t0を決定すること、(5)前記一連の画像から、前記インパクト時点における前記第1の線の角度を決定することを含む。
【選択図】図1
Description
本発明は、2017年12月22日に出願された米国仮特許出願第62/609,867号の優先権を主張する。上記出願の明細書は、参照により本明細書に組み込まれる。
衝突した物体のインパクト特性は、物体の飛行に重大な影響を及ぼす可能性がある。例えば、ゴルフボールがゴルフクラブのフェースにインパクトする位置は、ゴルフショットの結果に著しく影響し得る。したがって、ゴルフショットのインパクト特性に関する情報は、ゴルファー、ゴルフインストラクター、クラブフィッター等にとって価値がある。他のインパクト特性は、ゴルフクラブのアタック角を含む、ボールとのインパクト点までのゴルフクラブの進路によって記述される3次元方向、及び、クラブフェースのフェース角、動的ロフト及び動的ライ等の特性を含む、ボールとのインパクト直前のゴルフクラブの3次元配向を含み得る。
米国特許第8,951,138号のようなインパクト特性を決定するための従来技術は、インパクト特性を抽出するために、ステレオビジョン技術を使用して、インパクト時点で、クラブフェースに面する複数のカメラを使用してクラブとボールとの間のインパクトを視覚的に観察することを必要とする。しかしながら、そのようなシステム用のカメラはゴルファーの前になければならないので(即ち、接近するゴルフショットの経路内に)、カメラは打球によってぶつけられる危険にさらされる。更に、米国特許第8,951,138号のシステムはクラブフェース上に反射マーカーを正確に配置することを必要とし、これは時間が掛かり、困難なプロセスであり、ゴルフボールを打つときにゴルファーの通常の流れを妨げることがあり、更に、必要とされる複数のカメラはシステムの複雑さ及びコストを増大させる。
本発明は、スポーツボール打撃要素のような物体打撃要素のインパクト特性を決定するための新規な方法を使用するシステムに関する。システムは、単一の撮像装置を含むことができる。撮像装置は視覚的又は非視覚的波長領域で動作することができ、典型的には150~4000fpsの既知のフレームレートで動作することができる。撮像装置は、専用装置の一部であっても良く、又はスマートフォン等からのカメラであっても良い。
別の実施形態では、インパクト特性決定の精度を改善するために、システムが、別の撮像装置、レーダ、又はマイクロフォン等の追加のセンサを更に含むことができる。
本明細書に記載のいくつかの実施形態はボール打撃要素又はボールの特別なマーキングを必要とせず、代わりに、ゴルフクラブのホーゼル又はトゥ、野球又はクリケットバットのチップ又はノブ、テニスのチップ又はヘッド、バドミントン、スカッシュ又は他のラケット、又はフットボールブーツのヒール及び/又はトゥ等の個々のボール打撃要素上の一般的なフィックス点を識別する。フィックス点は撮像装置の広範囲の視野角からボールが打たれる位置まで、及び/又はボール打撃要素の運動中の広範囲の角度から見られるように、画像内で明確に識別可能であるという基準に基づいて選択される。フィックス線は、例えば、ゴルフクラブ、ホッケースティック又はラケットのシャフトであっても良い。フィックス線の別の例は、ハンドルが配置される野球又はクリケットのバットの中心線である。フィックス線は一般に直線であるが、スイング中のボール打撃要素の角加速度のために、これらのフィックス線はインパクト時点でわずかに湾曲した形状を経験することがあり、プレーヤは一般に、ボールと衝突するように意図されたボール打撃要素の部分の速度を加速しようとする。
また、フィックス点は、ゴルフクラブ上のクラブフェースの中心等のボール打撃要素のユーザフレンドリな座標系に、直接又は容易に変換することができるように選択される。
例えば、ゴルフクラブのホーゼルからクラブフェースの中心へのこのような変換は一般に、並進及び回転の両方を包含する。変換に必要とされるパラメータは事前に決定されるか、又は、オプションとして、クラブフェース中心がゴルフクラブのトゥとヒールとの間のフェースの中央にある等の仮定と組み合わせて、フィックス点及びフィックス線の追跡によって決定されても良い。
例えば、ゴルフクラブのホーゼルからクラブフェースの中心へのこのような変換は一般に、並進及び回転の両方を包含する。変換に必要とされるパラメータは事前に決定されるか、又は、オプションとして、クラブフェース中心がゴルフクラブのトゥとヒールとの間のフェースの中央にある等の仮定と組み合わせて、フィックス点及びフィックス線の追跡によって決定されても良い。
開示される実施形態による方法は、一連の画像から第1の画像及び第2の画像内の物体打撃要素上の第1の点を識別することであって、第1の画像及び第2の画像が、物体打撃要素との物体のインパクトの所定の時間範囲内に取得されることと、インパクト時点の物体の位置に対応する、第1の画像及び第2の画像のうちの少なくとも一方における位置を決定することと組み合わせて、物体打撃要素との物体のインパクトのインパクト時点を決定することと、第1の画像及び第2の画像での第1の点の位置に基づいて、インパクト時点の第1の点の位置に対応する第1の画像及び第2の画像のうちの少なくとも一方における位置を決定することと、を含む。この方法はまた、撮像装置から、物体と物体打撃要素とが互いにインパクトした位置までの距離を決定することと、第1の点に対する物体のインパクト位置を決定することと、を含む。
更なる実施形態による方法は、一連の画像からの第1の画像及び第2の画像における物体打撃要素上の第1の点を特定することであって、第1及び第2の画像は、物体打撃要素によるインパクトの所定の時間範囲内に取得されるものであることと、物体打撃要素との物体のインパクトのインパクト時点を決定することと、撮像装置から前記物体打撃要素までの距離の、前記所定の時間範囲内での変化率を決定することと、を含むことができる。この方法はまた、撮像装置から、物体と物体打撃要素が互いにインパクトする位置までの距離を決定することと、所定の時間範囲内での、物体打撃要素の移動の3次元方向を決定することと、を含む。
本発明の更に別の実施形態による方法は、一連の画像からの少なくとも第1の画像及び第2の画像における物体打撃要素での第1の線を特定することであって、第1及び第2の画像は、物体の物体打撃要素によるインパクトの所定の時間範囲内に取得されるものであることと、インパクト時点における線の角度を決定することと組み合わせて、物体打撃要素との物体のインパクトのインパクト時点を決定することと、を含むことができる。
例示的な実施形態は以下の説明及び関連する添付の図面を参照して更に理解することができ、同様の要素には同じ参照番号が与えられる。例示的な実施形態は、打撃された物体及び物体打撃要素、具体的には打撃されたスポーツボール及びボール打撃要素のインパクト特性を決定するためのシステム及び方法に関し、例えば、要素がスポーツボールに接触するボール打撃要素上の位置、スポーツボールとのインパクトの直前及び直後を通るスポーツボール打撃要素の3次元経路、スポーツボール打撃要素とのインパクトの直前及び直後を通るボールの経路等を特定する。ゴルフのような特定の用途では、スポーツボールがボール打撃要素とインパクトする前は静止していても良く、野球のような他の用途ではボールはバットとインパクトする前に動いている。本明細書で詳述される様々な例示的な実施形態はゴルフクラブ及びゴルフボールの追跡を説明するが、当業者は、任意のスポーツボール及びスポーツボール打撃要素、又は非スポーツ関連物体でさえも、このシステムで同様に追跡され得ることを理解するだろう。
図1は、ゴルフボール110にインパクトするゴルフクラブ120のインパクト特性を決定するための例示的な実施形態によるシステム100を示す。システム100は、装置102を含む。装置102は、インパクト領域、即ち、ゴルフクラブ120とゴルフボール110との間のインパクトが生じると予想される位置を包含する領域をカバーする視野(FoV)を有する撮像装置108を備える。撮像装置108は、ゴルフショットが行われる間、様々な時刻で一連の画像を取得する。画像は、本明細書ではフレームと呼ばれる。一連の画像は、ゴルフクラブ120及びゴルフボール110の位置を示す複数のフレームを含むことができる。例えば、時間(t-2)において、ゴルフクラブ120は位置120(t-2)にあり、ゴルフボール110は位置110(t-2)にある。同様に、時間(t-1)において、ゴルフクラブ120は位置120(t-1)にあり、ゴルフボールは位置110(t-1)にある。時間(t0)は、インパクト時点である。本実施形態では、インパクト前のゴルフボールの位置、即ち110(t-2)、110(t-1)、及び、インパクト時のゴルフボールの位置、即ち110(t0)は同一である。しかしながら、更なる実施形態では、物体がインパクトの前に動いていても良い。例示的な実施形態は、正確なインパクトのモーメント(t0)がフレーム内で取得されることを必要としない。連続するフレーム間、例えば、(t-2)で取得されたフレームと(t-1)で取得されたフレームとの間の時間間隔は、撮像装置108のフレームレートと関係がある。インパクトの前後のゴルフスイングの複数のフレームを取得するのに十分に高いフレームレートを有する任意の撮像装置108を使用することができる。例えば、図10-1~図12-6は、本発明の例示的な実施形態によるゴルフボールをインパクトするゴルフクラブの一連の画像を示す。6msの時間増分でのゴルフショットの6つの連続するフレームが示されており、6msの時間増分は、167fpsのフレームレートに関係している。
装置102は、プロセッサ及びコンピュータ可読メモリを含む処理装置101を更に備える。処理装置101は、オプションとして、データを送受信するための送受信装置と、インパクト特性を表示するためのディスプレイと、を含むことができる。メモリは、プロセッサによる実行のためのコンピュータ可読命令を記憶することができる。メモリは、特定のゴルフクラブ又はゴルフクラブタイプ(ドライバー、3番ウッド、4番アイアン、5番アイアン等)の形状モデル又は基準画像、及びクラブ座標系に対するフィックス点及びフィックス線の位置、並びにゴルフボールの形状モデル又は基準画像を更に記憶することができる。更なる実施形態では、メモリが1つ又は複数の更なる物体打撃要素(バット、ラケット等)の形状モデル又は基準画像、並びに物体座標系に対するフィックス点及びフィックス線の位置、並びに対応する物体(野球ボール、テニスボール)の形状モデル又は基準画像を記憶することができる。処理装置は装置102の一体的な部分として図1に示されているが、処理装置101は装置102の一体的な部分でなくても良く、代わりに、適切な有線又は無線インターフェースを介して撮像装置108に接続されたコンピュータであっても良い。オプションで、装置102は、レーダ送信機104及び1つ又は複数のレーダ受信機106を含むことができる。レーダは、以下で更に詳細に説明するように、システム全体の精度及びロバスト性を高めるために使用することができる。装置102は、マイクロフォン(図1には図示せず)及び/又は1つ又は複数の追加の撮像装置等の他のセンサを含むこともできる。追加の撮像装置を撮像装置108と共に使用して、追加の撮像装置が、異なる撮像装置設定で動作することによって、又は、撮像装置108によって使用される波長以外の波長を使用することによって、システム100の信頼性を高めることができる。追加の撮像装置によって取得された画像は、フィックス点及びフィックス線を識別し追跡するために、ステレオビジョン技術を使用して処理することもできる。好ましい実施形態では、装置102が、打たれるゴルフボール110のために意図されたターゲット線の後ろに配置され、これにより、ゴルフクラブの動きとボール経路109の両方が可能な限り撮像装置のFoVに現れることを確実にし、同時に、的外れのゴルフショットによって装置102が衝撃を受ける危険性がないことを確実にする。装置102は、他の位置にあっても良い。実際、ゴルフクラブ120及びゴルフボール110のインパクト時点の前後に、ゴルフクラブ120及びゴルフボール110の動きを描写する十分な数のフレームが取得される限り、装置102は任意の位置にあって良い。
図2は、本発明の例示的な実施形態による、ゴルフボール110にインパクトするゴルフクラブ120の背面図を示す。描かれた背面図は、撮像装置108からの画像とすることができる。撮像装置108は、インパクト前及びインパクト後の画像を含む一連の画像を取得できることを理解されたい。好ましい実施形態では、ボール打撃要素のフィックス線126が、例えば、図2に示すようなゴルフクラブ120のシャフト128の底部の中心線として識別することができる。しかしながら、識別されるフィックス線は、ボール打撃要素の形状に応じて変化しても良い。フィックス線に加えて、ゴルフクラブ120のヘッド112上の様々なフィックス点121~125が、フィックス点121~125が見える一連の画像の各画像において識別される。全てのフィックス点121~125が、それぞれの画像において明確に見える訳ではない。例えば、クラブヘッド112の底部は、撮像装置108から見て、草によって覆われる可能性があり、これは、フィックス点122、123、及び125の検出を困難にする。ゴルフボール110の位置はまた、一連の画像の少なくとも一部において決定される。ゴルフボール110の位置は、インパクト前の少なくとも1つの画像、例えば時間t-1での画像において、及び、インパクト後の少なくとも1つの画像、例えば時間t1での画像において決定される。インパクト時点t0におけるゴルフボール110の位置は、図2において110(t0)として示され、インパクト後の時点t1、t2において110(t1)及び110(t2)として示される。
図3は、本発明の例示的な実施形態による、ゴルフボール110にインパクトするゴルフクラブ120の第2の背面図300を示す。図3では、マーカ127がゴルフシャフト上に配置されている。オプションとしてのマーカ127を使用することで、一連のフレームのそれぞれにおけるこの点の検出を、又は、多くのフレームでの当該点の検出を、容易にすることができる。マーカ127は、図6について以下で更に詳細に説明するように、他のフィックス点121~125又はフィックス線126の何れかの決定の精度を検査するために使用することができる。
図4は、本発明の例示的な実施形態による、野球ボール130にインパクトする野球バット140の図400を示す。描かれたビューは、撮像装置108からの画像であっても良い。図2~図3に記載される実施形態と同様に、野球バット140のフィックス線を、野球スイングのインパクト特性を測定するために識別することができる。上述の例におけるゴルフクラブとは対照的に、野球バット140のフィックス線145は、野球バットの中心線、即ちバット140の長手方向の軸として選択することができる。野球バットは一般に回転対称の形状を有するので、特定のバットのタイプ又はモデルが分からなくても、一般に、バットの長手方向の軸を識別することは比較的容易である。野球バット140のフィックス点は、例えば、グリップ部から最も遠いバットの先端141と、バットのグリップ部にあるノブ142とすることができる。これらのフィックス点を使用することにより、複数の時点の画像内、例えば、140(t-1)、140(t0)等の画像内で、バット位置を確実に決定することができる。同様に、野球ボール130は、インパクト前、例えば130(t-2)、130(t-1)、及びインパクト後、例えば130(t1)、130(t2)の両方の時点で検出される。インパクト時点でのボール位置130(t0)は画像に正確に示されていないか、野球バットや野球バットを振る選手によって遮られる可能性があるが、インパクト前後のボールの検出を用いて、インパクト時のボール位置130(t0)を決定することができる。
図5は、本発明の例示的な実施形態による、テニスラケット160がテニスボール150にインパクトする様子を示す図500である。描かれた図は、撮像装置108からの画像とすることができる。図2~図4に記載される実施形態と同様に、テニスラケット160のフィックス線が、テニスラケットのスイングのインパクト特性を測定するために決定されても良い。しかしながら、テニスラケット160のフィックス線165は、テニスラケットシャフト164及びグリップ部の中心線であっても良い。テニスラケット160のフィックス点は、ラケットのグリップ部の底部162、グリップ部とラケットのヘッドとが交差する部分であるスロート163、及びラケットのヘッド166の先端161であっても良い。更に、ラケットヘッド166のフレームの全体又は一部が決定されても良い。これらのフィックス点及び線のうちの1つ以上を使用して、装置102は、複数の時点の画像内、例えば、160(t-1)、160(t0)の画像内で、ラケット位置を確実に決定することができる。同様に、テニスボール150は、インパクト前、例えば、150(t-2)、150(t-1)、及び、インパクト後、例えば、150(t1)、150(t2)の両方の時点で検出されても良い。インパクト時のボール位置150(t0)は、画像では得られないか、テニスラケット又はテニス選手によって遮られている可能性がある。しかしながら、インパクトの前後両方のボールの検出を用いて、これらの位置の間を補間することによって、インパクト時のボール位置150(t0)を決定することができる。
図6は、本発明の例示的な実施形態による、ボール打撃要素によるボールのインパクト特性を決定するための方法600を示す。図6には、本発明の好ましいステップが示されている。図6の各ステップのより詳細な説明を以下に示す。
ステップ605において、プロセッサ101は、所与のフレームレートで撮像装置108から一連の画像を受信する。一連の画像は、物体及び物体打撃要素、例えば、スポーツボール及びボール打撃要素、この例ではゴルフボール及びゴルフクラブを描写している。撮像装置108がフレームを取得するフレームレートは、使用される撮像装置に依存し、設定可能とすることができる。インパクトの前後のゴルフスイングの複数のフレームを取得するのに十分に高いフレームレートを有する任意の撮像装置108を使用することができる。例示的な実施形態では、画像がインパクトの所定の時間範囲内に取得される。例えば、フレームは、インパクトの50ms前の時間からインパクトの50ms後の時間まで取得することができる。好ましくは、フレームがインパクトの25ms前の時間からインパクトの25ms後の時間まで取得されても良い。
ステップ610において、一連のフレームにおいてフィックス点及びフィックス線が識別される。画像内のフィックス点及びフィックス線の識別は、多くの異なる方法で行うことができる。第1の例では、プロセッサ101がまず、現在のフレームから推定背景画像を減算して「モーション画像」を生成することによって、隣接するフレームに対する画像内の動きを検出することができる。動き検出を可能な限りロバストかつ正確にするために、様々な平滑化及びフィルタリングをモーション画像に対して実行することができる。画像における検出された動きは、典型的には、ボール打撃要素、ボール打撃要素をスイングする選手、及びボールに対応する。幾つかの用途、例えばゴルフでは、ボールはインパクト後にのみ移動する。モーション画像はまた、MOG又はMOG2等の様々な前景対背景の検出技術を使用して作成されても良い。モーション画像から、キャニーエッジ検出器又はハフ変換等の異なるコンピュータ画像技術を使用して、ボール打撃要素の輪郭を決定し、そこから、ボール打撃要素の輪郭を既存のボール打撃要素の所定のセットとフィックス点と比較することによって、フィックス点及びフィックス線を識別することができる。ニューラルネットワークを使用する機械学習アプローチのような他の技術も使用することができる。ニューラルネットワークは、画像のテストセットからの多数の画像におけるフィックス点及びフィックス線の人間のアノテーションによって訓練することができる。次いで、この訓練されたニューラルネットワークが装置102上に実装され、その結果、装置102は、フィックス点が存在する任意の将来の画像におけるフィックス点及びフィックス線を決定することができる。前述の2つの方法の組み合わせ、並びに画像内の物体を検出するための他の方法を使用することができる。
例示的な実施形態を構成するために、各フレームに対する単一のフィックス点のみの決定を使用することができるが、各フレームに対する複数のフィックス点及び/又はフィックス線を決定することが好ましい。より多くのフィックス点/線を追加することによって、システムは各フレームにおいて、互いに対する複数のフィックス点の位置をより一貫して決定することが可能になり、システムをより正確かつロバストにし、誤った及び疑わしいフィックス点の決定をシステムが識別及び拒絶し、ボール打撃要素をより正確かつ連続的に追跡することを可能にする。更に、ゴルフクラブのシャフト角度等のフィックス線の決定を使用して、インパクト特性、例えば、インパクト位置を、ゴルフクラブヘッドの座標系へより正確に変換することもできる。(1つ又は複数の)フィックス点及び/又は(1つ又は複数の)フィックス線は、ボールとのインパクトの直前から少なくとも2つのフレームで決定される。より高い精度及びロバスト性は一般に、インパクトの前後の両方でより多くのフレームを使用する場合に経験される。
ステップ615において、ボール及びボール打撃要素のインパクト時点が決定される。
ボール打撃要素とボールとの間の接触時間は一般に非常に短い(例えば、ゴルフクラブ及びゴルフボールについては約0.5ms)ので、インパクト時点は一般に、撮像装置の2つのフレームの間で生じる。インパクト時点の正確な定義は、ボール打撃要素とボールとの間の最初の接触の瞬間、接触時間の中間の瞬間、ボールの最大圧縮の瞬間、又はボール打撃要素とボールとの間の分離の瞬間であると考えられるかどうかにかかわらず、異なるように記載された実施形態に対して変化し得る。しかしながら、スポーツボール打撃要素とボールとが接触したままである時間が短いため、説明の残りの部分では、本発明の一般的な原理の説明を容易にするために、衝突が無限に短い時間間隔の間に起こると仮定する。
ボール打撃要素とボールとの間の接触時間は一般に非常に短い(例えば、ゴルフクラブ及びゴルフボールについては約0.5ms)ので、インパクト時点は一般に、撮像装置の2つのフレームの間で生じる。インパクト時点の正確な定義は、ボール打撃要素とボールとの間の最初の接触の瞬間、接触時間の中間の瞬間、ボールの最大圧縮の瞬間、又はボール打撃要素とボールとの間の分離の瞬間であると考えられるかどうかにかかわらず、異なるように記載された実施形態に対して変化し得る。しかしながら、スポーツボール打撃要素とボールとが接触したままである時間が短いため、説明の残りの部分では、本発明の一般的な原理の説明を容易にするために、衝突が無限に短い時間間隔の間に起こると仮定する。
ボール打撃要素の移動を示す受信フレームのタイミングに対するボール及びボール打撃要素のインパクト時点の決定は、多くの異なる方法で行うことができる。インパクト時点を検出するための好ましい実施形態は、画像内のボールを検出することを含む。ゴルフのように、ボールがインパクト前に静止している場合、ボールは、インパクト前の1つのフレームとインパクト後の2つのフレームのみで検出されても良い。これらの最小である3つの、画像内で決定されたボールの位置を相関させることによって、インパクト時点をサブフレームレベルで決定することができる。これは、インパクト時点t0を計算することができるインパクト後のボール110の画像における速度が一定であると仮定して、110(t1)と110(t2)との間の画像における距離を決定し、110(t0)から110(t1)までの画像における距離を決定することによる単純な線形補間によって行うことができる。ボールがインパクトの前に動いている場合に、同じアプローチを使用することができるが、ボールはインパクトの後の2つのフレームに加えて、インパクトの前の最小の2つのフレームで検出することができる。
インパクト時点を決定するための別の実施形態は、図8A及び8Bに示されるように、ボール打撃要素の減速及び/又は方向の変化を決定することである。ボール打撃要素のエネルギーの損失は、衝突中にボールに伝達されるエネルギーの結果であり、従って、多かれ少なかれ瞬間的に起こる。ボール打撃要素の減速又は方向の変化は、フィックス点及び線の線速度又は角速度の不連続性を測定することによって検出することができる。この方法は、インパクト前の少なくとも2つのフレームと、使用されるべきインパクト後の少なくとも2つのフレームとにおけるボール打撃要素の検出を利用することができる。速度の測定された不連続性は、図8Bに示されるように、時間の関数として任意のタイプの速度を見るときにはっきりと見ることができるが、この方法は速度決定において高い時間分解能を必要とすることがある。あるいは図8Aに示すように、位置又は角度が経時的に評価され、インパクト時点が、インパクト前の経路とインパクト後の経路との交点として決定されても良い。
インパクト時点を決定するための更に別の方法は、画像検出をシステムの一部としてレーダセンサと組み合わせることである。ドップラレーダは、速度の変化を検出するための非常に高い感度と、非常に高いサンプル周波数とを有する。ボール打撃要素及びボールの両方における速度の変化の検出は、時間的に非常に正確であり得る。撮像装置及びレーダ信号のフレームは、この方法を実行するために時間同期されても良い。代替的に、マイクロフォンが、撮像装置に対する追加のセンサとして使用されても良い。ボール打撃要素とボールとの間の衝突は、典型的には、時間の観点での位置を正確に特定することができる鋭い短期の音響シグネチャに関連する。レーダ方法と同様に、撮像装置のフレームとマイクロフォン信号は、この方法を実行するために時間同期されても良い。時間同期を達成するための多くの異なるアプローチが存在し、これには、ハードウェアによる解決法又はソフトウェアによる解決法の何れかが含まれる。
当業者が理解するように、ボール打撃要素及びボールのインパクト時点を決定するための上記の代替方法は、任意の適切な様式で組み合わせることができる。
ステップ620では、インパクト時点でのフィックス点及び線の位置及び方向が決定される。610において、フィックス点/線を有する複数のフレームが事前に決定される。620において、平滑化が実行される。この目的は、第1に、フィックス点/線の決定の精度を高めるためである。この目的は、更に、決定されたインパクト時点における(1つ又は複数の)フィックス点として推定された位置と、インパクト直前の時点における(1つ又は複数の)フィックス点及びボール打撃要素の3D接線方向と、の両方を決定するためである。平滑化は、例えば、多項式近似とすることができる。平滑化はまた、例えば、3D円又は楕円のようなボール打撃要素の予想される動きを近似する物理モデルとすることができ、レーダからの、ボール打撃要素の速度データを使用しても良い。決定されたインパクト時点と、(1つ又は複数の)フィックス点/線の時間にわたる平滑化された位置と、を使用して、正確なインパクト時点において画像が実際に利用できない場合であっても、インパクト時点での(1つ又は複数の)フィックス点/線の位置及び方向を正確に決定することができる。以下で更に詳細に説明するように、ゴルフクラブの(1つ又は複数の)フィックス点/線の位置及び方向を使用して、インパクト時点でのアタック角及びクラブ進路を決定することができる。アタック角は、水平な線に対して測定されたインパクトの直前のクラブヘッドの垂直方向として定義することができる。クラブ進路は、(ボールの現在位置からターゲットまでのターゲット線等の)基準線に対して測定された、インパクトの直前のクラブヘッドの水平方向成分として定義することができる。例えば、インパクトの直前のクラブ進路及びアタック角は、クラブ進路又はアタック角の有意な変化が起こらないと予想されるように選択される、インパクトを挟む時間区間内に得られた2つ以上の画像に示されるクラブの位置の線形補間によって決定することができる。即ち、インパクトの前後の短い時間区間の間、クラブ進路及びアタックはあまり変化せず、インパクト時のクラブの状態は、1)インパクトの直前に撮影された2つの画像;2)インパクトの直後に撮影された2つの画像;又は、3)インパクトの直前に撮影された1つの画像及びインパクトの直後に撮影された1つの画像の位置からの補間に基づいて決定することができる。この時間枠は、インパクト前の50ミリ秒からインパクト後の50ミリ秒まで、より好ましくはインパクト前の25ミリ秒からインパクト後の25ミリ秒までとすることができる。従って、インパクト直前のクラブ進路及びアタック角は、この時間フレーム中に得られた任意の2つの画像に示されるクラブ位置の線形補間によって決定することができる。しかしながら、これらのクラブ進路及びアタック角は、これまで画像平面においてのみ決定されてきた。クラブヘッドの3次元クラブ方向、即ちクラブ進路及びアタック角度の3D版を決定するために、時間フレーム中に撮像装置からクラブヘッドまでの距離の変化を決定することが必要である。撮像装置からクラブヘッドまでの距離の変化は、撮像装置からの第3のフレーム内のフィックス点を決定することによって、又は、撮像装置に対するレーダの位置が既知である時間フレーム中のレーダからの距離の変化(径方向速度)を決定することによって、決定することができる。アタック角及びクラブ進路の決定のためにインパクト後のフレームを使用する場合、線形及び角運動量の保存に関する物理法則を満たすために、衝突の結果としてクラブヘッドに生じる小さなたわみを考慮に入れることができる。
ステップ625では、インパクト時点でのボール位置が決定される。このステップは、オプションであっても良く、ボール打撃要素でのボールのインパクト位置が必要な場合にのみ実行されても良い。ボールがインパクト前に静止している状況、例えば、ゴルフへの適用において、このステップは、インパクト前の任意の画像におけるボールの位置を単に検出することによって実現される。好ましい実施形態では、撮像装置がゴルフボールを放つ意図されたターゲット方向の後方に配置される場合、ボールは、インパクトの前だがインパクトに近接した時点で得られた画像において、ゴルフクラブによって遮られることがある。しかしながら、インパクト前の画像内のボール位置を決定するために、以前の画像を使用することができる。バックスイング及びフォワードスイングの持続時間がいくつかの範囲内で知られていることを考慮すると、方法600での以前のステップの観点では、通常、インパクト前に、静止しているボールへの撮像装置からのクリアな視線が存在するときに、インパクト前の時点を決定することが容易である。
ボールがインパクトの前に動いている状況では、615においてボール及びボール打撃要素のインパクト時点を決定するために、先ず上述の好適な方法を使用することが好ましい。上述したように、インパクトの前後の画像におけるボールの位置を相関させることによって、インパクト時点を決定することができる。インパクト前の2つの画像又はインパクト後の2つの画像におけるボールの進路と相関する、決定されたインパクト時点は、インパクト時点においてボールが画像内に見えない場合、及び/又はインパクト時点の画像が存在しない場合であっても、インパクト時点でのボール位置の決定を可能にする。インパクト時のボール位置の決定の精度を高めるために、検出されたボール位置に平滑化を適用することが有利となる可能性がある。
ステップ630において、インパクト時点での、撮像装置からボールまでの距離が決定される。画像内の位置の検出は、一般に、角度の測定である。距離の決定により、ボール打撃要素のインパクト特性の最終座標の決定を告げることができる。距離の決定は、少なくとも以下の方法で行うことができる。
第1の実施形態では、インパクト時点での、撮像装置からボールまでの距離を予め決定することができる。例えば、ゴルフ、野球又はクリケットでは、ボールがインパクトにおいて位置する領域が典型的にはかなり小さい。従って、小さな誤差だけで、インパクト時のボールまでの距離は、ゴルフのティーエリア、野球のホームプレート、及びクリケットのウィケットに対して、撮像装置がどこに位置するかに基づいて決定される所定の距離であると仮定することができる。
第2の実施形態では、先ず画像内でのボールのサイズを決定し、このサイズ(ピクセル単位)をスポーツボールの既知の寸法と相関させることによって、インパクト時点での撮像装置からボールまでの距離を決定することができる。関連する第3の実施形態では、検出されたフィックス点/フィックス線の間の画像内の距離を、ボール打撃要素の既知の寸法と相関させることによって、インパクト時点での撮像装置からのボールまでの距離が決定される。例えば、ゴルフクラブヘッドのサイズは一般に、野球バット及びクリケットバットの長さと同様に、比較的標準化されている。
第4の実施形態では、レーダ等の別のセンサをシステムに含めることによって、インパクト時点での、撮像装置からボールまでの距離を決定することができる。別のセンサは、ボール及び/又はボール打撃要素までの距離を独立して決定することができる。例えば、撮像装置システムにドップラレーダを含むことは、ボール及びボール打撃要素の両方の、レンジ/距離、及び、レンジレート/速度を任意の時点で正確に測定することができるという更なる利点を提供することができる。これは、一般に、本発明に由来する3次元インパクト特性の精度を高める。システムの一部としてドップラレーダを含むことによって、一般に、例えばドップラレーダがボール及びゴルフクラブのインパクトを検出することができる場合、撮像装置ベースの測定値をレーダ測定値と組み合わせることができ、これを使用して、分析されるフレームの数を減らし、各画像においてボール又はゴルフクラブの何れかが位置すると予想される領域を更に限定することができる。このアプローチは、画像検出に必要な計算量を大幅に低減する。
ステップ635において、インパクト特性が決定される。インパクト特性は、撮像装置によって定義される座標系において決定されても良い。しかしながら、多くの場合、インパクト特性の一部又は全部をより有意義な座標系で提示することが望ましい。図7A及び図7Bでは、例えば、ゴルフクラブ座標系が、ゴルフクラブのフィックス点121~125及びフィックス線126の位置に対して示されている。図示のように、ゴルフクラブ座標系の原点129はゴルフクラブのフェース120の中心に位置することができ、X軸は原点でのフェースに垂直な方向にクラブフェースから突出し、Y軸は原点でのフェースに平行な第1の方向に突出し、Z軸は原点でのフェースに平行な第2の方向に突出する。アイアン型ゴルフクラブにおいて、中心の典型的な定義は、クラブの底部から5番目又は6番目の溝線の中央である。ウッド及びドライバーのような他のゴルフクラブについては、クラブフェースの中心は、典型的にはクラブフェース上のマーキングによって示される。クラブフェースの中心の位置は、ゴルフクラブ上で検出されたフィックス点及び/又はフィックス線のうちの1つ以上に対して仮定されても良く、又は予め決定されても良い。あるいは、クラブフェースの中心は、フィックス点及び/又はフィックス線の位置に基づいて直接推定されても良い。例えば、クラブフェースの中心は、ゴルフクラブのヒールとトゥとの間の中間に位置するか、又はこの位置からのパーセンテージオフセットであると仮定することが有効である可能性がある。
ゴルフクラブフェース座標系の向きは、クラブのライ119及びクラブのロフト118の2つの角度によって記述することができる。ライ119及びロフト118は、仮定するか、検出されたフィックス点及びフィックス線から(予め)決定することができる。6番アイアン、ドライバー又はウェッジのような類似のタイプのゴルフクラブは一般に、非常に類似したオフセット及びライ/ロフト角度を有し、従って、多くの場合、どのタイプのクラブを使用しているかをユーザが単に示すことで、ライ及びロフト角度を十分に正確に推定することができる。フィックス点及び/又はフィックス線に対するクラブフェースのオフセット及び向きが分かると、インパクト特性をゴルフクラブ座標系に座標変換することができる。
例えば、クラブ進路、アタック角、動的ロフト、フェース角、及び動的ライを含む、ゴルフクラブの他のインパクト特性について、有意義な座標系が、インパクト前のボール位置を原点とする座標系であっても良い。座標系の第1の軸は意図されたターゲット方向であっても良く、座標系の第2の軸は鉛直線と平行であっても良く、第3の軸はデカルト座標系を完全なものにする。インパクト点におけるゴルフクラブの3次元方向を決定するために、最初に、基準点を、即ち、ゴルフクラブのどの部分についてこれらのパラメータが決定されるべきかを、決定することができる。例えば、ゴルフクラブのヒールにおけるクラブ進路は、ゴルフクラブのトゥにおけるクラブ進路と同じではない。多くの場合、クラブフェースの中心は、ゴルフクラブの方向を決定するための基準点として選択される。他の場合には、クラブヘッドの形状的中心又はクラブヘッドの質量中心の何れかが基準点として選択される。選択された基準点の移動を決定するために、ゴルフクラブの決定された(1つ又は複数の)フィックス点/線と可能な限り最良に一致するゴルフクラブの形状モデルが使用されても良い。次に、決定された(1つ又は複数の)フィックス点/線のうちの1つ又は複数に関する、時間の経過に伴う移動の決定が行われる。
アタック角は、水平な線に対して測定されたインパクト直前のクラブヘッドの垂直方向として定義することができる。クラブ進路は、ターゲット線に対して測定されたインパクトの直前のクラブヘッドの水平方向として定義することができる。動的ロフトは、クラブフェースの中心又はインパクト時点でのクラブフェースでのインパクト位置の点の何れかにおける、水平な線に対して測定された、クラブフェースの法線(クラブフェースに対して90度)の垂直角度として定義される。動的ロフトは、即ち、インパクト時のクラブフェースのロフトの量である。同様に、フェース角度は、クラブフェースの中心又はインパクト時点でのクラブフェース上のインパクト位置の点の何れかにおける、ターゲット線に対して測定された、クラブフェース法線(クラブフェースに対して90度)として定義することができる。動的ライは、クラブヘッドに接続されたシャフト端部における、鉛直線に対するシャフトの角度として定義することができる。
ステップ640では、ボール打撃要素のインパクト特性が装置102のディスプレイに出力される。更なる例示的な実施形態では、ディスプレイは、コンピュータの画面、スマートフォンの画面、又はタブレットの画面とすることができる。インパクト特性は、スポーツイベントの放送を強化するために使用されても良い。例えば、ボール打撃要素がゴルフクラブである場合、ゴルフショットのインパクト特性を、ゴルフトーナメントの放送中に表示することができる。2つ目の例では、ボール打撃要素が野球バットである場合、野球スイングのインパクト特性を野球ゲームの放送中に表示することができる。
同様のモデリングは、他のタイプのボール打撃要素にも使用することができる。野球のような他のスポーツでは、インパクト位置が、バットの回転対称軸と同一の軸と、バットの先端の原点と、を有する座標系で提示されることが好ましい。しかしながら、3次元方向(スイング経路及びアタック角)及びインパクト時のバットの2次元の配向(バレル角及び方位(バットは回転対称である))のような他のインパクト特性については、好ましい座標系は、競技フィールドか、来るボールに沿った座標系である可能性が高い。
テニスのようなラケットスポーツでは、インパクト位置はラケットの座標系で表されることが好ましく、一方、3次元方向及び3次元配向は、競技場の座標系又は来るボールに対する座標系で表されることが好ましい。
ボール打撃要素の様々なインパクト特性を決定することに加えて、システムは、ボール速度、打出し角度、及び打出し方向のような、ボールに関する打出しデータを提供することもできる。これらのデータは、インパクト時のボールまでの決定された距離と組み合わされた画像内の決定されたボール位置から、容易に導出することができる。ボール打出しデータの決定は、よりロバストで正確な推定を提供するために、ボールの決定された角度位置に空気力学モデルを近似することを含むことができる。オプションとして、システムはレーダを含むことができる。撮像装置システムにドップラレーダを含めることは、ボールの任意の時点でレンジ及びレンジレートを正確に測定することができるという更なる利点を有する。これは、一般に、ボールの打出しデータの精度を高める。ボールがインパクトの前に動いている状況では、明らかに同様のインパクトデータを、同様の方法で、来るボールに対して決定することができる。これは、進入速度、進入角度及び進入方向のようなボール上のデータ点を提供する。
ボール打撃要素のインパクト特性をボールアプローチ及び打出しデータと相関させることにより、ボール打撃要素とボールとの衝突の非常に詳細な測定値が提供され、これは多くの有用な用途を有する。
図9A及び9Bは、本発明の例示的な実施形態に従ってゴルフクラブのシャフトの偏向が検出される、ゴルフボールにインパクトするゴルフクラブの背面図を示す。シャフトフィックス線126を検出し、それを直線126aと比較することによって、シャフトの撓み量を決定することができる。ゴルフクラブのホーゼル上のフィックス点124に加えて、ゴルフクラブのグリップ端の方の、170のような追加のフィックス点を検出することができる。追加のフィックス点170は、シャフトの撓み、又は、初期形状、クラブヘッド、シャフト、及びグリップの互いに対する位置及び配向に対する変化を検出するために、シャフトフィックス線126とともに使用することができる。例えば、グリップとクラブヘッドとの互いに対する3次元位置は、プレーヤがスイングを開始してクラブの静止形状を確立する前に検出することができる。次いで、スイングが進行するのに伴って、システムはフィックス点170、124及びフィックス線126を監視して、スイング全体にわたるシャフトの撓み量を示す、グリップに対するクラブヘッドの動き(即ち、クラブヘッドからグリップまでの距離を変化させる任意の動き)を検出及び測定することができる。次いで、この情報は、撓みがない状況からのクラブヘッドの落下角度又は移動量のような、任意の所望のフォーマットでプレーヤに提供され得る。
草むらからのゴルフショット中のように、ボールとの接触前又は接触中にスイング中にゴルフクラブが地面を打つ場合、ゴルフクラブヘッドは、地面からクラブヘッドを上方に押す力を受け、ゴルフシャフトの撓みの変化をもたらす。ボールがゴルフティーから打撃される場合、一般に、クラブヘッドは、ゴルフクラブとゴルフボールとの間の斜めのインパクトのために下方に偏向される。加えて、シャフトの撓みは、スイング全体を通して検出されても良い。クラブは一般に、バックスイングのピーク、又はボールとの衝突の直前又は直後に最大量の撓みを経験し、この撓みはゴルファーによって利用されて、フォワードスイング中に、ボールを打つときに追加の力を提供することができる。場合によっては、ゴルフクラブがボールにインパクトする前に地面にインパクトする--いわゆる「ファットショット」--ことがあり、これはクラブヘッドを減速させ、クラブヘッドの向き及び方向を変化させることもある。本明細書に開示された発明を使用してシャフトの撓み及び/又はクラブヘッドの運動特性を検出することによって、ショットが「ファット」であったかどうかを検出し、ゴルファーに知らせることが可能になり、それによって、ボールにインパクトする前にクラブヘッドがインパクトに衝突しなかったシナリオと比較した、異なるショット結果の理由を与えることができる。
シャフトの撓みのこれらの変化並びに撓みの絶対量の検出は、個々のゴルファーのためのシャフト撓みのプロファイルの最適化、新しいゴルフシャフトの開発、並びに、ゴルフクラブとボールとの間の衝突のためのより関連する測定パラメータを与えるために重要である。ホッケースティック、テニスラケット、野球バット等のような他のボール打撃要素でも、明らかに同様の撓み特性を経験することができる。
本発明の例示的な実施形態の方法によれば、一連の画像は第3の画像を含み、第1の画像はインパクトの前に取得され、第2及び第3の画像はインパクトの後に取得され、物体はインパクトの前に静止しており、インパクト時点は、第1、第2及び第3の画像における物体の位置に基づいて決定される。
本発明の別の例示的な実施形態の方法によれば、一連の画像は第3の画像及び第4の画像を含み、第1の画像及び第3の画像はインパクトの前に取得され、第2の画像及び第4の画像はインパクトの後に取得され、第1の点は第3の画像及び第4の画像において識別される。インパクト時点は、第1、第2、第3及び第4の画像における第1の点及び物体のうちの1つの位置を決定すること;及び、第1、第2、第3及び第4の画像における第1の点及び物体のうちの1つの位置に基づいて、物体打撃要素及び物体のうちの1つの速度における不連続のタイミングを識別することによって決定される。
本発明の例示的な実施形態の方法によれば、前記方法は、前記撮像装置をマイクロフォンと同期させること;及び、マイクロフォンを介して、所定の時間範囲内にマイクロフォン信号を受信することを更に含むことができる。所定の時間範囲には、インパクト時点が含まれる。インパクト時点は、マイクロフォン信号におけるインパクトの音を検出することによって決定される。
本発明の例示的な実施形態の方法によれば、物体は、インパクト前は静止しており、インパクト時点での物体の位置は予め決定されている。インパクト前に物体が静止している場合、インパクト時点での物体から撮像装置までの距離は、インパクト時点より前に取得された画像内の物体のサイズに基づいて決定される。インパクト時点での物体の位置は、画像内の物体のサイズを物体の既知の形状特性と比較することによって決定される。
本発明の別の例示的な実施形態の方法によれば、方法は、撮像装置の座標系を、物体打撃要素表面の視点からの座標系に変換することを更に含むことができる。
本発明の更に別の例示的な実施形態の方法によれば、方法は、インパクト時点における物体打撃要素表面での物体のインパクト位置を表示することを更に含むことができる。物体打撃要素は、クラブ、ラケット、バット、パドル、スティック及び足のうちの1つである。
本発明の別の例示的な実施形態による方法は、一連の画像から第1の画像及び第2の画像内の物体打撃要素上の第1の点を識別することであって、第1及び第2の画像は物体と物体打撃要素とのインパクトの所定の時間範囲内に取得されること;物体と物体打撃要素とのインパクトのインパクト時点を決定し、所定の時間範囲内の、撮像装置から物体打撃要素までの距離の変化率を決定すること;及び、撮像装置から物体と物体打撃要素とが互いにインパクトする位置までの距離を決定し、所定の時間範囲内での物体打撃要素の移動の3次元方向を決定することを含むことができる。
本方法は、インパクト時点の直前の瞬間に物体打撃要素の速度及び方向を表示することを更に含むことができる。物体打撃要素は、クラブ、ラケット、バット、パドル、スティック及び足のうちの1つである。
本方法は、物体打撃要素の既知の形状特性に関して、第1及び第2の画像における第1の線の偏差を決定すること;及び、決定された偏差に基づいて物体打撃要素が地面に接触したことを決定することを更に含むことができる。
本方法は、地表面との接触が、インパクト時点の前、インパクト時点の間、又はインパクト時点の後のうち何れに生じたかどうかを判定することを更に含むことができる。この方法は、物体打撃要素の撓みを表示することを更に含むことができる。物体打撃要素は、クラブ、ラケット、バット、パドル、スティック及び足のうちの1つである。
Claims (18)
- 物体の物体打撃要素によるインパクトの所定の時間範囲内に取得され、撮像装置から受信した一連の画像から、第1の画像を選択すること;
前記第1の画像に基づいて前記物体打撃要素の一部の輪郭を決定すること;
決定された前記物体打撃要素の輪郭に基づいて、前記物体打撃要素での第1の線を特定すること;
前記物体の前記物体打撃要素による前記インパクトのインパクト時点を決定すること;及び
前記一連の画像から、前記インパクト時点における前記第1の線の角度を決定すること
を含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記第1の画像から推定背景画像を減算することで基準画像を作成することを更に含み、
前記物体打撃要素の一部の輪郭は、前記基準画像に基づいて決定されることを特徴とする方法。 - 請求項1に記載の方法であって、
前記インパクト時点における前記物体打撃要素の3次元方向を決定するために、前記第1の線を前記物体打撃要素の既知の形状特性と比較することを更に含むことを特徴とする方法。 - 請求項3に記載の方法であって、
前記物体打撃要素が、クラブフェースを含むゴルフクラブであり、前記第1の線が前記ゴルフクラブのシャフトの軸であり、
前記方法が、
前記所定の時間範囲内における前記クラブフェースの向きを決定すること;及び
前記軸と、前記クラブフェースと前記シャフトとの間の既知の角度関係と、に基づいて、前記インパクト時点における前記シャフトの3次元方向を決定すること
を更に含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記一連の画像のうち前記第1の画像及び第2の画像の少なくとも1つから、前記物体打撃要素の既知の形状特性に関して前記第1の線の偏向を決定すること;及び
前記所定の時間範囲における前記物体打撃要素の撓みを決定すること、
を更に含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記物体打撃要素の既知の形状特性に関して、前記一連の画像のうち前記第1の画像及び第2の画像の前記第1の線の偏差を決定すること;及び
決定された前記偏差に基づいて、前記物体打撃要素が地面に接触したか否かを判定すること
を含むことを特徴とする方法。 - 請求項6に記載の方法であって、
前記インパクト時点との関係で、前記物体打撃要素が地面にいつ接触したかを決定すること
を更に含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記物体が前記インパクトの前に静止している場合、前記インパクト時点における前記物体の位置が予め決定されていることを特徴とする方法。 - 請求項1に記載の方法であって、
前記物体が前記インパクトの前に静止している場合、前記インパクト時点における前記物体から前記撮像装置までの距離が、前記インパクト時点の前に取得された画像における前記物体のサイズに基づいて決定されることを特徴とする方法。 - 請求項1に記載の方法であって、
前記一連の画像のうち前記第1の画像及び第2の画像が、前記インパクト時点の直前に取得されることを特徴とする方法。 - 請求項1に記載の方法であって、
前記一連の画像のうち前記第1の画像及び第2の画像が、前記インパクト時点の直後に取得されることを特徴とする方法。 - 請求項1に記載の方法であって、
前記一連の画像のうち前記第1の画像が前記インパクト時点の直前に取得され、前記一連の画像のうち第2の画像が前記インパクト時点の直後に取得されることを特徴とする方法。 - 請求項1に記載の方法であって、
前記撮像装置をマイクロフォンと同期させること;
前記所定の時間範囲の間、前記マイクロフォンを介して信号を受信すること;及び
前記インパクト時点は、前記マイクロフォンの信号において検出された前記インパクトの音に基づいて決定されることを特徴とする方法。 - 請求項1に記載の方法であって、
前記撮像装置をレーダと同期させること;及び
前記レーダから、前記所定の時間範囲の間における前記物体打撃要素及び前記物体のうち少なくとも一方の速度を示すデータを受信することであって、前記所定の時間範囲内における前記物体打撃要素及び前記物体の一方の速度が不連続となるタイミングに基づいて前記インパクト時点が決定されること
を更に含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記一連の画像のうち前記第1の画像及び第2の画像に基づいて、前記所定の時間範囲の間における前記物体打撃要素の3次元経路を決定すること
を更に含むことを特徴とする方法。 - 物体の物体打撃要素によるインパクトの所定の時間範囲内に取得され、撮像装置から受信した一連の画像から、第1の画像を選択すること;
前記第1の画像に基づいて前記物体打撃要素の一部の輪郭を決定すること;
決定された前記物体打撃要素の輪郭に基づいて、前記物体打撃要素での第1の点を特定すること;
前記物体の前記物体打撃要素による前記インパクトのインパクト時点を決定すること;及び
前記一連の画像のうち前記第1の画像及び第2の画像における前記第1の点の位置に基づいて、前記インパクト時点における、前記物体に対する前記第1の点の位置を決定すること
を含むことを特徴とする方法。 - 請求項16に記載の方法であって、
前記撮像装置と同期したレーダからのデータに基づいて、前記所定の時間範囲の間における前記物体打撃要素及び前記物体のうち少なくとも一方の速度を決定することであって、前記所定の時間範囲内における前記物体打撃要素及び前記物体の一方の速度が不連続となるタイミングに基づいて前記インパクト時点が決定されること
を更に含むことを特徴とする方法。 - 請求項16に記載の方法であって、
前記インパクト時点での前記物体の位置、及び、前記インパクト時点での前記第1の点の位置に基づいて、前記物体打撃要素によってインパクトされた前記物体の前記物体打撃要素での位置を決定すること
を更に含むことを特徴とする方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762609867P | 2017-12-22 | 2017-12-22 | |
US62/609,867 | 2017-12-22 | ||
JP2019571244A JP7072590B2 (ja) | 2017-12-22 | 2018-12-18 | スポーツボール打撃要素のインパクト特性を決定するためのシステム及び方法 |
JP2021213554A JP7303864B2 (ja) | 2017-12-22 | 2021-12-27 | 方法及びシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021213554A Division JP7303864B2 (ja) | 2017-12-22 | 2021-12-27 | 方法及びシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023123672A true JP2023123672A (ja) | 2023-09-05 |
Family
ID=65269001
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571244A Active JP7072590B2 (ja) | 2017-12-22 | 2018-12-18 | スポーツボール打撃要素のインパクト特性を決定するためのシステム及び方法 |
JP2021213554A Active JP7303864B2 (ja) | 2017-12-22 | 2021-12-27 | 方法及びシステム |
JP2023103794A Pending JP2023123672A (ja) | 2017-12-22 | 2023-06-23 | 方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019571244A Active JP7072590B2 (ja) | 2017-12-22 | 2018-12-18 | スポーツボール打撃要素のインパクト特性を決定するためのシステム及び方法 |
JP2021213554A Active JP7303864B2 (ja) | 2017-12-22 | 2021-12-27 | 方法及びシステム |
Country Status (6)
Country | Link |
---|---|
US (4) | US10953303B2 (ja) |
EP (1) | EP3600577A1 (ja) |
JP (3) | JP7072590B2 (ja) |
KR (3) | KR102335944B1 (ja) |
CN (1) | CN110545885A (ja) |
WO (1) | WO2019123271A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7072590B2 (ja) * | 2017-12-22 | 2022-05-20 | トラックマン・アクティーゼルスカブ | スポーツボール打撃要素のインパクト特性を決定するためのシステム及び方法 |
WO2020068849A1 (en) * | 2018-09-25 | 2020-04-02 | Visual Robotics Systems Inc. | Spatially-aware camera and method thereof |
CN110575100B (zh) * | 2019-09-29 | 2024-07-09 | 尚科宁家(中国)科技有限公司 | 一种扫地机器人及其电池监测方法 |
US10898757B1 (en) | 2020-01-21 | 2021-01-26 | Topgolf Sweden Ab | Three dimensional object tracking using combination of radar speed data and two dimensional image data |
US11352079B1 (en) | 2020-12-22 | 2022-06-07 | Tc Global Holdings Llc | Mobile golf simulation system |
KR20220135819A (ko) * | 2021-03-31 | 2022-10-07 | 한국전자통신연구원 | 다종목 스크린 스포츠 코칭용 임팩트 동작 인식 시스템 |
AT525032A1 (de) | 2021-04-23 | 2022-11-15 | Visual Vertigo Software Tech Gmbh | Verfahren zum Starten der Nachverfolgung der Flugbahn eines Objekts |
WO2023106028A1 (ja) * | 2021-12-09 | 2023-06-15 | Necソリューションイノベータ株式会社 | 動体検出装置、動体検出方法、及びコンピュータ読み取り可能な記録媒体 |
US12053682B2 (en) * | 2021-12-30 | 2024-08-06 | Acushnet Company | Wedge golf club fitting system and method |
CA3204843A1 (en) * | 2022-05-09 | 2023-11-09 | Amplus Co., Ltd. | Method, apparatus, and program for controlling display |
JP7148192B1 (ja) | 2022-05-09 | 2022-10-05 | 有限会社Amplus | 表示制御装置および方法並びにプログラム |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0312179A (ja) * | 1989-06-12 | 1991-01-21 | Mizuno Corp | 打球診断装置 |
US7086954B2 (en) * | 2001-02-14 | 2006-08-08 | Acushnet Company | Performance measurement system with fluorescent markers for golf equipment |
CA2102442A1 (en) | 1992-11-20 | 1994-05-21 | William Gobush | Method and apparatus to determine object striking instrument movement conditions |
JP2003111880A (ja) * | 2001-10-04 | 2003-04-15 | Ditect:Kk | ゴルフスイング解析システム及び画像処理方法 |
US6506124B1 (en) * | 2001-12-21 | 2003-01-14 | Callaway Golf Company | Method for predicting a golfer's ball striking performance |
JP2005087615A (ja) * | 2003-09-19 | 2005-04-07 | Sumitomo Rubber Ind Ltd | ゴルフのインパクト現象解析システム |
JP4256290B2 (ja) | 2004-03-26 | 2009-04-22 | Sriスポーツ株式会社 | ゴルフスウィング診断システム |
WO2006002640A1 (en) * | 2004-07-02 | 2006-01-12 | Interactive Sports Games A/S | A method and an apparatus for determining a parameter of a path of a sports ball on the basis of a launch position thereof |
JP4784538B2 (ja) * | 2007-03-19 | 2011-10-05 | カシオ計算機株式会社 | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム |
JP5407658B2 (ja) * | 2008-09-02 | 2014-02-05 | 横浜ゴム株式会社 | ゴルフクラブの選択方法およびゴルフクラブの選択システム |
KR101845503B1 (ko) * | 2009-01-29 | 2018-04-04 | 트랙맨 에이/에스 | 레이더 및 촬상 요소를 포함하는 조립체 |
JP5424943B2 (ja) * | 2010-03-11 | 2014-02-26 | 住友ゴム工業株式会社 | スポーツ打具のスイングし易さの評価方法 |
US9619891B2 (en) * | 2010-08-26 | 2017-04-11 | Blast Motion Inc. | Event analysis and tagging system |
JP5877978B2 (ja) * | 2011-09-02 | 2016-03-08 | 株式会社フローベル | 計測装置および計測方法 |
US11074495B2 (en) * | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US11195057B2 (en) * | 2014-03-18 | 2021-12-07 | Z Advanced Computing, Inc. | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US9782654B2 (en) | 2011-11-04 | 2017-10-10 | Nike, Inc. | Method and apparatus for low resolution golf swing image capture analysis |
US8951138B2 (en) | 2012-01-25 | 2015-02-10 | Wawgd, Inc. | Golf club head measurement system |
JP6024055B2 (ja) | 2014-01-28 | 2016-11-09 | 株式会社大都技研 | 遊技台 |
JP6379499B2 (ja) | 2014-01-29 | 2018-08-29 | 横浜ゴム株式会社 | スイング測定方法およびスイング測定装置 |
JP2014128723A (ja) | 2014-03-13 | 2014-07-10 | Yupiteru Corp | ゴルフ支援装置 |
CN103990279B (zh) | 2014-06-06 | 2016-03-23 | 深圳市如歌科技有限公司 | 基于互联网的高尔夫击球模拟方法 |
JP6606930B2 (ja) * | 2015-09-04 | 2019-11-20 | 株式会社プロギア | 撮影装置 |
JP2017189490A (ja) | 2016-04-15 | 2017-10-19 | セイコーエプソン株式会社 | 表示方法、スイング解析装置、スイング解析システム、スイング解析プログラム、および記録媒体 |
JP7072590B2 (ja) * | 2017-12-22 | 2022-05-20 | トラックマン・アクティーゼルスカブ | スポーツボール打撃要素のインパクト特性を決定するためのシステム及び方法 |
-
2018
- 2018-12-18 JP JP2019571244A patent/JP7072590B2/ja active Active
- 2018-12-18 EP EP18842652.2A patent/EP3600577A1/en active Pending
- 2018-12-18 KR KR1020197030847A patent/KR102335944B1/ko active IP Right Grant
- 2018-12-18 CN CN201880027675.1A patent/CN110545885A/zh active Pending
- 2018-12-18 US US16/224,161 patent/US10953303B2/en active Active
- 2018-12-18 KR KR1020217039299A patent/KR102445407B1/ko active IP Right Grant
- 2018-12-18 WO PCT/IB2018/060280 patent/WO2019123271A1/en unknown
- 2018-12-18 KR KR1020227032026A patent/KR102622909B1/ko active IP Right Grant
-
2020
- 2020-12-10 US US17/247,431 patent/US11439886B2/en active Active
-
2021
- 2021-02-18 US US17/249,062 patent/US11612801B2/en active Active
- 2021-12-27 JP JP2021213554A patent/JP7303864B2/ja active Active
-
2023
- 2023-02-28 US US18/176,078 patent/US20230201692A1/en active Pending
- 2023-06-23 JP JP2023103794A patent/JP2023123672A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN110545885A (zh) | 2019-12-06 |
US10953303B2 (en) | 2021-03-23 |
US11439886B2 (en) | 2022-09-13 |
US20210170257A1 (en) | 2021-06-10 |
KR102445407B1 (ko) | 2022-09-20 |
JP2022050505A (ja) | 2022-03-30 |
US20210113908A1 (en) | 2021-04-22 |
EP3600577A1 (en) | 2020-02-05 |
JP2020524580A (ja) | 2020-08-20 |
WO2019123271A1 (en) | 2019-06-27 |
JP7303864B2 (ja) | 2023-07-05 |
KR102622909B1 (ko) | 2024-01-10 |
US11612801B2 (en) | 2023-03-28 |
KR20220131555A (ko) | 2022-09-28 |
US20190192950A1 (en) | 2019-06-27 |
KR20210149240A (ko) | 2021-12-08 |
US20230201692A1 (en) | 2023-06-29 |
KR20190129971A (ko) | 2019-11-20 |
JP7072590B2 (ja) | 2022-05-20 |
KR102335944B1 (ko) | 2021-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7303864B2 (ja) | 方法及びシステム | |
US11291902B2 (en) | Systems and methods for illustrating the flight of a projectile | |
US12002222B2 (en) | Device for calculating flight information of ball, method of calculating flight information of ball, and computing-device-readable recording medium having the method recorded therein | |
US20230364468A1 (en) | Deep learning method of determining golf swing and golf ball parameters from radar signal and image data | |
CN113260424A (zh) | 利用雷达感测数据的高尔夫球杆的挥杆轨迹计算方法和利用该方法的雷达感测装置以及记录所述方法的计算装置可读记录介质 | |
US20230347209A1 (en) | Device for sensing golf swing and method for sensing impact position on club head using the same | |
US20230070986A1 (en) | Deep learning method of determining golf club parameters from both radar signal and image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240911 |