JP2018004638A - ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】好適なボールの回転を測定するための方法を提供すること。
【解決手段】本発明の一態様によると、ボールの回転を測定するための方法であって、物理量測定の対象となるボールを撮影した複数の画像それぞれにおいて、前記ボールに該当する領域内に表示される少なくとも一つのマークを検出するステップ、前記複数の画像それぞれから検出される前記少なくとも一つのマークの前記複数の画像それぞれでの属性に関する情報を参照して、時間的に隣接する第１画像及び第２画像にわたって共通に検出されるマークを認識し、前記認識されているマークの前記第１画像での属性及び前記第２画像での属性に関する情報が含まれているマークシーケンス（sｅquｅnｃｅ）を生成するステップと、前記生成されたマークシーケンスを参照で、前記ボールの回転に関する物理量を測定するステップを含む方法が提供される。
【選択図】図３

Description

本発明は、ボールの回転を測定するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体{ＭＥＴＨＯＤ、ＳＹＳＴＥＭ ＡＮＤ ＮＯＮ−ＴＲＡＮＳＩＴＯＲＹ ＣＯＭＰＵＴＥＲ−ＲＥＡＤＡＢＬＥ ＲＥＣＯＲＤＩＮＧ ＭＥＤＩＵＭ ＦＯＲ ＭＥＡＳＵＲＩＮＧ ＢＡＬＬ ＳＰＩＮ}に関するものである。

［発明の背景となる技術］
ゴルファーが都心などでも低コストで仮想的にゴルフを楽しむことができるようにするシミュレーションゴルフシステムが広く普及している。このようなシミュレーションゴルフシステムはゴルファーがゴルフボールを打つとゴルフボールを撮影した画像を多数獲得し、その軌跡、間隔、サイズなどに基づいて、ゴルフボールの物理量を測定しシミュレーションを行い、ショットのシミュレーション結果をスクリーン上に表示し与えることをその基本コンセプトとすることができる。これらのシミュレーションゴルフのシステムでは、ゴルフボールの撮影された画像を可能な限り良好な状態で獲得することが重要である。

これに関連し、特許文献１（発明の名称：照明制御を利用したゴルフ映像獲得装置、及びそれによる画像処理ベースのゴルフ練習システム）は、照明の位置や色を調節しながらゴルフ練習シーンを撮影することにより、ゴルフボールの画像をより多様に獲得する技術について開示している（前記韓国公開特許公報の明細書は、その全体として本明細書に編入されたものとみなされるべきである）。しかし、この技術を含むいくつかの従来技術はゴルフボールの物理量を正確に測定するのに必要なゴルフボールの画像を良好な状態で獲得するには、必要な技術や複数のゴルフボールの画像から得られるマークシーケンス（Ｍａｒｋ Ｓｅｑｕｅｎｃｅ）を利用して、ゴルフボールの物理量を測定する技術について関心を示していないことは事実である。

したがって、本発明者（ら）は、短い時間の間に多くのフレームの画像を撮影できる高速カメラから取得されるゴルフボールの画像にわたって表示されるマークシーケンスを分析することにより、ゴルフボールの物理量を正確に測定するための新しい技術について提案するものである。

韓国公開特許公報第１０-２００９-０１１２５３８号

本発明は、移動するゴルフボールを撮影した複数の画像にわたって表示されるマークシーケンスを分析して、ゴルフボールの回転速度と回転方向を測定することをその目的とする。

また、本発明は、移動するゴルフボールを撮影するカメラがゴルフボールを眺める視線の角度がゴルフボールの動きに応じて異なるために発生する可能性のある誤差を補正することを他の目的とする。

前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一態様によると、ボールの回転を測定するための方法であって、物理量測定の対象となるボールを撮影した複数の画像それぞれにおいて、前記ボールに該当する領域内に表示される少なくとも一つのマークを検出するステップ、前記複数の画像それぞれから検出される少なくとも一つのマークの前記複数の画像それぞれでの属性に関する情報を参照して、時間的に隣接する第１画像及び第２画像にわたって共通に検出されるマークを認識し、前記認識されたマークの第１画像での属性及び第２画像での属性に関する情報が含まれているマークシーケンスを生成するステップ、前記生成されたマークシーケンスを参照して、前記ボールの回転に関する物理量を測定するステップとを含む方法が提供される。

本発明の他の態様によると、ボールの回転を測定するためのシステムであって、物理量測定の対象となるボールを撮影した複数の画像それぞれにおいて、前記ボールに該当する領域内に表示される少なくとも一つのマークを検出し、前記複数の画像それぞれから検出される少なくとも一つのマークの複数の画像それぞれでの属性に関する情報を参照して、時間的に隣接する第１画像及び第２画像にわたって共通に検出されたマークを認識し、前記認識されているマークの第１画像での属性及び第２画像での属性に関する情報が含まれているマークシーケンスを生成するマークシーケンス管理部、及び前記生成されたマークシーケンスを参照して、前記ボールの回転に関する物理量を測定する回転測定部とを含むシステムが提供される。

この他にも、本発明を実施するための他の方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体が提供される。

本発明によれば、複数のゴルフボールの画像にわたって表示されるマークの時系列的な集合（つまり、マークシーケンス）を利用して、ゴルフボールの回転速度と回転方向を正確に測定する効果が達成することができる。

また、本発明によれば、移動するゴルフボールを撮影するカメラがゴルフボールを眺める視線の角度がゴルフボールの動きに応じて異なるために発生する可能性のある誤差を補正することができるので、移動するゴルフボールを撮影した複数の画像にわたって表示されるマークとマークシーケンスをより正確に特定する効果が達成することができる。

図１は、本発明の一実施形態に係るシミュレーションゴルフシステムの全体的な構成を概略的に示す図である。 図２は、本発明の一実施形態に係る撮影装置（１００）の内部構成を詳細に示す図である。 図３は、本発明の一実施形態に係るシミュレータ（２００）の内部構成を詳細に示す図である。 図４は、本発明の一実施例に基づいて実際に撮影されたゴルフボールの画像を例示的に示す図である。 図５は、本発明の一実施例に基づいてゴルフボールの画像に適用することができる補正モデルを視覚的に示す図である。 図６は、本発明の一実施例に基づいて明るさが補正されたゴルフボールの画像を例示的に示す図である。 図７は、本発明の一実施例に基づいて実際に撮影された複数のゴルフボールの画像にわたって表示されるマークの姿を例示的に示す図である。 図８は、本発明の一実施例に基づいて移動するゴルフボールを撮影するカメラの視線の角度がゴルフボールの動きに応じて異なるために発生する可能性のある誤差を補正する構成を概念的に示す図である。

［発明を実施するための具体的な内容］
後述する本発明の詳細な説明は、本発明が実施されることができる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することがあるので、十分に詳細に説明される。本発明の様々な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造、及び特性は、本発明の精神と範囲を逸脱せずに一実施例から、他の実施例に変更されて実装されることができる。また、それぞれの実施例内の個々の構成要素の位置又は配置も、本発明の精神と範囲を逸脱なく変更されることがあることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味として行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲とその均等なすべての範囲を網羅するものとして受け入れられなければならない。図面で同様の参照符号は、いくつかの側面に亘って同一又は類似の構成要素を示す。

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明のいくつかの好ましい実施例について添付された図面を参照して詳細に説明する。

システム全体の構成
図１は、本発明の一実施形態に係るシミュレーションゴルフシステムの全体的な構成を概略的に示す図である。

図１に示すように、シミュレーションゴルフシステムは打撃部（１０）、照明装置（２０）、撮影装置（１００）、シミュレータ（２００）と表示装置（３００）を含んで構成されることがある。

まず、本発明の一実施形態に係る打撃部（１０）は、ゴルファーが、シミュレーションゴルフシステムを利用する際に足を掛け、上がってゴルフボールを置いて打つ部分であることがある。このような打撃部（１０）は、その傾斜角が調節されることがある公知のスイングプレートを含むことができる。ちなみに、当業者は、本発明は他の種類の仮想スポーツシステムに適用される場合には、打撃部（１０）の構成を、必要に応じてそれと一緒に連動する他の構成要素の構成と共に当該スポーツの特性に合わせ適切に変更することができる。

次に、本発明の一実施形態に係る照明装置（２０）は、ゴルファーが室内や屋外でのシミュレーションゴルフを楽しむ場合に人為的に光を照射することができる装置であることがある。このようなの照明装置（２０）は、必要に応じてオン又はオフになったり、その明るさが調節されることができる。好ましくは、照明装置（２０）は光の震え現象によるゴルフボールの画像の自然な劣化を防ぐための赤外線照明であることがある。

次に、本発明の一実施形態に係る撮影装置（１００）は、少なくとも一つのカメラ（例えば、高速カメラ）（未図示）を含み、ゴルフボールの画像（例えば、運動しているゴルフボールの画像）を複数の獲得する機能を実行することができる。これらの撮影装置（１００）は、図１に示すように運動するゴルフボールを上から下に見下ろす位置に配置されることもあるが、その他の別の場所に配置することもできる。

本発明の一実施例によると、ゴルフボールの画像は、そのゴルフボールの表面に表示されている所定のマークが鮮明に現れていて、そのマークの形状や位置を特定するのに良いものほど、より良好なものとすることができる。例えば、ゴルフボールの画像のボールに該当する領域に表示されたマークがより鮮明な場合、後述するようなシミュレータ（２００）が多数のゴルフボールの画像にわたって表示されるマークの時系列的な集合であるマークシーケンスをより正確にキャッチしてゴルフボールの回転速度と回転方向をより正確に計算することができる。

前記のような撮影装置（１００）の具体的な構成については、図２を参照して、下で更に説明することにする。
次に、本発明の一実施形態に係るシミュレータ（２００）は、物理量測定の対象となるボールを撮影した複数の画像それぞれでのボールに該当する領域内に表示される少なくとも一つのマークを検出し、複数の画像それぞれから検出される少なくとも一つのマークを複数の画像それぞれでの属性に関する情報として参照して、時間的に隣接する第１画像及び第２画像にわたって共通に検出されたマークを認識し、前記の認識されたマークの第１画像での属性及び第２画像での属性に関する情報が含まれているマークシーケンスを生成し、前記の生成されたマークシーケンスを参照して、ボールの回転に関する物理量を測定する機能を実行することができる。

また、本発明の一実施形態に係るシミュレータ（２００）は、前記のように撮影された複数の画像それぞれについて、撮影を行ったカメラがボールを眺める視線を参照して、複数の画像それぞれから検出される少なくとも一つのマークの属性（位置、方向など）を補正する機能を実行することができる。

一方、本発明の一実施形態に係るシミュレータ（２００）は、撮影装置（１００）と表示装置（３００）と通信することができ、シミュレーションゴルフのシミュレーションのための専用プロセッサを含むことがある。これらの専用プロセッサは、メモリ手段を備えて数値演算能力とグラフィックス処理能力を備えたものであることがある。

前記のようなシミュレータ（２００）の構成については、図３を参照して、下から更に説明することにする。
最後に、本発明の一実施形態に係る表示装置（３００）は、シミュレータ（２００）の物理量の測定、仮想現実の実装の結果を表示してくれる機能を実行することができる。これらの表示装置（３００）は、所定のディスプレイ手段を介して所定の映像を表示することができるが、例えば、打撃されたゴルフボールの衝撃を吸収する一方、直接発光しないスクリーンと、このようなスクリーンに映像を出力するプロジェクターで構成されることができる。

後記では、本発明の一実施形態に係る撮影装置（１００）の内部構成と、各構成要素の機能について見てみることにする。
図２は、本発明の一実施形態に係る撮影装置（１００）の内部構成を詳細に示す図である。

図２に示すように、撮影装置（１００）は、カメラ部（１１０）、通信部（１２０）、制御部（１３０）とを含んで構成されることができる。
本発明の一実施例によると、カメラ部（１１０）、通信部（１２０）と制御部（１３０）は、そのうちの少なくとも一部がシミュレータ（２００）と通信するためのプログラムモジュールであることがある。これらのプログラムモジュールは、オペレーティングシステム、アプリケーション、モジュール、又は他のプログラムモジュールの形で撮影装置（１００）に含まれることがあり、物理的には、いくつか公知の記憶装置に保存されることがある。また、これらのプログラムモジュールは、撮影装置（１００）と通信可能なリモート記憶装置に保存されることもある。一方、これらのプログラムモジュールは、本発明に基づいて、後述する特定の業務を実行したり、特定の抽象データ型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに限定されない。

まず、本発明の一実施形態に係るカメラ部（１１０）は、光学的に複数の画像を取得することができる少なくとも一つのカメラを含むことがある。例えば、本発明の一実施形態に係るカメラ部（１１０）は、１秒あたりの数十フレームの画像を撮影できる高速カメラや超高速カメラを含むことができる。

本発明の一実施例によると、カメラ部（１１０）のカメラは、運動するゴルフボールがある状態やない状態で撮影を行い、所定の画像を獲得することができる。
次に、本発明の一実施形態に係る通信部（１２０）は、必要に応じて制御部（１３０）とシミュレータ（２００）との間のデータ送受信を媒介する機能を実行することがある。本発明の一実施例によると、通信部（１２０）が取ることができる通信方式に特別な制限はないが、有線ＬＡＮ通信、ケーブル通信などの有線通信方式や無線ＬＡＮ通信、赤外線通信、RF通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。

最後に、本発明の一実施形態に係る制御部（１３０）は、カメラ部（１１０）と通信部（１２０）との間のデータの流れを制御する機能を実行することができる。すなわち、本発明に係る制御部（１３０）は、撮影装置（１００）の外部からの/へのデータフローや撮影装置（１００）の各構成要素間のデータフローを制御することにより、カメラ部（１１０）と通信部（１２０ ）で、それぞれ固有の機能を実行するように制御することができる。

シミュレータの構成
後記では、本発明の一実施形態に係るシミュレータ（２００）の内部構成と、各構成要素の機能について見てみることにする。

図３は、本発明の一実施形態に係るシミュレータ（２００）の内部構成を詳細に示す図である。
図３に示すように、本発明の一実施形態に係るシミュレータ（２００）は、画像処理部（２１０）、物理量測定部（２２０）、シミュレーション部（２３０）、データベース（２４０）、通信部（２５０）、制御部（２６０）とを含んで構成されることができる。また、本発明の一実施例によると、画像処理部（２１０）は、画像取得部（未図示）と画像補正部（未図示）を含むことができる。本発明の一実施例によると、画像処理部（２１０）、物理量測定部（２２０）、シミュレーション部（２３０）、データベース（２４０）、通信部（２５０）、制御部（２６０）は、そのうちの少なくとも一部が撮影装置（１００）や表示装置（３００）と通信するプログラムモジュールであることがある。これらのプログラムモジュールは、オペレーティングシステム、アプリケーション、モジュール、又は他のプログラムモジュールの形でシミュレータ（２００）に含まれることがあり、物理的にはいくつかの公知の記憶装置に保存されることがある。また、これらのプログラムモジュールはシミュレータ（２００）と通信可能なリモート記憶装置に保存することもある。一方、これらのプログラムモジュールは、本発明に基づいて、後述する特定の業務を実行したり、特定の抽象データ型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに限定されない。

一方、シミュレータ（２００）について前記のように説明したが、これらの説明は、例示的なものであり、シミュレータ（２００）に要求される機能や構成要素の一部又は全てが必要に応じて、撮影装置（１００）で実現されるか含まれる場合があるとのことは当業者に自明である。

明るさ補正
まず、本発明の一実施例によると、画像処理部（２１０）（具体的には画像取得部）は、前記の撮影装置（１００）から物理量測定の対象となるボールを撮影した複数の画像を獲得する機能を実行することができる。

図４は、本発明の一実施例に基づいて実際に撮影されたゴルフボールの画像を例示的に示す図である。
図４を参照すると、照明の位置、光照射の方向や光の光度、カメラの位置、仕様や設定、ボールの位置や色などの様々な環境要因のために、複数の画像からボールに該当する領域の明るさの分布イメージごとに異なることがある。例えば、ボールに該当する領域の明るさが全体的に暗いことがあり、（図４の（ａ）参照）、ボールに該当する領域のうちの中央部の明るさが他の部分に比べて過度に明るいことがある（図４の（ｂ）を参照）。

まず、本発明の一実施例によると、画像処理部（２１０）（具体的には、画像補正部）は、物理量の測定の対象となるボールを撮影した複数の画像それぞれでのボールに該当する領域の撮影された明るさ分布を算出する機能を実行することができる。

具体的には、本発明の一実施形態に係る画像補正部は、複数の画像それぞれでのボールに該当する領域の中心点、最大の明るさ、半径などを算出することにより、各画像内のボールに該当する領域を特定することができる。また、本発明の一実施形態に係る画像補正部は、複数の画像それぞれでのボールに該当する領域内の所定の地点（例えば、中心点、最大の明るさなど）を基準にして、ボールに該当する領域の明るさの分布を算出することができる。

より具体的には、 本発明の一実施形態に係る画像補正部は、線形回帰モデル（Ｌｉｎｅａｒ Ｒｉｇｕｒｅｓｓｈｏｎ Ｍｏｄｅｌ）、ノンパラメトリックモデル（Ｎｏｎ−Ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌ）などの推定モデル又は統計学的モデルを利用して、複数の画像それぞれでのボールに該当する領域の明るさの分布を算出することができる。

例えば、線形回帰モデルに基づいて、複数の画像それぞれでのボールに該当する領域内で最大の明るさと任意の点の間の距離とその任意の点の明るさとの間の関係が導出されることができる。別の例として、ブラーフィルタ（Ｂｌｕｒｒｉｎｇ Ｆｉｌｔｅｒ）、ローパスフィルタ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）、ガウシアンフィルタ（ＧａＵｓｓｉａｎ Ｆｉｌｔｅｒ）などのノンパラメトリックモデルに基づいて、複数の画像それぞれでのボールに該当する領域内の任意の地点の明るさが算出されることができる。

また、本発明の一実施例によると、画像処理部（２１０）（具体的には、画像補正部）は、基準の明るさ分布を参照して、複数の画像のうち少なくとも一つの画像のボールに該当する領域の撮影された明るさの分布を補正する機能を実行することができる。

ここで、本発明の一実施例によると、基準明るさの分布は、ボールの表面上に表示されているマークを検出して認識することに適切なものに既に設定されている明るさの分布としては、データベース（２４０）内に格納されていることがある。

具体的には、本発明の一実施形態に係る画像補正部は、補正の対象となる画像のボールに該当する領域の撮影された明るさの分布の均一性が既に設定されてあるレベル以上になるよう、イメージのボールに該当する領域の撮影された明るさの分布を補正することができる。

より具体的には、本発明の一実施形態に係る画像補正部は、第１画像のボールに該当する領域の第１の撮影された明るさの分布と基準明るさの分布を比較すると、第１に撮影された明るさの分布を補正するための補正モデルを算出し、前記の算出された補正モデルを参照して、第１に撮影された明るさの分布を補正することができる。

例えば、本発明の一実施形態に係る補正モデルは、下の数式１と数式２のように表すことができる。
<数式 １>
Ｅ（Ｐ） ＝ ｃ ＊ ｂ（Ｐ） ＋ ｄ
<数式 ２>
Ｆ（Ｐ） ＝ ｂ（Ｐ） ＋ Ｅ（Ｐ） 又は Ｆ（Ｐ） ＝ ｂ（Ｐ） ＊ Ｅ（Ｐ）
前記の数式１及び数式２で、ｂ（Ｐ）は、任意の地点である点Pの明るさを示し、Ｅ（Ｐ）は、点Pの明るさの補正モデルを示し、ｃ及びｄは補正モデルＥ（Ｐ）を特定する補正係数を示し、Ｆ（Ｐ）は、キャリブレーションモデルＥ（Ｐ）によって補正された（つまり、均一化された）点Ｐの明るさを示す。

図５は、本発明の一実施例に基づいてゴルフボールの画像に適用することができる補正モデルを視覚的に示す図である。図５の（ａ）と（ｂ）は、それぞれ図４の（ａ）と（ｂ）の画像に適用することができる補正モデルを視覚化したものに相当する。

図６は、本発明の一実施例に基づいて明るさが補正されたゴルフボールの画像を例示的に示す図である。
図６を参照すると、図４の（ａ）と（ｂ）それぞれ示されているゴルフボールの画像のボールに該当する領域の明るさの分布が均一化されたことを確認することができる。

以上で説明したように、本発明の一実施例によると、それぞれのゴルフボール画像内だけでなく、複数のゴルフボールの画像にわたってボールに該当する領域の明るさの分布を補正（つまり、均一化）することにより、複数の画像にわたって共通して表示されるマークを検出及び認識するに当たり、明るさの差に起因するエラーが発生する可能性を低減、その検出と認識の精度を向上させることができるようになる。

ただし、本発明に基づいてゴルフボールの画像の明るさの分布を補正する方法が必ず前記列挙されたアルゴリズムに限定されるものではなく、本発明の目的を達成できる範囲内でいくらでも変更されることがあることを明らかにしておく。

マークシーケンスを用いたボールの回転の測定
一方、本発明の一実施形態に係る物理量測定部（２２０）は、前記のように補正された（つまり、明るさの分布が均一化された）複数のゴルフボールの画像（より具体的には、時間的に隣接する複数のゴルフボールの画像）に表示されるマークシーケンスを分析することにより、ゴルフボールの回転速度と回転方向を測定する機能を実行することができる。

具体的には、本発明の一実施形態に係る物理量測定部（２２０）は、上のマークシーケンスから観察されるマークのゴルフボールの表面上での移動速度と移動方向を参照してゴルフボールの回転速度と回転方向を推定することができる。また、本発明の一実施形態に係る物理量測定部（２２０）は、ゴルフボールの運動軌跡を演算、ゴルフボールの運動速度を演算したり、ゴルフボールの高さを演算する機能とをさらに実行することができる。

具体的には、本発明の一実施形態に係る物理量測定部（２２０）（具体的にはマークシーケンス管理部）は、物理量の測定の対象となるボールを撮影した複数の画像それぞれでのボールに該当する領域内に表示される少なくとも一つのマークを検出する機能を実行することができる。また、本発明の一実施形態に係る物理量測定部（２２０）は、前記のように検出される少なくとも一つのマークの複数の画像それぞれでの属性を特定する機能を実行することができる。

ここで、属性には、前記のように検出される少なくとも一つのマークの複数の画像それぞれでの位置、方向、大きさ、形状などが含まれることがある。
図７は、本発明の一実施例に基づいて実際に撮影された複数のゴルフボールの画像にわたって表示されるマークの姿を例示的に示す図である。

図７を参照すると、時間的に隣接して撮影された５つの画像それぞれからボール（７０１）の表面上に印刷されている複数のマーク（７１０から７７０ｅ）が検出されることがある。

一方、本発明の一実施形態に係る物理量測定部（２２０）（具体的にはマークシーケンス管理部）は、前記のように検出される少なくとも一つのマークの複数の画像それぞれでの属性に関する情報を参照して、時間的に隣接する複数の画像にわたって共通に検出されたマークを認識し、このように認識されているマークの複数の画像それぞれでの属性に関する情報が含まれているマークシーケンスを生成することができる。

具体的には、本発明の一実施形態に係るマークシーケンス管理部は、第１画像から検出される少なくとも一つのマークと第１画像と時間的に隣接する第２画像から検出される少なくとも一つのマークの間に位置し、方向、大きさ、形状などの属性が既に設定されているレベル以上に類似した（つまり、お互いにマッチングされる）マークが存在すると、そのマークが第１画像及び第２画像にわたって共通に検出されたマークであることを認識することができ、前記のように認識されるマークの第１画像及び第２画像での属性に関する情報が含まれているマークシーケンスを生成することができる。

より具体的には、本発明の一実施形態に係るマークシーケンス管理部は、複数の画像それぞれの撮影時点との間の時間間隔（例えば、一秒あたりのフレーム数（ｆｐｓ））、ゴルフなどのスポーツで通常発生する可能性があるボールの回転速度や回転方向、これまで既に測定されたボールの回転速度や回転方向等を参照して、第２画像内での第２画像と時間的に隣接する第１画像から検出された特定のマークが検出される可能性が高い候補領域（例えば、第１画像から特定のマークが検出された位置の周辺領域）を設定することができ、第２画像での前記設定された候補領域内で検出される少なくとも一つのマークの前記の特定のマークとの形が最も類似マークが、前記の特定のマークと一致するマークと認識することができる。

例えば、時間的に隣接して撮影された二つの画像である図７の（ａ）と（ｂ）を参照すると、本発明の一実施形態に係るマークシーケンス管理部は時間的に先行する図７の（ａ）の画像に表示される第１マーク（７１０ａ）と時間的に後続する図７の（ｂ）の画像で表示される第１マーク（７１０ｂ）が位置、方向、大きさ、及び形状の面で既に設定されてあるレベル以上に類似している場合、第１マーク（７１０ａ、７１０ｂ）が図７の（ａ）の画像と図７の（ｂ）の画像の両方で検出されたと認識して、第１マーク（７１０ａ、７１０ｂ）について、第１マーク（７１０ａ 、７１０ｂ）の図７の（ａ）の画像と図７の（ｂ）の画像それぞれでの属性に関する情報をシーケンスデータとして含まれているマークシーケンスを生成することができる。

また、本発明の一実施形態に係るマークシーケンス管理部は、位置、方向、大きさ、形状などの属性を参照して判断するとき、第１画像から検出されなかったが、第１画像と時間的に隣接する第２画像で検出されたマークが存在すると、そのマークが第２画像が撮影された時点以降に新たに表示されるマークであることを認識することができ、前記のように認識されているマークの第２画像での属性に関する情報から開始する新しいマークシーケンスを生成することができる。

例えば、時間的に隣接して撮影された二つの画像である図７の（ａ）と（ｂ）を参照すると、本発明の一実施形態に係るマークシーケンス管理部は、時間的に先行する図７の（ａ）の画像では表示されなかったが、時間的に後続する図７の（ｂ）の画像で示された第７のマーク（７７０ｂ）が存在する場合に、第７のマーク（７７０ｂ）が図７の（ｂ）の画像で初めて検出されたものと認識して、第７のマーク（７７０ｂ）について第７のマーク（７７０ｂ）の図７の（ｂ）の画像での属性に関する情報を最初のデータとして含むマークシーケンスを生成することができる。

また、本発明の一実施形態に係るマークシーケンス管理部は、位置、方向、大きさ、形状などの属性を参照して判断するとき、第１画像から検出されたが、第１画像と時間的に隣接する第２画像では検出されていないマークが存在すると、そのマークが第１画像が撮影時点以降に表示されてないマークと認識することができ、前記のように認識されているマークについて生成されている既存のマークシーケンスを、そのマークの第１画像での属性に関する情報を最後にして終了させることができる。

例えば、時間的に隣接して撮影された二つの画像である図７の（ａ）、（ｂ）及び（ｃ）を参照すると、本発明の一実施形態に係るマークシーケンス管理部は、時間的に先行するも７ （ａ）と（ｂ）の画像で表示されたが時間的に後続する図７の（ｃ）の画像では表示されてない第５のマーク（７５０ａ、７５０ｂ）が存在する場合に、第５のマーク（７５０ａ、７５０ｂ）が図７の（ｂ）の画像で最後に検出されたと認識して、第５のマーク（７５０ａ、７５０ｂ）について生成されている既存のマークシーケンスを第５のマーク（７５０ａ、７５０ｂ）の図７の（ｂ）の画像での属性に関する情報を最後のデータとして、終了させることができる。

一方、本発明の一実施例によると、回転測定部は、少なくとも一つのマークについて生成されたマークシーケンスに含まれている該当のマークの複数の画像それぞれでの属性に関する情報を参照して、撮影されたボールの回転速度と回転方向を測定する機能を実行することができる。

具体的には、本発明の一実施形態に係る回転測定部は、少なくとも一つのマークに関するマークシーケンスに含まれている情報から、時間的に隣接する二つの画像それぞれから検出されたマークの位置の間の距離（d）を導出することができ、前記の導出された距離と時間的に隣接する二つの画像それぞれの撮影時点の間の時間間隔（Δt）を参照して測定対象となるボールの回転速度（つまり、回転角速度）（ω= ３６０d /２πrΔt）を決定することができる。

ここで、本発明の一実施例によると、前記で言及されたマークの位置とマークの間の距離は、ボールの表面を定義する球面座標系を基準にして、特定することができる。
また、本発明の一実施形態に係る回転測定部は、少なくとも一つのマークに関するマークシーケンスに含まれている情報から、時間的に連続する複数の画像にわたってマークの位置が移動（つまり、所定の回転軸を中心にして回転）する経路を導出することができ、前記の導出された方向を参照して測定対象となるボールの回転軸を決定することができる。

例えば、図７を参照すると、図７の（ａ）で検出される第１マーク（７１０ａ）の位置と、図７の（ｂ）で検出される第１マーク（７１０ｂ）の位置の間の距離に基づいてボール（７０１）の回転速度が決定されることがあり、図７の（ａ）から図７の（ｅ）に亘って検出される第１マーク（７１０ａから７１０ｅ）の位置の移動経路に基づいてボール（７０１）の回転軸（つまり、回転方向）（７０２）が決定されることがある。

カメラ目線の角度補正
一方、本発明の一実施形態に係る物理量測定部（２２０）（具体的には、視線の角度補正部）は、撮影された複数の画像それぞれについて、撮影を行ったカメラが撮影の対象となるボールを眺める視線の角度を参照して、前記のように検出される少なくとも一つのマークの複数の画像それぞれでの属性（例えば、位置、方向など）を補正する機能を実行することができる。

図８は、本発明の一実施例に基づいて移動するゴルフボールを撮影するカメラの視線の角度がゴルフボールの動きに応じて異なるために発生する可能性がある誤差を補正する構成を概念的に示す図である。

図８の実施例では、３次元の現実空間内の特定の場所に固定的に設置されているカメラ（８１０）は、そのカメラ（８１０）を基準にするとX軸の正（+）の方向に移動しているボール（８２０ａ、８２０ｂ）を所定の時間の間に複数回の撮影をすることにより、当該するボール（８２０ａ、８２０ｂ）に対して時間的に隣接する複数の画像を生成することができる。このような場合、本発明の一実施例によると、カメラ（８１０）が撮影の対象となるボール（８２０ａ、８２０ｂ）を眺める方向（つまり、視線の方向）（８１１ａ、８１１ｂ）は、ボール（８２０ａ、８２０ｂ ）が所定の進行方向に移動することによって異なることがある。したがって、複数の画像それぞれでは、ボール（８２０ａ、８２０ｂ）自体の移動や回転によるボール（７０１）の姿の変化だけでなく、カメラ（８１０）がボール（８２０ａ、８２０ｂ）を眺める視線の角度や視線の方向の変化に起因するボール（７０１）の姿の変化が表示されることができ、これは、複数の画像それぞれに表示されるボールの様子（具体的には複数の画像それぞれから検出される少なくとも一つのマークの姿）に基づいて、ボールの回転を測定するにあたり、少なからぬ誤差を発生させる要因になることがある。

そこで、本発明の一実施形態に係る視線の角度補正部は、カメラ（８１０）がボール（８２０ａ、８２０ｂ）を眺める視線の角度や視線の方向の変化に起因する誤差を除去するための補正を行うことができる。

まず、図８を参照すると、本発明の一実施形態に係る視線の角度補正部は、カメラ（８１０）が第１の位置に存在するボール（８２０ａ）を撮影した結果として生成される画像に対し、カメラ（８１０）がボール（８２０ａ）を眺める視線を特定する実際の視線ベクトル（８１１ａ）と重力方向を定義する基準軸（８０１）（すなわち、Z軸）に平行してボール（８２０ａ）を通る仮想の直線上に位置する仮想カメラ（８３０ａ）がボール（８２０ａ）を眺める視線を特定する仮想視線ベクトル（８３１ａ）との間の角度（θ１）を算出することができる。

次に、図８を参照すると、本発明の一実施形態に係る視線の角度補正部は、カメラ（８１０）が第１の位置に存在するボール（８２０ａ）を撮影した結果として生成された画像から検出される少なくとも一つのマークの座標を所定の補正基準軸を中心にして、前記の算出された角度（θ１）だけ回転させることで、カメラの視線の差で起因する誤差を補正することができる。

ここで、本発明の一実施例によると、補正の対象となる少なくとも一つのマークの座標は、ボールの表面を定義する球面座標系上の座標であることがある。また、本発明の一実施例によると、補正が対象となる少なくとも一つのマークの座標は、ロドリゲスの回転（Ｒｏｄｒｉｇｕｅｓ ｒｏｔａｔｉｏｎ）、オイラー回転（Ｅｕｌｅｒ ｒｏｔａｔｉｏｎ）などの様々な回転変換技法に基づいて実行されることがある。

より具体的には、本発明の一実施形態に係る視線の角度補正部は、実際の視線ベクトル（８１１ａ）と仮想視線ベクトル（８３１ａ）を参照して、前記の補正のための回転の中心となる軸（つまり、補正基準軸）を定義するベクトルを算出することができる。例えば、実際の視線ベクトル（８１１ａ）がＶｓであり、仮想視線ベクトル（８３１ａ）がＵｓである場合に、補正基準軸ベクトルであるａは、以下の数式３のようにＶｓとＵｓを外積（ｃｒｏｓｓ ｐｒｏｄｕｃｔ）した結果として算出されるベクトルであることがある。

<数式 ３>
ａ = Ｖｓ x Ｕｓ
したがって、本発明の一実施形態に係る視線の角度補正部は、カメラ（８１０）が第１の位置に存在するボール（８２０ａ）を撮影した結果として生成された画像から検出される少なくとも一つのマークの座標を、前記の数式３による補正基準軸を中心にして、前記の算出された角度（θ１）だけ回転させることで、実際のカメラ（８１０）と仮想カメラ（８３０ａ）との間の視線の角度や視線の方向の違いに起因する誤差を補正することができる。

続いて、図８を参照すると、測定の対象となるボールＸ軸の正（+）の方向に、より移動すると、ボールの位置が第１の位置（８２０ａ）から第２の位置（８２０ｂ）に置き換えていく場合を仮定することができる。このような場合に、本発明の一実施形態に係る視線の角度補正部は、第２の位置に存在するボール（８２０ｂ）について、実際の視線ベクトル（８１１ｂ）と仮想視線ベクトル（８３１ｂ）との間の角度（θ２）を算出することができ、実際の視線ベクトル（８１１ｂ）と仮想視線ベクトル（８３１ｂ）に基づいて補正基準軸を定義するベクトルを算出することができる。そして、本発明の一実施形態に係る視線の角度補正部は、カメラ（８１０）が第２の位置に存在するボール（８２０ｂ）を撮影した結果として生成された画像から検出される少なくとも一つのマークの座標を、前記の算出された補正基準軸を中心にして、前記の算出された角度（θ２）だけ回転させることで、実際のカメラ（８１０）と仮想カメラ（８３０ｂ）との間の視線の角度差に起因する誤差を補正することができる。

次に、本発明の一実施形態に係るシミュレーション部（２３０）は、前記のように測定されるゴルフボールの物理量に関する様々な情報に基づいて、仮想現実でゴルフボールの運動（例えば、回転速度、回転方向、移動速度、移動方向、発射角度など）を実装することができる。また、本発明の一実施形態に係るシミュレーション部（２３０）は、ゴルフボールの運動をグラフィックオブジェクトに反映したり、映像信号を含む制御信号を表示装置（３００）に送信してゴルフボールの運動が表示装置（３００）でリアルに表現されるようにすることができる。

一方、本発明の一実施形態に係るシミュレーション部（２３０）は、カメラ部（１１０）によって、実際に撮影された画像はユーザーの画面に直接表示されるようにすることができる。具体的には、本発明の一実施形態に係るシミュレーション部（２３０）は、カメラ部（１１０）によって実際に撮影されて、前記の明るさ補正、マークの認識、視線の角度補正などの処理を経た複数の画像をユーザーの画面に表示することができ、前記のように表示される複数の画像は、ユーザーの理解を助けるためのグラフィック要素（例えばマークシーケンス、回転軸などを指示するガイドライン等）を含むことがある。

したがって、本発明によれば、シミュレーションゴルフのシミュレーションによって測定されるゴルフボールの回転に関する物理量に対するユーザーの信頼感を高めることができ、シミュレーションゴルフ環境におけるユーザーの没入感を増大させる効果が達成されることができる。

次に、本発明の一実施形態に係るデータベース（２４０）には、ゴルフボールの撮影された画像、ゴルフボールの明るさの分布が補正された画像、マークシーケンス、視線の角度、補正基準軸、演算された物理量等に関する情報やシミュレーションに必要な情報（例えば、仮想現実の実装に必要なデータ等）が格納されることがある。

たとえ、図３で、データベース（２４０）がシミュレータ（２００）に含まれて構成されているものと示されているが、本発明を実施する当業者の必要性に応じてデータベース（２４０）はシミュレータ（２００）とは別に構成することもできる。

一方、本発明でのデータベース（２４０）は、コンピュータ読み取り可能な記録媒体を含む概念であり、協議のデータベースだけでなく、ファイルシステムに基づいたデータ記録などを含む広義のデータベースであることもあり、単純なログの集合でもこれを検索してデータを抽出することができる場合本発明でのデータベース（２４０）になることがある。

次に、本発明の一実施形態に係る通信部（２５０）は、シミュレータ（２００）からの/へのデータ送受信を可能にする機能を実行することができる。本発明の一実施例によると、通信部（２５０）が取ることができる通信方式に特別な制限はないが、有線LＡN通信、ケーブル通信などの有線通信方式や無線LＡN通信、赤外線通信、RF通信、ブルートゥース通信などのような無線通信方式が好ましいことがある。

最後に、本発明の一実施形態に係る制御部（２６０）は、画像処理部（２１０）、物理量測定部（２２０）、シミュレーション部（２３０）、データベース（２４０）、通信部（２５０）との間のデータの流れを制御する機能を実行することができる。すなわち、本発明に係る制御部（２６０）は、シミュレータ（２００）の外部からの/へのデータフロー又はシミュレータ（２００）の各構成要素間のデータフローを制御することにより、画像処理部（２１０）、物理量測定部（２２０ ）、シミュレーション部（２３０）、データベース（２４０）、通信部（２５０）から、それぞれ固有の機能を実行するように制御することができる。

上では、本発明の仮想スポーツシステムがシミュレーションゴルフシステムである場合を主に想定して説明したが、球の運動に関するシミュレーションが必要とされるすべての種類の仮想スポーツシステム（例えば、仮想野球システムや仮想サッカーシステム）に本発明の技術的原理と構成が適用されることがあることは当業者に自明である。

以上説明した本発明に係る実施例は、様々なコンピュータの構成要素を介して実行されることができるプログラム命令の形で実装され、コンピュータ読み取り可能な記録媒体に記録されることができる。前記コンピュータ読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものか、又はコンピュータソフトウェア分野の当業者に公知されて使用可能なものであることがある。

コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク（登録商標）、及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭやＤＶＤなどの光記録媒体、プティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気 - 光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ Ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令を保存して実行するように特別に構成されたハードウェアデバイスが含まれる。

プログラムコマンドの例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることができる高級言語コードも含まれる。ハードウェアデバイスは、本発明に係る処理を実行するために複数のソフトウェアモジュールに変更することができ、その逆も同様である。

以上で、本発明が具体的な構成要素などの特定の事項、限定された実施例と図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであり、本発明は前記実施例に限定されるものではなく、本発明の属する技術分野で通常の知識を有する者であれば、このような記載から多様な修正と変更を図ることができる。

したがって、本発明の思想は、前記説明した実施例に限定されて決まってはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等な、又はこれから等価的に変更されたすべての範囲は、本発明の思想の範疇に属するとする。

１００：撮影装置
１１０：カメラ部
１２０：通信部
１３０：制御部
２００：シミュレータ
２１０：画像処理部
２２０：物理量測定部
２３０：シミュレーション部
２４０：データベース
２５０：通信部
２６０：制御部

Claims (21)

1. ボールの回転を測定するための方法であって、
   物理量測定の対象となるボールを撮影した複数の画像それぞれにおいて、前記ボールに該当する領域内に表示される少なくとも一つのマークを検出するステップと、
   前記複数の画像それぞれから検出される前記少なくとも一つのマークの前記複数の画像それぞれでの属性に関する情報を参照して、時間的に隣接する第１画像及び第２画像にわたって共通に検出されたマークを認識し、前記認識されているマークの前記第１画像での属性及び第２画像での属性に関する情報を含むマークシーケンスを生成するステップと、
   前記生成されたマークシーケンスを参照として、前記ボールの回転に関する物理量を測定するステップとを含む方法。
2. 前記属性には、位置、サイズ、方向、及び形状のうち少なくとも一つが含まれている請求項１に記載の方法。
3. 前記の属性は、前記ボールの表面を定義する球面座標系を基準にして特定される請求項２に記載の方法。
4. 前記認識ステップにおいて、
   前記第１画像に表示される第１マークの前記第１画像での属性と前記第２画像に表示される第２マークの前記第２画像での属性の間の関係が既に設定されてある条件を満たすと、前記第１マーク及び前記第２マークが前記第１画像と前記第２画像にわたって共通に検出されたマークに該当するものと認識する請求項１に記載の方法。
5. 前記認識ステップにおいて、
   前記第１画像と前記第２画像それぞれの撮影時点の間の時間間隔、前記ボールの通常の回転速度や回転方向又は前記ボールの既に測定された回転速度又は回転方向の少なくとも１つに関する情報を参照して、前記の関係が所定の条件を満たしているかどうかを判断する請求項４に記載の方法。
6. 前記認識ステップで、
   前記第１マークの前記第１画像での位置と形状と前記第２マークの前記第２画像での位置と形状との間の類似度が既に設定されてあるレベル以上であれば、前記第１マーク及び前記第２マークが前記第１画像と前記第２画像にわたって共通に検出されたマークに該当するものと認識する請求項４に記載の方法。
7. 前記ボールの回転に関する物理量には、前記ボールの回転速度と回転方向が含まれている請求項１に記載の方法。
8. 前記測定ステップにおいて、
   前記認識されるマークの前記第１画像と前記第２画像それぞれでの位置の間の距離と前記第１画像と前記第２画像それぞれの撮影時点との間の時間間隔を参照して、前記ボールの回転速度を決定し、前記認識されているマークの前記第１画像と前記第２画像それぞれでの位置の間の移動経路を参照して、前記ボールの回転方向を決定する請求項１に記載の方法。
9. 前記検出ステップは、
   前記複数の画像それぞれについて、前記撮影を行ったカメラが、前記ボールを眺める視線を参照して、前記少なくとも一つのマークの前記複数の画像それぞれでの属性を補正するステップを含む請求項１に記載の方法。
10. 前記補正ステップは、
    前記複数の画像それぞれについて、前記カメラが前記ボールを眺める視線を特定する実際の視線ベクトルと重力の方向を定義する基準軸に平行して前記ボールを通る仮想の直線上に位置する仮想カメラが前記ボールを眺める視線を特定する仮想視線ベクトルの間の角度を算出するステップ、
    前記複数の画像それぞれについて、前記実際の視線ベクトル及び前記仮想視線ベクトルを参照して、補正基準軸ベクトルを算出するステップ、
    及び前記複数の画像それぞれについて、前記ボールの表面を定義する球面座標系上で、前記少なくとも一つのマークの座標を前記補正基準軸ベクトルを中心にして前記算出された角度だけ回転移動させるステップとを含む請求項９に記載の方法。
11. 第１項による方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体。
12. ボールの回転を測定するためのシステムであって、
    物理量測定の対象となるボールを撮影した複数の画像それぞれでの前記ボールに該当する領域内に表示される少なくとも一つのマークを検出し、前記複数の画像それぞれから検出される前記少なくとも一つのマークの前記複数の画像それぞれでの属性に関する情報を参照して、時間的に隣接する第１画像及び第２画像にわたって共通に検出されたマークを認識し、前記認識されているマークの前記第１画像での属性及び前記第２画像での属性に関する情報が含まれているマークシーケンスを生成するマークシーケンス管理部、及び前記生成されたマークシーケンスを参照して、前記ボールの回転に関する物理量を測定する回転測定部とを含むボールの回転を測定するためのシステム。
13. 前記属性には、位置、サイズ、方向、及び形状のうち少なくとも一つが含まれている請求項１２に記載のボールの回転を測定するためのシステム。
14. 前記の属性は、前記ボールの表面を定義する球面座標系を基準にして特定される請求項１３に記載のボールの回転を測定するためのシステム。
15. 前記マークシーケンス管理部は、前記第１画像に表示される第１マークの前記第１画像での属性及び前記第２画像に表示される第２マークの前記第２画像での属性の間の関係が既に設定され条件を満たしていれば、前記第１マーク及び前記第２マークが前記第１画像及び前記第２画像にわたって共通に検出されたマークに該当するものと認識する請求項１２に記載のボールの回転を測定するためのシステム。
16. 前記マークシーケンス管理部は、前記第１画像と前記第２画像それぞれの撮影時点の間の時間間隔、前記ボールの通常の回転速度や回転方向又は前記ボールの既に測定された回転速度又は回転方向の少なくとも１つに関する情報を参照して、前記の関係が前記既に設定された条件を満たしているかどうかを判断する請求項１５に記載のボールの回転を測定するためのシステム。
17. 前記マークシーケンス管理部は、前記第１マークの前記第１画像での位置と形状と前記第２マークの前記第２画像での位置と形状との間の類似度が既に設定されてあるレベル以上であれば、前記第１マークと前記第２マークが前記第１画像及び前記第２画像にわたって共通に検出されたマークに該当するものと認識する請求項１５に記載のボールの回転を測定するためのシステム。
18. 前記ボールの回転に関する物理量には、前記ボールの回転速度と回転方向が含まれている請求項１２に記載のボールの回転を測定するためのシステム。
19. 前記回転測定部は、前記認識されているマークの前記第１画像及び前記第２画像それぞれでの位置の間の距離と前記第１画像と前記第２画像それぞれの撮影時点との間の時間間隔を参照して、前記ボールの回転速度を決定し前記認識されているマークの前記第１画像及び前記第２画像それぞれでの位置の間の移動経路を参照して、前記ボールの回転方向を決定する請求項１２に記載のボールの回転を測定するためのシステム。
20. 前記複数の画像それぞれについて、前記撮影を行ったカメラが、前記ボールを眺める視線を参照して少なくとも一つのマークの前記複数の画像それぞれでの属性を補正する視線の角度補正部を含む請求項１２に記載のボールの回転を測定するためのシステム。
21. 前記視線の角度補正部は、前記複数の画像それぞれについて、前記カメラが前記ボールを眺める視線を特定する実際の視線ベクトルと重力の方向を定義する基準軸に平行して、前記ボールを通る仮想の直線上に位置する仮想カメラが前記ボールを眺める視線を特定する仮想視線ベクトルの間の角度を算出し、前記複数の画像それぞれについて、前記実際の視線ベクトル及び前記仮想視線ベクトルを参照して、補正基準軸ベクトルを算出し、前記複数の画像それぞれについて、前記ボールの表面を定義する球面座標系上で、前記少なくとも一つのマークの座標を前記補正基準軸ベクトルを中心にして前記算出された角度だけ回転移動させる請求項２０に記載のボールの回転を測定するためのシステム。