JP2014512903A - 仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法 - Google Patents

Abstract

本発明は、比較的低い解像度と速度を有する低廉なカメラを用いるにもかかわらず、その取得したイメージを分析することによって、運動するボールの速度、方向及び高さ角などの物理的特性情報を比較的正確に抽出することができ、特に、その取得したイメージを通じて、ゴルフクラブの運動軌跡を比較的正確に算出して、それに基づいてボールのスピンを比較的正確に推定してゴルフシミュレーションに反映するようにすることによって、低廉なコストで、高い正確度及び信頼性を有する仮想ゴルフシミュレーション装置を構成することができるだけでなく、仮想ゴルフのリアリティーをより向上させるようにすることができる、仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法を提供するためのものである。
【選択図】図３

Description

本発明は、仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法係り、より詳細には、仮想のゴルフコースが映像化されてシミュレーションされ、ユーザが打撃したゴルフボールの軌跡がセンシング装置によってセンシングされて前記仮想のゴルフコースでシミュレーションされる仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法に関する。

最近、野球、サッカー、バスケットボール、そしてゴルフなどのような人気スポーツ競技を室内や特定の場所でシミュレーションを通じてインタラクティブスポーツゲーム（Ｉｎｔｅｒａｃｔｉｖｅ Ｓｐｏｒｔｓ Ｇａｍｅ）の形態で楽しめるようにする様々な装置に対する開発が活発に行われている。

特に最近は、いわゆる、スクリーンゴルフシステムが登場して、ユーザがゴルフクラブをスイングすることによって、打撃マットに置かれたボールを打撃すると、センシング装置がこれをセンシングして、移動するゴルフボールの物理的特性を抽出し、これに基づいて仮想のゴルフコースでボールの軌跡がシミュレーションされるようにすることで、ユーザが仮想現実上でゴルフを楽しめるようにする技術が開発されている。

このようなインタラクティブスポーツゲームにおいて、ゴルフボールなどのボールを用いるスポーツに対するシミュレーションがなされるようにするために、運動するボールの動きに対する物理的情報を正確にセンシングするための各種センシングシステムに関する研究開発が非常に活発に行われている実情である。

例えば、赤外線センサを用いたセンシング装置、レーザーセンサを用いたセンシング装置、音響センサを用いたセンシング装置、及びカメラセンサを用いたセンシング装置など、様々なセンシング方式が登場しており、運動するボールの状態を正確にセンシングするために、運動するボールに対するイメージを取得して分析するカメラセンサ方式のセンシング装置に関する研究が活発に行われている。

しかし、カメラセンサ方式の場合、正確なセンシングのためには、高い解像度の超高速カメラが必要であり、これは、センシング装置のコストを非常に上昇させるため、限界があり、比較的低い解像度と比較的低い速度のカメラを使用する場合、取得されるイメージの品質が低いため、ボールやゴルフクラブを正確に抽出し分析して、運動するボールの物理的特性を導出することが非常に難しいという問題点があり、特に、ボールのスピンを測定することが非常に難しいという問題点がある。

本発明は、比較的低い解像度と速度を有する低廉なカメラを用いるにもかかわらず、その取得したイメージを分析することによって、運動するボールの速度、方向及び高さ角などの物理的特性情報を比較的正確に抽出することができ、特に、その取得したイメージを通じて、ゴルフクラブの運動軌跡を比較的正確に算出して、それに基づいてボールのスピンを比較的正確に推定してゴルフシミュレーションに反映するようにすることによって、低廉なコストで、高い正確度及び信頼性を有する仮想ゴルフシミュレーション装置を構成することができると共に、仮想ゴルフのリアリティーをより向上させるようにすることができる、仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法を提供するためのものである。

本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、各フレーム別イメージからボールを抽出して、その３次元座標を獲得するボールイメージ処理部と、前記取得した各フレーム別イメージから、動く関心対象を抽出し、前記関心対象から、ゴルフクラブのヘッドに対する運動軌跡を算出するクラブイメージ処理部とを含んで、運動するボールに対する物理的特性情報を算出するセンシング処理ユニットと、を含む。

一方、本発明の他の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、各フレーム別イメージから２次元分析を通じてボールの軌跡を抽出して、前記ボール軌跡上の各ボールの３次元座標を抽出するボールイメージ処理部と、前記取得した各フレーム別イメージから、２次元分析を通じて、動く対象に対するフィッティングラインを抽出し、前記フィッティングラインに対する３次元マッチングを通じてゴルフクラブヘッドの運動軌跡を抽出するクラブイメージ処理部と、を含んで、運動するボールの物理的特性情報を算出するセンシング処理ユニットと、を含む。

一方、本発明の更に他の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、各フレームのイメージ間に差がある部分を抽出して合わせることによって、動く関心対象を抽出し、前記抽出された関心対象からフィッティングラインを抽出する第１処理手段と、前記フィッティングライン上の特定部分の軌跡をゴルフクラブのヘッドに対する運動軌跡として算出する第２処理手段とを含んで、運動するボールのスピンを推定するセンシング処理ユニットと、を含む。

一方、本発明の更に他の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、ユーザがスイングによってボールを打撃することに対してそれぞれ複数のフレームのイメージを取得する複数個のカメラを含むカメラユニットと、前記各カメラで取得したイメージに対して、それぞれ２次元分析を通じて、動く関心対象に対するフィッティングラインを抽出し、前記２次元分析されたそれぞれのフィッティングラインに対する３次元マッチングを通じて、前記フィッティングライン上の特定部分の軌跡をゴルフクラブのヘッドに対する運動軌跡として算出することによって、運動するボールのスピンを推定するセンシング処理ユニットと、を含む。

一方、本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法は、打撃が行われる一定の撮影範囲に対するイメージを連続的に取得する段階と、前記取得されたイメージを分析することによって、ユーザがボールを打撃するか否かを感知する段階と、ボールが打撃されるインパクト時点以降の複数のフレームのイメージからボールを抽出して分析することによって、運動するボールに対する物理的特性情報を算出するボール処理段階と、ボールが打撃されるインパクト時点以前及び以降の複数のフレームのイメージからゴルフクラブヘッドの運動軌跡を算出して分析することによって、運動するボールのスピンを推定するクラブ処理段階と、を含む。

一方、本発明の他の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法は、ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得する段階と、前記取得したイメージから、動く関心対象を抽出する段階と、前記抽出された関心対象に対して直線ラインをフィッティングする段階と、前記フィッティングされたライン上の特定部分の軌跡を算出する段階と、前記算出された軌跡をゴルフクラブヘッドの運動軌跡として認識し、それに基づいて運動するボールのスピンを推定する段階と、を含む。

本発明に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法は、比較的低い解像度と速度を有する低廉なカメラを用いるにもかかわらず、その取得したイメージを分析することによって、運動するボールの速度、方向及び高さ角などの物理的特性情報を比較的正確に抽出することができ、特に、その取得したイメージを通じて、ゴルフクラブの運動軌跡を比較的正確に算出して、それに基づいてボールのスピンを比較的正確に推定してゴルフシミュレーションに反映するようにすることによって、低廉なコストで、高い正確度及び信頼性を有する仮想ゴルフシミュレーション装置を構成することができるだけでなく、仮想ゴルフのリアリティーをより向上させるようにすることができる効果がある。

本発明の一実施例に係るセンシング装置を用いる仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図である。 本発明の一実施例に係るセンシング装置を用いる仮想ゴルフシミュレーション装置の構成を示すブロック図である。 図２に示されたセンシング装置に対するより具体的な構成及び各構成要素の機能について概略的に示す図である。 （ａ）は、カメラユニットで取得されたイメージであり、（ｂ）は、（ａ）に示されたイメージから感知領域を分離したものであり、（ｃ）は、分離された感知領域を通じてボールの打撃を感知することを示すイメージである。 本発明の一実施例に係るセンシング装置のボールイメージ処理部によって各フレーム別にボール候補が抽出されたことを示すイメージである。 各フレーム上のボール候補を互いに組み合わせて、２次元平面上にボール軌跡候補を示した図である。 本発明の一実施例に係るセンシング装置のクラブイメージ処理部によって収集された複数のフレームのイメージ、及び差演算のための背景イメージを示す図である。 図７に示された各フレームイメージと背景イメージとの差演算されたイメージを示す図である。 ピクセル補正のための方法を説明するための図であって、（ａ）は、イメージを示し、（ｂ）及び（ｃ）はそれぞれ、イメージから３×３ウィンドウに該当する部分を分離して示したものである。 図９に示された原理によって、図８に示された各フレームのイメージに対してピクセル補正したイメージを示す図である。 図１０に示された各フレーム別イメージに対して関心対象を抽出したイメージを示す図である。 図１１に示されたそれぞれの関心対象に対して直線ラインをフィッティングした結果を一つのイメージに示した図である。 図１２に示されたそれぞれのフィッティングラインに対する３次元マッチング原理を説明するための図である。 図１３に示された原理によって算出されたゴルフクラブヘッドの運動軌跡を通じて、ボールのスピンを推定することを示す図である。 本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法を示すフローチャートである。 図１５のクラブ処理段階についてより具体的に示すフローチャートである。

本発明に係る仮想ゴルフシミュレーション装置と、これに用いられるセンシング装置及びセンシング方法に対する実施例を、図面を参照してより具体的に説明する。

まず、図１及び図２を参照して、本発明の一実施例に係る仮想ゴルフシミュレーション装置及びそれに用いられるセンシング装置について説明する。

図１は、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図であり、図２は、図１に示されたスクリーンゴルフシステムに適用された仮想ゴルフシミュレーション装置の構成を示すブロック図である。

図１及び図２に示されたように、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、ユーザがボールＢを打撃することをセンシングするためのセンシング装置Ｓと、仮想のゴルフコースに関する映像を具現し、前記センシング装置Ｓのセンシング結果によって、仮想のゴルフコースでボールの軌跡に対するシミュレーション映像を提供するようにして、仮想ゴルフシミュレーションを進行するシミュレータ１と、を含むように構成される。

図１に示されたように、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムは、所定の大きさの空間を提供するゴルフブース２の床に、ユーザがゴルフスイングを行うことができる打席１１０が設けられ、前記打席１１０の一側には打撃マット１２０が設けられて、ユーザが打席１１０で打撃マット１２０に置かれたボールＢをゴルフスイングによって打撃できるようにし、前方にはスクリーン３が設けられて、シミュレータ１から映像情報を受信した映像出力のための装置（図２に示された映像出力部３０、例えば、ビームプロジェクターなど）が、前記スクリーン３上に仮想ゴルフシミュレーションに関する映像を投影させるように構成することができる。

ここで、前記打席１１０及び打撃マット１２０は、ゴルフブース２の床面に設けてもよいが、図１に示されたように、スイングプレート１００上に設けることも可能である。

前記スイングプレート１００は、前後／左右方向に所定の角度で傾斜できるように備えられ、シミュレータ１と接続されて、現在具現中の仮想のゴルフコースの地形に対応して傾きを形成することができる。

前記打撃マット１２０は、人工芝からなることができ、図１に示されたように、実際のゴルフ場のフェアウェイ、ラフ及びバンカーにそれぞれ対応するように、フェアウェイゾーン１２１、ラフゾーン１２２及びバンカーゾーン１２３がそれぞれ互いに区分されるように備えることができる。このとき、好ましくは、前記フェアウェイゾーン１２１、ラフゾーン１２２及びバンカーゾーン１２３のそれぞれを、人工芝の長さを異ならせたり、それぞれのゾーン１２１，１２２，１２３が互いに異なる材質からなるように構成することによって、実際に近いようにすることができる。図１では、打撃マット１２０が、フェアウェイゾーン１２１、ラフゾーン１２２及びバンカーゾーン１２３をそれぞれ備えるように構成される場合を示しているが、これに限定されず、フェアウェイゾーン１２１のみを備えたり、フェアウェイゾーン１２１と共にラフゾーン１２２及びバンカーゾーン１２３のいずれか一つを備えたりするように構成してもよい。図面符号１２４は、ティー（Ｔｅｅ）を示す。

一方、図１に示されたように、ゴルフブース２内にはセンシング装置Ｓが備えられて、ユーザがボールＢを打撃することをセンシングする。

すなわち、図２に示されたように、センシング装置Ｓは、複数個のカメラ５１，５２で構成されるカメラユニット５０と、前記カメラユニット５０で取得したイメージを処理することによって、移動するボールの物理的特性を抽出するセンシング処理ユニット６０と、を含んで構成することができる。

前記カメラユニット５０は、イメージセンシングのための一つのカメラによって構成されてもよく、二つ以上のカメラによって構成されてもよいが、移動するボールＢのイメージを取得して３次元空間でのボールの座標を抽出するためには、図１に示されたように、二つ以上のカメラ５１，５２が互いに連動して駆動されることによって、ステレオ（Ｓｔｅｒｅｏ）方式のカメラユニットを構成するようにすることが好ましい。

ここで、移動するボールの物理的特性は、ボールの速度、ボールの移動方向（水平方向の移動角度）、ボールの高さ角（垂直方向の移動角度）、ボールにかかるスピン（Ｓｐｉｎ）などを含むことができる。

前記センシング処理ユニット６０は、前記カメラユニット５０を通じて取得されたイメージを、フレーム単位で順次入手して収集するグラバー６５と、前記グラバー６５から伝送されるイメージを受信して処理することによって、打撃準備が完了したか否か、及びユーザによる打撃が行われたか否かを感知する打撃感知部７０と、前記打撃感知部７０によって打撃が感知される場合、前記打撃感知部７０から、打撃に関連したイメージを受信して、所定のイメージ処理を行うことによって、移動するボールの物理的特性情報を抽出するボールイメージ処理部８０と、前記打撃感知部７０から受信したイメージからゴルフクラブの運動軌跡を分析することによって、ボールのスピン（Ｓｐｉｎ）に関する情報を抽出するクラブイメージ処理部９０と、を含んで構成することができる。

また、前記センシング処理ユニット６０は、複数個のカメラ５１，５２のそれぞれから取得されるイメージを互いにマッチングして、それぞれのカメライメージに対する２次元情報（カメラ一台から抽出される情報は、２次元情報である）を３次元情報に変換したり、逆に、複数個のカメライメージを互いにマッチングして抽出した３次元情報を２次元情報に逆変換したりするように備えられる変換手段７３を含むことが好ましい。

一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置を構成するシミュレータ１は、制御部Ｍ、データベース１０、映像処理部２０及び映像出力部３０などを含んで構成されることが好ましい。

前記データベース１０は、仮想ゴルフシミュレーションに必要な全てのデータが保存される。例えば、システムの駆動に必要なデータ、仮想のゴルフコースの映像の具現に関するデータ、及びボールの軌跡に対するシミュレーション映像の具現に関するデータなどが保存される。

前記映像処理部２０は、仮想のゴルフコースに関する映像や、仮想のゴルフコースでのボールの軌跡に対するシミュレーション映像などを具現するための所定の映像処理が行われる部分である。

前記映像出力部３０は、前記映像処理部２０から伝達された映像情報をスクリーン上に出力して、ユーザが見ることができるようにするためのものである。

前記制御部Ｍは、センシング装置Ｓから、センシング結果による情報を受信して、前記データベース１０、映像処理部２０及び映像出力部３０などの全ての構成要素の動作を制御できるように備えられる。すなわち、前記制御部Ｍ、データベース１０、映像処理部２０などは、センシング装置Ｓのセンシング結果によってボールの軌跡に対するシミュレーション映像を具現する映像具現手段として機能する。

一方、図３を参照して、図２に示されたセンシング装置Ｓに関するより具体的な構成、及び各構成要素の機能について説明する。

図３に示されたように、本発明に係るセンシング装置での情報伝達の流れは、カメラユニット５０→グラバー６５→打撃感知部７０→ボールイメージ処理部８０及びクラブイメージ処理部９０→シミュレータ１の順に行われる。

カメラユニット５０は、打席と打撃マットが設けられている部分を含む一定の範囲を撮影しながら、１秒当たり数百フレームのイメージを取得する。

このように取得されるイメージはグラバー６５に伝送され、グラバー６５は、カメラユニット５０からイメージを受信して保存すると共に打撃感知部７０に伝達して、イメージ処理が行われるようにする。

前記打撃感知部７０は、前記グラバー６５から受信したイメージからボールを探して、予め設定された条件を満たすか否かを判断することによって、打撃準備が完了したか否かを感知し、ボールが前記打撃準備が完了した位置から移動するか否かを判断することによって、ユーザによって打撃が行われたか否かを感知する。

図４の（ａ）〜（ｃ）は、前記打撃感知部７０によって、ユーザがボールを打撃したか否かを感知する過程について示している。

図４の（ａ）は、グラバー６５から打撃感知部７０に伝達される多数のソースイメージのうち一つを示している。

打撃感知部７０は、ソースイメージ２００で打撃領域２２０を設定して分離した後、打撃領域２２０からボールを探す。このとき、図４の（ａ）に示されたように、打撃マット１２０の一部または全部に該当する領域を打撃領域２２０として設定することができる。すなわち、打撃マット１２０上にボールが置かれた位置を基準に所定範囲の領域を打撃領域２２０として設定することができる。

図４の（ａ）に示されたソースイメージ２００では、打撃マット１２０のフェアウェイゾーン１２１にボールが置かれており、前記打撃感知部７０は、前記フェアウェイゾーン１２１に該当する領域を打撃領域２２０として設定していることを示している。仮に、ボールがラフゾーン１２２に置かれている場合、前記ラフゾーン１２２に該当する領域を打撃領域として設定することができ、ボールがバンカーゾーン１２３に置かれている場合、前記バンカーゾーン１２３に該当する領域を打撃領域として設定することができる。

このように、打撃領域２２０を分離して、その中でのみボールを探すことによって、ソースイメージ全体でボールを探すことより遥かに迅速で正確にボールを探すことができる。

分離された打撃領域２２０でボールを探す過程は、様々な方法により行うことができる。例えば、ボールに対する基準イメージとして予め設定されて保存されたボールテンプレートと、前記打撃領域２２０内に存在する特定の客体とが互いに似ている程度を分析して、一定水準以上に似ている場合には、前記特定の客体をボールと判断することができる。

そして、図４の（ｂ）に示されたように、打撃領域２２０に対するイメージにおいて、ボールを中心に所定の大きさの感知領域Ｒが設定される。前記感知領域Ｒは、一つのボールを含むことができる程度の小さな大きさに設定されることが好ましく、ユーザが打撃を行ったか否かは、前記の感知領域Ｒ内にボールが存在するか否かを調べるだけで、容易に感知することができる。

したがって、図４の（ｂ）に示されたような状態から、図４の（ｃ）に示されたような状態に、感知領域Ｒ内にボールが存在しなくなったことを感知することによって、打撃を感知することができる。

上述したように、打撃が感知されると、打撃感知部７０は、感知された時点以前に入手された複数のフレームのイメージを調べて、ボールが動き始めた正確な時点、すなわち、インパクト時点を把握し、インパクト時点のイメージフレームをトリガーフレーム（Ｔｒｉｇｇｅｒ Ｆｒａｍｅ）として指定する。

そして、前記トリガーフレームを基準にインパクト時点以前の複数のフレームのイメージを保存しておき、クラブイメージ処理部９０に伝送して、必要なイメージ処理が行われ得るようにする。ここで、クラブイメージ処理部９０に伝送されるイメージは、インパクト時点のフレーム、すなわち、トリガーフレームのイメージも含むことができる。

また、打撃感知部７０は、前記トリガーフレームを基準にインパクト時点以降の複数のフレームのイメージ（トリガーフレームも含むことができる）を保存しながら、リアルタイムでボールイメージ処理部８０に伝送して、必要なイメージ処理が行われ得るようにする。ボールイメージ処理部８０で処理されたイメージは、再びクラブイメージ処理部９０に伝送されて処理される。したがって、クラブイメージ処理部９０は、インパクト時点以前の複数のフレームのイメージとインパクト時点以降の複数のフレームのイメージとを全て受信して処理する。

ここで、前記ボールイメージ処理部８０は、打撃感知部７０から受信したイメージを処理することによって、ボールの３次元座標情報を抽出し、これを用いて、運動するボールの速度、方向及び高さ角を含む物理的特性情報を算出する。

そして、前記クラブイメージ処理部９０は、ゴルフクラブのヘッドに対する運動軌跡に関する情報を抽出し、これを用いて、運動するボールのスピンを推定して算出する。

前記ボールイメージ処理部８０及びクラブイメージ処理部９０を通じて抽出されたボールの物理的特性情報はシミュレータ１に伝達され、シミュレータ１は、これに基づいて、仮想のゴルフコースでボールが移動するシミュレーション映像を出力することによって、仮想ゴルフシミュレーションが行われるようにする。

ここで、ボールイメージ処理部８０は、基本的に、カメラユニット５０から取得した各フレーム別イメージからボール候補を抽出し、前記各ボール候補の３次元座標を２次元座標に変換して２次元軌跡を分析することによって、最終的なボールの軌跡を抽出して、運動するボールに対する物理的特性情報を算出するようにする機能を果たす。

すなわち、図５に示されたように、前記ボールイメージ処理部８０は、カメラユニット５０を通じて取得したイメージに対して各フレーム別にボール候補（図５のフレーム１のイメージ上の１_１、１_２、フレーム２のイメージ上の２_１、２_２など）を抽出し、連続したフレームに対して前記各ボール候補を連結するボール軌跡リストを生成し、図６に示されたように、前記生成された全てのボール軌跡リストに対して２次回帰分析（２ｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ａｎａｌｙｓｉｓ）を行って、全てのボール軌跡リストを２次元平面上で２次元軌跡（曲線 １ 〜 曲線 ３）で示し、予め設定された条件によって、前記２次元軌跡のうち最終的なボールの軌跡を抽出した後、その抽出されたボールの軌跡上の各ボールの座標（最終的に選択された２次元軌跡上のボール候補の座標）を抽出することによって、運動するボールの物理的特性情報を算出する。

図６では、２次回帰分析を行うことによって、２次元平面上に各ボール軌跡リストによる２次元軌跡を示したものである。

上述したように、抽出された２次元軌跡のうち、多様なノイズが混ざって誤って示された２次元軌跡があるはずであるから、これを除去して最終的にボールの軌跡を選別する。

例えば、図６に示された２次回帰分析結果において、２次元軌跡のうち地面の下方に連結される軌跡は、ボールの軌跡と見なすことができないので（これは、ゴルフクラブでボールを打撃する場合、ボールが地面を貫通して飛んで行くものではないからであり、地面の下方に連結される軌跡は、ゴルフクラブの一部分がボール候補として選ばれたため発生する現象である）、これを除外して、最終的なボールの軌跡を選別するものである。

仮に、ボールの軌跡と見なすことができない２次元軌跡を全て除去した後にも、複数個の２次元軌跡が残っている場合には、ボールが運動する時に起こる一般的な物理法則を適用して、最終的なボールの軌跡を選別することができる。

例えば、スクリーンに向かってボールを打撃する場合、５ｍ〜１０ｍ程度の短い区間を運動するボールは、水平方向にほぼ等速度運動をし、垂直方向にはほぼ等加速度運動をするので、このような運動法則に符合する２次元軌跡を選定して、最終的なボールの軌跡として選別するようにすることができる。

一方、図７から図１４を参照して、図３に示されたクラブイメージ処理部の構成及びプロセスについて説明する。

図３に示されたように、クラブイメージ処理部は、前処理手段９１、第１処理手段９２及び第２処理手段９３を含んで構成することができる。

前記前処理手段９１は、打撃感知部７０またはボールイメージ処理部８０から受信したイメージからゴルフクラブに関するイメージを容易に抽出して処理できるように、様々なイメージ処理を行う役割を果たす。前記前処理手段９１によるイメージ処理については、図７から図１０を参照して後述する。

前記第１処理手段９２は、各フレームのイメージ間に差がある部分を抽出して合わせることによって、動く関心対象を抽出し、前記抽出された関心対象からフィッティングラインを抽出し、前記第２処理手段９３は、前記フィッティングライン上の特定の部分の軌跡をゴルフクラブのヘッドに対する運動軌跡として算出して、運動するボールのスピンを推定する。

より具体的には、前記第１処理手段９２は、処理対象である全てのフレームのイメージのそれぞれに対して、該当のフレームのイメージと他のフレームのイメージとの間に差がある部分を抽出して合わせることによって、ゴルフクラブに該当する部分が関心対象として抽出されるようにする対象抽出手段９２ａと、前記抽出された関心対象に対して直線ラインをフィッティングするラインフィッティング手段９２ｂとを含んで構成することができる。

そして、前記第２処理手段９３は、前記ラインフィッティング手段９２ｂによってフィッティングされたライン上の特定部分に対する座標移動を検査することによって運動軌跡を算出する軌跡算出手段９３ａと、前記算出された運動軌跡をゴルフクラブヘッドの運動軌跡として認識し、前記運動軌跡から前記ゴルフクラブヘッドの進行方向を抽出して、それに基づいてボールのスピンを推定するスピン推定手段９３ｂとを含んで構成することができる。

前記第１処理手段９２及び第２処理手段９３によるイメージ処理については、図１１から図１４を参照して後述する。

まず、図７から図１０を参照して、クラブイメージ処理部の前処理手段によるイメージ処理について説明する。

クラブイメージ処理部は、インパクト時点前後の複数３×のフレームのイメージを処理することによってゴルフクラブヘッドの軌跡を算出して、それに基づいてボールのスピンを推定するためのものであって、処理するイメージのフレームの数は、設定に応じて変更可能であり、図７の以下では、インパクト前後の５個のフレームのイメージ、すなわち、５枚のイメージを用いてイメージ処理を行うことを一例として説明している。しかし、これに限定されず、それより多い個数またはより少ない個数のイメージに対する処理も可能である。

図７に示されたフレーム１からフレーム５のイメージは、ユーザがボールを打撃することに対して、カメラユニットのうちいずれか一つのカメラを通じて取得されるイメージであって、インパクト時点前後の５枚のイメージを示したものである。

図７に示されたフレーム１からフレーム５のイメージは、カメラから取得されるソースイメージ３０１〜３０５であって、イメージ上にはユーザの身体の一部（ｂｏｄｙ）、ゴルフクラブ（ｃｌｕｂ）、及び打撃マット（ｍａｔ）などが全て含まれている。

クラブイメージ処理部は、各フレームのソースイメージ３０１〜３０５からゴルフクラブ部分のみを抽出することが、第一の目的である。

したがって、図７に示された背景イメージＢＩを設けて、各フレームのソースイメージ３０１〜３０５を前記背景イメージＢＩに対してそれぞれ差演算（Ｄｉｆｆｅｒｅｎｃｅ Ｏｐｅｒａｔｉｏｎ）する。ここで、前記背景イメージＢＩは、分析対象である各フレームのイメージと異なる時点に取得されて設けられたイメージであることが好ましい。

図８に示されたフレーム１からフレーム５のイメージは、前記図７のフレーム１からフレーム５のソースイメージ３０１〜３０５のそれぞれを、背景イメージＢＩに対して差演算した結果によるイメージである。

すなわち、フレーム１のソースイメージ３０１と背景イメージＢＩとの差演算の結果、図８のフレーム１のイメージ３１１を獲得することができ、このような方式で、フレーム１からフレーム５のイメージ３１１〜３１５をそれぞれ獲得した。図８に示されたフレーム１からフレーム５のイメージを差分映像と呼ぶことにする。

図８に示されたように、フレーム１の差分映像３１１からフレーム５の差分映像３１５までの全てのイメージから、静止している部分（例えば、背景部分とマット部分など）が全て除去され、動きのある部分（例えば、ユーザの身体の一部とゴルフクラブなど。ユーザの身体の一部は大きく動かないが、差演算を通じても多く除去できない程度にかなりの動きがある部分である）が残っているようになることがわかる。

上述したような差分映像の抽出は、カメラユニットの他のカメラで取得したイメージに対しても同一に行われる。

ここで、図８に示された各フレームの差分映像３１１〜３１５を通じてわかるように、差演算を行う過程でイメージの明るさが低下した場合は、その明るさを高める必要がある。すなわち、静止した部分の明度はほとんどそのまま維持しながら、動きがある部分は明度をより大きくすることが必要である。

このように、静止した部分の明度はほとんどそのまま維持しながら、動きのある部分は明度をより大きくする方法として、図９に示された方法を一例として用いることができる。

すなわち、イメージ上の全てのピクセルのそれぞれに対して、該当のピクセルを中心にその周辺の所定の個数のピクセルのピクセル値（白黒イメージである場合には、ピクセル値は明るさ値（明度値）で示される）を、前記該当のピクセルに合わせる。例えば、図９の（ｂ）及び（ｃ）に示されたように、３×３ウィンドウだけの周辺のピクセル値を合わせて、中心ピクセルの明るさを補正するようにすることができる。

図９の（ａ）に示されたイメージ（ｉｍａｇｅ）が、1番ピクセルから３５番ピクセルまで、３５個のピクセル（ｐｉｘｅｌ）からなると仮定するとき、イメージ（ｉｍａｇｅ）上の全てのピクセルに対して３×３ウィンドウだけの周辺のイメージのピクセル値を合わせて、中心にあるピクセルのピクセル値を補正する。

すなわち、図９の（ｂ）または（ｃ）に示されたように、仮に、１６番ピクセルまたは１７番ピクセルのピクセル値を補正すると仮定する場合、その周辺の縦、横３個ずつのピクセルに対して、各ピクセルのピクセル値を全て合わせて、１６番ピクセル（図９の（ｂ））または１７番ピクセル（図９の（ｃ））のピクセル値を補正することによって、それぞれ明度がより大きくなったことがわかる。このような方式で、１番ピクセルから３５番ピクセルまでの全てのピクセルに対して、３×３ウィンドウだけのピクセル値を合わせて補正する。

上述したように、各ピクセルを補正することによって、暗い背景部分のピクセル値はほとんどそのまま維持しながら、動きのある部分の明るさはさらに大きくなるようにすることができる。

図１０に示されたフレーム１からフレーム５の補正イメージ３２１〜３２５は、図９に示されたそれぞれの差分映像３１１〜３１５に対して、図９に示されたような３×３ウィンドウだけの周辺ピクセルのピクセル値を、中心ピクセルに補正した結果によるイメージをそれぞれ示したものである。

図１０に示されたように、フレーム１からフレーム５の補正イメージ３２１〜３２５において、動きのある部分である身体の一部とゴルフクラブの明るさが大きく向上したことがわかる。

上述したようなイメージの各ピクセルの補正は、カメラユニットの他のカメラで取得したイメージに対しても同一に行われる。

ところが、図１０に示された補正イメージ３２１〜３２５においても、ユーザの身体の一部などのノイズが依然として残っているようになる。クラブイメージ処理部の立場でイメージ上の関心のある部分、すなわち、関心対象は、ゴルフクラブの部分である。それ以外の部分は全てノイズに該当する。

したがって、身体の一部の部分などのような不要なノイズを除去し、ゴルフクラブの部分のような関心対象のみを抽出する必要がある。

図１１に示された対象抽出イメージ１（３３１）〜対象抽出イメージ５（３３５）は、それぞれ、図１０に示されたフレーム１からフレーム５の補正イメージ３２１〜３２５からそれぞれ関心対象ＯＢ１〜ＯＢ５を抽出して示したイメージである。

すなわち、対象抽出イメージ１（３３１）は、フレーム１の補正イメージ３２１と残りのフレームの補正イメージ３２２〜３２５とのそれぞれの差がある部分を抽出して合わせることによって生成されたものであり、対象抽出イメージ２（３３２）は、フレーム２の補正イメージ３２２と残りのフレームの補正イメージ３２１、３２３〜３２５とのそれぞれの差がある部分を抽出して合わせることによって生成されたものであり、このような方式で、対象抽出イメージ３（３３３）〜対象抽出イメージ５（３３５）をそれぞれ生成したものである。

図１１に示されたように、それぞれの対象抽出イメージ３３１〜３３５は、各フレームイメージ上の動きがある部分のうち、関心対象ＯＢ１〜ＯＢ２をそれぞれ抽出して示したイメージである。

すなわち、このように、処理対象であるフレーム相互間に差がある部分を合わせることによって、動きが大きくないユーザの身体の一部に対する映像は好ましく除去することができ、ゴルフクラブのように、その動きが明白に大きい部分が関心対象として抽出される。

このような関心対象の抽出は、カメラユニットの他のカメラで取得したイメージに対しても同一に行われる。

一方、図１１に示されたように、該当のフレームのイメージに対して、他のフレームのイメージとそれぞれ差がある部分を合わせることによって抽出された関心対象ＯＢ１〜ＯＢ５は、ゴルフクラブと見なすには多少不明確なイメージであるから、これに基づいてゴルフクラブの動きを把握するには多少足りない。

したがって、それぞれの関心対象ＯＢ１〜ＯＢ５に対して、直線ラインをフィッティング（Ｆｉｔｔｉｎｇ）することによって、ゴルフクラブの動きをより明確に把握できるようにすることが必要である。

それぞれの関心対象ＯＢ１〜ＯＢ５は、実際にはゴルフクラブのように直線の形態で示されなければならないが、イメージ処理過程で明確な直線の形態で示されないため、これを直線ラインでフィッティングするものである。

このとき、それぞれの関心対象ＯＢ１〜ＯＢ５に対する直線ラインのフィッティングのための方法の一例として、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｃｅｎｓｕｓ）アルゴリズムを用いることができる。

すなわち、それぞれの関心対象ＯＢ１〜ＯＢ５をなすそれぞれのピクセルのうち、ゴルフクラブに関する情報を示すもの（ｉｎｌｉｅｒ）と、ゴルフクラブと関係のない誤った情報を示すもの（ｏｕｔｌｉｅｒ）とが共存し、このように、誤った情報を有するピクセルが含まれた全体ピクセル集団において、ゴルフクラブに関する情報を有する因子を所定の数学的モデルの反復的作業によって予測して補正することによって、直線ラインをフィッティングするものである。

図１２は、それぞれの対象抽出イメージ３３１〜３３５上の関心対象ＯＢ１〜ＯＢ５に対するラインフィッティング（ＲＡＮＳＡＣアルゴリズムを適用）の結果を、一つのイメージにまとめて示したイメージである。

すなわち、図１２において、Ｌ１ラインは関心対象ＯＢ１を、Ｌ２ラインは関心対象ＯＢ２を、Ｌ３ラインは関心対象ＯＢ３を、Ｌ４ラインは関心対象ＯＢ４を、そして、Ｌ５ラインは関心対象ＯＢ５をそれぞれラインフィッティングした結果である。

このような直線ラインのフィッティングは、カメラユニットを構成する他のカメラで取得したイメージに対しても同一に行う。

一方、上述したように、カメラユニットを構成する複数個のカメラのそれぞれから取得されたイメージに対してフィッティングラインがそれぞれ抽出されると、これら抽出された結果を通じて、３次元空間上でゴルフクラブのヘッドがどのような運動軌跡で移動するのかチェックする必要がある。

図１３では、第１カメラ５１と第２カメラ５２でそれぞれ取得したイメージを互いにマッチングして、ゴルフクラブのヘッドの運動軌跡を算出する原理について示している。

図１３において、第１カメラ５１で取得されたイメージをＩ５１とし、前記イメージＩ５１上のフィッティングラインをＬ５１とし、前記第１カメラ５１の前記イメージＩ５１上のフィッティングラインＬ５１に該当する３次元空間上の平面をＤＰとする。そして、第２カメラ５２で取得されたイメージをＩ５２とし、前記イメージＩ５２上のフィッティングラインをＬ５２とし、前記第２カメラ５２の前記イメージＩ５２上のフィッティングラインＬ５２に該当する３次元空間上の直線をＤＬとする。

図１３に示されたように、第１カメライメージＩ５１上のフィッティングラインＬ５１に該当する３次元平面ＤＰと、第２カメライメージＩ５２上のフィッティングラインＬ５２に該当する３次元直線ＤＬとが交差する地点に該当するフィッティングラインＬ５１上の対応点Ｐ５１を探す。

したがって、Ｌ５２フィッティングライン上の点Ｐ５２と、Ｌ５1フィッティングライン上の対応点Ｐ５１とは互いに対応する一対の対応点となる。

このように対応点を調べることによって、図１２に示された各フィッティングラインにおいてゴルフクラブのヘッドに該当する部分、すなわち、フィッティングライン上の先端部を探す。

各フィッティングライン上で先端部、すなわち、ゴルフクラブヘッド部分を探したら、前記ヘッド部分の３次元空間上での座標情報を抽出することができ、それに基づいてゴルフクラブヘッドの運動軌跡を算出できるようになる。

上述したように、ゴルフクラブヘッドの運動軌跡を算出した後には、それに基づいて、運動するボールのスピンを推定する必要がある。

すなわち、図１４では、ゴルフクラブヘッドの運動軌跡からボールのスピンを推定する一例に関する原理を説明するための概略的な事項を示している。ここで、図１４は、ゴルフクラブヘッドＣＨの各フレーム別移動位置と、それによる運動軌跡ＴＲを示しており、Ｂはボールを示す。

ボールのスピンを推定するためには、ゴルフクラブヘッドの運動軌跡を最初から終わりまで全てチェックする必要はない。すなわち、図１４に示されたように、ボールＢを中心に所定の大きさの関心領域４００を設定し、その設定された関心領域４００内でのゴルフクラブヘッドＣＨの動きのみを観察すればよい。

関心領域４００の大きさを過度に小さく設定すると、迅速にチェックすることができるが、正確性が低下し、関心領域４００の大きさを過度に大きく設定すると、正確性は向上するが、チェック速度が遅くなる虞があるので、関心領域４００の大きさは、上述したような点を考慮して適正な大きさに設定することが好ましい。

関心領域４００内で、ゴルフクラブヘッドＣＨの運動軌跡ＴＲからゴルフクラブヘッドＣＨの進行方向ＨＤを抽出することができる。インパクト瞬間のゴルフクラブヘッドＣＨの進行方向が抽出されるようにすることが好ましい。

したがって、ゴルフクラブヘッドＣＨの進行方向ＨＤから、ボールが打撃された後にサイドスピン（Ｓｉｄｅ Ｓｐｉｎ）やバックスピン（Ｂａｃｋ Ｓｐｉｎ）がどれくらいかかるようになるか容易に推定することができる。

図１４では、説明の便宜のために、平面上でゴルフクラブヘッドの進行方向を示しているが、実際には、３次元空間上でゴルフクラブヘッドの進行方向を抽出できるので、サイドスピンやバックスピンなどを全て容易に推定することができる。

一方、図１５及び図１６を参照して、本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置のセンシング方法について説明する。

まず、図１５を参照して説明すると、センシング装置が動作しながら、打撃が行われる一定の撮影範囲に対するイメージを連続的に収集する（Ｓ１０）。これは、図３に示されたグラバー６５によって行われ得る。

収集されたイメージは、打撃感知部７０（図３参照）に伝送されて分析されることで、ユーザがボールを打撃するか否かを感知するようになる（Ｓ１１）。

打撃感知部のイメージ分析の結果、ユーザがボールを打撃したことを感知するようになると（Ｓ１２）、打撃感知部は、感知された時点以前の複数のフレームのイメージを調べて、ボールがゴルフクラブによってインパクトされた正確な時点を検査する（Ｓ２０）。

次に、打撃感知部は、インパクト時点以前の複数のフレームのイメージ（インパクト時点のイメージも含まれる）を保存する（Ｓ２１）。

次に、インパクト時点以降の複数のフレームのイメージをグラバーから順次収集して、リアルタイムでボールイメージ処理部に伝送する（Ｓ２２）。

ボールイメージ処理部は、イメージを受信してボール処理を行う（Ｓ３０）。ボール処理の結果、運動するボールの速度、方向、高さ角などの情報が算出されると、クラブイメージ処理部の処理結果が出るまで待たずに、先に、シミュレータに伝送する（Ｓ５０）。

そして、クラブイメージ処理部は、前記ステップＳ２１で保存されたイメージ、及びボールイメージ処理部によって処理されたイメージを受信してクラブ処理を行う（Ｓ４０）。クラブ処理の結果、ボールのスピン情報が算出されると、これをシミュレータに伝送する（Ｓ５０）。

シミュレータは、ボール処理結果による情報を用いて、先にシミュレーションを開始し、シミュレーション過程で、クラブ処理結果によるボールのスピン情報を反映してシミュレーションを完成する。

一方、図１５に示されたクラブ処理に関するより具体的な事項について、図１６を参照して説明する。

上記したクラブ処理が開始されると、打撃感知部とボールイメージ処理部から、インパクト時点前後の複数のフレームのイメージを収集する（Ｓ４１）。

収集されたイメージに対して、静止された部分、すなわち、背景映像などを除去するために、他の時点に収集されたイメージに対する差演算を通じて差分映像を抽出する（Ｓ４２）。

差演算されて抽出されたイメージにおいて、動きがある部分の明るさをより大きくするために、イメージ上の全てのピクセルに対して、一つのピクセルの周辺ピクセルのピクセル値を合わせたイメージを生成する（Ｓ４３）。これについては、図９で既に説明したので、具体的な説明は省略する。

明るさを補正したイメージを生成した後には、各フレームのイメージから関心対象（ゴルフクラブに関する部分が含まれた部分）を抽出するために、一つのフレームイメージと他のフレームイメージとの間の差がある部分をそれぞれ抽出して合わせる。このような作業は、処理対象である全てのフレームイメージに対してそれぞれ行う（Ｓ４４）。

前記のステップＳ４４過程を経ることによって、各フレームのイメージ上で関心対象を抽出することができ、このように抽出された関心対象に対して直線ラインをフィッティングする（Ｓ４５）。

そして、複数個のカメラに対して、同一のフレームのイメージに対する３次元空間上の対応点を検査し（Ｓ４６）、フィッティングされたライン上の特定部分（好ましくは、ゴルフクラブのヘッドに該当する部分として、フィッティングライン上の先端部がヘッドに該当する部分である可能性が高い）を探して、ゴルフクラブのヘッドとして認識し、各部分の座標移動を検査することによって、ゴルフクラブヘッドの運動軌跡を算出する（Ｓ４７）。

そして、前記算出されたゴルフクラブヘッドの運動軌跡から、ゴルフクラブヘッドの進行方向を抽出して（Ｓ４８）、それに基づいて、運動するボールのスピンを推定する（Ｓ４９）。

以上、発明の実施のための最善の形態を具体的に記載した。

本発明に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法は、仮想現実ベースのゴルフシミュレーションがなされるようにすることによって、ユーザが仮想のゴルフ競技を楽しめるようにすることができるゴルフゲームや、いわゆる、スクリーンゴルフの産業分野などに利用可能である。

Claims (22)

1. 仮想ゴルフシミュレーション装置に用いられるセンシング装置において、
   ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、
   各フレーム別の前記イメージからボールを抽出して、その３次元座標を獲得するボールイメージ処理部と、前記取得した各フレーム別の前記イメージから、動く関心対象を抽出し、前記関心対象から、ゴルフクラブのヘッドに対する運動軌跡を算出するクラブイメージ処理部とを含み、運動するボールに対する物理的特性情報を算出するセンシング処理ユニットと、
   を備える、センシング装置。
2. 前記クラブイメージ処理部は、前記ボールイメージ処理部によって処理された前記イメージから抽出されたボールを除去したイメージを受信して、イメージ処理を行うように構成されることを特徴とする、請求項１に記載のセンシング装置。
3. 前記カメラユニットから受信した前記イメージを処理することによってユーザによる打撃が行われたか否かを感知することによって、インパクト時点を把握する打撃感知部をさらに含むことを特徴とする、請求項１又は２に記載のセンシング装置。
4. 前記ボールイメージ処理部は、前記打撃感知部から、インパクト時点以降の前記複数のフレームの前記イメージを受信して、イメージ処理を行うように構成され、
   前記クラブイメージ処理部は、前記打撃感知部から、インパクト時点以前の前記複数のフレームの前記イメージ、及び前記ボールイメージ処理部で処理された前記イメージをそれぞれ受信して、イメージ処理を行うように構成されることを特徴とする、請求項３に記載のセンシング装置。
5. 前記センシング処理ユニットは、
   前記ボールイメージ処理部によって抽出されたボールの３次元座標を用いて、運動するボールの速度、方向及び高さ角を含む物理的特性情報を算出し、
   前記クラブイメージ処理部によって算出された前記ゴルフクラブのヘッドに対する前記運動軌跡から、ボールのスピンを含む前記物理的特性情報を算出するように構成されることを特徴とする、請求項１から４のいずれか一項に記載のセンシング装置。
6. 前記クラブイメージ処理部は、
   各フレームのイメージ間に差がある部分を抽出して合わせることによって、前記動く関心対象を抽出し、前記抽出された関心対象に対して直線ラインをフィッティングする第１処理手段と、
   前記フィッティングされたライン上の特定部分の軌跡を、前記ゴルフクラブのヘッドに対する前記運動軌跡として算出する第２処理手段と、を含むことを特徴とする、請求項１から５のいずれか一項に記載のセンシング装置。
7. 前記クラブイメージ処理部は、
   静止状態のボールの位置を中心に所定の大きさの関心領域を設定し、前記関心領域内で前記ゴルフクラブのヘッドの前記運動軌跡をチェックして前記ゴルフクラブのヘッドの進行方向を抽出し、それに基づいてボールのスピンを推定するスピン推定手段をさらに含むことを特徴とする、請求項１から６のいずれか一項に記載のセンシング装置。
8. 仮想ゴルフシミュレーション装置に用いられるセンシング装置において、
   ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、
   各フレーム別の前記イメージから、２次元分析を通じてボールの軌跡を抽出して、前記ボールの軌跡上の各ボールの３次元座標を抽出するボールイメージ処理部と、前記取得した各フレーム別の前記イメージから、２次元分析を通じて、動く対象に対するフィッティングラインを抽出し、前記フィッティングラインに対する３次元マッチングを通じてゴルフクラブのヘッドの運動軌跡を抽出するクラブイメージ処理部とを含んで、運動するボールの物理的特性情報を算出するセンシング処理ユニットと、を含む、センシング装置。
9. 前記カメラユニットは、それぞれ前記複数のフレームの前記イメージを取得し、ステレオ方式で駆動される複数個のカメラを含み、
   前記ボールイメージ処理部は、
   前記複数個のカメラのそれぞれが取得した前記イメージからボール候補を探して、３次元座標を抽出し、前記ボール候補を２次元平面に回帰させて２次元軌跡を抽出して分析することによって、前記ボールの軌跡を抽出し、前記抽出されたボールの軌跡上の各ボールの座標を３次元座標に変換させるように構成されることを特徴とする、請求項８に記載のセンシング装置。
10. 前記カメラユニットは、それぞれ前記複数のフレームの前記イメージを取得し、ステレオ方式で駆動される複数個のカメラを含み、
    前記クラブイメージ処理部は、
    前記複数個のカメラのそれぞれが取得した各フレームのイメージ間に差がある部分を抽出して合わせることによって、動く関心対象を抽出し、前記抽出された関心対象に対して直線ラインをフィッティングする第１処理手段と、前記複数個のカメラに対して、同一のフレームの前記イメージに対する３次元空間上の対応点を検査することによって、前記フィッティングされたライン上の特定部分の３次元軌跡を算出する第２処理手段と、を含むことを特徴とする、請求項８に記載のセンシング装置。
11. 仮想ゴルフシミュレーション装置に用いられるセンシング装置において、
    ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得するカメラユニットと、
    各フレームのイメージ間に差がある部分を抽出して合わせることによって、動く関心対象を抽出し、前記抽出された関心対象からフィッティングラインを抽出する第１処理手段と、前記フィッティングライン上の特定部分の軌跡を、ゴルフクラブのヘッドに対する運動軌跡として算出する第２処理手段とを含んで、運動するボールのスピンを推定するセンシング処理ユニットと、を含む、センシング装置。
12. 前記センシング処理ユニットは、
    前記取得したイメージに対して、差演算を通じてイメージ上の静止された部分を除去し、前記差演算されたイメージ上の全てのピクセルのそれぞれに対して、所定の個数の周辺ピクセルのピクセル値を合わせたイメージが生成されるようにする前処理手段をさらに含み、
    前記前処理手段によって処理されたイメージを用いて、前記第１処理手段及び前記第２処理手段がイメージ処理を行うように構成されることを特徴とする、請求項１１に記載のセンシング装置。
13. 前記第１処理手段は、
    処理対象である全てのフレームの前記イメージのそれぞれに対して、該当のフレームの前記イメージと他のフレームの前記イメージとの間に差がある部分を抽出して合わせることによって、前記ゴルフクラブに該当する部分が関心対象として抽出されるようにする対象抽出手段と、
    前記抽出された関心対象に対して直線ラインをフィッティングするラインフィッティング手段と、を含むことを特徴とする、請求項１１又は１２に記載のセンシング装置。
14. 前記第２処理手段は、
    前記フィッティングされたライン上の特定部分に対する座標移動を検査することによって、前記運動軌跡を算出する軌跡算出手段と、
    前記算出された前記運動軌跡を前記ゴルフクラブのヘッドの前記運動軌跡として認識し、前記運動軌跡から前記ゴルフクラブのヘッドの進行方向を抽出して、それに基づいてボールのスピンを推定するスピン推定手段と、を含むことを特徴とする、請求項１１から１３のいずれか一項に記載のセンシング装置。
15. 仮想ゴルフシミュレーション装置に用いられるセンシング装置において、
    ユーザがスイングによってボールを打撃することに対してそれぞれ複数のフレームのイメージを取得する複数個のカメラを含むカメラユニットと、
    各カメラで取得した前記イメージに対して、それぞれ２次元分析を通じて、動く関心対象に対するフィッティングラインを抽出し、前記２次元分析されたそれぞれのフィッティングラインに対する３次元マッチングを通じて、前記フィッティングライン上の特定部分の軌跡をゴルフクラブのヘッドに対する運動軌跡として算出することによって、運動するボールのスピンを推定するセンシング処理ユニットと、を含む、センシング装置。
16. 仮想ゴルフシミュレーション装置に用いられるセンシング装置のセンシング方法において、
    打撃が行われる一定の撮影範囲に対するイメージを連続的に取得する段階と、
    前記取得された前記イメージを分析することによって、ユーザがボールを打撃するか否かを感知する段階と、
    ボールが打撃されるインパクト時点以降の複数のフレームの前記イメージからボールを抽出して分析することによって、運動するボールに対する物理的特性情報を算出するボール処理段階と、
    ボールが打撃されるインパクト時点以前及び以降の前記複数のフレームの前記イメージからゴルフクラブのヘッドの運動軌跡を算出して分析することによって、前記運動するボールのスピンを推定するクラブ処理段階と、を含む、センシング方法。
17. 前記ボール処理段階は、
    前記複数のフレームの前記イメージに対して、各フレーム別にボール候補を抽出する段階と、
    前記ボール候補に対する３次元座標を２次元座標に変換して、各フレーム上の前記ボール候補を互いに連結する少なくとも一つの２次元軌跡を抽出する段階と、
    前記２次元軌跡を分析することによってボールの軌跡を抽出して、前記ボールの軌跡上の各ボールに対する３次元座標を獲得する段階と、を含むことを特徴とする、請求項１６に記載のセンシング方法。
18. 前記クラブ処理段階は、
    前記複数のフレームの前記イメージに対して、各フレームのイメージ間に差がある部分を抽出して合わせることによって、動く関心対象を抽出する段階と、
    前記抽出された関心対象に対して直線ラインをフィッティングする段階と、
    前記フィッティングされたライン上の特定部分の軌跡を、前記ゴルフクラブのヘッドに対する前記運動軌跡として算出する段階と、を含むことを特徴とする、請求項１６又は１７に記載のセンシング方法。
19. 仮想ゴルフシミュレーション装置に用いられるセンシング装置のセンシング方法において、
    ユーザがスイングによってボールを打撃することに対して複数のフレームのイメージを取得する段階と、
    前記取得したイメージから、動く関心対象を抽出する段階と、
    前記抽出された関心対象に対して直線ラインをフィッティングする段階と、
    前記フィッティングされたライン上の特定部分の軌跡を算出する段階と、
    前記算出された軌跡をゴルフクラブのヘッドの運動軌跡として認識し、それに基づいて運動するボールのスピンを推定する段階と、を含む、センシング方法。
20. 前記関心対象を抽出する段階は、
    前記取得した前記イメージに対して、差演算を通じてイメージ上の静止された部分を除去する段階と、
    前記差演算された前記イメージ上の全てのピクセルのそれぞれに対して、所定の個数の周辺ピクセルのピクセル値を合わせたイメージが生成されるようにする段階と、
    処理対象である全てのフレームの前記イメージのそれぞれに対して、該当のフレームの前記イメージと他のフレームの前記イメージとの間に差がある部分を抽出して合わせることによって、前記ゴルフクラブに該当する部分が前記関心対象として抽出されるようにする段階と、を含むことを特徴とする、請求項１９に記載のセンシング方法。
21. 前記イメージを取得する段階で、ステレオ方式で駆動される複数個のカメラのそれぞれが複数のフレームの前記イメージを取得し、
    前記特定部分の軌跡を算出する段階は、
    前記複数個のカメラに対して、同一のフレームの前記イメージに対する３次元空間上の対応点を検査する段階と、
    前記フィッティングされたライン上の先端部を探して、前記ゴルフクラブのヘッドとして認識して、前記ヘッドの座標移動を検査することによって３次元運動軌跡を算出する段階と、を含むことを特徴とする、請求項１９又は２０に記載のセンシング方法。
22. 前記ボールのスピンを推定する段階は、
    静止状態のボールの位置を中心に、所定の大きさの関心領域を設定する段階と、
    前記関心領域内で前記ゴルフクラブのヘッドの前記運動軌跡をチェックすることによって、前記ゴルフクラブのヘッドの進行方向を抽出する段階と、
    前記ゴルフクラブのヘッドの進行方向から、前記運動するボールのスピンを推定する段階と、を含むことを特徴とする、請求項１９から２１のいずれか一項に記載のセンシング方法。