JP2014511724A - 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法 - Google Patents

仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法 Download PDF

Info

Publication number
JP2014511724A
JP2014511724A JP2014501003A JP2014501003A JP2014511724A JP 2014511724 A JP2014511724 A JP 2014511724A JP 2014501003 A JP2014501003 A JP 2014501003A JP 2014501003 A JP2014501003 A JP 2014501003A JP 2014511724 A JP2014511724 A JP 2014511724A
Authority
JP
Japan
Prior art keywords
image
unit
image processing
processing unit
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014501003A
Other languages
English (en)
Other versions
JP5811263B2 (ja
Inventor
ウク ジャン、ヒュン
ダム ジョン、ヒュン
ジン パーク、ヒュン
シク ユーン、ヒュン
Original Assignee
ゴルフゾン カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゴルフゾン カンパニー リミテッド filed Critical ゴルフゾン カンパニー リミテッド
Publication of JP2014511724A publication Critical patent/JP2014511724A/ja
Application granted granted Critical
Publication of JP5811263B2 publication Critical patent/JP5811263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/04Games or sports accessories not covered in groups A63B1/00 - A63B69/00 for small-room or indoor sporting games
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0031Tracking the path of an object, e.g. a ball inside a soccer pitch at the starting point
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0021Tracking a path or terminating locations
    • A63B2024/0028Tracking the path of an object, e.g. a ball inside a soccer pitch
    • A63B2024/0034Tracking the path of an object, e.g. a ball inside a soccer pitch during flight
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/17Counting, e.g. counting periodical movements, revolutions or cycles, or including further data processing to determine distances or speed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本発明は、ユーザがゴルフクラブでボールを打撃することをセンシング装置がセンシングし、そのセンシングの結果によって、仮想のゴルフコース上でボールの軌跡がシミュレーションされるようにすることによって、ユーザが仮想のゴルフコースで仮想のゴルフを楽しめるようにして、実際のゴルフ場でゴルフを楽しんでいるかのようなリアリティーを提供するためのもので、特に、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得し、イメージが入手され次第、リアルタイムでイメージ処理が可能で、それによって、センシング処理時間を画期的に短縮させることによって、ユーザがスイングをすることとほぼ同時にシミュレーション映像が具現されることで、リアリティーをより向上させるようにすることができる仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法を提供するためのものである。
【選択図】図4

Description

本発明は、仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法に係り、より詳細には、仮想のゴルフコースが映像化されてシミュレーションされ、ユーザが打撃したゴルフボールの軌跡がセンシング装置によってセンシングされて前記仮想のゴルフコースでシミュレーションされる仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法に関する。
最近、野球、サッカー、バスケットボール、そしてゴルフなどのような人気スポーツ競技を室内や特定の場所でシミュレーションを通じてインタラクティブスポーツゲーム(Interactive Sports Game)の形態で楽しめるようにする様々な装置に対する開発が活発に行われている。
特に最近は、いわゆる、スクリーンゴルフシステムが登場して、ユーザがゴルフクラブをスイングすることによって、打撃マットに置かれたボールを打撃すると、センシング装置がこれをセンシングして、移動するゴルフボールの物理的特性を抽出し、これに基づいて仮想のゴルフコースでボールの軌跡がシミュレーションされるようにすることで、ユーザが仮想現実上でゴルフを楽しめるようにする技術が開発されている。
このようなインタラクティブスポーツゲームにおいて、ゴルフボールなどのボールを用いるスポーツに対するシミュレーションがなされるようにするために、運動するボールの動きに対する物理的情報を正確にセンシングするための各種センシングシステムに関する研究開発が非常に活発に行われている実情である。
例えば、赤外線センサを用いたセンシング装置、レーザーセンサを用いたセンシング装置、音響センサを用いたセンシング装置、及びカメラセンサを用いたセンシング装置など、様々なセンシング方式が登場している。
しかし、赤外線センサなどは、センシング処理時間が短いので、シミュレーションを迅速に進行することができるという長所はあるが、センシングの正確性が低下するという問題点があり、反面、カメラセンサは、センシングの正確性を向上させることはできるが、センシング処理に多くの時間がかかるため、ユーザがボールを打撃した後、所定の時間が経過した後にボールの軌跡に対するシミュレーション映像が具現されて、仮想ゴルフのリアリティーが大きく減少することによって、ユーザの興味を大きく低下させるようになるという問題点が発生する。
本発明は、ユーザがゴルフクラブでボールを打撃することをセンシング装置がセンシングし、そのセンシングの結果によって、仮想のゴルフコース上でボールの軌跡がシミュレーションされるようにすることによって、ユーザが仮想のゴルフコースで仮想のゴルフを楽しめるようにして、実際のゴルフ場でゴルフを楽しんでいるかのようなリアリティーを提供するためのもので、特に、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得し、イメージが入手され次第、リアルタイムでイメージ処理が可能で、それによって、センシング処理時間を画期的に短縮させることによって、ユーザがスイングをすることとほぼ同時にシミュレーション映像が具現されることで、リアリティーをより向上させることができる仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法を提供するためのものである。
本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得する少なくとも一つのセンサ部と、前記センサ部から複数のフレームのイメージを順次入手して収集するイメージ収集部と、前記イメージ収集部で入手したフレームのイメージをリアルタイムで受信して処理して、移動するボールの物理的特性情報を抽出するイメージ処理部と、を含む。
一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得するカメラユニットと、前記カメラユニットから複数のフレームのイメージを順次入手して収集するイメージ収集部、及び前記イメージ収集部で入手したフレームのイメージをリアルタイムで受信して処理して、移動するボールの物理的特性情報を抽出するイメージ処理部を含むセンシング処理ユニットとを含むセンシング装置と、前記センシング処理ユニットで抽出された情報によって、ボールの軌跡に対するシミュレーション映像を具現する映像具現ユニットと、を含む。
一方、本発明の一実施例に係る仮想ゴルフシミュレーションのためのセンシング方法は、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得する段階と、イメージ収集部で、前記取得される複数のフレームのイメージを順次入手して保存する段階と、前記イメージ収集部が入手するフレームのイメージをリアルタイムでイメージ処理部に伝送する段階と、前記イメージ処理部が、リアルタイムで受信したフレームのイメージを処理して、移動するボールの物理的特性情報を抽出する段階と、を含む。
一方、本発明の一実施例に係る仮想ゴルフシミュレーション方法は、ユーザの打撃準備が完了したか否かを感知する段階と、打撃準備が完了した場合、ユーザによって打撃が行われたか否かを感知する段階と、打撃がなされた場合、打撃時点及びその前後のイメージをフレーム単位で入手して保存する段階と、前記入手されるイメージをリアルタイムで処理することによって、移動するボールの物理的特性情報を抽出する段階と、前記抽出されたボールの物理的特性情報によって、ボールの軌跡に対するシミュレーション映像を具現する段階と、を含む。
本発明に係る仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法は、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得し、イメージが入手され次第、リアルタイムでイメージ処理が可能で、それによって、センシング処理時間を画期的に短縮させることによって、ユーザがスイングをすることとほぼ同時にシミュレーション映像を具現できるので、リアリティーをより向上させることができる効果がある。
本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図である。 本発明の一実施例に係る仮想ゴルフシミュレーション装置の構成を示すブロック図である。 本発明の一実施例に係る仮想ゴルフシミュレーション装置の情報処理プロセスについて示す図である。 本発明の一実施例に係るセンシング装置のリアルタイムイメージ処理プロセスについて示す図である。
本発明に係る仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法に対する実施例を、図面を参照してより具体的に説明する。
まず、図1及び図2を参照して、本発明の一実施例に係る仮想ゴルフシミュレーション装置及びそれに用いられるセンシング装置について説明する。
図1は、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムの一例を示す図で、図2は、図1に示されたスクリーンゴルフシステムに適用された仮想ゴルフシミュレーション装置の構成を示すブロック図である。
図1及び図2に示されたように、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、ユーザがボールBを打撃することをセンシングするためのセンシング装置Sと、仮想のゴルフコースに関する映像を具現し、前記センシング装置Sのセンシング結果によって、仮想のゴルフコースでボールの軌跡に対するシミュレーション映像を提供するようにして、仮想ゴルフシミュレーションを行うシミュレータ1と、を含むように構成される。
図1に示されたように、本発明の一実施例に係る仮想ゴルフシミュレーション装置が適用されたスクリーンゴルフシステムは、所定の大きさの空間を提供するゴルフブース2の床に、ユーザがゴルフスイングを行うことができる打席110が設けられ、前記打席110の一側には打撃マット120が設けられて、ユーザが打席110で打撃マット120に置かれたボールBをゴルフスイングによって打撃できるようにし、前方にはスクリーン3が設けられて、シミュレータ1から映像情報を受信した映像出力のための装置(図2に示された映像出力部30、例えば、ビームプロジェクターなど)が、前記スクリーン3上に仮想ゴルフシミュレーションに関する映像を投影させるように構成することができる。
ここで、前記打席110及び打撃マット120は、ゴルフブース2の床面に設けてもよいが、図1に示されたように、スイングプレート100上に設けることも可能である。
前記スイングプレート100は、前後/左右方向に所定の角度で傾斜できるように備えられ、シミュレータ1と接続されて、現在具現中の仮想のゴルフコースの地形に対応して傾きを形成することができる。
一方、ゴルフブース2内にはセンシング装置Sが備えられて、ユーザがボールBを打撃することをセンシングする。図1では、センシング装置Sとして、イメージセンシング方式を用いるセンシング装置が備えられる場合について示している。
すなわち、図1に示されたように、本発明の一実施例に係る仮想ゴルフシミュレーション装置は、センシング装置Sとして、カメラユニット50及びセンシング処理ユニット60を含むイメージセンシング方式のセンシング装置Sを備えることができる。
前記カメラユニット50は、イメージセンシングのための一つのセンサ部によって構成されてもよく、二つ以上のセンサ部によって構成されてもよいが、移動するボールBのイメージを取得して3次元空間でのボールの座標を抽出するためには、図1に示されたように、二つ以上のセンサ部51,52でステレオ(Stereo)方式のカメラユニットを構成することが好ましい。
図1及び図2では、本発明に係る仮想ゴルフシミュレーション装置のセンシング装置が、イメージセンシング方式のセンシング装置である場合を示しているが、これに限定されず、ユーザがボールを打撃することを感知して、所定の情報処理を通じて、移動するボールの物理的特性を抽出するようにするセンシング装置は全て含むことができる。ここでは、ユーザがボールを打撃することに対するイメージを取得し、これに対して所定の情報処理を通じて、移動するボールの物理的特性を抽出するイメージセンシング方式のセンシング装置について説明する。
図2に示されたように、センシング装置Sは、複数個のセンサ部51,52で構成されるカメラユニット50と、前記カメラユニット50で取得したイメージを処理することによって、移動するボールの物理的特性を抽出するセンシング処理ユニット60と、を含んで構成することができる。
ここで、移動するボールの物理的特性は、ボールの速度、ボールの移動方向(水平方向の移動角度)、ボールの高さ角(垂直方向の移動角度)、ボールにかかるスピン(Spin)などを含むことができる。
前記センシング処理ユニット60は、前記カメラユニット50を通じて取得されたソースイメージ(Source Image)をフレーム単位で順次入手して収集するイメージ収集部61と、前記イメージ収集部61で入手したフレームのイメージをリアルタイムで受信して処理して、移動するボールの物理的特性情報を抽出するイメージ処理部64と、を含んで構成することができる。
前記イメージ収集部61は、前記センサ部51,52によって取得されるイメージを保存しながら、ショットディテクタ63に伝送するグラバー62と、前記グラバー62から伝送されるイメージを受信して処理することによって、打撃準備が完了したか否かを感知し、また、打撃が行われたか否かを感知して、打撃が感知されると、前記イメージ処理部64に伝送するイメージを収集して保存するショットディテクタ63と、を含んで構成されることが好ましい。
本発明に係る仮想ゴルフシミュレーション装置のセンシング装置は、基本的に、移動するボールの物理的特性を抽出するためのイメージの処理をリアルタイムで行うことができるようにするために、前記イメージ収集部61が一つのフレームのイメージを入手するや否や、これをリアルタイムでイメージ処理部64に伝送して、イメージ処理が迅速に行われることで、シミュレーションの進行を、遅延なしに、迅速に行うことができるようにする特徴を有する。
したがって、前記イメージ収集部61によるイメージの順次入手と、前記イメージ処理部64によるイメージ処理とが、それぞれ独立に行われるように構成することが好ましい。
ここで、イメージをリアルタイムで伝送するということは、イメージ収集部61が一つのフレームのイメージをイメージ処理部64に伝送した後、前記イメージ処理部64が伝送されたイメージの処理を完了する時点に、前記イメージ収集部61が入手するイメージ(次のフレームのイメージであってもよく、一回以上スキップした後のフレームのイメージであってもよい)をイメージ処理部64が受信してイメージ処理を行うことによって、イメージ処理がリアルタイムで行われて、ボールの物理的特性の抽出にかかる時間を画期的に短縮させるようにしたことである。これについての具体的な事項は後述する。
一方、本発明の一実施例に係る仮想ゴルフシミュレーション装置を構成するシミュレータ1は、制御部M、データベース10、映像処理部20、及び映像出力部30などを含んで構成されることが好ましい。
前記データベース10は、仮想ゴルフシミュレーションに必要な全てのデータが保存される。例えば、システムの駆動に必要なデータ、仮想のゴルフコースの映像の具現に関するデータ、及びボールの軌跡に対するシミュレーション映像の具現に関するデータなどが保存される。
前記映像処理部20は、仮想のゴルフコースに関する映像や、仮想のゴルフコースでのボールの軌跡に対するシミュレーション映像などを具現するための所定の映像処理が行われる部分である。
前記映像出力部30は、前記映像処理部20から伝達された映像情報をスクリーン上に出力して、ユーザが見ることができるようにするためのものである。
前記制御部Mは、センシング装置Sから、センシング結果による情報を受信して、前記データベース10、映像処理部20及び映像出力部30などの全ての構成要素の動作を制御できるように備えられる。すなわち、前記制御部M、データベース10、映像処理部20などは、センシング装置Sのセンシング結果によってボールの軌跡に対するシミュレーション映像を具現する映像具現手段として機能する。
一方、図3及び図4を参照して、本発明の一実施例に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置及びセンシング方法についてより具体的に説明する。
図3に示されたように、本発明に係るセンシング装置での情報伝達の流れは、カメラユニット50→イメージ収集部61→イメージ処理部64→シミュレータ1の順に行われる。
カメラユニット50は、打席と打撃マットが設けられている部分を含む一定の範囲を撮影しながら、1秒当たり数百フレームのイメージを取得する。
このように取得されるイメージはイメージ収集部61のグラバー62に伝送され、グラバー62は、カメラユニット50からイメージを受信して保存すると共にショットディテクタ63に伝達して、イメージ処理が行われるようにする。
すなわち、ショットディテクタ63は、前記グラバー62から伝達されたイメージを処理して、打撃準備が完了したか否かを感知し、打撃準備が完了した場合(すなわち、打撃マット上にボールが置かれた状態で、予め設定された時間が経過するなどの特定の条件が満たされる場合)、ユーザが打撃マットに置かれたボールをゴルフクラブで打撃するか否かを感知する。
仮に打撃が行われる場合、ショットディテクタ63は、打撃時点のイメージ及びその後の複数のフレームのイメージを全て保存する。これは、イメージ処理部64にリアルタイムで伝送されてイメージ処理が行われるようにするためである。
イメージ処理部64は、ショットディテクタ63が打撃を感知した場合に伝送されるイメージを処理することによって、移動するボールの物理的特性を抽出してシミュレータ1に伝達する。
このとき、前記ショットディテクタ63及びイメージ処理部64は、イメージのリアルタイム処理が可能なように構成されることによって、物理的特性の抽出が非常に迅速に行われ得るようにし、これについての具体的な説明は、図4を参照して説明する。
図4に示されたように、ショットディテクタは、打撃準備を感知し(S10)、次いで、ユーザがボールを打撃することによって、打撃を感知すると(S20)、イメージ処理のためのイメージを収集し始める(S30)。
カメラユニットが、例えば、300fpsの速度でイメージを取得する場合、1秒に300フレーム程度のイメージを取得し、ショットディテクタは、打撃前7フレーム、打撃時点の1フレーム、そして、打撃後100msの間に30フレームのイメージを収集して保存しながら、リアルタイムでイメージ処理部にイメージを伝送する。
すなわち、ショットディテクタは、0フレームのイメージから30フレームのイメージまで入手して保存し、各フレームのイメージは、入手され次第、リアルタイムでイメージ処理部に伝送される。
ここで、前記イメージ処理部は、ショットディテクタが入手する全てのフレームのイメージを処理するものではなく、リアルタイムで伝送されるイメージのみを原則的に処理する。
移動するボールの物理的特性を抽出するために、必ず30フレームのイメージを全て処理する必要はなく、その中でいくつかのフレームのみ分析すると、30フレームのイメージを分析したことと実質的に同一の結果を得ることができるためである。
したがって、本発明に係るセンシング装置は、センシング処理時間を短縮させるために、ショットディテクタが入手するイメージのうち、リアルタイムで受信可能なイメージのみをイメージ処理部が処理するようにする。
より具体的に説明すると、図4に示されたように、ショットディテクタが、まず、0フレームのイメージを入手すれば、これをイメージ処理部にリアルタイムで伝送する。待機(S40)状態にあったイメージ処理部は、イメージを受信するとすぐに該当のフレームのイメージを処理し始める。
すなわち、イメージ処理部は、0フレームのイメージを受信して処理し始め、処理が完了した場合に、ショットディテクタが入手するフレームのイメージ、すなわち、2フレームのイメージをリアルタイムで受信して処理する。
このとき、イメージ処理部が0フレームのイメージを処理している間にショットディテクタが入手する1フレームのイメージは、伝送せずに、ただ保存だけを行う。
仮に、図4に示されたように、イメージ処理部が、0フレームのイメージを処理した後、直ちに2フレームのイメージを処理し、その処理が迅速に行われて、その次のフレームである3フレームのイメージを入手する時に2フレームのイメージの処理が完了したならば、イメージ処理部は、3フレームのイメージをリアルタイムで受信して処理し始める。
ショットディテクタは、グラバーからイメージを入手する順にもれなくイメージ処理部に順次伝送するものではなく、イメージ処理部に既に伝送したイメージの処理が完了する時に入手するフレームのイメージをリアルタイムで伝送するように構成される。
また、イメージ処理部も同様に、ショットディテクタからイメージを順次受信するものではなく、既に受信したイメージの処理が完了する時点に、リアルタイムで他のフレームのイメージを受信する。
したがって、イメージ処理部が、既に受信したイメージを処理するのに多くの時間がかかる場合、多数のフレームのイメージをスキップするようになり、イメージ処理部が、既に受信したイメージを処理するのに非常に短い時間がかかった場合、既に処理されたイメージの次のフレームのイメージを直ちに受信できるようになる。
一方、イメージ処理部は、最後のフレームのイメージを受信するまでイメージ処理を継続的に行うものではなく、予め設定された個数のイメージフレームを処理した後、イメージ処理が全て完了したか否かを判断して(S50)、イメージ処理が全て完了したと判断される場合には、イメージ処理を終了し、イメージ処理によって抽出されたボールの物理的特性に関する情報をシミュレータに伝達する(このとき、イメージ処理部がイメージ処理を終了したとしても、ショットディテクタは、イメージの収集を続け、定められた個数だけのフレームは全て収集して保存する)(S60)。仮にイメージ処理が完了していない場合(ボールの物理的特性情報を抽出するのに足りない場合など)には、次にリアルタイムで伝送されるフレームのイメージからイメージ処理を再開する。
仮に、イメージ処理部がリアルタイムでイメージ処理を行ったにもかかわらず、イメージ処理が完了していない場合(ボールの物理的特性情報を抽出するのに足りない場合など)には、ショットディテクタによって伝送されなかったフレームのイメージをさらに受信して処理を行う。
例えば、図4に示されたように、1フレームのイメージと4フレームのイメージなどがイメージ処理部から伝送されていない(この時にも、ショットディテクタはこれらイメージフレームを保存している)場合、前記1フレームのイメージから一つずつ受信して、イメージ処理を行って、ボールの物理的特性情報が抽出されるまで繰り返して進行する。
上述したように、本発明に係る仮想ゴルフシミュレーション装置に用いられるセンシング装置は、ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得し、イメージが入手される次第、リアルタイムでイメージ処理が可能で、それによって、センシング処理時間を画期的に短縮させることによって、ユーザがスイングをすることとほぼ同時にシミュレーション映像が具現されるようにすることができるので、リアリティーをより向上させることができる。
以上、発明の実施のための最善の形態を具体的に記載した。
本発明に係る仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法は、仮想現実ベースのゴルフシミュレーションがなされるようにすることによって、ユーザが仮想のゴルフ競技を楽しめるようにすることができるゴルフゲームや、いわゆる、スクリーンゴルフの産業分野などに利用可能である。

Claims (15)

  1. 仮想ゴルフシミュレーション装置に用いられるセンシング装置において、
    ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得する少なくとも一つのセンサ部と、
    前記センサ部から前記複数のフレームのイメージを順次入手して収集するイメージ収集部と、
    前記イメージ収集部で入手したフレームのイメージをリアルタイムで受信して処理して、移動するボールの物理的特性情報を抽出するイメージ処理部と、を含む、センシング装置。
  2. 前記イメージ収集部のイメージの順次入手と、前記イメージ処理部のイメージ処理とが、それぞれ独立に行われるように構成されることを特徴とする、請求項1に記載のセンシング装置。
  3. 前記イメージ収集部は、入手された一つのフレームのイメージを前記イメージ処理部に伝送しながら、前記イメージ処理部とは独立にイメージをフレーム単位で順次入手し、前記イメージ処理部で既に受信したフレームのイメージの処理が完了する時点に、前記イメージ収集部が入手するフレームのイメージを前記イメージ処理部に伝送することによって、リアルタイムで処理が行われるようにしたことを特徴とする、請求項1又は2に記載のセンシング装置。
  4. 前記イメージ処理部は、前記イメージ収集部とは独立にイメージ処理を行い、受信したフレームのイメージの処理が完了した時点に、前記イメージ収集部が入手するフレームのイメージを受信して、イメージ処理を行うことによって、リアルタイムで処理がなされるようにしたことを特徴とする、請求項1から3のいずれか一項に記載のセンシング装置。
  5. 前記イメージ収集部は、
    前記センサ部によって取得されるイメージを保存し伝送するグラバーと、
    前記グラバーから伝送されるイメージを受信して処理することによって、打撃が行われたか否かを感知して、前記イメージ処理部に伝送するイメージを収集して保存するショットディテクタと、を含むことを特徴とする、請求項1から4のいずれか一項に記載のセンシング装置。
  6. 前記ショットディテクタは、
    前記グラバーから受信した一つのフレームのイメージを前記イメージ処理部に伝送しながら、次のフレームのイメージを順次受信し、前記イメージ処理部が受信したフレームのイメージの処理が完了する時点に、前記グラバーから受信したフレームのイメージを前記イメージ処理部に伝送することによって、イメージのリアルタイム伝送が行われるようにしたことを特徴とする、請求項5に記載のセンシング装置。
  7. 前記イメージ処理部は、前記ショットディテクタからリアルタイムで受信したイメージを処理しても、移動するボールの物理的特性を算出できない場合、前記ショットディテクタに保存されているイメージフレームのうち、前記イメージ処理部に伝送されていないイメージフレームの一部または全部をさらに受信してイメージ処理を行うことによって、移動するボールの物理的特性を算出するようにしたことを特徴とする、請求項5又は6に記載のセンシング装置。
  8. ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得するカメラユニットと、前記カメラユニットから前記複数のフレームのイメージを順次入手して収集するイメージ収集部、及び前記イメージ収集部で入手したフレームのイメージをリアルタイムで受信して処理して、移動するボールの物理的特性情報を抽出するイメージ処理部を含むセンシング処理ユニットとを含むセンシング装置と、
    前記センシング処理ユニットで抽出された情報によって、ボールの軌跡に対するシミュレーション映像を具現する映像具現ユニットと、を含む、仮想ゴルフシミュレーション装置。
  9. 仮想ゴルフシミュレーションのためのセンシング方法において、
    ユーザがスイングによってボールを打撃することに対する複数のフレームのイメージを取得する段階と、
    イメージ収集部で、前記取得される複数のフレームのイメージを順次入手して保存する段階と、
    前記イメージ収集部が入手するフレームのイメージをリアルタイムでイメージ処理部に伝送する段階と、
    前記イメージ処理部が、リアルタイムで受信したフレームのイメージを処理して、移動するボールの物理的特性情報を抽出する段階と、を含む、センシング方法。
  10. 前記イメージ収集部のイメージの順次入手と、前記イメージ処理部のイメージ処理とが、それぞれ独立に行われることによって、前記イメージ処理部がイメージを処理する間にも、前記イメージ収集部は他のフレームのイメージを入手して保存することを特徴とする、請求項9に記載のセンシング方法。
  11. 前記リアルタイムでイメージ処理部に伝送する段階は、
    一つのフレームのイメージを入手して保存しながら、前記イメージ処理部が既に受信したイメージのイメージ処理を完了したか否かを判断して、
    前記イメージ処理部がイメージ処理を完了した場合には、前記入手したフレームのイメージを前記イメージ処理部に伝送し、イメージ処理が完了していない場合には、伝送しないようにしたことを特徴とする、請求項9又は10に記載のセンシング方法。
  12. 前記リアルタイムで受信したフレームのイメージを処理する段階は、
    前記イメージ処理部が、前記イメージ収集部から既に受信したイメージを処理しながら、イメージの処理が完了したか否かを判断して、
    前記イメージの処理が完了した場合、その時点で前記イメージ収集部が入手するフレームのイメージを受信して、イメージ処理を行い、前記イメージの処理が完了していない場合、その時点で前記イメージ収集部が入手するフレームのイメージを受信しないようにしたことを特徴とする、請求項9から11のいずれか一項に記載のセンシング方法。
  13. ユーザの打撃準備が完了したか否かを感知する段階と、
    打撃準備が完了した場合、ユーザによって打撃が行われたか否かを感知する段階と、
    打撃が行われた場合、打撃時点及びその前後のイメージをフレーム単位で入手して保存する段階と、
    前記入手されるイメージをリアルタイムで処理することによって、移動するボールの物理的特性情報を抽出する段階と、
    前記抽出されたボールの物理的特性情報によって、ボールの軌跡に対するシミュレーション映像を具現する段階と、を含む、仮想ゴルフシミュレーション方法。
  14. 前記入手されるイメージをリアルタイムで処理する段階は、
    イメージの入手とイメージの処理とがそれぞれ独立に行われ、進行中のイメージ処理が完了する時点に入手されるフレームのイメージを処理することによって、入手されるイメージをリアルタイムで処理するようにしたことを特徴とする、請求項13に記載の仮想ゴルフシミュレーション方法。
  15. 前記ボールの物理的特性情報を抽出する段階は、
    前記リアルタイムでイメージを処理した結果、ボールの物理的特性情報を抽出できない場合、前記イメージをフレーム単位で入手して保存する段階で保存されたイメージのうち、イメージ処理が行われていないイメージフレームに対してさらにイメージ処理が行われるようにしたことを特徴とする、請求項13又は14に記載の仮想ゴルフシミュレーション方法。
JP2014501003A 2011-03-22 2012-03-22 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法 Active JP5811263B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020110025153A KR101048091B1 (ko) 2011-03-22 2011-03-22 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법
KR10-2011-0025153 2011-03-22
PCT/KR2012/002070 WO2012128566A2 (ko) 2011-03-22 2012-03-22 가상 골프 시뮬레이션 장치 및 그 방법과, 이에 이용되는 센싱장치 및 센싱방법

Publications (2)

Publication Number Publication Date
JP2014511724A true JP2014511724A (ja) 2014-05-19
JP5811263B2 JP5811263B2 (ja) 2015-11-11

Family

ID=44923406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014501003A Active JP5811263B2 (ja) 2011-03-22 2012-03-22 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法

Country Status (8)

Country Link
US (1) US9333412B2 (ja)
JP (1) JP5811263B2 (ja)
KR (1) KR101048091B1 (ja)
CN (1) CN103476467B (ja)
AU (1) AU2012231923B2 (ja)
CA (1) CA2830487C (ja)
TW (1) TWI445566B (ja)
WO (1) WO2012128566A2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9283464B2 (en) * 2007-08-03 2016-03-15 Lynqs, Inc. Golf gaming systems and methods
US20160287967A1 (en) * 2015-03-30 2016-10-06 Sureshot Golf Ventures, Inc. Systems And Methods For Game Play In Three Dimensions At A Golf Driving Range
CN105999677B (zh) * 2016-05-19 2020-06-05 北京高派科技有限公司 一种可联网的便携式高尔夫模拟系统及模拟方法
CN107067424B (zh) * 2017-04-18 2019-07-12 北京动视科技有限公司 一种击球影像生成方法及系统
WO2018237256A1 (en) 2017-06-22 2018-12-27 Centurion VR, LLC SIMULATION OF VIRTUAL REALITY
CN109107145A (zh) * 2018-08-18 2019-01-01 中山市迈进高尔夫用品有限公司 一种虚拟高尔夫模拟装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213167A (ja) * 1998-01-30 1999-08-06 Yamaha Corp 目標物の位置検出装置および方法並びにフォーム解析装置
JP2006157149A (ja) * 2004-11-25 2006-06-15 Sony Corp 撮像装置と撮像方法
JP2009247642A (ja) * 2008-04-08 2009-10-29 Flovel Co Ltd 検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5437457A (en) * 1993-10-04 1995-08-01 Virtual Golf, Inc. Golf ball trajectory and spin sensing system
US5554033A (en) * 1994-07-01 1996-09-10 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5863255A (en) * 1996-10-09 1999-01-26 Mack; Thomas E Device and method to measure kinematics of a moving golf ball
US5938545A (en) * 1997-06-05 1999-08-17 The United States Of America As Represented By The Secretary Of The Navy Video system for determining a location of a body in flight
JP2001264016A (ja) 2000-03-15 2001-09-26 Sumitomo Rubber Ind Ltd ボールの運動測定装置
KR100470703B1 (ko) * 2001-09-22 2005-03-09 권오석 골프연습을 위한 시뮬레이션 시스템
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
WO2010040219A1 (en) * 2008-10-08 2010-04-15 Interactive Sports Technologies Inc. Sports simulation system
JP2005233800A (ja) * 2004-02-20 2005-09-02 Sumitomo Rubber Ind Ltd ボール落下地点の計測装置
US20070196800A1 (en) * 2006-01-27 2007-08-23 Douthit Ronnie D Systems and methods for golfing simulation and swing analysis
US7641565B2 (en) * 2006-06-12 2010-01-05 Wintriss Engineering Corporation Method and apparatus for detecting the placement of a golf ball for a launch monitor
US8430770B2 (en) * 2006-10-07 2013-04-30 Brian M. Dugan Systems and methods for measuring and/or analyzing swing information
WO2010083449A2 (en) 2009-01-19 2010-07-22 Full Swing Golf, Inc. Methods and systems for sports simulation
KR100937922B1 (ko) * 2009-02-12 2010-01-21 엔지비스 주식회사 구형 물체의 비행정보 측정 시스템 및 방법
KR100949847B1 (ko) 2009-06-30 2010-03-29 (주) 골프존 스크린 골프 시뮬레이션 장치
KR100946970B1 (ko) * 2009-09-04 2010-03-15 (주) 골프존 자동캐디기와 이를 구비하는 가상 골프 시뮬레이션 시스템 및 그 제어방법
KR100970675B1 (ko) 2009-11-30 2010-07-15 (주) 골프존 가상 골프 시뮬레이션 장치 및 이를 포함하는 시스템과, 가상 골프 시뮬레이션 방법
KR101019823B1 (ko) 2010-06-29 2011-03-04 (주) 골프존 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치
KR101019798B1 (ko) 2010-06-29 2011-03-04 (주) 골프존 오브젝트 운동 센싱장치 및 센싱방법과, 이를 이용한 가상 골프 시뮬레이션 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11213167A (ja) * 1998-01-30 1999-08-06 Yamaha Corp 目標物の位置検出装置および方法並びにフォーム解析装置
JP2006157149A (ja) * 2004-11-25 2006-06-15 Sony Corp 撮像装置と撮像方法
JP2009247642A (ja) * 2008-04-08 2009-10-29 Flovel Co Ltd 検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム

Also Published As

Publication number Publication date
TWI445566B (zh) 2014-07-21
US9333412B2 (en) 2016-05-10
TW201244787A (en) 2012-11-16
US20140004968A1 (en) 2014-01-02
CN103476467B (zh) 2015-10-14
KR101048091B1 (ko) 2011-07-08
CA2830487C (en) 2016-11-01
CN103476467A (zh) 2013-12-25
AU2012231923A1 (en) 2013-10-03
CA2830487A1 (en) 2012-09-27
WO2012128566A2 (ko) 2012-09-27
AU2012231923B2 (en) 2016-04-28
WO2012128566A3 (ko) 2012-11-22
JP5811263B2 (ja) 2015-11-11

Similar Documents

Publication Publication Date Title
US9514379B2 (en) Sensing device and method used for virtual golf simulation apparatus
TWI448318B (zh) 虛擬高爾夫模擬裝置及其使用之感測裝置與感測方法
JP5799442B2 (ja) 仮想ゴルフシミュレーション装置及び方法
AU2012231931B2 (en) Virtual golf simulation apparatus and sensing device and method used for same
US8926443B2 (en) Virtual golf simulation device, system including the same and terminal device, and method for virtual golf simulation
JP5811263B2 (ja) 仮想ゴルフシミュレーション装置及びその方法と、それに用いられるセンシング装置及びセンシング方法
JP2019508094A (ja) 野球演習装置に用いられるセンシング装置及びセンシング方法と、それを用いた野球演習装置及びその制御方法
KR101078954B1 (ko) 가상 골프 시뮬레이션 장치와, 이에 이용되는 센싱장치 및 센싱방법
KR102439549B1 (ko) 골프스윙에 대한 센싱장치 및 이를 이용한 클럽헤드의 임팩트 위치 센싱방법
JP2024525894A (ja) 移動するボールのセンシングのため映像分析方法及びこれを利用したセンシング装置
TW202402362A (zh) 混合高爾夫系統及控制其的控制部的自動得分計算方法
CN117716388A (zh) 用于感测移动的球的影像分析方法及利用其的传感装置
KR20160139958A (ko) 골프공 상태 인식 방법 및 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R150 Certificate of patent or registration of utility model

Ref document number: 5811263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250