JP2016503928A - 運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法 - Google Patents

運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法 Download PDF

Info

Publication number
JP2016503928A
JP2016503928A JP2015551616A JP2015551616A JP2016503928A JP 2016503928 A JP2016503928 A JP 2016503928A JP 2015551616 A JP2015551616 A JP 2015551616A JP 2015551616 A JP2015551616 A JP 2015551616A JP 2016503928 A JP2016503928 A JP 2016503928A
Authority
JP
Japan
Prior art keywords
image
ball
extracting
feature
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015551616A
Other languages
English (en)
Other versions
JP6102002B2 (ja
Inventor
ヒョン ジュ、サン
ヒョン ジュ、サン
Original Assignee
ゴルフゾン カンパニー リミテッド
ゴルフゾン カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゴルフゾン カンパニー リミテッド, ゴルフゾン カンパニー リミテッド filed Critical ゴルフゾン カンパニー リミテッド
Publication of JP2016503928A publication Critical patent/JP2016503928A/ja
Application granted granted Critical
Publication of JP6102002B2 publication Critical patent/JP6102002B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B39/00High-speed photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • G06T2207/30224Ball; Puck
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本発明は、打撃などによって運動するボールに対するイメージを取得し、これを分析することによってスピンを測定することに関し、スピン測定のみのための特定パターンを表示するものではなく、ボール自体に既に表示されているボール製造会社のロゴやボールに対する商標、傷、染みなどのような不特定の表示、すなわち、特徴部を簡単な方法によって迅速且つ正確に抽出し、これを用いてボールの回転に対するスピン軸及びスピン量を正確に算出することによって運動するボールに対するスピンを測定するようにする、運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法を提供するためのものである。

Description

本発明は、運動するボールに対するイメージを取得し、これを所定の処理を行って分析することによってボールのスピンを算出するようにするための、運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法に関する。
ボールを用いるスポーツ競技、特にゴルフの場合、ゴルファーによって打撃されて運動するボールの物理的特性を正確にセンシングし、そのセンシングされた値を用いて打球の分析を行うか、または、これを映像として具現して、いわゆるスクリーンゴルフのようなシミュレーションゴルフ分野に適用する試みは常に行われてきた。
特に、打撃によって飛んで行くボールのスピン(Spin)は、3次元空間上の軸を中心に非常に高速で回転するので、これを測定することは非常に難しく、また、正確な測定のためには、非常に高価な装備が必要である。
このような、ボールのスピンを測定するための代表的な方式としては、レーダセンサ(Radar Sensor)を用いる方式、及び高速又は超高速カメラを用いて取得されたイメージを分析する方式があり、そのうち、高速又は超高速カメラを用いて運動するボールのスピンを算出する方式は、ボールに特定パターンを表示し、高速又は超高速カメラで取得されたイメージにおいて、ボールに表示された特定パターンの変化を分析することによって、運動するボールのスピン軸とスピン量を計算することによって行われる。
ここで、ボールに表示する特定パターンは、非常に単純な形状であって、イメージ上で明確に区分できるように特定の大きさ及び色を用いるか、または感光性物質を用いたパターンの表示を行うことによって、イメージ上で当該パターンが明確に区分されるようにした状態でスピンの算出が行われる。
しかし、このように、特定パターンをボールに表示し、これをイメージ分析する方式のスピン算出方式は、ボールにいちいち特定パターンを表示しなければならないという煩わしさや不便さの問題があり、また、繰り返される測定により、ボールに表示されたパターンが徐々にぼやけたり、一部分が削除されてしまい、測定が不可能となり得るという問題がある。
本発明は、打撃などによって運動するボールに対するイメージを取得し、これを分析することによってスピンを測定することに関し、スピン測定のみのための特定パターンを表示するものではなく、ボール自体に既に表示されているボール製造会社のロゴやボールに対する商標、傷、染みなどのような不特定の表示、すなわち、特徴部を簡単な方法により迅速且つ正確に抽出し、これを用いてボールの回転に対するスピン軸及びスピン量を正確に算出することによって運動するボールに対するスピンを測定するようにする、運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法を提供するためのものである。
本発明の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、前記イメージ取得手段により取得された各イメージから、ボール部分に対するイメージであるボールイメージを抽出し、前記ボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部を抽出するようにするイメージ処理手段と、任意の連続する2つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、ボールのスピン軸及びスピン量を算出するスピン算出手段とを含む。
一方、本発明の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、前記取得された各イメージから、ボール部分に対するイメージであるボールイメージを抽出するステップと、前記抽出されたボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部を抽出するステップと、任意の連続する2つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、ボールのスピン軸及びスピン量を算出するステップとを含む。
一方、本発明の一実施例に係る運動するボールのスピン算出のためのボールイメージのイメージ処理方法は、表面に所定の特徴部が表示されたボールが運動することに対するイメージを取得し、それからボールのスピンを算出するための、前記取得されたイメージから抽出されたボールイメージのイメージ処理方法であって、前記ボールイメージを原本イメージとして、前記原本イメージ上のボールを任意の角度で回転させるステップと、前記ボールを回転させたイメージから前記原本イメージを引き算したn次差映像を抽出するステップと、前記n次差映像をn−1次差映像またはn−1次累積イメージに累積させることによって、n次累積イメージを抽出するステップと、前記n次累積イメージに対して、所定の基準値による2進化処理を行うことによって、イメージからボールに対する特徴部を抽出するステップとを含む。ここで、nは、2以上の自然数である。
本発明に係る運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法は、打撃などによって運動するボールに対するイメージを取得し、これを分析することによってスピンを測定することに関し、スピン測定のみのための特定パターンを表示するものではなく、ボール自体に既に表示されているボール製造会社のロゴやボールに対する商標、傷、染みなどのような不特定の表示、すなわち、特徴部を簡単な方法により迅速且つ正確に抽出し、これを用いてボールの回転に対するスピン軸及びスピン量を正確に算出することによって運動するボールに対するスピンを測定できるという効果がある。
本発明の一実施例に係る運動するボールに対するセンシング装置の構成を簡略に示すブロック図である。 図1に示された構成を用いて、イメージの取得からボールのスピン算出に至るまでの各構成要素別の機能を説明するための図である。 (a)から(c)は、連続して取得されたイメージに対するソースイメージをそれぞれ示す図である。 図3の(a)でのボール部分を拡大して示す図である。 (a)から(c)は、図3の(a)から(c)に示した各ソースイメージからボール部分を抽出する過程を説明するための図である。 (a)から(c)は、図5の(a)から(c)に示したようにそれぞれ抽出されたボールイメージに対して正規化されたイメージをそれぞれ示す図である。 (a)から(f)は、図6の(a)に示したイメージからボール特徴部を抽出する過程を時系列的に示す図である。 運動するボールのスピン算出を説明するために示す図である。 (a)及び(b)は、それぞれ、連続する2つのソースイメージから抽出されたボールイメージが正規化されたイメージを示し、(c)及び(d)は、(a)及び(b)に示したイメージからそれぞれ特徴部を抽出した特徴部イメージを示す図である。
本発明に係る運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法に関する具体的な内容を、図面を参照して説明する。
本発明は、基本的に、ユーザがゴルフクラブでゴルフボール(以下、"ボール"という)を打撃することを所定のカメラで撮影し、その撮影されたイメージを分析することによって打撃されたボールのスピンを算出するようにしたもので、前記カメラは、複数個のカメラによりステレオ方式で構成されるステレオカメラまたは3Dカメラであって、ボールに対する2次元イメージ上の座標を3次元座標に変換したり、その反対の変換が可能なようにする構成であることが好ましい。
そして、本発明に係る運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法は、ユーザのゴルフスイングによるボールの打球分析や仮想現実ベースのシミュレーションを用いた仮想ゴルフなどの様々な分野に適用することができる。
まず、図1及び図2を参照して、本発明の一実施例に係る運動するボールに対するセンシング装置について説明する。
図1及び図2に示すように、本発明の一実施例に係る運動するボールに対するセンシング装置は、イメージ取得手段100、イメージ処理手段200及びスピン算出手段300を含んで構成される。
イメージ取得手段100は、カメラ装置であって、上述したように、ステレオ方式のカメラ装置であるか、または3Dカメラ装置として具現することができる。図1では、第1カメラ110及び第2カメラ120によってステレオ方式のカメラ装置としてイメージ取得手段100が具現された場合を示している。
イメージ処理手段200は、イメージ取得手段100によって取得された各イメージからボール部分に対するイメージであるボールイメージを抽出し、前記ボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部、すなわち、ボールに表示された商標やロゴ、傷などの不特定の表示を抽出するようにする構成要素である。
イメージ処理手段200は、ボールイメージ抽出手段210、ボールイメージ正規化手段220、及びボール特徴部抽出手段230を含んで構成されることが好ましい。
ボールイメージ抽出手段210は、イメージ取得手段100によって取得されたイメージであるソースイメージからボール部分に対するイメージであるボールイメージを抽出し、そのボール部分に対する中心座標を抽出するように構成される。これについての具体的な事項は後述する。
ボールイメージ正規化手段220は、ボールイメージ抽出手段210によって抽出されたボールイメージのそれぞれの大きさ及び明るさの情報に対するノーマライズ処理を行うことによって、空間上のボールの位置に応じてソースイメージ上で変化するボールの大きさ及び明るさを正規化するように構成される。これについての具体的な事項は後述する。
ボール特徴部抽出手段230は、ボールイメージ抽出手段210によって抽出されたボールイメージに対してボールイメージ正規化手段220によってイメージ正規化が行われたイメージから、イメージ上に示されたボールの特徴部(ボールに表示された商標やロゴ、傷などの不特定の表示)の部分を抽出する構成要素である。そのために、ボールイメージ正規化手段220によってイメージ正規化が行われた原本イメージに対して、任意の角度の回転、差映像及び累積の方法を所定の回数繰り返しながら特徴部の部分のみを抽出する。これについての具体的な事項は後述する。
一方、スピン算出手段300は、任意の連続する2つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、ボールのスピン軸及びスピン量を算出するように構成される。これについての具体的な事項も後述する。
まず、図3から図5を参照して、イメージ取得手段100によって取得されたソースイメージから、ボールイメージ抽出手段210によってボールイメージが抽出される過程の一例について具体的に説明する。
図3の(a)から(c)は、固定されたカメラによって、その画角内の運動するボールに対するイメージを所定の時間間隔で取得したイメージに対して、差映像を通じて背景部分などを除去し、ボール部分21,22,23のみが残っている状態のイメージを示したものである。
図3の(a)、(b)及び(c)から、ボールが左側対角線方向に飛んで行く状態であることがわかり、ボールがカメラに近接する時には、図3の(a)のようにボール21が大きく見え、カメラから次第に遠ざかるほど、図3の(b)及び(c)のようにボール22,23がだんだん小さく見えるようになることがわかる。
ここで、図3の(a)、(b)及び(c)に示したイメージ、すなわち、最初に取得されたイメージから背景部分及び各種ノイズ部分を差映像などを通じて除去し、動く部分であるボール部分のみが残った状態のイメージをソースイメージという。
ソースイメージ上でボール部分21をより拡大してみると、図4に示すように、ボールの表面を覆っているディンプル(Dimple)部分DP及びボールの一側に表示された特徴部Fが示されており、その他にも、各種ノイズ、例えば、まるで塩やこしょうを部分的に振りかけたような、いわゆるsalt and pepperノイズや、常に固定された位置に示される固定パターンノイズ(Fixed Pattern Noise)などがあり得、ボールに対する照明の影響により最も明るい部分B1及び最も暗い部分D1がグラデーション(Gradation)として示される。
ここで、特徴部Fの部分のみを抽出するためには、前記特徴部Fの部分はそのまま残し、上述したようなディンプル部分DP、グラデーションによる影響及び各種ノイズのみを有効適切に除去することが必要であり、これは、ボール特徴部抽出手段によって行われる。これについては、図7を参照して後述する。
まず、ボール特徴部Fの抽出のためには、図3に示したようなソースイメージから、ボール部分21,22,23に対するイメージ、すなわち、ボールイメージのみを効果的に抽出することが必要である。
図5の(a)から(c)では、それぞれのソースイメージからボール部分のみを抽出することを示しており、まず、ソースイメージにおいてボール部分21,22,23を探し、そのボール部分の中心点が、抽出するイメージの中心点となり、ボール部分の外郭線が、抽出するイメージの外郭線と実質的に接するようにして正確に抽出するようにすることが好ましい。
このように、各ソースイメージからボール部分21,22,23のみを抽出したイメージ、すなわち、ボールイメージ211,212,213は、それぞれのソースイメージ上でのボールの大きさに対応する大きさであるので、互いに異なる大きさを有し、各ソースイメージ上に示されたボール部分21,22,23は、カメラとの距離に応じて照明の影響が異なるので、明るさも各ボールイメージ毎に異なる。
正確なボール特徴部の抽出のためには、それぞれのボールイメージ211,212,213の大きさを同一にし、明るさを正規化することが必要である。
図6の(a)から(c)は、ボールイメージ正規化手段によって、図5の(a)から(c)にそれぞれ対応するボールイメージに対する大きさ及び明るさの正規化(Nomalization)が行われたイメージを示したものである。
すなわち、それぞれのボールイメージ211,212,213に対して、予め設定された大きさに合せて拡大又は縮小するか、または、ボールイメージ211,212,213のいずれか1つを基準として、それに合わせて他のボールイメージを拡大又は縮小することによって、すなわち、各ボールイメージに対してノーマライズ処理を行うことによって、ボールイメージの大きさが互いに同一になるようにする。
そして、それぞれのボールイメージに対して、ボール部分をなす全てのピクセルの平均値を用いてノーマライズ処理を行うことによって、各ボールイメージの全体的な明るさが互いに同一になるようにする。
一方、上述したように、ボールイメージに対する正規化が完了した後には、それぞれの正規化されたボールイメージに対して、図7に示したように、ボール特徴部抽出手段によるボール特徴部Fの抽出過程が行われる。
図7の(a)は、正規化されたボールイメージであって、これを原本イメージという。図7の(b)、(c)、(d)、(e)は、それぞれ、前記原本イメージ上のボールを任意の角度で回転させたイメージから前記原本イメージを引き算した差映像イメージを順次累積させたイメージを示したものであり、図7の(f)は、図7の(e)に示した累積イメージに対して2進化処理を行ったイメージである。
まず、図7の(a)に示したような原本イメージに対して、ボールの中心点を中心に予め設定された角度だけ、またはランダムに選択された任意の角度だけボールを回転させ、このようにボールを回転させたイメージから前記原本イメージを引き算した差映像を抽出すると、図7の(b)のようなイメージが出る。ここで、図7の(b)のイメージを1次差映像といい、差映像の回数が重なるほど次数は1つずつ上がる。
前記回転イメージと原本イメージの差映像は、2つのイメージ上で互いに変化がある部分は明るく示され、変化がない部分は黒く示されるので、特徴部の部分Fが主に明るく示され、残りの部分はほぼ黒く示される。
ボールが回転したが、ディンプル部分は、回転する前と後がほぼ同一であるので、変化がほとんどない部分であるため、ほぼ全て除去され(黒くなり)、原本イメージ上のグラデーション部分や各種ノイズ部分も全て除去される。
ところが、1回の差映像で特徴部の部分が鮮明に示されないことがあるため、異なる角度に対する差映像を抽出し、その前に抽出された差映像と累積させる場合、イメージ上の明るい部分はより明るく示されるので、特徴部の部分はより明るくて鮮明に示されるようになる。
図7の(c)は、前記原本イメージ上のボールを予め設定された他の角度またはランダムに選択された任意の角度で回転させたイメージから前記原本イメージを引き算した差映像、すなわち、2次差映像を、1次差映像である図7の(b)に示したイメージに累積させた2次累積イメージを示す。
図7の(d)は、前記原本イメージ上のボールを予め設定された更に他の角度またはランダムに選択された任意の角度で回転させたイメージから前記原本イメージを引き算した差映像、すなわち、3次差映像を、2次累積イメージである図7の(c)に示したイメージに累積させた3次累積イメージを示す。
図7の(e)は、前記原本イメージ上のボールを予め設定された更に他の角度またはランダムに選択された任意の角度で回転させたイメージから前記原本イメージを引き算した差映像、すなわち、4次差映像を、3次累積イメージである図7の(d)に示したイメージに累積させた4次累積イメージを示す。
4つの差映像を順次累積させた4次累積イメージ、すなわち、図7の(e)に示されたイメージを見ると、特徴部の部分が非常に明るく示され、残り部分はほとんど黒く除去されたことがわかる。しかし、ディンプルによって示される部分も完全には除去されずに部分的に示されたりする。
したがって、特徴部の部分のみを抽出するために、前記4次累積イメージに対して、所定の基準値を用いてスレショルド(Threshold)処理などを通じて2進化することによって、図7の(f)に示したイメージが抽出される。
図7の(f)に示されたイメージは、完全に抽出された特徴部FCのみが示されたイメージであって、これを特徴部イメージという。
連続するボールイメージに対して、上述したようにそれぞれ特徴部を抽出して、それぞれ特徴部イメージを用意し、これら特徴部イメージを用いて、スピン算出手段によるボールのスピン算出が行われる。
ここで、ボールのスピンは、図8に示すように、i軸、j軸及びk軸座標系による3次元空間上のスピン軸に対する座標情報、及び前記スピン軸を中心に回転した角度、すなわち、スピン量に対する情報を算出することによって求めることができる。
図8に示したように、3次元空間上での回転運動は、ピッチ、ヨー、ロール(pitch、yaw、roll)成分をそれぞれ含むことができ、i軸方向の回転成分をθ、j軸方向の回転成分をλ、そして、k軸方向の回転成分をρとすると、求めようとするスピンのベクトル(ω)は、下記の[数式1]のように示すことができる。
[数式1]
Figure 2016503928
前記スピンベクトル(ω)から、下記の[数式2]のようにスピン軸情報及び[数式3]のようにスピン量情報をそれぞれ算出することができる。ここで、αは、スピン量情報を示す。
[数式2]
Figure 2016503928
[数式3]
Figure 2016503928
したがって、運動するボールのスピンに対するyaw回転成分であるθ、roll回転成分であるλ、そして、pitch回転成分であるρ値を見つけることによって、スピン軸及びスピン量情報を求めることができる。
このようなスピン軸及びスピン量情報を見つけることは、図7に示したように、ボールイメージから抽出された特徴部から行われ得る。
すなわち、図9に示すように、連続する2つのボールイメージ(図9の(a)及び(b))上の各特徴部F1,F2に対する最終抽出された特徴部FC1,FC2をそれぞれ含む第1特徴部イメージ(図9の(c))及び第2特徴部イメージ(図9の(d))を用いて、スピン軸及びスピン量を抽出することができる。
第1特徴部イメージ(図9の(c))上の第1特徴部FC1をなすそれぞれのピクセルに対する3次元位置情報を求めることができ、その3次元位置情報に任意のスピン軸及びスピン量情報を適用した後、これを第2特徴部イメージ(図9の(d))上の第2特徴部FC2と比較して同一又はほぼ同一であれば、その任意のスピン軸及びスピン量情報が最終的なスピン軸及びスピン量情報となる。
このような方式で第1特徴部FC1に任意のスピン軸及びスピン量情報を反復的に適用して、第2特徴部FC2に最も近接するスピン軸及びスピン量情報を最終的なスピン軸及びスピン量情報として選択することによって、運動するボールに対するスピン情報を算出できるようになる。
以上で説明したように、本発明は、連続して取得されるソースイメージからボール部分の特徴部を簡単な方法により迅速且つ正確に抽出することができる方法を提供し、それからボールのスピンを迅速且つ正確に算出できるようにする特長がある。
本発明に係る運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法は、ゴルフスイングによる打球分析などが行われるゴルフ練習と関連する産業分野、及び仮想現実ベースのゴルフシミュレーションが行われるようにすることで、ユーザが仮想のゴルフ競技を楽しめるようにする、いわゆるスクリーンゴルフ産業分野などに利用可能である。

Claims (13)

  1. 運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
    表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、
    前記イメージ取得手段により取得された各イメージから、ボール部分に対するイメージであるボールイメージを抽出し、前記ボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部を抽出するようにするイメージ処理手段と、
    任意の連続する2つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、ボールのスピン軸及びスピン量を算出するスピン算出手段と
    を含む、運動するボールに対するセンシング装置。
  2. 前記イメージ処理手段は、
    前記イメージ取得手段により取得されたイメージであるソースイメージから前記ボールイメージを抽出し、その中心座標を抽出するボールイメージ抽出手段と、
    前記ボールイメージ抽出手段により抽出されたボールイメージの大きさ及び明るさ情報に対するノーマライズ処理を行うことによって、空間上のボールの位置に応じてソースイメージ上で変化するボールの大きさ及び明るさを正規化するボールイメージ正規化手段と
    を含み、
    前記ボールイメージ正規化手段によって処理されたイメージである正規化イメージに対して前記特徴部の抽出が行われるように構成される請求項1に記載の運動するボールに対するセンシング装置。
  3. 前記イメージ処理手段は、
    前記ボールイメージ上のボールを予め設定された角度で回転させ、前記回転させたイメージの、回転前の原本イメージに対する差映像を抽出し、前記回転及び差映像の抽出を予め設定された回数だけ繰り返してそれぞれ累積させることによって、前記ボールイメージ上の特徴部を抽出するボール特徴部抽出手段を含む請求項1または2に記載の運動するボールに対するセンシング装置。
  4. 前記イメージ処理手段は、
    前記イメージ取得手段により取得されたイメージであるソースイメージからボールイメージを抽出し、前記抽出されたボールイメージの中心座標を抽出するボールイメージ抽出手段と、
    連続するソースイメージからそれぞれ抽出されたボールイメージの大きさ及び明るさ情報に対するノーマライズ処理を行うことによって、空間上のボールの位置に応じてソースイメージ上で変化するボールの大きさ及び明るさを正規化するボールイメージ正規化手段と、
    前記ボールイメージ正規化手段により処理されたイメージを原本イメージとして、前記原本イメージ上のボールを予め設定された角度で回転させ、前記回転させたイメージの原本イメージに対する差映像を抽出し、前記回転及び差映像の抽出を予め設定された回数だけ繰り返してそれぞれ累積させることによって、前記ボールイメージ上の特徴部を抽出するボール特徴部抽出手段と
    を含む請求項1から3のいずれか1項に記載の運動するボールに対するセンシング装置。
  5. 運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
    表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、
    前記取得された各イメージから、ボール部分に対するイメージであるボールイメージを抽出するステップと、
    前記抽出されたボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部を抽出するステップと、
    任意の連続する2つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、ボールのスピン軸及びスピン量を算出するステップと
    を含む、運動するボールに対するセンシング方法。
  6. 前記ボールイメージを抽出するステップは、
    前記イメージを取得するステップで取得されたイメージであるソースイメージからボール部分を探すステップと、
    前記ボール部分の中心がイメージの中心となるように前記ボール部分を抽出することによって、前記ボールイメージを用意するステップと
    を含む請求項5に記載の運動するボールに対するセンシング方法。
  7. 前記ボールイメージ上の特徴部を抽出するステップは、
    連続するソースイメージからそれぞれ抽出されたボールイメージの大きさに対するノーマライズ処理を行うことによって、空間上のボールの位置に応じてソースイメージ上で変化する連続するボールの大きさを正規化するステップと、
    前記ボールの大きさの正規化ステップを経たボールイメージ上でそれぞれ特徴部を抽出するステップと
    を含む請求項5または6に記載の運動するボールに対するセンシング方法。
  8. 前記ボールイメージ上の特徴部を抽出するステップは、
    前記抽出されたボールイメージ上の各ピクセルのピクセル値の平均値を算出し、前記平均値を基準としてノーマライズ処理を行うことによって、ボールの明るさを正規化するステップと、
    前記ボールの明るさに対する正規化ステップを経たボールイメージ上でそれぞれ特徴部を抽出するステップと
    を含む請求項5から7のいずれか1項に記載の運動するボールに対するセンシング方法。
  9. 前記ボールイメージ上の特徴部を抽出するステップは、
    前記抽出されたボールイメージを原本イメージとして、前記原本イメージ上のボールを予め設定された角度で回転させるステップと、
    前記ボールを回転させたイメージの前記原本イメージに対する差映像を抽出して、前記原本イメージ上の特徴部を抽出するステップと
    を含む請求項5から8のいずれか1項に記載の運動するボールに対するセンシング方法。
  10. 前記ボールイメージ上の特徴部を抽出するステップは、
    前記抽出されたボールイメージを原本イメージとして、前記原本イメージ上のボールを予め設定された角度またはランダムに選択された任意の角度で回転させ、その回転させたイメージから前記原本イメージを引き算した1次差映像を抽出するステップと、
    前記原本イメージ上のボールを予め設定された他の角度またはランダムに選択された任意の角度で回転させ、その回転させたイメージから前記原本イメージを引き算した2次差映像を抽出して前記1次差映像に累積させることによって、累積イメージを抽出するステップと、
    前記累積イメージから特徴部を抽出するステップと
    を含む請求項5から9のいずれか1項に記載の運動するボールに対するセンシング方法。
  11. 前記ボールイメージ上の特徴部を抽出するステップは、
    前記抽出されたボールイメージを原本イメージとして、前記原本イメージ上のボールを任意の角度で回転させるステップと、
    前記ボールを回転させたイメージから前記原本イメージを引き算したn次差映像を抽出するステップと、
    前記n次差映像をn−1次累積イメージに累積させることによって、n次累積イメージを抽出するステップと、
    前記n次累積イメージから特徴部を抽出するステップと
    を含み、
    nは、2以上の自然数である、請求項5から10のいずれか1項に記載の運動するボールに対するセンシング方法。
  12. 前記ボールイメージ上の特徴部を抽出するステップは、
    前記n次累積イメージに対して、所定の基準値による2進化処理を行うステップをさらに含む請求項11に記載の運動するボールに対するセンシング方法。
  13. 表面に所定の特徴部が表示されたボールが運動することに対するイメージを取得し、それからボールのスピンを算出するための、前記取得されたイメージから抽出されたボールイメージのイメージ処理方法であって、
    前記ボールイメージを原本イメージとして、前記原本イメージ上のボールを任意の角度で回転させるステップと、
    前記ボールを回転させたイメージから前記原本イメージを引き算したn次差映像を抽出するステップと、
    前記n次差映像をn−1次差映像またはn−1次累積イメージに累積させることによってn次累積イメージを抽出するステップと、
    前記n次累積イメージに対して、所定の基準値による2進化処理を行うことによって、イメージからボールに対する特徴部を抽出するステップと
    を含み、
    nは、2以上の自然数である、運動するボールのスピン算出のためのボールイメージのイメージ処理方法。
JP2015551616A 2013-01-08 2014-01-08 運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法 Active JP6102002B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130002202A KR101472275B1 (ko) 2013-01-08 2013-01-08 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법
KR10-2013-0002202 2013-01-08
PCT/KR2014/000197 WO2014109544A1 (ko) 2013-01-08 2014-01-08 운동하는 볼에 대한 센싱장치 및 센싱방법과, 운동하는 볼의 스핀 산출을 위한 볼 이미지의 이미지 처리방법

Publications (2)

Publication Number Publication Date
JP2016503928A true JP2016503928A (ja) 2016-02-08
JP6102002B2 JP6102002B2 (ja) 2017-03-29

Family

ID=51167134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015551616A Active JP6102002B2 (ja) 2013-01-08 2014-01-08 運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法

Country Status (8)

Country Link
US (1) US20150356744A1 (ja)
EP (1) EP2945121B1 (ja)
JP (1) JP6102002B2 (ja)
KR (1) KR101472275B1 (ja)
CN (1) CN104981845B (ja)
AU (1) AU2014205857B2 (ja)
TW (1) TWI534759B (ja)
WO (1) WO2014109544A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723432B1 (ko) * 2015-06-12 2017-04-18 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 센싱방법
KR101850139B1 (ko) * 2016-06-29 2018-04-19 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102443281B1 (ko) * 2016-06-29 2022-09-15 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN106139542B (zh) * 2016-08-01 2018-11-30 深圳市衡泰信科技有限公司 高尔夫击打触发器及其感测方法
KR101931592B1 (ko) * 2017-12-12 2019-03-13 주식회사 골프존 운동하는 볼에 대한 센싱장치 및 이를 이용한 볼에 대한 운동 파라미터 산출방법
KR102541061B1 (ko) * 2018-04-02 2023-06-13 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2022040796A1 (en) * 2020-08-25 2022-03-03 Tarkett Sports Canada Inc. Electronic assessment of playing surface properties

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019186A (ja) * 1998-06-30 2000-01-21 Bridgestone Sports Co Ltd ゴルフボールの回転運動測定方法
JP2005529339A (ja) * 2002-06-06 2005-09-29 ウィントリス エンジニアリング コーポレイション 飛行パラメータ測定システム
JP2005291824A (ja) * 2004-03-31 2005-10-20 Yokohama National Univ 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351265B1 (en) * 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US7324663B2 (en) * 2002-06-06 2008-01-29 Wintriss Engineering Corporation Flight parameter measurement system
US7292711B2 (en) * 2002-06-06 2007-11-06 Wintriss Engineering Corporation Flight parameter measurement system
JP2005087615A (ja) * 2003-09-19 2005-04-07 Sumitomo Rubber Ind Ltd ゴルフのインパクト現象解析システム
JP4256289B2 (ja) * 2004-03-26 2009-04-22 Sriスポーツ株式会社 ゴルフスウィング診断システム
US20060029257A1 (en) * 2004-08-03 2006-02-09 Honda Motor Co., Ltd. Apparatus for determining a surface condition of an object
KR100972826B1 (ko) * 2009-12-31 2010-07-28 (주) 골프존 서브 디스플레이를 제공하는 가상 골프 시뮬레이션 장치
KR101801126B1 (ko) * 2010-09-30 2017-11-27 한국전자통신연구원 오브젝트 움직임 계산 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000019186A (ja) * 1998-06-30 2000-01-21 Bridgestone Sports Co Ltd ゴルフボールの回転運動測定方法
JP2005529339A (ja) * 2002-06-06 2005-09-29 ウィントリス エンジニアリング コーポレイション 飛行パラメータ測定システム
JP2005291824A (ja) * 2004-03-31 2005-10-20 Yokohama National Univ 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法

Also Published As

Publication number Publication date
WO2014109544A1 (ko) 2014-07-17
AU2014205857A1 (en) 2015-07-30
EP2945121B1 (en) 2018-03-14
TW201432624A (zh) 2014-08-16
KR101472275B1 (ko) 2014-12-12
JP6102002B2 (ja) 2017-03-29
EP2945121A4 (en) 2016-10-12
TWI534759B (zh) 2016-05-21
EP2945121A1 (en) 2015-11-18
KR20140090008A (ko) 2014-07-16
CN104981845B (zh) 2017-09-08
AU2014205857B2 (en) 2017-03-30
US20150356744A1 (en) 2015-12-10
CN104981845A (zh) 2015-10-14

Similar Documents

Publication Publication Date Title
JP6102002B2 (ja) 運動するボールに対するセンシング装置及びセンシング方法、並びに運動するボールのスピン算出のためのボールイメージのイメージ処理方法
JP6080029B2 (ja) 運動するボールに対するセンシング装置及びセンシング方法
CA3022839C (en) Flight parameter measuring apparatus and flight parameter measuring method
JP6575609B2 (ja) 運動するボールに対するセンシング装置及びセンシング方法
JP6204494B2 (ja) 運動するボールに対するセンシング装置及びセンシング方法
TWI647424B (zh) 用於計算運動的客體的位置資訊的感測裝置以及利用該裝置的感測方法
JP6500598B2 (ja) 飛翔体測定装置、飛翔体測定方法、及びプログラム
KR101461144B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
KR101551685B1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6102002

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250