JP2018530362A

JP2018530362A - ゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法

Info

Publication number: JP2018530362A
Application number: JP2018505422A
Authority: JP
Inventors: リュウルゾ、ヘウン
Original assignee: ゴルフゾンカンパニーリミテッド
Priority date: 2015-08-12
Filing date: 2016-07-07
Publication date: 2018-10-18
Anticipated expiration: 2036-07-07
Also published as: KR101703858B1; JP6555699B2; CN106422272A; WO2017026664A1; CN106422272B

Abstract

本発明は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便に提供できるゴルフスイング映像情報提供システムなどを提供し、ユーザのゴルフスイングに対する映像の分析結果を用いて、又はその映像分析結果及びスイング時の打撃音感知結果を用いて、取得された映像からユーザのスイング映像を非常に一定且つ安定的に抽出して提供することができる、ゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法を提供する。

Description

本発明は、ゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法に関し、特に、ゴルフ場でゴルフラウンドをするユーザがゴルフスイングすることに対する映像を効果的に取得してメインサーバーに保存しておくことによって、それをユーザなどに容易に提供できるようにするネットワークシステム、これに用いられる装置及び情報提供方法に関する。

一般に、ゴルフは小さいゴルフボールを正確に打撃すべき運動であり、ゴルフスイング姿勢がゴルファーには非常に重要とされており、ゴルフを楽しむ人々は常にゴルフスイング姿勢の向上に多くの努力と投資を惜しまない傾向がある。

特に、ゴルフ場でゴルフラウンドをするとき、ゴルファーは、自身の記録がよい場合にはゴルフラウンド過程での自身のゴルフスイングを映像で記録してそれを記念することを希望し、自身の記録がよくない場合にはゴルフラウンド過程での自身のゴルフスイングを映像から見ながら自身のゴルフスイング上の問題点を解決しようとする傾向がある。

ところが、今まで公開されたゴルフスイング映像提供装置やシステムは、単純に音センサーを用いてユーザがゴルフボールを打った時の打撃音を感知する時、すなわち、インパクト時点を基準時点にして、そのインパクト時点を基準に撮影された映像からユーザのスイング映像を抽出して提供している。

大韓民国特許出願第２０００−０００２４０８号公報、大韓民国特許出願第１９９４−７００２５１５号公報、大韓民国特許出願第２０１２−０１３１４１２号公報などの多数の先行特許文献においても、音センサーを用いてインパクト時点を特定する方式を利用する例を開示している。

しかしながら、本出願人が実験した結果、単純に音センサーだけでインパクト時点を基準時点と決定して撮影された映像からユーザのスイング映像部分を抽出して提供することは相当不完全であるという結論に至った。

音センサーの打撃音の感知結果だけでインパクト時点を特定することは、例えば、実際に打撃音が発生しなかったにもかかわらず周辺の他の音に上記音センサーが反応することによってインパクト時点が全くずれた時点と決定されたり、十分なレベルの打撃音が感知されず、音センサーが誤作動をする場合も相当あった。

もちろん、ユーザのゴルフスイング映像を抽出する際に、ユーザがゴルフスイングをしてゴルフクラブのヘッドがボールを打つ瞬間のインパクト時点を正確に特定する必要はない。如何なる基準時点であれ、安定して特定時点を決定し、その決定された時点を基準としてあらかじめ設定された区間の映像を抽出し、その抽出された映像がユーザのゴルフスイング映像であることが合理的に保障されさえすれば、優れたゴルフスイング映像情報提供システム又は装置になり得る。

しかしながら、上述したように、音センサーによる感知は一定でない上に誤作動の問題も頻繁に発生するため、従来のゴルフスイング映像提供システム又は装置は、上述したような安定した基準時点の取得とそれに基づくユーザのゴルフスイング映像の抽出を合理的に保障できないという問題点があった。

本発明は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便に提供できるゴルフスイング映像情報提供システムなどを提供し、ユーザのゴルフスイングに対する映像の分析結果を用いて、又はその映像分析結果及びスイング時の打撃音感知結果を用いて、取得された映像からユーザのスイング映像を非常に一定に且つ安定的に抽出して提供することができる、ゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法を提供しようとする。

本発明の一実施例に係るゴルフスイング映像情報提供システムは、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部を具備する少なくとも一つのカメラ装置；及び上記映像取得部が取得した映像を受信して該受信した映像を分析し、該分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識して、上記受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理サーバーを含み、上記データ処理サーバーによって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。

一方、本発明の他の実施例に係るゴルフスイング映像情報提供システムは、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部、及びユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部を有する少なくとも一つのカメラ装置；及び上記映像取得部が取得した映像を受信して該受信した映像を分析し、該分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識した結果情報及び上記音響感知部の感知結果情報のうち２つの情報を用いて、上記受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理サーバーを含み、上記データ処理サーバーによって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。

一方、本発明の一実施例に係るゴルフスイング映像情報提供のためのカメラ装置は、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部；上記映像取得部によって取得される映像を収集する映像収集部；上記映像収集部で収集した各フレームの映像を分析してゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部；及び上記映像分析部の分析結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部を含み、上記データ処理部によって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。

一方、本発明の他の実施例に係るゴルフスイング映像情報提供のためのカメラ装置は、撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部；ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部；上記映像取得部によって取得される映像を収集する映像収集部；上記映像収集部で収集した各フレームの映像を分析してゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部；及び上記音響感知部の感知結果に関する情報を受信し、上記映像分析部の分析結果及び上記音響感知部の感知結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部を含み、上記データ処理部によって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する。

一方、本発明の一実施例に係るゴルフスイング映像情報提供方法は、少なくとも一つのカメラ装置、及びこれに接続して上記カメラ装置が取得した映像からユーザのスイング映像情報を抽出してユーザに提供するデータ処理サーバーを含むゴルフスイング映像情報提供システムによるゴルフスイング映像情報提供方法であって、上記カメラ装置の映像取得部が取得した映像を上記データ処理サーバーが受信して分析する段階；上記分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階；上記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報を用いて、上記映像取得部から受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定する段階；及び上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像情報として抽出する段階を含む。

一方、本発明の他の実施例に係るゴルフスイング映像情報提供方法は、少なくとも一つのカメラ装置、及びこれに接続して上記カメラ装置が取得した映像からユーザのスイング映像情報を抽出してユーザに提供するデータ処理サーバーを含むゴルフスイング映像情報提供システムによるゴルフスイング映像情報提供方法であって、上記カメラ装置の映像取得部が取得した映像を上記データ処理サーバーが受信して分析する段階；上記分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階；ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部によって感知された結果情報を上記データ処理サーバーが受信する段階；上記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報及び上記音響感知部の感知結果情報のうち少なくとも２つの情報を用いて上記映像取得部から受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定する段階；及び上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像情報として抽出する段階を含む。

本発明に係るゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便且つ安定的に提供するに適したシステム、装置及び方法を提供し、ユーザのゴルフスイングに対する映像の分析結果を用いて、又はその映像分析結果及びスイング時の打撃音感知結果を用いて、取得された映像からユーザのスイング映像を非常に一定且つ安定的に抽出して提供することができるという効果がある。

本発明の一実施例に係るゴルフスイング映像情報提供システムのカメラ装置がユーザのゴルフスイングを撮影する場合の一例を示す図である。本発明の一実施例に係るゴルフスイング映像情報提供システムがゴルフ場の特定ホールに具現された一例を示す図である。本発明の一実施例に係るゴルフスイング映像情報提供システムの構成を示すブロック図である。本発明の他の実施例に係るゴルフスイング映像情報提供システムの構成を示すブロック図である。本発明の一実施例に係るゴルフスイング映像情報提供方法に関して説明するためのフローチャートである。図５に示す映像の分析及び基準時点の決定に関するプロセスの一例をより詳細に説明するためのフローチャートである。図６で説明したゴルフクラブ認識プロセスの一例を具体的に説明するための図である。図６で説明したゴルフクラブ認識プロセスの一例を具体的に説明するための図である。図６で説明したボール認識プロセスの一例を具体的に説明するための図である。図６で説明したボール認識プロセスの一例を具体的に説明するための図である。図６で説明したボール認識プロセスの一例を具体的に説明するための図である。

本発明に係るゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法について図面を参照してさらに具体的に説明する。

まず、図１から図３を参照して本発明の一実施例に係るゴルフスイング映像情報提供システムについて説明する。

本発明の一実施例に係るゴルフスイング映像情報提供システムは、主に、ゴルフ場でゴルフラウンドをするユーザがゴルフラウンドをする過程で特定ホール又は毎ホールごとにティーショットのような特定ショットをする時のゴルフスイングモーションに対する映像を生成してユーザに提供する。

図１から図３に示すように、本発明の一実施例に係るゴルフスイング映像情報提供システムは、基本的に、カメラ装置１００、及びデータ処理サーバーＴで構成することができる。

上記カメラ装置１００は、ユーザがゴルフスイングをする領域に設置され、ユーザがゴルフスイングをする時の映像を取得するカメラを含む装置である。そして、上記データ処理サーバーＴは、上記カメラ装置１００が取得する映像を収集し分析して、上記カメラ装置１００が取得する映像からユーザのゴルフスイング映像部分を適切に抽出してユーザに提供できるようにデータを処理する装置である。

図１は、本発明の一実施例に係るゴルフスイング映像情報提供システムのカメラ装置１００がユーザのゴルフスイングを撮影する場合の一例を示している。

上記カメラ装置１００は、構造的に、ヘッド部Ｈ、コラム部Ｃ、支持台Ｒで構成することができ、ヘッド部Ｈに映像取得部１１０、及び音響感知部１４０などの構成要素を組み込むことができ、ユーザがゴルフスイングをする前に、カメラ装置１００にとってスイング映像分析の準備ができたということをアラームするためのレディーアラーム部１３０を、図１に示すように設けることができる。

上記レディーアラーム部１３０は、ＬＥＤランプなどを用いて、準備ができていない時は赤色で、準備ができた時は青色で表示して視覚的なアラームを与えたり、スピーカを用いて"レディー"のような聴覚的アラームを与えるように構成することができる。

本発明の一実施例に係るゴルフスイング映像情報提供システムのカメラ装置１００の構造的構成は図１に示すものに限定されず、映像取得部、音響感知部、レディーアラーム部などの構成要素を含み得る構造であれば、いかなる形態の構成も可能である。

上記映像取得部１１０は、ユーザのスイングモーションを撮影する単一のカメラを含むように構成されてもよく、スイング映像カメラ及び分析映像カメラを含むツインカメラの形態で構成されてもよい。

如何なる形態であれ、上記映像取得部１１０は、取得される映像内にユーザＰ、ゴルフクラブＧＣ及びボールＢＡが十分に含まれ得るように適切な範囲の画角で映像を撮影して取得するように構成されることが好ましい。

上述したように、カメラ装置１００が撮影してその画角内の映像を取得すると、その取得された映像内には、ユーザＰがアドレス姿勢を取る時からゴルフスイングを完了した時までのユーザのゴルフスイング映像を含めて、ゴルフスイングをしない場合の映像も含まれている。

上述したデータ処理サーバーＴは、上記カメラ装置１００からその取得された映像を全て取り込み、それを分析して適切な基準時点を決め、その基準時点を基準に所定の範囲に該当する映像を'ユーザのゴルフスイング映像'として抽出するデータ処理プロセスを行う。これに関する具体的な内容については後述する。

一方、図２では、本発明の一実施例に係るゴルフスイング映像情報提供システムがゴルフ場の一つのホールに具現された例を示している。

一般に、ゴルフ場の各ホールには、女性用のティー区域（ＲｅｄＴｅｅ又はＬａｄｙＴｅｅ）、男性用のティー区域（ＷｈｉｔｅＴｅｅ又はＭａｎ'ｓＴｅｅ）、チャンピオン用のティー区域（ＣｈａｍｐｉｏｎＴｅｅ）及びプロ用のティー区域（ＰｒｏｆｅｓｓｉｏｎａｌＴｅｅ）が設けられている。もちろん、各ティー区域の一部は重なり合ったり省略されたりする場合もあるが、だいてい、上の４つのティー区域が設けられている。

図２に示すホールでは、女性用のティー区域（ＬＴ）、男性用のティー区域（ＷＴ）及びチャンピオン用のティー区域（ＣＴ）が設けられた場合を示している。

本発明の一実施例に係るゴルフスイング映像情報提供システムは、各ティー区域ごとに又は複数のティー区域の一部のティー区域にそれぞれカメラ装置１００，１０１，１０２を設置し、当該ティー区域でゴルフスイングするユーザが女性であろうと、男性であろうと、セミプロであろうと、プロ選手であろうと、いずれもゴルフスイング映像を抽出できるようにするシステムを構築している。

それぞれのカメラ装置１００，１０１，１０２は一つのデータ処理サーバーＴに接続され、それぞれのカメラ装置が取得する映像は上記データ処理サーバーＴに送られて処理されてメインサーバーＳに保存されることにより、ユーザはメインサーバーＳから自身のスイング映像を受け取ることができる。

図２でデータ処理サーバーＴを点線で表示したことは、上記データ処理サーバーＴが函体内に具備された状態で地中に埋め立てられて具現され得るということを表すためである。もちろん、地上に上記函体が設けられるように構成することも可能である。

このような本発明の一実施例に係るゴルフスイング映像情報提供システムの具体的な構成は、図３に示すブロック図でより具体的に示している。

図３に示すように、各ティー区域のカメラ装置（１００など）は、ＡＰ装置３００を通じてデータ処理サーバーＴに接続しているが、各カメラ装置（１００など）に取得される映像データをデータ処理サーバーＴに高速伝送可能とするように、大容量高速伝送が可能な有線通信方式で接続されることが好ましい。

上記ＡＰ装置３００はＡｃｃｅｓｓＰｏｉｎｔであり、ＷｉＦｉなどの方式でデータ処理サーバーＴがメインサーバーＳと無線通信できるようにする手段である。

各カメラ装置（１００など）はいずれも、映像取得部１１０、電源部１２０、レディーアラーム部１３０及び音響感知部１４０を具備することができる。

上記映像取得部１１０は、ユーザのスイングモーションを撮影する単一のカメラを含むように構成されてもよいが、このとき、単一のカメラが取得した映像はデータ処理サーバーＴで分析される時に用いられるとともに、その分析結果に基づいてユーザのスイング映像をその取得した映像から抽出する時にも用いられる。したがって、上記映像取得部１１０としての単一のカメラは、映像分析ができる程度に十分の解像度を有することが好ましい。

上記映像取得部１１０がスイング映像カメラ及び分析映像カメラのツインカメラの形態で構成される場合には、上記スイング映像カメラと分析映像カメラがそれぞれ取得した映像をデータ処理サーバーＴに収集しておくが、映像を分析する時には、上記分析映像カメラが取得した映像を利用し、その映像分析の結果によってユーザに提供するユーザスイング映像を抽出する時には、上記スイング映像カメラによって取得された映像から該当の映像を抽出する。

上記データ処理サーバーＴは、図３に示すように、映像収集部Ｔ１０、映像分析部Ｔ２０及びデータ処理部Ｔ３０を含んで構成することができる。

上記映像収集部Ｔ１０は上記映像取得部１１０によって取得される映像を実時間で受け取って収集するが、後でその収集された映像から'ユーザスイング映像'を抽出するために収集する映像の各フレームごとにインデックスを表示して収集することが好ましい。

上記映像分析部Ｔ２０は、上記映像収集部Ｔ１０に収集された各フレームの映像に対して差映像分析を用いてゴルフクラブ及びボールを抽出し、連続するフレームの映像から、上記抽出されたゴルフクラブ及びボールのそれぞれの挙動特性を分析する。

上記データ処理部Ｔ３０は、上記映像分析部Ｔ２０の分析結果に基づいて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像収集部Ｔ１０によって収集された映像から、上記決定された基準時点を基準に'ユーザスイング映像'情報を抽出してメインサーバーＳに伝送する機能を果たす。

上述したように、データ処理部Ｔ３０が映像分析部Ｔ２０によって映像内でゴルフクラブとボールに対する分析結果を用いて上述した'基準時点'を決定することもできるが、上述したゴルフクラブとボールに対する分析結果に加えて、カメラ装置（１００など）に具備された音響感知部１４０の打撃音感知結果を用いて、上述した'基準時点'を決定するように構成される方が、より安定且つ一定の品質の映像を抽出するという観点でより好ましいだろう。

一方、上述したユーザのスイング映像抽出及び提供に関するプロセスは、無線キャディー端末機４００によって開始され、抽出されたユーザのスイング映像情報が管理され得る。

上記無線キャディー端末機４００は、いわゆるスマートフォンやタブレットＰＣなどの形態で具現することができ、ゴルフ場でゴルフラウンドをする３〜４人で組まれるチームを一括管理するためのキャディー専用端末機などの形態で具現することもできる。

上記メインサーバーＳには、ゴルフラウンドをする各ユーザの身元情報又は識別情報をあらかじめ保存して登録しておくことが好ましく、上記無線キャディー端末機４００にも当該ゴルフラウンドをする各ユーザの身元情報や識別情報をあらかじめ保存しておいたり、上記メインサーバーＳから受け取って保存しておくことが好ましい。

したがって、あるホールにおいて各ユーザがゴルフショットをする時、キャディーが上記無線キャディー端末機４００を用いてメインサーバーＳに現在ゴルフショットをするユーザに関する情報を伝送すると、上記メインサーバーＳは当該ユーザに対する映像を保存する準備（例えば、当該ユーザに対するホルダーを生成するなど）をしてデータ処理サーバーＴに信号を送ると、上記データ処理サーバーＴは上記カメラ装置１００に映像取得開始信号を送る。

上記データ処理サーバーＴの映像取得開始信号に応じて、上記カメラ装置１００はレディーアラーム部１３０によってレディー状態であることを知らせ、映像取得を開始する。

そして、上記カメラ装置１００が取得する映像は、上記データ処理サーバーＴの映像収集部Ｔ１０に実時間で伝送されて保存され、前述したような映像分析及びデータ処理が行われる。

一方、図４では、本発明の一実施例に係るゴルフスイング映像情報提供のためのカメラ装置を含むゴルフスイング映像情報提供システムに関する構成をブロック図で示している。

図３に示した実施例ではカメラ装置とデータ処理サーバーがそれぞれ別個に具備される構成であったが、図４に示す実施例では、上述したデータ処理サーバーに関する構成がカメラ装置に一体として具現される場合を示している。

したがって、図４に示すように、本発明の一実施例に係るゴルフスイング映像情報提供のためのカメラ装置２００は、映像取得部２１０、電源部２２０、レディーアラーム部２３０、音響感知部２４０、映像収集部２５０、映像分析部２６０及びデータ処理部２７０を全て含んで構成される。

本実施例に係るシステムも、図１から図３で上述したシステムと同様に、ゴルフ場のホールに設けられた各ティー区域にカメラ装置をそれぞれ設置することができ、図４の参照番号２０１で表しているカメラ装置は、参照番号２００のカメラ装置とは異なるティー区域に設置されたカメラ装置を指しており、その構成は、参照番号２００のカメラ装置と同一であってもよく、或いは、映像収集部２５０、映像分析部２６０及びデータ処理部２７０の構成を含まない形態で具現してもよい（この場合には、カメラ装置２０１が取得した映像情報の処理は、カメラ装置２００に設けられた映像収集部２５０、映像分析部２６０及びデータ処理部２７０によってなされるように構成することができる。）。

上述した映像取得部２１０、電源部２２０、レディーアラーム部２３０、音響感知部２４０、映像収集部２５０、映像分析部２６０及びデータ処理部２７０のそれぞれの機能は、図３に示した映像取得部１１０、電源部１２０、レディーアラーム部１３０、音響感知部１４０、映像収集部Ｔ１０、映像分析部Ｔ２０及びデータ処理部Ｔ３０とそれぞれ実質的に同一であり、これについては既に説明しており、具体的な説明は省略する。

図４に示すＡＰ装置３００、無線キャディー端末機４００及びメインサーバーＳも、図３で説明したそれらと同一であり、その説明も省くものとする。

一方、本発明の一実施例に係るゴルフスイング映像情報提供システムで具現されるゴルフスイング映像情報提供方法に関して、図５に示すフローチャートを用いてより具体的に説明する。図５に示すフローチャートは、図３に示した構成を有するゴルフスイング映像情報提供システムで行われるプロセスに関する。

まず、ゴルフ場の特定ホールにおいてあるユーザがティーショットなどの特定ショットをする場合、キャディー又は他のユーザは無線キャディー端末機をＡＰ装置を介してメインサーバーに無線通信接続させる（例えば、ＷｉＦｉ接続）（Ｓ１０）。

そして、上記無線キャディー端末機を介して、ゴルフスイングするユーザに関する情報をメインサーバーに伝送する（Ｓ１１）。

ゴルフ場の全てのホール又は複数のホールに本発明に係るゴルフスイング映像提供システムのカメラ装置及びデータ処理サーバーが設置されている場合、メインサーバーはそれぞれのカメラ装置の識別情報、例えば、当該カメラ装置が設置されたホール及び当該ホールにおけるティー区域に関する情報、又は各カメラ装置自体の識別情報を全て保存していることが好ましく、上記無線キャディー端末機にも上記の識別情報が保存されていることが好ましい。

したがって、上記Ｓ１１段階では、現在ゴルフスイングするユーザに関する情報の他、当該ユーザが利用するカメラ装置に対する識別情報（例えば、カメラ装置自体の識別情報であってもよく、当該カメラが何番のホールにあるか、当該ホールのどのティー区域であるかに関する情報であってもよい。）も共にメインサーバーに伝送することが好ましい。

メインサーバーは上記Ｓ１１段階でユーザに関する情報などを受信すると、当該ユーザを検索し（Ｓ２０）、当該ユーザに対するスイング映像情報を保存する準備をする（Ｓ２１）。仮に当該ユーザが検索されないと、メインサーバーは上記無線キャディー端末機を介して当該ユーザを登録し、当該ユーザに対する共有ホルダーなどを生成することによって、上記Ｓ２０及びＳ２１段階を行う。

上記メインサーバーはデータ処理サーバーにレディー信号を伝送し（Ｓ２３）、上記データ処理サーバーは上記メインサーバーのレディー信号を受信してカメラ装置に映像取得開始信号を伝送する（Ｓ３０）。

上記カメラ装置は、上記データ処理サーバーから映像取得開始信号を受信し、レディーアラーム部を用いて、ユーザに映像処理の準備ができたということを視覚及び聴覚のうち少なくとも一つの方法でアラーム（以下、"レディーアラーム"という。）する（Ｓ４０）。

ここで、上述したように、レディーアラーム部が映像取得開始信号の受信によって直ちにレディーアラームをするように構成することもでき、上記映像取得開始信号の受信によってカメラ装置の映像取得部が映像を取得してデータ処理サーバーに伝送し、上記データ処理サーバーで映像を分析してその映像上でボール検索が完了してこそ上記レディーアラーム部がレディーアラームをするように構成することもできる。これに関する具体的な説明は後述する。

一方、データ処理サーバーの映像取得開始信号によって上記カメラ装置の映像取得部はその画角内の映像を持続的に取得し始め（Ｓ４１）、取得される映像を持続的にデータ処理サーバーに伝送する（Ｓ４２）。

上記データ処理サーバーは、上記カメラ装置から伝送される映像を収集し（Ｓ３１）（この時、収集する各フレームごとにインデックスを表示することが好ましい。）、データ処理サーバーの映像分析部は、その収集された映像を各フレームごとに映像分析する（Ｓ３２）。ここで、映像分析部によってなされる映像分析の具体的な例は後述する。

上記データ処理サーバーのデータ処理部は、上記Ｓ３２段階で行われた映像分析の結果、及びカメラ装置の音響感知部によって打撃音が感知（Ｓ４３）された結果を受信し、これらを適切に用いて、上記収集された映像から'ユーザスイング映像'を抽出するための基準時点を決定する（Ｓ３３）。例えば、収集された映像が複数のフレームであるので、複数のフレームの中で基準時点に該当するフレームのインデックス情報を決定する。

上記データ処理サーバーのデータ処理部は、上記Ｓ３３で基準時点を決定し、上記Ｓ３１段階で収集された映像から、上記決定された基準時点を基準に映像を抽出する（Ｓ３４）。この抽出された映像が、ユーザに提供される'ユーザスイング映像'に該当する映像である。

上記データ処理サーバーはＡＰ装置を介してメインサーバーに、上記Ｓ３４段階で抽出された映像情報を伝送し（Ｓ３５）、上記メインサーバーは、この映像情報を当該ユーザのスイング映像情報として保存する（Ｓ２５）。共有ホルダーを作って上記ユーザのスイング映像情報を複写しておくことも可能である。

上述したようにメインサーバーが該当ユーザの共有ホルダーに当該ユーザのスイング映像情報を保存しておき、無線キャディー端末機は当該共有ホルダーに接近して当該ユーザのスイング映像情報を実行したり当該ユーザのモバイル端末機に伝送するなどの方式で当該ユーザにスイング映像情報を提供する（Ｓ１２）。

一方、図６は、図５に示した映像分析段階（Ｓ３２）及び基準時点決定段階（Ｓ３３）に関する一例に該当するプロセスをさらに詳しく示している。

図３に示したようなデータ処理サーバーの映像収集部、映像分析部及びデータ処理部によって行われるプロセスに関して説明しているが、これは、図４に示したカメラ装置に具備される映像収集部、映像分析部及びデータ処理部で同一に行われいてもよく、以下で別に言及しなくとも、上述した事項は同一に適用される。

図６に示すように、カメラ装置の映像取得部から映像を受け取って収集しながら、データ処理サーバーの映像分析部はその収集された映像からボール検索を行うことができる（Ｓ１００）。

上記Ｓ１００段階は、映像取得部から伝送された初期映像で上記のボール検索が行われるため、上記ボール検索プロセスは、ユーザがボールを置いてアドレス姿勢を取る際に行われる。

上記Ｓ１００段階は、実施例によって、行われても行われなくてもよい。ボール検索に成功しようが失敗しようが次のプロセスが行われ、上記ボール検索プロセスに成功すると以降の基準時点の決定に参考となり得るが、ボール検索に失敗しても、様々な他の情報を用いて基準時点を決定することがきる。

上記ボール検索プロセスは、ボールが停止状態にあるため、２つの映像フレーム間の差演算を用いては検出できず、取得された映像上でボールに該当する大きさ、丸さの度合、ボールのパターン、ピクセルの明るさなどのファクターを用いてボールを探す過程が行われてもよく、ボールに対する参照イメージとしてテンプレートイメージをあらかじめ保存しておき、取得された映像から、上記テンプレートイメージとの類似度が高いものを探す方式でボール検索が行われてもよい。

一方、データ処理サーバーの映像分析部で行う分析は、収集された各フレームの映像から、ゴルフクラブに該当する部分とボールに該当する部分をそれぞれ抽出して映像上でゴルフクラブとボールを認識し、ゴルフクラブとボールがどのように動くか、すなわち、挙動特性を把握することを目的とする。

そのために、収集された各フレームの映像に対して差映像分析を行う（Ｓ１１０）。すなわち、時間的に連続する複数のフレームの映像に対して、特定映像の以前映像との差演算によって生成される映像には、動きのある部分、すなわち、ゴルフクラブに該当する部分、及びボールが打撃された以降に動くボールに該当する部分が現れるので、ゴルフクラブとボールを上述した差映像分析を用いて効果的に抽出することができる。

ここで、差映像分析は、連続する２つのフレーム間の差演算によって生成した映像を用いて当該映像上に現れているピクセルを分析することもでき、上記差映像に対してあらかじめ設定されたピクセル値（明るさ値）を閾値として正規化した映像を生成し、この正規化した映像上に現れているピクセルを分析することもできる。

一方、上述した差映像分析によって、映像からゴルフクラブを抽出して認識するプロセスと映像からボールを抽出して認識するプロセスは互いに異なるプロセスであり、マルチスレッディング（Ｍｕｌｔｉ−Ｔｈｒｅａｄｉｎｇ）方式で同時に各プロセスが行われてもよく、上記ゴルフクラブ認識プロセスとボール認識プロセスが順次に行われてもよい。

図６に示すフローチャートにおいて、Ｓ１２１〜Ｓ１２３がゴルフクラブ認識プロセスを表し、Ｓ１４１〜Ｓ１４３がボール認識プロセスを表す。

まず、ゴルフクラブ認識プロセスについて説明すると、収集された最初の映像（又は、任意の映像）において'スイング判別オブジェクト'を設定する（Ｓ１２１）。該スイング判別オブジェクトはあらかじめ設定された個数の複数セクションを有するが、映像から差映像分析によってゴルフクラブを認識すると、その認識されたゴルフクラブが上記設定されたスイング判別オブジェクト上でどのように動くか、即ち、その挙動特性を把握して、ユーザがゴルフスイングをしたか否かを容易に判別することができる。上記スイング判別オブジェクトの設定に関する具体的な内容は後述する。

一方、上記Ｓ１１０段階で差映像分析された映像上には複数のピクセルが現れるが、ピクセルの群集状態や分布などを把握すると、ピクセルが棒状に集まっている部分が存在し、この部分がゴルフクラブに該当する部分であり、これをより明確に認識するために、それらのピクセルが集まっている部分にゴルフクラブに該当するライン、すなわち、クラブラインを生成して表示することによってゴルフクラブを認識することが可能になる（Ｓ１２２）。クラブラインを表示すると、その先端部分がクラブヘッド部分になり、クラブヘッド部分までも認識可能になる。

各フレーム映像ごとに上述のようにクラブラインを生成すると、上記Ｓ１２１段階で設定されたスイング判別オブジェクト上で上記クラブラインが発見されるセクションの数と進行方向を判断することができ、これに基づいて、ユーザがゴルフスイングしたか否かを判別することができる（Ｓ１２３）。これに関する具体的な内容は図７及び図８を参照して後述する。

一方、ボール認識プロセスについて説明すると、上記収集された各フレームの映像から、あらかじめ設定された大きさ及び位置に該当する関心領域を抽出する（Ｓ１４１）。

上記抽出された関心領域内でフレームごとに位置変化するオブジェクトを差映像分析などを用いて抽出することができるが、上記フレームごとに位置変化するオブジェクトに対して各フレーム別に当該オブジェクトの水平面に対する高さ角を算出する（Ｓ１４２）。

そして、上記算出された各フレーム別の高さ角を用いて当該オブジェクトがボールであるか否かを判断することによってボールを認識することができる（Ｓ１４３）。

これに関する具体的な事項は、図１０及び図１１を参照して後述する。

上述したように、収集された映像に対する分析によって各フレームの映像上でゴルフクラブとボールをそれぞれ認識し、その認識されたゴルフクラブ及びボールの挙動特性を把握すると、該分析結果を用いて上記収集された映像から'ユーザスイング映像'を抽出するための基準時点を決定することができる（Ｓ２００）。

すなわち、ゴルフクラブ認識の結果、ユーザがスイングをしており、ボール認識の結果、関心領域内にボールが現れた場合、これはほとんど、ユーザのゴルフスイングによってボールが打たれて飛んで行く状況であるので、上記関心領域に上記認識されたボールが初めて登場する時点を基準時点と決定することができる。さらにいうと、上記関心領域に上記認識されたボールが初めて登場する時、当該フレームを基準時点におけるフレームと決定することができる。

このように基準時点が決定されると、該決定された基準時点におけるフレームを基準に、それ以前のあらかじめ設定された個数又は時間区間のフレームとそれ以降のあらかじめ設定された個数又は時間区間のフレームとをそれぞれ抽出し、抽出された全体の連続したフレームの映像が最終的に提供しようとするユーザスイング映像になり、当該映像がメインサーバーに伝送されて保存される。

一方、本発明に係るゴルフスイング映像情報提供方法は、上述のように映像分析から得られた結果に基づいて、上述のようにスイング映像抽出のための基準時点を決定することもできるが、より確実で安定した基準時点を決定するために、カメラ装置に設けられた音響感知部の打撃音感知の結果を共に用いてスイング映像抽出のための基準時点を決定することもできる。

すなわち、データ処理サーバーのデータ処理部は、映像分析を用いてゴルフクラブを認識した結果情報、映像分析を用いてボールを認識した結果情報、及び音響感知部の打撃音感知結果情報のうち少なくとも２つの情報を用いてスイング映像抽出のための基準時点を決定することができる（Ｓ２００）。

上記Ｓ１１０、Ｓ１２１、Ｓ１２２及びＳ１２３などのプロセスによって映像からゴルフクラブを認識することによって、ユーザがゴルフスイングをしたか否かを判別できる他、ゴルフクラブの認識によって基準時点を決定することもできる。

これについてより具体的に説明すると、上述したＳ１００段階でボール検索に成功すると、映像上における初期ボールの位置情報を保存することができる。

そして、スイング判別オブジェクトから、ゴルフクラブがスイング方向に進行してユーザがゴルフスイングをしたと判別される場合、上記ゴルフクラブに該当するクラブラインの先端部分（ヘッド部分）と上記保存された初期ボールの位置とが最も近接する時のフレームを特定することができ、該特定されたフレームを基準時点におけるフレームと決定することができる。

仮に、上述したＳ１００段階でボール検索に失敗すると、ゴルフクラブの認識を用いては上述した基準時点を直ちに決定せず、ユーザがゴルフスイングをしたか否かのみを判別することが好ましい。

一方、ボールの認識を用いた基準時点の決定は前述したとおりであり、映像から関心領域を抽出し、その関心領域内で登場するオブジェクトがボールであることを確認すると、当該オブジェクトが関心領域に初めて登場する時のフレームを基準時点におけるフレームと決定することができる。

音響感知部の打撃音感知結果を利用する場合には、打撃音の感知された時点を基準時点とすることができる。

上述したように、ゴルフクラブの認識によっても基準時点を決定することができ、ボールの認識によっても基準時点を決定することができ、音響感知部の打撃音感知結果によっても基準時点を決定することができる。

したがって、データ処理サーバーのデータ処理部は、上述したゴルフクラブを認識した結果情報、ボールを認識した結果情報、及び音響感知部の打撃音感知結果情報のそれぞれに対して優先順位をあらかじめ設定しておき、これら３つの情報のうち少なくとも２つの情報を得ることに成功した場合、該成功した少なくとも２つの情報のうち、優先順位の高い情報に基づいて基準時点を決定することができる。

上記３つの情報のうち一つの情報だけが得られる場合はほとんどなかったが、このような場合に備えて、上記３つの情報のうち２つの情報を得るのに失敗した場合、残る一つの情報に基づいて基準時点を決定するように本発明を構成することも可能であることは勿論である。

一方、上述したゴルフクラブ認識プロセスに関してより具体的な内容を図７及び図８を参照して説明する。

図７の（ａ）及び（ｂ）は、映像取得部によって取得される映像１０をそれぞれ示し、当該映像において、図６で説明したような'スイング判別オブジェクト'を設定するプロセスに関してそれぞれ示している。

スイング判別オブジェクト２０を設定するにあたって、スイング判別オブジェクト２０の大きさ、形状（例えば、円形、楕円形、四角形など）、及びこれを構成する各セクションＳ１〜Ｓ１２の個数などに関する事項をデータ処理サーバーの映像分析部があらかじめ設定しておくことが好ましい。

上述したスイング判別オブジェクト２０をどこを中心にして映像上に配置するように設定するかによって、図７の（ａ）に示すように、映像の中心Ｃｄにスイング判別オブジェクト２０の中心が位置するように配置する場合と、図７の（ｂ）に示すように、映像からユーザＰ１０を認識し、該ユーザＰ１０の重心点Ｃｗを探して該重心点Ｃｗにスイング判別オブジェクト２０の中心が位置するように配置する場合がある。

図７の（ａ）及び（ｂ）に示すスイング判別オブジェクト２０は円形であり、１２等分された１２個のセクションが存在する場合について示している。

ユーザがゴルフショットをする時にカメラ装置を意識するとその画角範囲内でゴルフスイングをしようとするため、映像内でユーザはほぼ中心部に位置してスイングをし、その結果、図７の（ａ）に示す場合と（ｂ）に示す場合においてほぼ同一の結果を得ることができる。

このようにスイング判別オブジェクト２０が設定されると、図８に示すように映像収集部に収集された各フレームの映像に対して差映像分析が行われる。

図８の（ａ）は、映像取得部によって取得されて映像収集部に伝送された原本映像１０を示し、図８の（ｂ）は、図８の（ａ）の映像と以前フレームの映像との差演算によって生成された差映像１１を示し、図８の（ｃ）は、図８の（ｂ）に示す差映像１１に対して、あらかじめ設定された明るさ値を閾値として映像を正規化し、該正規化された映像におけるピクセル分布などを用いてクラブラインＣＬを生成して示した映像１２である。

図８の（ａ）でｇｃ１は、実際のゴルフクラブを表し、図８の（ｂ）でｇｃ２は、差映像上で現れたゴルフクラブに該当する部分を表し、図８の（ｃ）でＣＬは、上記ｇｃ２部分に対してクラブラインを生成したものを表す。

一方、図８の（ｄ）は、図８の（ｃ）のように生成された映像におけるクラブラインＣＬが、あらかじめ設定されたスイング判別オブジェクト２０上でどのように動くかを判断するための映像を示している。

複数のフレームの映像を図８の（ｄ）のような状態で見ると、クラブラインＣＬが発見されるセクションを確認することができ、データ処理部は、クラブラインが発見されるセクションの数とクラブラインが進行する方向に対してあらかじめ設定しておき、映像分析された複数のフレームの映像から、クラブラインＣＬがスイング判別オブジェクト２０上で発見されるセクションの数と進行方向を確認し、それがあらかじめ設定された事項に該当するかを判断し、ユーザがゴルフスイングをするか否かを判別する。

ここで、クラブラインＣＬのスイング判別オブジェクト２０上における進行方向はバックスイングの進行方向ではなくダウンスイングの進行方向を感知することをスイング判別の要件としてあらかじめ設定することが好ましい。

例えば、スイング判別の要件として３個のセクション及び反時計回り方向をあらかじめ設定しておいたと仮定すれば、３個のフレーム映像をそれぞれ差映像分析してクラブラインＣＬを生成した場合、スイング判別オブジェクト２０上においてセクションＳ９、Ｓ８、Ｓ７でそれぞれクラブラインＣＬが発見されると、上述したスイング判別の要件を充足するので、ユーザのゴルフスイングがなされたと判断することができる。

一方、図８の（ａ）に示す映像１０において、ユーザＰ１０はバックスイングを始めた状態であり、ボールは初期位置に置かれてある状態である。ここで、ボールｂａ１の部分は差映像を用いては識別できず、図６で説明したように、別のボール検索プロセスを用いて認識することができる。

仮にボール検索に成功して映像分析部がボールｂａ１の初期位置を特定できる場合、図８の（ｃ）に示すようなクラブラインＣＬの生成によるゴルフクラブの認識によってボールに対するインパクト付近の時点を特定することができ、これを基準時点と決定することもできる。

一方、上述したボール認識プロセスに関してより具体的な内容を図９から図１１を参照して説明する。

図９に示すように、ボールの場合も基本的に差映像分析を用いて認識することができる。

もちろん、映像上でボールを差映像分析によって認識するためには、ボールが打撃によって動いている状態である必要があり、ボールが打撃される前には差映像によってボールを認識することができず、このときは、前述したボール検索プロセスを用いてボールの位置を認識することができる。

しかし、前述したボール検索プロセスに失敗しても、以下に説明するボール認識プロセスから得た結果を用いて基準時点を決定することができる。

図９の（ａ）は原本映像１０であり、Ｐ１０はユーザを、ｇｃ１はゴルフクラブを、ｂａ１はボールを表す。この原本映像１０に対して以前フレームの映像との差映像１１を求めると、動く部分であるゴルフクラブ部分ｇｃ２及びボール部分ｂａ２が現れる。

ここで、所定の閾値で正規化映像１２を求めると、上記ゴルフクラブ部分ｇｃ２及びボール部分ｂａ２がより明確に現れ、ゴルフクラブに対してはクラブラインＣＬを生成してゴルフクラブであることを表し、その先端部分はヘッド部分ＨＤに該当する。ボール部分ＢＤもより明確に現れる。

このように差映像分析を用いてゴルフクラブ部分とボール部分を明確に抽出することができ、クラブラインＣＬにつながっている部分はヘッド部分ＨＤと認識することができ、これと分離されている部分はボール部分ＢＤと認識することができる。

一方、図１０では映像上で関心領域の設定によってボールを認識するプロセスについて説明している。

図１０の（ａ）に示すように、映像から、あらかじめ設定された大きさ及び形状の関心領域ＲＯＩを抽出し、その抽出された関心領域を分析して、当該関心領域にボールがあるか否かを判断することによって基準時点を決定することができる。

すなわち、関心領域内にボールがあることを確認すると、その関心領域にボールが最初に登場した時点のフレームを基準時点のフレームと決定することができる。

ところが、関心領域内にフレームごとに位置変化するオブジェクトが現れる場合、当該オブジェクトがボールかクラブのヘッド部分かを区別するプロセスを行う必要がある。人は映像を見て当該オブジェクトがボールかクラブヘッドかが分かるが、コンピュータにはそれが分からず、それを区別するプロセスを別に行う必要があるわけである。

図９の（ｃ）に示すように、差映像及びこれに対する正規化処理された映像から上述したような関心領域を抽出すると、当該関心領域内にオブジェクトが存在するようになり、図９の（ｃ）ではクラブラインＣＬとヘッド部分ＨＤが明確に認識されるので、クラブラインＣＬの先端につながっている否かを判断することによってボール部分ＢＤを区別でき、関心領域内でボール部分ＢＤが発見されると、当該フレームを基準時点におけるフレームとすることができる。

ところが、クラブラインの生成に失敗する場合もあり、クラブライン部分とクラブヘッド部分とが分離して現れ、クラブヘッド部分とボール部分が関心領域内に共に存在するときには、どれがボールかを認識するためのプロセスを行う必要がある。

図１０の（ｂ）、（ｃ）及び（ｄ）はそれぞれ、ｎ番目のフレームの関心領域、ｎ＋１番目のフレームの関心領域、及びｎ＋２番目のフレームの関心領域をそれぞれ抽出して示している。ボール認識のためには、差映像又は差映像に正規化処理された映像から関心領域を抽出して利用することが好ましいが、図１０の（ｂ）、（ｃ）及び（ｄ）では、ボール認識に関する説明がより一層理解されるように、原本映像から抽出した関心領域を示している（差映像などからＯｂ１などのオブジェクトの位置情報が分かるので、これを用いて、原本映像から抽出された関心領域によっても分析が可能であることは勿論である。）。

図１０の（ａ）〜（ｄ）において、Ｏｃ１、Ｏｃ２、Ｏｃ３はゴルフクラブのヘッド部分に該当するオブジェクトであり、Ｏｂ１、Ｏｂ２、Ｏｂ３はボール部分に該当するオブジェクトである。本発明のデータ処理サーバーの映像分析部は、関心領域内に存在する上記Ｏｃ２、Ｏｃ３、Ｏｂ１、Ｏｂ２、Ｏｂ３などの複数のオブジェクトの中でどれがボールかを判断する必要がある。

これに関しては、図１１に示すような原理によってボールか否かを判断することができる。

図１１では、複数のフレームに登場するオブジェクトを一つに統合して示している。すなわち、Ｏｂ１及びＯｃ１はｍ番目のフレーム、Ｏｂ２及びＯｃ２はｍ＋１番目のフレーム、Ｏｂ３及びＯｃ３はｍ＋２番目のフレームにそれぞれ存在するものであるが、ボールを区別する原理を容易に説明するために、それらが一つのイメージに存在する場合を想定して示している。

実際にゴルフスイングによってゴルフクラブのヘッドがボールを打つと、ボールの動きとクラブヘッドの動きはそれぞれ異なる特性を見せる。

すなわち、ボールは打撃されると、一定の距離までは直線運動をする（特に、映像取得部の画角内での動きは常に直線運動である。）。したがって、各フレーム別オブジェクトの高さ角（地面又は水平面からの高さ角）をそれぞれ算出すると、略同一の値を有し、たいてい、小さい値を有する特徴がある。

すなわち、Ｏｂ１からＯｂ２へ進行する高さ角ａｂ１、Ｏｂ２からＯｂ３へ進行する高さ角ａｂ２、Ｏｂ３の高さ角ａｂ３などが略同一の値を有し、クラブヘッドの高さ角に比べて相対的に小さい値を有する。

しかし、クラブヘッドの場合、曲線を描きながら運動するため、各フレーム別オブジェクトの高さ角はそれぞれ異なる値を有し、だいてい、ボールの高さ角よりも大きい値を有する。すなわち、Ｏｃ１の高さ角ａｃ１、Ｏｃ２の高さ角ａｃ２、Ｏｃ３の高さ角ａｃ３はそれぞれ異なる値を有する。

したがって、誤差範囲をあらかじめ設定しておき、各オブジェクト（Ｏｃ２、Ｏｃ３、Ｏｂ１、Ｏｂ２、Ｏｂ３など）の高さ角を算出し、そのあらかじめ設定された誤差範囲内で同一の高さ角の値を有するオブジェクトを抽出すれば、それがボールである。

ボールが抽出されて認識されると、関心領域内に認識されたボールが最初に登場したフレームを基準時点におけるフレームと決定することができる。例えば、図１０で、ｎ番目のフレーム映像から抽出した関心領域上にＯｂ１が登場し、ｎ＋１番目のフレーム、ｎ＋２番目のフレームでそれぞれ、Ｏｃ２，Ｏｂ２、及びＯｃ３，Ｏｂ３が登場すると、それぞれのオブジェクトの高さ角を算出し、あらかじめ設定した誤差範囲内で同一の高さ角を有するオブジェクトを探せば、それがボールである。

または、誤差範囲を定める代わりに、高さ角の値そのものの範囲を定めておき、その高さ角の値の範囲内にあればボールであり、それともボールでないと判断することもできる。

ボールの高さ角は、同種のショットであれば人によって大した差異はないので、適度な高さ角値の範囲をあらかじめ設定しておき、その範囲内で高さ角値を有するオブジェクトを探し、それをボールとして認識することが可能であり、ボールが認識されると、関心領域に最初にボールが登場したフレームが分かり、当該フレームのインデックス情報を基準時点におけるフレームインデックス情報として保存し、当該フレームを基準に以前及び以降のあらかじめ設定された個数のフレーム又はあらかじめ設定された時間区間のフレームを抽出し、それをユーザのスイング映像情報と決定することができる。

このように、本発明は、単純にユーザがボールを打撃する時の打撃音だけによって基準時点を決めて映像を抽出するのではなく、映像の分析を用いたゴルフクラブ認識、ボールの認識、音響感知を全て考慮して非常に安定且つ一定の基準時点を決めてスイング映像を抽出するので、基準時点の決定に必要な情報に部分的に問題が発生しても、安定且つ一定の基準時点の決定及びこれを基準にしたスイング映像の抽出が可能であるという長所がある。

「発明を実施するための形態」の欄で具体的に記載している。

本発明に係るゴルフスイング映像情報提供システム、ゴルフスイング映像情報提供のためのカメラ装置及びゴルフスイング映像情報提供方法は、ゴルフ場でゴルフラウンドをするユーザにゴルフスイング映像情報を簡便且つ安定的に提供するのに適したシステム、装置及び方法を提供するので、ゴルフに関連した産業分野に利用可能である。

Claims

撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部を具備する少なくとも一つのカメラ装置と、
上記映像取得部が取得した映像を受信して該受信した映像を分析し、分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識して、上記受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理サーバーと、
を含み、
上記データ処理サーバーによって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する、ゴルフスイング映像情報提供システム。
撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部、及びユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部を有する少なくとも一つのカメラ装置と、
上記映像取得部が取得した映像を受信して該受信した映像を分析し、分析映像内でゴルフクラブ及びボールのうち少なくとも一つを認識した結果情報及び上記音響感知部の感知結果情報のうち２つの情報を用いて、上記受信した映像から、上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理サーバーと、
を含み、
上記データ処理サーバーによって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する、ゴルフスイング映像情報提供システム。
上記カメラ装置に具備される上記映像取得部は、その取得された映像を用いて制御装置で上記ユーザのスイング映像抽出及びスイング映像分析を全て行えるようにする単一のカメラである、請求項１又は２に記載のゴルフスイング映像情報提供システム。
上記カメラ装置に具備される上記映像取得部は、
撮影領域内で上記ユーザがゴルフスイングをすることに対する映像を取得するスイング映像カメラと、
上記ユーザのゴルフスイングを分析するために映像を取得する分析映像カメラと、
を含む、請求項１又は２に記載のゴルフスイング映像情報提供システム。
上記データ処理サーバーは、
上記映像取得部によって取得される映像を収集する映像収集部と、
上記映像収集部で収集した各フレームの映像に対して差映像分析を用いてゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部と、
上記映像分析部の分析結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像収集部によって収集された映像から、上記決定された基準時点以前のあらかじめ設定された時間及び以降のあらかじめ設定された時間のうち少なくとも一つの時間区間に該当する映像、又は上記決定された基準時点以前のあらかじめ設定された個数のフレーム及び以降のあらかじめ設定された個数のフレームのうち少なくとも一つのフレーム区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部と、
を含む、請求項１に記載のゴルフスイング映像情報提供システム。
上記データ処理サーバーは、
上記映像取得部によって取得される映像を収集する映像収集部と、
上記映像収集部で収集した各フレームの映像に対して差映像分析を用いてゴルフクラブ及びボールを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールの挙動特性を分析する映像分析部と、
上記音響感知部の感知結果に関する情報を受信し、
上記ゴルフクラブの挙動特性、上記ボールの挙動特性及び上記音響感知部の感知結果情報のうち少なくとも２つの情報を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、
上記映像収集部によって収集された映像から、上記決定された基準時点以前のあらかじめ設定された時間及び以降のあらかじめ設定された時間のうち少なくとも一つの時間区間に該当する映像、又は上記決定された基準時点以前のあらかじめ設定された個数のフレーム及び以降のあらかじめ設定された個数のフレームのうち少なくとも一つのフレーム区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部と、
を含む、請求項２に記載のゴルフスイング映像情報提供システム。
上記カメラ装置は、
スイング映像分析準備ができたということを視覚及び聴覚的な方法のうち少なくとも一つの方法で上記ユーザにアラームするためのレディーアラーム部をさらに含む、請求項１又は２に記載のゴルフスイング映像情報提供システム。
上記カメラ装置は、ゴルフ場のホールで女性用のティー区域、男性用のティー区域、チャンピオン用のティー区域、プロ用のティー区域のうち少なくとも２つのティー区域にそれぞれ設置され、
上記データ処理サーバーは、上記少なくとも２つのティー区域にそれぞれ設置されたカメラ装置とＡＰ装置によって接続され、
上記データ処理サーバーは上記ＡＰ装置を介してメインサーバーと無線通信するように構成されて、上記データ処理サーバーが抽出した上記ユーザのスイング映像に関するデータを上記メインサーバーに無線伝送し、上記メインサーバーは上記無線伝送されたユーザのスイング映像に関するデータを保存して、上記ＡＰ装置を介して上記ユーザ側の無線キャディー端末機又は各ユーザのモバイル端末機から提供される、請求項１又は２に記載のゴルフスイング映像情報提供システム。
撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部と、
上記映像取得部によって取得される映像を収集する映像収集部と、
上記映像収集部で収集した各フレームの映像を分析してゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部と、
上記映像分析部の分析結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部と、
を含み、
上記データ処理部によって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する、ゴルフスイング映像情報提供のためのカメラ装置。
撮影領域内でユーザがゴルフスイングをすることに対する映像を取得する映像取得部と、
上記ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部と、
上記映像取得部によって取得される映像を収集する映像収集部と、
上記映像収集部で収集した各フレームの映像を分析してゴルフクラブ及びボールのうち少なくとも一つを抽出し、連続するフレームの映像で上記抽出されたゴルフクラブ及びボールのうち少なくとも一つの挙動特性を分析する映像分析部と、
上記音響感知部の感知結果に関する情報を受信し、上記映像分析部の分析結果及び上記音響感知部の感知結果を用いて、上記収集した映像から上記ユーザに提供する映像を抽出するための基準時点を決定し、上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像として抽出するデータ処理部と、
を含み、
上記データ処理部によって抽出された上記ユーザのスイング映像情報を上記ユーザに提供する、ゴルフスイング映像情報提供のためのカメラ装置。
上記映像分析部は、
上記映像収集部に収集された各フレーム映像に対して差映像分析を用いてゴルフクラブを抽出して認識し、上記認識されたゴルフクラブの挙動特性を分析し、上記各フレーム映像からあらかじめ設定された関心領域を抽出し、上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトに対してボールか否かを判断することによってボールを認識するように構成され、
上記データ処理部は、
上記認識されたゴルフクラブの挙動特性分析の結果から、上記ユーザがゴルフスイングをしたか否かを判別し、上記ユーザがゴルフスイングをしたと判別した場合及び上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトをボールと認識した場合、上記認識されたボールが上記関心領域上に最初に現れたフレームを上記基準時点におけるフレームとして決定するように構成される、請求項９又は１０に記載のゴルフスイング映像情報提供のためのカメラ装置。
上記データ処理部は、
上記映像分析部の分析による上記ゴルフクラブの認識結果情報、上記ボールの認識結果情報及び上記音響感知部の感知結果情報のそれぞれに対して優先順位をあらかじめ設定しておき、
上記ゴルフクラブの認識結果情報、上記ボールの認識結果情報及び上記音響感知部の感知結果情報のうち少なくとも２つの情報を取得した場合に、それらの取得した情報に対してあらかじめ設定された優先順位によって優先する情報に基づいて上記基準時点を決定するように構成される、請求項１０に記載のゴルフスイング映像情報提供のためのカメラ装置。
少なくとも一つのカメラ装置、及びこれに接続して上記カメラ装置が取得した映像からユーザのスイング映像情報を抽出して上記ユーザに提供するデータ処理サーバーを含むゴルフスイング映像情報提供システムによるゴルフスイング映像情報提供方法であって、
上記カメラ装置の映像取得部が取得した映像を上記データ処理サーバーが受信して分析する段階と、
分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階と、
上記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報を用いて、上記映像取得部から受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定する段階と、
上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像情報として抽出する段階と、
を含む、ゴルフスイング映像情報提供方法。
少なくとも一つのカメラ装置、及びこれに接続して上記カメラ装置が取得した映像からユーザのスイング映像情報を抽出して上記ユーザに提供するデータ処理サーバーを含むゴルフスイング映像情報提供システムによるゴルフスイング映像情報提供方法であって、
上記カメラ装置の映像取得部が取得した映像を上記データ処理サーバーが受信して分析する段階と、
分析映像内でゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階と、
上記ユーザがゴルフスイングをすることによってゴルフクラブヘッドがゴルフボールを打撃する打撃音を感知する音響感知部によって感知された結果情報を上記データ処理サーバーが受信する段階と、
上記ゴルフクラブ及びボールのうち少なくとも一つの認識結果情報及び上記音響感知部の感知結果情報のうち少なくとも２つの情報を用いて、上記映像取得部から受信した映像から上記ユーザに提供する映像を抽出するための基準時点を決定する段階と、
上記映像取得部から受信した映像から、上記決定された基準時点を基準にあらかじめ設定された区間に該当する映像を上記ユーザのスイング映像情報として抽出する段階と、
を含むゴルフスイング映像情報提供方法。
無線キャディー端末機からゴルフスイングする上記ユーザに関する情報をメインサーバーに伝送する段階と、
上記データ処理サーバーが上記メインサーバーから応答を受信するによって上記カメラ装置に映像取得開始信号を送る段階と、
上記映像取得開始信号によって、上記カメラ装置に具備されたレディーアラーム部がスイング映像分析準備ができたことをアラームする段階と、
をさらに含む、請求項１３又は１４に記載のゴルフスイング映像情報提供方法。
上記ゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階は、
上記映像取得部から受信した各フレームの映像に対して以前映像の差映像分析を用いてゴルフクラブに該当するクラブラインを生成する段階を含む、請求項１３又は１４に記載のゴルフスイング映像情報提供方法。
上記基準時点を決定する段階は、
上記生成された各フレーム映像上で上記生成したクラブラインの挙動特性を分析して、上記ユーザがゴルフスイングしたか否かを判別する段階と、
上記クラブラインの挙動特性分析の結果、上記ユーザがゴルフスイングをしたと判別した場合、上記ボールを抽出して認識した結果を用いて上記基準時点を決定する段階と、
を含む、請求項１６に記載のゴルフスイング映像情報提供方法。
上記ユーザがゴルフスイングをしたか否かを判別する段階は、
上記映像上のあらかじめ設定された位置にあらかじめ設定された大きさ及び形状の図形としてあらかじめ設定された個数のセクションを含むスイング判別オブジェクトを設定する段階と、
上記スイング判別オブジェクト上で上記生成したクラブラインが発見されるセクションの数及び進行方向を感知して、あらかじめ設定された要件に該当するか否かを判断することによって、上記ユーザがゴルフスイングをしたか否かを判別する段階と、
を含む、請求項１７に記載のゴルフスイング映像情報提供方法。
上記ゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階は、
上記映像取得部から受信した各フレームの映像からあらかじめ設定された関心領域を抽出する段階と、
上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトに対してボールか否かを判断することによってボールを認識する段階と、
を含む、請求項１３又は１４に記載のゴルフスイング映像情報提供方法。
上記ボールを認識する段階は、
上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトの各フレーム別の高さ角を算出する段階と、
上記算出された各フレーム別の高さ角があらかじめ設定された範囲内にあるか否か判断し、あらかじめ設定された範囲内にある場合、該当のオブジェクトをボールと認識する段階と、
を含む、請求項１９に記載のゴルフスイング映像情報提供方法。
上記基準時点を決定する段階は、
上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトをボールと認識した場合、上記認識されたボールが上記関心領域上に最初に現れたフレームを上記基準時点におけるフレームとして決定する段階を含む、請求項１９に記載のゴルフスイング映像情報提供方法。
上記基準時点を決定する段階は、
上記ゴルフクラブの認識結果情報、上記ボールの認識結果情報及び上記音響感知部の感知結果情報のそれぞれに対して優先順位をあらかじめ設定しておき、
上記ゴルフクラブの認識結果情報、上記ボールの認識結果情報及び上記音響感知部の感知結果情報のうち少なくとも２つの情報を取得した場合に、それらの取得した情報に対してあらかじめ設定された優先順位によって優先する情報に基づいて上記基準時点を決定する段階を含む、請求項１４に記載のゴルフスイング映像情報提供方法。
上記基準時点を決定する段階は、
各フレームの映像から認識されたゴルフクラブの挙動特性を分析して、上記ユーザがゴルフスイングをしたか否かを判別する段階と、
クラブラインの挙動特性分析の結果、上記ユーザがゴルフスイングをしたと判別した場合、上記音響感知部が打撃音を感知した時点を上記基準時点として決定する段階と、
を含む、請求項１４に記載のゴルフスイング映像情報提供方法。
上記ゴルフクラブ及びボールのうち少なくとも一つを抽出して認識する段階は、
上記映像取得部から受信した各フレームの映像からあらかじめ設定された関心領域を抽出する段階と、上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトに対してボールか否かを判断することによってボールを認識する段階と、を含み、
上記基準時点を決定する段階は、
上記抽出された関心領域上でフレームごとに位置変化をするオブジェクトをボールと認識し、上記音響感知部が打撃音を感知した場合、上記認識されたボールが上記関心領域上に最初に現れたフレームを上記基準時点におけるフレームとして決定する段階を含む、請求項１４に記載のゴルフスイング映像情報提供方法。