JP2016507283A - 運動するボールに対するセンシング装置及びセンシング方法 - Google Patents

Abstract

本発明は、所定のカメラ装置によって具現されるイメージ取得手段を介して取得された運動するボールに対する連続的なイメージから、ボール自体に表示されている商標やロゴなどの特徴部を抽出し、それから、運動するボールが回転するスピン軸及びスピン量を算出できるようにし、特に、イメージ上に示された特徴部がボールの回転によって一部分のみが残っている場合にも、迅速且つ正確にボールのスピン算出が可能であるので、比較的低性能のシステムにおいても、迅速且つ安定的にボールのスピン算出が行われ得るようにする、運動するボールに対するセンシング装置及びセンシング方法を提供するためのものである。そのために、本発明は、ボールに対する連続的なイメージ取得のためのイメージ取得手段と、それからボールの特徴部を抽出するためのイメージ処理手段と、順演算分析及び逆演算分析のいずれか１つを選択的に行ってボールのスピンを算出するスピン算出手段とを含む。

Description

本発明は、運動するボールに対するイメージを取得し、これを所定の処理を行って分析することによってボールのスピンを算出するようにするための、運動するボールに対するセンシング装置及びセンシング方法に関する。

ボールを用いるスポーツ競技、特にゴルフの場合、ゴルファーによって打撃されて運動するボールの物理的特性を正確にセンシングし、そのセンシングされた値を用いて打球の分析を行うか、または、これを映像として具現して、いわゆるスクリーンゴルフのようなシミュレーションゴルフ分野に適用する試みは常に行われてきた。

特に、打撃によって飛んで行くボールのスピン（Ｓｐｉｎ）は、３次元空間上の軸を中心に非常に高速で回転するので、これを測定することは非常に難しく、また、正確な測定のためには、非常に高価な装備が必要であり、代表的には、レーダセンサ（Ｒａｄａｒ Ｓｅｎｓｏｒ）を用いる方式がある。

しかし、このような高価のセンシング装置は、ユーザがゴルフスイングによって打撃したボールをセンシングしてボールの軌跡を算出し、それから仮想のゴルフコースでのゴルフシミュレーションが行われるようにする、いわゆるスクリーンゴルフやゴルフ練習場での打球分析などに汎用されるセンシング装置としては適当ではなく、比較的安価で、低性能のシステムにおいても迅速且つ正確にボールのスピンをセンシングできるようにする技術の開発が必要とされているのが実情である。

本発明は、所定のカメラ装置によって具現されるイメージ取得手段を介して取得された運動するボールに対する連続的なイメージから、ボール自体に表示されている商標やロゴなどの特徴部を抽出し、それから、運動するボールが回転するスピン軸及びスピン量を算出できるようにし、特に、イメージ上に示された特徴部がボールの回転により一部分のみが残っている場合にも、迅速且つ正確にボールのスピン算出が可能であるので、比較的低性能のシステムにおいても迅速且つ安定的にボールのスピンを算出できるようにする、運動するボールに対するセンシング装置及びセンシング方法を提供するためのものである。

本発明の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、連続的に取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部、及び後に取得された第２イメージ上のボール部分の特徴部をそれぞれ抽出するように構成されるイメージ処理手段と、前記第１イメージ上のボール部分の特徴部に任意のスピン軸及びスピン量を適用した結果と前記第２イメージ上の特徴部とを比較分析する順演算分析、及び前記第２イメージ上のボール部分の特徴部に任意のスピン軸及びスピン量を逆に適用した結果と前記第１イメージ上の特徴部とを比較分析する逆演算分析のいずれか１つを、予め設定された事項に応じて選択的に行うことによって、前記第１イメージから第２イメージへのボールの運動によるスピン軸及びスピン量を算出するように構成されるスピン算出手段とを含む。

一方、本発明の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、前記連続的に取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部である第１特徴部、及び後に取得された第２イメージ上のボール部分の特徴部である第２特徴部をそれぞれ抽出するステップと、前記第１特徴部に任意のスピン軸及びスピン量を適用した結果と前記第２特徴部とを比較分析する順演算分析、及び前記第２特徴部に任意のスピン軸及びスピン量を逆に適用した結果と前記第１特徴部とを比較分析する逆演算分析のいずれの方式でスピン算出を行うかを決定するステップと、前記決定するステップで決定された事項に応じて、前記順演算分析及び逆演算分析のいずれか１つが選択的に行われることによって、前記第１イメージから第２イメージへのボールの運動によるスピン軸及びスピン量を算出するステップとを含む。

一方、本発明の他の一実施例に係る、運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法は、表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、前記連続的に取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部に対するイメージである第１特徴部イメージ、及び後に取得された第２イメージ上のボール部分の特徴部に対するイメージである第２特徴部イメージをそれぞれ用意するステップと、前記第１特徴部イメージ上の特徴部の部分である第１特徴部と、前記第２特徴部イメージ上の特徴部の部分である第２特徴部とを比較することによってスピン算出方式を選択するステップと、前記スピン算出方式を選択するステップで選択された方式に応じて、前記第１特徴部に任意のスピンを適用して前記第２特徴部と比較する順演算方式、及び前記第２特徴部に任意の逆スピンを適用して前記第１特徴部と比較する逆演算方式のいずれか１つが選択的に行われることによって、前記第１特徴部イメージから前記第２特徴部イメージに変化するようにする３次元空間上のスピン軸及びスピン量を見つけるステップとを含む。

本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、所定のカメラ装置によって具現されるイメージ取得手段を介して取得された運動するボールに対する連続的なイメージから、ボール自体に表示されている商標やロゴなどの特徴部を抽出し、それから、運動するボールが回転するスピン軸及びスピン量を算出できるようにし、特に、イメージ上に示された特徴部がボールの回転により一部分のみが残っている場合にも、迅速且つ正確にボールのスピン算出が可能であるので、比較的低性能のシステムにおいても迅速且つ安定的にボールのスピンを算出できるようにする効果がある。

本発明の一実施例に係る運動するボールに対するセンシング装置の構成を簡略に示すブロック図である。 図１に示された構成を用いて、イメージ取得からボールのスピン算出に至るまでの各構成要素別の機能を説明するための図である。 本発明に係るイメージ取得手段として、ステレオで構成された２台のカメラ、及び運動するボールに対して示す図である。 （ａ）から（ｃ）は、連続して取得されたイメージに対するソースイメージをそれぞれ示す図である。 （ａ）から（ｃ）は、図４の（ａ）から（ｃ）に示した各ソースイメージからボール部分を抽出する過程を説明するための図である。 図５に示したようなボール部分の抽出において好ましい抽出方法を説明するための図である。 （ａ）から（ｃ）は、図５の（ａ）から（ｃ）に示したようにそれぞれ抽出されたボールイメージに対して正規化されたイメージをそれぞれ示す図である。 （ａ）及び（ｂ）は、それぞれ、連続する２つのソースイメージから抽出されたボールイメージが正規化されたイメージを示し、（ｃ）及び（ｄ）は、（ａ）及び（ｂ）に示したイメージからそれぞれ特徴部を抽出した特徴部イメージを示す図である。 運動するボールのスピン算出を説明するために示す図である。 運動するボールの回転によってイメージ上で特徴部の一部が遺失して示される場合に関して示す図である。 ボールのスピン算出のためにカメラの位置及び方向に対する補正が行われる原理について説明するための図である。 本発明の一実施例に係る運動するボールに対するセンシング方法について説明するためのフローチャートである。

本発明に係る運動するボールに対するセンシング装置及びセンシング方法に関する具体的な内容を、図面を参照して説明する。

本発明は、基本的に、ユーザがゴルフクラブでゴルフボール（以下、"ボール"という）を打撃することを所定のカメラで撮影し、その撮影されたイメージを分析することによって打撃されたボールのスピンを算出するようにしたもので、前記カメラは、複数個のカメラによりステレオ方式で構成されるステレオカメラまたは３Ｄカメラであって、ボールに対する２次元イメージ上の座標を３次元座標に変換したり、その反対の変換が可能なようにする構成であることが好ましい。

そして、本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、ユーザのゴルフスイングによるボールの打球分析や仮想現実ベースのシミュレーションを用いた仮想ゴルフなどの様々な分野に適用することができる。

まず、図１及び図２を参照して、本発明の一実施例に係る運動するボールに対するセンシング装置について説明する。

図１及び図２に示すように、本発明の一実施例に係る運動するボールに対するセンシング装置は、イメージ取得手段１００、イメージ処理手段２００及びスピン算出手段３００を含んで構成される。

イメージ取得手段１００は、カメラ装置であって、上述したように、ステレオ方式のカメラ装置であるか、または３Ｄカメラ装置として具現することができる。図１では、第１カメラ１１０及び第２カメラ１２０によってステレオ方式のカメラ装置としてイメージ取得手段１００が具現された場合を示している。

イメージ処理手段２００は、イメージ取得手段１００によって取得された各イメージからボール部分に対するイメージであるボールイメージを抽出し、前記ボールイメージ上のディンプル部分及び各種ノイズ部分を除去することによって、前記ボールイメージ上の特徴部、すなわち、ボールに表示された商標やロゴ、傷などの不特定の表示を抽出するようにする構成要素である。

イメージ処理手段２００は、ボールイメージ抽出手段２１０及びボール特徴部抽出手段２３０を含んで構成されることが好ましい。

ボールイメージ抽出手段２１０は、イメージ取得手段１００によって取得されたイメージであるソースイメージからボール部分に対するイメージであるボールイメージを抽出し、そのボール部分に対する中心座標を抽出するように構成される。これについての具体的な事項は後述する。

ボール特徴部抽出手段２３０は、ボールイメージ抽出手段２１０により抽出されたボールイメージに対して、それぞれのボールイメージの大きさ及び明るさなどに対する正規化（Ｎｏｒｍａｌｉｚａｔｉｏｎ）などが行われるようにし、イメージ上に示されたボールの特徴部（ボールに表示された商標やロゴ、傷などの不特定の表示）部分を抽出する構成要素である。これについての具体的な事項は後述する。

一方、スピン算出手段３００は、任意の連続する２つのボールイメージ上でそれぞれ抽出された特徴部の位置変化を分析することによって、すなわち、先に取得されたイメージ上の特徴部が、どのような３次元空間上のスピン軸及びスピン量によって、後に取得されたイメージ上の特徴部に変化したかを分析することによって、最終的なボールのスピン軸及びスピン量に対する情報を見つけるようにする構成要素であって、図１及び図２に示すように、算出方式選択手段３５０、順演算分析手段３６０及び逆演算分析手段３７０を含んで構成されることが好ましい。

本発明は、基本的に、連続的に撮影された運動するボールに対するイメージのうち、連続する２つのイメージずつ分析し、先に取得されたイメージを第１イメージとし、後に取得されたイメージを第２イメージとするとき、第１イメージが取得される時のボール状態から第２イメージが取得される時のボール状態になるスピンを算出する。第１イメージ上の特徴部が第２イメージ上の特徴部の位置に変化するためのスピン軸及びスピン量を見つける方式でスピンを算出するか、または第２イメージ上の特徴部から第１イメージ上の特徴部に逆回転させ、それからスピン軸及びスピン量を見つける方式でスピンを算出する。

すなわち、前記第１イメージ上の特徴部に任意のスピン軸及びスピン量を適用した結果と前記第２イメージ上の特徴部とを比較分析する方式、及び前記第２イメージ上の特徴部に任意のスピン軸及びスピン量を逆に適用した結果と前記第１イメージ上の特徴部とを比較分析する方式のいずれか１つの方式を、予め設定された事項に応じて選択的に行うことによって、前記第１イメージから第２イメージへのボールの運動によるスピン軸及びスピン量を算出するようにする。

以下、前者のスピン算出方式は順演算分析方式といい、後者のスピン算出方式は逆演算分析方式という。

算出方式選択手段３５０は、連続的に取得されたイメージからそれぞれ抽出されたボールの特徴部を持ってスピンを算出する方式を選択するようにするための構成要素であって、分析対象である連続する２つのイメージのそれぞれの特徴部を互いに比較することによって、その結果に応じて、上記の順演算分析方式によりスピンを算出するか、または、上記の逆演算分析方式によりスピンを算出するかを選択する機能をする。これについての具体的な事項は後述する。

順演算分析手段３６０は、上記の順演算分析方式によって運動するボールに対するスピン情報を算出するようにする機能をし、逆演算分析手段３７０は、上記の逆演算分析方式によって運動するボールに対するスピン情報を算出するようにする機能をし、これについての具体的な事項は後述する。

一方、図３に示すように、地面Ｇに対するｉ，ｊ，ｋ座標系を基準にして第１カメラ１１０及び第２カメラ１２０のそれぞれが取得したボールに対するイメージから、ボール１０が運動することによる、それぞれのイメージが取得された位置での位置情報を知ることができる。

すなわち、第１カメラ１１０及び第２カメラ１２０は、ステレオ方式（Ｓｔｅｒｅｏｓｃｏｐｉｃ）の構成を有するイメージ取得装置であるので、２つのカメラが同一の被写体に対して取得したイメージから被写体の３次元座標情報を抽出することができ、図３では、ボール１０が第１位置から第２位置に運動するに伴って、第１位置の座標情報（ｘ，ｙ，ｚ）及び第２位置の座標情報（ｘ'，ｙ'，ｚ'）をそれぞれ抽出することができる。

このとき、第１カメラ１１０及び第２カメラ１２０は固定されており、したがって、第１カメラ１１０及び第２カメラ１２０の位置座標を知ることができる。

このような状態で、ある１つのカメラによって運動するボールに対して連続的に取得されたイメージのうちの一部を、図４の（ａ）から（ｃ）を通じて確認することができる。

すなわち、図４の（ａ）から（ｃ）は、固定されたカメラによって、その画角内の運動するボールに対するイメージを所定の時間間隔で取得したイメージに対して、差映像などを通じて背景部分などを除去し、ボール部分２１，２２，２３のみが残っている状態のイメージを示したものである。

図４の（ａ）、（ｂ）及び（ｃ）から、ボールが左側対角線方向に飛んで行く状態であることがわかり、ボールがカメラに近接する時には、図４の（ａ）のようにボール２１が大きく見え、カメラから次第に遠ざかるほど、図４の（ｂ）及び（ｃ）のようにボール２２，２３がだんだん小さく見えるようになることがわかる。

ここで、図４の（ａ）、（ｂ）及び（ｃ）に示したイメージ、すなわち、最初に取得されたイメージから背景部分及び各種ノイズ部分を差映像などを通じて除去し、動く部分であるボール部分のみが残った状態のイメージをソースイメージという。

それぞれのソースイメージ上でボール部分２１，２２，２３を見ると、ボール自体の表面に表示された特徴部Ｆ１，Ｆ２，Ｆ３が、ボールの回転に伴ってその位置が変わっていることがわかる。

ここで、関心対象は、ボール上の特徴部Ｆ１，Ｆ２，Ｆ３の部分であり、これを正確に抽出してその位置変化を分析することによって、ボールのスピンを算出することができる。

そのために、まず、図４に示したようなソースイメージからボール部分２１，２２，２３に対するイメージ、すなわち、ボールイメージのみを効果的に抽出することが必要である。

図５の（ａ）から（ｃ）では、それぞれのソースイメージからボール部分のみを抽出する過程を示しており、まず、ソースイメージにおいてボール部分２１，２２，２３を探し、図６に示したように、ボール部分２１の中心点Ｃが、抽出するイメージ２１１の中心点となり、ボール部分２１の外郭線が、抽出するイメージ２１１の外郭線と実質的に接するようにして正確に抽出するようにすることが好ましい。

このような方法で、各ソースイメージからボール部分２１，２２，２３のみを抽出したイメージ、すなわち、ボールイメージ２１１，２１２，２１３は、それぞれのソースイメージ上でのボールの大きさに対応する大きさであるので、互いに異なる大きさを有し、各ソースイメージ上に示されたボール部分２１，２２，２３は、カメラとの距離に応じて照明の影響が異なるので、明るさも各ボールイメージ毎に異なる。

正確なボール特徴部の抽出のためには、それぞれのボールイメージ２１１，２１２，２１３の大きさを同一にし、明るさを正規化することが必要である。

図７の（ａ）から（ｃ）は、図５の（ａ）から（ｃ）にそれぞれ対応するボールイメージに対する大きさ及び明るさの正規化（Ｎｏｍａｌｉｚａｔｉｏｎ）が行われたイメージを示したものである。

すなわち、それぞれのボールイメージ２１１，２１２，２１３に対して、予め設定された大きさに合せて拡大又は縮小するか、または、ボールイメージ２１１，２１２，２１３のいずれか１つを基準として、それに合わせて他のボールイメージを拡大又は縮小することによって、すなわち、各ボールイメージに対してノーマライズ処理を行うことによって、ボールイメージの大きさが互いに同一になるようにする。

そして、それぞれのボールイメージに対して、ボール部分をなす全てのピクセルの平均値を用いてノーマライズ処理を行うことによって、各ボールイメージの全体的な明るさが互いに同一になるようにする。

一方、上述したように、ボールイメージに対する正規化が完了した後には、それぞれの正規化されたボールイメージに対して、図８に示したように、ボール特徴部抽出手段によるボール特徴部の抽出が行われる。

すなわち、図８の（ａ）に示されたボールイメージを第１ボールイメージとし、（ｂ）に示されたボールイメージを第２ボールイメージとするとき、第１ボールイメージは、連続して取得された２つのイメージのうち先に取得されたイメージであり、第２ボールイメージは、後に取得されたイメージであり、図８の（ｃ）は、第１ボールイメージ上の特徴部Ｆ１に対する抽出が完了した特徴部ＦＣ１を有する第１特徴部イメージであり、図８の（ｄ）は、第２ボールイメージ上の特徴部Ｆ２に対する抽出が完了した特徴部ＦＣ２を有する第２特徴部イメージである。

ここで、特徴部の抽出は、差映像技法などの様々なイメージ処理技法により行われてもよい。

上述したように、抽出された特徴部ＦＣ１，ＦＣ２を有する特徴部イメージが用意されると、これを用いて、スピン算出手段による、運動するボールのスピン情報を算出する過程が行われる。

ここで、ボールのスピンは、図９に示すように、ｉ軸、ｊ軸及びｋ軸座標系による３次元空間上のスピン軸に対する座標情報、及び前記スピン軸を中心に回転した角度、すなわち、スピン量に対する情報を算出することによって求めることができる。

図９に示したように、３次元空間上での回転運動は、ピッチ、ヨー、ロール（ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ）成分をそれぞれ含むことができ（例えば、スピン軸がｋ軸と一致する場合には、ボールはサイドスピン（Ｓｉｄｅ Ｓｐｉｎ）のみを有するようになり、スピン軸がｉ軸と一致する場合には、ボールはバックスピン（Ｂａｃｋ Ｓｐｉｎ）またはフォワードスピン（Ｆｏｒｗａｒｄ Ｓｐｉｎ）のみを有するようになる）、ｉ軸方向の回転成分をθ、ｊ軸方向の回転成分をλ、そしてｋ軸方向の回転成分をρとすると、求めようとするスピンのベクトル（ω）は、下記の［数式１］のように示すことができる。

［数式１］

スピンベクトル（ω）から、下記の［数式２］のようにスピン軸情報及び［数式３］のようにスピン量情報をそれぞれ算出することができる。ここで、αは、スピン量情報を示す。

［数式２］

［数式３］

したがって、運動するボールのスピンに対するｙａｗ回転成分であるθ、ｒｏｌｌ回転成分であるλ、そして、ｐｉｔｃｈ回転成分であるρ値を見つけることによって、スピン軸及びスピン量情報を求めることができる。

このようなスピン軸及びスピン量情報を見つけることは、図７に示したように、ボールイメージから抽出された特徴部から行われ得る。

すなわち、図８に示したように、連続する２つのボールイメージに対する特徴部イメージ（図８の（ｃ）及び（ｄ））を用いて、スピン軸及びスピン量を抽出することができる。

ここで、２つの特徴部イメージ上の特徴部に応じて、スピン算出方式が順演算分析方式及び逆演算分析方式のいずれか１つとして決定される。

図１０及び図１１を参照して、スピン算出方式を順演算分析方式にするか、または逆演算分析方式にするかに対する基準について説明する。ここで、図１０及び図１１の（ａ）及び（ｂ）は、それぞれ図８の（ｃ）及び（ｄ）のような特徴部イメージを示したもので、理解の便宜のため、ボールの形状を共に示したものである。

図１０において、第１特徴部イメージ上の第１特徴部ＦＣ１は、その形状が完全に示されているが、第２特徴部イメージ上の第２特徴部ＦＣ２は、ボールの回転によって一部がボールの後方に位置してしまい、一部分のみが示されている場合である。

この場合は、第１特徴部ＦＣ１と第２特徴部ＦＣ２の全体の大きさを比較して、または、各特徴部のピクセル数を比較して、第１特徴部ＦＣ１がさらに大きいか、またはピクセル数がさらに多い場合であって、順演算分析方式によってスピン算出を行う場合である。

ところが、図１１において、第１特徴部イメージ上の第１特徴部ＦＣ１は、第２特徴部イメージ上の第２特徴部ＦＣ２よりも大きさがさらに小さいか、またはピクセルの数がさらに少ない。

この場合には、順演算分析方式によって第１特徴部ＦＣ１（図１１の（ａ））のピクセルの位置情報を変換して第２特徴部ＦＣ２（図１１の（ｂ））と比較する場合、第２特徴部ＦＣ２の一部に対してのみ一致するか否かに対する情報を得ることができ、第２特徴部ＦＣ２の全てを含むことはできなくなるため、順演算分析方式を適用してスピン算出を行うことが非常に不正確である。

したがって、図１１の（ａ）及び（ｂ）の場合のように、先に取得されたイメージの特徴部と後に取得されたイメージの特徴部の大きさまたはピクセル数を比較して、前者が、大きさがさらに小さいかまたはピクセル数がさらに少ないときには、逆演算分析方式によってスピン軸及びスピン量を逆に見つける方式でスピン情報を算出することが好ましい。

まず、順演算分析方式によるスピン算出過程について数式を用いて説明する。順演算分析方式は、図８の（ｃ）及び（ｄ）のように、２つの特徴部の大きさまたはピクセル数がほぼ同一であるか、または、図１０の（ａ）及び（ｂ）のように、第１特徴部の大きさが第２特徴部よりも大きいか、または第１特徴部のピクセル数が第２特徴部よりも多い場合に適用される。

下記の［数式４］及び［数式５］のように、第１特徴部及び第２特徴部のそれぞれをなすピクセルの位置情報を３次元位置情報に変換して示すことができる。

［数式４］
ＰＣ１ｓｅｔ_３Ｄ＝Ｃ１＊Ｐ１ｓｅｔ_３Ｄ

［数式５］
ＰＣ２ｓｅｔ_３Ｄ＝Ｃ２＊Ｐ２ｓｅｔ_３Ｄ

ここで、Ｐ１ｓｅｔ_３Ｄは、第１特徴部ＦＣ１（図８参照）上の各ピクセルの座標（２次元座標）に対する行列をＰ１ｓｅｔとするとき、当該Ｐ１ｓｅｔを３次元座標情報に変換した行列である。

Ｐ２ｓｅｔ_３Ｄは、第２特徴部ＦＣ２（図８参照）上の各ピクセルの座標（２次元座標）に対する行列をＰ２ｓｅｔとするとき、当該Ｐ２ｓｅｔを３次元座標情報に変換した行列である。

Ｃ１及びＣ２は、運動するボールを眺めるカメラの位置及び方向を一貫した基準によって補正するための位置補正情報を回転行列として算出したものであって、Ｃ１は、第１特徴部のピクセルの位置座標の補正のためのものであり、Ｃ２は、第２特徴部のピクセルの位置座標の補正のためのものである。

ＰＣ１ｓｅｔ_３Ｄは、第１特徴部上のピクセルの３次元座標に対して位置補正された行列であり、ＰＣ２ｓｅｔ_３Ｄは、第２特徴部上のピクセルの３次元座標に対して位置補正された行列である。

ここで、上記のＣ１及びＣ２の位置補正情報について説明すると、カメラによって取得されたイメージ上のボールの位置は、カメラが眺める方向に応じてスピン軸及びスピン量が異なって観察されるので、正確に基準を立て、その基準に合わせて絶対的なスピン軸及びスピン量を算出できるようにすることが必要であり、そのためには、連続的に取得されるそれぞれのイメージ毎に、ボールに対して、相対的にカメラが同一の位置及び方向にボールを眺めたようにカメラの位置及び方向情報を補正することによって、ボールの正確なスピン情報を算出できるようになる。

例えば、図１２に示すように、ボールがｄ方向に沿って進行しながらカメラ１１０によって撮影されるそれぞれの位置毎に、ボール１０が進行する方向ベクトルＢｊに対して垂直をなしながら地面Ｇに平行な方向ベクトルＢｉの方向にカメラがボールを眺めたようにカメラ１１０の位置及び方向を補正するための位置補正情報を生成し、これをスピン算出に適用する必要がある。

実際には、カメラが固定されており、ボールが飛んで行くと、これを固定された位置から眺めるようなイメージを取得するようになり、このようなイメージではボールの位置毎にスピンが異なって観察されるので、算出されるスピン情報がそれぞれ異なり、正確なスピンの算出が難しいため、位置補正を通じて、カメラがボールと一定の距離離れた位置で常にボールと共に動く状態でボールを撮影したように位置補正を行い、その位置補正が行われた状態で後述する任意のスピン情報の適用及び最終のスピンの決定などの過程が行われるようにすることによって、正確なスピンの算出が行われるようにしたものである。

一方、見つけようとする最終的なスピン情報として、スピン軸ベクトルをωとし、スピン量をαとするとき、これを用いて回転行列Ｒ（ω，α）を算出することができ、これは、前記各特徴部のピクセルの３次元変換された位置情報であるＰＣ１ｓｅｔ_３Ｄ及びＰＣ２ｓｅｔ_３Ｄと次の［数式６］のような関係が成立する。

［数式６］
Ｒ（ω，α）＊ＰＣ１ｓｅｔ_３Ｄ＝ＰＣ２ｓｅｔ_３Ｄ

［数式６］に［数式４］及び［数式５］を代入すると、次の［数式７］のような関係式が成立する。

［数式７］
ＰＣ２ｓｅｔ_３Ｄ＝Ｃ２^Ｔ＊Ｒ（ω，α）＊Ｃ１＊Ｐ１ｓｅｔ_３Ｄ

ここで、Ｃ２^Ｔは、行列Ｃ２の転置行列（Ｔｒａｎｓｐｏｓｅｄ Ｍａｔｒｉｘ）である。

［数式７］を通じて第１特徴部のピクセルの位置情報を３次元位置情報に変換し、これに位置補正情報を適用した後、任意のスピン情報を適用した結果を算出することができ、すなわち、［数式７］において求めようとする最終のスピン情報であるＲ（ω，α）の代わりに任意のスピン情報を代入すればよい。

任意のスピン情報として、任意のスピン軸ベクトルω'及び任意のスピン量α'を用いて算出された回転行列Ｒ（ω'，α'）を［数式７］に代入した結果をＴｓｅｔ_３Ｄとすると、次の［数式８］のような関係式が成立する。

［数式８］
Ｔｓｅｔ_３Ｄ＝Ｃ２^Ｔ＊Ｒ（ω'，α'）＊Ｃ１＊Ｐ１ｓｅｔ_３Ｄ

［数式８］によって求められたＴｓｅｔ_３Ｄを、再び２次元座標に変換することができ、これをＴｓｅｔとする場合、当該Ｔｓｅｔと上記Ｐ２ｓｅｔとが互いに一致すれば、Ｒ（ω'，α'）とＲ（ω，α）は互いに同じ値を有するようになるので、前記任意のスピン情報であるＲ（ω'，α'）を最終のスピン情報として決定することができる。

すなわち、互いに異なる任意のスピン情報をそれぞれ適用した多数のＴｓｅｔのうち、Ｐ２ｓｅｔと最も一致する、すなわち、類似度が最も高いＴｓｅｔに適用された任意のスピン情報を最終のスピン情報として決定するようになる。

これは、ＴｓｅｔとＰ２ｓｅｔとを比較して位置座標が互いに一致するピクセルの数を算出し、その一致するピクセルの数が一定水準を超える又はそれ以上である場合、または、ＴｓｅｔのピクセルとＰ２ｓｅｔのピクセルに対する所定の関数式による類似度を算出して、一定水準を超える又はそれ以上である場合、当該Ｔｓｅｔに適用された任意のスピン情報が最終のスピン情報となる。

ここで、類似度は、例えば、ピクセル全体の数に対する互いに一致するピクセルの数の比率を算出し、その比率を用いて判断することができる。

一方、もし、連続して取得された２つのイメージから抽出された特徴部が、図１１の（ａ）及び（ｂ）のように、第１特徴部ＦＣ１の大きさが第２特徴部ＦＣ２よりも小さいか、または第１特徴部ＦＣ１のピクセル数が第２特徴部ＦＣ２よりも少ない場合には、上記のような順演算分析方式によってスピンを算出することができない。

したがって、この場合には、逆演算分析方式によるスピン算出が行われる。

すなわち、順演算分析方式が、第１特徴部のピクセルの位置座標であるＰ１ｓｅｔに対して任意のスピン情報であるＲ（ω'，α'）を適用したものである一方、逆演算分析方式は、時間的に後に取得されたイメージに対する特徴部である第２特徴部のピクセルの位置座標であるＰ２ｓｅｔをＲ（ω'，α'）に対して逆に回転させて、第１特徴部のピクセルの位置座標であるＰ１ｓｅｔと比較する。

［数式７］を変形して、下記の［数式９］のような関係式を定立することができる。

［数式９］
Ｐ１ｓｅｔ_３Ｄ＝Ｃ１^Ｔ＊Ｒ（ω，α）^Ｔ＊Ｃ２＊Ｐ２ｓｅｔ_３Ｄ

ここで、任意のスピン軸ベクトルω'及び任意のスピン量α'に対する回転行列Ｒ（ω'，α'）を抽出することができ、Ｐ２ｓｅｔ_３Ｄを任意のスピン軸で任意のスピン量だけ逆回転した特徴部の位置座標をｉｎｖ_Ｔｓｅｔ_３Ｄとすると、下記の［数式１０］のような表現が可能である。

［数式１０］
ｉｎｖ_Ｔｓｅｔ_３Ｄ＝Ｃ１^Ｔ＊Ｒ（ω'，α'）^Ｔ＊Ｃ２＊Ｐ２ｓｅｔ_３Ｄ

ここで、求められたｉｎｖ_Ｔｓｅｔ_３Ｄは再び２次元座標に変換することができ、これをｉｎｖ_Ｔｓｅｔとすると、Ｒ（ω'，α'）とＲ（ω，α）が一致する場合、当該ｉｎｖ_ＴｓｅｔとＰ１ｓｅｔは互いに同じ値を有するようになるので、前記任意の逆スピン情報であるＲ（ω'，α'）^Ｔを再び逆に換算したＲ（ω'，α'）を最終のスピン情報として決定することができる。

すなわち、互いに異なる任意の逆スピン情報をそれぞれ適用した多数のｉｎｖ_Ｔｓｅｔのうち、Ｐ１ｓｅｔと最も一致する、すなわち、類似度が最も高いｉｎｖ_Ｔｓｅｔに適用された任意の逆スピン情報を再び逆に算出したスピン情報を最終のスピン情報として決定するようになる。

これは、ｉｎｖ_ＴｓｅｔとＰ１ｓｅｔとを比較して位置座標が互いに一致するピクセルの数を算出し、その一致するピクセルの数が一定水準を超える又はそれ以上である場合、または、ｉｎｖ_ＴｓｅｔのピクセルとＰ１ｓｅｔのピクセルに対する所定の関数式による類似度を算出して一定水準を超える又はそれ以上である場合、当該ｉｎｖ_Ｔｓｅｔに適用された任意の逆スピン情報を再び逆に算出した情報が最終のスピン情報となる。

一方、上述したような運動するボールに対するスピン算出過程を、図１３及び図１４に示したフローチャートを通じて再び説明する。

図１３及び図１４は、一つのフローチャートを分離して示したもので、図１３のＡ及びＢは、それぞれ図１４のＡ及びＢに連結される。

図１３及び図１４に示すように、運動するボールに対する連続的なイメージの取得が行われ（Ｓ１０）、それぞれの取得されたイメージに対して背景の除去などを経てソースイメージをそれぞれ抽出する（Ｓ１２）。

そして、各ソースイメージからボール部分を探してボールイメージを抽出し（Ｓ１４）、それぞれのボールイメージからボール特徴部を抽出して、それぞれ特徴部イメージを用意する（Ｓ１６）。

連続する特徴部イメージのうち、２つのイメージにおいて時間的に前のイメージを第１特徴部イメージとし、後のイメージを第２特徴部イメージとするとき、第１特徴部イメージ上の第１特徴部ＦＣ１をなすピクセルの位置情報及び第２特徴部イメージ上の第２特徴部ＦＣ２をなすピクセルの位置情報を用いてスピン算出が行われる。

ここで、第１特徴部ＦＣ１と第２特徴部ＦＣ２とを比較するとき、大きさが同一であるか、または第１特徴部ＦＣ１がさらに大きい場合、または全体のピクセル数が、第１特徴部ＦＣ１が第２特徴部ＦＣ２と同一又はさらに多い場合（Ｓ２２）には、順演算分析によるスピン算出が行われ（Ｓ１００）、第１特徴部ＦＣ１が第２特徴部ＦＣ２よりも大きさがさらに小さいか、または全体のピクセルの数がさらに少ない場合には、逆演算分析によるスピン算出が行われる（Ｓ２００）。

順演算方式によるスピン算出が行われると、まず、第１特徴部をなすピクセルの位置情報は３次元位置情報に変換される（Ｓ１１０）。このとき、好ましくは、上述したように位置補正情報が適用されるようにする。

そして、任意のスピン軸及びスピン量を抽出して任意のスピン情報を算出し（Ｓ１２０）、前記変換された３次元位置情報に前記任意のスピン情報を適用し（Ｓ１３０）、これを再び２次元位置情報に変換する（Ｓ１４０）。

Ｓ１４０過程で変換された２次元位置情報を、第２特徴部をなすピクセルの位置情報と比較して（Ｓ１５０）、位置座標が互いに一致するピクセルの数を求め、その数が予め設定された数を超えるか、またはそれ以上である場合には（Ｓ１６０）、前記適用された任意のスピン軸及びスピン量を最終のスピン軸及びスピン量として決定する（Ｓ１７０）。

もし、前記求められた'互いに一致するピクセルの数'が設定数に満たない場合には、再び他の任意のスピン軸及びスピン量に対する任意のスピン情報が算出されて、Ｓ１３０、Ｓ１４０、Ｓ１５０及びＳ１６０などの過程を繰り返し、上記の'互いに一致するピクセルの数'が最も多い場合の任意のスピン情報を最終のスピン情報として決定する。

一方、逆演算方式によるスピン算出が行われると、まず、第２特徴部をなすピクセルの位置情報が３次元位置情報に変換される（Ｓ２１０）。このとき、好ましくは、上述したように位置補正情報が適用されるようにする。

そして、任意のスピン軸及びスピン量を抽出して、これを逆に算出した任意の逆スピン情報を算出し（Ｓ２２０）、前記変換された３次元位置情報に前記任意の逆スピン情報を適用し（Ｓ２３０）、これを再び２次元位置情報に変換する（Ｓ２４０）。

Ｓ２４０過程で変換された２次元位置情報を、第１特徴部をなすピクセルの位置情報と比較して（Ｓ２５０）、位置座標が互いに一致するピクセルの数を求め、その数が予め設定された数を超えるか、またはそれ以上である場合には（Ｓ２６０）、前記適用された任意の逆スピン情報を再び逆に算出したスピン軸及びスピン量を最終のスピン軸及びスピン量として決定する（Ｓ２７０）。

もし、前記求められた'互いに一致するピクセルの数'が設定数に満たない場合には、再び他の任意のスピン軸及びスピン量に対する任意の逆スピン情報が算出されて、Ｓ２３０、Ｓ２４０、Ｓ２５０及びＳ２６０などの過程を繰り返し、上記の'互いに一致するピクセルの数'が最も多い場合の任意の逆スピン情報を再び逆に換算した情報を最終のスピン情報として決定するようになる。

以上のような本発明に係るセンシング装置及びセンシング方法によれば、取得されたイメージ上で抽出した特徴部が完全な場合はもちろん、特徴部の一部が隠れて見えない場合にも、順演算分析や逆演算分析を適切に行うことで、安定的に運動するボールのスピン算出を可能にする特長点がある。

本発明に係る運動するボールに対するセンシング装置及びセンシング方法は、ゴルフスイングによる打球分析などが行われるゴルフ練習と関連する産業分野、及び仮想現実ベースのゴルフシミュレーションが行われるようにすることで、ユーザが仮想のゴルフ競技を楽しめるようにする、いわゆるスクリーンゴルフ産業分野などに利用可能である。

Claims (13)

1. 運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング装置であって、
   表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するイメージ取得手段と、
   連続的に取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部、及び後に取得された第２イメージ上のボール部分の特徴部をそれぞれ抽出するように構成されるイメージ処理手段と、
   前記第１イメージ上のボール部分の特徴部に任意のスピン軸及びスピン量を適用した結果と前記第２イメージ上の特徴部とを比較分析する順演算分析、及び前記第２イメージ上のボール部分の特徴部に任意のスピン軸及びスピン量を逆に適用した結果と前記第１イメージ上の特徴部とを比較分析する逆演算分析のいずれか１つを、予め設定された事項に応じて選択的に行うことによって、前記第１イメージから前記第２イメージへのボールの運動によるスピン軸及びスピン量を算出するように構成されるスピン算出手段と
   を含む、運動するボールに対するセンシング装置。
2. 前記スピン算出手段は、
   前記第１イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を３次元位置情報に変換して、任意のスピン軸及びスピン量に対する任意のスピン情報を適用し、再び２次元位置情報に変換して、前記第２イメージ上のボール部分の特徴部の各ピクセルの位置情報と互いに比較分析することによってスピン軸及びスピン量情報を算出するように構成される順演算分析手段と、
   前記第２イメージ上のボール部分の特徴部をなす各ピクセルの位置情報を３次元位置情報に変換して、任意のスピン軸及びスピン量を逆に算出した任意の逆スピン情報を適用し、再び２次元位置情報に変換して、前記第１イメージ上のボール部分の特徴部の各ピクセルの位置情報と互いに比較分析することによってスピン軸及びスピン量情報を算出するように構成される逆演算分析手段と
   を含む請求項１に記載の運動するボールに対するセンシング装置。
3. 前記スピン算出手段は、
   前記第１イメージ上のボール部分の特徴部である第１特徴部と、前記第２イメージ上のボール部分の特徴部である第２特徴部との大きさを比較して、前記順演算分析によってスピンを算出するか、または前記逆演算分析によってスピンを算出するかを決定する算出方式選択手段を含み、
   前記第１特徴部が第２特徴部よりも大きい場合には、前記順演算分析によってスピンを算出することを決定し、前記第１特徴部が第２特徴部よりも小さい場合には、前記逆演算分析によってスピンを算出することを決定するように構成される請求項１または２に記載の運動するボールに対するセンシング装置。
4. 前記スピン算出手段は、
   前記第１イメージ上のボール部分の特徴部である第１特徴部と、前記第２イメージ上のボール部分の特徴部である第２特徴部とのそれぞれのピクセル数を比較し、前記第１特徴部のピクセル数が前記第２特徴部よりも多い場合には、前記順演算分析によってスピンを算出するように決定し、前記第１特徴部のピクセル数が前記第２特徴部よりも少ない場合には、前記逆演算分析によってスピンを算出するように決定する算出方式選択手段を含む請求項１から３のいずれか１項に記載の運動するボールに対するセンシング装置。
5. 前記スピン算出手段は、
   前記算出方式選択手段によって、前記第１特徴部のピクセル数が前記第２特徴部よりも多い場合に駆動され、前記第１特徴部をなす各ピクセルの位置情報を３次元位置情報に変換して、任意のスピン軸及びスピン量に対する任意のスピン情報を適用し、再び２次元位置情報に変換して、前記第２特徴部の各ピクセルの位置情報と互いに比較し、一致するピクセルの数が予め設定された数を超えるか、またはそれ以上である場合に、当該スピン軸及びスピン量を最終のスピン軸及びスピン量情報として決定するように構成される順演算分析手段と、
   前記算出方式選択手段によって、前記第１特徴部のピクセル数が前記第２特徴部よりも少ない場合に駆動され、前記第２特徴部をなす各ピクセルの位置情報を３次元位置情報に変換して、任意のスピン軸及びスピン量を逆に算出した任意の逆スピン情報を適用し、再び２次元位置情報に変換して、前記第１特徴部の各ピクセルの位置情報と互いに比較し、一致するピクセルの数が予め設定された数を超えるか、またはそれ以上である場合に、前記任意の逆スピン情報を逆に演算したスピン軸及びスピン量情報を最終のスピン軸及びスピン量情報として決定するように構成される逆演算分析手段と
   を含む請求項４に記載の運動するボールに対するセンシング装置。
6. 運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
   表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、
   前記連続的に取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部である第１特徴部、及び後に取得された第２イメージ上のボール部分の特徴部である第２特徴部をそれぞれ抽出するステップと、
   前記第１特徴部に任意のスピン軸及びスピン量を適用した結果と前記第２特徴部とを比較分析する順演算分析、及び前記第２特徴部に任意のスピン軸及びスピン量を逆に適用した結果と前記第１特徴部とを比較分析する逆演算分析のいずれの方式でスピン算出を行うかを決定するステップと、
   前記決定するステップで決定された事項に応じて、前記順演算分析及び逆演算分析のいずれか１つが選択的に行われることによって、前記第１イメージから前記第２イメージへのボールの運動によるスピン軸及びスピン量を算出するステップと
   を含む、運動するボールに対するセンシング方法。
7. 前記決定するステップは、
   前記第１特徴部と前記第２特徴部との大きさを比較し、前記第１特徴部が前記第２特徴部よりも大きい場合には、前記順演算分析によってスピンを算出することを決定し、前記第１特徴部が前記第２特徴部よりも小さい場合には、前記逆演算分析によってスピンを算出することを決定するステップを含む請求項６に記載の運動するボールに対するセンシング方法。
8. 前記決定するステップは、
   前記第１特徴部と前記第２特徴部とのそれぞれのピクセル数を比較し、前記第１特徴部のピクセル数が前記第２特徴部よりも多い場合には、前記順演算分析によってスピンを算出するように決定し、前記第１特徴部のピクセル数が前記第２特徴部よりも少ない場合には、前記逆演算分析によってスピンを算出するように決定するステップを含む請求項６または７に記載の運動するボールに対するセンシング方法。
9. 前記順演算分析によってスピン軸及びスピン量を算出するステップは、
   前記第１特徴部をなす各ピクセルの位置情報を３次元位置情報に変換するステップと、
   任意のスピン軸及びスピン量に対する任意のスピン情報を抽出し、前記変換された３次元位置情報に対して適用するステップと、
   前記任意のスピン情報が適用された３次元位置情報を２次元位置情報に変換するステップと、
   前記変換された２次元位置情報と、前記第２特徴部をなす各ピクセルの位置情報とを互いに比較し、互いに一致するピクセルの数を算出するステップと、
   前記一致するピクセルの数が予め設定された数を超えるか、またはそれ以上である場合、前記任意のスピン情報に対するスピン軸及びスピン量情報を最終のスピン軸及びスピン量情報として決定するステップと
   を含む請求項６から８のいずれか１項に記載の運動するボールに対するセンシング方法。
10. 前記逆演算分析によってスピン軸及びスピン量を算出するステップは、
    前記第２特徴部をなす各ピクセルの位置情報を３次元位置情報に変換するステップと、
    任意のスピン軸及びスピン量を逆に算出した任意の逆スピン情報を抽出し、前記変換された３次元位置情報に対して適用するステップと、
    前記任意の逆スピン情報が適用された３次元位置情報を２次元位置情報に変換するステップと、
    前記変換された２次元位置情報と、前記第１特徴部をなす各ピクセルの位置情報とを互いに比較し、互いに一致するピクセルの数を算出するステップと、
    前記一致するピクセルの数が予め設定された数を超えるか、またはそれ以上である場合、前記任意の逆スピン情報を逆に演算したスピン軸及びスピン量情報を最終のスピン軸及びスピン量情報として決定するステップと
    を含む請求項６から９のいずれか１項に記載の運動するボールに対するセンシング方法。
11. 運動するボールに対するイメージを取得して分析することによって運動するボールに対するスピンを算出する、運動するボールに対するセンシング方法であって、
    表面に所定の特徴部が表示されたボールが運動するに伴って、これに対する連続的なイメージを取得するステップと、
    前記連続的に取得された２つのイメージのうち先に取得された第１イメージ上のボール部分の特徴部に対するイメージである第１特徴部イメージ、及び後に取得された第２イメージ上のボール部分の特徴部に対するイメージである第２特徴部イメージをそれぞれ用意するステップと、
    前記第１特徴部イメージ上の特徴部の部分である第１特徴部と、前記第２特徴部イメージ上の特徴部の部分である第２特徴部とを比較することによってスピン算出方式を選択するステップと、
    前記スピン算出方式を選択するステップで選択された方式に応じて、前記第１特徴部に任意のスピンを適用して前記第２特徴部と比較する順演算方式、及び前記第２特徴部に任意の逆スピンを適用して前記第１特徴部と比較する逆演算方式のいずれか１つが選択的に行われることによって、前記第１特徴部イメージから前記第２特徴部イメージに変化するようにする３次元空間上のスピン軸及びスピン量を見つけるステップと
    を含む、運動するボールに対するセンシング方法。
12. 前記スピン算出方式を選択するステップで前記第１特徴部と前記第２特徴部とを比較して、特徴部の大きさまたはピクセルの数において、前記第１特徴部が前記第２特徴部よりも大きいか、または多い場合、
    前記スピン軸及びスピン量を見つけるステップは、
    前記第１特徴部をなす各ピクセルの位置情報に対して、任意のスピン軸及びスピン量に対する任意のスピン情報を適用するステップと、
    前記任意のスピン情報が適用されたピクセルの位置情報と、前記第２特徴部をなす各ピクセルの位置情報とを比較するステップと、
    前記任意のスピン情報が適用されたピクセルの位置情報と、前記第２特徴部をなす各ピクセルの位置情報とが、予め設定された水準で一致すると判断される場合、前記任意のスピン情報を最終のスピン情報として決定するステップと
    を含む請求項１１に記載の運動するボールに対するセンシング方法。
13. 前記スピン算出方式を選択するステップで前記第１特徴部と前記第２特徴部とを比較して、特徴部の大きさまたはピクセルの数において、前記第１特徴部が前記第２特徴部よりも小さいか、または少ない場合、
    前記スピン軸及びスピン量を見つけるステップは、
    前記第２特徴部をなす各ピクセルの位置情報に対して、任意のスピン軸及びスピン量を逆に算出した任意の逆スピン情報を適用するステップと、
    前記任意の逆スピン情報が適用されたピクセルの位置情報と、前記第１特徴部をなす各ピクセルの位置情報とを比較するステップと、
    前記任意の逆スピン情報が適用されたピクセルの位置情報と、前記第１特徴部をなす各ピクセルの位置情報とが、予め設定された水準で一致すると判断される場合、前記任意の逆スピン情報を再び逆に算出したスピン情報を最終のスピン情報として決定するステップと
    を含む請求項１１または１２に記載の運動するボールに対するセンシング方法。

Images