JP2005270480A - ゴルフスウィング計測システム - Google Patents

Abstract

【課題】マーク等をゴルファーに付さずに画像上における体の注目点の抽出を行う。
【解決手段】ゴルフクラブ１３を把持してスウィングするゴルファー１１をカラー動画像で撮影する撮影手段１４、１５と、撮影されたカラー動画像を取り込むコンピュータ１６とを備え、コンピュータ１６は、ゴルファー１１の肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、カラー動画像を構成する複数の静止画像上のピクセル色情報のうち色範囲内にあるピクセルをゴルファー１１の肌色領域Ｈ１とみなして肌抽出を行い、この抽出された肌色領域Ｈ１からゴルファー１１の体の注目点３０の位置座標を取得する。
【選択図】図１１

Description

本発明は、ゴルフスウィング計測システムに関し、詳しくは、ゴルファーのスウィング時の関節等の動きを撮影された画像から効率良く自動抽出するものに関する。

従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。これら装置によりゴルファーは自己の飛球の良し悪しを検討することが可能となるが、肝心のフォームを改善するための有用な情報を提供することはあまりできない問題があった。

そこで、特開２００３−１１７０４５号公報に開示されたスイングフォーム診断装置では、ゴルファーがスイングする画像を撮影してスイングフォームの診断のために重要な特定動作点の画像のみを抽出するようにしている。詳しくは、撮影された被験者の動画の中からスイング動作に関わるフレームを抽出し、各フレームと基準画像との差分画像における移動部分画像の解析結果に応じてスイング動作中の特定動作点を判定し、その特定動作点毎に対応するフレームを抽出して画像表示している。

しかしながら、スウィング動作中の特定動作点に対応するフレームを抽出しても、その抽出画像をただ見るだけでは、ゴルファーはスウィング中の自己の体（関節など）の動きを具体的に提供してもらうことはできず、自己のフォームの何処が欠点で何を直すべきが分かり難い問題がある。

そこで、特許第２７９４０１８号で開示された動作診断装置では、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。しかしながら、前記装置では被診断者の体にマーク等の動作ポイントを取り付けなければ画像上での体の動きを把握することができず、被診断者であるユーザには診断を受ける準備作業に煩わしさを与えてしまう欠点がある。また、スウィング動画像の全コマについて多数の動作ポイントの座標を抽出する計算を行わねばならず、計算量が膨大になると共に動作ポイントの位置座標の誤認率も増大する問題がある。
特開２００３−１１７０４５号公報 特許第２７９４０１８号

本発明は、前記問題に鑑みてなされたもので、マーク等をゴルファーに付さずに画像上における体の注目点の抽出を行うと共に、計算時間および誤認率の低減を図ることを課題としている。

前記課題を解決するため、本発明は、ゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
前記コンピュータは、上記ゴルファーの肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、前記カラー動画像を構成する複数の静止画像上のピクセル色情報のうち前記色範囲内にあるピクセルを前記ゴルファーの肌色領域とみなして肌抽出を行い、この抽出された肌色領域から前記ゴルファーの体の注目点の位置座標を取得することを特徴とするゴルフスウィング計測システムを提供している。

前記構成とすると、前記カラー動画像を構成する静止画像上でゴルファーの体の注目点を認識する際にゴルファーにマーク等が付されてなくても、ゴルファーの体の肌色領域を抽出することで、画像上におけるゴルファーの体の注目点の位置座標を導き出すことができる。したがって、スイング計測を行う被診断者であるゴルファーは計測用器具等を装着するなどの手間を省くことができ利便性が向上する。

前記肌抽出される肌色領域は前記ゴルファーの肘、顔あるいは手首を含み、前記注目点として前記ゴルファーの肘、首あるいは手首の位置座標を取得していることが好ましい。
即ち、ゴルファーが半袖上着を着用した場合に肌が露出する肘や首や手首を前記注目点とすることで、上記した肌抽出により位置座標を取得することができる。

前記静止画像上に前記肌色領域が存在すると予測される領域である探索範囲を設定し、この探索範囲内で前記肌抽出の処理を行う。

前記構成とすると、前記肌抽出を行うために前記色範囲内であるか否かを判断する領域を全画面とせずに前記探索範囲内だけで判断しているので、ゴルファーの体とは別の場所に肌色と近似した色が静止画像中に含まれていても排除して誤認識を防止することができると共に計算時間も短縮化することができる。なお、静止画像の探索範囲内のピクセルについて前記背景画像との差分処理を行って背景画像を排除すれば、探索範囲内の背景画像中に肌色と近似した色が存在しても排除してさらに誤認識を防止することができる。

前記肌色領域の輪郭を抽出し、この輪郭上の所定のピクセルを前記注目点の位置座標として特定している。
即ち、輪郭上のピクセルを注目点の位置座標の候補とすることで注目点の特定が行いやすくなる。

前記肌色領域の輪郭を抽出し、この輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定している。

前記構成とすると、例えば、あまり屈曲されてない関節の位置座標を抽出するのに有効である。なお、直線部の判定基準となる前記曲率の数値範囲は−５°〜５°とすれば、抽出精度上より好ましい。

前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出し、該チェックポイント画像上において前記肌色領域の抽出処理を行って前記注目点の位置座標を取得している。

前記構成とすると、ゴルフスウィング診断に有用な静止画像（チェックポイント画像）を選択的に抽出した上で、ゴルファーの注目点の位置座標を取得する手順としているので、撮影されたスウィング動画像の全コマ（静止画像）についてゴルファーの注目点の位置座標を取得する必要が無くなり計算コストを低減できる。また、計算対象とする静止画像をチェックポイント画像だけに絞ることで、注目点の誤認率の低減にも貢献する。

以上の説明より明らかなように、本発明によれば、静止画像上でゴルファーの体の肌色領域を抽出することで、画像上におけるゴルファーの体の注目点の位置座標を導き出すことができる。よって、スイング計測を行う被診断者であるゴルファーはマークや計測用器具等を装着する必要がなく利便性が大幅に向上する。

本発明の実施形態を図面を参照して説明する。
図１はゴルフスウィング計測システムの概略図を示し、コンピュータ１６と、該コンピュータ１６に接続された表示手段であるモニター１７と、コンピュータ１６に接続された入力手段であるキーボード１８およびマウス１９と、コンピュータ１６に接続されゴルファー１１の正面位置および飛球線後方（側面）位置に設置されたカラーＣＣＤカメラ１４、１５とを備えている。

被診断者となるゴルファー１１（右利きとする）は半袖上着１２を着用している。
ゴルファー１１の把持するゴルフクラブ１３のシャフト１３ａには間隔をあけて３つの色付マークＭ１、Ｍ２、Ｍ３が取り付けられている。色付マークＭ１〜Ｍ３は、グリップ側からヘッド側にかけて等間隔に取り付けており、グリップに最も近い色付マークＭ１は黄色とし、真ん中に配置された色付マークＭ２はピンク色とし、ヘッド１３ｂ側に配置された色付マークＭ３は黄色として隣り合うマークが異なる色となるようにしている。本実施形態では、各色付マークＭ１〜Ｍ３の間の距離は２５０ｍｍとすると共に、グリップ端と色付マークＭ１との距離は２５０ｍｍとする。

２つのカラーＣＣＤカメラ１４、１５はコンピュータ１６で撮影タイミングを同期させており、高速度デジタルＣＣＤカメラを用いる場合には、１秒間あたりのコマ数が３０コマ以上で、好ましくは６０コマ以上、シャッタースピードは１／５００ｓ、好ましくは１／１０００ｓ以下とする。

スウィングを撮影する空間（縦３×横３×高さ２ｍ）の明るさはできるだけ明るい空間であることが好ましいが、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、３０００ルクスを超えない範囲内で均一の明るさをスウィング環境として設定することが好ましい。また、スウィングを撮影する空間の背景２０は、ゴルファー１１や色付マークＭ１〜Ｍ３を抽出しやすいように、極力、異なる色とすることが好ましい。

コンピュータ１６は、カラーＣＣＤカメラ１４、１５とＬＡＮケーブルやＩＥＥＥ１３９４やＣａｍｅｒａＬｉｎｋ規格等を用いてオンライン接続されており、カラーＣＣＤカメラ１４、１５で撮影されたスウィング動画像（複数の静止画像）をコンピュータ１６のハードディスクやコンピュータ１６上のメモリやボード上のメモリに保存している。また、コンピュータ１６には、後述するように、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルを色付マークＭ１〜Ｍ３の位置として座標データを取得する手段と、色付マークＭ１〜Ｍ３の座標データを基にしてシャフト１３ａの動きを認識する手段と、ゴルファーの腕の動きを認識する手段と、シャフト１３ａの動作データに基づいてスウィング計測に必要な静止画像を選択的に抽出する手段とを備えたプログラムを内蔵している。

次に、ゴルファー１１の体の注目点の位置座標の取得について説明する。
先ず、カラーＣＣＤカメラ１４、１５でゴルファー１１が存在しない状態の背景２０のみを撮影した背景画像を読み込み、また、カラーＣＣＤカメラ１４、１５からスウィング動画像の各コマ毎の静止画像をコンピュータ１６に取り込んでハードディスクあるいはコンピュータ１６内のメモリあるいはボード上のメモリに保存する。

次に、スウィング動画像を構成する多数の静止画像からスウィング診断に有用となるスウィング姿勢であるアドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の各チェックポイント画像を自動抽出する。
前記のようにスウィング動画像の多数の静止画像から前記チェックポイント画像を抽出することで、後工程において肌抽出処理等を用いてゴルファー１１の体の注目点の位置座標を抽出する計算を前記チェックポイント画像についてのみ行えばよい利点がある。

以下、各チェックポイント画像の自動抽出方法について分説する。
（アドレス画像）
先ず、アドレス画像の抽出方法について説明する。なお、アドレス画像とは、ゴルファー１１がアドレス姿勢をしている状態の静止画像である。
スウィング動画像の撮影をアドレス状態から開始した場合は、初期画像をアドレス画像とする。しかし、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得した場合には、例えば、初期画像がワッグル（アドレス前に予備動作としてヘッドを前後に揺らす動作）等を含むことで、初期画像が必ずしもアドレス画像とならない。そこで、この場合には、各フレーム（静止画像）間で差分処理を実施し、差分が最小となるフレームがゴルファー１１が静止している状態と考えてアドレス画像とみなす。

次に、テイクバックシャフト９時画像、トップ画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の抽出方法について説明する。

ここで、テイクバックシャフト９時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。トップ画像とは、テイクバックからダウンスウィングに移行するトップポジションの状態の静止画像である。ダウンスウィングシャフト９時画像とは、ダウンスウィング時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。インパクト前画像とは、インパクト直前の状態の静止画像である。インパクト画像とは、ゴルフクラブのヘッドがボールと衝突した瞬間の静止画像である。インパクト後画像とは、インパクト直後の状態の静止画像である。フォローシャフト３時画像とは、フォロースルー時にシャフトを時計の針に見立てた場合に３時位置にある状態の静止画像である。フィニッシュ画像とは、スウィングが終了しゴルフクラブの動きが停止した状態の静止画像である。

これらチェックポイント画像は、基本的には各フレームにおける色付マークＭ１〜Ｍ３の座標を追跡することで判定されるので、先ず、色付マークＭ１〜Ｍ３の自動追尾方法について説明する。

アドレス画像において色付マークＭ１〜Ｍ３を自動認識するための二値化処理を行う。なお、二値化処理の対象は本実施形態ではフレーム全体としているが、ゴルファー１１が画像中心付近に撮影されるように限定しておいた場合には、図２に示すように、ゴルフシャフト１３ａが存在すると考えられる領域Ｓのみで二値化処理してもよい。なお、領域Ｓの設定は具体的には、画像の幅をＷ、高さをＨとすると、１／３Ｗ〜２／３Ｗの範囲を領域Ｓの幅とすると共に、１／２Ｈ〜４／５Ｈの範囲を領域Ｓの高さとしている。
二値化処理の方法としては、ＲＧＢ値やＹＩＱ値を用いてもよいが、本実施形態では色付マークＭ１〜Ｍ３の色を最も認識しやすい色相・彩度・明度を利用している。具体的には、フレーム上の各ピクセル毎のＲＧＢ値を取得し、

前記の数式１により求められる刺激和Ｔを用いて以下の数式２の正規化を行う。

なお、ＲＧＢ値は色が２４ビットで表現される場合は各色は０〜２５５までの値となるものである。

色相θは、以下の数式３および数式４で算出される。

但し、０≦θ₁≦πを用いて、

とする。

彩度Ｓは、以下の数式５で算出される。

明度Ｖは、以下の数式６で算出される。

前記数式３〜６で算出されたピクセルの色相、彩度および明度の値（ピクセル色情報）が所定の条件（基準色情報）を満たさないピクセルは０とし、該条件を満たすピクセルは色付マークＭ１〜Ｍ３と同一の色であるとみなして１とする二値化処理を行い、１のピクセルを順にラベリング処理する。
ここで、色相、彩度および明度の条件としては、例えば、黄色の色付マークＭ１、Ｍ３であれば色相θ＝３０〜６０°、彩度Ｓ≧０．５、明度Ｖ≧１００という閾値を設定しており、ピンク色の色付マークＭ２であれば色相θ＝３２０°〜３６０°または０°〜１０°、彩度Ｓ＝０．３〜０．６、明度Ｖ≧８０という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。

ここで、例えばピンク色の色付マークＭ２は現実には１つしかないが、画像中に関係のないピンク色が存在した場合には２つ以上の領域が抽出される恐れがある。そのような場合を考慮して、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域は色付マークＭ２ではないと判断し、設定範囲内の面積を有する領域を色付マークＭ２であると認識する。本実施形態では色付マークＭ１〜Ｍ３として認識する面積範囲は５〜６０若しくは５〜２００ピクセルとしている。

前記のようにして色付マークＭ１〜Ｍ３と認識したピクセルを各マークＭ１〜Ｍ３のラベリングにより１、２、３とした場合、各数字のピクセルからマーク色情報と重心座標を得る。ここで、マーク色情報とは、領域内の各ピクセルの平均色と、各ピクセルのＲＧＢの最大値・最小値と、その変動幅を含む情報のことである。
以上のような処理を行うことで、ゴルフクラブ１３のシャフト１３ａに付された色付マークＭ１〜Ｍ３を精度良く自動抽出することができる。

次に、アドレス画像で自動抽出された色付マークＭ１〜Ｍ３をアドレス画像取得後の２、３枚目の画像について自動追尾する処理を行う。
図３に示すように、色付マークＭ１〜Ｍ３には、色付マークＭ１〜Ｍ３を中心として四角形の探索範囲Ｓ１〜Ｓ３を設定する。ここで、探索範囲Ｓ１〜Ｓ３とは、色付マークＭ１〜Ｍ３の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲Ｓ１〜Ｓ３の概念を導入すれば、画像上の探索範囲Ｓ１〜Ｓ３外に色付マークＭ１〜Ｍ３と色が近似している箇所があっても、色付マークＭ１〜Ｍ３の検出処理を探索範囲Ｓ１〜Ｓ３内しか行わないため誤認識が防止できると共に、フレーム内の全ピクセルを処理対象とする場合に比べ計算時間も大幅に短縮することが可能となる。本実施形態では、探索範囲Ｓ１〜Ｓ３は色付マークＭ１〜Ｍ３を中心としてデフォルトで縦横（ＹＸ）範囲を１０×１０ピクセルとしている。なお、画像上では横方向をＸ軸、縦方向をＹ軸としていると共に、画像上の右向きがＸ座標の正方向、下向きがＹ座標の正方向としている。また、前記自動追尾中の探索範囲Ｓ１〜Ｓ３の配置決定は、アドレス画像取得後の２、３枚目の画像においてはシャフト１３ａは殆ど動かないので、１つ前の時刻の画像で自動認識した色付マークＭ１〜Ｍ３を中心位置として設定している。

次いで、色範囲を設定する。
色範囲とは、色付マークＭ１〜Ｍ３を認識する際に、画像上の対象ピクセルの色情報が色付マークＭ１〜Ｍ３の色（基準色情報）と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上述のアドレス画像で取得されたマーク色情報のＲ（赤）Ｇ（緑）Ｂ（青）のそれぞれについて平均値を中心として最大最小幅の半分の数値範囲を色範囲として設定している。

以下の自動追尾処理は、スウィング中の移動速度の遅いグリップ近くに配された色付マークＭ１から順にＭ２、Ｍ３と追尾していくこととする。
まず、探索範囲Ｓ１内の差分ピクセルのＲＧＢそれぞれについて前記色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークＭ１を表示するピクセルとみなし、その色抽出されたピクセル群の重心位置を取得する。もし、この色範囲を用いた方法により追尾できない場合には、色情報（色相、彩度、明度）を利用して色抽出を行い追尾してもよい。これらの処理を各色付マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３について行う。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。

次に、アドレス画像から４枚目以降のフレームにおける色付マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３の中心位置の設定方法について説明する。先ず、最もグリップに近い色付マークＭ１の場合については、例えば、４枚目のフレームに関しては、１枚目（アドレス）−２枚目間の移動ベクトル量Ｖ１と、２枚目−３枚目間の移動ベクトル量Ｖ２とを求めて、その増加量（Ｖ２−Ｖ１）を考慮して３枚目−４枚目間の移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}を予測する。１つ前の時刻の探索範囲Ｓ１中心位置からその移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけオフセット移動させた位置を現画像（４枚目）の探索範囲Ｓ２の中心として設定している。（５枚目以降のフレームについても同様の手順）

色付マークＭ２、Ｍ３の探索範囲Ｓ２、Ｓ３の中心位置については、例えば４枚目のフレームに関しては、前記で位置が決定した色付マークＭ１を利用して求めた移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけ１つ前の時刻の探索範囲Ｓ２、Ｓ３中心位置からオフセットさせると共に、１枚目−２枚目間のシャフト角度Ｄ１と、２枚目−３枚目間のシャフト角度Ｄ２とを求めて、その増加量（Ｄ２−Ｄ１）を考慮して３枚目−４枚目間のシャフト角度{Ｄ２＋（Ｄ２−Ｄ１）}を予測し、４枚目のフレームの色付マークＭ１を回転支点として角度{Ｄ２＋（Ｄ２−Ｄ１）}だけ回転させる。（５枚目以降のフレームについても同様の手順）
このように、オフセット移動と回転移動とを組み合せて探索範囲Ｓ２、Ｓ３の中心位置を決定することで、ダウンスウィングのようなシャフト１３ａの移動が速い場合でも、シャフト位置をかなり正確に予測することができ、探索範囲Ｓ２、Ｓ３の面積を追尾中に増加させる必要がなくなる。なお、図４に示すように、探索範囲Ｓ２、Ｓ３の面積は、２０×２０ピクセルとしている。
もし、探索範囲Ｓ１内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。

前記方法によっても色付マークＭ１〜Ｍ３を追尾できなかった場合は、アドレス画像で色付マークＭ１〜Ｍ３を自動抽出した方法と同様にして再二値化処理を実施する。即ち、アドレス画像で決定した色範囲で色付マークＭ１〜Ｍ３が発見できない主な理由は、アドレス画像に比べて暗い領域に存在する色付マークＭ１〜Ｍ３を追尾しようとすることが考えられるため、色付マークＭ１〜Ｍ３の彩度と明度の閾値を小さくする変更をして二値化処理を再実施することとする。

これでも追尾できなかった場合には、３つの色付マークＭ１〜Ｍ３のうち２つのマークが認識できている場合は該２つのマークに対する位置関係から残りの１つのマークを位置を算出することとする。あるいは、前記方法によってオフセットした探索範囲の中心を現在の時刻のマーク位置と仮にみなしてもよい。
以上のようにして、アドレスからフィニッシュまでのスウィング動作における色付マークＭ１〜Ｍ３の位置座標データが取得される。

次に、前記取得されたスウィング中の色付マークＭ１〜Ｍ３の座標データに基づいて各チェックポイント画像を抽出する。
（テイクバックシャフト９時画像）
テイクバックシャフト９時画像は、色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａが水平（９０°）に最も近い画像を選択することで抽出する。あるいは、色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になる画像を選択することで抽出してもよい。なお、ここでいう角度はシャフト１３ａが６時の状態を０°として時計回りを正とする。

（トップ画像）
トップ画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が最も大きくなった画像を選択することで抽出する。あるいは、色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になる画像を選択することで抽出してもよい。

（ダウンスウィングシャフト９時画像）
ダウンスウイングシャフト９時画像は、色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａが水平（９０°）に最も近く、かつ、時刻がトップ画像よりも後である画像を選択することで抽出する。あるいは、色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ成分が極小になり、かつ、時刻がトップ画像よりも後である画像を選択することで抽出してもよい。

（インパクト画像）
インパクト画像は、色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が０°に最も近くなった画像を選択することで抽出する。あるいは、色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＹ方向成分が極小になる画像を選択することで抽出してもよい。また、インパクト画像は外部トリガー信号を用いて画像抽出を行ったり、インパクト時のヘッドとボールの打球音を利用してインパクト画像を抽出してもよい。

（インパクト前画像）
インパクト前画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を巻き戻して得られる画像を選択することで抽出する。

（インパクト後画像）
インパクト後画像は、前記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を進めて得られる画像を選択することで抽出する。

（フォローシャフト３時画像）
フォローシャフト３時画像は、色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が−９０°に最も近くなった画像を選択することで抽出する。あるいは、色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になり、かつ、時刻がインパクト画像より後の画像を選択することで抽出してもよい。

（フィニッシュ画像）
フィニッシュ画像は、色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１３ａの角度を算出し、シャフト１３ａの角度が最も小さくなった画像を選択することで抽出する。あるいは、色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になり、かつ、時刻がトップ画像よりも後の画像を選択することで抽出してもよい。

次に、テイクバック左腕水平画像、ダウンスウィング左腕水平画像の抽出方法について説明する。
ここで、テイクバック左腕水平画像とは、テイクバック時に左腕の前腕部が水平状態の静止画像である。ダウンスウィング左腕水平画像とは、ダウンスウィング時に左腕の前腕部が水平状態の静止画像である。

左腕が水平である画像を認識するためには、左腕を含む画像領域であるテンプレートを作成し、テンプレートマッチング処理によりマッチしたテンプレート角度が水平となる画像を左腕水平とする。
以下、静止画像中の左腕を含むテンプレートを作成するためにゴルファー１１の輪郭抽出を行う。

先ず、色付マークＭ１〜Ｍ３の座標から取得されるシャフト角度によりシャフト１３ａが６時状態となる画像を抽出する。グリップに最も近い色付マークＭ１と次に近い色付マークＭ２とからマーク間ベクトルを求めてグリップ位置を決定する。具体的には、
（グリップ位置）＝（色付マークＭ１の位置）−α×（マーク間ベクトル）
によりグリップ位置を算出する。
ここで、αは、色付マークＭ１と色付マークＭ２との距離に対する色付マークＭ１とグリップとの実際の距離の割合を意味しており、本実施形態ではα＝０．５としている。

次に、シャフト６時画像を背景画像（ゴルファー１１が写っていない画像）で背景差分処理を行ってゴルファー１１のシルエットを抽出する。詳しくは、背景画像でのＲＧＢ値をそれぞれｒ’、ｇ’、ｂ’とし、シャフト６時画像上のピクセルのＲＧＢ値をそれぞれｒ、ｇ、ｂとすると、数式７に示すノルム（対象ピクセルでのｒ、ｇ、ｂとｒ’、ｇ’、ｂ’との差の絶対値の２乗和の平方根）が予め設定した閾値未満であればゴルファー１１のシルエットでないとみなして当該ピクセルを０とし、該閾値以上であればゴルファー１１のシルエットであるとみなして１とする二値化処理を行い、１のピクセルについて順にラベリング処理を行う。なお、本実施形態でのノルムの閾値は４０としている。また、色相、彩度、明度を用いて背景差分処理を行ってもよく、その場合、シルエットであるとみなしたラベリング領域のうち、５０００以上もしくは１００００以上の１つ或いは２つの領域をシルエットとする。

図５（Ａ）に示すように、この二値化画像について走査処理を行って、１あるいは２のピクセルに当たったところから輪郭抽出を行う。この輪郭抽出の方法は、上記ラベリングした画像についてフレームの左上のピクセルを始点として右方向へと上から下へ走査処理を行い、１あるいは２のピクセルを探して輪郭抽出を行う。詳しくは、走査処理により初めに（４，７）のピクセルが見つかり、図５（Ｂ）に示すように、このピクセルの直前のピクセルを除いた回りの７つのピクセルを左上のピクセルから時計回りに調べ、最初に（４，７）で見つけたピクセル（１あるいは２）と同じラベルのピクセルを次の境界点とする。この処理を順々に行い、境界点が（４，７）に戻ってきた時点で輪郭抽出を終了する。この抽出された輪郭のままではノイズが残っているので、移動平均処理を輪郭全体に循環して行うことによってスムージングをかけておく。

なお、移動平均処理は以下の数式８で行われる。

ここで、ｂｎｄ＿ｐｔ（ｎ）はｎ番目の輪郭の座標で、ｋは計算に利用する前後のピクセル数で、ｂｎｄ＿ｐｔ＿ｉｄｏ（ｎ）は移動平均後の輪郭の座標である。
ただし、ゴルファー１１の輪郭が１番目からｂｎｄ＿ｎｕｍ番目（輪郭番号の最後）まで存在する場合において、移動平均を行うピクセルをｎ番目とすると、ｎ＜ｋである場合は、輪郭番号の最後の方であるｂｎｄ＿ｎｕｍ−（ｋ−ｎ）番目〜ｂｎｄ＿ｎｕｍ番目のピクセルを利用して移動平均を行う。また、ｂｎｄ＿ｎｕｍ−ｎ＜ｋである場合は、輪郭番号の最初の方である１番目〜ｋ−（ｂｎｄ＿ｎｕｍ−ｎ）番目のピクセルを利用して移動平均を行っている。

次いで、スムージング後の輪郭データから曲率を計算してゴルファー１１の左肩位置を取得する。つまり、図６に示すような輪郭データを含む画像の上から走査して初めに現れる輪郭２１の大きな曲率部分を頭とし、次に現れる小さな曲率部分を首とし、その次に現れる大きな曲率部分を肩と認識する。ここで、服のしわ等を考慮して、前後±５のピクセルでそれぞれ曲率を計算してその平均値をそれらの中心のピクセルの曲率とするとよい。

以下、輪郭の曲率の計算方法について説明する。
対象となる輪郭の円弧の長さをＳ、角度をθとすると、曲率Ｃは以下の数式９で表される。

この数式９は、曲率を求めたいピクセルと該ピクセルの隣接点だけで計算すると、値の変動が大きく正しい値が得られないので、曲率を求めたいピクセルの両側ｋ個の点列を含めて以下の数式１０により計算する方法が用いられる。

なお、数式１０は、数式９におけるＳを省略して簡素化している。本実施形態では、さらに簡単のため、図８に示すように、点列の両端を用いて以下の数式１１で曲率Ｃを算出している。

（テイクバック左腕水平画像）
図７（Ａ）に示すように、前記のようにして抽出された左肩２２とグリップ２３との間の領域において長方形のテンプレートＴを設定し、該テンプレートＴの長辺の長さＬ１は肩とグリップの間の距離の半分とし、短辺の長さＬ２は腕がテンプレートＴの中に入る程度の長さ（本実施形態では２０ピクセル）としている。

次の時刻の画像を読み込んでグリップ位置を取得し、グリップ位置の移動ベクトルと同じように前フレームのテンプレートＴを平行移動させる。次いで、図７（Ｂ）に示すように、テンプレートＴをグリップ位置を支点として時計回りに１０°まで１°刻みで回転させて最もマッチングしたテンプレートの角度を計算し、テンプレート角度が９０°（水平）に最も近い画像をテイクバック左腕水平画像であるとみなして抽出する。さらに、テンプレートの回転に並進を加えてマッチング処理を行ってもよい。

なお、前記テンプレートマッチング処理は、テンプレートＴ内のピクセルの色情報であるＲＧＢ値を以下の数式１２により輝度Ｙに変換して評価する。（なお、輝度Ｙで評価してもよいが、ＲＧＢのノルム（数式７を参照）を用いても構わない。）

前記評価は、以下の数式１３で表される画素値の差の絶対値の和（Sum of Absolute Difference：ＳＡＤ）が用いられる。

ここで、ｔは現在のフレーム、ｔ−１は１コマ前のフレーム、（ｐ，ｑ）は平行移動を行う範囲、（ｉ₀，ｊ₀）はグリップ位置、ｍはテンプレートＴの長辺のピクセル数、ｎはテンプレートＴの短辺のピクセル数、θはテンプレートＴの回転角度、αは１コマ前に求めたテンプレート角度、ｇ_t（ｘ，ｙ，θ）は座標（ｘ，ｙ）でテンプレート角度がθにおけるピクセルの輝度Ｙ（あるいはＲＧＢのノムル）を表す関数である。

テンプレートＴの位置・角度（ｐ，ｑ，θ）を前記条件のもと変化させてＳ（ｐ，ｑ，θ）を計算し、この値が最小となる位置・角度で最もマッチングしたとみなすこととしている。このマッチングした際の（ｐ，ｑ，θ）のθ値が９０°に最も近くなる画像をテイクバック左腕水平画像として抽出する。

（ダウンスウィング左腕水平画像）
ダウンスウィング９時画像は、前記取得されたテイクバック左腕水平画像での左腕を含むテンプレートを利用して、そのテンプレートと最もマッチングするトップ画像以降の画像をダウンスウィング左腕水平画像として抽出する。
ここで、スウィング画像の順番を考慮すればトップ画像の後にダウンスウィング左腕水平画像が抽出されること分かっているので、トップ画像からテンプレートマッチング処理を開始してもよいが、それでは時間がかかったり、あるいは、トップで腕が全部見えるとは限らないので誤認識する可能性もある。
そこで、本実施形態では、先にダウンスウィングシャフト９時画像を抽出しておいて、その後、時刻を戻しながらテンプレートマッチングを行うことによりダウンスウィング左腕水平画像を抽出することとして計算時間の短縮化と誤認識の防止を図っている。

（テイクバックシャフト８時画像）
次に、テイクバックシャフト８時画像の抽出方法について説明する。なお、テイクバックシャフト８時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に８時位置にある状態の静止画像である。
上述したシャフト６時画像でのゴルファー１１のシルエットを抽出することで、体の幅（スタンス幅）を取得しておき、右足側端を通過する垂線と色付マークＭ１が交差する時刻の画像をテイクバックシャフト８時画像として選択して抽出する。

以上のようにして図９に示すような正面のチェックポイント画像（アドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像）を抽出することができ、かつ、カラーＣＣＤカメラ１４、１５は互いに撮影タイミングを同期させているので、正面のチェックポイント画像と同時刻のものを選らぶことで、図１０に示すような飛球線後方（側面）のチェックポイント画像を抽出することができる。
以下、チェックポイント画像の夫々について、ゴルファー１１のスウィング診断に必要な注目点の位置座標の取得を行う。

（右肘の位置座標）
例えば、図１１はテイクバック左腕水平画像（側面）における注目点の１つである右肘の位置座標の取得を示す。
先ず、グリップ端Ｇの位置座標を求める。グリップに最も近い色付マークＭ１と次に近い色付マークＭ２とからマーク間ベクトルを求めてグリップ端を決定する。具体的には、
（グリップ端）＝（色付マークＭ１の位置）−Ａ×（マーク間ベクトル）
（グリップ中央）＝{（色付マークＭ１の位置）＋（グリップ端）}／２
により算出する。
ここで、Ａは、色付マークＭ１と色付マークＭ２との距離に対する色付マークＭ１とグリップ端Ｇとの実際の距離の割合である。

上記取得されたグリップ端Ｇを起点としてＸ方向に±４０ピクセル、Ｙ方向に±６０ピクセルの範囲の位置に探索範囲Ｓを設定し、探索範囲Ｓ内のピクセルについて背景差分した後、色相θ＝０〜３０、Ｒ＝２０〜２５５、Ｇ＝２０〜１８０、Ｂ＝１８０以下の条件（色範囲）を満たすピクセルの集合領域を肌色領域Ｈ１とみなす。この肌色領域Ｈ１について上述した方法で輪郭Ｒ１を取得し、グリップ端Ｇから最も遠い輪郭Ｒ１上のピクセルを右肘３０として位置座標を取得する。

次に、図１４はトップ画像（側面）における注目点の１つである右肘の位置座標の取得を示す。
なおここからは、画像上での角度については、マイナスＸ方向から時計回りに正角度、反時計回りに負角度としている。
まず、手首３２の位置座標を求める。図１２に示すように、ゴルファー１１のシルエットＳＩの初期点Ｉ（画像左上のピクセルから順に左→右、上→下に走査した場合に見つかる最初のピクセル）を取得し、この初期点ＩのＸ座標がテイクバック左腕水平画像での後述する方法で取得された後首４０のＸ座標よりも小さいかどうかを判定する。小さい場合には、初期点Ｉを仮手首として初期点Ｉを中心として、傾きが９０°〜１８０°となる直線部ＳＴ１と、傾きが−９０°〜−１８０°となる直線部ＳＴ２を抽出し、直線部ＳＴ１と直線部ＳＴ２との交点を手首３２とする。これで直線部が抽出できなかった場合には初期点Ｉを手首とする。
一方、初期点ＩのＸ座標が後首４０のＸ座標より大きい場合には、図１３に示すように、後述する肌色抽出を行ってゴルファー１１の顔Ｈ２を取得後、手の肌色抽出を実施し、手の肌色領域Ｈ３の中心を手首とする。

上記取得された手首３２を起点としてＸ方向に−６０ピクセル、Ｙ方向に＋１００ピクセルの範囲の位置に探索範囲Ｓを設定し、探索範囲Ｓ内のピクセルについて背景差分した後、色相θ＝０〜３０、Ｒ＝２０〜２５５、Ｇ＝２０〜１８０、Ｂ＝１８０以下の条件（色範囲）を満たすピクセルの集合領域を肌色領域Ｈ４とみなす。この肌色領域Ｈ４について輪郭Ｒ２を取得し、手首３２から最も遠い輪郭Ｒ２上のピクセルを右肘３４として位置座標を取得する。

（左肘の位置座標）
図１５はトップ画像（側面）における注目点の１つである左肘３６の位置座標の取得を示す。
上記取得された手首３２を起点としてＸ方向に＋６０ピクセル、Ｙ方向に＋８０ピクセルの範囲の位置に探索範囲Ｓを設定し、探索範囲Ｓ内のピクセルについて背景差分した後、色相θ＝０〜３０、Ｒ＝２０〜２５５、Ｇ＝２０〜１８０、Ｂ＝１８０以下の条件（色範囲）を満たすピクセルの集合領域を肌色領域Ｈ５とみなす。この肌色領域Ｈ５について輪郭Ｒ３を取得し、輪郭Ｒ３のうち曲率が−１０°〜１０°の範囲内のピクセルが５ピクセル以上連続している箇所を直線部（図１５の太線）として抽出し、これら直線部のうち傾きが０°〜９０°の範囲内のものを選択して代表直線部ＳＴ３としている。

次いで、代表直線部ＳＴ３の傾きと同一の傾きを有すると共に上記各直線部の各重心位置の平均値を通過点とする直線３８を取得する。また、上記取得された手首３２と後述する方法で取得された左肩３７とを結ぶラインの中点を通過すると共に該ライン傾きの逆数の傾きを有する直線３９を取得する。これら直線３８、３９の交点を左肘３６として位置座標を取得する。

（後首の位置座標）
図１６（Ａ）（Ｂ）に示すように、抽出された肌色領域Ｈ６のＸ座標が最小の顔領域の輪郭点をＯとし、点ＯとＸ座標が同一でＹ座標が最小の輪郭点をＡとし、点ＯとＹ座標が同一でＸ座標が最小の輪郭点をＢとすると、直線ＡＢの傾きと垂直で点Ｏを通る直線を引き、この直線と輪郭との交点を後首４０と特定する。

（左肩の位置座標）
図１７（Ａ）に示すように、後首４０のＹ座標と一致する輪郭Ｒ４上のピクセルを首下４１として抽出し、首下４１から輪郭Ｒ４の起伏の情報を用いて左肩を決定する。具体的には、首下４１から時計回りに輪郭Ｒ４を調べて最初に山（極大点）が見つかれば、首下４１から時計回りに３０ピクセルまでの山→この山から時計回りに３０ピクセルまでの谷（極小点）→この谷から時計回りに２０ピクセルまでの山を左肩３７としている。

上記取得されたチェックポイント画像におけるゴルファー１１の注目点の位置座標は、コンピュータ１６のメモリに記憶保持され、各注目点の位置座標に基づいてゴルファー１１のスウィングの診断を行う。

本発明の実施形態のゴルフスウィング計測システムの構成図である。 アドレス画像におけるマーク抽出を説明する図面である。 アドレス以降の２、３枚目におけるマーク抽出を説明する図面である。 マークの自動追尾を説明する図面である。 （Ａ）（Ｂ）はゴルファーの輪郭抽出を説明する図面である。 ゴルファーの輪郭抽出された画像を示す図面である。 （Ａ）（Ｂ）テンプレートマッチングを説明する図面である。 曲率計算の説明図である。 正面のチェックポイント画像である。 飛球線後方（側面）のチェックポイント画像である。 右肘の抽出を説明する図面である。 手首の直線部を用いた抽出を説明する図面である。 肌抽出を用いた手首（注目点）の抽出を説明する図面である。 右肘の抽出を説明する図面である。 左肘の抽出を説明する図面である。 （Ａ）（Ｂ）は後首の抽出を説明する図面である。 左肩の抽出を説明する図面である。

符号の説明

１１ ゴルファー
１３ ゴルフクラブ
１３ａ シャフト
１４、１５ カラーＣＣＤカメラ
１６ コンピュータ
２０ 背景
Ｈ１〜Ｈ６ 肌色領域
Ｍ１〜Ｍ３ 色付マーク
Ｓ、Ｓ１〜Ｓ３ 探索範囲
ＳＴ１〜ＳＴ３ 直線部
Ｒ１〜Ｒ４ 輪郭
Ｔ テンプレート

Claims (6)

1. ゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
   前記コンピュータは、上記ゴルファーの肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、前記カラー動画像を構成する複数の静止画像上のピクセル色情報のうち前記色範囲内にあるピクセルを前記ゴルファーの肌色領域とみなして肌抽出を行い、この抽出された肌色領域から前記ゴルファーの体の注目点の位置座標を取得することを特徴とするゴルフスウィング計測システム。
2. 前記肌抽出される肌色領域は前記ゴルファーの肘、顔あるいは手首を含み、前記注目点として前記ゴルファーの肘、首あるいは手首の位置座標を取得している請求項１に記載のゴルフスウィング計測システム。
3. 前記静止画像上に前記肌色領域が存在すると予測される領域である探索範囲を設定し、この探索範囲内で前記肌抽出の処理を行う請求項１または請求項２に記載のゴルフスウィング計測システム。
4. 前記肌色領域の輪郭を抽出し、この輪郭上の所定のピクセルを前記注目点の位置座標として特定している請求項１乃至請求項３のいずれか１項に記載のゴルフスウィング計測システム。
5. 前記肌色領域の輪郭を抽出し、この輪郭のうち曲率が−１０°〜１０°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定している請求項１乃至請求項４のいずれか１項に記載のゴルフスウィング計測システム。
6. 前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト８時、テイクバックシャフト９時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト９時、インパクト、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出し、該チェックポイント画像上において前記肌色領域の抽出処理を行って前記注目点の位置座標を取得している請求項１乃至請求項５のいずれか１項に記載のゴルフスウィング計測システム。

Images