JP2005210666A - ゴルフスウィング診断システム - Google Patents

Abstract

【課題】スウィング動画像から診断に有効なポジションの静止画像を高精度で抽出する。
【解決手段】シャフト１２ａに色付マークＭ１〜Ｍ３を付したゴルフクラブ１２を把持してスウィングするゴルファー１１とカラー動画像で撮影する撮影手段１３、１４と、撮影したカラー動画像を取り込むコンピュータ１５とを備え、コンピュータ１５は、カラー動画像を複数の静止画像に変換し、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルを色付マークＭ１〜Ｍ３の位置として認識して座標データを取得し、色付マークＭ１〜Ｍ３の座標データを基にして算出される１つの色付マークの移動ベクトル量あるいは２つの色付マーク間のベクトル角度を用いてシャフト１２ａの動きを抽出し、スウィング診断に有用なチェックポイント画像を自動抽出している。
【選択図】図１

Description

本発明は、ゴルフスウィング診断システムに関し、詳しくは、ゴルファーのスウィング時のフォーム診断に有効なチェックポイント画像を精度良く自動抽出するものに関する。

従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。これら装置によりゴルファーは自己の飛球の良し悪しを検討することが可能となるが、肝心のフォームを改善するための有用な情報を提供することはあまりできない問題があった。

そこで、特開２００３−１１７０４５号公報に開示されたスイングフォーム診断装置では、ゴルファーがスイングする画像を撮影してスイングフォームの診断のために重要な特定動作点の画像のみを抽出するようにしている。詳しくは、撮影手段を撮影された被験者の動画の中からスイング動作に関わるフレームを抽出し、各フレームと基準画像との差分画像における移動部分画像の解析結果に応じてスイング動作中の特定動作点を判定し、その特定動作点毎に対応するフレームを抽出して画像表示している。

ゴルフスウィングの診断にとってはインパクト時の画像も重要であるが、特にスウィングを診断するために重要なポジションは、インパクトに至る過程であるテイクバックとトップからの切り替えし付近を含むインパクト前後のポジションである。なぜなら、インパクト付近の画像において適切でないスウィングである場合、そのインパクトの時点ではスウィングの修正は不可能である。従って、インパクトで適切でないスウィング姿勢となった原因、つまり、テイクバックやトップ周辺等の画像においてポイントとなるスウィング姿勢での画像を抽出してトータルでスウィングを診断する必要がある。

しかしながら、特開２００３−１１７０４５号公報に開示された装置では、テイクバックの画像の抽出は単にフレーム間差分処理を利用しているだけであり、ゴルファー毎にかなり異なるポジションの画像が誤って抽出される可能性が高い。例えば、テイクバック時のシャフトが水平となる画像は差分結果のＸ方向変位量が極小となったフレームを該当フレームであるとみなして抽出しているが、スウィング中の上下動や左右動きはゴルファーによってかなり異なるため、スウェ（体が左右に動く）しながらテイクバックしているゴルファーの場合は、テイクバック中のＸ方向変位量を考慮するだけではシャフト水平画像を抽出できる精度がかなり低くなる問題がある。

また、ダウンスウィング時やフォロースルー時の画像抽出は、基準点となるインパクト画像から前後一定時間にあるフレームを抽出するようにしているので、ゴルファーによってスウィングテンポが全く異なることを鑑みれば、それぞれのゴルファー毎で同一のスウィングポジション（スウィング姿勢）の画像を抽出することは不可能といえる。すると、クラブシャフトが水平となった時の自己のスウィングフォームを、上級者やプロのスウィングフォームと比較してスウィングの改善を図ろうとしても、抽出した自己の画像がシャフト水平となるポジションの画像が抽出されている保証が全くないので、同一のスウィングポジションでの比較ができなくなる問題が発生する。

特開２００３−１１７０４５号公報

本発明は、上記問題に鑑みてなされたもので、ゴルフスウィングを撮影した動画像から診断に有効なスウィングポジションの静止画像を高精度で抽出可能とするシステムを提供することを課題としている。

上記課題を解決するため、本発明は第１に、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
上記コンピュータは、
上記カラー動画像を複数の静止画像に変換する手段と、
上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルを上記色付マークの位置として認識して座標データを取得する手段と、
上記色付マークの座標データを基にして算出される１つの色付マークの移動ベクトル量、あるいは、２つの色付マーク間のベクトル角度を用いて、上記シャフトの動きを認識する動作抽出手段と、
上記動作抽出手段で得られたデータに基づいてゴルフスウィング診断に必要な静止画像を上記複数の静止画像から抽出する画像抽出手段と、
上記抽出した静止画像を出力する出力手段とを備えていることを特徴とするゴルフスウィング診断システムを提供している。

上記構成とすると、例えば色相、彩度および明度等の色情報に関して色付マークの色に対応する特定の閾値で二値化処理を行うことで、静止画像上の色付マークに該当するピクセルを自動で認識することができる。よって、その色付マークの座標データを基にして、例えば、時系列的に隣接する画像間の色付マークの移動ベクトル量を参照したり、あるいは、シャフトに色付マークを２つ設けた場合はマーク間ベクトルの角度を参照する等してスウィング動作を認識することが可能となり、ゴルフスウィング診断に有用な静止画像を選択的に自動抽出することができる。また、抽出した診断用の静止画像は、上記出力手段によりコンピュータ上への表示や、印刷や、外部記録媒体への保存や、ネットワークを介した送信等により出力を行うことで、該出力結果をレッスンプロや本人等が見てゴルフスウィングを診断することができる。
なお、二値化処理した閾値を満たすピクセルの集合の数が、実際の色付マークの数より多く検出された場合には、色付マークと考えられる画像上の面積範囲を予め設定しておき、その面積範囲内にある上記ピクセルの集合を色付マークであると決定するとよい。さらには、背景差分処理を実施することで、色付マークが存在しない領域をカットしてから上記面積範囲による色付マークの決定処理を行ってもよい。

また、上記ゴルフスウィング診断システムは、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影する撮影手段を備えていると好適である。

また、上記抽出するゴルフスウィング診断に必要な静止画像は、チェックポイント画像となるインパクト画像およびインパクト以外の少なくとも１つ以上のスウィング姿勢の画像としていることが好ましい。

上記動作抽出手段では、
１つの静止画像の自動認識された色付マークのＲＧＢ色情報を基準色情報として記憶し、該基準色情報と同一色とみなすことのできる許容範囲である色範囲を設定し、
上記静止画像に時系列的に隣接する次フレームの静止画像上での予測されるマーク位置を含む領域である探索範囲を上記次フレーム上に設定し、該探索範囲内において上記色範囲内であるピクセルを上記色付マークの位置とみなし、各静止画像上の色付マークの位置を自動追尾している。
なお、自動追尾は、上記色範囲を用いる方法だけでなく、二値化処理にて行ってもよいし、色範囲と二値化処理を併用してもよい。

上記構成とすると、上記色付マークの位置を検出するために上記色範囲内であるか否かを判断する領域を全画面とせず、上記探索範囲内だけで判断しているので、上記色付マークと近似した色が静止画像中に含まれていても排除して誤認識を防止することができると共に計算時間も短縮化することができる。
なお、静止画像の探索範囲内のピクセルについて上記背景画像との差分処理を行って背景画像を排除すれば、探索範囲内の背景画像中に色付マークの色と近似した色が存在しても排除してさらに誤認識を防止することができる。さらに、色付マークの面積の大きさやマークの形（例えば、マークが丸である等）を考慮する方法等により誤認識を防止してもよい。

上記色付マークの追尾ができなかった場合には、上記探索範囲の各ピクセルについて色情報に関する特定の閾値で再二値化処理を行い、閾値を満たすピクセルを上記色付マークの位置として座標データを取得することとしている。

上記構成とすると、万が一、色付マークの追尾が不成功であった静止画像があったとしても、再二値化処理を行うことで色付マークの座標データを取得することができる。

上記動作抽出手段は、上記シャフトに設けられた１つの色付マークの時系列的に隣接する静止画像間の移動ベクトル量を用いてスウィング姿勢を抽出し、
上記画像抽出手段で、インパクト時の静止画像をチェックポイント画像として抽出すると共に、テイクバックシャフト９時、トップ、ダウンスウィングシャフト９時、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出している。

上記構成とすると、例えば、上記１つの色付マークの移動ベクトル量のＹ方向成分が極小となるフレームをインパクト画像とみなしたり、また、移動ベクトル量のＸ方向成分が極小となるフレームをテイクバックシャフト９時画像とみなす等して、スウィング診断に有用な各チェックポイント画像を選択的に自動抽出することができる。なお、画像上の縦方向をＹ方向、横方向をＸ方向とする。

上記動作抽出手段は、上記シャフトに間隔をあけて設けられた少なくとも２つ以上の色付マーク間のベクトル角度を用いてスウィング姿勢を抽出し、
上記画像抽出手段で、インパクト時の静止画像をチェックポイント画像として抽出していると共に、テイクバックシャフト９時、トップ、ダウンスウィングシャフト９時、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出している。

上記構成とすると、例えば、上記ベクトル角度が９０°（水平）となったフレームをテイクバックシャフト９時画像とみなしたり、また、ベクトル角度が０°（垂直）となったフレームをインパクト画像とみなす等して、スウィング診断に有用な各チェックポイント画像を選択的に自動抽出することができる。

上記動作抽出手段は、上記静止画像をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得すると共に該シルエットの輪郭抽出を行い、輪郭のうち曲率が極値となるピクセルを非利き腕側の肩とみなす一方、シャフトに設けられた２つの色付マークとの位置関係からグリップ位置を算出し、非利き腕側の肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、テイクバックスウィング中の静止画像にテンプレートマッチング処理を行ってゴルファーの非利き腕の動きを抽出し、
上記画像抽出手段により、上記動作抽出手段で得られたデータに基づいて上記テンプレートが水平になった静止画像のコマをテイクバック非利き腕水平画像とみなしチェックポイント画像として抽出している。また、輪郭抽出を行わずに、テンプレートマッチング処理を開始する時のテンプレート角度を、予め所定の位置に記憶した角度からマッチング処理を行っても構わない。

上記構成とすると、テンプレートマッチング処理によりマッチングした時のテンプレート角度を非利き腕の角度として認識することができ、テイクバック時のゴルファーの非利き腕が水平となるテイクバック非利き腕水平画像を自動抽出することができる。なお、背景差分処理を行った結果得られたシルエットが２つ以上あった場合、つまり、実際のゴルファーシルエット以外にも余分なシルエットを誤って抽出した場合には、ゴルファーのシルエットであると考えられる画像上の面積範囲を予め設定しておき、その面積範囲内にあるシルエットをゴルファーの正しいシルエットであると決定するとよい。

上記画像抽出手段は、上記テイクバック非利き腕水平画像における肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、ダウンスウィング中の静止画像にテンプレートマッチング処理を行って、最もマッチングした画像コマをダウンスウィング非利き腕水平画像とみなしチェックポイント画像として抽出している。

即ち、テイクバック時とダウンスウィング時の非利き腕が水平になった状態は腕の状態が殆ど同じとなることを利用して、先に取得したテイクバック非利き腕水平画像において、肩からグリップまでの領域の少なくとも一部の画像をテンプレートとし、該テンプレートを用いてダウンスウィング時にテンプレートマッチング処理を行うことで、ダウンスウィング非利き腕水平画像を自動抽出することができる。

上記画像抽出手段は、上記静止画像上をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得し、該シルエットの左右幅からシルエットの一端を利き脚の側端として取得し、該利き脚側端を通過する垂線と上記シャフトに付された色付マークが交差する時刻の画像をテイクバックシャフト８時画像とみなしチェックポイント画像として抽出している。また、垂線は自動抽出するのではなく、予め記憶させておいたラインを垂線としてもよい。さらにテスターに利き脚を決まった場所にスタンスしてもらうようにすることで、画像処理をすることなく利き脚の垂線を固定させることができる。

上記構成とすると、差分処理後のゴルファーのシルエットと色付マークの座標データとを使用するだけで、テイクバックシャフト８時画像を自動抽出することができる。

上記画像抽出手段は、撮影したスウィング画像の１枚目、あるいは、スウィング画像の開始時からフレーム間差分処理を行って差分が最小となる静止画像をアドレス画像とみなしチェックポイント画像として抽出している。

上記構成とすると、ゴルフスウィングとって最も重要なポジションであるアドレス時の画像を自動抽出することができる。なお、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得する等した場合には、１枚目の画像が必ずしもアドレス画像とならないので、各フレーム間で差分処理を実施し、差分が最小となるフレームをゴルファー静止している状態と考えてアドレス画像とみなしている。

本発明は第２に、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
上記コンピュータは、
上記カラー動画像を複数の静止画像に変換する手段と、
上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルを上記色付マークの位置として認識して座標データを取得する手段と、
上記静止画像をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得すると共に該シルエットの輪郭抽出を行い、輪郭のうち曲率が極値となるピクセルを非利き腕側の肩とみなす一方、シャフトに設けられた２つの色付マークとの位置関係からグリップ位置を算出し、非利き腕側の肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、テイクバックスウィング中の静止画像にテンプレートマッチング処理を行ってゴルファーの非利き腕の動きを抽出している動作抽出手段と、
上記動作抽出手段で得られたデータに基づいて上記テンプレートが水平になった静止画像のコマをテイクバック非利き腕水平画像とみなしチェックポイント画像として抽出する画像抽出手段とを備えていることを特徴とするゴルフスウィング診断システムを提供している。

また、上記ゴルフスウィング診断システムは、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影する撮影手段を備えていると好適である。

上記画像抽出手段は、上記テイクバック非利き腕水平画像における肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、ダウンスウィング中の静止画像にテンプレートマッチング処理を行って、最もマッチングした画像コマをダウンスウィング非利き腕水平画像とみなしてチェックポイント画像として抽出している。

上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行った際に上記色付マークの認識を失敗した場合、
上記カラー動画像を構成する複数の静止画像のうち一定時間間隔を有する対の静止画像についてフレーム間差分を行い、所定の閾値よりもノルムが大きいピクセルの数が極小となる静止画像をトップ画像とみなしチェックポイント画像を抽出している。

即ち、ゴルフスウィング中のトップ姿勢はテイクバックからダウンスウィングに切り替わる停止姿勢のことであるので、一定時間間隔の対の静止画像についてフレーム間差分の処理を異なる時刻について複数行い、所定の閾値よりもノルムが大きいピクセルの数のうち極小となる静止画像を特定することでトップ画像を抽出することが可能となる。
なお、前記ノルムは公知のもので、一方の画像上の対象ピクセルのＲＧＢ値と他方の画像上での対応するピクセルのＲＧＢ値とのそれぞれの差の絶対値の２乗和の平方根を意味している（数式７参照）。

上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行った際に上記色付マークの認識を失敗した場合であって、ダウンスウィングシャフト９時画像の抽出が失敗すると共にテイクバックシャフト９時画像の抽出が成功している場合、
テイクバックシャフト９時画像における上記色付マークの位置座標を基準として静止画像上に探索範囲を設定すると共に、上記色付マークと同一色とみなすことのできる許容範囲である色範囲を設定し、
該探索範囲内において色範囲内であるピクセルを上記色付マークの位置とみなして上記色付マークの画像上の位置座標を認識し、
上記抽出された少なくとも２つ以上の色付マーク間のベクトルが最も水平に近くなる静止画像をダウンスウィングシャフト９時画像とみなしてチェックポイント画像を抽出している。

つまり、スウィング動作はテイクバックとダウンスウィングの往復運動であり、テイクバックシャフト９時画像とダウンスウィングシャフト９時画像とではシャフトの位置は画像上のほぼ近似した位置に現れると予想することができるので、テイクバックシャフト９時画像の抽出が成功している場合には、テイクバックシャフト９時画像での色付マークを基準として探索範囲を設定することで、ダウンスウィングシャフト９時での色付マークの抽出を成功させることができる。

静止画像上のボール周囲に所定の大きさの探索範囲を設定し、探索範囲内で複数の静止画像のうち一定時間間隔を有する対の静止画像についてフレーム間差分を行い、所定の閾値よりもノルムが大きいピクセルの数が増加傾向となり始める時刻、または所定の閾値よりもノルムが大きいピクセルの数が別の閾値より大きくなった時刻の静止画像をインパクト画像とみなしチェックポイント画像を抽出している。

即ち、ゴルフスウィング中のインパクト姿勢はヘッドがボールを打撃する時点の姿勢のことであるので、画像上のボール周囲に設定した探索範囲内において、一定時間間隔の対の静止画像についてフレーム間差分の処理を異なる時刻について複数行い、所定の閾値よりもノルムが大きいピクセルの数が時系列的に増加傾向となる開始時の静止画像、あるいは所定の閾値よりもノルムが大きいピクセルの数がある閾値より大きくなった時の静止画像を特定することでインパクト画像を抽出することが可能となる。

あるいは、ゴルフクラブの通過を検知する検出センサをボール近傍に設け、該検出センサがゴルフクラブの通過を検出して送信されるトリガー信号に基づいて上記複数の静止画像からインパクト画像を抽出しても好適である。

前記構成とすると、ボール近傍の検出センサをゴルフクラブが通過するのを検知することでヘッド位置を推定することができるので、画像処理によらずにインパクト画像を抽出することができる。

もしくは、上記コンピュータに接続される集音手段を設け、
上記ゴルフクラブによるボール打撃時の音を上記集音手段で検出し、該検出された音に基づいて上記複数の静止画像からインパクト画像を抽出しても好適である。

前記構成とすると、ゴルフクラブヘッドとボールが衝突する際の打撃音が検出された時刻の画像がインパクト画像であると特定することができる。

上記ゴルファーの肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、上記複数の静止画像上のピクセル色情報のうち上記色範囲内にあるピクセルを上記ゴルファーの肌色領域とみなして肌抽出を行い、
上記肌色領域には上記色付マークが存在しないと仮定して上記肌色領域を上記二値化処理の対象外としている。

前記構成とすると、ゴルファー肌の色を色付マークの色と間違えて認識するのを確実に防止することができる。

本発明は第３に、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
上記コンピュータは、
上記カラー動画像を複数の静止画像に変換する手段と、
上記静止画像上をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得し、該シルエットの左右幅からシルエットの一端を利き脚の側端として取得し、該利き脚側端を通過する垂線と上記シャフトに付された色付マークが交差する時刻の画像をテイクバックシャフト８時画像とみなしチェックポイント画像として抽出する画像抽出手段と、
上記抽出した静止画像を出力する出力手段とを備えていることを特徴とするゴルフスウィング診断システムを提供している。

本発明は第４に、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
上記コンピュータは、
上記カラー動画像を複数の静止画像に変換する手段と、
撮影したスウィング画像の１枚目、あるいは、スウィング画像の開始時からフレーム間差分処理を行って差分が最小となる静止画像をアドレス画像とみなしチェックポイント画像として抽出する画像抽出手段と、
上記抽出した静止画像を出力する出力手段とを備えていることを特徴とするゴルフスウィング診断システムを提供している。

また、上記各ゴルフスウィング診断システムは、シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーをカラー動画像で撮影する撮影手段を備えていると好適である。

以上の説明より明らかなように、本発明によれば、色相、彩度および明度等の色情報に関して色付マークの色に対応する特定の閾値で二値化処理を行うことで、静止画像上の色付マークに該当するピクセルを自動認識できるので、１つの色付マークの移動ベクトル量あるいは／および２つのマーク間のベクトル角度を基にして、各インパクト画像およびインパクト以外の重要なスウィング姿勢の画像を診断用のチェックポイント画像として自動抽出することができる。また、色付マークの座標データだけでは自動抽出が困難なスウィング姿勢はテンプレートマッチング処理を利用してゴルファーの非利き腕の角度を取得する等して、チェックポイント画像を自動抽出することができる。

本発明の実施形態を図面を参照して説明する。
図１はゴルフスウィング診断システムの概略図を示し、情報処理機器となるコンピュータ１５と、該コンピュータ１５に接続された表示手段であるモニター１６と、コンピュータ１５に接続された入力手段であるキーボード１７およびマウス１８と、コンピュータ１５に接続されゴルファー１１の正面位置および飛球線後方位置に設置されたカラーＣＣＤカメラ１３、１４とを備え、被診断者となるゴルファー１１の把持するクラブ１２のシャフト１２ａには間隔をあけて３つの色付マークＭ１、Ｍ２、Ｍ３が取り付けられている。

色付マークＭ１〜Ｍ３は、グリップ側からヘッド側にかけて等間隔に取り付けており、グリップに最も近い色付マークＭ１は黄色とし、真ん中に配置された色付マークＭ２はピンク色とし、ヘッド側に配置された色付マークＭ３は黄色としている。つまり、隣り合うマークは異なる色となるようにしている。本実施形態では、各色付マークＭ１〜Ｍ３の間の距離は２５０ｍｍとすると共に、グリップ端と色付マークＭ１との距離は２５０ｍｍとする。

２つのカラーＣＣＤカメラ１３、１４はコンピュータ１５で撮影タイミングを同期させており、アナログＣＣＤカメラを用いる場合には１秒間あたりコマ数が３０コマ以上で、好ましくは６０コマ以上とし、高速度デジタルＣＣＤカメラを用いる場合には、１秒間あたりのコマ数が６０コマ以上で、好ましくは１２０コマ以上、汎用のデジタルＣＣＤビデオカメラでは、１秒間あたりのコマ数が３０とし、シャッタースピードは１／５００ｓ、好ましくは１／１０００ｓ以下とする。

スウィングを撮影する空間（縦３×横３×高さ２ｍ）の明るさは１０００ルクス以上の明るさが必要であるが、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、３０００ルクスを超えない範囲内で均一の明るさをスウィング環境として設定することが好ましい。また、スウィングを撮影する空間の背景１９は、ゴルファー１１や色付マークＭ１〜Ｍ３等を抽出しやすいように、極力、異なる色とすることが好ましい。

コンピュータ１５は、カラーＣＣＤカメラ１３、１４とＬＡＮケーブルやＩＥＥＥ１３９４やＣａｍｅｒａＬｉｎｋ規格等を用いてオンライン接続されており、カラーＣＣＤカメラ１３、１４で撮影されたスウィング動画像（複数の静止画像）をコンピュータ１５のハードディスクやコンピュータ１５上のメモリやボード上のメモリに保存している。なお、ＤＶテープ等の記録媒体を利用して、後でコンピュータにオフラインで画像を取り込んでも構わない。また、コンピュータ１５には、後述するように、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルを色付マークＭ１〜Ｍ３の位置として座標データを取得する手段と、色付マークＭ１〜Ｍ３の座標データを基にしてシャフト１２ａの動きを認識する動作抽出手段と、該動作抽出手段で得られたデータに基づいてスウィング診断に必要な静止画像を選択的に抽出する画像抽出手段とを備えたプログラムを内蔵している。

次に、カラーＣＣＤカメラ１３、１４でコンピュータ１５に取り込んだスウィング動画像からシャフト１２ａに取り付けられた各色付マークＭ１〜Ｍ３の座標を追跡する手順について図１０を参照して説明する。
先ず、カラーＣＣＤカメラ１３、１４でゴルファー１１が存在しない状態の背景１９のみを撮影した背景画像を読み込み（Ｓ１０）、また、カラーＣＣＤカメラ１３、１４からスウィング動画像をコンピュータ１５に取り込んで（Ｓ１１）、各コマ毎に静止画像に変換してハードディスクに保存し、ゴルファー１１のアドレスからフィニッシュまでのスウィングの正面画像および側面画像の各静止画像をメモリに読み込む（Ｓ１２）。画像の保存形式は、画像の質を考慮するとＢＭＰ形式が好ましいが、ＪＰＥＧやＴＩＦＦ等のその他ファイル形式でも良い。

次に、スウィング動画像を構成する多数の静止画像からスウィング診断に有用となるアドレス画像、テイクバックシャフト８時画像、テイクバックシャフト９時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の各チェックポイント画像を自動抽出する。

上記のような各チェックポイント画像が必要となる理由は、ゴルファーが打ったボールの弾道がスライスやフック等になるのは、インパクト時のスウィング軌道とフェース角度などに依存するので、インパクトにそのスウィング軌道やフェース角度になった原因を調査するため、特に、スウィング軌道、フェースの向き、ゴルファーのスウィング中の姿勢、グリップ等に注目し、上記各ポジションにてスウィング画像をチェックする必要があるからである。但し、チェックポイント画像は上記に挙げたスウィング姿勢に限定するものではなく、必要に応じてチェックポイントとなるスウィング姿勢を増減するとよいことは言うまでもない。

以下、各チェックポイント画像の自動抽出方法について分説する。
（アドレス画像）
先ず、アドレス画像の抽出方法について説明する。なお、アドレス画像とは、ゴルファー１１がアドレス姿勢をしている状態の静止画像である。
スウィング動画像の撮影をアドレス状態から開始した場合は、初期画像をアドレス画像とする。しかし、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得した場合には、例えば、初期画像がワッグル（アドレス前に予備動作としてヘッドを前後に揺らす動作）等を含むことで、初期画像が必ずしもアドレス画像とならない。そこで、この場合には、各フレーム（静止画像）間で差分処理を実施し、差分が最小となるフレームがゴルファー１１が静止している状態と考えてアドレス画像とみなす（Ｓ１３）。

次に、テイクバックシャフト９時画像、トップ画像、ダウンスウィングシャフト９時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像の抽出方法について説明する。

ここで、テイクバックシャフト９時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。トップ画像とは、テイクバックからダウンスウィングに移行するトップポジションの状態の静止画像である。ダウンスウィングシャフト９時画像とは、ダウンスウィング時にシャフトを時計の針に見立てた場合に９時位置にある状態の静止画像である。インパクト前画像とは、インパクト直前の状態の静止画像である。インパクト画像とは、ゴルフクラブのヘッドがボールと衝突した瞬間の静止画像である。インパクト後画像とは、インパクト直後の状態の静止画像である。フォローシャフト３時画像とは、フォロースルー時にシャフトを時計の針に見立てた場合に３時位置にある状態の静止画像である。フィニッシュ画像とは、スウィングが終了しゴルフクラブの動きが停止した状態の静止画像である。

これらチェックポイント画像は、基本的には各フレームにおける色付マークＭ１〜Ｍ３の座標を追跡することで判定されるので、先ず各色付マークＭ１〜Ｍ３の自動追尾方法について説明する。

アドレス画像において色付マークＭ１〜Ｍ３を自動認識するための二値化処理を行う。
この際、公知のメディアンフィルタ処理を行って画像の雑音やボケ等を低減しておくと好ましい（Ｓ１４）。つまり、３×３ピクセルのマスク内の９個のピクセルの諧調値を小さい順（または大きい順）に並べたときの５番目（中央値）の濃度値をマスク内の中心のピクセル値として平滑化することで雑音等の低減を図っている。

なお、二値化処理の対象は本実施形態ではフレーム全体としているが、ゴルファー１１が画像中心付近に撮影されるように限定しておいた場合には、図２に示すように、ゴルフシャフト１２ａが存在すると考えられる領域Ｓのみで二値化処理してもよい（Ｓ１５）。なお、領域Ｓの設定は具体的には、画像の幅をＷ、高さをＨとすると、１／３Ｗ〜２／３Ｗの範囲を領域Ｓの幅とすると共に、１／２Ｈ〜４／５Ｈの範囲を領域Ｓの高さとしている。
二値化処理の方法としては、ＲＧＢ値やＹＩＱ値を用いてもよいが、本実施形態では色付マークＭ１〜Ｍ３の色を最も認識しやすい色相・彩度・明度を利用している。具体的には、フレーム上の各ピクセル毎のＲＧＢ値を取得し、

上記の数式１により求められる刺激和Ｔを用いて以下の数式２の正規化を行う。

なお、ＲＧＢ値は色が２４ビットで表現される場合は各色は０〜２５５までの値となるものである。

色相θは、以下の数式３および数式４で算出される。

但し、０≦θ₁≦πを用いて、

とする。

彩度Ｓは、以下の数式５で算出される。

明度Ｖは、以下の数式６で算出される。

前記数式３〜６で算出されたピクセルの色相、彩度および明度の値（ピクセル色情報）が所定の条件（基準色情報）を満たさないピクセルは０とし、該条件を満たすピクセルは色付マークＭ１〜Ｍ３と同一の色であるとみなして１とする二値化処理を行い、１のピクセルを順にラベリング処理する（Ｓ１６）。
ここで、色相、彩度および明度の条件としては、例えば、黄色の第１、色付マークＭ１、Ｍ３であれば色相θ＝３０〜６０°、彩度Ｓ≧０．５、明度Ｖ≧１００という閾値を設定しており、ピンク色の色付マークＭ２であれば色相θ＝３２０°〜３６０°または０°〜１０°、彩度Ｓ＝０．３〜０．６、明度Ｖ≧８０という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。なお、スウィングを撮影する環境（明るさ）やカメラ特性などにより、同じマーク色でもカメラ１３、１４が認識した色が多少変化する場合もあるので、予め同条件で色付マークＭ１〜Ｍ３を撮影しておき、色付マークＭ１〜Ｍ３の色情報を取得して、色相・彩度・明度の閾値を決定すればさらによい。

ここで、例えばピンク色の色付マークＭ２は現実には１つしかないが、画像中に関係のないピンク色が存在した場合には２つ以上の領域が抽出される恐れがある。そのような場合を考慮して、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域は色付マークＭ２ではないと判断し、設定範囲内の面積を有する領域を色付マークＭ２であると認識する。本実施形態では色付マークＭ１〜Ｍ３として認識する面積範囲は５〜４０ピクセル、もしくは５〜２００ピクセルとしている。なお、色付マークＭ１〜Ｍ３の形が丸などに限定されている場合は、抽出された領域の輪郭が丸型であるもののみを色付マークＭ１〜Ｍ３として認識するという拘束条件を付加しても構わない。

上記のようにして色付マークＭ１〜Ｍ３と認識したピクセルを各マークＭ１〜Ｍ３のラベリングにより１、２、３とした場合、各数字のピクセルから基準色情報となるマーク色情報と重心座標を得る。ここで、マーク色情報とは、領域内の各ピクセルの平均色と、各ピクセルのＲＧＢの最大値・最小値と、その変動幅を含む色範囲情報のことである（Ｓ１７）。
以上のような処理を行うことで、ゴルフクラブ１２のシャフト１２ａに付された各色付マークＭ１〜Ｍ３を精度良く自動抽出することができる。

次に、アドレス画像以外の画像について色付マークＭ１〜Ｍ３の位置の追尾を行う。この際、１つ前の時刻の画像について全ての色付マークＭ１〜Ｍ３の認識が失敗している場合や、３つの色付マークＭ１〜Ｍ３のうち２つの色付マークについて認識が失敗している状態が３フレーム続いた場合には（Ｓ１８）、後述する「自動追尾失敗用のチェックポイント抽出アルゴリズム」の第二探索ルーチンを実行する（Ｓ１９）。
また、１つ前の時刻の色付マークＭ１〜Ｍ３に位置関係を調べ、［Ｍ２−Ｍ３］ベクトルと［Ｍ１−Ｍ２］ベクトルとのなす角度が１７０°以下の場合や、［Ｍ１−Ｍ２］ベクトルと［Ｍ１−手元］ベクトルとのなす角度が１７０°以下の場合にも、どこかの色付マークを誤認識する可能性が高いので、「自動追尾失敗用のチェックポイント抽出アルゴリズム」の第二探索ルーチンを実行するようにするとよい。

次に、アドレス画像で自動抽出された色付マークＭ１〜Ｍ３をアドレス画像取得後の２、３枚目の画像について自動追尾する処理を行う（Ｓ２０）。
色付マークＭ１〜Ｍ３には、各色付マークＭ１〜Ｍ３を中心として四角形の探索範囲Ｓ１〜Ｓ３を設定する（Ｓ２１）。ここで、探索範囲Ｓ１〜Ｓ３とは、色付マークＭ１〜Ｍ３の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲Ｓ１〜Ｓ３の概念を導入すれば、画像上の探索範囲Ｓ１〜Ｓ３外に色付マークＭ１〜Ｍ３と色が近似している箇所があっても、色付マークＭ１〜Ｍ３の検出処理を探索範囲Ｓ１〜Ｓ３内しか行わないため、色付マークＭ１〜Ｍ３の誤認識が防止できると共に、フレーム内の全ピクセルを処理対象とする場合に比べ計算時間も大幅に短縮することが可能となる利点がある。本実施形態では、図３に示すように、探索範囲Ｓ１〜Ｓ３は色付マークＭ１〜Ｍ３を中心としてデフォルトで縦横（ＹＸ）範囲を１０×１０ピクセルとしている。なお、画像上では横方向をＸ軸、縦方向をＹ軸としている。また、上記自動追尾中の探索範囲Ｓ１〜Ｓ３の配置決定は、アドレス画像取得後の２、３枚目の画像においてはシャフト１２ａは殆ど動かないので、１つ前の時刻の画像で自動認識した色付マークＭ１〜Ｍ３を中心位置として設定している。

次いで、色範囲を設定する。
色範囲とは、色付マークＭ１〜Ｍ３を認識する際に、画像上の対象ピクセルの色情報が色付マークＭ１〜Ｍ３の色と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上述のアドレス画像で取得されたマーク色情報のＲ（赤）Ｇ（緑）Ｂ（青）のそれぞれについて平均値を中心として最大最小幅の半分の数値範囲を色範囲として設定している。

以下の自動追尾処理は、スウィング中の移動速度の遅いグリップ近くに配された色付マークＭ１から順に色付マークＭ２、色付マークＭ３と追尾していくこととする。
先ず、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。
なお、背景差分処理を行う探索範囲Ｓ１〜Ｓ３は選択可能であり、全ての探索範囲Ｓ１〜Ｓ３について実施してもよいし、背景１２の背景画像との誤認識をする可能性の低い範囲、タイミングのものについては背景差分処理を行わなくてもよい。
そして、探索範囲Ｓ１内の差分ピクセルのＲＧＢそれぞれについて上記色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークＭ１を表示するピクセルとみなし、その重心位置を取得する（Ｓ２２）。もし、この色範囲を用いた方法により追尾できない場合には、色情報（色相、彩度、明度）を利用して、色抽出を行い追尾してもよい。これらの処理を各色付マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３について行う。

次に、アドレス画像から４枚目以降のフレームにおける色付マークＭ１〜Ｍ３の探索範囲Ｓ１〜Ｓ３の中心位置の設定方法について説明する。先ず、最もグリップに近い色付マークＭ１の場合については、例えば、４枚目のフレームに関しては、１枚目（アドレス）−２枚目間の移動ベクトル量Ｖ１と、２枚目−３枚目間の移動ベクトル量Ｖ２とを求めて、その増加量（Ｖ２−Ｖ１）を考慮して３枚目−４枚目間の移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}を予測する。１つ前の時刻の探索範囲Ｓ１中心位置からその移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけオフセット移動させた位置を現画像（４枚目）の探索範囲Ｓ２の中心として設定して（Ｓ２３）、上記同様に色範囲を用いてマーク抽出を行う（Ｓ２４）。（５枚目以降のフレームについても同様の手順）

色付マークＭ２、Ｍ３の探索範囲Ｓ２、Ｓ３の中心位置については、例えば４枚目のフレームに関しては、上記で位置が決定した色付マークＭ１を利用して求めた移動ベクトル量{Ｖ２＋（Ｖ２−Ｖ１）}だけ１つ前の時刻の探索範囲Ｓ２、Ｓ３中心位置からオフセットさせると共に、１枚目−２枚目間のシャフト角度Ｄ１と、２枚目−３枚目間のシャフト角度Ｄ２とを求めて、その増加量（Ｄ２−Ｄ１）を考慮して３枚目−４枚目間のシャフト角度{Ｄ２＋（Ｄ２−Ｄ１）}を予測し、４枚目のフレームの色付マークＭ１を回転支点として角度{Ｄ２＋（Ｄ２−Ｄ１）}だけ回転させる。（５枚目以降のフレームについても同様の手順）
このように、オフセット移動と回転移動とを組み合せて探索範囲Ｓ２、Ｓ３の中心位置を決定することで、ダウンスウィングのようなシャフト１２ａの移動が速い場合でも、シャフト位置をかなり正確に予測することができ、探索範囲Ｓ２、Ｓ３の面積を追尾中に増加させる必要がなくなる。なお、図４に示すように、探索範囲Ｓ２、Ｓ３の面積は、２０×２０ピクセルとしている。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークＭ１について探索範囲Ｓ１内で背景画像との差分処理を行う。これにより、探索範囲Ｓ１内で背景画像が取り除かれ、後工程での色付マークＭ１の認識の際に、背景画像等に色付マークＭ１と近似した色が存在しても誤認しなくなる。

上記方法によっても色付マークＭ１〜Ｍ３を追尾できなかった場合は、アドレス画像で色付マークＭ１〜Ｍ３を自動抽出した方法と同様にして再二値化処理を実施する。即ち、アドレス画像で決定した色範囲で色付マークＭ１〜Ｍ３が発見できない主な理由は、アドレス画像に比べて暗い領域に存在する色付マークＭ１〜Ｍ３を追尾しようとすることが考えられるため、色付マークＭ１〜Ｍ３の彩度と明度の閾値を小さくする変更をして二値化処理を再実施することとする。具体的には、色相、彩度および明度の条件としては、黄色の第１、色付マークＭ１、Ｍ３であれば色相θ＝３０〜６０°、彩度Ｓ≧０．４、明度Ｖ≧８０という閾値を設定しており、ピンク色の色付マークＭ２であれば、色相θ＝３２０〜３６０°または０°〜１０°、彩度Ｓ≧０．１、明度Ｖ≧８０という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。なお、スウィングを撮影する環境（明るさ）やカメラ特性などにより、同じマーク色でもカメラ１３、１４が認識した色が多少変化する場合もあるので、予め同条件で色付マークＭ１〜Ｍ３を撮影しておき、色付マークＭ１〜Ｍ３の色情報を取得して、色相・彩度・明度の閾値を決定すればさらによい。

これでも追尾できなかった場合には、３つの色付マークＭ１〜Ｍ３のうち２つのマークが認識できている場合は該２つのマークに対する位置関係から残りの１つのマークを位置を算出することとする。あるいは、前記方法によってオフセットした探索範囲の中心を現在の時刻のマーク位置と仮にみなしてもよい。
以上のようにして、アドレスからフィニッシュまでのスウィング動作における全色付マークＭ１〜Ｍ３の座標データが取得される。

次に、上記取得されたスウィング中の色付マークＭ１〜Ｍ３の座標データに基づいて求められるシャフト１２ａ角度により、テイクバックシャフト９時画像、トップ画像、ダウンスウィングシャフト９時画像、インパクト画像、インパクト前画像、インパクト後画像、フォローシャフト３時画像、フィニッシュ画像、の各チェックポイント画像を抽出する（Ｓ２５、Ｓ２６）。

（テイクバックシャフト９時画像）
テイクバックシャフト９時画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１２ａの角度を算出し、シャフト１２ａが水平（９０°）に最も近い画像を選択することで抽出する。あるいは、各色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になる画像を選択することで抽出してもよい。
なお、ここでいう角度はシャフト１２ａが６時の状態を０°として時計回りを正とする。

（トップ画像）
トップ画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１２ａの角度を算出し、シャフト１２ａの角度が最も大きくなった画像を選択することで抽出する。あるいは、各色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になる画像を選択することで抽出してもよい。

（ダウンスウィングシャフト９時画像）
ダウンスウイングシャフト９時画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１２ａの角度を算出し、シャフト１２ａが水平（９０°）に最も近く、かつ、時刻がトップ画像よりも後である画像を選択することで抽出する。あるいは、各色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ成分が極小になり、かつ、時刻がトップ画像よりも後である画像を選択することで抽出してもよい。

（インパクト画像）
インパクト画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１２ａの角度を算出し、シャフト１２ａの角度が０°に最も近くなった画像を選択することで抽出する。あるいは、各色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＹ方向成分が極小になる画像を選択することで抽出してもよい。また、インパクト画像は外部トリガー信号を用いて画像抽出を行ったり、インパクト時のヘッドとボールの打球音を利用してインパクト画像を抽出してもよい。

（インパクト前画像）
インパクト前画像は、上記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を巻き戻して得られる画像を選択することで抽出する。

（インパクト後画像）
インパクト後画像は、上記抽出されたインパクト画像より予め設定された所定時間（あるいは所定フレーム数）を進めて得られる画像を選択することで抽出する。

（フォローシャフト３時画像）
フォローシャフト３時画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１２ａの角度を算出し、シャフト１２ａの角度が−９０°に最も近くなった画像を選択することで抽出する。あるいは、各色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分が極小になり、かつ、時刻がインパクト画像より後の画像を選択することで抽出してもよい。

（フィニッシュ画像）
フィニッシュ画像は、各色付マークＭ１〜Ｍ３のうち２つを用いてシャフト１２ａの角度を算出し、シャフト１２ａの角度が０°に最も小さくなった画像を選択することで抽出する。あるいは、各色付マークＭ１〜Ｍ３のうち１つを用いる場合は、マークの移動ベクトルのＸ方向成分およびＹ方向成分が極小になり、かつ、時刻がトップ画像よりも後の画像を選択することで抽出してもよい。

以上のようにして抽出されたチェックポイント画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ２７）。

次に、テイクバック左腕水平画像、ダウンスウィング左腕水平画像の抽出方法について説明する。
ここで、テイクバック左腕水平画像とは、テイクバック時に左腕の前腕部が水平状態の静止画像である。ダウンスウィング左腕水平画像とは、ダウンスウィング時に左腕の前腕部が水平状態の静止画像である。
まず、現画像がテイクバックシャフト６時以降の画像であって（Ｓ２７）、それまでにテイクバック左腕水平画像を抽出していない場合に（Ｓ２８）、以下の左腕を抽出する処理を行う（Ｓ２９）。

左腕が水平である画像を認識するためには、左腕を含む画像領域であるテンプレートを作成し、テンプレートマッチング処理によりマッチしたテンプレート角度が水平となる画像を左腕水平とする。
以下、静止画像中の左腕を含むテンプレートを作成するためにゴルファー１５の輪郭抽出を行う。

先ず、各色付マークＭ１〜Ｍ３の座標から取得されるシャフト角度によりシャフト１２ａが６時状態となる画像を抽出する。グリップに最も近い色付マークＭ１と次に近い色付マークＭ２とからマーク間ベクトルを求めてグリップ位置を決定する。具体的には、
（グリップ位置）＝（色付マークＭ１の位置）−α×（マーク間ベクトル）
によりグリップ位置を算出する。
ここで、αは、色付マークＭ１と色付マークＭ２との距離に対する色付マークＭ１とグリップとの実際の距離の割合を意味しており、本実施形態ではα＝０．５としている。

次に、シャフト６時画像を背景画像（ゴルファー１１が写っていない画像）で背景差分処理を行ってゴルファー１１のシルエットを抽出する。詳しくは、背景画像でのＲＧＢ値をそれぞれｒ’、ｇ’、ｂ’とし、シャフト６時画像上のピクセルのＲＧＢ値をそれぞれｒ、ｇ、ｂとすると、数式７に示すノルム（対象ピクセルでのｒ、ｇ、ｂとｒ’、ｇ’、ｂ’との差の絶対値の２乗和の平方根）が予め設定した閾値以上であればゴルファー１１のシルエットでないとみなして当該ピクセルを０とし、該閾値以上であればゴルファー１１のシルエットであるとみなして１とする二値化処理を行い、１のピクセルについて順にラベリング処理を行う。なお、本実施形態でのノルムの閾値は４０としている。また、色相、彩度、明度を用いて背景差分処理を行ってもよく、その場合、シルエットであるとみなしたラベリング領域のうち、５０００以上もしくは１００００以上の１つ或いは２つの領域をシルエットとする。

図５（Ａ）に示すように、この二値化画像について走査処理を行って、１あるいは２のピクセルに当たったところから輪郭抽出を行う。この輪郭抽出の方法は、上記ラベリングした画像についてフレームの左上のピクセルを始点として右方向へと上から下へ走査処理を行い、１あるいは２のピクセルを探して輪郭抽出を行う。詳しくは、走査処理により初めに（４，７）のピクセルが見つかり、図５（Ｂ）に示すように、このピクセルの直前のピクセルを除いた回りの７つのピクセルを左上のピクセルから時計回りに調べ、最初に（４，７）で見つけたピクセル（１あるいは２）と同じラベルのピクセルを次の境界点とする。この処理を順々に行い、境界点が（４，７）に戻ってきた時点で輪郭抽出を終了する。
この抽出された輪郭のままでは図５に示すようにノイズが残っているので、移動平均処理を輪郭全体に循環して行うことによってスムージングをかけておく。

なお、移動平均処理は以下の数式８で行われる。

ここで、ｂｎｄ＿ｐｔ（ｎ）はｎ番目の輪郭の座標で、ｋは計算に利用する前後のピクセル数で、ｂｎｄ＿ｐｔ＿ｉｄｏ（ｎ）は移動平均後の輪郭の座標である。
ただし、ゴルファー１１の輪郭が１番目からｂｎｄ＿ｎｕｍ番目（輪郭番号の最後）まで存在する場合において、移動平均を行うピクセルをｎ番目とすると、ｎ＜ｋである場合は、輪郭番号の最後の方であるｂｎｄ＿ｎｕｍ−（ｋ−ｎ）番目〜ｂｎｄ＿ｎｕｍ番目のピクセルを利用して移動平均を行う。また、ｂｎｄ＿ｎｕｍ−ｎ＜ｋである場合は、輪郭番号の最初の方である１番目〜ｋ−（ｂｎｄ＿ｎｕｍ−ｎ）番目のピクセルを利用して移動平均を行っている。

そして、スムージング後の輪郭データから曲率を計算してゴルファー１１の左肩位置を取得する。つまり、図６に示すような輪郭データを含む画像の上から走査して初めに現れる大きな曲率部分を頭とし、次に現れる小さな曲率部分を首とし、その次に現れる大きな曲率部分を肩と認識する。ここで、服のしわ等を考慮して、前後±５のピクセルでそれぞれ曲率を計算してその平均値をそれらの中心のピクセルの曲率とするとよい。

以下、輪郭の曲率の計算方法について説明する。
対象となる輪郭の円弧の長さをＳ、角度をθとすると、曲率Ｃは以下の数式９で表される。

この数式９は、曲率を求めたいピクセルと該ピクセルの隣接点だけで計算すると、値の変動が大きく正しい値が得られないので、曲率を求めたいピクセルの両側ｋ個の点列を含めて以下の数式１０により計算する方法が用いられる。

なお、数式１０は、数式９におけるＳを省略して簡素化している。本実施形態では、さらに簡単のため、図９に示すように、点列の両端を用いて以下の数式１１で曲率Ｃを算出している。

（テイクバック左腕水平画像）
図７（Ａ）に示すように、上記のようにして抽出された左肩３０とグリップ３１の間の領域において長方形のテンプレートＴを設定し、該テンプレートＴの長辺の長さＬ１は肩とグリップの間の距離の半分とし、短辺の長さＬ２は腕がテンプレートＴの中に入る程度の長さ（本実施形態では２０ピクセル）としている。

次の時刻の画像を読み込んでグリップ位置を取得し、グリップ位置の移動ベクトルと同じように前フレームのテンプレートＴを平行移動させる。そして、図７（Ｂ）に示すように、テンプレートＴをグリップ位置を支点として時計回りに１０°まで１°刻みで回転させて最もマッチングしたテンプレートの角度を計算し、テンプレート角度が９０°（水平）に最も近い画像をテイクバック左腕水平画像であるとみなして抽出する。ここで、問題となるのが、図８に示すように、手首が返っている姿勢の場合には色付マークＭ１と色付マークＭ２を通るベクトル上にある点をグリップ３１とすると、実際のグリップ３２位置と多少ずれる恐れがある。そこで、本発明ではさらに、算出されたグリップ３１位置を中心として１０×１０ピクセルのエリアＡ内をテンプレートＴの回転支点を平行移動させた上で上述した１０°まで１°刻みの回転移動によるマッチング処理を行うようにしている。つまり、１０°まで１°刻みに回転させる１０パターンに１０×１０ピクセルの１００パターンの回転支点を組み合せるので、合計１０×１００＝１０００パターンのマッチング処理を行うこととなる。

なお、上記テンプレートマッチング処理は、テンプレートＴ内のピクセルの色情報であるＲＧＢ値を以下の数式１２により輝度Ｙに変換して評価する。（なお、輝度Ｙで評価してもよいが、ＲＧＢのノルム（数式７を参照）を用いても構わない。）

上記評価は、以下の数式１３で表されるピクセル値の差の絶対値の和（Sum of Absolute Difference：ＳＡＤ）が用いられる。

ここで、ｔは現在のフレーム、ｔ−１は１コマ前のフレーム、（ｐ，ｑ）は平行移動を行う範囲、（ｉ₀，ｊ₀）はグリップ位置、ｍはテンプレートＴの長辺のピクセル数、ｎはテンプレートＴの短辺のピクセル数、θはテンプレートＴの回転角度、αは１コマ前に求めたテンプレート角度、ｇ_t（ｘ，ｙ，θ）は座標（ｘ，ｙ）でテンプレート角度がθにおけるピクセルの輝度Ｙ（あるいはＲＧＢのノムル）を表す関数である。

テンプレートＴの位置・角度（ｐ，ｑ，θ）を上記条件のもと変化させてＳ（ｐ，ｑ，θ）を計算し、この値が最小となる位置・角度で最もマッチングしたとみなすこととしている。そして、このマッチングした際の（ｐ，ｑ，θ）のθ値が９０°に最も近くなる画像をテイクバック左腕水平画像として抽出する（Ｓ３０）。
以上の処理でテイクバック左腕水平画像が抽出できなかった場合、つまり、スウィング動画像をアドレス画像から時刻を進めてシャフト１２ａの傾斜角度が２４０°以上となってもテンプレートＴが９０°にならない場合には、テイクバックシャフト９時画像の時刻から所定の時間後（本実施形態では５コマ後）の静止画像をテイクバック左腕水平画像とみなす（Ｓ３１）。なお、ここでいう角度はシャフト１２ａが６時の状態を０°として時計回りを正とする。
このようにして抽出されたチェックポイント画像であるテイクバック左腕水平画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ３２）。

（ダウンスウィング左腕水平画像）
ダウンスウィング左腕水平画像については、上記取得されたテイクバック左腕水平画像での左腕を含むテンプレートを利用して、そのテンプレートと最もマッチングするトップ画像以降の画像をダウンスウィング左腕水平画像として抽出する。
ここで、スウィング画像の順番を考慮すればトップ画像の後にダウンスウィング左腕水平画像が抽出されること分かっているので、トップ画像からテンプレートマッチング処理を開始してもよいが、それでは時間がかかったり、あるいは、トップで腕が全部見えるとは限らないので誤認識する可能性もある。
そこで、本実施形態では、先にダウンスウィングシャフト９時画像を抽出しておいて、その後、時刻を戻しながらテンプレートマッチングを行うことによりダウンスウィング左腕水平画像を抽出することとして計算時間の短縮化と誤認識の防止を図っている。

つまり、ダウンスウィングシャフト９時画像が抽出されている場合には（Ｓ３３）、そこから時刻を戻しながら、左腕の抽出して上記テンプレートと最もマッチングする画像をダウンスウィング左腕水平画像とみなしている。
以上のようにして抽出されたチェックポイント画像であるダウンスウィング左腕水平画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ３５）。

（テイクバックシャフト８時画像）
次に、テイクバックシャフト８時画像の抽出方法について説明する。なお、テイクバックシャフト８時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に８時位置にある状態の静止画像である。
上述したシャフト６時画像でのゴルファー１１のシルエットを抽出することで、体の幅（スタンス幅）を取得しておき、右足側端を通過する垂線と色付マークＭ１が交差する時刻の画像をテイクバックシャフト８時画像として選択して抽出する。

次に、自動追尾失敗用のチェックポイント画像抽出アルゴリズムである第二探索ルーチン（Ｓ１９）について図１１を参照しながら以下に詳述する。
まず、テイクバックシャフト９時画像まで抽出できているかを確認する（Ｓ４０）。具体的には、第二探索ルーチンに移行する直前のシャフト角度が９０°以上となっていれば、色付マークＭ１〜Ｍ３を服あるいは背景と誤認識している可能性が高いので、「スウィング撮影環境を確認してください」というメッセージをモニター１６に表示する（Ｓ４１）。

次に、色付マークＭ１〜Ｍ３がテイクバック左腕水平画像が抽出できているかを確認し（Ｓ４２）、テイクバック左腕水平画像をテンプレートマッチング処理にて抽出する前に、第２探索ルーチンに移行してしまった場合は、テイクバックシャフト９時画像の時刻から所定の時間後（本実施形態では５コマ後（５／６０秒後））の静止画像をテイクバック左腕水平画像とみなして抽出し、その画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ４３）。

次に、ダウンスウィングシャフト９時画像が抽出できているかを確認し（Ｓ４４）、抽出できていない場合は、テイクバックシャフト９時画像における色付マークＭ１〜Ｍ３の位置座標を中心として静止画像上にそれぞれ探索範囲を予め設定して後述するダウンスウィングシャフト９時画像の抽出処理に備えておく（Ｓ４５）。

次いで、トップ画像が取得できているかを確認し（Ｓ４７）、取得できていない場合は、時系列的に隣接する前後の静止画像（フレーム）についてフレーム間差分を異なる時刻について時系列的に順次行い（Ｓ４９）、テイクバック左腕水平以降について所定の閾値よりもノルムが大きいピクセルの数が初めに極小となる静止画像をトップ画像とみなす。具体的には、数式７と同様にして算出される各ピクセルのノルム値を現フレームと前コマのフレームとについて計算し、トップまではフレーム間差分におけるノルム値が所定の閾値（本実施形態では３０）より大きいピクセルの数が減少し、トップを過ぎると閾値よりもノルムが大きいピクセルの数は大きくなるので、そのピクセルの数の増加が５コマ以上連続した時点で５コマ前の画像をトップ画像として抽出する。
そして、上記取得されたトップ画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ５０）。

次に、ダウンスウィングシャフト９時画像が抽出できているかを確認し（Ｓ５１）、抽出できていない場合は、上記の予め設定しておいた探索範囲内で二値化処理を行い、色付マークＭ１〜Ｍ３を認識する色抽出を行う（Ｓ５２）。その結果、抽出できた色付マークＭ１〜Ｍ３が２つ以上存在するときにその２点間ベクトルからシャフト１２ａの角度を求め、９０°（水平）に最も近い静止画像をダウンスウィングシャフト９時画像として抽出し（Ｓ５３）、その画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ５４）。
また、ダウンスウィングシャフト９時画像の時刻から所定の時間前（本実施形態では５コマ前（５／６０秒前））の画像をダウンスウィング左腕水平画像として取得し、その画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ５５）。

次いで、インパクト画像が抽出できていない場合には（Ｓ５６）、探索範囲内のボール２０の占有面積が１０％〜１００％となる大きさの探索範囲を画像上に設定し、この探索範囲内で時系列的に連続する対の静止画像についてフレーム間差分を時系列的に順次行い、数式７と同様にして算出される各ピクセルのノルム値を現フレームと前コマのフレームとについて計算し、所定の閾値（本実施形態では３０）よりもノルムが大きいピクセルの数が増加傾向となり始めてそのピクセルのカウント数が別の閾値（本実施形態では５０）以上になった時点の静止画像をインパクト画像とみなす（Ｓ５７）。なお、１０％〜１００％としたのは、１０％未満とするとボール２０にヘッドが衝突する動き以外の動作を所定の閾値よりもノルムが大きいピクセルの数として取得しやすくなるからである。本実施形態ではボール２０のピクセル数が４９で、ボール２０を中心として２０×２０＝４００ピクセルの探索範囲を設定している。
また、このインパクト画像した時点から所定コマ前の画像をインパクト前画像とすると共に、所定コマ後の画像をインパクト後画像として抽出する。
そして、これら画像についてゴルファー１１の関節等の注目点の画像上の位置座標を認識し、スウィングフォームを解析する（Ｓ５８）。

上記インパクト画像の抽出方法はボール２０の抽出ができていることが前提であるが、もし、ボール抽出ができていない場合は、図１２に示すように、ゴルフクラブ１２の通過を検知する検出センサ４０をボール近傍の所定位置に設けてコンピュータ１５に接続し、検出センサ４０がゴルフクラブ１２の通過を検出してコンピュータ１５に送信されるトリガー信号に基づいてクラブヘッドの位置を推定してインパクト画像およびインパクト前後画像を抽出してもよい。なお、検出センサー４０は、一対の投光器４１および受光器４２とから構成され、投光器４１は赤外線を放射する２箇所の投光部４１ａ、４１ｂを設ける一方、受光器４２は赤外線を検知する２箇所の受光部４２ａ、４２ｂを設けている。

また別の方法として、ボール２０近傍にマイク（集音手段）４３を設けてコンピュータ４３に接続し、ゴルフクラブ１２によるボール打撃時の音をマイク４３で検出し、打撃音と認められる音が取得された時刻の静止画像をインパクト画像であるとみなして抽出しても好適である。

また、シャフト１２ａに設けられた色付マークＭ１〜Ｍ３がスウィング中にゴルファー１１の顔などに近接すると、上述した二値化処理による色抽出処理において色付マークＭ１〜Ｍ３の色と顔の肌色とを誤認識してしまう恐れがある。その対策として、上述した色抽出処理において静止画像を背景差分した後、色相θ＝０〜３０、Ｒ＝２０〜２５５、Ｇ＝２０〜１８０、Ｂ＝１８０以下の条件（色範囲）を満たすピクセルの集合領域を肌色領域とみなして肌抽出を行い、この肌色領域には色付マークＭ１〜Ｍ３が存在しないと仮定して肌色領域を二値化処理の対象外とし誤認識防止を図っている。

以上のようにして得られた各チェックポイント画像を図１３、１４に示すように、正面画像と飛球線後方画像とで出力し、レッスンプロに見てもらってスウィングの診断を行う。また、ゴルファ自身が自己のスウィングをチェックポイント毎に考察してもよい。なお、図１０および図１１のチェックポイント画像の出力方法は、モニター１６で出力するようにしてもよいし、プリンターで出力してもよいし、ＣＤ−Ｒ等の外部記録媒体に出力してもよいし、インターネットを介してデータ送信するようにしてもよい。

以下、各チェックポイント画像の診断内容の一例を示す。
アドレス画像では、スタンスの広さやボールの置き位置、グリップの握り方などを診断する。ゴルフスウイングにとって最も重要なポジションであるといえる。
テイクバックシャフト８時画像では、クラブの上げ方を見て、スウィング軌道や手打ちになっていないか等を見る。
テイクバックシャフト９時画像では、ゴルフクラブのヘッドのフェースの向き等を見る。
テイクバック左腕腕水平画像では、コックの程度、テイクバック時のスウィング軌道などを見る。
トップ画像では、オーバースウィングになっていないか、後方から見たシャフトの向き、頭・上半身・下半身の動きなどをみる。
ダウンスウィング左腕水平画像およびダウンスウィングシャフト９時画像では、コックの程度、テイクバック時のスウイング軌道などを見る。
インパクト前画像、インパクト画像、インパクト後画像では、スウィング軌道、頭・上半身・下半身の動きなどをみる。
フォローシャフト３時画像では、上半身・下半身の動きなどをみる。
フィニッシュ画像では、上半身の動きなどをみる。

以上のように、スウィング中の多数の画像を見るのではなく、スウィングをチェックするにあたり重要である画像のみを抽出することによって、レッスンプロ等がスウィングの診断を容易かつ適切に行うことが可能となる。
なお、ゴルフボールをショットすることによるボールの打出条件（ボール速度・振れ角・打出角・スピン量など）を同時に計測し、その結果と上記自動抽出したチェックポイント画像とを合わせて、スウィング診断するようにすればより好適である。

本発明の実施形態のゴルフスウィング診断システムの構成図である。 アドレス画像におけるマーク抽出を説明する図面である。 アドレス以降の２、３枚目におけるマーク抽出を説明する図面である。 マークの自動追尾を説明する図面である。 （Ａ）（Ｂ）はマークの輪郭抽出を説明する図面である。 ゴルファーの輪郭抽出された画像を示す図面である。 （Ａ）（Ｂ）テンプレートマッチングを説明する図面である。 グリップ位置のズレを説明する図面である。 曲率計算の説明図である。 スウィング診断の概略を示すフローチャートである。 自動追尾失敗用のチェックポイント抽出アルゴリズムを示すフローチャートである。 検出センサおよび集音手段を示す図面である。 正面のチェックポイント画像である。 飛球線後方のチェックポイント画像である。

符号の説明

１１ ゴルファー
１２ ゴルフクラブ
１２ａ シャフト
１３、１４ カラーＣＣＤカメラ
１５ コンピュータ
１９ 背景
３０ 左肩
３１ グリップ
４０ 検出センサ
４３ マイク（集音手段）
Ｍ１〜Ｍ３ マーク
Ｓ１〜Ｓ３ 探索範囲
Ｔ テンプレート

Claims (20)

1. シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
   上記コンピュータは、
   上記カラー動画像を複数の静止画像に変換する手段と、
   上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルを上記色付マークの位置として認識して座標データを取得する手段と、
   上記色付マークの座標データを基にして算出される１つの色付マークの移動ベクトル量、あるいは、２つの色付マーク間のベクトル角度を用いて、上記シャフトの動きを認識する動作抽出手段と、
   上記動作抽出手段で得られたデータに基づいてゴルフスウィング診断に必要な静止画像を上記複数の静止画像から抽出する画像抽出手段と、
   上記抽出した静止画像を出力する出力手段とを備えていることを特徴とするゴルフスウィング診断システム。
2. 上記抽出するゴルフスウィング診断に必要な静止画像は、チェックポイント画像となるインパクト画像およびインパクト以外の少なくとも１つ以上のスウィング姿勢の画像である請求項１に記載のゴルフスウィング診断システム。
3. 上記動作抽出手段では、
   １つの静止画像の自動認識された色付マークのＲＧＢ色情報を基準色情報として記憶し、該基準色情報と同一色とみなすことのできる許容範囲である色範囲を設定し、
   上記静止画像に時系列的に隣接する次フレームの静止画像上での予測されるマーク位置を含む領域である探索範囲を上記次フレーム上に設定し、該探索範囲内において上記色範囲内であるピクセルを上記色付マークの位置とみなし、各静止画像上の色付マークの位置を自動追尾している請求項１または請求項２に記載のゴルフスウィング診断システム。
4. 上記色付マークの追尾ができなかった場合には、上記探索範囲の各ピクセルについて色情報に関する特定の閾値で再二値化処理を行い、閾値を満たすピクセルを上記色付マークの位置として座標データを取得することとしている請求項３に記載のゴルフスウィング診断システム。
5. 上記動作抽出手段は、上記シャフトに設けられた１つの色付マークの時系列的に隣接する静止画像間の移動ベクトル量を用いてスウィング姿勢を抽出し、
   上記画像抽出手段で、インパクト時の静止画像をチェックポイント画像として抽出すると共に、テイクバックシャフト９時、トップ、ダウンスウィングシャフト９時、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出している請求項１乃至請求項４のいずれか１項に記載のゴルフスウィング診断システム。
6. 上記動作抽出手段は、上記シャフトに間隔をあけて設けられた少なくとも２つ以上の色付マーク間のベクトル角度、あるいは／および、グリップに近い色付マークの移動ベクトル量を用いてスウィング姿勢を抽出し、
   上記画像抽出手段で、インパクト時の静止画像をチェックポイント画像として抽出していると共に、テイクバックシャフト９時、トップ、ダウンスウィングシャフト９時、フォローシャフト３時、フィニッシュから選択される少なくとも１つ以上のスウィング姿勢の画像をチェックポイント画像として抽出している請求項１乃至請求項４のいずれか１項に記載のゴルフスウィング診断システム。
7. 上記動作抽出手段は、上記静止画像をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得すると共に該シルエットの輪郭抽出を行い、輪郭のうち曲率が極値となるピクセルを非利き腕側の肩とみなす一方、シャフトに設けられた２つの色付マークとの位置関係からグリップ位置を算出し、非利き腕側の肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、テイクバックスウィング中の静止画像にテンプレートマッチング処理を行ってゴルファーの非利き腕の動きを抽出し、
   上記画像抽出手段により、上記動作抽出手段で得られたデータに基づいて上記テンプレートが水平になった静止画像のコマをテイクバック非利き腕水平画像とみなしチェックポイント画像として抽出している請求項１乃至請求項６のいずれか１項に記載のゴルフスウィング診断システム。
8. 上記画像抽出手段は、上記テイクバック非利き腕水平画像における肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、ダウンスウィング中の静止画像にテンプレートマッチング処理を行って、最もマッチングした画像コマをダウンスウィング非利き腕水平画像とみなしチェックポイント画像として抽出している請求項７に記載のゴルフスウィング診断システム。
9. 上記画像抽出手段は、上記静止画像上をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得し、該シルエットの左右幅からシルエットの一端を利き脚の側端として取得し、該利き脚側端を通過する垂線と上記シャフトに付された色付マークが交差する時刻の画像をテイクバックシャフト８時画像とみなしチェックポイント画像として抽出している請求項１乃至請求項８のいずれか１項に記載のゴルフスウィング診断システム。
10. 上記画像抽出手段は、撮影したスウィング画像の１枚目、あるいは、スウィング画像の開始時からフレーム間差分処理を行って差分が最小となる静止画像をアドレス画像とみなしチェックポイント画像として抽出している請求項１乃至請求項９のいずれか１項に記載のゴルフスウィング診断システム。
11. シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
    上記コンピュータは、
    上記カラー動画像を複数の静止画像に変換する手段と、
    上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行い、閾値を満たすピクセルを上記色付マークの位置として認識して座標データを取得する手段と、
    上記静止画像をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得すると共に該シルエットの輪郭抽出を行い、輪郭のうち曲率が極値となるピクセルを非利き腕側の肩とみなす一方、シャフトに設けられた２つの色付マークとの位置関係からグリップ位置を算出し、非利き腕側の肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、テイクバックスウィング中の静止画像にテンプレートマッチング処理を行ってゴルファーの非利き腕の動きを抽出している動作抽出手段と、
    上記動作抽出手段で得られたデータに基づいて上記テンプレートが水平になった静止画像のコマをテイクバック非利き腕水平画像とみなしチェックポイント画像として抽出する画像抽出手段とを備えていることを特徴とするゴルフスウィング診断システム。
12. 上記画像抽出手段は、上記テイクバック非利き腕水平画像における肩からグリップまでの領域の少なくとも一部の画像をテンプレートとして記憶し、ダウンスウィング中の静止画像にテンプレートマッチング処理を行って、最もマッチングした画像コマをダウンスウィング非利き腕水平画像とみなしチェックポイント画像として抽出している請求項１１に記載のゴルフスウィング診断システム。
13. 上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行った際に上記色付マークの認識を失敗した場合、
    上記カラー動画像を構成する複数の静止画像のうち一定時間間隔を有する対の静止画像についてフレーム間差分を行い、所定の閾値よりもノルムが大きいピクセルの数が極小となる静止画像をトップ画像とみなしチェックポイント画像を抽出している請求項１乃至請求項１２のいずれか１項に記載のゴルフスウィング診断システム。
14. 上記静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行った際に上記色付マークの認識を失敗した場合であって、ダウンスウィングシャフト９時画像の抽出が失敗すると共にテイクバックシャフト９時画像の抽出が成功している場合、
    テイクバックシャフト９時画像における上記色付マークの位置座標を基準として静止画像上に探索範囲を設定すると共に、上記色付マークと同一色とみなすことのできる許容範囲である色範囲を設定し、
    該探索範囲内において色範囲内であるピクセルを上記色付マークの位置とみなして上記色付マークの画像上の位置座標を認識し、
    上記抽出された少なくとも２つ以上の色付マーク間のベクトルが最も水平に近くなる静止画像をダウンスウィングシャフト９時画像とみなしてチェックポイント画像を抽出している請求項１乃至請求項１３のいずれか１項に記載のゴルフスウィング診断システム。
15. 静止画像上のボール周囲に所定の大きさの探索範囲を設定し、探索範囲内で複数の静止画像のうち一定時間間隔を有する対の静止画像についてフレーム間差分を行い、所定の閾値よりもノルムが大きいピクセルの数が増加傾向となり始める時刻、または所定の閾値よりもノルムが大きいピクセルの数が別の閾値より大きくなった時刻の静止画像をインパクト画像とみなしチェックポイント画像を抽出している請求項１乃至請求項１４のいずれか１項に記載のゴルフスウィング診断システム。
16. ゴルフクラブの通過を検知する検出センサをボール近傍に設け、該検出センサがゴルフクラブの通過を検出して送信されるトリガー信号に基づいて上記複数の静止画像からインパクト画像を抽出している請求項１乃至請求項１５のいずれか１項に記載のゴルフスウィング診断システム。
17. 上記コンピュータに接続される集音手段を設け、
    上記ゴルフクラブによるボール打撃時の音を上記集音手段で検出し、該検出された音に基づいて上記複数の静止画像からインパクト画像を抽出している請求項１乃至請求項１６のいずれか１項に記載のゴルフスウィング診断システム。
18. 上記ゴルファーの肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、上記複数の静止画像上のピクセル色情報のうち上記色範囲内にあるピクセルを上記ゴルファーの肌色領域とみなして肌抽出を行い、
    上記肌色領域には上記色付マークが存在しないと仮定して上記肌色領域を上記二値化処理の対象外としている請求項１乃至請求項１７のいずれか１項に記載のゴルフスウィング診断システム。
19. シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
    上記コンピュータは、
    上記カラー動画像を複数の静止画像に変換する手段と、
    上記静止画像上をゴルファーが写らない背景画像で差分処理してゴルファーのシルエットを取得し、該シルエットの左右幅からシルエットの一端を利き脚の側端として取得し、該利き脚側端を通過する垂線と上記シャフトに付された色付マークが交差する時刻の画像をテイクバックシャフト８時画像とみなしチェックポイント画像として抽出する画像抽出手段と、
    上記抽出した静止画像を出力する出力手段とを備えていることを特徴とするゴルフスウィング診断システム。
20. シャフトに色付マークを付したゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
    上記コンピュータは、
    上記カラー動画像を複数の静止画像に変換する手段と、
    撮影したスウィング画像の１枚目、あるいは、スウィング画像の開始時からフレーム間差分処理を行って差分が最小となる静止画像をアドレス画像とみなしチェックポイント画像として抽出する画像抽出手段と、
    上記抽出した静止画像を出力する出力手段とを備えていることを特徴とするゴルフスウィング診断システム。

Images