JP2020174845A

JP2020174845A - 運動解析方法、運動解析システム及び運動解析装置

Info

Publication number: JP2020174845A
Application number: JP2019078446A
Authority: JP
Inventors: 和宏澁谷; Kazuhiro Shibuya
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2019-04-17
Filing date: 2019-04-17
Publication date: 2020-10-29

Abstract

【課題】撮影中に記憶する動画のデータサイズを低減する運動解析方法を提供する。【解決手段】運動解析方法は、運動する対象を撮影するカメラ２１から出力される動画データと、対象の運動を計測するセンサーユニット１０から出力されるセンサーデータとを、互いに同期した状態で、メモリー４０の所定時間分の記憶領域に循環的に記憶することと、処理回路３５によりセンサーデータから対象の所定種類の動作を検出することと、動作の時刻を基準とする所定区間の動画データを区間動画データとしてストレージ５０に記憶することとを含む。【選択図】図１

Description

本発明は、運動解析方法、運動解析システム及び運動解析装置に関する。

特許文献１は、センサーが取り付けられたゴルフクラブの動画像を取得し、センサーデータに対する解析処理によりスイング期間を識別し、この期間に対応してトリミングされた動画像と、センサーデータから生成された動画像とを重ね合わせて表示する端末装置を開示する。

特開２０１５−１９２７１３号公報

しかしながら、特許文献１に記載の技術では、動画の撮影中において、トリミングに用いる動画の期間が不定であるため、記憶する動画のデータサイズが大きくなってしまう場合がある。

第１態様は、運動する対象を撮影するカメラから出力される動画データと、前記対象の運動を計測するセンサーユニットから出力されるセンサーデータとを、互いに同期した状態で、メモリーの所定時間分の記憶領域に循環的に記憶することと、処理回路により前記センサーデータから前記対象の所定種類の動作を検出することと、前記動作の時刻を基準とする所定区間の前記動画データを区間動画データとしてストレージに記憶することとを含む運動解析方法である。

第２態様は、第１態様において、前記動作が、ゴルフにおけるアドレス、トップ、ナチュラルアンコック及びインパクトの少なくとも何れかを含み、前記区間動画データにおける前記動作の時刻を示す情報を前記ストレージに記憶することを更に含むことである。

第３態様は、第１又は第２態様において、前記処理回路が前記センサーデータを解析することにより前記対象の運動の特性を示す解析データを算出することを更に含み、前記区間動画データは、前記解析データをメタデータとして有することである。

第４態様は、第３態様において、前記区間動画データに基づいて表示装置に動画を表示し、前記動画の前記動作に対応するフレームにおいて、前記動作に対応する前記解析データを表示することを更に含むことである。

第５態様は、運動する対象を撮影し、動画データを出力するカメラと、前記対象の運動を計測し、センサーデータを出力するセンサーユニットと、前記動画データと前記センサーデータとを、互いに同期した状態で所定時間分の記憶領域に循環的に記憶するメモリーと、前記センサーデータから前記対象の所定種類の動作を検出する処理回路と、前記動作の時刻を基準とする所定区間の前記動画データを区間動画データとして記憶するストレージとを備える運動解析システムである。

第６態様は、運動する対象を撮影するカメラから出力される動画データと、前記対象の運動を計測するセンサーユニットから出力されるセンサーデータとを、互いに同期した状態で所定時間分の記憶領域に循環的に記憶するメモリーと、前記センサーデータから前記対象の所定種類の動作を検出する処理回路と、前記動作の時刻を基準とする所定区間の前記動画データを区間動画データとして記憶するストレージとを備える運動解析装置である。

実施形態に係る運動解析システムの適用例を説明する図。クラブに取り付けられたセンサーユニットを説明する図。実施形態に係る運動解析システムの構成を説明するブロック図。スイングにおける各動作を説明するタイミングチャート。実施形態に係る運動解析システムの動作を説明するフローチャート。表示装置に動画に重ねて表示される解析データの一例を説明する図。解析データの選択画面の一例を説明する図。解析処理の一例を説明するフローチャート。スイングにおけるクラブの３軸角速度の時間変化を示すグラフ。正規化された図９の３軸角速度の合成値の時間変化を示すグラフ。図１０の合成値の微分値の時間変化を示すグラフ。

以下、図面を参照して本発明の実施形態を説明する。図面においては、同一又は類似の要素には同一又は類似の符号をそれぞれ付して、重複する説明を省略する。実施形態は、特許請求の範囲に記載された本発明の内容を以下に限定するものではない。本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。

［運動解析システム］
図１に示すように、実施形態に係る運動解析システム１は、対象の運動を計測するセンサーユニット１０と、センサーユニット１０により計測された運動を解析する運動解析装置２０を備える。運動解析システム１は、例えば、ゴルフのクラブ３によりボール４を打つ際のユーザー２を撮影し、クラブ３の運動を計測するセンサーユニット１０から出力されるセンサーデータを処理することにより、ユーザー２のスイングを解析する。

図２に示すように、センサーユニット１０は、例えば概略として直方体状の筐体１００を備える。センサーユニット１０は、例えば、クラブ３のシャフト３２のうち、ヘッド３１よりグリップ３３に近い位置に取り付けられる。このため、センサーユニット１０は、ヘッド３１がボール４を打つ際の衝撃と、スイング時のヘッドの加速の影響を受けにくい。センサーユニット１０は、互いに直交するｘ軸、ｙ軸及びｚ軸の３軸の成分の加速度及び３軸周りの成分の角速度を計測する。図２に示す例において、センサーユニット１０は、ｙ軸がシャフト３２の長手方向に沿うようにクラブ３に取り付けられる。

図３に示すように、センサーユニット１０は、加速度センサー１１、角速度センサー１２、信号処理回路１３及びセンサー送受信機１４を、図２に示す筐体１００の内側に備える。加速度センサー１１は、ｘ軸、ｙ軸及びｚ軸のそれぞれの成分の加速度を計測する。加速度センサー１１は、複数の加速度を示すデジタル信号である加速度データを、信号処理回路１３に逐次出力する。角速度センサー１２は、ｘ軸、ｙ軸及びｚ軸のそれぞれの周りの成分の角速度を計測する。角速度センサー１２は、複数の角速度を示すデジタル信号である角速度データを、信号処理回路１３に逐次出力する。加速度センサー１１及び角速度センサー１２は、それぞれ３軸により定義される３次元直交座標系が互いに整合するように、筐体１００に相対的に固定される。

信号処理回路１３は、加速度センサー１１から入力される加速度データ及び角速度センサー１２から入力される角速度データに計測時刻を逐次付加することにより時系列データであるセンサーデータを生成する。即ち、センサーデータは、時系列の加速度データ及び角速度データを含む。信号処理回路１３は、運動解析システム１の通信規格のプロトコルに準ずるように、センサーデータを含むパケットデータを生成し、センサー送受信機１４に逐次出力する。その他、信号処理回路１３は、センサー送受信機１４の駆動を制御することにより、センサー送受信機１４を介して運動解析装置２０と通信する制御回路として機能する。信号処理回路１３は、例えば、運動解析装置２０による制御に応じて、加速度センサー１１及び角速度センサー１２の駆動を制御する。

センサー送受信機１４は、信号処理回路１３による制御に応じて、運動解析システム１の通信規格のプロトコルに従って運動解析装置２０と無線通信する。即ち、センサー送受信機１４は、運動解析装置２０との間で無線の通信リンクを確立する。運動解析システム１の通信規格として、例えばブルートゥース（登録商標）等の近距離無線通信規格が採用可能である。センサー送受信機１４は、信号処理回路１３から入力されるパケットデータを無線信号として運動解析装置２０に宛てて送信する。また、センサー送受信機１４は、運動解析装置２０から送信された無線信号である制御信号を受信し、制御コマンドとして信号処理回路１３に出力する。

上述の通り、加速度センサー１１及び角速度センサー１２は、それぞれの直交座標系が互いに整合するように筐体１００に配置される。但し、実際には製造時等において座標系の間でずれが生じ得る。これに対して、信号処理回路１３は、予め算出された補正パラメーターを用いて、加速度データ及び角速度データを、筐体１００を基準とするセンサー座標系のデータに補正するようにしてもよい。センサー座標系は、ｘ軸、ｙ軸及びｚ軸により定義される３次元直交座標系である。

運動解析装置２０は、例えば、カメラ２１、送受信機２４、入力装置２５、表示装置２６、スピーカー２７、制御装置３０及びストレージ５０を備える。運動解析装置２０は、例えば、スマートフォン、タブレット端末、パーソナルコンピューター（ＰＣ）、ヘッドマウントディスプレイ（ＨＭＤ）、ユーザー２の手首等に装着可能なウェアラブル端末等により実現され得る。

カメラ２１は、運動する対象を撮影することにより動画データを生成し、制御装置３０に出力する。即ち、カメラ２１は、ボール４を打つ際のユーザー２及びクラブ３を対象として撮影することにより、運動する対象の動画を表す動画データを制御装置３０に出力する。カメラ２１は、例えば、固体撮像素子を用いた二次元イメージセンサーである。カメラ２１は、運動解析装置２０の筐体に内蔵されてもよく、外部装置として運動解析装置２０の筐体の外側から制御装置３０に接続されてもよい。

送受信機２４は、制御装置３０による制御に応じて、運動解析システム１の通信規格に従ってセンサー送受信機１４と無線通信する。即ち、送受信機２４は、センサーユニット１０との間で無線の通信リンクを確立する。送受信機２４は、センサーユニット１０から送信される無線信号を受信し、パケットデータとして制御装置３０に逐次出力する。これにより、運動解析装置２０は、センサーユニット１０から出力されるセンサーデータを取得する。また、送受信機２４は、制御装置３０から入力される制御コマンドを制御信号としてセンサーユニット１０に宛てて送信する。

入力装置２５は、ユーザー２の操作を受け付け、操作に応じた信号を制御装置３０に出力する。入力装置２５として、例えば、プッシュボタン、タッチセンサー、キーボードの他、マウス、タッチパネル、デジタイザー等のポインティングデバイスを含む種々の入力機器が採用可能である。その他、入力装置２５は、ユーザー２の操作としてユーザー２の音声を受け付け、音声に応じた信号を制御装置３０に出力するマイクであってもよい。

表示装置２６は、制御装置３０による制御に応じて画像や文字を表示する。表示装置２６として、例えば、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイ等の各種ディスプレイが採用可能である。表示装置２６は、タッチパネルディスプレイとして入力装置２５と一体に構成されてもよい。スピーカー２７は、制御装置３０による制御に応じて、音声を再生することにより、ユーザー２に情報を提示する。

制御装置３０は、処理回路３５及びメモリー４０を備える。制御装置３０は、例えば、中央演算処理装置（ＣＰＵ）、マイクロコントローラー等の論理演算回路や回路部品を含み得る。制御装置３０は、運動解析装置２０の動作に必要な演算を処理するコンピューターシステムを構成する。処理回路３５は、解析処理部３５１、保存処理部３５２及び表示処理部３５３を論理構造として有する。処理回路３５は、ＣＰＵ等の処理装置や回路部品等を含み得る、１または複数の論理回路からなる。処理回路３５は、予めインストールされたプログラムを実行することにより、解析処理部３５１、保存処理部３５２及び表示処理部３５３の他、実施形態に記載された各機能を実現し得る。

メモリー４０は、例えば、処理回路３５等の動作に必要な一連の処理のプログラムや各種データを記憶し得る、コンピューターにより読み取り可能な記憶媒体である。メモリー４０は、例えば半導体メモリーからなる。メモリー４０は、ＣＰＵに内蔵されるレジスターやキャッシュメモリー等の主記憶装置を含み得る。メモリー４０は、一体のハードウェアから構成されてもよく、別個の複数のハードウェアから構成されてもよい。

ストレージ５０は、例えば、運動解析プログラム５１、条件情報５２及び区間動画データ５３を記憶する。ストレージ５０は、例えば、半導体メモリー、ディスクメディア等のコンピューターにより読み取り可能な不揮発性の記憶媒体からなる。運動解析プログラム５１は、運動解析システム１による運動解析方法を実現するために運動解析装置２０が実行する一連の処理を示すプログラムである。運動解析プログラム５１は、ネットワークを介してサーバーから取得されてもよい。

条件情報５２は、例えば、クラブ３の仕様を示すクラブ仕様情報、ユーザー２の体格を示す身体情報、クラブ３におけるセンサーユニット１０の取り付け位置を示す取付位置情報等、運動解析における種々の条件を示す情報である。クラブ仕様情報は、例えば、クラブ３の型番、重心の位置、ライ角、フェース角、ロフト角、シャフト３２の長さ等である。身体情報は、例えば、ユーザー２の腰の高さ、首の高さ、腕の長さ等である。取付位置情報は、例えば、クラブ３に取り付けられたセンサーユニット１０からグリップ３３までの距離である。条件情報５２は、例えば、制御装置３０が運動解析プログラム５１を実行することにより、表示装置２６に入力又は選択画面を表示させ、入力装置２５による入力をユーザー２に促すことにより取得され得る。

処理回路３５は、カメラ２１から出力される動画データに時刻情報を付加し、動画データ４１としてメモリー４０に逐次記憶させる。処理回路３５は、センサーユニット１０から出力されるセンサーデータに動画データ４１と同期した時刻情報を付加し、センサーデータ４２としてメモリー４０に逐次記憶させる。即ち、処理回路３５は、動画データ４１及びセンサーデータ４２を、互いに同期した状態で、メモリー４０の所定時間Ｔａ分の記憶領域に循環的に記憶させる。

詳細には、所定のサンプリング周期毎に、各時刻ｔの動画データ４１及びセンサーデータ４２が、時々刻々メモリー４０に蓄積されていく。所定時間Ｔａ分の動画データ４１及びセンサーデータ４２が蓄積されると、メモリー４０は、最も古い時刻の動画データ４１及びセンサーデータ４２に最新のデータを上書きする。このような処理を繰り返すことにより、メモリー４０は、動画データ４１及びセンサーデータ４２を所定時間Ｔａ分の記憶領域に循環的に記憶する。なお、動画データ４１及びセンサーデータ４２を循環的に記憶する所定時間Ｔａ分の記憶領域は、メモリー４０の代わりに、ストレージ５０等に定義される仮想メモリーに用意されてもよい。

解析処理部３５１は、送受信機２４から入力されるセンサーデータから、対象の所定種類の動作を検出する。即ち、解析処理部３５１は、ユーザー２のスイングによるクラブ３の運動から、所定種類の動作を検出する。所定種類の動作は、例えば、ゴルフにおけるアドレス、トップ、ナチュラルアンコック及びインパクトの少なくとも何れかを含む。アドレスは、スイング開始前においてユーザー２が静止するときの動作である。トップは、スイング間においてユーザー２がクラブ３の動く方向を切り替えるときの動作である。ここで、ナチュラルアンコックは、スイング間においてグリップ３３の速度が最大となるときの動作である。インパクトは、ヘッド３１がボール４を打つときの動作である。更に、解析処理部３５１は、条件情報５２を用いて、センサーデータ４２を解析することにより、対象の所定種類の動作の時刻や、動作の特性を特定する。

図４に示すように、動画データ４１及びセンサーデータ４２を記憶するメモリー４０の記憶領域の容量を定義する所定時間Ｔａは、一般的なスイングに掛かる時間より十分長い時間である。例えば、所定時間Ｔａが時刻ｔ０から時刻ｔ１０までの時間とすると、ユーザー２の準備時間を含むスイングの時間は、時刻ｔ１から時刻ｔ８までの時間として表現される。

時刻ｔ１から時刻ｔ３までの期間Ｔ１において、ユーザー２は、アドレスの状態であり、クラブ３を構えた姿勢で静止している。例えば、解析処理部３５１は、期間Ｔ１内の時刻ｔ２において、送受信機２４から入力されるセンサーデータから、クラブ３が静止状態であることを検出する。時刻ｔ３から時刻ｔ４までの期間Ｔ２において、ユーザー２は、ワッグルと呼ばれる、手足を小さく動かす動作を行う。

時刻ｔ４において、ユーザー２はスイングを開始する。即ち、時刻ｔ４から時刻ｔ５までの期間Ｔ３において、ユーザー２はバックスイングの状態であり、ボール４を打つ方向の反対方向にクラブ３を振っている。時刻ｔ５において、ユーザー２は、トップの状態であり、バックスイングからダウンスイングに切り替える。時刻ｔ５から時刻ｔ７までの期間Ｔ４において、ユーザー２は、ダウンスイングの状態であり、ボールを打つ方向にクラブ３を振っている。解析処理部３５１は、センサーデータ４２を解析することにより、グリップ３３の速度が最大値となる時刻ｔ６を算出する。時刻ｔ６は、ユーザー２が手首の力を緩めるナチュラルアンコックに対応する時刻である。

時刻ｔ７において、ユーザー２は、クラブ３のヘッド３１でボール４を打つインパクトの状態である。時刻ｔ７から時刻ｔ８までの期間Ｔ５において、ユーザー２は、フォロースルーの状態であり、ボール４を打つ方向にクラブ３を振っている。時刻ｔ８において、ユーザー２は、スイングを終了し、フォロースルー終了時の姿勢で静止する。例えば、解析処理部３５１は、期間Ｔ５が終了した後の時刻ｔ９において、送受信機２４から入力されるセンサーデータから、クラブ３が静止状態であることを検出する。

このように、所定時間Ｔａは、スイングを準備する時間である期間Ｔ１及び期間Ｔ２と、スイングに掛かる時間である期間Ｔ３乃至期間Ｔ５とを足した時間より長い。即ち、所定時間Ｔａは、一般的なスイングに掛かる時間より十分長い。このため、解析処理部３５１は、所定のタイミングで所定時間Ｔａ分のセンサーデータ４２を解析することにより、センサーデータ４２におけるアドレス、トップ、ナチュラルアンコック、インパクト等の各動作の時刻を特定することができる。センサーデータ４２は動画データ４１と同一の時刻情報を有しているため、解析処理部３５１は、センサーデータ４２と同時に、動画データ４１における各動作の時刻も特定する。

保存処理部３５２は、解析処理部３５１により検出された所定種類の動作の時刻を基準とする、所定区間の動画データ４１を、区間動画データ５３としてストレージ５０に記憶させる。例えば図４に示すように、保存処理部３５２は、インパクトの時刻ｔ７を基準とし、所定時間Ｔａ分の動画データ４１のうち、時刻ｔ１から時刻ｔ８までの時間に対応するように予め定義された区間を区間動画データ５３として切り出す。区間動画データ５３は、動画データ４１のうち時刻ｔ４から時刻ｔ８までの時間に対応するように定義された区間のデータであってもよい。或いは、保存処理部３５２は、解析処理部３５１により検出された動作に応じて区間を変更するようにしてもよい。

更に、保存処理部３５２は、解析処理部３５１により検出された所定種類の動作に対応するフレームを特定する情報を、区間動画データ５３のメタデータとしてストレージ５０に記憶する。区間動画データ５３は、解析処理部３５１により算出された運動の特性を示す解析データをメタデータとして有するようにしてもよい。解析データは、所定種類の動作の時刻を示す情報を含む。その他、解析データは、例えば、インパクトにおけるグリップ３３の速度、ヘッド３１の速度、フェース角、アタック角、クラブパス、ライ角等を含む。解析データは、グリップ３３の速度の最大値、ヘッド３１の速度の最大値、スイングテンポ、アドレスにおけるライ角、ナチュラルアンコックにおけるグリップ３３の速度の減衰率等を含み得る。解析データは、メタデータとして区間動画データ５３に埋め込まれる代わりに、区間動画データ５３のフレーム内の画像として区間動画データ５３に埋め込まれてもよい。

表示処理部３５３は、区間動画データ５３に基づいて表示装置２６に動画を表示する。表示処理部３５３は、区間動画データ５３に基づく動画の、所定種類の動作に対応するフレームにおいて、動作に対応する解析データを表示する。例えば、表示処理部３５３は、区間動画データ５３に基づく動画のうち、インパクトに対応するフレームにおいて、インパクトにおけるヘッド３１の速度、フェース角、アタック角、クラブパス等を表示する。表示処理部３５３は、区間動画データ５３のメタデータから解析データを読み込み、動画に重ねて表示してもよく、予め区間動画データ５３のフレームの一部に画像として埋め込まれた解析データをそのまま表示するようにしてもよい。

［運動解析システムの動作］
図５のフローチャートを用いて、運動解析システム１の動作の一例として、運動解析システム１による運動解析方法を説明する。初期状態において、条件情報５２は、例えばユーザー２の操作に応じて入力装置２５から制御装置３０に入力され、予めストレージ５０に記憶される。カメラ２１は、例えばボール４を打つ方向をユーザー２の前方として、後方においてユーザー２を画角に含む位置に配置される。更に、センサーユニット１０は、予め運動解析装置２０との通信リンクを確立する。

ステップＳ１０１において、制御装置３０は、カメラ２１による撮影及びセンサーユニット１０による計測を開始する。即ち、制御装置３０は、カメラ２１を制御することにより、カメラ２１に動画データの出力を開始させる。また、制御装置３０は、送受信機２４を介して、制御コマンドをセンサーユニット１０に出力することにより、センサーユニット１０にセンサーデータの出力を開始させる。

ステップＳ１０２において、メモリー４０は、処理回路３５による制御に応じて、所定時間Ｔａ分の動画データ４１及びセンサーデータ４２のキャッシュを開始する。即ち、メモリー４０は、カメラ２１から出力される動画データと、センサーユニット１０から出力されるセンサーデータとを、互いに同期した状態で所定時間Ｔａ分の記憶領域に循環的に記憶することを開始する。

ステップＳ１０３において、解析処理部３５１は、送受信機２４から入力されるセンサーデータから、トリガー動作を検出する検出処理を実行する。解析処理部３５１は、送受信機２４から入力されるセンサーデータを監視し、所定種類の動作をトリガー動作として検出する。例えば、解析処理部３５１は、センサーデータにおける加速度データが閾値を超えることにより、ユーザー２のスイングにおけるインパクトをトリガー動作として検出する。

ステップＳ１０４において、解析処理部３５１は、ステップＳ１０３でトリガー動作を検出したか否かを判定する。解析処理部３５１は、トリガー動作を検出する場合、ステップＳ１０５に処理を進め、トリガー動作を検出しない場合、ステップＳ１０３の処理を繰り返す。

ステップＳ１０５において、メモリー４０は、処理回路３５による制御に応じて、ステップＳ１０３で検出したトリガー動作の時刻を基準とする所定のタイミングで、動画データ４１及びセンサーデータ４２のキャッシュを終了する。メモリー４０は、解析処理部３５１が監視するセンサーデータからスイング終了等の所定の動作を検出することに応じて、キャッシュを終了するようにしてもよい。

ステップＳ１０６において、解析処理部３５１は、センサーデータのキャッシュ、即ち、メモリー４０に記憶された所定時間Ｔａ分のセンサーデータ４２を解析する。これにより、解析処理部３５１は、センサーデータ４２における所定種類の動作の時刻を特定する。また、解析処理部３５１は、対象の運動の特性を示す解析データを算出する。

ステップＳ１０７において、解析処理部３５１は、ステップＳ１０６の解析結果に基づいて、ステップＳ１０３で検出したトリガー動作の時刻を基準とする所定区間をセンサーデータ４２において決定する。解析処理部３５１は、例えば、インパクトの時刻ｔ７を基準として、センサーデータ４２におけるアドレス開始からフォロースルー終了までの区間を、スイングの一連の動作を含む所定区間として特定する。

ステップＳ１０８において、保存処理部３５２は、動画データのキャッシュ、即ち、メモリー４０に記憶された所定時間Ｔａ分の動画データ４１から、ステップＳ１０７で特定された所定区間のデータを切り出す。即ち、保存処理部３５２は、動画データ４１をトリミングすることにより、所定区間の動画データを生成する。動画データ４１は、センサーデータ４２と同一の時刻情報を有し、センサーデータ４２と同期した状態であるため、保存処理部３５２は、ステップＳ１０７で特定された所定区間のデータを動画データ４１から簡単に切り出すことができる。

ステップＳ１０９において、保存処理部３５２は、例えば、ステップＳ１０６の解析結果である解析データを、ステップＳ１０８で切り出された動画データ４１にメタデータとして付加することにより、区間動画データ５３を生成する。解析データは、解析により特定された各動作に対応するフレームを示す情報、即ち、区間動画データ５３における各動作の時刻を示す情報を含む。保存処理部３５２は、生成した区間動画データ５３をストレージ５０に記憶させる。

以上により、運動解析装置２０は、メモリー４０及びストレージ５０の記憶容量を過度に消費することなく、解析データをメタデータとして有する区間動画データ５３をストレージ５０に記憶することができる。このように、ストレージ５０は、区間動画データ５３における所定種類の動作の時刻を示す情報を記憶する。

図６に示すように、表示処理部３５３は、表示装置２６が有する画面６０に、区間動画データ５３に基づいて動画６１を表示させる。例えば、表示処理部３５３は、ユーザー２のスイングの動画６１の、インパクトに対応するフレームにおいて、インパクトに対応する解析データ６２を表示する。図６に示す例では、インパクトの時刻から表示される解析データ６２が、フォロースルーの時刻まで継続して表示される様子を表現している。

例えば、図７に示すように、表示処理部３５３は、表示する解析データ６２の項目を選択するための表示項目選択画面６４を画面６０に表示させるようにしてもよい。表示項目選択画面６４は、ユーザーインターフェイスとして運動解析プログラム５１に組み込まれる。表示項目選択画面６４は、各解析データを示す複数の項目を有する。入力装置２５は、ユーザー２による操作に応じて、表示項目選択画面６４の複数の項目から、動画６１に重ねて表示する項目を選択的に決定する。表示処理部３５３は、入力装置２５により決定された解析データ６２の項目を動画６１に重ねて表示する。

［解析処理］
図８のフローチャートを用いて、解析処理部３５１により実行されるセンサーデータ４２に対する解析処理の一例を、図９乃至図１１を参照しながら説明する。

先ず、ステップＳ２０１において、解析処理部３５１は、センサーデータ４２に含まれる加速度データ及び角速度データをバイアス補正する。ステップＳ２０２において、解析処理部３５１は、バイアス補正された時刻ｔ毎の角速度データを用いて、各時刻ｔにおける角速度の合成値ｎ₀（ｔ）を計算する。例えば、時刻ｔにおける３軸周りの角速度をｘ（ｔ）、ｙ（ｔ）、ｚ（ｔ）とすると、角速度の合成値ｎ₀（ｔ）は、式（１）により表される。
ｎ₀（ｔ）＝｛ｘ（ｔ）²＋ｙ（ｔ）²＋ｚ（ｔ）²｝^1/2 …（１）

例えば、図９に示すように、ユーザー２のスイングによりクラブ３がボール４を打つ際の角速度ｘ（ｔ），ｙ（ｔ），ｚ（ｔ）は、概ね２４００ｍｓにおいて、絶対値が最大となる極値を示す。

ステップＳ２０３において、解析処理部３５１は、各時刻ｔにおける角速度の合成値ｎ₀（ｔ）を、例えば１〜１００の範囲に正規化された合成値ｎ（ｔ）に変換する。例えば、センサーデータ４２における角速度の合成値ｎ₀（ｔ）の最大値をｍａｘ（ｎ₀）とすると、正規化された合成値ｎ（ｔ）は、式（２）により表される。
ｎ（ｔ）＝｛１００×ｎ₀（ｔ）｝／｛ｍａｘ（ｎ₀）｝ …（２）

図１０に示すように、図９に示す角速度ｘ（ｔ），ｙ（ｔ），ｚ（ｔ）から式（１）を用いて計算され、式（２）を用いて正規化された合成値ｎ（ｔ）は、概ね２４００ｍｓにおいて、最大値を示す。

ステップＳ２０４において、解析処理部３５１は、各時刻ｔにおける正規化された合成値ｎ（ｔ）の微分ｄｎ（ｔ）を計算する。例えば、角速度データのサンプリング周期をΔｔとすると、時刻ｔにおける角速度の合成値の微分ｄｎ（ｔ）は、式（３）のように表される。
ｄｎ（ｔ）＝ｎ（ｔ）−ｎ（ｔ−Δｔ） …（３）

図１１に示すように、図１０に示す合成値ｎ（ｔ）から式（３）を用いて計算された微分ｄｎ（ｔ）は、概ね２４００ｍｓにおいて、最大及び最小を示す。なお、図９及び図１０では、横軸を０秒〜５秒で表示しているが、図１１では、インパクトの前後の微分値の変化が分かるように、横軸を２秒〜２．８秒で表示している。

ステップＳ２０５において、解析処理部３５１は、図１１に示すように、合成値の微分ｄｎ（ｔ）の値が最大となる時刻と最小となる時刻のうち、先の時刻をインパクトの時刻ｔ７として特定する。ゴルフにおける通常のスイングでは、インパクトに近い時刻においてクラブ３の速度が最大になると考えられる。クラブ３の速度に応じて角速度の合成値も変化すると考えられるので、スイング中で角速度の合成値の微分ｄｎ（ｔ）が最大又は最小となるタイミングをインパクトのタイミングとして捉えることができる。なお、インパクトによりクラブ３が振動するため、角速度の合成値の微分ｄｎ（ｔ）が最大となるタイミングと最小となるタイミングが連続すると考えられるが、そのうちの先のタイミングがインパクトの時刻ｔ７と定義される。

ステップＳ２０６において、解析処理部３５１は、図１０に示すように、インパクトの時刻ｔ７より前で直近の、合成値ｎ（ｔ）の極小の時刻を、トップの時刻ｔ５として特定する。ゴルフにおける通常のスイングでは、スイング開始後にトップで一旦動作が止まり、その後、徐々にクラブ３の速度が大きくなってインパクトに至ると考えられる。従って、インパクトのタイミングより前で直近の合成値ｎ（ｔ）が極小となるタイミングがトップの時刻ｔ５として定義される。

ステップＳ２０７において、解析処理部３５１は、図１０に示すように、インパクトの時刻ｔ７より後で直近の、合成値ｎ（ｔ）の極小の時刻を、スイング終了の時刻ｔ８として特定する。ゴルフにおける通常のスイングでは、インパクトの後、徐々にクラブ３の速度が小さくなると考えられる。従って、インパクトのタイミングより後で直近の合成値ｎ（ｔ）が極小となるタイミングがスイング終了の時刻ｔ８として定義される。

ステップＳ２０８において、解析処理部３５１は、トップの時刻ｔ５を含み合成値ｎ（ｔ）が閾値以下の所定区間をトップ区間として特定する。ゴルフにおける通常のスイングでは、トップで一旦動作が止まるので、トップの前後ではクラブ３の速度が小さいと考えられる。従って、トップのタイミングを含み合成値ｎ（ｔ）が閾値以下の連続した区間がトップ区間として定義される。

ステップＳ２０９において、解析処理部３５１は、図１０に示すように、トップ区間の開始時刻より前で直近の、合成値ｎ（ｔ）が閾値以下となる時刻をスイング開始の時刻ｔ４として特定する。ゴルフにおける通常のスイングでは、クラブ３が静止した状態からスイングが開始され、トップまで静止することは考えにくい。従って、トップのタイミングより前で直近の、合成値ｎ（ｔ）が閾値以下となるタイミングがスイング開始の時刻ｔ４として定義される。或いは、解析処理部３５１は、トップの時刻ｔ５より前で、合成値ｎ（ｔ）が極小となる時刻をスイング開始の時刻ｔ４として特定するようにしてもよい。

ステップＳ２１０において、解析処理部３５１は、ステップＳ２０１でバイアス補正された加速度データを用いて、各時刻ｔにおけるグリップ３３の速度ｖ（ｔ）を計算する。次いで、ステップＳ２１１において、解析処理部３５１は、速度ｖ（ｔ）が最大となる時刻を、ナチュラルアンコックの時刻ｔ６として特定し、処理を終了する。

その他、解析処理部３５１は、例えば、ボール４の目標方向に沿う水平面上のターゲットラインをＸ軸、水平面上においてＸ軸に直交するＹ軸、及び、水平面に直交するＺ軸を有するグローバル座標系におけるセンサーユニット１０の位置及び姿勢を、解析処理においてセンサーデータ４２から計算し得る。例えば、解析処理部３５１は、加速度を用いてセンサーユニット１０の位置の時間変化を計算し、角速度を用いてセンサーユニット１０の姿勢の時間変化を計算することができる。なお、センサーユニット１０の姿勢は、例えば、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角、オイラー角、四元数等により表現され得る。

保存処理部３５２は、解析処理部３５１による解析結果である解析データをメタデータとして有する区間動画データ５３をストレージ５０に記憶させる。表示処理部３５３は、区間動画データ５３の本体データの動画を表示装置２６に表示させると共に、例えば、メタデータの解析データを、スイングの動作に対応させて動画に合成する。これにより、表示装置２６は、区間動画データ５３に基づいて動画を表示し、例えば所定種類の動作に対応するフレームにおいて、対応する解析データ６２を表示することができる。

［他の実施形態］
以上のように実施形態を説明したが、本発明はこれらの開示に限定されるものではない。各部の構成は、同様の機能を有する任意の構成に置換されてよく、また、本発明の技術的範囲内において、各実施形態における任意の構成が省略されたり追加されたりしてもよい。このように、これらの開示から当業者には様々な代替の実施形態が明らかになる。

例えば、上述の実施形態において、センサーユニット１０は、クラブ３に取り付けられる代わりに、ユーザー２の手首に取り付けられてもよく、グローブに取り付けられてもよい。この場合、センサーユニット１０が運動を計測する対象は、ユーザー２の手首又は手となる。更に、運動解析システム１は、テニス、バドミントン、卓球等のラケットのスイング、野球やソフトボールのバットのスイング等、ゴルフ以外の様々な運動の解析に適用することができる。

また、センサーユニット１０は、加速度データ及び角速度データに対する温度補償機能を有してもよい。加速度センサー１１及び角速度センサー１２が温度補償機能を有してもよく、或いは、信号処理回路１３が加速度データ及び角速度データに対して温度補償処理を実行するようにしてもよい。更に、加速度センサー１１及び角速度センサー１２のそれぞれは、アナログ信号を出力するものであってもよい。この場合、信号処理回路１３は、加速度センサー１１及び角速度センサー１２の各出力信号をＡ／Ｄ変換することによりセンサーデータを生成すればよい。

上述の実施形態において、解析処理部３５１は、角速度データを用いて、インパクト等の動作の時刻を特定するが、加速度データを用いて各動作の時刻を特定するようにしてもよい。更に、所定種類の動作として、バックスイング中にシャフト３２が水平になるハーフウェイバック、ダウンスイング中にシャフト３２が水平になるハーフウェイダウン等の他の動作を含むようにしてもよい。

その他、上述の各構成を相互に応用した構成等、本発明は以上に記載しない様々な実施形態を含むことは勿論である。本発明の技術的範囲は、上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

以下に、上述した実施形態から導き出される内容を、各態様として記載する。

第１態様によれば、トリミング前の動画データ及びセンサーデータをメモリーの所定時間分の記憶領域に循環的に記憶し、所定種類の動作の時刻を基準とする所定区間の動画データをストレージに記憶するため、撮影中に記憶する動画のデータサイズを低減することができる。

第２態様によれば、ストレージが所定種類の動作の時刻を示す情報を記憶するため、センサーデータと同期された区間動画データにおいて、所定種類の動作に対応するシーンを簡単に再生することができる。

第３態様によれば、区間動画データに関連する解析データを、区間動画データにメタデータとして埋め込むことができる。

第４態様によれば、ユーザーは、区間動画データに基づく動画と共に、動作に対応する解析データを確認することができる。

第５態様によれば、トリミング前の動画データ及びセンサーデータをメモリーの所定時間分の記憶領域に循環的に記憶し、所定種類の動作の時刻を基準とする所定区間の動画データをストレージに記憶するため、撮影中に記憶する動画のデータサイズを低減することができる。

第６態様によれば、トリミング前の動画データ及びセンサーデータをメモリーの所定時間分の記憶領域に循環的に記憶し、所定種類の動作の時刻を基準とする所定区間の動画データをストレージに記憶するため、撮影中に記憶する動画のデータサイズを低減することができる。

１…運動解析システム、２…ユーザー、３…クラブ、４…ボール、１０…センサーユニット、１１…加速度センサー、１２…角速度センサー、１３…信号処理回路、１４…センサー送受信機、２０…運動解析装置、２１…カメラ、２４…送受信機、２５…入力装置、２６…表示装置、２７…スピーカー、３０…制御装置、３１…ヘッド、３２…シャフト、３３…グリップ、３５…処理回路、３５１…解析処理部、３５２…保存処理部、３５３…表示処理部、４０…メモリー、４１…動画データ、４２…センサーデータ、５０…ストレージ、５１…運動解析プログラム、５２…条件情報、５３…区間動画データ、６０…画面、６１…動画、６２…解析データ、６４…表示項目選択画面、１００…筐体。

Claims

運動する対象を撮影するカメラから出力される動画データと、前記対象の運動を計測するセンサーユニットから出力されるセンサーデータとを、互いに同期した状態で、メモリーの所定時間分の記憶領域に循環的に記憶することと、
処理回路により前記センサーデータから前記対象の所定種類の動作を検出することと、
前記動作の時刻を基準とする所定区間の前記動画データを区間動画データとしてストレージに記憶することと
を含む運動解析方法。
前記動作は、ゴルフにおけるアドレス、トップ、ナチュラルアンコック及びインパクトの少なくとも何れかを含み、
前記区間動画データにおける前記動作の時刻を示す情報を前記ストレージに記憶することを更に含む請求項１に記載の運動解析方法。
前記処理回路が前記センサーデータを解析することにより前記対象の運動の特性を示す解析データを算出することを更に含み、
前記区間動画データは、前記解析データをメタデータとして有する請求項１又は２に記載の運動解析方法。
前記区間動画データに基づいて表示装置に動画を表示し、前記動画の前記動作に対応するフレームにおいて、前記動作に対応する前記解析データを表示することを更に含む請求項３に記載の運動解析方法。
運動する対象を撮影し、動画データを出力するカメラと、
前記対象の運動を計測し、センサーデータを出力するセンサーユニットと、
前記動画データと前記センサーデータとを、互いに同期した状態で所定時間分の記憶領域に循環的に記憶するメモリーと、
前記センサーデータから前記対象の所定種類の動作を検出する処理回路と、
前記動作の時刻を基準とする所定区間の前記動画データを区間動画データとして記憶するストレージと
を備える運動解析システム。
運動する対象を撮影するカメラから出力される動画データと、前記対象の運動を計測するセンサーユニットから出力されるセンサーデータとを、互いに同期した状態で所定時間分の記憶領域に循環的に記憶するメモリーと、
前記センサーデータから前記対象の所定種類の動作を検出する処理回路と、
前記動作の時刻を基準とする所定区間の前記動画データを区間動画データとして記憶するストレージと
を備える運動解析装置。