JP2014521139A - スポーツ動作のビデオを解析する方法 - Google Patents

Abstract

本発明は、特に、ビデオ内の主要な動作位置の特定およびスポーツ動作を含むビデオのセグメントの自動的抽出のために、スポーツ動作のビデオ画像を解析するための方法、装置、システム、およびコンピュータプログラム生成物を対象とする。スポーツ動作を表示するビデオデータは、いくつかの画像フレームを表すデータを含む。いくつかの画像フレームについて、１つまたは複数のフレーム差分の測定値が、その画像フレームと別の画像フレームとの間で計算される。フレーム差分の測定値は、解析され、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定する。スポーツ動作を示す、スポーツ動作を含むビデオのセグメントは、主要な位置を示す画像フレームのうちの２つの間のものである。フレーム差分の測定値は、画素差分の測定値またはオプティカルフロー技術に基づいて計算されてもよい。

Description

本発明は、スポーツ動作のビデオ画像を解析する方法に関する。より詳細には、本発明は、ビデオ内の主要な動作位置の特定およびスポーツ動作を含むビデオのセグメントの自動的抽出に関する。

多くのスポーツへの参加は、特定の動作を再三再四反復することを伴う。特定の様式でこれらの動作を行う一貫した能力は、通常、スポーツにおける良好なパフォーマンスにとって重要である。参加者が特定の様式で反復的に運動する能力を開発することを補助するために、異なる方法が見出されている。益々、技術が、スポーツにおけるパフォーマンスを改善するためのそのような方法に使用されている。

ビデオ解析は、現代のスポーツ訓練の重要な部分である。自身が動作を行うのを見る能力は、個人が技術における欠点を特定し、それらを矯正することを補助する。更に、ビデオ解析技術は、変更を必要とする動作の外観を特定し、または積極的フィードバックのために正しく行われた動作の外観を特定することを補助するように、スポーツ動作のビデオに適用され得る。

ゴルフを例に取ると、ゴルファーのスウィング技術は、ゴルフボールを一貫して打ち、ゆえに良好にパフォーマンスする能力にとって重要である。年来、好ましいゴルフスウィング技術が特定され、大抵のゴルファーは、この好ましい技術に可能な限り忠実にスウィングを形成するように努力する。ビデオ解析は、ゴルファーのスウィングを改善するために、ゴルフにおいて使用されている。

ビデオ解析の簡単な形態は、単純にゴルフスウィングを録画し、ゴルファー自身または指導員によって認められ得ない欠点を特定するために観直すことである。ビデオ映像は、特定のスウィング位置を示す個々のフレームが解析され得るように、休止され得る。

別の解析方法は、模範的スウィングと比較して差異をより容易に特定するために、ある人のゴルフスウィングを別の人のものの隣に表示することである。いくつかの既存の方法は、対応するスウィング位置が一緒に示されるように、２つのスウィングを同期化することを伴い、これは比較をより容易にする。

ゴルフスウィングを解析するために、アドレス位置、トップスウィング位置、インパクト位置、およびフィニッシュ位置等の特定のスウィング位置を考察することは有用である。ゆえに、それらの位置におけるゴルファーを示すビデオフレームを特定することが、所望である。

ゴルフスウィングのビデオ映像をキャプチャする場合、例えば、プレーヤーがスウィングを準備するときには、スウィング自体の前後で録画された大きな映像量がある場合がある。そのような映像は、大部分、冗長であり、実際のスウィング動作を迅速に特定することを困難にする可能性があり、格納されたデジタルビデオデータの場合、貴重なメモリスペースを取る場合がある。ゆえに、ゴルフスウィング動作をまさに含むビデオ映像のセグメントを抽出することが所望である。

ゴルフスウィングビデオ解析のいくつかの既存の方法は、これらの目的、すなわち、ゴルフスウィングを含むビデオのセグメントの抽出もしくは主要なスウィング位置の特定、または両方を達成する。アドレスおよびフィニッシュ位置の特定は、ゴルフスウィングを示すビデオのセグメントが抽出されることを可能にすることが容易に理解され、ゴルフスウィングは、アドレス位置とフィニッシュ位置との間のビデオの一部において示される。

そのような既存の方法の例は、以下である。
・ビデオのスウィング映像を手動で考察することと、ゴルフスウィングを示すセグメントおよび主要な動作位置を示すフレームを特定すること。これは、ユーザに全てのビデオ映像を一通り見ることを要求するため、時間集約的である。
・米国特許第６，５３７，０７６号および米国特許第６，５６７，５３６号におけるように、インパクトの瞬間を特定するためにインパクト音を検出すること。残りのスウィングは、この瞬間の前後の特定の時間内にあると想定される。この方法は、ビデオキャプチャ装置と共に機能するオーディオ検出装置を必要とし、インパクト位置を正確に検出し得るのみである。この方法は、異なる速さのスウィングに対して確実には機能しないであろう。
・米国特許出願公開第２００６／０２８１０６０におけるように、スウィングの部分を検出するための他の型のセンサ、例えば、圧力マットを使用すること。しかし、この方法は、別の型のセンサの使用を必要とし、高価である場合があり、常には便利ではない。
・米国特許第７，０９７，４５９号、米国特許第７，７０４，１５７号、および米国特許第７，８５７，７０８号におけるように、ゴルファーおよびゴルフクラブ上にカラーマーカーまたは他の識別可能なラベルを配置することと、ビデオ映像においてそれらの位置を自動的に検出すること。しかし、これは、常には利用可能ではない場合があるマーカーまたはラベルの使用をユーザに要求し、かつ、マーカーが正しい場所に配置されないとき、エラーが生じる場合がある。
・米国特許出願公開第２０１０／０３０３３０３におけるように、プレーヤーのシルエットまたは身体セグメントの特定等、物体認識に基づく方法を使用すること。しかし、これらの方法は、ゴルフスウィング解析法を適用する前に、人間の形状認識という困難で時間の掛かる問題を解決することを伴う。ゆえに、これらの方法は、非常に複雑であり、高水準の処理能力／メモリを必要とし、結果を生成するためにいくらかの時間が掛かる。
・韓国特許第１０１００２８４６号におけるように、ビデオ映像におけるボールの位置およびそれが動作中にどのように変化するかを検出すること。この方法は、ビデオキャプチャ装置およびプロセッサ以上の機器に対する必要性を回避する一方、ボールの存在に依存し、常には利用可能ではない場合がある。また、ボールは、アドレス位置の間、クラブヘッドによって狙いを付けられていることを想定しており、ゆえに、ボールがアドレスでクラブヘッドによって狙いを付けられていない角度から録画された、ビデオを解析するためには有用ではない。最後に、特定の想定をすることによって、どのフレームがフィニッシュ位置を示すかを判断するが、常には正しくはない場合がある。

ゴルフスウィングを解析する別の方法において、ゴルフクラブの位置は、米国特許第７，２００，２８２号におけるように、ＨｏｕｇｈまたはＲａｄｏｎ変換等の直線検出法を使用して検出される。そのような方法は、ゴルフクラブが比較的に静的であるビデオのセグメントに対しては有用であり得るが、クラブが速く移動し、画像が不鮮明になるとき、同様に効果的に機能しない場合がある。これらの方法は、計算処理上、集約的でもある。

上記の技術の多くは、他のスポーツにおける動作解析にも適用され得る。

ゆえに、上述の欠点のうちの少なくともいくつかを克服する、スポーツ動作のビデオ画像を解析する改善された方法を提供することが、本発明の目的である。

ビデオキャプチャ装置は、近年、益々普及している。ビデオ画像は、デジタルカメラおよび携帯電話等の多くの個人用電子装置上でキャプチャされ得る。ゆえに、いずれの者も特定のスポーツ動作を実行する個人のビデオ映像をキャプチャすることは、非常に容易になっている。ビデオ映像をキャプチャするために使用される同じ装置が映像を解析するために使用され得ると、便利であろう。ゆえに、個人用電子装置によって行われ得るスポーツ動作のビデオ画像を解析する方法を提供することは、本発明の他の目的である。

スポーツ動作のビデオ画像を解析するための改善された装置および／またはシステムを提供することは、本発明の他の目的である。

あるいは、公衆に有用な選択肢を少なくとも提供することが、本発明の目的である。

本発明の第１の態様によれば、ビデオを解析するための方法であって、ビデオの少なくとも一部がスポーツ動作を表示し、方法が、
数Ｔ個の画像フレームを表すデータを受信するステップと、
数Ｔ_Ｃ個の画像フレームのそれぞれについて、その画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するステップと、
フレーム差分の測定値を解析し、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定するステップと、を含む、方法が提供される。

好ましくは、本方法は、スポーツ動作を表示するビデオの一部を特定するステップを更に含む。より好ましくは、スポーツ動作を表示するビデオの一部を特定するステップが、スポーツ動作の主要な位置のうちの２つの間の画像フレームを選択することを含む。

好ましくは、本方法は、スポーツ動作のうちの１つまたは複数の動作段階をフレーム差分の測定値から特定することを更に含む。より好ましくは、本方法は、スポーツ動作の主要な位置を特定するために、動作段階の特定を使用することを含む。

「フレーム差分の測定値」は、画像フレームの間のビデオデータにおける差分を示す数量であることが理解されるであろう。本発明の好ましい実施形態において、１つまたは複数のフレーム差分の測定値は、
１．画像フレームの間の移動量の測定値、
２．画像フレームの間の移動位置の測定値、および
３．画像フレームの間の移動の速度またはその導関数（加速度等）の測定値のうちの１つまたは複数を含む。

それぞれのフレーム差分の測定値は、フレームの間の差分の大域的測定値または局所的測定値であってもよい。大域的測定値は、実質的に全画像のレベルでの測定値であるように理解されてもよい。局所的測定値は、画素または下部画像レベルでの測定値であるように理解されてもよい。

好ましくは、それぞれの画像フレームが、数Ｐ個の画素または画素群を含み、本方法は、
数Ｔ_Ｃ個の画像フレームのそれぞれについて、数ＰＣ個の画素または画素群のそれぞれを他の画像フレームにおける対応する画素または画素群と比較することと、１つまたは複数の画素差分の測定値を計算することと、を更に含む。

より好ましくは、画素差分の測定値は、画素または画素群の間の強度差分を含む。

好ましくは、本方法は、１つまたは複数のフレーム差分の測定値を１つまたは複数の画素差分の測定値に基づいて計算することを含む。

より好ましくは、本方法は、画像フレームの間の画素差分の測定値の統計値を計算することを含む。好ましくは、本方法は、所定の閾値を超える画素差分の測定値の統計値を計算することを含む。画素差分の測定値は、
１．画像フレームの間の画素移動量の測定値、
２．画像フレームの間の画素移動位置の測定値、および
３．画像フレームの間の画素移動の速度またはその導関数（加速度等）の測定値のうちの１つまたは複数を含んでもよい。

より好ましくは、計算される画素差分の測定値の統計値は、中央値、平均値、ｎ番目の百分位数、標準偏差のうちの１つまたは複数を含んでもよい。

本発明の第２の好ましい実施形態において、本方法は、
数Ｔ_Ｃ個の画像フレームのそれぞれについて、画素または画素群と他の画像フレームにおける対応する画素または画素群との間のオプティカルフローを判定することを含む。

より好ましくは、オプティカルフローを判定するステップは、それぞれの画像フレームと他の画像フレームとの間の画素または画素群との間の局所的相関を判定することを含む。

本発明の好ましい実施形態において、フレーム差分の測定値を解析し、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定するステップは、
フレーム差分の測定値の時間的変動における複数のパターンを特定することと、
それぞれのパターンをスポーツ動作の動作段階のうちの１つと関連付けることと、を含む。

好ましくは、複数のパターンを特定するステップは、フレーム差分の測定値の時間的変動におけるピーク値および／またはトラフ値を特定することを含む。

より好ましくは、複数のパターンを特定するステップは、画像フレームの間の垂直の画素移動におけるピーク値および／またはトラフ値を特定することを含む。

本発明の特定の実施形態において、フレーム差分の測定値を解析し、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定するために、決定モデルが使用される。

本発明の好ましい実施形態において、本方法は、画像改善アルゴリズムをビデオに適用するステップを含む。例えば、一実施形態において、画像安定化アルゴリズムがビデオに適用される。

本発明の一実施形態において、本方法は、オプティカルフローベクトルを計算処理し、次いで、オプティカルフローベクトルを使用し、フレーム差分の測定値を計算することと、を含む、画像安定化アルゴリズムを適用することを含む。

本発明の一実施形態において、画像改善アルゴリズムは、コントラスト増強アルゴリズムを含んでもよい。

好ましくは、フレーム差分の測定値を解析するステップは、ノイズ低減フィルタをフレーム差分の測定値における時間的変動に適用することを含む。

好ましくは、フレーム差分の測定値を計算するそれぞれのステップについて、他の画像フレームは、所定の数の画像フレームによって画像フレームから分離される。より好ましくは、他の画像フレームは先行または後続のフレームである。

好ましくは、フレーム差分の測定値が計算される画像フレームの数Ｔ_Ｃは、ビデオデータにおける画像フレームの数Ｔに等しい。

好ましくは、画素または画素群の数ＰＣは、画像フレームにおける画素または画素群の数Ｐに等しい。

好ましくは、本方法は、スポーツ動作の主要な位置および／またはスポーツ動作を表示するビデオの一部を示す画像フレームを表すデータを、コンピュータ読み取り可能な媒体に書き込むことを更に含む。本方法は、全ての他のデータを消去することを更に含んでもよい。

より好ましくは、本方法は、スポーツ動作の主要な位置および／またはスポーツ動作を表示するビデオの一部を示す画像フレームを、表示装置上に出力するステップを含む。

好ましくは、本方法は、ビデオをビデオキャプチャ装置上で録画することを含む。より好ましくは、ビデオを解析する本方法は、ビデオキャプチャ装置上で行われる。一実施形態において、ビデオキャプチャ装置は、携帯電話である。

好ましくは、本方法は、２つのスポーツ動作を同期化し、２つのスポーツ動作を表示装置上に一緒に表示することを更に含む。２つのスポーツ動作は、スポーツ動作を行う１人の人の他の像またはスポーツ動作を行う２人の人の同じ像であってもよい。より好ましくは、同期する本方法は、それぞれのスポーツ動作の主要な位置の画像フレームを同時に表示することを含む。

好ましくは、本方法は、スポーツ動作の持続時間を示す値を計算することを更に含む。より好ましくは、スポーツ動作の持続時間を示す値は、主要な位置のうちの２つを示す画像フレームの間の経過した時間を含む。

本発明の好ましい実施形態において、スポーツ動作は、ゴルフスウィングである。

本発明の好ましい実施形態において、本方法は、画像フレームのうちの１つまたは複数におけるオブジェクトを特定することを更に含む。より好ましくは、本方法は、スポーツ動作の主要な位置のうちの１つを示す、画像フレームのうちの少なくとも１つにおけるオブジェクトを特定することを含む。

例えば、本方法は、１つまたは複数の画像フレーム、詳細には、アドレスおよびフィニッシュ位置を示す画像フレームにおけるゴルフクラブを特定することを含む。ＨｏｕｇｈまたはＲａｄｏｎ変換法が、ゴルフクラブを特定するために使用されてもよい。

好ましくは、本方法は、１つまたは複数の線を構築し、線（複数可）を画像フレームのうちの１つまたは複数で表示することを含む。

例えば、一実施形態において、本方法は、アドレス位置におけるゴルフクラブを通る第１の線と、第１の線に対しておよそ１７°の第２の線（第１の線上）を構築することと、ゴルファーの側面図の１つまたは複数の画像フレームにおいて線を表示することと、を含む。別の実施形態において、本方法は、およそゴルフクラブを通る垂直の線を構築することと、ゴルファーの正面図の１つまたは複数の画像フレームにおいて線を表示することと、を含む。

好ましくは、本方法は、画像フレームを解析し、結果として改善インストラクションを提供することを更に含む。

本発明の第２の態様によれば、ビデオを解析するための装置であって、ビデオの少なくとも一部がスポーツ動作を表示し、
数Ｔ個の画像フレームを表すデータを受信するための手段と、
数Ｔ_Ｃ個の画像フレームのそれぞれについて、その画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するための手段と、
フレーム差分の測定値を解析し、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定するための手段と、を備える、装置が提供される。

好ましくは、本装置は、ビデオを録画するためのビデオキャプチャ装置を更に備える。より好ましくは、本装置は、主要な位置の画像フレームを表示するための表示手段を更に備える。

本発明の好ましい実施形態において、本装置は、携帯電話、携帯タブレット、またはラップトップコンピュータを備える。

本発明の第３の態様によれば、ビデオを解析するためのシステムであって、ビデオの少なくとも一部がスポーツ動作を表示し、
数Ｔ個の画像フレームを表すデータを受信するための手段と
数Ｔ_Ｃ個の画像フレームのそれぞれについて、その画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するための手段と、
フレーム差分の測定値を解析し、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定するための手段と、を備える、システムが提供される。

本発明の第４の態様によれば、コンピュータによって実行されるとき、コンピュータに、
数Ｔ個の画像フレームを表すデータを受信するステップと、
数Ｔ_Ｃ個の画像フレームのそれぞれについて、その画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するステップと、
フレーム差分の測定値を解析し、それぞれスポーツ動作の主要な位置を示す複数の画像フレームを特定するステップと、を含む、方法を行わせる、コンピュータプログラム生成物が提供される。

本発明の更なる態様は、全ての新規な態様において考慮されるべきであり、本発明の実用的適用の少なくとも一実施例を提供する以下の説明を読めば、当業者には明らかになるであろう。

本発明の１つまたは複数の実施形態は、例示のみのために、かつ限定されることを意図せずに、以下の図面を参照して、以下に記載される。

本発明の実施形態による、ゴルフスウィングを解析する方法を例示するフローチャートである。 本発明の実施形態による、ゴルフスウィングを解析するためのシステムまたは装置の例示である。 本発明の実施形態による、ゴルファーのビデオを構成する複数の画像フレームの例示である。 本発明の一実施形態による、ビデオデータを解析する方法におけるステップを例示するフローチャートである。 本発明の一実施形態による、解析結果の例示である。 本発明の一実施形態による方法によって計算されたデータの例示である。 図６に示されるグラフのうちの１つの部分の例示である。 本発明の実施形態による方法が図３に示されるビデオデータに適用されるときの主要なスウィング位置を示す、画像の例示である。 本発明の別の実施形態による、主要なスウィング位置を示す画像の例示である。

以下の説明において、ゴルフスウィングの解析に関する本発明の実施形態が記載される。これは、本発明の１つの適用である一方、そのような実施形態は、例示のみのために記載され、本発明の他の実施形態において、他のスポーツ動作が分析されることが理解されるであろう。

例えば、ゴルフスウィング同様、本発明の実施形態は、野球のバットスウィング、野球の投球、クリケットのショット、ラグビーのキック、テニスのショット、および他のスポーツ動作を解析するために使用され得る。本発明は、特定のいずれのスポーツ動作にも限定されず、当業者は、以下の説明を読めば、どのように本発明が適用され、本明細書に論じられないスポーツ動作を解析し得るかを容易に理解するであろう。

図１は、本発明の実施形態による、ゴルフスウィングを解析する方法１００を例示するフローチャートである。図２は、本発明の同じ実施形態による、ゴルフスウィングを解析するためのシステムまたは装置２００の例示である。

ステップ１０１で、ビデオは、個々のゴルフスウィングをすることについて録画される。ビデオは、いくつかの冗長な映像、すなわち、実際のゴルフスウィングではなくセットアップまたはスウィングを準備するプレーヤー等を示すビデオの一部を含んでもよい。ビデオは、任意のビデオキャプチャ装置２０１上で録画されてもよく、いくつかの実施形態において、カムコーダー、デジタルカメラ、携帯電話、タブレットコンピュータ等の容易に携帯可能なデジタル装置が使用される。ゴルフスウィングをどこでも録画および解析することができる利便性は、本発明のいくつかの実施形態の利点である。

デジタルビデオの録画の場合、ステップ１０１の最終結果は、ビデオを集合的に構成する画像フレームを表すデジタルデータである。そのようなデータは、ビデオキャプチャ装置上またはハードドライブ、メモリカード、ＣＤ、フロッピー（登録商標）ディスク等の任意の好適なデータ記憶媒体上に格納されてもよい。

ステップ１０２で、代表的データが、本発明による解析ステップを実行するために好適なコンピュータまたはプロセッサ２０２で受信される。いくつかの実施形態において、プロセッサ２０２は、ビデオをキャプチャするために使用される同じ装置２０１、例えば、携帯電話において実現され、したがって、単一の装置のみがビデオをキャプチャおよび解析し、解析の結果を表示するために必要とされる。

ステップ１０３で、本方法は、画像改善アルゴリズムをビデオデータに適用するステップを含んでもよい。そのようなアルゴリズムは、データの質を改善し、それによって、解析方法の結果を改善するために使用されてもよい。使用されてもよい画像改善アルゴリズムの実施例としては、画像安定化アルゴリズム、コントラスト増強アルゴリズム、ノイズ低減アルゴリズム等が挙げられる。画像安定化アルゴリズムは、例えば、得られる結果の質を低減し得る、カメラが誰かの手に把持されるときのカメラの振動の効果を低減することを補助する。コントラスト増強アルゴリズムは、例えば、これらが共通して日陰にあるために、ゴルフ練習場でキャプチャされたビデオについて生じる、キャプチャされたビデオにおける光質が貧弱である場合に、特に有用である場合がある。好適なアルゴリズムは、当技術分野において周知であり、より詳細には論じられない。

ステップ１０４で、プロセッサ２０２は、プロセッサによって受信された複数の画像フレームについてフレーム差分の測定値を計算する。本発明の文脈において、フレーム差分の測定値は、画像フレームの間のビデオデータにおける差分を示す数量である。本ステップは、以下により詳細に説明される。

ステップ１０５で、プロセッサ２０２は、例えば、決定モデルを計算されたフレーム差分の測定値に適用することによって、フレーム差分の測定値を解析する。本ステップは、以下にもより詳細に説明される。

ステップ１０６で、プロセッサ２０２は、ステップ１０５での解析の結果を出力する。本発明の一実施形態において、解析結果は、それぞれスポーツ動作の主要な位置およびスポーツ動作を表示する、すなわち、冗長なビデオセグメントのいずれもないビデオの一部を示す、複数の画像フレームを含む。

スポーツ動作の主要な位置は、スポーツ動作の解析において重要と考えられる任意の位置を意味することが理解されるであろう。それらの主要な位置であるものは、解析されるスポーツ動作および関係する人に依存し、異なる人々は、様々な程度の重要度を個々のスポーツ動作内の異なる位置に置く場合がある。ゴルフスウィングの解析の例示において、主要な位置は、通常、アドレス、バックスウィングの中間点、バックスウィングのトップ、ダウンスウィングの中間点、インパクト、およびフォロースルーでのゴルファーの位置であると考えられる。しかし、これらの位置は、例示のためにのみ言及され、ゴルフスウィングにおける他のいずれの位置も主要であると考えられる場合がある。例えば、スポーツ動作の位置は、ユーザへの表示のために選択されるという事実の観点においてのみ、主要であると考えられる場合がある。

動作前後でのいずれの冗長なビデオも伴わないスポーツ動作を表示するビデオの一部は、常にではないが多くの場合、第１の主要な位置と最後の主要な位置との間のビデオのその部分であろう。ゴルフスウィングの場合では、該当するビデオ部分は、アドレス位置を示すフレームとフォロースルーまたはフィニッシュ位置を示すアドレスとの間の全ての画像フレームを含む。他の実施形態において、ビデオの他の位置は、必要に応じて抽出されてもよい。必要とされるビデオセグメントの開始および完了は、特定の様式で、例えば、最初と最後の主要な位置でのある回数または数のフレーム内において、ある主要な位置に関係してもよい。

ステップ１０７で、プロセッサ２０２によって出力された解析の結果は、表示手段２０３上に表示される。表示手段２０３は、当技術分野において既知である画像フレームおよびビデオ映像を表示することができる、いずれの好適な装置も備えてもよい。いくつかの実施形態において、表示手段２０３は、プロセッサ２０２および／またはビデオキャプチャ装置２０１と同じ装置において実現される。例えば、表示手段２０３は、携帯電話上の画面を備えてもよい。

ステップ１０８で、出力された結果は、更に自動的に解析され、フィードバックが改善インストラクションの形態で提供されてもよい。例えば、ゴルフスウィングの場合において、アドレスでのゴルフクラブの位置は、検出されてもよい（以下で論じられる）。ゴルフクラブが大き過ぎる、または小さ過ぎる角度にあるとき、これは検出され、適切なフィードバック、例えば、（「より近くに立つ／ボールから更に離れる」）が提供され得る。

本発明のいくつかの実施形態による解析結果が表示される様式を、以下で説明する。

図３は、本発明の実施形態による、ゴルファーのビデオ３００を構成する複数の画像フレーム３０１の例示である。ビデオ録画は、およそ２３秒の持続時間であり、１分毎に３０フレーム（ｆｐｓ）で撮影された。５つ毎の画像フレームのうちの１つのみが、利便性のために図３に示される。ビデオ中、ゴルファーは、４つの完全なゴルフスウィングをし、これらのスウィングを示す画像フレームは、３０２としてハイライトおよびマークされる。

ビデオ３００は、Ｔ画像フレームＸ（ｔ）のシーケンスであり、それぞれがデータとして表される。それぞれの画像フレームＸは、Ｐ＝［ｎ_ｒ ｘ ｎ_ｃ］の画素からなり、式中、ｎｒは画像フレームにおける画素行の数であり、ｎｃは、画像フレームにおける画素列の数である。画像フレームは、次式で表されることができ、
Ｘ（ｔ）＝［ｘ（ｔ）_ｉｊ］、式中、ｉ＝１、２、．．．ｎ_ｒであり、ｊ＝１、２、．．．ｎ_ｃであり、ｔ＝１、２、．．．Ｔである。

図４は、本発明の一実施形態による、ビデオデータを解析する方法４００におけるステップを例示する、フローチャートである。図４に例示される方法４００は、オンラインのビデオ解析法において実現されてもよい。

ステップ４０１で、Ｔ_Ｃ画像フレームは、解析のために使用される。Ｔ_Ｃは、Ｔ以下であってもよい。論じられる実施形態において、全ての利用可能なデータが解析されるように、Ｔ_Ｃ＝Ｔである。しかし、処理は、十分な数のフレームが必要とされる結果を達成するために解析されなければならないが、利用可能なフレームの部分集合のみが解析されるときに、加速され得る。高速ビデオの場合において（例えば、１秒毎に３０フレームまたはそれ以上）、より速い処理のため、かつフレームの間の画像において十分な変化があることを確実にし、したがって画像フレームの間の有意義な比較がなされ得るようにするためには、画像フレームの全てが使用される必要がない場合がある。

画像フレームは、Ｘ（ｔ）が、［０，ｍａｘ ｐｉｘｅｌ ｉｎｔｅｎｓｉｔｙ］の要素である、画素強度Ｘのグレースケール画像として処理されてもよい。グレースケールを使用することは、本方法を簡略にする。他の実施形態において、他の測定値、例えば、画素中のカラーコンポーネントが使用されてもよい。

ステップ４０２で、解析用の現在の画像フレームが選択される。一実施形態において、本方法は、解析されるべきビデオにおける画像フレームを通して連続的に機能してもよい。別の実施形態において、本方法は、まず、全てのフレームを解析せずに結果を得るために数フレーム毎を通して機能してもよく、必要とされるときに他のフレームを解析するのみである。他の実施形態において、解析用の画像フレームの順序を選択する他の様式が使用されてもよい。

ステップ４０３で、差分フレームまたは差分画像Ｄ（ｔ）が計算される。差分フレームは、現在の画像フレームＸ（ｔ）のＰＣ画素のそれぞれと過去または将来のＸ（ｔ−ｍ）における別の画像フレームの対応する画素との間の絶対差であり、式中、ｍはｔの前のフレームの数であり、
Ｄ（ｔ）＝│Ｘ（ｔ）−Ｘ（ｔ−ｍ）│である。

他の実施形態において、Ｄ（ｔ）は、対応する画素の別の差分関数として計算される。例えば、差分画像Ｄ（ｔ）は、平方差、変換差、絶対差の対数、対数差分等であってもよい。

いくつかの実施形態において、ｍ＝±１である。すなわち、差分フレームは、先行または後続の画像フレームの間の差分に基づく。しかし、ｍは、任意の整数であり得る。1以上の整数が、例えば、より速い処理用の、かつフレームの間の画像におけるより大きな変化を検出するための高速ビデオの場合に、使用されてもよい。

一実施形態において、ＰＣ＝Ｐであり、すなわち、画像フレームにおける画素の全ては、他の画像フレームにおける画素と比較される。しかし、いくつかの実施形態において、ＰＣはＰ未満であり、したがって、画素の部分集合のみがそれぞれのフレームにおいて比較され、または低解像度処理された（すなわち、低減された解像度）フレームが比較される。これは、特に、全ての画素を処理せずに十分な結果が達成され得る、高解像度の画像の場合、効率性を上昇させる場合がある。別の実施形態において、画素群が、フレームの間で比較される。

ステップ４０４において、１つまたは複数のフレーム差分の測定値が計算される。ここで論じられる実施形態において、画像フレームは、画素からなり、フレーム差分の測定値は、フレームの間の画素差分の測定値またはその統計値を含む。例えば、ステップ４０４ａで、差分比率ＤＲａｔｉｏ（ｄ_{ｔｈｒｅｓ}）が計算される。差分比率は、所定の強度の閾値ｄ_{ｔｈｒｅｓ}を超える差分画像Ｄにおける画素の割合であり、
ＤＲａｔｉｏ（ｄ_{ｔｈｒｅｓ}）＝ｃｏｕｎｔ（［ｄ_ｉｊ］≧ｄ_{ｔｈｒｅｓ}）／（ｎ_ｒ×ｎ_ｃ）である。

差分比率は、差分画像における移動量、すなわち画像フレームの間の移動量の測定値である。それは、全体としての画像フレームに関係するため（画素または準画像レベルでの移動の局所的測定値とは異なり）、大域的測定値である。ＤＲａｔｉｏ（ｄ_{ｔｈｒｅｓ}）の高い値は、フレームの間の大きな移動を示す。それは、画像の回転変換に対する不変式である。

ステップ４０４ｂにおいて、差分位置インジケータが計算される。選択された強度の閾値ｅ_{ｔｈｒｅｓ}が与えられると、ｅ_{ｔｈｒｅｓ}を超えるＤにおける画素に対応する二値行列Ｅは、次式で定義されることができ、
Ｅ＝［ｄ_ｉｊ］≧ｅ_{ｔｈｒｅｓ}である。

ｅ_ｈ＝［Σ_ｉ（ｅ_ｉ，１）Σｉ（ｅ_ｉ，２）．．．Σ_ｉ（ｅ_ｉ，ｊ）］をＥの列和ベクトルとし、ｅ_ｖ＝［Σ_ｊ（ｅ_１，ｊ）Σ_ｊ（ｅ_２，ｊ）．．．Σ_ｊ（ｅ_ｉ，ｊ）］をＥの行和のベクトルとする。以下の差分位置インジケータは、次式で定義される。
水平の差分位置インジケータ：ＨＤＰｒｃｔｉｌｅ（ｐ）＝ｐｔｈ−Ｐｅｒｃｅｎｔｉｌｅ（ｅ_ｈ）
垂直の差分位置インジケータ：ＶＤＰｒｃｔｉｌｅ（ｐ）＝ｐｔｈ−Ｐｅｒｃｅｎｔｉｌｅ（ｅ_ｖ）

上に定義される水平および垂直の差分位置インジケータは、画像フレームの間の移動位置の測定値である。ｐの値は任意のものであってもよいが、例えば、［５，２５，５０，７５，９５］から選択されてもよく、複数の値は、２つ以上の差分位置インジケータを与えるためにも使用されてもよい。

図５は、本発明の一実施形態による解析の結果の例示である。図５は、Ｘ（ｔ）解析されるフレーム５０１を例示する。フレーム５０１は、ゴルフスウィングに至る過程のゴルファー部分の画像である。差分フレームＤ（ｔ）は、画像５０２に示される。これは、フレーム５０１と比較のフレームとの間で異なる全ての画素を示し、本実施例における比較のフレームは、直前のフレームである。画像５０３は、所定の閾値ｅ_{ｔｈｒｅｓ}を超える差分フレームにおける画素の位置を示す。グラフ５０４および５０５は、所定の閾値ｅ_{ｔｈｒｅｓ}を超える差分フレームにおける画素について垂直および水平の分布をそれぞれ示す。グラフ５０４および５０５を画像５０３と接続する線は、５、５０、および９５の百分位数のおよその位置、すなわち、５、５０、および９５に等しいｐについてのＨＤＰｒｃｔｉｌｅ（ｐ）およびＶＤＰｒｃｔｉｌｅ（ｐ）のそれぞれの３つの異なる値を示す。

図６は、本発明の一実施形態による方法によって計算される、いくつかの画像フレームに関するデータの例示である。グラフ６０２は、時間（またはフレーム数）に対する画像フレーム、ＤＲａｔｉｏの間の移動量の測定値のプロットである。グラフ６０３は、時間に対する画像フレーム、ＶＤＰｒｃｔｉｌｅ（５０）の間の移動位置の測定値のプロットである。ＶＤＰｒｃｔｉｌｅ（５０）は、差分フレームにおける特定の閾値を超える画素の垂直位置の中央値である。グラフ６０３のｙ軸上のラベルは、データがプロットされる方向と反対であり、実際には、ｙ＝０はグラフの頂点であり、ｙ＝２００は底であることに注意されたい。

再び図４を参照すると、本発明の一実施形態による、フレーム差分の測定値（複数可）を解析し、ゴルファーのスウィングにおける主要な位置を特定するステップが、ここで記載される。本実施形態において、単純な時間的認識戦略が使用される。以下で述べられる方法の詳細は、ゴルファーの側面のビデオを解析することに関連する（図３による）。

ステップ４０５で、ガウシアン（Ｇａｕｓｓｉａｎ）フィルタが、データにおけるノイズを低減するためにそれまでに計算された、時間的フレーム差分の測定データに適用されてもよい。

ステップ４０６で、スウィング段階は、フレーム差分の測定データにおいて特定されるように試みられる。区域６０４、６０５、および６０６は、グラフ６０２および６０３のデータにおけるスウィング段階を特定することの結果を示す。区域６０４は、完全なスウィングを表さないパターンを示し、区域６０５および６０６は、フレーム差分の測定データにおけるパターンに相関されたスウィング段階を示す。より詳細には、４つの別個のスウィング段階が特定される。図６において、これらのスウィング段階は、「開始」、「アップダウン」、「ダウンアップ」、および「完了」と呼ばれる。それぞれのスウィング段階は、フレーム差分の測定データにおけるパターンによって特徴付けられる。例えば、開始および完了段階中、ＤＲａｔｉｏの値は比較的小さく、全体的動作をほとんど示さない。アップダウン段階の途中で、ＤＲａｔｉｏおよびＶＤＰｒｃｔｉｌｅ（５０）は、同時にトラフ値を打ち（そのようにして、グラフ６０３において、ＶＤＰｒｃｔｉｌｅ（５０）は、ｙ軸が逆にされるので、高い）、移動が最小限であり、移動位置が最も高い点にある、バックスウィングの頂点を示す。ダウンアップ段階またはダウンスウィング中、ＤＲａｔｉｏは、身体移動が最大限にあるため、最も高い。共通に使用されるピーク値検出法は、データにおけるピーク値またはトラフ値を特定するために使用されてもよい。

完全なスウィングは、連続する４つの全ての段階を含まなければならない。ゆえに、そのスウィング段階および連続する４つの段階の行に特有の特徴付けパターンの検出が、データにおける完全なスウィングを特定するために使用される。成功したスウィング認識は、例えば、それぞれの段階の持続時間を評価することによっても、検証され得る。１秒毎に３０のフレームを録画するビデオの場合において、それぞれのスウィング段階は、ほとんどのゴルフスウィングについて、およそ６０フレーム以下の長さであるべきである。

決定ステップ４０７において、スウィングが特定されたかどうかが判定される。例えば、スウィングの検出は、連続して検出されるべき４つの全てのスウィング段階の検出を必要とする場合がある。スウィングが特定されなかったとき、本方法は、ステップ４０２にループバックし、ビデオデータの別の画像フレームにおけるデータを解析する。スウィングが特定されたとき、本方法は、ステップ４０９に進む。

ステップ４０８で、スウィングの主要な位置を示す画像フレームは、データにおける特定されたスウィング段階に基づいて特定される。図７は、図６に示されるグラフ６０３の一部の例示である。図７に示されるグラフ７０１は、第１の完全なスウィングを表すデータを含む、グラフ６０３の一部である。
主要なスウィング位置を示す画像フレームがどのように特定されるかの例が、以下に説明される。
・アドレス―開始段階のＶＤＰｒｃｔｉｌｅ（５０）における主ピーク値の位置
・トップスウィング―アップダウン段階のＶＤＰｒｃｔｉｌｅ（５０）における主トラフ値の位置
・インパクト―ダウンアップ段階のＶＤＰｒｃｔｉｌｅ（５０）における主ピーク値の位置
・フィニッシュ―完了段階のＶＤＰｒｃｔｉｌｅ（５０）における主トラフ値の位置
・アップスウィングおよびダウンスウィング―ピーク値〜トラフ値＝開始段階のＶＤＰｒｃｔｉｌｅ（５０）における主ピーク値−アップダウン段階のＶＤＰｒｃｔｉｌｅ（５０）における主トラフ値であり、かつＣｒｏｓｓＲａｔｉｏ＝アップスウィングおよびダウンスウィング位置を判定するためのピーク値〜トラフ値の選択された比率であるとき、アップスウィングおよびダウンスウィングフレーム＝ＶＤＰｒｃｔｉｌｅ（５０）がトラフ値より上でそれぞれ交差する（ＣｒｏｓｓＲａｔｉｏ＊ピーク値〜トラフ値）、アドレスフレームとインパクトフレームとの間の最初および最後の位置である。一実施形態において、ＣｒｏｓｓＲａｔｉｏは、０．３にほぼ等しい。別の実施形態において、０．５が選択されてもよい。

本発明のいくつかの実施形態において、オブジェクト検出法は、スポーツ動作における特定のオブジェクトを特定するために使用し、場合によっては、スウィング段階および／または主要な位置の特定を補助または検証するためにオブジェクト検出を使用し得る。ゴルフスウィング解析の場合において、ゴルフクラブ検出法、例えば、直線検出アルゴリズムが使用され得る。

再び図６を参照すると、グラフ６０１は、画像フレームのＨｏｕｇｈ変換法におけるピーク値角度の検出の結果を示す。すなわち、グラフ６０１のデータは、画像フレームにおけるゴルフクラブの角度を表す。代替的実施形態において、Ｒａｄｏｎ変換法またはその他の好適なアルゴリズムが使用されてもよい。クラブ角度および位置の最も正確な特定は、クラブが比較的静的であるアドレスおよびフィニッシュ位置で行われ得る。

図４のステップ４０９で、主要なスウィング位置が示される画像フレームが出力される。図８は、本発明の実施形態による方法が図３に示されるビデオデータに適用されるときの主要なスウィング位置を示す画像の例示である。録画されたビデオにおける４つのスウィングのそれぞれについて、６つの主要な位置が提供される。示される実施形態において、アドレスでのゴルフクラブの位置を示すために、オブジェクト検出アルゴリズムが適用されている。これは、全てのフレームにおいて線によって示される。

ステップ４１０で、ゴルフスウィング（複数可）を示す初期に録画されたビデオ部分が出力される。これは、アドレス位置とフィニッシュ位置と間の画像フレームを含むビデオデータの形態で出力され、所望されるとき、これらの位置の前後の少数の画像フレームも含んでもよい。図３に示されるビデオの場合において、出力された４つの短いビデオセグメントがあり、それぞれは、録画されたスウィングのうちの１つを示すであろう。

抽出されたゴルフスウィングセグメントではなく、主要な位置のフレームのみを出力することは、メモリ要求および処理の速さにおける低減のため、有利である場合がある。

ステップ４１０の後、本方法は、ステップ４０２に戻り、存在し得るそれ以上のスウィングについてビデオを解析することを継続してもよい。

本発明の方法のステップのいくつかは、同時または異なる順番で行われてもよいことに注意されたい。図４のステップは、説明上の目的のみのために順番に示される。適切なものとして本方法のいくつかのステップを同時に行うことによって、本発明の方法は、「リアルタイム」の作動、または少なくとも非常に短い処理時間に応じることができる。

図９は、本発明の別の実施形態による、主要なスウィング位置を示す画像の例示である。図９は、「熟練者」のスウィング９０１の主要なスウィング位置を示し、これらは、サブジェクト９０２によって、３つのスウィングからの同等の主要なスウィング位置と整列される。このように画像フレームを表示することは、スウィングを熟練者のものと比較するためのサブジェクトにとり、極めて有用である。

図９の画像フレームにおいて、第１の線９０３は、アドレスフレームにおいてゴルフクラブの位置をマークする全てのフレームにおいて表示される。この線は、Ｈｏｕｇｈ変換法等のオブジェクト検出アルゴリズムを使用する、好ましい実施形態において構築される。第２の線９０４も構築および表示されてもよい。第２の線９０４をおよそ１７°で第１の線９０３に対して引くことは（この角度は、ゴルフクラブのヘッドに対向する）、有用な教示ツールを提供することが見出されている。第２の線９０４は、ゴルファーの肩を渡って通ってもよい。第２の線９０４に対する身体の特定部分の位置を見ることが所望である場合があり、例えば、ゴルファーの手の位置は、インパクトで、ほぼ第１の線９０３と第２の線９０４との間にあるはずである。

ゴルファーの正面が解析される別の実施形態において、アドレス位置でのゴルフクラブを通ってほぼ延在する、垂直の線を構築および表示することが有用である場合がある。再び、これを達成するために、適切なオブジェクト検出アルゴリズムが使用され得るであろう。これは、スウィング中のこの線に対するゴルファーの頭部の動きをみるために、有用である場合がある。

本発明の一実施形態において、スウィング段階、したがって主要なフレーム位置を特定するために、フレーム差分の測定値ＤＲａｔｉｏのみが使用される。別の実施形態において、垂直方向への移動量は、スウィング段階、したがって主要なフレーム位置を特定するために使用される、フレーム差分の測定値であってもよい。異なる測定値は、スポーツ動作の特定において異なる利点を提供する場合があり、ゆえに、異なる状況において有用である場合がある。他の実施形態において、２つ以上のフレーム差分の測定値が使用され、測定値の間の交差検証は、動作解析法の確度を増大させ得る。異なるスウィング段階および主要な位置を特定するためのルールは、使用される測定値に応じて変更が必要であってもよい。

上述のように、フレーム差分の測定値は、所定の閾値を超える差分フレームの画素について、ＨＤＰｒｃｔｉｌｅ（ｐ）およびＶＤＰｒｃｔｉｌｅ（ｐ）、すなわち垂直および水平分布をそれぞれ含んでもよい。いくつかの場合において、回転された角度に沿うそのような分布を計算することはより有益である場合があり、移動の分散は、より正確にキャプチャされた動作を予測する。例えば、ゴルフスウィングの場合において、アドレス位置でのクラブの平面に対して平行方向での分散が計算されてもよい。アドレス位置でのクラブの平面に対して直角方向での分布は、この方向でのゴルフクラブの最小限の移動があるため、最適な結果を生成しない場合がある。

上述の実施例は、スウィング段階、ゆえに主要な位置が、どのように後方からキャプチャされるゴルフスウィングのビデオデータにおいて特定され得るかを説明する。該スウィング段階および主要な位置を特定するためのルールは、この特定の角度からのこの種のスポーツ動作を示すビデオに限定される。しかし、原理は、一度フレーム差分の測定値における適切なパターンが特定されると、本方法を拡張し、他の角度からの、および他のスポーツについての動作段階および主要な位置を認識するように容易に適合され得る。

上述の実施例において、スウィング段階および主要な位置をフレーム差分の測定値から特定するために、ルールベースモデルが使用される。他の実施形態において、隠れマルコフモデル、状態空間モデル、有限状態マシン、回帰法、サポートベクトルマシン、ニューラルネットワーク、およびファジー理論等、データの分類、認識、および回帰のための他の予測および／または機械学習モデルが使用されてもよい。機械学習技術を利用する方法は、多くの異なる種のスポーツ動作を学習および分類するタスクに直面するとき、特に有利である。

本発明の代替的実施形態において、画像フレームの間の移動速度の測定値である、フレーム差分の測定値の計算は、スポーツ動作のビデオを解析するために使用される。例えば、画像フレームの間の画素移動の速度（速さおよび方向の両方からなる）が計算される。

隣接するフレームの間の全ての画素についての画素移動の速度は、本発明の一実施形態におけるオプティカルフロー技術を使用して計算されてもよい。いずれの既知のオプティカルフロー技術も、画像フレームにおける画素または画素群に適用されてもよく、これは、画素移動速度の値を導くために、近傍相関関数（ｎｅｉｇｈｂｏｕｒｈｏｏｄ ｃｏｒｒｅｌａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を使用する。これらの速度は、記載された同様の様式で、時間に対してプロットされ、スウィング段階および主要な位置の画像フレームを特定するために解析され得る、フレーム差分の測定値である。

オプティカルフロー技術が使用される本発明の実施形態において、オプティカルフローのベクトルは、画像安定化アルゴリズム（例えば、Ｈ．Ｆａｒｉｄ ａｎｄ Ｊ．Ｂ．Ｗｏｏｄｗａｒｄ．Ｖｉｄｅｏ Ｓｔａｂｉｌｉｚａｔｉｏｎ ａｎｄ Ｅｎｈａｎｃｅｍｅｎｔ．ＴＲ２００７−６０５，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｄａｒｔｍｏｕｔｈ Ｃｏｌｌｅｇｅ，Ｓｅｐｔｅｍｂｅｒ ２００７に記載される）の一部として計算処理されてもよいため、画像安定化アルゴリズムを適用することは有利である場合があり、後で本解析方法に使用され、したがって画像安定化アルゴリズムを使用し、処理速度を改善する利点を得ることができる。

オプティカルフロー技術は、オプティカルフロー技術が対象のそれぞれの画素／画素群について、画素／画素群の速度の局所的推定値を計算処理するため、図４に関する上述の方法より計算処理上集約的である場合がある。

本発明のいくつかの実施形態において、本発明の方法を実施するコンピュータプログラム生成物が提供される。例えば、本発明の解析をビデオデータ上で実行することができるプログラムは、携帯電話またはタブレット等のコンピュータまたは計算処理装置上にインストールされてもよい。一実施形態において、本コンピュータプログラム生成物は、装置上にインストールされ得る、ダウンロード可能な製品として利用可能である。例えば、本コンピュータプログラム生成物は、携帯電話上のアプリケーションとして供給されてもよい。

本発明の一実施形態による、スポーツ解析法の部分を実行するように構成されたコンピュータプログラム生成物のための疑似コードが、以下に提供される。

本発明の実施形態は、実装形態の単純さのために、スポーツ動作を解析するために特に有利である。特別な機器は必要とされず、いくつかの実施形態において、携帯電話等の単一の装置のみが本発明を実装するために必要とされる。ゴルフスウィングの場合において、ゴルフクラブ（または硬質材料の同等の長さ）が必要とされ得るが、解析はゴルフボールを必要とせずに行われ得る。

本発明を実装する装置は、使用するには極めて単純であり、例えば、携帯電話上に一度実装されると、必要とされることは、ゴルファーにカメラを合わせ、単純なボタン（録画開始または録画停止）を押すことのみであり、結果は、自動的に生成される。特に画像安定化法が使用されるとき、必要とされるものは、振動に対するいくらかの公差があるが、合理的に安定なカメラである。

本発明の解析法は、計算処理するには非常に速く、本方法のステップのいくつかが同時に行われる実施形態において、本方法がビデオを通して単一のパスのみを必要とし得るため、小さい量の処理力および小さいメモリバッファーのみを必要とする。ゆえに、デジタルカメラ、携帯電話、およびタブレット等、メモリおよび計算処理上限定された装置に適用可能である。結果として、本発明は、どこにおいても容易に実装され得る。

メモリの使用は、必要とされる画像フレーム、すなわち主要な位置の画像フレーム、およびいくつかの実施形態において、スウィングセグメントのビデオを保持するのみによって、更に最大化される。

上述のように、本発明は、ほぼ任意の角度からの多くのスポーツ動作を解析するために使用され得る。動作段階／主要な位置のフレームを特定するための異なるルールが、異なる角度からの解析のために必要とされる場合がある。カメラは、画像フレームにおける１つまたは複数の方向での合理的な程度の移動がある角度にあることも好ましく、移動平面におけるカメラの角度は、そうでなければ満足な結果を生成しない場合がある。

一度ビデオの主要な動作位置および抽出されたセグメントが生成されると、スポーツのコーチング等で補助するためにそれらをユーザに提示する多くの異なる様式がある。例えば、スポーツ動作を行う同じ人の２つの異なる面が単一の画面上に提供され、それぞれの面からの対応する主要な動作位置は、同時に表示され得る。あるいは、スポーツ動作を行う異なる人の面が横並びで表示され、学習すること、例えば、ある人を熟練者のスポーツ動作と比較することを補助し得る。

どのように情報を表示し、ユーザによって操作されることができるかを制御するための任意の好適な手段が、提供されてもよい。例えば、一実施形態において、画像フレームは、ユーザが主要な位置の間で切り換え、完全なビデオを観て、熟練者と比較する等を可能にするボタンを有する携帯電話の画面上で提示される。本発明は、解析法の結果がどのようにユーザに対して表示されるかによって限定されない。

一実施形態において、更なる自動的解析が、例えば、身体位置おけるエラーの等、本方法によって特定された主要な位置フレームの１つまたは複数で実行されてもよい。更なる解析の結果は、いずれの形態でもユーザに提示され得る。改善インストラクションの形態での特定のフィードバックも、更なる解析の結果として提供されてもよい。

一実施形態において、スポーツ動作の持続時間を示す値が出力される。これは、フレームの数およびフレームの比率に応じて単純に計算される。ゴルフスウィングの場合において、ゴルフスウィングの持続時間は、出力されることができ、スウィングの間およびプレーヤーの間での比較のために有用である場合がある。ゴルフにおいて、スウィングのリズムは、重要であると考えられる。

文脈が明細書および特許明細の範囲を通して、別途、明示的に要求しない限り、「含む」、「含んでいる」等の語は、排除的または網羅的な意味とは異なり、包含的な意味、すなわち「含まれるが、限定されない」の意味で解釈されるものである。

上記および以下に引用される全ての出願、特許、および公開の全ての開示は、いずれであっても、参照によって本明細書に組み込まれる。

本明細書における任意の従来技術の参照は、その従来技術が世界の任意の国で、当傾注分野における共通の一般的知識の一部を形成することの承認またはいずれの形式の示唆としても受け取られず、または受け取られるべきではない。

本発明は、また、本出願の明細書において、個別または集合的に、部品、要素、ならびに特徴の２つまたはそれ以上のいずれか、または全ての組み合わせにおいて参照され、または示された該部品、要素、および特徴に本質があることを広範に言われ得る。

上記の説明において、参照がその既知の同等物を有する整数または構成要素に対してなされている場合、それらの整数は、個別に記載されている場合と同様に本明細書に組み込まれる。

本明細書に記載される好ましい本実施形態に対する様々な変更および改変形態は、当業者に明らかであることに注意されたい。そのような変更および改変形態は、本発明の趣旨および範囲を逸脱することなく、かつその付随の利点を減ずることなく行われ得る。ゆえに、そのような変更および改変形態は、本発明内に包含されることが意図される。

２００ ゴルフスウィングを解析するためのシステムまたは装置装置
２０１ ビデオキャプチャ装置
２０２ プロセッサ
２０３ 表示手段
３００ ビデオ
３０１ 画像フレーム
３０２ スウィングを示す画像フレーム

Claims (50)

1. ビデオを解析する方法であって、前記ビデオの少なくとも一部がスポーツ動作を表示し、前記方法が、
   数Ｔ個の画像フレームを表すデータを受信するステップと、
   数Ｔ_Ｃ個の前記画像フレームのそれぞれについて、前記画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するステップと、
   前記フレーム差分の測定値を解析し、それぞれ前記スポーツ動作の主要な位置を示す複数の画像フレームを特定するステップと、を含む、方法。
2. 前記方法が、前記スポーツ動作を表示する前記ビデオの前記一部を特定するステップを更に含む、請求項１に記載の方法。
3. 前記スポーツ動作を表示する前記ビデオの前記一部を特定する前記ステップが、前記スポーツ動作の前記主要な位置のうちの２つの間の画像フレームを選択することを含む、請求項２に記載の方法。
4. 前記方法が、前記スポーツ動作のうちの１つまたは複数の動作段階を前記フレーム差分の測定値から特定することを更に含む、請求項１〜３のいずれか一項に記載の方法。
5. 前記方法が、前記スポーツ動作の前記主要な位置を特定するために、前記動作段階の特定を使用することを含む、請求項４に記載の方法。
6. 前記１つまたは複数のフレーム差分の測定値が、
   画像フレームの間の移動量の測定値、
   画像フレームの間の移動位置の測定値、および
   画像フレームの間の移動の速度またはその導関数（加速度等）の測定値のうちの１つまたは複数を含む、請求項１〜５のいずれか一項に記載の方法。
7. それぞれのフレーム差分の測定値が、フレームの間の差分の大域的測定値である、請求項１〜６のいずれか一項に記載の方法。
8. それぞれのフレーム差分の測定値が、フレームの間の差分の局所的測定値である、請求項１〜６のいずれか一項に記載の方法。
9. それぞれの画像フレームが、数Ｐ個の画素または画素群を含み、前記方法が、
   前記数Ｔ_Ｃ個の前記画像フレームのそれぞれについて、数ＰＣ個の画素または画素群のそれぞれを他の画像フレームにおける対応する画素または画素群と比較して、１つまたは複数の画素差分の測定値を計算することと、を更に含む、請求項１〜８のいずれか一項に記載の方法。
10. 前記画素差分の測定値が、画素または画素群の間の強度差分を含む、請求項９に記載の方法。
11. 前記方法が、前記１つまたは複数のフレーム差分の測定値を前記１つまたは複数の画素差分の測定値に基づいて計算することを含む、請求項９〜１０のいずれか一項に記載の方法。
12. 前記方法が、画像フレームの間の画素差分の測定値の統計値を計算することを含む、請求項９〜１１のいずれか一項に記載の方法。
13. 前記方法が、所定の閾値を超える画素差分の測定値の統計値を計算することを含む、請求項１２に記載の方法。
14. 前記画素差分の測定値が、
    画像フレームの間の画素移動量の測定値、
    画像フレームの間の画素移動位置の測定値、および
    画像フレームの間の画素移動の速度またはその導関数（加速度等）の測定値のうちの１つまたは複数を含む、請求項９〜１３のいずれか一項に記載の方法。
15. 計算される画素差分の測定値の前記統計値が、中央値、平均値、ｎ番目の百分位数、標準偏差のうちの１つまたは複数を含んでもよい、請求項１２〜１４のいずれか一項に記載の方法。
16. 前記方法が、
    前記数Ｔ_Ｃ個の前記画像フレームのそれぞれについて、前記画素または画素群と前記他の画像フレームにおける前記対応する画素または画素群との間のオプティカルフローを判定することを含む、請求項１〜８のいずれか一項に記載の方法。
17. オプティカルフローを判定する前記ステップが、それぞれの画像フレームと前記他の画像フレームとの間の画素または画素群の間の局所的相関を判定することを含む、請求項１６に記載の方法。
18. 前記フレーム差分の測定値を解析し、それぞれ前記スポーツ動作の主要な位置を示す複数の画像フレームを特定する前記ステップが、
    フレーム差分の測定値の時間的変動おける複数のパターンを特定することと、
    それぞれのパターンを前記スポーツ動作の前記動作段階のうちの１つと関連付けることと、を含む、請求項１〜１７のいずれか一項に記載の方法。
19. 複数のパターンを特定する前記ステップが、フレーム差分の測定値の前記時間的変動におけるピーク値および／またはトラフ値を特定することを含む、請求項１８に記載の方法。
20. 複数のパターンを特定する前記ステップが、画像フレームの間の垂直方向の画素移動におけるピーク値および／またはトラフ値を特定することを含む、請求項１９に記載の方法。
21. 前記方法が、前記フレーム差分の測定値を解析し、それぞれ前記スポーツ動作の主要な位置を示す複数の画像フレームを特定するための決定モデルを使用することを更に含む、請求項１〜２０のいずれか一項に記載の方法。
22. 前記方法が、画像改善アルゴリズムを前記ビデオに適用するステップを含む、請求項１〜２１のいずれか一項に記載の方法。
23. 前記方法が、画像安定化アルゴリズムを前記ビデオに適用することを更に含む、請求項２２に記載の方法。
24. 前記方法が、オプティカルフローのベクトルを計算処理し、次いで、前記オプティカルフローのベクトルを使用し、前記フレーム差分の測定値を計算することを含む、画像安定化アルゴリズムを適用することを含む、請求項１６に従属するときの請求項２３に記載の方法。
25. 前記画像改善アルゴリズムが、コントラスト増強アルゴリズムを含む、請求項２２〜２４のいずれか一項に記載の方法。
26. 前記フレーム差分の測定値を解析する前記ステップが、ノイズ低減フィルタをフレーム差分の測定値における前記時間的変動に適用することを含む、請求項１〜２５のいずれか一項に記載の方法。
27. 前記フレーム差分の測定値を計算するそれぞれのステップについて、前記他の画像フレームが、所定の数の画像フレームによって前記画像フレームから分離される、請求項１〜２６のいずれか一項に記載の方法。
28. 前記他の画像フレームが、先行または後続のフレームである、請求項２７に記載の方法。
29. フレーム差分の測定値が計算される画像フレームの前記数Ｔ_Ｃが、前記ビデオデータにおける画像フレームの前記数Ｔに等しい、請求項１〜２８のいずれか一項に記載の方法。
30. 画素または画素群の前記数ＰＣが、前記画像フレームにおける画素または画素群の前記数Ｐに等しい、請求項９に従属するときの請求項９〜２９のいずれか一項に記載の方法。
31. 前記スポーツ動作の前記主要な位置および／または前記スポーツ動作を表示する前記ビデオの前記一部を示す前記画像フレームを表すデータを、コンピュータ読み取り可能な媒体に書き込むことを更に含む、請求項１〜３０のいずれか一項に記載の方法。
32. 前記方法が、前記スポーツ動作の前記主要な位置および／または前記スポーツ動作を表示する前記ビデオの前記一部を示す前記画像フレームを、表示装置上に出力するステップを含む、請求項１〜３１のいずれか一項に記載の方法。
33. 前記方法が、２つのスポーツ動作を同期化し、前記２つのスポーツ動作を前記表示装置上に一緒に表示することを更に含む、請求項３２に記載の方法。
34. 同期化する前記方法が、それぞれのスポーツ動作の前記主要な位置の画像フレームを同時に表示することを含む、請求項３３に記載の方法。
35. 前記方法が、前記ビデオをビデオキャプチャ装置上で録画することを含む、請求項１〜３４のいずれか一項に記載の方法。
36. 前記ビデオを解析する前記方法が、前記ビデオキャプチャ装置上で行われる、請求項３５に記載の方法。
37. 前記方法が、前記スポーツ動作の持続時間を示す値を計算することを更に含む、請求項１〜３６のいずれか一項に記載の方法。
38. 前記スポーツ動作の前記持続時間を示す前記値が、前記主要な位置のうちの２つを示す画像フレームの間の経過した時間を含む、請求項３７に記載の方法。
39. 前記スポーツ動作が、ゴルフスウィングである、請求項１〜３８のいずれか一項に記載の方法。
40. 前記方法が、前記画像フレームのうちの１つまたは複数におけるオブジェクトを特定することを更に含む、請求項１〜３９のいずれか一項に記載の方法。
41. 前記方法が、前記スポーツ動作の前記主要な位置のうちの１つを示す、前記画像フレームのうちの少なくとも１つにおける前記オブジェクトを特定することを含む、請求項１〜４０のいずれか一項に記載の方法。
42. 前記方法が、ＨｏｕｇｈまたはＲａｄｏｎ変換法を使用し、ゴルフクラブを特定することを含む、請求項４１に記載の方法。
43. 前記方法が、１つまたは複数の線を構築し、前記線（複数可）を前記画像フレームのうちの１つまたは複数で表示することを含む、請求項４０〜４２のいずれか一項に記載の方法。
44. 前記方法が、前記画像フレームを解析し、結果として改善インストラクションを提供することを更に含む、請求項１〜４３のいずれか一項に記載の方法。
45. ビデオを解析するための装置であって、前記ビデオの少なくとも一部が、スポーツ動作を表示し、前記装置が、
    数Ｔ個の画像フレームを表すデータを受信するための手段と、
    数Ｔ_Ｃ個の前記画像フレームのそれぞれについて、前記画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するための手段と、
    前記フレーム差分の測定値を分析し、それぞれ前記スポーツ動作の主要な位置を示す複数の画像フレームを特定するための手段と、を備える装置。
46. 前記装置が、前記ビデオを録画するためのビデオキャプチャ装置を更に備える、請求項４５に記載の装置。
47. 前記装置が、前記主要な位置の画像フレームを表示するための表示手段を更に含む、請求項４５または４６に記載の装置。
48. 前記装置が、携帯電話、携帯タブレット、またはラップトップコンピュータを備える、請求項４７に記載の装置。
49. ビデオを解析するためのシステムであって、前記ビデオの少なくとも一部がスポーツ動作を表示し、前記システムが、
    数Ｔ個の画像フレームを表すデータを受信するための手段と、
    数Ｔ_Ｃ個の前記画像フレームのそれぞれについて、前記画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するための手段と、
    前記フレーム差分の測定値を解析し、それぞれ前記スポーツ動作の主要な位置を示す複数の画像フレームを特定するための手段と、を備える、システム。
50. コンピュータによって実行されるとき、前記コンピュータに、
    数Ｔ個の画像フレームを表すデータを受信するステップと、
    数Ｔ_Ｃ個の前記画像フレームのそれぞれについて、前記画像フレームと別の画像フレームとの間の１つまたは複数のフレーム差分の測定値を計算するステップと、
    前記フレーム差分の測定値を解析し、それぞれ前記スポーツ動作の主要な位置を示す複数の画像フレームを特定するステップと、を含む、方法を行わせる、コンピュータプログラム生成物。