JP2018523868A5

JP2018523868A5 -

Info

Publication number: JP2018523868A5
Application number: JP2018502090A
Authority: JP
Filing date: 2016-07-15
Publication date: 2019-03-07
Anticipated expiration: 2036-07-15

Description

少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定するよう構成された位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信するよう構成されている。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信するよう構成されており、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成するよう構成されている。例えば、１以上の実施形態において、事象ビデオは、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定のビデオおよびセンサデータが特定の位置において特定の時間に生じたと判断して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。

少なくとも１つのモーションキャプチャ要素の複数の実施形態は、マイクロコントローラと結合された、位置を決定するよう構成された位置決定要素を含んでもよく、この場合、マイクロコントローラは、モバイル装置上のコンピュータに位置を送信するよう構成されている。１以上の実施形態において、本システムは、サーバを更に含み、マイクロコントローラは、直接またはモバイル装置を介してサーバに位置を送信するよう構成されており、コンピュータまたはサーバは、位置、並びに事象開始時間および事象停止時間に基づいて、ビデオの部分から事象ビデオを構成するよう構成されている。例えば、１以上の実施形態において、事象ビデオは、例えばモバイル装置１０１、サーバ１７２、コンピュータ１０５、または本システムと結合された他の任意のコンピュータ上で、特定の長さの事象に合わせてトリミングされてもよく、任意の品質またはビデオ品質にコード変換され、任意の方法で、モーション解析データまたは事象データ（例えば、速度または加速データ）にオーバーレイされるかまたは別様で統合される。ビデオは、モバイル装置、少なくとも１つのモーションキャプチャセンサ、および／またはサーバ間の通信リンクが開いているか否かに関わらず、ビデオを格納するための任意の解像度、深さ、画質、もしくは圧縮タイプで、または記憶能力を最大にするための他の任意の技術もしくはフレームレートで、または記憶量を最小限にするための任意の圧縮タイプを用いて、ローカルに格納され得る。１以上の実施形態において、速度または他のモーション解析データは、例えば、ビデオの下の部分にオーバーレイされてもよく、または別様で組み合わされてもよく、これは、事象開始および停止時間を含み、例えば、ボールを打った事象の前のスイングのビデオを提供するために、実際の事象の前および／または後の任意の秒数を含んでもよい。１以上の実施形態において、少なくとも１つのモーションキャプチャセンサおよび／またはモバイル装置は、事象およびビデオをサーバに送信してもよく、サーバは、特定のビデオおよびセンサデータが特定の位置において特定の時間に生じたと判断して、幾つかのビデオおよび幾つかのセンサ事象から事象ビデオを構築してもよい。センサ事象は、例えば、ユーザおよび／または用具と結合された１または複数のセンサからのものであり得る。このように、本システムは、事象に対応する短いビデオを構築してもよく、これにより、例えば、必要なビデオ記憶容量が大きく低減される。

Claims

統合されたセンサおよびビデオモーション解析方法において、
カメラからキャプチャされたビデオを取得する工程と、
コンピュータを用いて、１以上の対象のオブジェクトと、該１以上の対象のオブジェクトのうちの各オブジェクトについての１以上の区別可能な視覚的特徴とを取得する工程と、
解析のために前記ビデオから複数のフレームを選択する工程と、
前記１以上の対象のオブジェクトについて前記複数のフレームを探索して、１以上の識別されたオブジェクトと、前記複数のフレーム内における、前記１以上の識別されたオブジェクトのうちの１つのオブジェクトと各領域が関連づけられた１以上の領域とを生じる工程であって、前記１以上の領域のうちの各領域の画素が、前記１以上の領域と関連づけられた前記１以上の識別されたオブジェクトのうちの１つのオブジェクトについての前記１以上の区別可能な視覚的特徴とマッチする、工程と、
前記複数のフレームのうちの各フレームについて、前記カメラのカメラ姿勢を推定する工程と、
前記１以上の領域の位置および画素内容から、前記複数のフレームのうちの１以上のフレーム内における前記１以上の識別されたオブジェクトのうちの１以上のオブジェクトについての、前記カメラ姿勢に対して相対的なオブジェクト姿勢を推定する工程と、
前記複数のフレームのうちの各フレームについての前記カメラ姿勢を用いて、前記複数のフレームのうちの各フレーム内における前記オブジェクト姿勢を共通座標系に変換する工程と、
１以上のモーションキャプチャ要素から、前記１以上の対象のオブジェクトのうちの１以上のオブジェクトについてのモーションキャプチャデータを取得する工程と、
前記モーションキャプチャデータを前記複数のフレームと同期させる工程と、
前記複数のフレームにわたる前記オブジェクト姿勢の変化を前記モーションキャプチャデータと組み合わせるためのセンサ融合を用いて、前記１以上の識別されたオブジェクトについての１以上のモーション測定指標を生成する工程と
を含み、
前記モーションキャプチャデータおよび前記１以上のモーション測定指標が、線形位置、線形速度、線形加速度、軌道、向き、角速度、角加速度、モーションの時間、複数の位置間で経過した時間、モーションの開始から或る位置に到着するまでに経過した時間、および衝撃の時間のうちの１以上を含み、
前記１以上の区別可能な視覚的特徴が、形状、曲率、サイズ、色、輝度、色相、飽和、テクスチャ、および画素パターンのうちの１以上を含み、
前記１以上の対象のオブジェクトが、用具および人のうちの１以上を含む
ことを特徴とする方法。
前記前記モーションキャプチャデータを前記複数のフレームと同期させる前記工程が、
事象タイプ、該事象タイプと関連づけられたセンサデータシグネチャー、および前記事象タイプと関連づけられたビデオシグネチャーを各事象シグネチャーが含む１以上の事象シグネチャーを取得する工程と、
前記モーションキャプチャデータ内における、および前記複数のフレーム内における、前記１以上の事象シグネチャーのうちの１つにマッチする事象の位置を特定する工程と、
前記事象についての前記センサデータシグネチャーに対応するモーションキャプチャデータタイムスタンプを、前記複数のフレームのうちの、前記事象についての前記ビデオシグネチャーが前記ビデオ内において生じているフレームと位置合わせする工程と
を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記モーションキャプチャデータがセンサクロックを含み、
前記ビデオがフレームクロックを含み、
前記センサクロックと前記フレームクロックとが最大クロック差の範囲内で緩く同期され、
前記事象の位置を特定する前記工程が、
前記モーションキャプチャデータ内における、前記１以上の事象シグネチャーのうちの前記センサデータシグネチャーの位置を特定し、位置を特定された前記センサデータシグネチャーについてのモーションキャプチャデータタイムスタンプと、検出された事象タイプとを生じる工程と、
前記検出された事象タイプに対応する前記ビデオシグネチャーについて、前記モーションキャプチャデータタイムスタンプから前記最大クロック差を減算した値と前記モーションキャプチャデータタイムスタンプに前記最大クロック差を加算した値との間の前記フレームクロックの値を有する前記複数のフレームを探索する工程と
を含む、請求項２記載の統合されたセンサおよびビデオモーション解析方法。
前記モーションキャプチャデータを前記複数のフレームと同期させる前記工程が、
前記１以上の識別されたオブジェクトから基準オブジェクトを選択する工程と、
前記基準オブジェクトのビデオモーション測定指標を、前記複数のフレームから算出する工程と、
前記基準オブジェクトについての対応するセンサモーション測定指標を、前記基準オブジェクトについての前記モーションキャプチャデータから算出する工程と、
前記ビデオモーション測定指標と前記センサモーション測定指標との間の差分が最小化されるように、前記モーションキャプチャデータを前記複数のフレームと位置合わせする工程と
を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記モーションキャプチャデータがセンサクロックを含み、
前記ビデオがフレームクロックを含み、
前記センサクロックと前記フレームクロックとが最大クロック差の範囲内で緩く同期され、
前記モーションキャプチャデータを前記複数のフレームと位置合わせする前記工程が、前記最大クロック差の範囲内における、前記ビデオモーション測定指標と前記センサモーション測定指標との間の前記差が最小化される正または負のクロックシフトを探索する、
請求項４記載の統合されたセンサおよびビデオモーション解析方法。
事象タイプ、該事象タイプと関連づけられたセンサデータシグネチャー、および前記事象タイプと関連づけられたビデオシグネチャーを各事象シグネチャーが含む１以上の事象シグネチャーを取得する工程と、
前記モーションキャプチャデータ内における、前記１以上の事象シグネチャーのうちの前記センサデータシグネチャーのうちの１つにマッチする、見込みのある事象、または、前記複数のフレーム内における、前記１以上の事象シグネチャーのうちの前記ビデオシグネチャーのうちの１つにマッチする、見込みのある事象の位置を特定する工程と、
前記見込みのある事象に見込みのある事象タイプを割り当てる工程と、
前記見込みのある事象が、前記見込みのある事象タイプについての前記センサデータシグネチャーおよび前記見込みのある事象タイプについての前記ビデオシグネチャーの両方にマッチしない場合に、前記見込みのある事象を誤検出として消去する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上の対象のオブジェクトのうちの少なくとも１つのオブジェクトが視覚的マーカーを含み、
前記視覚的マーカーが回転対称ではないパターンを含み、
前記１以上の対象のオブジェクトのうちの前記少なくとも１つのオブジェクトの前記１以上の区別可能な視覚的特徴が、前記視覚的マーカーの前記パターンを含む、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上の対象のオブジェクトについて前記複数のフレームを探索する前記工程を容易にするために、前記複数のフレームを前処理する工程を更に含み、前記複数のフレームに対する前記前処理が、ノイズ除去、フリッカー除去、平滑化、色空間変換、色または輝度のバランス調整、および陰影除去のうちの１以上を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記複数のフレームのうちの各フレームについて、前記カメラの前記カメラ姿勢を推定する前記工程が、前記カメラの位置、向き、または位置および向きの両方のうちの１以上の様子を測定するセンサを用いる、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記カメラ姿勢に対して相対的な前記オブジェクト姿勢を推定する前記工程が、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の前記位置から、前記１以上の識別されたオブジェクトが位置する光線を推定する工程と、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の相対的なサイズから、前記カメラからの前記１以上の識別されたオブジェクトの相対的な距離を推定する工程と、
前記１以上の識別されたオブジェクトについての基準画素パターンと前記１以上の識別されたオブジェクトについての前記１以上の領域の前記画素内容との間の差分が最小化される回転を算出することにより、前記カメラに対して相対的な前記１以上の識別されたオブジェクトの向きを推定する工程と
を含み、
前記基準画素パターンが、前記１以上の識別されたオブジェクトについての前記１以上の区別可能な視覚的特徴のうちの１つに対応し、または、前記基準画素パターンが、指定されている基準フレームについての前記１以上の領域の前記画素内容から取得される
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上の識別されたオブジェクトのうちの１以上のオブジェクトの確からしい軌道の物理的モデルを生成または取得する工程と、
前記物理的モデルを用いて、前記１以上の識別されたオブジェクトの位置について、前記複数のフレームのうちの各フレーム内における高確率領域を推定する工程と
を更に含み、
前記１以上の対象のオブジェクトについて前記複数のフレームを探索する前記工程が、前記高確率領域内において探索することを含む、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記複数のフレームのうちの第１のフレームを除く各フレームを、前記第１のフレームを除く前記複数のフレームのうちの前のフレームについての前記カメラ姿勢からの、前記第１のフレームを除く前記複数のフレームのビューを推定する位置合わせされたフレームに変換する工程と、
各前記位置合わせされたフレームと前記前のフレームとの間のフレーム差分を算出する工程と、
前記フレーム差分から高モーション領域を算出する工程と
を更に含み、
前記１以上の対象のオブジェクトについて前記複数のフレームを探索する前記工程が、前記高モーション領域内において探索することを含む、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記第１のフレームを除く前記複数のフレームのうちの各フレームを前記位置合わせされたフレームに変換する前記工程が、
フレーム平行移動を適用後の前記複数のフレームのうちの１つのフレームの中心領域と前記前のフレームの中心領域との間の画素差分が最小化されるフレーム平行移動を算出する工程と、
前記複数のフレームのうちの各フレームを複数のタイルに分割する工程と、
前記フレーム平行移動およびローカルなタイル平行移動を適用後の前記複数のタイルのうちの或るタイルとそれに対応する前記前のフレームのタイルとの間の画素差分が最小化される、各前記タイルについてのローカルなタイル平行移動を算出する工程と
を含む、請求項１２記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上のモーション測定指標が、前記１以上の対象のオブジェクトのうちの１つのオブジェクトについての衝撃の時間を含み、
前記衝撃の時間が、連続するフレーム間においてモーション測定指標の不連続性を検出することによって算出される、
請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上の対象のオブジェクトのうちの前記１つのオブジェクトの軌道を、前記複数のフレームのうちの衝撃前のフレームから順方向に補外して、順方向の軌道を生じ、
前記１以上の対象のオブジェクトのうちの前記１つのオブジェクトの前記軌道を、前記複数のフレームのうちの衝撃後のフレームから逆方向に補外して、逆方向の軌道を生じ、
前記順方向の軌道と前記逆方向の軌道との交点の時間を算出する
ことによって、前記複数のフレーム間において算出される前記衝撃の時間が算出される、請求項１４記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上の対象のオブジェクトのうちの１つのオブジェクトの観察された軌道を、望ましい軌道と比較する工程と、
前記１以上のモーション測定指標のうちの１つとして、前記観察された軌道の初期条件の、前記望ましい軌道を生じる変更を算出する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記初期条件が、初期速度および初期方向のうちの１以上を含む、請求項１６記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上の対象のオブジェクトがボールを含み、前記初期条件が、前記ボールとの前記衝撃の時間における用具の速度および狙いのうちの１以上を含む、請求項１７記載の統合されたセンサおよびビデオモーション解析方法。
対象のアクティビティの１以上のシグネチャーであって、前記１以上のモーション測定指標のうちの１以上のモーション測定指標に各シグネチャーが対応する１以上のシグネチャーを取得する工程と、
前記対象のアクティビティの前記１以上のシグネチャーについて前記複数のフレームを探索する工程と、
前記複数のフレームからの、前記対象のアクティビティの前記１以上のシグネチャーが生じたフレームを含み、必要に応じて、前記複数のフレームからの、前記対象のアクティビティの前記１以上のシグネチャーが生じた前記フレームに近接したフレームを含む、１以上のハイライトフレームまたは失敗フレームを選択する工程と、
前記１以上のハイライトフレームまたは失敗フレームを、リポジトリ、ビューア、サーバ、コンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上のハイライトフレームまたは失敗フレームに、各前記１以上のハイライトフレームまたは失敗フレームにおける前記１以上のモーション測定指標のうちの１以上のモーション測定指標の値を表すデータまたはグラフィックをオーバーレイする工程を更に含む、請求項１９記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上のハイライトフレームまたは失敗フレーム以外の前記ビデオの部分を捨てるよう前記カメラにコマンドする工程を更に含む、請求項１９記載の統合されたセンサおよびビデオモーション解析方法。
前記対象のアクティビティの前記１以上のシグネチャーが、前記１以上のモーション測定指標のうちの前記１以上のモーション測定指標の対応する範囲内にある１以上のモーション測定指標を含む、請求項１９記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上のモーション測定指標が、アクティビティについての経過時間を含み、
前記方法が、前記経過時間を算出する工程をさらに含み、
前記経過時間を算出する工程が、
前記アクティビティの開始に対応するシグネチャーを検出するために、前記モーションキャプチャデータを用いて、前記アクティビティについてのスタート時間を算出する工程と、
前記アクティビティの完了に対応するシグネチャーを検出するために、前記ビデオを用いて、前記アクティビティについてのフィニッシュ時間を算出する工程と、
前記フィニッシュ時間と前記スタート時間との間の差分として前記経過時間を算出する工程と
を含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記１以上のモーションキャプチャ要素から事象データを算出するまたは事象データを受信する工程と、
前記事象データから事象開始時間および事象停止時間を取得する工程と、
前記ビデオと関連づけられたビデオ開始時間およびビデオ停止時間を取得する工程と、
前記１以上のモーションキャプチャ要素から取得された前記事象データと関連づけられた第１の時間と、前記ビデオと関連づけられた少なくとも１つの時間とに基づいて、前記事象データを前記ビデオと同期させることに基づいて、同期された事象ビデオを生成する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
前記事象開始時間から前記事象停止時間までの期間外に生じた前記ビデオの少なくとも一部分を別のコンピュータに転送せずに、少なくとも前記事象開始時間から前記事象停止時間までの期間中にキャプチャされた前記同期された事象ビデオを前記別のコンピュータに転送するよう前記カメラにコマンドする工程を更に含む、請求項２４記載の統合されたセンサおよびビデオモーション解析方法。
前記事象開始時間から前記事象停止時間までの期間外の前記ビデオの少なくとも一部分を捨てるよう前記カメラにコマンドする工程を更に含む、請求項２４記載の統合されたセンサおよびビデオモーション解析方法。
前記事象開始時間から前記事象停止時間までの期間中に生じた前記事象データと、前記事象開始時間から前記事象停止時間までの前記期間中にキャプチャされた前記ビデオとの両方を含む、オーバーレイされた同期された事象ビデオを生成する工程を更に含む、請求項２４記載の統合されたセンサおよびビデオモーション解析方法。
前記ビデオを取得する前記工程が、前記１以上のモーションキャプチャ要素からの前記モーションキャプチャデータを同時に取得しつつ、視認性が高い色を有するよう構成された視覚的マーカーの前記ビデオを取得することを含み、前記視覚的マーカーが前記１以上のモーションキャプチャ要素のうちの１つと結合された、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
第１の閾値を有する前記モーションキャプチャデータから第１の値を検出する工程と、
時間窓内における第２の閾値を有する前記モーションキャプチャデータから第２の値を検出する工程と、
見込みのある事象を見込みのある事象であるとして示す工程と、
前記見込みのある事象を、典型的な事象と関連づけられた特徴的な信号と比較する、もしくは、前記見込みのある事象の最中の前記ビデオを、前記典型的な事象と関連づけられた特徴的な画像と比較する、または、それらの両方を行う工程と、
前記見込みのある事象を前記特徴的な信号と比較する前記工程、または、前記見込みのある事象の最中の前記ビデオを前記特徴的な画像と比較する前記工程のいずれかまたは両方が、所定の許容誤差の範囲外となった場合に、誤検出の事象を消去する工程と、
前記見込みのある事象が誤検出の事象ではない場合に、有効な事象を有効な事象であるとして示す工程と、
前記有効な事象を、前記コンピュータと結合されたメモリに保存する工程と
を更に含む、請求項１記載の統合されたセンサおよびビデオモーション解析方法。
統合されたセンサおよびビデオモーション解析方法において、
カメラからキャプチャされたビデオを取得する工程と、
コンピュータを用いて、１以上の対象のオブジェクトと、該１以上の対象のオブジェクトのうちの各オブジェクトについての１以上の区別可能な視覚的特徴とを取得する工程であって、前記１以上の対象のオブジェクトのうちの少なくとも１つのオブジェクトが視覚的マーカーを含み、該視覚的マーカーが回転対称ではないパターンを有し、前記１以上の対象のオブジェクトのうちの前記少なくとも１つのオブジェクトの前記１以上の区別可能な視覚的特徴が、前記視覚的マーカーの前記パターンを含む、工程と、
解析のために前記ビデオから複数のフレームを選択する工程と、
前記複数のフレームの画像解析を容易にするために、前記複数のフレームを前処理する工程であって、前記複数のフレームに対する前記前処理が、ノイズ除去、フリッカー除去、平滑化、色空間変換、色または輝度のバランス調整、および陰影除去のうちの１以上を含む、工程と、
前記複数のフレームのうちの第１のフレームを除く各フレームを、前記複数のフレームのうちの前のフレームについてのカメラ姿勢からの、前記第１のフレームを除く前記複数のフレームのビューを推定する位置合わせされたフレームに変換する工程であって、フレーム平行移動を適用後の前記複数のフレームのうちの１つのフレームの中心領域と前記前のフレームの中心領域との間の画素差分が最小化されるフレーム平行移動を算出し、前記複数のフレームのうちの各フレームを複数のタイルに分割し、前記フレーム平行移動およびローカルなタイル平行移動を適用後の或るタイルとそれに対応する前記前のフレームのタイルとの間の画素差分が最小化される、各前記タイルについてのローカルなタイル平行移動を算出することにより、変換する工程と、
各前記位置合わせされたフレームと前記前のフレームとの間のフレーム差分を算出する工程と、
前記フレーム差分から高モーション領域を算出する工程と、
前記１以上の対象のオブジェクトについて前記複数のフレームの前記高モーション領域を探索して、１以上の識別されたオブジェクトと、前記複数のフレーム内における、前記１以上の識別されたオブジェクトのうちの１つのオブジェクトと各領域が関連づけられた１以上の領域とを生じる工程であって、前記１以上の領域のうちの各領域の画素が、前記１以上の領域と関連づけられた前記１以上の識別されたオブジェクトのうちの１つのオブジェクトについての前記１以上の区別可能な視覚的特徴とマッチする、工程と、
前記複数のフレームのうちの各フレームについて、前記カメラの前記カメラ姿勢を推定する工程と、
前記１以上の領域の位置および画素内容から、前記複数のフレームのうちの１以上のフレーム内における前記１以上の識別されたオブジェクトのうちの１以上のオブジェクトについての、前記カメラ姿勢に対して相対的なオブジェクト姿勢を推定する工程であって、該オブジェクト姿勢が、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の前記位置から、前記１以上の識別されたオブジェクトが位置する光線を推定し、
前記１以上の識別されたオブジェクトについての前記複数のフレーム内における前記１以上の領域の相対的なサイズから、前記カメラからの前記１以上の識別されたオブジェクトの相対的な距離を推定し、
前記１以上の識別されたオブジェクトについての基準画素パターンと前記１以上の識別されたオブジェクトについての前記１以上の領域の前記画素内容との間の差分が最小化される回転を算出することにより、前記カメラに対して相対的な前記１以上の識別されたオブジェクトの向きを推定する
ことによって推定され、
記基準画素パターンが、前記１以上の識別されたオブジェクトについての前記１以上の区別可能な視覚的特徴のうちの１つに対応し、または、前記基準画素パターンが、指定されている基準フレームについての前記１以上の領域の前記画素内容から取得される、工程と、
前記複数のフレームのうちの各フレームについての前記カメラ姿勢を用いて、前記複数のフレームのうちの各フレーム内における前記オブジェクト姿勢を共通座標系に変換する工程と、
前記１以上の対象のオブジェクトのうちの１以上のオブジェクトについてのモーションキャプチャデータを取得する工程と、
事象タイプ、該事象タイプと関連づけられたセンサデータシグネチャー、および前記事象タイプと関連づけられたビデオシグネチャーを各事象シグネチャーが含む１以上の事象シグネチャーを取得する工程と、
前記モーションキャプチャデータ内における、前記１以上の事象シグネチャーのうちの前記センサデータシグネチャーのうちの１つにマッチする、見込みのある事象、または、前記複数のフレーム内における、前記１以上の事象シグネチャーのうちの前記ビデオシグネチャーのうちの１つにマッチする、見込みのある事象の位置を特定する工程と、
前記見込みのある事象に見込みのある事象タイプを割り当てる工程と、
前記見込みのある事象が、前記見込みのある事象タイプについての前記センサデータシグネチャーおよび前記見込みのある事象タイプについての前記ビデオシグネチャーの両方にマッチしない場合に、前記見込みのある事象を誤検出として消去する工程と、
前記見込みのある事象が誤検出として消去されない場合に、前記見込みのある事象についての前記センサデータシグネチャーに対応するモーションキャプチャデータタイムスタンプを、前記複数のフレームのうちの、前記見込みのある事象についての前記ビデオシグネチャーが前記ビデオ内において生じているフレームと位置合わせすることにより、前記モーションキャプチャデータを前記複数のフレームと同期させる工程と、
前記複数のフレームにわたる前記オブジェクト姿勢の変化を前記モーションキャプチャデータと組み合わせるためのセンサ融合を用いて、前記１以上の識別されたオブジェクトについての１以上のモーション測定指標を生成する工程と、
対象のアクティビティの１以上のシグネチャーであって、前記１以上のモーション測定指標のうちの１以上のモーション測定指標に各シグネチャーが対応する１以上のシグネチャーを取得する工程と、
前記対象のアクティビティの前記１以上のシグネチャーについて前記複数のフレームを探索する工程と、
前記対象のアクティビティの前記１以上のシグネチャーが生じたフレームを含み、必要に応じて、前記対象のアクティビティの前記１以上のシグネチャーが生じた前記フレームに近接したフレームを含む、１以上のハイライトフレームまたは失敗フレームを選択する工程と、
前記１以上のハイライトフレームまたは失敗フレームに、各前記１以上のハイライトフレームまたは失敗フレームにおける前記１以上のモーション測定指標のうちの１以上のモーション測定指標の値を表すデータまたはグラフィックをオーバーレイする工程と、
前記１以上のハイライトフレームまたは失敗フレームを、リポジトリ、ビューア、サーバ、コンピュータ、ソーシャルメディアサイト、モバイル装置、ネットワーク、および救急サービスのうちの１以上に送信する工程と
を含み、
前記モーションキャプチャデータおよび前記１以上のモーション測定指標が、線形位置、線形速度、線形加速度、軌道、向き、角速度、角加速度、モーションの時間、複数の位置間で経過した時間、モーションの開始から或る位置に到着するまでに経過した時間、および衝撃の時間のうちの１以上を含み、
前記１以上の区別可能な視覚的特徴が、形状、曲率、サイズ、色、輝度、色相、飽和、テクスチャ、および画素パターンのうちの１以上を含み、
前記１以上の対象のオブジェクトが、用具および人のうちの１以上を含む
ことを特徴とする方法。