JP2015012434A - フォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システム - Google Patents

Abstract

【課題】同一パターンの動作の繰り返しが多いフォームの確認作業を効率的に、かつ容易に行うことを可能とする。【解決手段】動画像において、当該動画像に繰り返し表れる動作パターンを抽出し、抽出した前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較し、比較結果を動画像や静止画像として出力する。比較結果は、例えば基準となる基準動作パターンと、他の動作パターンのうちで基準動作パターンと大きく異なる比較動作パターンのみとする。また、比較結果の出力形態は、例えば基準動作パターンｇ１と比較動作パターンｇ２とを画面上に並べて表示させたり、重畳して表示したりする等、画面上での識別可能な表示とする。動画像を全て見なくともフォームの確認作業ができる。【選択図】図４

Description

本発明は、スポーツフォーム等のフォームの確認作業を支援するフォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システムに関するものである。

従来、例えばスポーツのトレーニングに際して、トレーニング中における人物のフォームを動画撮影し、撮影した動画像からフォームの善し悪しや、トレーニングの成果を確認することにより、その後のトレーニングの参考にすることが行われている。

ここで、例えば下記特許文献１には、トレーニングを撮影した動画像から、ほぼ同一パターンの動作が繰り返された部分のみを自動的に抽出し、新たな動画像として保存する技術が開示されている。係る技術によれば、撮影した動画像から同一パターンの動作以外の無駄な部分を省くことにより、トレーニング中におけるフォームの確認作業が容易となる。

特開２００４−１７３２０２号公報

しかしながら、上記の技術においては、動画像から無駄な部分を省くことはできるが、トレーニング中にほぼ同一パターンの動作が多数繰り返される場合には、トレーニング中におけるどの時点のフォームが良くてどの時点のフォームが悪いかといったことは、ユーザーが保存された動画像を注意深く見て自分で判断するしかない。係ることから、フォームの確認作業を効率よく行うまでには到らないという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、同一パターンの動作の繰り返しが多いフォームの確認作業を効率的に、かつ容易に行うことができるフォーム確認支援装置、及びその方法とプログラム、フォーム確認支援システムを提供することを目的とする。

前記課題を解決するため、第１の観点における発明にあっては、動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手段と、前記抽出手段により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手段と、前記比較手段による比較結果を出力する出力手段とを備えたことを特徴とする。

また、第２の観点における発明にあっては、情報端末と、当該情報端末が接続される支援サーバーとからなるフォーム確認支援システムであって、前記支援サーバーは、前記情報端末から転送された動画像を取得する取得手段と、前記取得手段により取得された動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手段と、前記抽出手段により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手段と、前記比較手段による比較結果を前記情報端末へ提供する提供手段とを備え、前記情報端末は、前記支援サーバーへ前記動画像を転送する転送手段と、前記支援サーバーから提供された前記比較結果を出力する出力手段とを備えたことを特徴とする。

本発明によれば、同一パターンの動作の繰り返しが多いフォームの確認作業を効率的に、かつ容易に行うことが可能となる。

各実施形態に共通する本発明に係るフォーム確認支援システムを示す図である。 第１の実施形態における情報端末１の動作の内容を示すフローチャートである。 第１の実施形態における支援サーバー２の動作を内容を示すフローチャートである。 （ａ）は第１のフォーム確認画面を示す図、（ｂ）は第３のフォーム確認画面を示す図である。 （ａ）は第２のフォーム確認画面を示す図、（ｂ）は第４のフォーム確認画面を示す図である。 第２の実施形態における情報端末１の動作の内容を示すフローチャートである。 第２の実施形態における支援サーバー２の動作を内容を示すフローチャートである。 （ａ）は第５のフォーム確認画面を示す図、（ｂ）は第６のフォーム確認画面を示す図である。

以下、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
図１は、スポーツのトレーニング中の人物を撮影した動画像を用いて、フォームの善し悪しを確認する作業を支援する、本発明に係るフォーム確認支援システムの一実施形態を示した図である。

図１に示したように本実施形態のフォーム確認支援システムは、ネットワーク１００に接続可能な情報端末１と、ネットワーク１００を介して情報端末１を含む任意の情報処理装置が接続される支援サーバー２とから構成される。

まず、情報端末１について説明する。情報端末１は、例えばスマートフォンを含む携帯電話端末により実現されるものであり、主として制御部１１と、撮像部１２、通信部１３、記憶部１４、表示部１５、電源部１６、操作部１７を備えている。

制御部１１は、ＣＰＵ（Central Processing Unit）、及びその周辺回路、各種のプログラムが格納されたＲＯＭ、及び作業用のＲＡＭを含み、ＣＰＵが所定のプログラムを実行することにより、情報端末１の全体を制御することによって、情報端末１が有する各種の機能を実現する。なお、ＲＯＭには、制御部１１に後述する処理を行わせるためのプログラムも格納されている。

撮像部１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子、及び撮像素子から出力される撮像信号に基づく画像データを生成する信号処理回路等から構成される。撮像部１２が生成した画像データは、制御部１１によって最終的には静止画データや動画データとして記憶部１４に記憶される。記憶部１４に記憶された静止画データや動画データは、制御部１１によって再生され、表示部１５に表示される。

記憶部１４は、情報端末１の本体に内蔵されたフラッシュメモリや、情報端末１の本体に着脱自在な各種のメモリから構成される。

通信部１３は、例えばＷｉ−ＦｉやＢｌｕｅＴｏｏｔｈ（登録商標）等の無線や有線の通信を利用して情報端末１をネットワーク１００へ接続し、支援サーバー２との間におけるデータの送受信を行う。

表示部１５は、カラー液晶表示パネルと、カラー液晶表示パネルを駆動する表示駆動回路とから構成される。表示部１５は、制御部１１によって記憶部１４から読み出されて供給される画像データ等に基づく静止画像や動画像、及びその他の情報を表示するとともに、後述するフォーム確認画面も表示する。

電源部１６は、電源電池（例えばニッケル水素電池等の充電池）、及びＤＣ／ＤＣコンバータなどで構成され、上記の各部に対し各々が必要とする電力を供給する。

操作部１７は、各種キーや電源スイッチや、カラー液晶表示パネルをタッチパネルとして機能させるタッチセンサー等から構成される。

なお、情報端末１がスマートフォンを含む携帯電話端末である場合、情報端末１には、電話通信を行うための図示しない周知の回路、すなわち入力された音声を変調して送信する音声入力回路、送信回路、及び受信した音声信号を受信して復号再生する受信回路、再生回路等が存在する。

次に、支援サーバー２について説明する。支援サーバー２は、主として制御部２１と、通信部２２、記憶部２３、画像処理部２４を備えている。

制御部２１は、図示しないがＣＰＵ、及びＣＰＵの周辺回路と、ＲＡＭ等の作業用メモリ等とから構成され、記憶部２３に記憶されているプログラムに基づき支援サーバー２全体を制御するとともに、後述する処理を含む各種の処理を実行する。

通信部２２は、ネットワーク１００を介して接続された情報端末１との間におけるデータの送受信を行う。

記憶部２３は、前述したプログラム以外にも、情報端末１との間で送受信する各種データ等を記憶する。

画像処理部２４は、制御部２１の指令に従い動画像や静止画像に対する各種の画像処理を行う。特に、画像処理部２４は、ネットワーク１００を介して情報端末１等から送られる動画データを対象とした種々の動画像処理を行う。

そして、以上の構成からなるフォーム確認支援システムにおいては、情報端末１と支援サーバー２とが以下に述べるように動作することにより、ユーザーが、ランニング中の人物（本人、又は他人）を撮影した動画像を用いてランニングフォームの善し悪し等を確認する作業を支援する。

以下、ユーザーがフォーム確認支援システムを使用する場合における情報端末１と支援サーバー２との本発明に係る動作を具体的に説明する。なお、ここでは、情報端末１の記憶部１４に、ランニング中の人物を撮影した動画像であって、実際にランニングを行っている部分のみの動画像のデータが１又は複数記憶されているものとする。

図２は、情報端末１における制御部１１の処理内容を示すフローチャートである。ユーザーによる所定の操作により動作を開始すると、制御部１１は、例えば表示部１５に所定の選択画面を表示して、記憶部１４に記憶されている動画像のうちから所望の動画像をユーザーに指定させることにより、フォームの確認対象とすべき動画像を特定する（ステップＳＡ１）。

次に、制御部１１は、ネットワーク１００を介して支援サーバー２に接続した後（ステップＳＡ２）、確認対象の動画像のデータを支援サーバー２にアップロードする（ステップＳＡ３）。その後、制御部１１は、支援サーバー２から後述する確認用の動画データ及び解析結果データが受信できるまで待機する（ステップＳＡ４：ＮＯ）。

一方、図３は、その間の支援サーバー２における制御部２１の処理内容を示すフローチャートである。支援サーバー２においては、情報端末１から動画データがアップロードされると、通信部２２を介して制御部２１がそれを受信し（ステップＳＢ１）、直ちにアップロードされた動画データを対象として画像処理部２４に、輪郭抽出等の各種の画像処理を行わせることによって、以下の処理を行う。

まず、制御部２１は、動画データにより表される動画像において、動画像の主たる被写体（以下、単に被写体という。）の各部位の動作を解析する（ステップＳＢ２）。係る処理に際して制御部２１は、被写体の部位すなわちランナーの左右の足と手と判断できる各部位をそれぞれ検出し、検出した各部位における動画像内での位置の変化を取得する。

より具体的に述べると制御部２１は、各部位について、各部位の先端等のフレーム間で追跡に適した代表点を設定し、設定した代表点の座標位置を動画像のフレーム毎（数フレ
ーム毎でもよい）に取得し、記憶部２３に部位毎に記憶してデータベース化する。

次に、制御部２１は、記憶部２３に記憶した各部位（代表点）の時間的な変化に基づいて被写体の動作パターンを抽出する（ステップＳＢ３）。ここで抽出する動作パターンは、動画像に繰り返し表れるランナーの一連の動作であり、右足（又は左足）が接地した状態から上昇した後、ある時点を境として降下して着地したのち、再び上昇を開始するまでの動作である。

そして、ステップＳＢ３の処理において制御部２１は、動画像の全期間について各々の動作パターンの開始時点のフレーム番号（時間位置）と、終了時点のフレーム番号（時間位置）とを取得し、記憶部２３に記憶する。

次に、制御部２１は、前記動作パターンの平均周期、つまり各々の動作パターンにおける開始時点から終了時点までの動作時間の平均値を取得する（ステップＳＢ４）。なお、動作パターンの平均周期は、動画像の全期間ではなく前半の期間の各動作パターンから取得してもよい。

なお、立ち止まったり、転んだりして大きくばらつくような動作パターンがある場合は、標準偏差を算出する等行うことで、大きく外れる動作パターンを除外し、より適切な平均周期を取得するようにしてもよい。

次に、制御部２１は、動画像の全期間を対象として各部位の平均位置を取得する（ステップＳＢ５）。ここで取得する各部位の平均位置は、各々の動作パターンにおける各部位の特定タイミングにおける平均的な位置である。特定タイミングは、各々の動作パターンにおいて左右の足、及び左右の手が往復移動している間に停止するタイミング、すなわち移動方向が逆転する瞬間のタイミングである。つまり、各部位について２種類の位置を取得し、それぞれの平均値を取得する。

上述と同様にして、大きく外れる動作パターンを除外し、より適切な平均位置を取得するようにしてもよい。

なお、各部位の平均位置についても動作パターンの平均周期と同様に、動画像の全期間ではなく前半の期間の各動作パターンから取得してもよく、動作パターンの平均周期を動画像の前半の期間から取得する場合には、各部位の平均位置も動画像の前半の期間から取得する。

但し、ステップＳＢ５の処理において制御部２１は、各部位の平均位置を動画像の前半の期間から取得する場合についても、動画像の全期間の全ての動作パターン毎に、左右の足、及び左右の手の特定タイミングの位置（２種類）をそれぞれ確認し、それらを記憶部２３に記憶しデータベース化する。

次に、制御部２１は、ステップＳＢ４の処理で取得した平均周期から基準動作パターンを特定する（ステップＳＢ６）。具体的に説明すると制御部２１は、動画像に繰り返し表れる前記動作パターンのうちで、その周期（動作時間）が平均値に最も近い動作パターンを基準動作パターンとして特定する。

次に、制御部２１は、基準動作パターンの比較対象となる比較動作パターンの特定に使用する閾値を設定する（ステップＳＢ７）。ここでは閾値として第１の閾値と第２の閾値を設定する。第１の閾値は動作パターンの周期に関するものであり、前述した平均周期との差である。また、第２の閾値は各部位の特定タイミングの位置に関するものであり、前述した平均位置との差である。

次に、制御部２１は、基準動作パターン以外の動作パターンのうちで、上記の第１の閾値を超える動作パターン、及び第２の閾値を超える動作パターンをそれぞれ比較動作パターンとして特定する（ステップＳＢ８）。これにより、その周期が平均周期と大きく異なる動作パターン、及びいずれかの部位の特定タイミングの位置がその部位における平均位置と大きく異なる動作パターンを比較動作パターンとして特定される。

なお、ここで設定される比較動作パターンには、その周期が平均周期と大きく異なると同時に、いずれかの部位の特定タイミングの位置がその部位における平均位置と大きく異なる動作パターンが含まれる場合もある。

ここで、ステップＳＢ７の処理においては、動作パターンの周期に関する第１の閾値として、平均周期との差ではなく、平均周期に対する所定の割合を設定することができる。その場合においても、ステップＳＢ８の処理において、その周期が平均周期と大きく異なる動作パターンを比較動作パターンとして特定することができる。

同様に、ステップＳＢ７の処理においては、各部位の特定タイミングの位置に関する第２の閾値として、平均位置との差ではなく、平均位置に対する所定の割合を設定することができる。その場合においても、ステップＳＢ８の処理において、いずれかの部位の特定タイミングの位置がその部位における平均位置と大きく異なる動作パターンを比較動作パターンとして特定することができる。

次に、制御部２１は、確認対象の元の動画像から確認用の動画データを新たに生成する（ステップＳＢ９）。係る処理に際して制御部２１は、まず、元の動画像からステップＳＢ６の処理で特定した基準動作パターン、及びステップＳＢ８の処理で特定した比較動作パターン（１又は複数）に該当する動画部分のデータを抽出する。次に、抽出した各動作パターンの動画部分から主たる被写体（ランナー）に相当する部分を切り出し、それを新たなフレーム画像として動作パターン別の動画像データを生成する。そして、生成した動作パターン別の動画像データをマージした確認用の動画データを生成する。

しかる後、制御部２１は、生成した動画データを、基準動作パターン及び比較動作パターンに関する解析結果データと共に情報端末１へ送信する（ステップＳＢ１０）。

解析結果データには、動画像における基準動作パターン及び比較動作パターン（１又は複数）の動作パターン毎の次のデータが含まれる。具体的なデータは、動画像における時間位置を示す、各動作パターンの開始時点及び終了時点のフレーム番号と、特定タイミングの位置が平均位置と大きく異なっていた部位（以下、注目部位という。）の特定タイミングでの位置（座標位置）である。

つまり、制御部２１は、確認対象の動画像における時間位置が異なる複数位置での動作パターンを、その周期（動作時間）及び被写体の所定部位（左右の足と手）の特定タイミングでの位置を観点として比較した結果として、確認用の動画データと解析結果データとを情報端末１へ送信する。

一方、図２に示したように情報端末１においては、支援サーバー２から前述した確認用の動画データ及び解析結果データを通信部１３を介して受信すると（ステップＳＡ４：ＹＥＳ）、制御部１１が受信した解析結果データに基づき、前述した基準動作パターン及び比較動作パターンを表す動画像を識別可能に表示するフォーム確認画面を表示部１５に表示させる（ステップＳＡ５）。

フォーム確認画面における双方の動画像の表示形態には、後述するように並列表示と重畳表示との２つの表示形態がある。

図４（ａ）は、確認用の動画データ及び解析結果データを受信した直後に表示部１５に表示される第１のフォーム確認画面Ｇ１を示した図である。

図に示したように第１のフォーム確認画面Ｇ１は、画面の左側に基準動作パターンを表す基準動画ｇ１を配置し、画面の右側に比較動作パターンを表す比較動画ｇ２を配置するとともに、基準動画ｇ１と比較動画ｇ２と下方に位置ゲージｇ３を配置したものである。すなわち第１のフォーム確認画面Ｇ１における動画像の表示形態は並列表示である。

係る第１のフォーム確認画面Ｇ１の表示に際して制御部１１は、支援サーバー２から受信した確認用の動画像にマージされている基準動作パターンの動画像を基準動画ｇ１とし、かつ確認用の動画像にマージされている比較動作パターンの動画像を比較動画ｇ２として、それぞれの画面上での表示を開始する。

なお、基準動作パターン及び比較動作パターンの動画像は、既説したようにランナー部分のみの動画像である。また、第１のフォーム確認画面Ｇ１の表示開始当初における比較動画ｇ２は、比較動作パターンが複数であった場合には、確認対象である元の動画像内での時間位置が最先の比較動作パターンを表すものである。

また、第１のフォーム確認画面Ｇ１の表示に際して制御部１１は、解析結果データに含まれる動作パターン毎の動画像における開始時点及び終了時点のフレーム番号に基づいて前記位置ゲージｇ３を画面上に表示させる。位置ゲージｇ３は、その延在方向の全域を動画像の全期間に見立て、全期間における基準動画ｇ１と比較動画ｇ２との時間位置（図において黒塗り、又は斜線で示す期間）を示したものである。

なお、第１のフォーム確認画面Ｇ１の表示に際して制御部１１は、基準動画ｇ１と比較動画ｇ２における、現在表示しているフレームに関する確認対象の動画像における時間位置（先頭からの経過時間）及び動作パターンの周期もそれぞれ表示部１５に表示させる。

また、第１のフォーム確認画面Ｇ１の表示中において制御部１１は、基準動画ｇ１と比較動画ｇ２とを繰り返し表示させ、その間には、双方の表示周期を一致させる。つまり基準動画ｇ１のフレーム期間が比較動画ｇ２のフレーム期間よりも短い場合には、基準動画ｇ１の次の周期の表示開始時期を遅らせ、逆に基準動画ｇ１のフレーム期間が比較動画ｇ２のフレーム期間よりも長い場合には、比較動画ｇ２の次の周期の表示開始時期を遅らせる。

さらに、第１のフォーム確認画面Ｇ１の表示中において制御部１１は、上記のように基準動画ｇ１と比較動画ｇ２とを繰り返し表示させる間、被写体の注目部位を示すマークｇ４（図の例では破線の丸）を双方の動画像ｇ１，ｇ２とに重畳して表示させる。なお、注目部位は、前述したように比較動画ｇ２（比較動作パターン）において、特定タイミングでの位置が平均位置と大きく異なっていた部位であり、図４（ａ）は、上記注目部位が被写体の足である場合の例である。

また、上述した第１のフォーム確認画面Ｇ１を表示した後、制御部１１は、ユーザーによる確認作業の終了を指示する終了操作の有無と、表示形態を切り換えるための表示切替操作の有無、送り操作の有無、静止画展開操作の有無、時間調整操作の有無を逐次確認する（ステップＳＡ６，ＳＡ７，ＳＡ９，ＳＡ１２，ＳＡ１４）。そして、制御部１１は、第１のフォーム確認画面Ｇ１の表示後、ユーザーによって上記のいずれの操作も行われなければ（ステップＳＡ１４：ＮＯ）、第１のフォーム確認画面Ｇ１の表示を継続する。

一方、制御部１１は、ユーザーによる表示切替操作があった場合には（ステップＳＡ７：ＹＥＳ）、前述した基準動画ｇ１と比較動画ｇ２との表示形態を並列表示から重畳表示に切り換えることにより、図５（ａ）に示した第２のフォーム確認画面Ｇ２を表示部１５に表示させる（ステップＳＡ８）。

図に示したように第２のフォーム確認画面Ｇ２は、前述した基準動画ｇ１と比較動画ｇ２とを画面中央に重畳して表示させるとともに、その下方に前述した位置ゲージｇ３を配置したものである。

係る、第２のフォーム確認画面Ｇ２の表示中においても、制御部１１は、基準動画ｇ１と比較動画ｇ２とを双方の表示周期を一致させた状態で、繰り返し表示させるとともに、被写体の注目部位を示すマークｇ４を動画像ｇ１，ｇ２とに重畳して表示させる。

なお、図５（ａ）においては、便宜上、基準動画ｇ１の被写体部分を黒塗りで示し、かつ比較動画ｇ２の被写体部分を斜線で示したが、実際には、例えば被写体部分の色や輝度等を変えることによって基準動画ｇ１と比較動画ｇ２とを識別可能とする。また、ここでは基準動画ｇ１の上に比較動画ｇ２を重ねた例を示したが、両者の上下関係は逆でもよい。

また、第１のフォーム確認画面Ｇ１や第２のフォーム確認画面Ｇ２を表示している間に、ユーザーによる送り操作があった場合には（ステップＳＡ９：ＹＥＳ）、制御部１１は、その時点で比較動画ｇ２として表示中の比較動作パターン以外の比較動作パターンがあるか否かを確認する（ステップＳＡ１０）。つまり確認用の動画像に他の比較動作パターンの動画部分がマージされているか否かを確認する。

そして、制御部１１は、他の比較動作パターンがなければ（ステップＳＡ１０：ＮＯ）、第１のフォーム確認画面Ｇ１や第２のフォーム確認画面Ｇ２において、現在の比較動画ｇ２の表示を続行する。つまり何もしない。

一方、制御部１１は、他の比較動作パターンがあれば（ステップＳＡ１０：ＹＥＳ）、動作パターンの送り表示を行う（ステップＳＡ１１）。すなわち、制御部１１は、確認対象の動画像における時間位置が比較動画ｇ２として表示中の比較動作パターンの１つ後となる比較動作パターンの動画部分を新たな比較動画ｇ２として画面上での表示を開始する。その際には、これと連動させて基準動画ｇ１も先頭から表示させる。

なお、図２では省略するがユーザーによる送り操作には、動作パターンを時間的に前の動作パターンに戻す操作が許容されており、送り操作が動作パターンを時間的に前の動作パターンに戻す操作であった場合、ステップＳＡ１１において制御部１１は上記とは逆の処理を行う。すなわち、確認対象の動画像における時間位置が比較動画ｇ２として表示中の比較動作パターンの１つ前となる比較動作パターンの動画部分を新たな比較動画ｇ２として画面上での表示を開始する。

また、ユーザーによる静止画展開操作があった場合（ステップＳＡ１２：ＹＥＳ）、制御部１１は、静止画展開の有無を切り換える（ステップＳＡ１３）。

すなわちステップＳＡ１３の処理に際して制御部１１は、第１のフォーム確認画面Ｇ１や第２のフォーム確認画面Ｇ２の表示中においては、静止画展開操作があった時点では、前述した位置ゲージｇ３を、図４（ｂ）、図５（ｂ）に示したような、基準動画ｇ１を構成する所定数の静止画群ｆ１、及び比較動画ｇ２を構成する所定数の静止画群ｆ２に切り換えた状態の第３のフォーム確認画面Ｇ３や第４のフォーム確認画面Ｇ４を表示部１５に表示させる。

ここで、基準動画ｇ１を構成する所定数の静止画群ｆ１、及び比較動画ｇ２を構成する所定数の静止画群ｆ２は、それぞれが現在表示中のフレームの静止画と、その直前までの複数フレーム分の静止画とから構成されるものである。

また、ステップＳＡ１３の処理に際して制御部１１は、上記とは逆に第３のフォーム確認画面Ｇ３や第４のフォーム確認画面Ｇ４の表示中においては、第１のフォーム確認画面Ｇ１や第２のフォーム確認画面Ｇ２を表示部１５に表示させる。

さらに、ユーザーによる時間調整操作があった場合（ステップＳＡ１４：ＹＥＳ）、制御部１１は、時間調整の有無を切り換える（ステップＳＡ１５）。ここで時間調整とは、先に説明した第１〜第４のフォーム確認画面Ｇ１〜Ｇ４のいずれかにおいて表示中の比較動画ｇ２の表示時間（比較動作パターンの周期）を基準動画ｇ１の表示時間（基本動作パターンの周期）と一致させる処理である。

具体的に述べると、比較動画ｇ２の表示時間が基準動画ｇ１の表示時間よりも短い場合には不足時間分のフレーム画像を補完して表示し、逆に比較動画ｇ２の表示時間が基準動画ｇ１の表示時間よりも長い場合には超過時間分のフレーム画像を間引きして表示する処理である。

なお、不足時間分のフレーム画像の補完は、例えば所定のフレーム数毎に相前後するフレームから新たなフレームを生成したり、先行するフレーム又は後続のフレームを重複使用したりすることにより行う。

そして、ステップＳＡ１５の処理に際して制御部１１は、時間調整操作があった時点で上記の時間調整を行っていない場合には、上記処理による時間調整を行った状態での基準動画ｇ１と比較動画ｇ２との表示を開始する。

また、ステップＳＡ１５の処理に際して制御部１１は、時間調整操作があった時点で上記の時間調整を行っている場合には、上記処理による時間調整をやめて、表示時間が異なる状態のままでの基準動画ｇ１と比較動画ｇ２との表示を再開する。

なお、表示時間が異なる状態のままで基準動画ｇ１と比較動画ｇ２とを繰り返し表示させる場合は、まず先頭を合わせるように表示を開始し、いずれか時間の短い方の表示は、長い方の表示が終わるまで次の繰り返し表示は待ち、長い方の表示が終ってから改めて先頭を合わせるように表示を開始する。

以後、制御部１１は、ユーザーによる終了操作があるまでは（ステップＳＡ６：ＮＯ）、前述したステップＳＡ７からステップＳＡ１５の処理を繰り返し、ユーザーによる終了操作があれば（ステップＳＡ６：ＹＥＳ）、その時点で全ての処理を終了する。

以上説明した本実施形態のフォーム確認支援システムにおいては、ユーザーがそれを用いてランニング中の人物（本人、又は他人）を撮影した動画像を用いてランニングフォームの善し悪し等を確認する際には、情報端末１に表示される第１〜第４のフォーム確認画面Ｇ１〜Ｇ４によって、ランニング中に繰り返し表れる動作パターンのうちで、基準となる基準動作パターンと、それとの違いが大きい比較動作パターンのみを簡単に比較し確認することができる。

したがって、動画像を注意深く確認せずともトレーニング中におけるどの時点のフォームが良くてどの時点のフォームが悪いかを確認することができる。ランニングのように同一パターンの動作の繰り返しが多いスポーツについても、トレーニング中におけるフォームの確認作業を効率的に、かつ容易に行うことができる。

特に、第１〜第４のフォーム確認画面Ｇ１〜Ｇ４に表示される基準動画ｇ１と比較動画ｇ２とが、各々が動画像において動作パターンとして特定されたランナーの１サイクル分の一連の動作を表す動画像であるため、基準動作パターンと１又は複数の比較動作パターンとの比較を極めて容易に行うことができる。

また、基準動画ｇ１と比較動画ｇ２とによって、基準動作パターンと比較動作パターンとの周期の差を表現させるため、双方間の周期のずれを容易に確認することができる。

しかも、第１、第３のフォーム確認画面Ｇ１，Ｇ３には、基準動画ｇ１と比較動画ｇ２とが並べて表示されるため、基準動作パターンと比較動作パターンとの間に周期のずれがある場合には、双方間の周期のずれをさらに容易に確認することができる。

また、基準動画ｇ１と比較動画ｇ２に重ねてマークｇ４が表示されるため、基準動作パターンと比較動作パターンとの間にランナーの足や手といった部位の位置のずれがある場合には、それを容易に確認することができる。

さらに、第２、第４のフォーム確認画面Ｇ２，Ｇ４においては、基準動画ｇ１と比較動画ｇ２とが重ねて表示されるため、基準動作パターンと比較動作パターンとの間にランナーの足や手の位置のずれがある場合には、それをより一層容易に確認することができる。

また、第１、第２のフォーム確認画面Ｇ１，Ｇ２には、前述した位置ゲージｇ３が表示されるため、表示中の基準動作パターンと比較動作パターンが動画像内におけるどの位置の動作パターンを抽出したのかを容易に確認することができる。

また、時間調整操作を行うことによって基準動画ｇ１と比較動画ｇ２との周期を一致させることができるため、双方間に、周期と、動作する任意の部位の位置との両方に違いがある場合であっても、動作する任意の部位の位置の違いのみを確認することができる。

一方、本実施形態においては、支援サーバー２が確認対象の動画像からの動作パターンの抽出を画像処理技術を用いて自動的に行うため、動作パターンの抽出ために動画像以外の他の情報が不要であり、センサー等のほかのデバイスを必要とせず、ユーザーに対して高い利便性を確保することができる。

また、支援サーバー２が、確認対象の動画像から抽出した複数位置での動作パターンから基準動作パターンを特定し、基準動作パターンと他の動作パターンとの違いを比較することによって比較動作パターンの特定を行うため、比較動作パターンとして、より適切な動作パターンを特定することができる。

また、支援サーバー２が、確認対象の動画像において周期的に表れる略同一の被写体の一連の動作を動作パターンとして抽出するため、基準動作パターンと他の動作パターンとの違いを容易に比較することができる。

また、支援サーバー２が、確認対象の動画像において周期的に表れる被写体の要素から動作パターンとして抽出するため、足や手といった部位の変化を静止画のような動作パターンの一部によって、基準動作パターンと他の動作パターンとの違いをさらに容易に比較することができる。

しかも、支援サーバー２が確認対象の動画像からの動作パターンを抽出する際には、被写体の要素である各部位における位置の変化の周期性を判別して動作パターンを抽出するため、効率的に動作パターンを自動で抽出することができる。

また、支援サーバー２においては、その周期が平均周期と大きく異なる動作パターン、及びいずれかの部位の特定タイミングの位置がその部位における平均位置と大きく異なる動作パターンを比較動作パターンとして特定する。そのため、フォームの確認作業により適した比較動作パターンを自動的に取得することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態と同様の構成（図１参照）からなるフォーム確認支援システムにおいて、第１の実施形態とは異なり、ユーザーが、ランニング中の人物（本人、又は他人）を撮影した動画像を用いてランニングフォームの善し悪し等を確認する作業を支援するための情報として、動画像ではなく静止画像を提供するものである。

以下、本実施形態における情報端末１と支援サーバー２との動作について説明する。

図６は、情報端末１における制御部１１の処理内容を示すフローチャートである。本実施形態においても制御部１１は、ユーザーに所望の動画像をユーザーに指定させて、フォームの確認対象とすべき動画像を特定し（ステップＳＡ５１）、支援サーバー２への接続を行い（ステップＳＡ５２）、確認対象の動画像のデータを支援サーバー２にアップロードする（ステップＳＡ５３）。その後、制御部１１は、支援サーバー２から後述する確認用の静止画データ、及び解析結果データが受信できるまで待機する（ステップＳ５４：ＮＯ）。

一方、図７は、その間の支援サーバー２における制御部２１の処理内容を示すフローチャートである。本実施形態においても通信部２２を介して制御部２１は、情報端末１から動画データを受信した後（ステップＳＢ５１）、動画データにより表される動画像において被写体の各部位の動作を解析する（ステップＳＢ５２）。

係る処理の詳細については第１の実施形態と同様であり、制御部２１は、被写体の部位すなわちランナーの左右の足と手と判断できる各部位をそれぞれ検出し、検出した各部位における動画像内での位置の変化を取得する。すなわち各部位について、各部位の先端等のフレーム間で追跡に適した代表点を設定し、設定した代表点の座標位置を動画像のフレーム毎（数フレーム毎でもよい）に取得し、記憶部２３に部位毎に記憶してデータベース化する。

次に、第１の実施形態とは異なり、制御部２１は、記憶部２３に記憶した各部位（代表点）の時間的な変化に基づいて、位置の変化が最も大きい特定の部位（代表点）のみを抽出する（ステップＳＢ５３）。

そして、制御部２１は、位置の変化が最も大きい特定部位の位置の周期的な変化を確認することにより、動画像において時間位置が異なる複数位置のランナーの動作パターンを抽出する（ステップＳＢ５４）。その際、制御部２１は、各動作パターンの開始時点のフレーム番号（時間位置）と、終了時点のフレーム番号（時間位置）とを取得し、記憶部２３に記憶する。

さらに、本実施形態においては、ステップＳＢ５４の処理に際して制御部２１は、各動作パターンにおける開始時点から終了時点までのフレーム期間における前記特定部位の特定タイミングでの位置を取得し、その位置と、特定タイミングのフレームのフレーム番号とを取得し、記憶部２３に記憶する。特定タイミングは、各々の動作パターンにおいて左右の足や左右の手が往復移動している間に停止するタイミング、すなわち移動方向が逆転する瞬間のタイミングである２種類の位置の一方の位置である。

次に、制御部２１は、前記動作パターンの平均周期、つまり各々の動作パターンにおける開始時点から終了時点までの動作時間の平均値を取得する（ステップＳＢ５５）。

次に、制御部２１は、ステップＳＢ５３の処理で抽出した特定部位について平均位置を取得する（ステップＳＢ５６）。この平均位置は、第１の実施形態と同様に、各々の動作パターンにおける特定部位の特定タイミングにおける平均的な位置である。なお、上記の動作パターンの平均周期、及び特定部位の平均位置は、動画像の全期間ではなく前半の期間のみを対象として取得してもよい。

次に、制御部２１は、ステップＳＢ５５の処理で取得した平均周期から基準動作パターンを特定する（ステップＳＢ５７）。本実施形態においても制御部２１は、動画像に繰り返し表れる前記動作パターンのうちで、その周期（動作時間）が平均値に最も近い動作パターンを基準動作パターンとして特定する。

次に、制御部２１は、基準動作パターンの比較対象となる比較動作パターンの特定に使用する閾値を設定する（ステップＳＢ５８）。本実施形態においても制御部２１は、閾値として第１の閾値と第２の閾値と設定する。第１の閾値は動作パターンの周期に関するものであり、前述した平均周期との差である。また、第２の閾値は位置の変化が最も大きい特定部位の特定タイミングの位置に関するものであり、前述した平均位置との差である。

次に、制御部２１は、基準動作パターン以外の動作パターンのうちで、上記の第１の閾値を超える動作パターン、及び第２の閾値を超える動作パターンをそれぞれ比較動作パターンとして特定する（ステップＳＢ５９）。

なお、本実施形態においても、ステップＳＢ５８の処理においては、動作パターンの周期に関する第１の閾値として、平均周期との差ではなく、平均周期に対する所定の割合を設定することができる。また、位置の変化が最も大きい特定部位の特定タイミングの位置に関する第２の閾値として、平均位置との差ではなく、平均位置に対する所定の割合を設定することができる。

次に、制御部２１は、確認対象の元の動画像から確認用の静止画データを生成する（ステップＳＢ６０）。係る処理に際して制御部２１は、まず、元の動画像から、前述した基準動作パターン、及び比較動作パターン（１又は複数）について、各々の動作パターンに該当するフレーム区間で、位置の変化が最も大きい特定部位における前述した特定タイミングが該当するフレームの静止画像のデータを抽出する。次に、抽出した各動作パターンの静止画像から主たる被写体（ランナー）に相当する部分をそれぞれ切り出し、切り出した部分の静止画像のデータをマージすることにより確認用の静止画データを生成する。

しかる後、制御部２１は、生成した静止画データを、基準動作パターン及び比較動作パターンに関する解析結果データと共に情報端末１へ送信する（ステップＳＢ６１）。

本実施形態の解析結果データには、動画像における基準動作パターン及び比較動作パターン（１又は複数）の動作パターン毎の次のデータが含まれる。具体的なデータは、動画像における前述した被写体の特定部位における特定タイミングの時間位置を示すステップＳＢ５４で記憶したフレーム番号と、被写体の特定部位における特定タイミングでの位置（座標位置）である。

つまり、制御部２１は、確認対象の動画像における時間位置が異なる複数位置での動作パターンを、その周期（動作時間）及び被写体の所定部位（左右の足と手）の特定タイミングでの位置を観点として比較した結果として、確認用の静止画データと解析結果データとを情報端末１へ送信する。

一方、図６に示したように情報端末１においては、支援サーバー２から前述した確認用の静止画データ及び解析結果データを受信すると（ステップＳＡ５４：ＹＥＳ）、通信部１３を介して制御部１１が受信した解析結果データに基づき、前述した基準動作パターン及び比較動作パターンを表す静止画を識別可能に表示するフォーム確認画面を表示部１５に表示させる（ステップＳＡ５５）。

本実施形態においてもフォーム確認画面における双方の静止画の表示形態には、第１の実施形態と同様に並列表示と重畳表示との２つの表示形態がある。

図８（ａ）は、確認用の動画データ及び解析結果データを受信した直後に表示部１５に表示される第５のフォーム確認画面Ｇ２１を示した図である。

図に示したように第５のフォーム確認画面Ｇ２１は、画面の左側に基準動作パターンを表す基準画ｇ２１を配置し、画面の右側に比較動作パターンを表す比較画ｇ２２を配置するとともに、基準画ｇ２１と比較画ｇ２２と下方に位置ゲージｇ２３を配置したものである。すなわち第５のフォーム確認画面Ｇ２１における静止画の表示形態は並列表示である。

なお、基準動作パターン及び比較動作パターンの動画像は、既説したようにランナー部分のみの動画像である。また、第５のフォーム確認画面Ｇ２１の表示開始当初における比較画ｇ２２は、比較動作パターンが複数であった場合には、確認対象である動画像内での時間位置が最先の比較動作パターンを表すものである。

そして、第５のフォーム確認画面Ｇ２１の表示に際して制御部１１は、解析結果データに含まれる動作パターン毎の静止画におけるフレーム番号、つまり前述した被写体（ランナー）の特定部位の特定タイミングのフレーム番号に基づいて、確認対象の動画像内での時間位置を示す前記位置ゲージｇ２３を画面上に表示させる。

なお、第５のフォーム確認画面Ｇ２１の表示に際して制御部１１は、図に示したように前記位置ゲージｇ２３と共に、基準画ｇ２１と比較画ｇ２２における確認対象の動画像内での時間（先頭からの経過時間）及び動作パターンの周期もそれぞれ表示部１５に表示させる。

また、第５のフォーム確認画面Ｇ２１の表示に際して制御部１１は、前述した被写体（ランナー）の特定部位を示すマークｇ４を基準画ｇ２１及び比較画ｇ２２に重畳して表示させる。なお、図８（ａ）は、上記特定部位が被写体の足である場合の例である。

また、上述した第５のフォーム確認画面Ｇ２１を表示した後、制御部１１は、ユーザーによる確認作業の終了を指示する終了操作の有無と、表示形態を切り換えるための表示切替操作の有無、送り操作の有無を逐次確認する（ステップＳＡ５６，ＳＡ５７，ＳＡ５９）。そして、制御部１１は、第５のフォーム確認画面Ｇ２１の表示後、ユーザーによって上記のいずれの操作も行われなければ（ステップＳＡ５９：ＮＯ）、第５のフォーム確認画面Ｇ２１の表示を継続する。

一方、制御部１１は、ユーザーによる表示切替操作があった場合には（ステップＳＡ５７：ＹＥＳ）、前述した基準画ｇ２１と比較画ｇ２２との表示形態を並列表示から重畳表示に切り換えることにより、図８（ｂ）に示した第６のフォーム確認画面Ｇ２２を表示部１５に表示させる（ステップＳＡ５８）。

図に示したように第６のフォーム確認画面Ｇ２２は、前述した基準画ｇ２１と比較画ｇ２２とを画面中央に重畳して表示させるとともに、その下方に前述した位置ゲージｇ２３を配置したものである。また、係る第６のフォーム確認画面Ｇ２２の表示に際しても、制御部１１は、被写体の特定部位を示すマークｇ４を基準画ｇ２１と比較画ｇ２２とに重畳して表示させる。

なお、図８（ｂ）においては、便宜上、基準画ｇ２１の被写体部分を黒塗りで示し、かつ比較画ｇ２２の被写体部分を斜線で示したが、実際には、例えば被写体部分の色や輝度等を変えることによって基準画ｇ２１と比較画ｇ２２とを識別可能とする。また、ここでは基準動画ｇ２１の上に比較画ｇ２２を重ねた例を示したが、両者の上下関係は逆でもよい。

また、第６のフォーム確認画面Ｇ２２を表示部１５に表示させ状態において後には、ユーザーによる表示切替操作があれば（ステップＳＡ５７：ＹＥＳ）、制御部１１は、第５のフォーム確認画面Ｇ２１を再び表示部１５に表示させる。

そして、第５のフォーム確認画面Ｇ２１や第６のフォーム確認画面Ｇ２２を表示している間に、ユーザーによる送り操作があった場合には（ステップＳＡ５９：ＹＥＳ）、制御部１１は、その時点で比較画ｇ２２として表示中の比較動作パターン以外の比較動作パターンがあるか否かを確認する（ステップＳＡ６０）。つまり確認用の静止画として他の比較動作パターンの静止画がマージされているか否かを確認する。

そして、制御部１１は、他の比較動作パターンがなければ（ステップＳＡ６０：ＮＯ）、第５のフォーム確認画面Ｇ２１や第６のフォーム確認画面Ｇ２２において、現在の比較画ｇ２２の表示を続行する。つまり何もしない。

一方、制御部１１は、他の比較動作パターンがあれば（ステップＳＡ６０：ＹＥＳ）、動作パターンの送り表示を行う（ステップＳＡ６１）。すなわち、制御部１１は、確認対象の動画像における時間位置が比較画ｇ２２として表示中の比較動作パターンの１つ後となる比較動作パターンの静止画像を新たな比較画ｇ２２として画面上に表示させる。

なお、図６でも省略するがユーザーによる送り操作には、動作パターンを時間的に前の動作パターンに戻す操作が許容されており、送り操作が動作パターンを時間的に前の動作パターンに戻す操作であった場合、ステップＳＡ６１において制御部１１は上記とは逆の処理を行う。すなわち、確認対象の動画像における時間位置が比較画ｇ２２として表示中の比較動作パターンの１つ前となる比較動作パターンの静止画を新たな比較画ｇ２２として画面上に表示させる。

以後、制御部１１は、ユーザーによる終了操作があるまでは（ステップＳＡ５６：ＮＯ）、前述したステップＳＡ５７からステップＳＡ６１の処理を繰り返し、ユーザーによる終了操作があれば（ステップＳＡ５６：ＹＥＳ）、その時点で全ての処理を終了する。

以上説明した本実施形態のフォーム確認支援システムにおいては、ユーザーがそれを用いてランニング中の人物（本人、又は他人）を撮影した動画像を用いてランニングフォームの善し悪し等を確認する際には、情報端末１に表示される第５，第６のフォーム確認画面Ｇ２１，Ｇ２２によって、ランニング中に繰り返し表れる動作パターンのうちで、基準となる基準動作パターンと、足や手といった部位の変化が大きい比較動作パターンのみを簡単に比較し確認することができる。

したがって、動画像を注意深く確認せずともトレーニング中におけるどの時点のフォームが良くてどの時点のフォームが悪いかを確認することができる。ランニングのように同一パターンの動作の繰り返しが多いスポーツについても、トレーニング中におけるフォームの確認作業を効率的に、かつ容易に行うことができる。

特に、本実施形態においては、支援サーバー２が、確認対象の動画像において周期的に表れる被写体の要素から動作パターンとして抽出することにより、比較画ｇ２２とともに、足や手といった部位の変化が大きい比較動作パターンのみを示す比較画ｇ２２を表示することができ、フォームの確認作業に際して、トレーニング中に変化したより注目すべき動作パターンを効率的に確認することができる。

なお、本実施形態においても、第１の実施形態で説明した効果のうちで、基準動作パターンと比較動作パターンとを動画像として表すことにより生ずる効果以外については、第１の実施形態と同様に得ることができる。

（変形例等）
以下、本実施形態の変形例等について説明する。すなわち以上説明した第１及び第２の本実施形態においては、確認対象の動画像に繰り返し表れる動作パターンのうちから基準動作パターン、及び比較動作パターンを自動的に特定したが以下のようにしてもよい。

例えば、基準動作パターンはユーザーにより指定された任意の時間位置の動作パターンとし、その基準動作パターンと他の動作パターンとの違いを比較することによって、比較動作パターンを自動的に特定するようにしてもよい。その場合には、ユーザーが任意に指定した動作パターンとの違いが大きい動作パターンを比較動作パターンとして自動的に設定させることができる。

また、第１及び第２の本実施形態においては、確認対象の動画像から基準動作パターンと１又は複数の比較動作パターンと抽出し、それらを確認対象の動画像における複数位置の動作パターンの比較結果として表示させる構成について説明した。

しかし、本発明の実施に際しては、例えば確認対象の動画像における時間位置が相前後する一組の動作パターンを比較対象とするとともに、比較対象の各々の動作パターンを時間位置が次の動作パターンに順に変更しながら連続して比較を行うようにしてもよい。

その場合には、一組の動作パターンを表す画像（動画像又は静止画）を、それ自体を比較結果を示す形態で、又は比較結果を示す情報と共に連続的に画面上に並べて表示させることにより、同一パターンの動作の繰り返しが多いスポーツのトレーニング中におけるフォームの確認作業を効率的に、かつ容易に行うことができる。

また、第１及び第２の本実施形態のように、基準動作パターン、及び比較動作パターンを表す画像（動画像又は静止画）を表示せずに、両者の差（周期や任意の部位の位置の差）のみをアドバイスとして表示或いは報知してもよい。

また、確認対象の動画像に繰り返し表れる動作パターンの抽出には、例えば手や足につけた加速度センサー等の所定のセンサーを用い、動画像の撮影中におけるセンサーの検出値に基づいて動作パターンを抽出する構成としても構わない。その場合には、動作パターンの抽出を画像処理によって行う場合に比べ、支援サーバー２における動作パターンの抽出に要する処理負担を軽減することができる。

さらには、動作パターンの抽出を上記所定のセンサーと画像処理技術とを併用して行う構成としてもよい。その場合には、動作パターンの抽出精度を上げることができる。

また、第１及び第２の本実施形態とは異なり、支援サーバー２が生成した確認用の画像の表示に関する処理の一部（例えば動画再生処理等）を支援サーバー２に行わせ、情報端末１における画像の表示をＷｅｂ ＵＩ（ ウェブユーザインターフェース）機能によって行うようにしてもよい。さらには、第１及び第２の本実施形態で説明した支援サーバー２の機能の全てを情報端末１のみによって実現させても構わない。

また、以上の説明においては、主として動画像を用いて確認するフォームがランニングフォームである場合について説明したが、本発明はランニングに限らず水泳のフォーム、さらにスポーツに限らずダンス等のフォームを確認する場合にも適用することができる。

以上、本発明のいくつかの実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手段と、
前記抽出手段により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手段と、
前記比較手段による比較結果を出力する出力手段と
を備えたことを特徴とするフォーム確認支援装置。
［請求項２］
前記比較手段は、前記抽出された動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較して、所定の条件を満たす動作パターンの時間位置を特定することを特徴とする請求項１記載のフォーム確認支援装置。
［請求項３］
前記所定の条件は、他の複数の動作パターンと前記所定の観点における類似性が高い或いは低いことであることを特徴とする請求項２記載のフォーム確認支援装置。
［請求項４］
前記比較手段は、前記抽出手段により抽出された複数位置での動作パターンから基準となる動作パターンを特定し、当該基準となる動作パターンと他の複数位置での動作パターンとを比較することを特徴とする請求項１乃至３いずれか１項に記載のフォーム確認支援装置。
［請求項５］
前記抽出手段は、前記動画像において被写体の周期的に表れる一連の動作を前記動作パターンとして抽出することを特徴とする請求項１乃至４いずれか１項に記載のフォーム確認支援装置。
［請求項６］
前記抽出手段は、前記動画像において被写体の周期的に表れる要素から前記動作パターンを抽出することを特徴とする請求項１乃至４いずれか１項に記載のフォーム確認支援装置。
［請求項７］
前記抽出手段は、被写体の所定部位における位置の変化の周期性を判別して前記動作パターンを抽出することを特徴とする請求項１乃至６のいずれか１項に記載のフォーム確認支援装置。
［請求項８］
前記比較手段は、前記複数位置での動作パターンから、各動作パターンにおける所定の値と、当該値に関する所定の基準に従い前記基準となる動作パターンを特定する請求項４乃至７いずれか１項に記載のフォーム確認支援装置。
［請求項９］
前記所定の基準は所定の基準値に基づくものであって、
前記所定の値が前記基準値から所定の閾値を超えた動作パターンを前記他の動作パターンとして特定することを特徴とする請求項８記載のフォーム確認支援装置。
［請求項１０］
前記所定の値は被写体の一連の動作の動作時間であって、前記所定の基準は前記動作時間の平均値との差がより小さいことを特徴とする請求項８記載のフォーム確認支援装置。
［請求項１１］
前記所定の値は被写体の所定部位の特定タイミングでの注目位置であって、前記所定の基準は前記注目位置の平均位置との差がより小さいことを特徴とする請求項８記載のフォーム確認支援装置。
［請求項１２］
前記比較手段は、使用者により指定された任意の時間位置の動作パターンを前記基準となる動作パターンとして特定し、当該基準となる動作パターンと、それと時間位置が異なる他の動作パターンとの違いを比較することを特徴とする請求項５乃至８のいずれか１項に記載のフォーム確認支援装置。
［請求項１３］
前記抽出手段は、前記動作パターンを画像処理技術を用いて抽出することを特徴とする請求項１乃至１２のいずれか１項に記載のフォーム確認支援装置。
［請求項１４］
前記抽出手段は、前記動作パターンを、被写体の所定の部位に装着された検出手段によって前記動画像の撮影中に検出された前記所定の部位の位置変化を示す位置変化情報に基づき抽出することを特徴とする請求項１乃至１３のいずれか１項に記載のフォーム確認支援装置。
［請求項１５］
前記比較手段は、前記複数位置での動作パターンを、前記時間位置が相前後する一組の動作パターンを比較対象とし、比較対象の各々の動作パターンを前記時間位置が次の動作パターンに順に変更しながら比較することを特徴とする請求項１乃至１４のいずれか１項に記載のフォーム確認支援装置。
［請求項１６］
前記出力手段における比較結果の出力形態は、画面上における、前記時間位置が異なる一組の動作パターンの各々の画像の識別可能な表示であることを特徴とする請求項１乃至１５のいずれか１項に記載のフォーム確認支援装置。
［請求項１７］
前記出力手段における比較結果の出力形態は、前記一組の動作パターンの動画像を画面上に並べて表示するものであることを特徴とする請求項１６記載のフォーム確認支援装置。
［請求項１８］
前記出力手段における比較結果の出力形態は、前記一組の動作パターンの動画像を画面上に重ねて表示させるものであることを特徴とする請求項１６記載のフォーム確認支援装置。
［請求項１９］
前記出力手段における比較結果の出力形態は、画面上における前記一組の動作パターンの各々の画像の識別可能な表示に際し、前記一組の動作パターンのいずれか一方における被写体の一連の動作の動作時間を、前記一組の動作パターンのいずれか他方における被写体の一連の動作の動作時間と一致させる調整を伴うものであることを特徴とする請求項１６乃至１８のいずれか１項に記載のフォーム確認支援装置。
［請求項２０］
前記出力手段は、前記比較手段による比較結果として、前記時間位置が異なる一組の動作パターンの差を表す差分情報を出力することを特徴とする請求項１乃至１５のいずれか１項に記載のフォーム確認支援装置。
［請求項２１］
前記出力手段は、前記差分情報として、前記一組の動作パターンにおける前記一連の動作の動作時間の差を表す情報を出力することを特徴とする請求項２０記載のフォーム確認支援装置。
［請求項２２］
前記出力手段は、前記差分情報として、前記一組の動作パターンにおける前記一連の動作における被写体の部位のうち決められたタイミングでの位置の差が基準以上である部位に関する位置の差を示す情報を出力することを特徴とする請求項２０記載のフォーム確認支援装置。
［請求項２３］
前記出力手段における比較結果の出力形態は、前記抽出手段により抽出された動作パターンのうちで基準となる動作パターンと、当該動作パターン以外の動作パターンとの前記時間位置を画面上に識別可能に表示させるものであることを特徴とする請求項１乃至１９のいずれか１項に記載のフォーム確認支援装置。
［請求項２４］
動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出工程と、
前記抽出工程により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較工程と、
前記比較工程による比較結果を出力する出力工程と
を含むことを特徴とするフォーム確認支援方法。
［請求項２５］
コンピュータに、
動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手順と、
前記抽出手順により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手順と、
前記比較手順による比較結果を出力する出力手順と
を実行させることを特徴とするプログラム。
［請求項２６］
情報端末と、当該情報端末が接続される支援サーバーとからなるフォーム確認支援システムであって、
前記支援サーバーは、
前記情報端末から転送された動画像を取得する取得手段と、
前記取得手段により取得された動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手段と、
前記抽出手段により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手段と、
前記比較手段による比較結果を前記情報端末へ提供する提供手段と
を備え、
前記情報端末は、
前記支援サーバーへ前記動画像を転送する転送手段と、
前記支援サーバーから提供された前記比較結果を出力する出力手段と
を備えた
ことを特徴とするフォーム確認支援システム。

１ 情報端末
１１ 制御部
１２ 撮像部
１３ 通信部
１４ 記憶部
１５ 表示部
１６ 電源部
１７ 操作部
２ 支援サーバー
２１ 制御部
２２ 通信部
２３ 記憶部
２４ 画像処理部
１００ ネットワーク
Ｇ１ 第１のフォーム確認画面
Ｇ２ 第２のフォーム確認画面
Ｇ３ 第３のフォーム確認画面
Ｇ４ 第４のフォーム確認画面
Ｇ２１ 第５のフォーム確認画面
Ｇ２２ 第６のフォーム確認画面
ｇ１ 動画像
ｇ２ 比較動画
ｇ３ 位置ゲージ
ｇ４ マーク
ｇ２１ 基準画像
ｇ２２ 比較画像
ｇ２３ 位置ゲージ

Claims (26)

1. 動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手段と、
   前記抽出手段により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手段と、
   前記比較手段による比較結果を出力する出力手段と
   を備えたことを特徴とするフォーム確認支援装置。
2. 前記比較手段は、前記抽出された動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較して、所定の条件を満たす動作パターンの時間位置を特定することを特徴とする請求項１記載のフォーム確認支援装置。
3. 前記所定の条件は、他の複数の動作パターンと前記所定の観点における類似性が高い或いは低いことであることを特徴とする請求項２記載のフォーム確認支援装置。
4. 前記比較手段は、前記抽出手段により抽出された複数位置での動作パターンから基準となる動作パターンを特定し、当該基準となる動作パターンと他の複数位置での動作パターンとを比較することを特徴とする請求項１乃至３いずれか１項に記載のフォーム確認支援装置。
5. 前記抽出手段は、前記動画像において被写体の周期的に表れる一連の動作を前記動作パターンとして抽出することを特徴とする請求項１乃至４いずれか１項に記載のフォーム確認支援装置。
6. 前記抽出手段は、前記動画像において被写体の周期的に表れる要素から前記動作パターンを抽出することを特徴とする請求項１乃至４いずれか１項に記載のフォーム確認支援装置。
7. 前記抽出手段は、被写体の所定部位における位置の変化の周期性を判別して前記動作パターンを抽出することを特徴とする請求項１乃至６のいずれか１項に記載のフォーム確認支援装置。
8. 前記比較手段は、前記複数位置での動作パターンから、各動作パターンにおける所定の値と、当該値に関する所定の基準に従い前記基準となる動作パターンを特定する請求項４乃至７いずれか１項に記載のフォーム確認支援装置。
9. 前記所定の基準は所定の基準値に基づくものであって、
   前記所定の値が前記基準値から所定の閾値を超えた動作パターンを前記他の動作パターンとして特定することを特徴とする請求項８記載のフォーム確認支援装置。
10. 前記所定の値は被写体の一連の動作の動作時間であって、前記所定の基準は前記動作時間の平均値との差がより小さいことを特徴とする請求項８記載のフォーム確認支援装置。
11. 前記所定の値は被写体の所定部位の特定タイミングでの注目位置であって、前記所定の基準は前記注目位置の平均位置との差がより小さいことを特徴とする請求項８記載のフォーム確認支援装置。
12. 前記比較手段は、使用者により指定された任意の時間位置の動作パターンを前記基準となる動作パターンとして特定し、当該基準となる動作パターンと、それと時間位置が異なる他の動作パターンとの違いを比較することを特徴とする請求項５乃至８のいずれか１項に記載のフォーム確認支援装置。
13. 前記抽出手段は、前記動作パターンを画像処理技術を用いて抽出することを特徴とする請求項１乃至１２のいずれか１項に記載のフォーム確認支援装置。
14. 前記抽出手段は、前記動作パターンを、被写体の所定の部位に装着された検出手段によって前記動画像の撮影中に検出された前記所定の部位の位置変化を示す位置変化情報に基づき抽出することを特徴とする請求項１乃至１３のいずれか１項に記載のフォーム確認支援装置。
15. 前記比較手段は、前記複数位置での動作パターンを、前記時間位置が相前後する一組の動作パターンを比較対象とし、比較対象の各々の動作パターンを前記時間位置が次の動作パターンに順に変更しながら比較することを特徴とする請求項１乃至１４のいずれか１項に記載のフォーム確認支援装置。
16. 前記出力手段における比較結果の出力形態は、画面上における、前記時間位置が異なる一組の動作パターンの各々の画像の識別可能な表示であることを特徴とする請求項１乃至１５のいずれか１項に記載のフォーム確認支援装置。
17. 前記出力手段における比較結果の出力形態は、前記一組の動作パターンの動画像を画面上に並べて表示するものであることを特徴とする請求項１６記載のフォーム確認支援装置。
18. 前記出力手段における比較結果の出力形態は、前記一組の動作パターンの動画像を画面上に重ねて表示させるものであることを特徴とする請求項１６記載のフォーム確認支援装置。
19. 前記出力手段における比較結果の出力形態は、画面上における前記一組の動作パターンの各々の画像の識別可能な表示に際し、前記一組の動作パターンのいずれか一方における被写体の一連の動作の動作時間を、前記一組の動作パターンのいずれか他方における被写体の一連の動作の動作時間と一致させる調整を伴うものであることを特徴とする請求項１６乃至１８のいずれか１項に記載のフォーム確認支援装置。
20. 前記出力手段は、前記比較手段による比較結果として、前記時間位置が異なる一組の動作パターンの差を表す差分情報を出力することを特徴とする請求項１乃至１５のいずれか１項に記載のフォーム確認支援装置。
21. 前記出力手段は、前記差分情報として、前記一組の動作パターンにおける前記一連の動作の動作時間の差を表す情報を出力することを特徴とする請求項２０記載のフォーム確認支援装置。
22. 前記出力手段は、前記差分情報として、前記一組の動作パターンにおける前記一連の動作における被写体の部位のうち決められたタイミングでの位置の差が基準以上である部位に関する位置の差を示す情報を出力することを特徴とする請求項２０記載のフォーム確認支援装置。
23. 前記出力手段における比較結果の出力形態は、前記抽出手段により抽出された動作パターンのうちで基準となる動作パターンと、当該動作パターン以外の動作パターンとの前記時間位置を画面上に識別可能に表示させるものであることを特徴とする請求項１乃至２２のいずれか１項に記載のフォーム確認支援装置。
24. 動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出工程と、
    前記抽出工程により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較工程と、
    前記比較工程による比較結果を出力する出力工程と
    を含むことを特徴とするフォーム確認支援方法。
25. コンピュータに、
    動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手順と、
    前記抽出手順により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手順と、
    前記比較手順による比較結果を出力する出力手順と
    を実行させることを特徴とするプログラム。
26. 情報端末と、当該情報端末が接続される支援サーバーとからなるフォーム確認支援システムであって、
    前記支援サーバーは、
    前記情報端末から転送された動画像を取得する取得手段と、
    前記取得手段により取得された動画像において、当該動画像に被写体の繰り返し表れる動作パターンを抽出する抽出手段と、
    前記抽出手段により抽出された前記動画像における時間位置が異なる複数位置での動作パターンを所定の観点で比較する比較手段と、
    前記比較手段による比較結果を前記情報端末へ提供する提供手段と
    を備え、
    前記情報端末は、
    前記支援サーバーへ前記動画像を転送する転送手段と、
    前記支援サーバーから提供された前記比較結果を出力する出力手段と
    を備えた
    ことを特徴とするフォーム確認支援システム。

Images