JP2005198818A - 身体動作の学習支援システム及び学習支援方法 - Google Patents

Abstract

【課題】 効率的に動作学習を行うことができる学習支援システム及び学習支援方法を提供すること。
【解決手段】 学習者の２次元画像を取得する画像入力手段（１、２）と、取得された２次元画像において、学習者の特徴点を決定する特徴点抽出手段（３２）と、第１の特徴点の３次元座標を算出する３次元座標算出手段（３３）と、目標の特徴点を含む目標動作データを記録する記録手段（３４）と、学習者の身体寸法に応じて目標動作データを変更する身体寸法調節手段（３５）と、学習者の特徴点の３次元座標データ及び変更後の目標動作データを使用して目標動作及び学習者の動作を重畳した合成画像を生成する画像生成手段（３６）と、合成画像を表示する表示手段（４）とを備えた学習支援システムにおいて、合成画像上で、対応する学習者の特徴点及び目標特徴点の位置ずれに応じて、学習者の特徴点を表す図形を変化させる。
【選択図】 図１

Description

本発明は、運動、舞踊などにおける身体の動作を学習するための学習支援システム及び学習支援方法に関し、特に、手本となる身体動作画像と学習者の身体動作画像とを重ねて表示する身体動作の学習支援システム及び学習支援方法に関する。

一般に、運動、舞踊などにおける身体動作の学習段階は、複数の段階に分類される。その内、初心者が所定の身体動作を習得するために行う学習段階では、模倣と反復が主となる。学習者が身体動作を反復練習によって獲得する過程において、学習者の意識の中に身体動作のパターンが形成されていく。このとき、学習者が獲得した動作パターンが誤りであった場合、即ち、目標の動作と異なったパターンを獲得してしまった場合、学習者はこれを修正しようと試みる。しかし、一旦形成されたパターンを修正するのは容易ではない。従って、学習の初期段階において、いかにして正確な動作パターンを学ぶかが身体動作の学習において最も重要である。

身体動作の学習の初期において視覚情報を与えると、効果的に学習できることが知られている。例えば、視覚情報を使用した身体動作の学習方法として、ビデオカメラなどを用いて学習者の身体動作を撮影し、学習者が動作を終えた後に自己の動作を確認する学習方法が行われている。

また、一般に身体動作の反復学習においては、動作後に情報を与えるよりも、動作中に情報を与える方が、より高い学習効果が得られる。これは、学習中にリアルタイムで自己の動作を修正できるからである。このために、下記特許文献１〜３に示すように、学習者の動作を検出し、手本となる熟練者などの画像及び検出した学習者の画像を、動作中に呈示する種々の方法が開示されている。
特開平７−１２４２８１号公報 特表平１０−５０１１５６号公報 特開２００１−８４３７５号公報

しかし、上記の特許文献１〜３のような、従来の学習者の身体情報の呈示方法では、検出した学習者の動作を基準として、これに近い手本の画像を同時に表示するので、動作中の学習者は、各瞬間における学習者の身体動作が結果として望ましいか否かをリアルタイムに観察することはできるが、目標とする動作に学習者が自己の動作を合わせようと試みるという、より望ましい学習方法を学習者に行わせることができない。

また、上記の特許文献１〜３に開示されている学習方法では、学習者の習熟度に応じた視覚情報を学習者に呈示することもできない。

また、上記の特許文献１では、学習者に呈示される画像は、学習者自身から見た画像であり、学習者が自己の身体全体の動作を観察することができず、全身の身体動作の学習には効率的ではない。

また、上記の特許文献２では、学習者の身体形状を、学習者の身体に取り付けた機械的機構で検出するので、学習者が自由な動作を行うことができず、却ってフォームを崩す原因になり得る。また、学習者に呈示される画像は、学習者自身に対面する画像であり、左右が逆に表示されるので、学習者に違和感を与える問題があり、特に動きの速い動作の学習において問題となる。

本発明の目的は、上記の課題を解決すべく、所定の身体動作に関する初心者である学習者が、一人で効率的に学習を行い、比較的短期間で所定のレベルまで自己の身体動作を向上させることができるように、学習者の動作に負担とならずに、学習者に目標画像を呈示することができる身体動作の学習支援システム及び学習支援方法を提供することにある。

本発明の目的は、以下の手段によって達成される。

本発明に係る身体動作の学習支援システム（１）は、学習者の身体形状を表す学習者特徴点の３次元座標データを生成する３次元データ生成手段と、学習目標とする、複数の目標特徴点を含む時系列の目標動作データを記録する記録手段と、前記目標特徴点及び前記学習者特徴点の位置関係を調節する身体寸法調節手段と、前記学習者特徴点及び前記目標特徴点を含む、目標動作及び学習者の画像を重畳した合成画像を生成する画像生成手段と、前記合成画像を表示する表示手段とを備え、前記学習者の動作中に前記合成画像がリアルタイムに前記表示手段に表示され、前記合成画像が、所定の視点位置から前記学習者を見る視線方向で生成される画像であり、前記合成画像において、前記学習者特徴点の位置と前記学習者特徴点に対応する前記目標特徴点の位置との違いに応じて、前記学習者特徴点を表す図形を変化させることを特徴としている。

また、本発明に係る身体動作の学習支援システム（２）は、上記の身体動作の学習支援システム（１）において、前記視点位置が、前記学習者の背後に位置することを特徴としている。

また、本発明に係る身体動作の学習支援システム（３）は、上記の身体動作の学習支援システム（１）又は（２）において、前記身体寸法調節手段が、前記目標特徴点の中の所定の２つの目標特徴点間の距離と前記２つの目標特徴点に対応する前記学習者特徴点間の距離とに応じて、前記目標動作データを変更し、且つ前記画像生成手段が、前記学習者特徴点の３次元座標データと変更された前記目標動作データとを使用して、前記合成画像を生成する、又は、前記身体寸法調節手段が、前記目標特徴点の中の所定の２つの目標特徴点間の距離と前記２つの目標特徴点に対応する前記学習者特徴点間の距離とに応じて、前記学習者特徴点の３次元座標データを変更し、且つ前記画像生成手段が、前記目標動作データと変更された前記学習者特徴点の３次元座標データとを使用して、前記合成画像を生成する、又は、前記身体寸法調節手段が、前記目標特徴点の中の所定の２つの目標特徴点間の距離と前記２つの目標特徴点に対応する前記学習者特徴点間の距離とに応じて、前記目標動作データと前記学習者特徴点の３次元座標データとを変更し、且つ前記画像生成手段が、変更された前記学習者特徴点の３次元座標データと変更された前記目標動作データとを使用して、前記合成画像を生成することを特徴としている。

また、本発明に係る身体動作の学習支援システム（４）は、上記の身体動作の学習支援システム（１）〜（３）の何れかにおいて、前記３次元データ生成手段が、学習者の２次元画像を取得する、相互に異なる位置に配置された複数の画像入力手段と、前記画像入力手段によって取得された複数の前記２次元画像において、前記学習者特徴点を抽出する特徴点抽出手段と、抽出された前記学習者特徴点の３次元座標データを算出する３次元座標算出手段とを備えていることを特徴としている。

また、本発明に係る身体動作の学習支援システム（５）は、上記の身体動作の学習支援システム（１）〜（４）の何れかにおいて、第１の段階において、複数の前記学習者特徴点の一部を含む前記合成画像を生成し、その後の第２の段階において、前記学習者特徴点の全てを含む前記合成画像を生成することを特徴としている。

また、本発明に係る身体動作の学習支援システム（６）は、上記の身体動作の学習支援システム（１）〜（５）の何れかにおいて、前記学習者特徴点を表わす前記図形が、前記学習者特徴点が、対応する前記目標特徴点を基準として、前記視点位置から遠ざかる方向にずれている場合に、前記視点位置に近づく方向にずれている場合よりも、小さく表示されることを特徴としている。

また、本発明に係る身体動作の学習支援システム（７）は、上記の身体動作の学習支援システム（１）〜（６）の何れかにおいて、前記学習者特徴点を表わす前記図形が、前記学習者特徴点が、対応する前記目標特徴点を基準として、前記視点位置から遠ざかる方向にずれている場合に、前記視点位置に近づく方向にずれている場合と異なる色で表示されることを特徴としている。

また、本発明に係る身体動作の学習支援システム（８）は、上記の身体動作の学習支援システム（１）〜（７）の何れかにおいて、前記表示手段が、半透過型の頭部装着型表示装置であることを特徴としている。

また、本発明に係る身体動作の学習支援方法（１）は、学習者の身体形状を表す学習者特徴点の３次元座標データを生成する第１ステップと、記録手段から、学習目標とする、目標特徴点を含む時系列の目標動作データを読み出し、前記学習者の身体の所定部分の寸法に応じて、前記目標特徴点及び前記学習者特徴点の位置関係を調節する第２ステップと、前記学習者特徴点及び前記目標特徴点を含む、目標動作及び学習者の画像を重畳した合成画像を生成する第３ステップと、前記合成画像を表示する第４ステップとを含み、前記学習者の動作中に前記合成画像がリアルタイムに表示され、前記合成画像が、所定の視点位置から前記学習者を見る視線方向で生成される画像であり、前記合成画像において、前記学習者特徴点の位置と前記学習者特徴点に対応する前記目標特徴点の位置との違いに応じて、前記学習者特徴点を表す図形を変化させることを特徴としている。

本発明によれば、身体動作の支障となる身体的制限を学習者にほとんど与えることなく、学習者の動作と無関係に所定の速度で変化する目標の身体情報と、学習者の身体情報とを、同時に、リアルタイムに、且つ背後から見た全体像として学習者に呈示することができる。従って、学習者は、目標動作に自己の動作を合わせようと試みる学習を容易に行うことができ、同時に自己の動作を背後から客観的に見ながら学習することが可能となる。

また、本発明によれば、動作中の学習者の身体情報を、身体の各部における運動の連鎖を考慮して段階的に呈示することができる。従って、初心者に対して、学習の向上段階に応じた適切な量の動作情報を呈示することができ、情報量が多過ぎて動作のバランスを崩すことがなく、効率的に学習することができる。

また、本発明によれば、目標の身体情報と、対応する学習者の身体情報との差異の程度を、学習者の空間認識と整合させて呈示することができる。従って、学習者は、自己の動作と目標動作とのずれを、容易に認識することができ、自己の動作を目標動作に合わせる学習を効率的に行うことができる。

また、本発明によれば、表示手段として半透過型の頭部装着型表示装置を使用することによって、学習者に対して、目標動作及び学習者の動作の合成画像と、周囲の映像とを、同時に呈示することができる。従って、学習者は、目標動作及び学習者の動作の合成画像を見ている状態から焦点位置をわずかにずらすだけで、床面の位置など周囲の状況を確認できるので、周囲が見えないことによる不安を抱くことなく、安心して学習を行うことができる。

以下、本発明に係る実施の形態を、添付した図面に基づいて説明する。図１は、本発明の実施の形態に係る身体動作の学習支援システムの概略構成を示すブロック図である。本学習支援システムは、複数の画像入力手段１、２と、画像入力手段１、２からの出力信号から３次元情報を取得し、それを基に所定の２次元画像を生成する画像処理手段３と、頭部装着型の表示手段４とを備えている。画像処理手段３は、フレームバッファ３１、特徴点抽出手段３２、３次元座標算出手段３３、記録手段３４、身体寸法調節手段３５、画像生成手段３６、操作手段３７、及びこれらを制御する制御手段（図示せず）を備えている。

図１において、画像入力手段１、２は、異なる位置に配置されて、対象物の３次元形状データを生成するために使用される２次元画像を、光学的に取り込み、その２次元画像を所定の信号として出力する手段である。例えば、取得した２次元画像をビデオ信号に変換して出力するビデオ撮像装置であり、その検知波長範囲は可視光範囲に限らず、赤外線範囲であってもよい。

画像処理手段３は、画像入力手段１、２の各々から入力される２系統のアナログ信号を、所定のタイミングでサンプリングして、２つのフレーム画像のディジタルデータとしてフレームバッファ３１に記録する。特徴点抽出手段３２は、フレームバッファ３１からの２つのフレーム画像データを読み出して、フレーム画像毎に、対象物の形状を表す代表点である特徴点を抽出する。例えば、人体の場合には、関節を特徴点とすることができる。抽出されたフレーム画像毎の特徴点は、３次元座標算出手段３３に入力され、２つのフレーム画像中の対応する特徴点を決定し、それらの特徴点の３次元座標を計算する。画像入力手段１、２によって取得される画像が、学習目標とする熟練者の画像であった場合、３次元座標データは、フレーム画像順、即ち時系列に記録手段３４に記録される。

一方、画像入力手段１、２によって取得された画像が、学習者の画像であった場合、３次元座標データは、画像生成手段３６に出力される。画像生成手段３６では、入力された学習者の特徴点の３次元座標データと、記録手段３４から読み出され、学習者の身体寸法に合わせて身体寸法調節手段３５によって修正された目標動作の３次元座標データとを使用して、所定の視点位置から見た、目標動作と学習者の動作との合成画像を生成する。生成された合成画像データは、出力用ビデオバッファ（図示せず）に一時的に記録された後、表示手段４に応じたビデオ信号形式で出力されて、表示手段４に表示される。ここで、出力用ビデオバッファへの合成画像データの書き込みタイミングは、フレームバッファ３１への画像データの書き込みタイミングと同じであるが、出力用ビデオバッファからの合成画像データの読み出しタイミングは表示手段４に応じて決まる。

２つのフレーム画像データからの特徴点の抽出は、フレームバッファ３１に、画像入力手段１、２からの、次の新たな画像データが上書きされる前に行われる。例えば、特徴点の抽出、３次元座標の算出、合成画像の生成などの処理は、ビデオ表示の垂直ブランキング期間の間に行われる。これによって、目標動作と学習者自身の動作中の画像とを、リアルタイムに学習者に呈示することができる。学習者は、動作の反復練習を行いながら、頭部装着型の表示手段４に表示される合成画像を見て、目標動作の画像に自己の動作の画像が一致するように、自己の動作を修正する。これによって、学習者はより効率的に目標の動作を習得することができる。

また、表示手段４として、外光の一部を透過させて内部に取り込んだ光と、ディスプレイからの光とを、同時に人の目に入力することができる半透過型の頭部装着型表示装置を使用すれば、目標動作及び学習者の動作の合成画像と、周囲の風景とを、同時に学習者に呈示することができる。これによって、学習者は、目標動作及び学習者の動作の合成画像を見ている状態から焦点位置をわずかにずらすだけで、床面の位置など周囲の状況を確認できるので、周囲が見えないことによる不安を抱くことなく、安心して反復学習を行うことができる。

図２は、一例として、本学習支援システムをゴルフスイングの学習に適用する状態を示す概略構成図である。図２において、学習者５は、ゴルフクラブ６を持って、画像入力手段１、２の前で、素振り練習をする。学習者５の身体の特徴点を検出するために、複数のマーカー７が、所定の位置、例えば関節の位置に、直接的に又は着衣の上から間接的に取り付けられている。マーカーは、画像入力手段１、２に応じたものを使用する。例えば、カラー撮像用ビデオカメラを使用する場合には、身体の取り付け部位に応じた表面色を持つ、直径約４ｃｍの球状物を使用する。また、赤外線カメラを使用する場合には、表面で赤外線を反射する物を使用する。図２において、図１と同じ構成要素には同じ符号を付しており、説明を省略する。

図３、４は、本学習支援システムの処理を示すフローチャートである。図３は、目標動作データを取得する場合における本学習支援システムの処理を示しており、図４は、学習時における本学習支援システムの処理を示している。以下、図３、４に従って、本学習支援システムの処理をさらに具体的に説明する。

まず、本学習支援システムの目標動作データの取得に関して説明する。予め、目標動作に関する熟練者（例えば、プロゴルフファーやレッスンプロなど）の身体の所定の位置に、図５に示したように複数のマーカー７を取り付け、その状態で、熟練者がゴルフクラブ６の素振りを行う。図５は熟練者を背後から見た概略図であり、マーカー７の取り付け位置の一例として、左右の肩、肘、腰、膝、踝及び手首と、第７頚椎及び第１０胸椎との合計１４箇所にマーカー７が取り付けられた状態を示している。また、詳細は後述するが、学習者及び熟練者の画像の大きさを調節するための基準として、熟練者の身体の所定の特徴点間の距離Ｌ₀（例えば、膝と踝に対応する特徴点間の距離）を測定し、身体寸法の情報として記録する。特徴点間の距離Ｌ₀は、例えば、物差しなどの測定手段を使用して直接測定しても、本学習支援システムを使用して得られる特長点の座標データから算出してもよい。

ステップＳ１において、操作手段３７が、データ取り込み速度ｆ₀、データ取り込み時間ｔ₀、画像入力手段１、２の位置、撮像方向などの入力を受け付けて、記録手段３４に記録する。例えば、データ取り込み速度ｆ₀として、１２０Ｈｚのフレーム速度（１２０フレーム／秒）が設定される。画像入力手段１、２の位置、撮像方向は、本学習支援システムが設置された空間に対して所定の３次元座標軸を仮定し、それを基準として決定される。例えば、後述するように、学習時に、学習者５の背後から見た画像を効率的に生成するために、熟練者の背後に原点を設定し、熟練者の背後から前面に向かう方向をＸ軸の正の方向とする。

ステップＳ２において、フレーム毎に処理を行うために、制御手段によって、繰り返しカウンタｋ₁が１に設定され、記録手段３４に記録される。

ステップＳ３において、フレームバッファ３１が、画像入力手段１、２から入力される各々のアナログ信号を、設定したデータ取り込み速度ｆ₀に対応するサンプリング周波数でサンプリングして、各々の画像入力手段１、２に対応するフレーム画像データ（ディジタルデータ）を記録する。１画素のサンプリング周波数は、ステップＳ１で指定されたフレーム速度ｆ₀、及び画像入力手段１、２の撮像条件（走査線数、水平ラインの画素数など）によって決定される。

ステップＳ４において、特徴点抽出手段３２が、ステップＳ３で記録された２つのフレーム画像データの各々に関して、特徴点の抽出、即ちマーカー７の位置の検出を行う。特徴点の抽出は、周知の画像処理技術を使用して行うことができるので、ここでは省略する。

ステップＳ５において、３次元座標算出手段３３が、ステップＳ３で記録された２つの各々のフレーム画像上の特徴点の内、対応する特徴点を決定し、各々の特徴点の３次元座標を計算する。ここで、上記したように、本学習支援システムが設置された空間に対して設定された３次元座標軸を基準として、画像入力手段１、２の位置、撮像方向の情報を使用して、各々の特徴点ｉ（ｉ＝１〜１４）の３次元座標（ｘ_0i，ｙ_0i，ｚ_0i）を計算する。ここで、１つの対象物に関する、視差のある２枚の２次元画像から、対象物の３次元形状を計算する方法は周知であり、ここでは説明を省略する。

ステップＳ６において、記録手段３４が、ステップＳ５で求めた特徴点ｉの３次元座標（ｘ_0i，ｙ_0i，ｚ_0i）（ｉ＝１〜１４）を、対応する時間情報を付して記録する。例えば、一定のフレーム速度を仮定する場合、フレーム画像毎に付した通し番号“ｋ₁”と３次元座標とを対応させ、（ｋ₁，ｘ_0i（ｋ₁），ｙ_0i（ｋ₁），ｚ_0i（ｋ₁））（ｉ＝１〜１４）を記録する。

ステップＳ７において、目標動作の最後のフレームデータについて処理を終了したか否かを判断するために、制御手段が、目標動作の最大フレーム数ｎ_maxとカウンタｋ₁との大小を比較する。ここで、ｎ_max＝ｆ₀×ｔ₀である。ｋ₁がｎ_maxよりも小さければ、ステップＳ８に移行して記録手段３４に記録したカウンタｋ₁に１を加算し、ステップＳ３に戻り、ｋ₁がｎ_max以上になるまで、ステップＳ３〜Ｓ６の処理が繰り返えされる。

以上によって、身体寸法の情報Ｌ₀を持つ熟練者の動作データである目標動作データが、時系列の３次元座標データ（ｎ，ｘ_0i（ｎ），ｙ_0i（ｎ），ｚ_0i（ｎ））（ｉ＝１〜１４、ｎ＝１〜ｎ_max）として、記録手段３４に記録される。

次に、本学習支援システムで、取得した目標動作データを使用して、動作の学習を支援する場合に関して説明する。上記した目標動作データの取り込みの場合と同様に、予め、学習者５の身体の所定の位置に複数のマーカー７を取り付け、その状態で、学習者５が素振り練習を行う。以下の説明においては、マーカー７が、学習者５の左右の肩、肘、腰及び膝の合計８箇所に取り付けられた場合を説明する。

ステップＳ１１において、操作手段３７が、データ取り込み速度ｆ_g、画像入力手段１、２の位置、撮像方向などの入力を受け付け、記録手段３４に記録する。データ取り込み速度ｆ_gと、使用する目標動作データを取り込んだ速度ｆ₀との関係によって、表示手段４にリアルタイムに表示させる画像の表示速度が決定される。後述するように、目標動作データを、先頭のフレームから順に使用して、合成画像の各フレームを生成するので、学習者のデータ取り込み速度ｆ_gをｆ_g＜ｆ₀に設定すれば、目標動作データを取り込んだ速度よりも遅い速度で、合成画像が表示される。例えば、ｆ₀＝１２０［Ｈｚ］に対して、ｆ_g＝６０［Ｈｚ］に設定すれば、目標動作データを取り込んだ時の速さの１／２倍の速さでフレームが変化するスロー再生表示となる。

画像入力手段１、２の位置、撮像方向は、上記の目標動作データ取り込みにおいて設定した３次元座標軸と同じ座標軸を基準として指定する。ここでは、熟練者の背後に原点を設定し、熟練者の背後から前面に向かう方向をＸ軸の正の方向として計算された目標データ（３次元座標データ）が、記録手段３４に記録されていると想定し、同様に学習者５の背後に原点を設定し、学習者５の背後から前面に向かう方向をＸ軸の正の方向とする。

ステップＳ１２において、学習者５の身体の所定の特徴点間の距離Ｌ_gが測定され、身体寸法調節パラメータとして、操作部３７を介して記録手段３４に記録される。ここで、所定の特徴点は、記録されている目標動作を行った熟練者の身体寸法Ｌ₀を測定した特徴点に対応する。また、特徴点間の距離Ｌ_gは、目標動作データの取得時と同様に、例えば、物差しなどの測定手段を使用して直接測定しても、本学習支援システムを使用して得られる特長点の座標データから算出してもよい。

ステップＳ１３において、身体寸法調節手段３５が、身体寸法調節パラメータＬ_gを使用して、記録手段３４に記録されている目標動作の全ての３次元座標データを修正する。即ち、目標動作データの取得時に測定した熟練者の身体寸法Ｌ₀と、対応する学習者５の身体寸法Ｌ_gとが同じ値になるように、比率（Ｌ_g／Ｌ₀）を用いて、目標動作データの任意の２つの特徴点間の距離を修正して、新たに３次元座標データ（ｎ，ｘ_0i’（ｎ），ｙ_0i’（ｎ），ｚ_0i’（ｎ））（ｉ＝１〜１４、ｎ＝１〜ｎ_max）を生成する。このように、目標動作の全フレームデータについて修正することによって、後述するように、表示手段４に重ねて表示される学習者５の画像と目標画像とをほぼ同じ大きさにすることができる。

ステップＳ１４において、目標動作データのフレーム毎に処理を行うために、制御手段が、繰り返し処理のカウンタｋ₂を１に設定し、記録手段３４に記録する。

ステップＳ１５において、フレームバッファ３１が、上記したステップＳ３と同様に学習者５の２次元画像を取り込み、ステップＳ１６において、特徴点抽出手段３２が、上記したステップＳ４と同様に学習者５の特徴点ｊ（ｊ＝１〜８）を抽出し、ステップＳ１７において、３次元座標算出手段３３が、上記したステップＳ５と同様に学習者５の特徴点ｊの３次元座標（ｘ_gj，ｙ_gj，ｚ_gj）（ｊ＝１〜８）を算出する。

ステップＳ１８において、制御手段が、カウンタｋ₂における学習者５の特徴点ｊ（ｊ＝１〜８）の位置と、この特徴点ｊに対応する、目標動作データのフレーム番号ｋ₂のフレーム画像から求めた特徴点ｉの位置との差分を計算する。即ち、学習者５の特徴点ｊの３次元座標（ｘ_gj，ｙ_gj，ｚ_gj）と、この特徴点ｊに対応する目標の特徴点ｉの３次元座標データ（ｋ₂，ｘ_0i’（ｋ₂），ｙ_0i’（ｋ₂），ｚ_0i’（ｋ₂））とのＸ軸方向の差分Δ_xj＝ｘ_gj−ｘ_0i’（ｋ₂） を計算する。Ｘ軸方向の差分Δ_xjは、学習者５の特徴点ｊが、対応する目標動作の特徴点ｉから、学習者５から見て前後何れの方向に、どの程度ずれているかを表す。

ステップＳ１９において、制御手段が、学習者５の特徴点ｊを、Ｘ軸方向の差分Δ_xjに応じて分類する。例えば、Δ_xj＞５［ｃｍ］、５［ｃｍ］≧Δ_xj≧−５［ｃｍ］、Δ_xj＜−５［ｃｍ］の３段階に分類し、それぞれに対応してパラメータαを１、０、−１に設定する。即ち、各々の特徴点ｊ（ｊ＝１〜８）について、データ（ｘ_gj，ｙ_gj，ｚ_gj，α_j）（ここで、α_j＝１、０、又は−１）が決定する。

ステップＳ２０において、画像生成手段３６が、身体寸法を調節した後の目標動作の特徴点ｉのデータ（ｋ₂，ｘ_0i’（ｋ₂），ｙ_0i’（ｋ₂），ｚ_0i’（ｋ₂））と、ステップＳ１９で求められた学習者５の特徴点ｊのデータ（ｘ_gj，ｙ_gj，ｚ_gj，α_j）とを使用して、図６に示すような１フレームのＣＧ画像（以下、スティックピクチャーと記す）を生成する。図６では、ゴルフクラブにもマーカー７を取り付けて取得した目標動作データを使用する場合を示しており、ゴルフクラブの特徴点がｃ１、ｃ２として表示している。

図６に示したスティックピクチャーは、視点位置が学習者５の背後にあるとして、学習者５の特徴点ｊを表す円ｇｊ（ｊ＝１〜８）と、各々の特徴点ｊを人体の骨格に沿って接続する線分と、目標の特徴点ｉを表す円ｄｉ（ｉ＝１〜１４）と、各々の特徴点ｉを人体の骨格に沿って接続する線分とを重畳して表示したＣＧ画像である。即ち、図６は、概念的には図７に示す目標のスティックピクチャーと、図８に示す学習者５のスティックピクチャーとを合成した画像である。ここで、図６中の目標のスティックピクチャーは、図７のスティックピクチャーと同じであるが、図６中の学習者５のスティックピクチャーは、図８のスティックピクチャーを基に、特徴点ｊに付与したパラメータα_jに応じて、特徴点ｊを表す円ｇｊの大きさが変化している。即ち、ステップＳ１９で決定されたα_jに応じて、特徴点ｊを表す円ｇｊの大きさを、小（Δ_xj＞５）、中（５≧Δ_xj≧−５）、大（Δ_xj＜−５）と変化させてＣＧ画像を生成する。これは、特徴点ｊが、特徴点ｉに対して、学習者５から遠ざかる方向にずれていれば小さく表示され、学習者５に近づく方向にずれていれば大きく表示されるという、人間の空間認識と整合する表示である。従って、学習者５は、目標の特徴点ｉから、対応する自己の特徴点ｊがどれだけずれているかを直感的に把握することが非常に容易となる。

ステップＳ２１において、制御手段が、目標動作の最後のフレームデータについて処理を終了したか否かを判断するために、目標動作の最大フレーム数ｎ_maxとカウンタｋ₂との大小を比較する。ｋ₂がｎ_maxよりも小さければ、ステップＳ２２に移行して、記録手段３４のカウンタｋ₂に１を加算し、ステップＳ１５に戻り、ｋ₂がｎ_max以上になるまで、ステップＳ１５〜Ｓ２０が繰り返される。

以上によって、学習者５の動作と無関係に所定の速度で表示される目標のスティックピクチャーと、学習者５のスティックピクチャーとを、同時に学習者５に呈示することができるので、学習者５は、目標動作に自己の動作を合わせようと試みる学習を行うことが可能となる。

上記では、目標の特徴点ｉを表す円ｄｉに、学習者５の特徴点ｊを表す円ｇｊを全て同時に重ねて表示する場合を説明したが、初心者にとって呈示する情報量が多すぎると、かえってバランスを崩し、学習効率が十分に上がらない場合が多い。これに対しては、身体の各部における運動の連鎖を考慮し、学習者５に対して情報を段階的に呈示することが有効である。例えば、ゴルフスイングなどの全身をひねる動作の場合には、足元から段階的に学習者５の特徴点ｊを表す円ｇｊを呈示する。図８に示したスティックピクチャーにおいて、最初の段階では、下半身の腰、膝に取り付けた４つのマーカー７（特徴点）を表す円ｇ５〜ｇ８と、これらを結ぶ線分とを、目標のスティックピクチャーに重ねた画像を生成して、学習者５に呈示する。これによって、学習者５は、先ず下半身の動作を習得することができる。その後、次の段階の学習として、上半身の特徴点を表す円ｇ１〜ｇ４を更に加えて呈示する。これによって、上半身の動作の学習、及び全身のバランスを崩さない動作の学習を効率的に行うことができる。

特特点の情報を呈示する段階は、２段階に限定されず、更に細分化してもよい。例えば、膝、腰、肩、肘の順で特徴点の情報を順に追加（４段階）して表示してもよい。また、下半身から上半身に向けての段階的な呈示に限定されず、学習対象とする動作に依存して、例えば上半身から下半身に向かって呈示することや、その他の順序で呈示してもよい。

上記において、学習者の特徴点を表す図形（円）の大きさを変化させて表示する場合を説明したが、これに限定されない。例えば、学習者の特徴点ｊを、基準となる目標の特徴点ｉからのずれに応じて、異なる色の図形で表示してもよく、また、特徴点ｊを表す図形の大きさの変化に加えて、異なる色を付して表示してもよい。また、特徴点の左右、上下のずれを認識し易くするために、対応する学習者の特徴点ｊと目標の特徴点ｉとを、骨格に沿った線分の色と異なる色の線分で結んで表示してもよい。これらによって、学習者は、自己の動作と目標動作とのずれを、より容易に把握することができる。

また、学習者の特徴点の表示属性（形状、色など）を変化させる基準は、Ｘ軸方向の差分Δ_xjに限定されず、目標と学習者との対応する特徴点間の距離Δ_j（ここで、Δ_j ²＝（ｘ_gj−ｘ_0i’（ｋ₂））²＋（ｘ_gj−ｙ_0i’（ｋ₂））²＋（ｘ_gj−ｚ_0i’（ｋ₂））²）を使用してもよい。

また、学習時の基準となる３次元座標軸は、目標動作データの取り込み時に設定した座標軸と異なる座標軸を使用してもよく、その場合には、両者の座標軸を一致させるように、３次元座標データを変換すればよい。

また、学習者の画像及び目標画像の大きさを調節するために、熟練者の身体寸法Ｌ₀と、対応する学習者の身体寸法Ｌ_gとが同じ値になるように、目標動作データの特徴点間の距離を修正する場合を説明したが、これに限定ざれない。熟練者の身体寸法Ｌ₀と、対応する学習者の身体寸法Ｌ_gとが同じ値になるように、学習者の特徴点の座標データを修正しても、目標動作データ及び学習者の特徴点の座標データの両方を修正してもよい。

また、人体へのマーカー７の取り付け位置は、図５に示した位置に限定されない。また、別の形状のマーカーを使用してもよい。

また、マーカーを使用せずに人体の特徴点の位置変化を検出する手段を使用してもよい。例えば、各々の特徴点に対応する人体の所定の位置に加速度センサを取り付け、動作による加速度センサの出力信号から得られる加速度データを時間積分することによって、各特徴点の基準時刻の位置からの軌跡を時系列の座標データとして求めることができる。その場合、この時系列の座標データを使用してスティックピクチャを作成すればよい。

また、図１においては、２つの画像入力手段１、２を示しているが、特徴点の３次元座標を算出する上で、同じ時刻における視点位置が異なる２次元画像が少なくとも２つあればよく、３つ以上の画像入力手段を備えてもよい。また、目標動作の取り込み時と、リアルタイム学習時とで、異なる数の画像入力手段を使用してもよく、例えば、測定精度を向上するために、目標動作の取り込み時に画像入力手段の数を多くすることや、リアルタイム処理を効率的に行うために、学習時に画像入力手段の数を少なくしてもよい。

また、画像入力手段が、アナログのビデオ信号を出力する場合を説明したが、各々の画像入力手段が、フレームバッファを備え、ディジタルデータを出力してもよい。この場合、画像処理手段は、フレームバッファを備えていなくてもよい。

また、目標動作データを取り込む場合、リアルタイムで処理する必要はないので、まず、熟練者の１連の動作をフレーム画像データとして取り込み、その後に、各フレーム画像上の特徴点の抽出、及び３次元座標データの算出を行ってもよい。

また、頭部装着型の表示手段を使用する場合を説明したが、これに限定されない。例えば、ゴルフスイングの学習時に、ゴルフボールを載置すると想定される床の近傍に、液晶表示装置などの表示手段を設置してもよい。

また、上記した特徴点の抽出、３次元座標の算出、合成画像の生成などの処理は、ＣＰＵを備えたコンピュータによるソフトウェアによって行ってもよい。

また、本発明に係る身体動作の学習支援システム及び学習支援方法は、ゴルフスイングの学習への適用に限定されず、テニスラケットのスイング、野球のバッティング、舞踊など種々の動作の学習に適用することができる。

以下に、実施例として、本学習支援システムをゴルフスイングの学習に適用して学習効率を評価した結果を示し、本発明の特徴とするところをより一層明確にする。

ゴルフの経験がない２１〜２３歳の男性６人を学習者として、次の３種類の学習方法で、各々２人の学習者にゴルフの素振りを学習させ、その結果を比較、検証した。

第１の学習方法：学習者が、学習者の前に設置した鏡を見て、自己の動作をチェックしながらゴルフスイングの学習をする。

第２の学習方法：本学習支援システムを使用して、学習者は、頭部装着型表示手段に呈示された熟練者の動作と学習者の動作とを表すスティックピクチャーを見ながら、ゴルフスイングの学習をする。

第３の学習方法：第２の学習方法において、１０回の素振り練習を１セットとして、１セット目には、熟練者の動作の画像に、学習者の膝を表す円とそれらを結ぶ線分のみを重ねたスティックピクチャーを表示する。２セット目には、熟練者の動作の画像に、学習者の膝及び腰を表す円とそれらを結ぶ線分を重ねたスティックピクチャーを表示する。３セット目には、熟練者の動作の画像に、膝、腰、肩を表す円とそれらを結ぶ線分を重ねたスティックピクチャーを表示する。

実験の手順は次の通りである。まず、学習を行う前に、５回のゴルフクラブの素振り動作を計測した。次に、各々の学習方法で、１０回の素振りを練習し、その後、学習の効果を調べるために、５回の素振り動作を計測し、これを３セット実行した。いずれの学習方法のグループの学習者も、素振り動作の計測時には、情報がない状態、即ち鏡を見ない、または頭部装着型表示手段を用いない状態で素振りを行った。また、本学習支援システムを使用した第２、第３の学習方法では、スティックピクチャーを、目標動作の時間軸を１２倍に引き伸ばして、ゆっくりとした動きで呈示した。

図９〜１４は実験結果を示すグラフであり、学習方法毎の被験者１名のグラフである。ゴルフスイングにおいては、肩、腰、膝の上下方向の動きが水平方向の動きに比べて小さく、学習の前後に大きな変化が見られないので、図９〜１４には水平方向の動作を評価した結果を示す。ここで、学習者に対して図１５に示す位置に座標軸を想定した。尚、図９、１０において、開始時刻から短時間のグラフが欠落しているのは、本実験において光学式位置計測装置を使用したので、マーカーが身体部位によって隠されて、カメラ映像から消失してしまったためである。

図９は、第１の学習方法で学習を行う前後の右肩のＹ座標の時系列変化を示すグラフであり、（ａ）が学習前、（ｂ）が３セットの学習後の結果である。図１０は、第１の学習方法で学習を行う前後の右膝のＹ座標の時系列変化を示すグラフであり、（ａ）が学習前、（ｂ）が３セット学習後の結果である。図９、１０から、第１の学習方法では、３セットの学習終了後も試行毎に動作がばらついており、安定していないことがわかる。また、第２、第３の学習方法で使用した目標データの曲線からも大きくずれている。鏡を用いた反復練習では、目標となる姿勢は、学習者の意識に残っている、以前に見た熟練者の動作イメージであり、目標動作との誤差を視認できないために、３０回の素振りではイメージする動作を十分に学習できなかったと考えられる。

図１１は、第２の学習方法で学習を行う前後の右肩のＹ座標の時系列変化を示すグラフであり、（ａ）が学習前、（ｂ）が１セット学習後の結果、（Ｃ）が３セット学習後の結果である。図１２は、第２の学習方法で学習を行う前後の右膝のＹ座標の時系列変化を示すグラフであり、（ａ）が学習前、（ｂ）が１セット学習後の結果、（Ｃ）が３セット学習後の結果である。図１１から、右肩は反復練習を行うことで試行毎のばらつきが少なくなり、目標動作に近づいていることがわかる。図９〜１２から、試行のばらつき及び目標データの曲線との一致の程度から、第２の学習方法が第１の学習方法よりも効率的であることが分かる。しかし、図１２の（ｃ）を見ると、第２の学習方法の学習後でも、右膝の動作ではスイング開始から約１秒以後は目標動作に近づいていないことが分かる。この原因は、第２の学習方法で呈示している目標動作では、スイング開始の約１秒後からダウンスウィングが始まっていたため、被験者の意識が動きの大きい肩に主として集中し、膝の位置を修正する学習が十分にできなかったからだと考えられる。

図１３は、第３の学習方法で学習を行う前後の右肩のＹ座標の時系列変化を示すグラフであり、（ａ）、（ｂ）、（ｃ）はそれぞれ学習前、１セットの学習後、３セットの学習後の結果を表す。図１４は、第３の学習方法で学習を行う前後の右膝のＹ座標の時系列変化を示すグラフであり、（ａ）、（ｂ）、（ｃ）はそれぞれ学習前、１セットの学習後、３セットの学習後の結果を表す。第３の学習方法では１セットおきに膝、腰、肩の順に、対応する図形を追加して呈示したことによって、（ａ）〜（ｃ）の順で、段階的に動作のばらつきが小さくなっている様子が分かる。図１３の（ｂ）を見ると、１セット目の学習では肩の位置情報が呈示されなかったにもかかわらず、１セット学習後の測定結果では、肩の動作のばらつきが小さくなっている。また、図１４を見ると、膝を表す図形は最初から呈示しているため、１セット目終了後から目標動作に近づき（（ｂ）参照）、腰、肩の動作の学習を行った３セット終了後も、膝動作に大きな乱れがない（（ｃ）参照）ことが分かる。身体各部の拘束条件から、膝の運動が限定されることで肩の運動が限定され、学習者は容易に再現性のある動きにすることができたと考えられる。

また、第３の学習方法では、肩を表す図形を呈示して素振りを行ったのはたかだか１０回である（図１４の（ｃ）参照）が、肩を表す図形を呈示して３０回素振りを行った第２の学習方法の結果（図１１の（ｂ）参照）と比べて、肩の動作の再現性が非常に高いことがわかる。第２の学習方法では膝の動作が十分には学習されていないのに対して、第３の学習方法では膝から順に学習をしていくため、膝と肩の両方を学習できている。これらの結果から、リアルタイムで視覚情報を学習者に呈示して動作の学習を支援する場合、注目すべきポイントを段階的に学習者に呈示することが、効率よく動作を学習する上でより有効であることが分かる。

本発明の実施の形態に係る学習支援システムの概略構成を示すブロック図である。 本発明の実施の形態に係る学習支援システムをゴルフスイングの学習に適用する場合の概念図である。 本発明の実施の形態に係る学習支援システムの目標動作データを生成するフローチャートである。 本発明の実施の形態に係る学習支援システムの学習支援時の処理を示すフローチャートである。 マーカーの人体への取り付け位置の一例を示す背面図である。 本発明の実施の形態に係る学習支援システムにおいて呈示される合成画像を示す図である。 目標画像の１フレームを示す図である。 学習者の画像の１フレームを示す図である。 鏡を見て行うゴルフスイングの学習において、学習の前後の右肩のＹ座標の時系列変化を示すグラフである。 鏡を見て行うゴルフスイングの学習において、学習の前後の右膝のＹ座標の時系列変化を示すグラフである。 本発明の実施の形態に係る学習支援システムを用いた学習に関して、熟練者と学習者との合成画像を見ながらゴルフスイングの学習を行った場合の、学習の前後の右肩のＹ座標の時系列変化を示すグラフである。 本発明の実施の形態に係る学習支援システムを用いた学習に関して、熟練者と学習者との合成画像を見ながらゴルフスイングの学習を行った場合の、学習の前後の右膝のＹ座標の時系列変化を示すグラフである。 本発明の実施の形態に係る学習支援システムを用いた学習に関して、学習者の膝、膝、腰の位置を表す特徴点を段階的に表示した場合の、学習者の右肩のＹ座標の時系列変化を示すグラフである。 本発明の実施の形態に係る学習支援システムを用いた学習に関して、学習者の膝、膝、腰の位置を表す特徴点を段階的に表示した場合の、学習者の右膝のＹ座標の時系列変化を示すグラフである。 評価実験時における学習者と３次元座標軸との関係を示す図である。

符号の説明

１、２ 画像入力手段
３ 画像処理手段
４ 表示手段
３１ フレームバッファ
３２ 特徴点抽出手段
３３ ３次元座標算出手段
３４ 記録手段
３５ 身体寸法調節手段
３６ 画像生成手段
３７ 操作手段

Claims (9)

1. 学習者の身体形状を表す学習者特徴点の３次元座標データを生成する３次元データ生成手段と、
   学習目標とする、複数の目標特徴点を含む時系列の目標動作データを記録する記録手段と、
   前記目標特徴点及び前記学習者特徴点の位置関係を調節する身体寸法調節手段と、
   前記学習者特徴点及び前記目標特徴点を含む、目標動作及び学習者の画像を重畳した合成画像を生成する画像生成手段と、
   前記合成画像を表示する表示手段とを備え、
   前記学習者の動作中に前記合成画像がリアルタイムに前記表示手段に表示され、
   前記合成画像が、所定の視点位置から前記学習者を見る視線方向で生成される画像であり、
   前記合成画像において、前記学習者特徴点の位置と前記学習者特徴点に対応する前記目標特徴点の位置との違いに応じて、前記学習者特徴点を表す図形を変化させることを特徴とする身体動作の学習支援システム。
2. 前記視点位置が、前記学習者の背後に位置することを特徴とする請求項１に記載の身体動作の学習支援システム。
3. 前記身体寸法調節手段が、前記目標特徴点の中の所定の２つの目標特徴点間の距離と前記２つの目標特徴点に対応する前記学習者特徴点間の距離とに応じて、前記目標動作データを変更し、且つ前記画像生成手段が、前記学習者特徴点の３次元座標データと変更された前記目標動作データとを使用して、前記合成画像を生成する、又は、
   前記身体寸法調節手段が、前記目標特徴点の中の所定の２つの目標特徴点間の距離と前記２つの目標特徴点に対応する前記学習者特徴点間の距離とに応じて、前記学習者特徴点の３次元座標データを変更し、且つ前記画像生成手段が、前記目標動作データと変更された前記学習者特徴点の３次元座標データとを使用して、前記合成画像を生成する、又は、
   前記身体寸法調節手段が、前記目標特徴点の中の所定の２つの目標特徴点間の距離と前記２つの目標特徴点に対応する前記学習者特徴点間の距離とに応じて、前記目標動作データと前記学習者特徴点の３次元座標データとを変更し、且つ前記画像生成手段が、変更された前記学習者特徴点の３次元座標データと変更された前記目標動作データとを使用して、前記合成画像を生成することを特徴とする請求項１又は２に記載の身体動作の学習支援システム。
4. 前記３次元データ生成手段が、
   学習者の２次元画像を取得する、相互に異なる位置に配置された複数の画像入力手段と、
   前記画像入力手段によって取得された複数の前記２次元画像において、前記学習者特徴点を抽出する特徴点抽出手段と、
   抽出された前記学習者特徴点の３次元座標データを算出する３次元座標算出手段とを備えていることを特徴とする請求項１〜３の何れかの項に記載の身体動作の学習支援システム。
5. 第１の段階において、複数の前記学習者特徴点の一部を含む前記合成画像を生成し、
   その後の第２の段階において、前記学習者特徴点の全てを含む前記合成画像を生成することを特徴とする請求項１〜４の何れかの項に記載の身体動作の学習支援システム。
6. 前記学習者特徴点を表わす前記図形が、前記学習者特徴点が、対応する前記目標特徴点を基準として、前記視点位置から遠ざかる方向にずれている場合に、前記視点位置に近づく方向にずれている場合よりも、小さく表示されることを特徴とする請求項１〜５の何れかの項に記載の身体動作の学習支援システム。
7. 前記学習者特徴点を表わす前記図形が、前記学習者特徴点が、対応する前記目標特徴点を基準として、前記視点位置から遠ざかる方向にずれている場合に、前記視点位置に近づく方向にずれている場合と異なる色で表示されることを特徴とする請求項１〜６の何れかの項に記載の身体動作の学習支援システム。
8. 前記表示手段が、半透過型の頭部装着型表示装置であることを特徴とする請求項１〜７の何れかの項に記載の身体動作の学習支援システム。
9. 学習者の身体形状を表す学習者特徴点の３次元座標データを生成する第１ステップと、
   記録手段から、学習目標とする、目標特徴点を含む時系列の目標動作データを読み出し、前記学習者の身体の所定部分の寸法に応じて、前記目標特徴点及び前記学習者特徴点の位置関係を調節する第２ステップと、
   前記学習者特徴点及び前記目標特徴点を含む、目標動作及び学習者の画像を重畳した合成画像を生成する第３ステップと、
   前記合成画像を表示する第４ステップとを含み、
   前記学習者の動作中に前記合成画像がリアルタイムに表示され、
   前記合成画像が、所定の視点位置から前記学習者を見る視線方向で生成される画像であり、
   前記合成画像において、前記学習者特徴点の位置と前記学習者特徴点に対応する前記目標特徴点の位置との違いに応じて、前記学習者特徴点を表す図形を変化させることを特徴とする身体動作の学習支援方法。

Images