JP2019166238A - 動作模倣支援システム及び動作模倣支援装置 - Google Patents

Abstract

【課題】模倣者が自身の動作と被模倣者の動作の一致度を把握しやすくする。【解決手段】サーバ４は、被模倣者の動作を表す、３次元の仮想空間の座標の時系列データを、当該データにより表される動作が模倣者の身体のサイズに応じたものとなるように補正する。ＨＭＤ２は、補正された時系列データにより表される動作を仮想空間内において行う人物の画像のうち、仮想空間に設定される仮想カメラにより撮影される部分を、現実空間の景色に重ねて表示する。その際、仮想カメラの撮影方向は、ＨＭＤ２の向きに応じて変化し、仮想空間における上記人物の頭部の高さは、仮想カメラの高さと略同一である。【選択図】図１

Description

本発明は、スポーツ等の動作の模倣を支援するための技術に関する。

従来、ＶＲ技術を用いて、スポーツ等の動作の模倣を支援するための装置が知られている。例えば、特許文献１には、模倣者の頭部に装着されるヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ。）であって、被模倣者が動作する映像を表示するＨＭＤが記載されている。

特開２０１６−１３１７８２号公報

しかし、特許文献１に記載の発明には、模倣者と被模倣者の体格が異なり両者の目線の高さが異なる場合に、模倣者が自身の動作と被模倣者の動作の一致度を把握しづらいという問題があった。

本発明はこのような事情に鑑みてなされたものであり、模倣者が自身の動作と被模倣者の動作の一致度を把握しやすくすることを目的とする。

上記の課題を解決するため、本発明に係る動作模倣支援システムは、被模倣者の動作を表す、３次元の仮想空間の座標の第１時系列データを取得する第１取得部と、前記被模倣者の身体のサイズを特定する第１特定部と、模倣者の身体のサイズを特定する第２特定部と、前記被模倣者の身体のサイズと前記模倣者の身体のサイズの差異に基づいて、前記第１時系列データにより表される動作が前記模倣者の身体のサイズに応じたものとなるように、前記第１時系列データを補正する補正部と、前記補正された第１時系列データにより表される動作を前記仮想空間内において行う人物の画像のうち、前記仮想空間に設定される仮想カメラにより撮影される部分を、前記模倣者が装着する頭部装着型表示装置において現実空間の景色に重ねて表示させる表示制御部とを備え、前記仮想カメラの撮影方向は、前記頭部装着型表示装置の向きに応じて変化し、前記仮想空間における前記人物の頭部の高さは、前記仮想カメラの高さと略同一であることを特徴とする。

上記の動作模倣支援システムにおいて、前記仮想空間における前記人物の頭部の水平方向の位置は、前記仮想カメラの水平方向の位置と略同一であってもよい。

上記の動作模倣支援システムは、前記補正された第１時系列データより表される動作を模倣する前記模倣者の身体の動きを表す、前記仮想空間の座標の第２時系列データを取得する第２取得部と、前記補正された第１時系列データを構成する第１座標と、前記第２時系列データを構成し、前記第１座標に対応する第２座標の差分を算出する算出部と、
前記算出された差分が所定の閾値よりも大きい場合に、前記模倣者に対して所定の通知を行う第１通知部とをさらに備えてもよい。

上記の動作模倣支援システムにおいて、前記第１通知部は、前記模倣者に対して所定の力覚を提示してもよい。

上記の動作模倣支援システムは、前記被模倣者が、前記第１時系列データにより表される動作を行う際の呼吸又は心拍間隔の波形を取得する第３取得部と、前記呼吸又は心拍間隔の波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを特定する第３特定部と、前記補正された第１時系列データにより表される動作を模倣する前記模倣者に対して、前記特定されたタイミングの到来を通知する第２通知部とをさらに備えてもよい。

また、本発明に係る動作模倣支援装置は、被模倣者の動作を表す、３次元の仮想空間の座標の第１時系列データを取得する第１取得部と、前記被模倣者の身体のサイズを特定する第１特定部と、模倣者の身体のサイズを特定する第２特定部と、前記被模倣者の身体のサイズと前記模倣者の身体のサイズの差異に基づいて、前記第１時系列データにより表される動作が前記模倣者の身体のサイズに応じたものとなるように、前記第１時系列データを補正する補正部と、前記補正された第１時系列データを、前記模倣者が装着する頭部装着型表示装置に対して送信する送信部とを備え、前記頭部装着型表示装置は、前記補正された第１時系列データにより表される動作を前記仮想空間内において行う人物の画像のうち、前記仮想空間に設定される仮想カメラにより撮影される部分を、現実空間の景色に重ねて表示させ、前記仮想カメラの撮影方向は、前記頭部装着型表示装置の向きに応じて変化し、前記仮想空間における前記人物の頭部の高さは、前記仮想カメラの高さと略同一であることを特徴とする。

本発明によれば、模倣者が自身の動作と被模倣者の動作の一致度を把握しやすくなる。

動作模倣支援システム１の構成の一例を示す概略図 動作模倣支援システム１の機能構成の一例を示すブロック図 モデル属性データの一例を示す図 ３次元の仮想空間の一例を示す図 モデル動作データの一例を示す図 呼吸波形データの一例を示す図 ユーザ属性データの一例を示す図 ユーザ動作データの一例を示す図 ３次元の仮想空間の一例を示す図 動作模倣支援システム１の処理の一例を示すシーケンスチャート 動作ズレ判定処理の一例を示すフローチャート

１．実施形態
１−１．動作模倣支援システム１の構成
本発明の一実施形態に係る動作模倣支援システム１について説明する。動作模倣支援システム１は、ＶＲ技術を用いて、被模倣者によるスポーツ等の動作を、模倣者が模倣することを支援するためのシステムである。言い換えると、模倣者の当該動作の上達を支援するためのシステムである。

図１は、動作模倣支援システム１の構成の一例を示す概略図である。図２は、動作模倣支援システム１の機能構成の一例を示すブロック図である。これらの図に示す動作模倣支援システム１は、模倣者が装着するＨＭＤ２及び複数のウェアラブル端末３と、ＨＭＤ２の動作を支援するサーバ４を備える。ＨＭＤ２とサーバ４は、無線ＬＡＮやインターネット等の通信回線５を介して通信可能に接続される。

１−２．サーバ４の構成
サーバ４は、ＣＰＵ等のプロセッサと、ＨＤＤ等の記憶装置と、ＨＭＤ２と通信するためのネットワーク通信部を備える。サーバ４の記憶装置は、図２に示す各データベースを記憶する。

モデル属性ＤＢ４１は、被模倣者の属性データを格納するデータベースである。図３は、モデル属性ＤＢ４１に格納されるモデル属性データの一例を示す図である。同図に示すモデル属性データは、被模倣者の識別情報であるモデルＩＤと、被模倣者の名称であるモデル名と、被模倣者の身長及び体重と、被模倣者の標準関節位置座標と、被模倣者のモデル動作データの識別情報である動作ＩＤにより構成される。ここで、被模倣者の標準関節位置座標とは、３次元の仮想空間の座標であって、標準姿勢（例えば、直立不動の姿勢。以下同じ。）にある被模倣者の各関節（例えば、首、肩、肘、手首、腰、股関節、膝、足首。以下同じ。）の位置を示す座標である。図４は、３次元の仮想空間の一例を示す図である。同図に示す３次元の仮想空間は、被模倣者Ｐの左右方向をｘ軸とし、前後方向をｙ軸とし、高さ方向をｚ軸とし、被模倣者Ｐの頭部を原点ｏとする仮想空間である。このような仮想空間の座標である標準関節位置座標は、例えば、被模倣者がＨＭＤ２とウェアラブル端末３を装着して測定する。

モデル動作ＤＢ４２は、被模倣者のモデル動作データを格納するデータベースである。図５は、モデル動作ＤＢ４２に格納されるモデル動作データの一例を示す図である。同図に示すモデル動作データは、所定の動作を行う被模倣者の各関節の位置座標の時系列データ（以下、「関節座標時系列データ」という。）と、所定の動作を行う被模倣者の呼吸波形データと、所定の動作時において呼吸量が変化するタイミング（言い換えると、集中すべきタイミング）を示す呼吸フラグデータと、所定の動作時において模倣者に対してアドバイスを通知すべきタイミングと通知すべきアドバイスの識別情報とを示すアドバイスデータにより構成される。ここで、被模倣者の関節座標時系列データとは、３次元の仮想空間の座標の時系列データであって、所定の動作を行う被模倣者の各関節の動きを示すデータである。３次元の仮想空間の一例は、図４に示す通りである。この関節座標時系列データは、例えば、被模倣者がＨＭＤ２とウェアラブル端末３を装着して、所定の動作を行うことで測定される。次に、被模倣者の呼吸波形データは、このデータも、例えば、被模倣者がＨＭＤ２とウェアラブル端末３を装着して、所定の動作を行うことで測定される。そして、モデル動作ＤＢ４２に格納される。次に、呼吸フラグデータは、呼吸波形データが示す波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを示すデータである。言い換えると、同波形について２階微分した値が所定の閾値以上となるタイミングを示すデータである。図６は、呼吸波形データの一例を示す図である。同図に示す波形では、時間「ｔ１」が、集中すべきタイミングとして特定される。特定されたタイミングは、変数「１」と対応付けられ、それ以外のタイミングは変数「０」と対応付けられる。この呼吸フラグデータは、呼吸波形データに基づいてサーバ４において生成される。最後に、アドバイスデータは、被模倣者により生成される。アドバイスの内容は、動作時の注意事項である。

ユーザ属性ＤＢ４３は、模倣者の属性データを格納するデータベースである。図７は、このユーザ属性ＤＢ４３に格納されるユーザ属性データの一例を示す図である。同図に示すユーザ属性データは、模倣者の識別情報であるユーザＩＤと、模倣者の名称であるユーザ名と、模倣者の身長及び体重と、模倣者の標準関節位置座標と、模倣者のユーザ動作データの識別情報である動作ＩＤにより構成される。ここで、模倣者の標準関節位置座標とは、３次元の仮想空間の座標であって、標準姿勢にある模倣者の各関節の位置を示す座標である。３次元の仮想空間の一例は、図４に示す通りである。模倣者の標準関節位置座標は、例えば、模倣者がＨＭＤ２とウェアラブル端末３を装着して測定する。

ユーザ動作ＤＢ４４は、模倣者の動作データを格納するデータベースである。図８は、このユーザ動作ＤＢ４４に格納されるユーザ動作データの一例を示す図である。同図に示すユーザ動作データは、被模倣者の所定の動作を模倣する模倣者の関節座標時系列データと、被模倣者の関節座標時系列データと模倣者の関節座標時系列データの間の座標距離の時系列データ（以下、「動作ズレデータ」という。）と、被模倣者の所定の動作を模倣する模倣者の呼吸波形データにより構成される。ここで、模倣者の関節座標時系列データとは、３次元の仮想空間の座標の時系列データであって、被模倣者の所定の動作を模倣する模倣者の各関節の動きを示すデータである。３次元の仮想空間の一例は、図４に示す通りである。この関節座標時系列データは、模倣者がＨＭＤ２とウェアラブル端末３を装着して、所定の動作を模倣することで測定される。次に、動作ズレデータは、各関節について、被模倣者と模倣者の対応する関節位置座標間の距離を時系列で並べたデータである。例えば、図８に示す距離「ｄ１０１」は、首についての、被模倣者と模倣者の、時間「ｔ１」に対応する関節位置座標間の距離を示している。この動作ズレデータは、後述するように、ＨＭＤ２において生成される。最後に、模倣者の呼吸波形データは、このデータも、模倣者がＨＭＤ２とウェアラブル端末３を装着して、所定の動作を模倣することで測定される。

サーバ４のプロセッサが、記憶装置に記憶されているプログラムを実行すると、図２に示す各機能が実現される。なお、このプログラムは、インターネット等のネットワークや非一時的な記録媒体を介して頒布可能なプログラムである。

モデル属性データ抽出部４５は、ＨＭＤ２を装着する模倣者により選択されたモデルＩＤを検索キーとして、モデル属性ＤＢ４１から被模倣者の標準関節位置座標を抽出する。

モデル動作データ抽出部４６は、ＨＭＤ２を装着する模倣者により選択された動作ＩＤを検索キーとして、モデル動作ＤＢ４２からモデル動作データを抽出する。

ユーザ属性データ抽出部４７は、ＨＭＤ２から送信されるユーザＩＤを検索キーとして、ユーザ属性ＤＢ４３から模倣者の標準関節位置座標を抽出する。

キャリブレーション部４８は、モデル属性データ抽出部４５により抽出される被模倣者の標準関節位置座標と、ユーザ属性データ抽出部４７により抽出される模倣者の標準関節位置座標の比較結果に基づいて、モデル動作データ抽出部４６により抽出されたモデル動作データ（具体的には、関節座標時系列データ）を、当該データにより表される動作が模倣者の身体のサイズに応じたものとなるように補正する。言い換えると、抽出されたモデル動作データを、被模倣者が模倣者と同じ体型を有すると仮定した場合に、当該被模倣者が所定の動作を行ったときに測定されるであろうデータとなるように補正する。具体的には、キャリブレーション部４８は、関節座標時系列データが示す各関節の位置座標を、隣接する関節の位置座標間の距離が、被模倣者に対する模倣者の同関節の標準位置座標間の距離の比率を乗じた値となるように補正する。例えば、首と右肩の位置座標を補正する場合には、まず、被模倣者の首と右肩の標準位置座標間の距離を第１距離として算出し、模倣者の首と右肩の標準位置座標間の距離を第２距離として算出する。そして、関節座標時系列データが示す首と右肩の位置座標を、これらの位置座標間の距離が、当該距離に第１距離に対する第２距離の比率を乗じた値となるように補正する。キャリブレーション部４８により補正されたモデル動作データ（以下、「補正動作データ」という。）は、ＨＭＤ２に送信される。

スコア判定部４９は、ＨＭＤ２から送信されるユーザ動作データをユーザ動作ＤＢ４４に格納する。また、ユーザ動作ＤＢ４４に格納したユーザ動作データ（具体的には、動作ズレデータ）に基づいて、模倣者の動作のスコアを算出する。スコアの算出方法としては、例えば、所定の値から、動作ズレデータが示す距離の総計を減算する方法がある。この方法の場合、模倣者の動作が被模倣者の動作と乖離しているほどスコアの値が小さくなる。このように算出されたスコアは、ＨＭＤ２に通知される。

１−３．ＨＭＤ２の構成
ＨＭＤ２は、ＣＰＵ等のプロセッサと、フラッシュメモリ等のメモリと、ユーザの両眼の前方を覆うように配置される光学透過型のディスプレイと、タッチパネル等の入力装置と、モーションセンサと、呼吸音センサ（具体的には、マイクロフォン）と、スピーカと、サーバ４と通信するためのネットワーク通信部と、ウェアラブル端末３と通信するための近距離無線通信部を備える。ＨＭＤ２のプロセッサが、メモリに記憶されているプログラムを実行すると、図２に示す各機能が実現される。なお、このプログラムは、インターネット等のネットワークや非一時的な記録媒体を介して頒布可能なプログラムである。

重畳映像生成部２１は、サーバ４から提供される補正動作データ（具体的には、関節座標時系列データ）を取得し、模倣者により動画の再生が指示されると、取得した関節座標時系列データにより表される動作を行う人物（例えば、棒人間や、ポリゴンの人物モデル）の動画を、ディスプレイにおいて現実空間の景色に重ねて表示させる。より具体的には、取得した関節座標時系列データにより表される動作を３次元の仮想空間内で行う人物の動画のうち、当該仮想空間に設定される仮想カメラにより撮影される部分をディスプレイに表示させる。図９は、３次元の仮想空間の一例を示す図である。同図に示す３次元の仮想空間は、図４に示す仮想空間と同様に直交座標系により定義され、仮想カメラＣの撮影地点を原点ｏとする仮想空間である。この仮想空間は、仮想カメラＣの撮影地点を原点ｏとするため、仮想カメラＣの仮想空間内の位置は、図４に示す被模倣者Ｐの頭部と重なる。すなわち、仮想カメラＣの仮想空間内の高さと水平方向の位置は被模倣者Ｐの頭部と同一又は略同一となる。そのため、重畳映像生成部２１により表示される映像は、被模倣者Ｐの頭部位置から見た映像（すなわち、被模倣者Ｐの本人視点の映像）となる。この仮想空間に設定される仮想カメラＣの撮影方向は、モーションセンサにより検出される向きに応じて変化する。すなわち、ＨＭＤ２の向きに応じて変化する。したがって、例えば、ＨＭＤ２を装着する模倣者が右方向を向くと、仮想空間においてｘ軸の正方向を向いた仮想カメラＣにより撮影された動画がディスプレイに表示され、同模倣者が左方向を向くと、仮想空間においてｘ軸の負方向を向いた仮想カメラＣにより撮影された動画がディスプレイに表示される。

音声出力制御部２２は、サーバ４から提供される補正動作データ（具体的には、呼吸フラグデータとアドバイスデータ）を取得し、重畳映像生成部２１により動画の再生が開始されると、取得した呼吸フラグデータとアドバイスデータに基づいてスピーカから音声メッセージを出力させる。具体的には、取得した呼吸フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。出力される音声メッセージは、模倣者に集中を促すメッセージとなっており、当該メッセージの出力が完了するタイミングで集中タイミングが到来するように出力される。また、音声出力制御部２２は、取得したアドバイスデータに基づいて、アドバイス通知タイミングが到来する直前に、アドバイスを通知する音声メッセージをスピーカから出力させる。アドバイスを通知する音声メッセージは、当該メッセージの出力が完了するタイミングでアドバイス通知タイミングが到来するように出力される。

動作ズレ判定部２３は、重畳映像生成部２１により動画の再生が開始されると、各ウェアラブル端末３に対して測定開始指示を送信する。そして、各ウェアラブル端末３から順次送信される関節位置座標を時系列で動作テーブル２４に記録する。すなわち、模倣者の関節座標時系列データを生成する。同時に、動作ズレ判定部２３は、ウェアラブル端末３から関節位置座標を受信すると、被模倣者の関節座標時系列データにおいて、当該受信時のタイミングと、当該端末が装着されている関節とに対応付けられている位置座標を特定し、特定した位置座標と、受信した関節位置座標との距離を算出して、当該タイミングと対応付けて動作テーブル２４に記録する。すなわち、動作ズレデータを生成する。例えば、首に装着されたウェアラブル端末３から、動画の再生後「ｔ１」のタイミングで関節位置座標を受信した場合には、タイミング「ｔ１」と関節「首」とに対応付けられている被模倣者の位置座標を特定し、特定した位置座標と、受信した関節位置座標との距離を算出して、タイミング「ｔ１」と対応付けて動作テーブル２４に記録する。さらに、動作ズレ判定部２３は、算出した位置座標間の距離が所定の閾値以上である場合には、処理対象となった位置座標を送信してきたウェアラブル端末３に対して振動発生指示を送信する。その際、算出した距離と閾値との差分に比例する振動の強さ又は長さを指定するようにしてもよい。なお、振動を発生させるか否かを決定する所定の閾値は、模倣者により任意に設定されてよい。動作ズレ判定部２３は、重畳映像生成部２１による動画の再生が終了されると、各ウェアラブル端末３に対して測定終了指示を送信する。

呼吸波形記録部２５は、重畳映像生成部２１により動画の再生が開始されると、動画の再生が終了するまでの間、呼吸音センサにより順次出力される測定値を時系列で動作テーブル２４に記録する。すなわち、模倣者の呼吸波形データを生成する。

スコア画像生成部２６は、重畳映像生成部２１による動画の再生が終了すると、動作テーブル２４に格納されている関節座標時系列データと動作ズレデータと呼吸波形データを、模倣者のユーザＩＤと対応付けて、ユーザ動作データとしてサーバ４に送信する。このユーザ動作データに対する応答としてサーバ４からスコアを受信すると、受信したスコアを通知するスコア画面をディスプレイに表示させる。

１−４．ウェアラブル端末３の構成
ウェアラブル端末３は、本体部と、本体部が取り付けられるバンド部を備える。本体部は、ＣＰＵ等のプロセッサと、フラッシュメモリ等のメモリと、モーションセンサと、振動装置と、ＨＭＤ２と通信するための近距離無線通信部を備える。バンド部は、模倣者の関節に巻きつけられて、ウェアラブル端末３を当該関節に固定する。

このウェアラブル端末３は、ＨＭＤ２から測定開始指示を受信すると、測定終了指示を受信するまでの間、モーションセンサにより測定された位置座標をＨＭＤ２に対して定期的に送信する。その際、端末ＩＤも送信し、ＨＭＤ２はこの端末ＩＤに基づいて、どの関節に装着されたウェアラブル端末３から送信された位置座標かを判別する。送信される位置座標のセンサ座標系から図９に示す座標系への変換は、ウェアラブル端末３で行われてもよいし、ＨＭＤ２で行われてもよい。また、ウェアラブル端末３は、ＨＭＤ２から振動発生指示を受信すると、振動装置を所定の期間、振動させることで、模倣者に対して力覚を提示する。

１−５．動作模倣支援システム１の動作
図１０は、動作模倣支援システム１により実行される処理の一例を示すシーケンスチャートである。
ＨＭＤ２は、入力装置を用いて模倣者によりモデルＩＤと動作ＩＤが選択されると、選択されたモデルＩＤを、模倣者のユーザＩＤとともにサーバ４に送信する（Ｓ１）。

サーバ４のモデル属性データ抽出部４５は、模倣者により選択されたモデルＩＤを検索キーとして、モデル属性ＤＢ４１から被模倣者の標準関節位置座標を抽出する（Ｓ２）。サーバ４のモデル動作データ抽出部４６は、模倣者により選択された動作ＩＤを検索キーとして、モデル動作ＤＢ４２からモデル動作データを抽出する（Ｓ３）。サーバ４のユーザ属性データ抽出部４７は、ＨＭＤ２から送信されるユーザＩＤを検索キーとして、ユーザ属性ＤＢ４３から模倣者の標準関節位置座標を抽出する（Ｓ４）。サーバ４のキャリブレーション部４８は、ステップＳ２で抽出された被模倣者の標準関節位置座標と、ステップＳ４で抽出された模倣者の標準関節位置座標の比較結果に基づいて、ステップＳ３で抽出されたモデル動作データ（具体的には、関節座標時系列データ）を補正する（Ｓ５）。具体的な補正方法については上述した通りである。補正後、キャリブレーション部４８は、補正動作データをＨＭＤ２に対して送信する（Ｓ６）。

ＨＭＤ２は、サーバ４から補正動作データを受信し、入力装置を用いて模倣者により動画の再生が指示されると、動作模倣支援処理を実行する（Ｓ７）。
具体的には、重畳映像生成部２１は、取得した関節座標時系列データにより表される動作を行う人物の動画を、ディスプレイにおいて現実空間の景色に重ねて表示させる。より具体的には、取得した関節座標時系列データにより表される動作を３次元の仮想空間内で行う人物の動画のうち、当該仮想空間に設定される仮想カメラにより撮影される部分をディスプレイに表示させる。仮想カメラの撮影方向は、モーションセンサにより検出される向きに応じて変化する。

また、音声出力制御部２２は、取得した呼吸フラグデータとアドバイスデータに基づいてスピーカから音声メッセージを出力させる。具体的には、取得した呼吸フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。また、取得したアドバイスデータに基づいて、アドバイス通知タイミングが到来する直前に、アドバイスを通知する音声メッセージをスピーカから出力させる。

また、動作ズレ判定部２３は、各ウェアラブル端末３に対して測定開始指示を送信する。そして、ウェアラブル端末３から関節位置座標を受信すると、リアルタイムで動作ズレ判定処理を実行する。図１１は、動作ズレ判定処理の一例を示すフローチャートである。

動作ズレ判定部２３は、ウェアラブル端末３から受信した関節位置座標を、当該受信時のタイミングと、当該端末が装着されている関節とに対応付けて、動作テーブル２４に記録する（Ｓ７１）。例えば、首に装着されたウェアラブル端末３から、動画の再生後「ｔ１」のタイミングで関節位置座標を受信した場合には、タイミング「ｔ１」と関節「首」とに対応付けて、受信した関節位置座標を動作テーブル２４に記録する。

記録後、動作ズレ判定部２３は、被模倣者の関節座標時系列データにおいて、上記受信時のタイミングと、上記端末が装着されている関節とに対応付けられている位置座標を特定し、特定した位置座標と、記録した関節位置座標との距離を算出して、当該タイミングと対応付けて動作テーブル２４に記録する（Ｓ７２）。例えば、首に装着されたウェアラブル端末３から、動画の再生後「ｔ１」のタイミングで関節位置座標を受信した場合には、タイミング「ｔ１」と関節「首」とに対応付けられている被模倣者の位置座標を特定し、特定した位置座標と、受信した関節位置座標との距離を算出して、タイミング「ｔ１」と対応付けて動作テーブル２４に記録する。

記録後、動作ズレ判定部２３は、算出した位置座標間の距離が所定の閾値以上であるか否かを判定する（Ｓ７３）。この判定の結果、算出した距離が所定の閾値以上でない場合には（Ｓ７３のＮＯ）、動作ズレ判定部２３は本処理を終了する。一方、この判定の結果、算出した距離が所定の閾値以上である場合には（Ｓ７３のＹＥＳ）、動作ズレ判定部２３は、ウェアラブル端末３に対して振動発生指示を送信する（Ｓ７４）。この振動発生指示を受信したウェアラブル端末３は、振動装置を所定の期間、振動させる。
以上が、動作ズレ判定処理についての説明である。

また、動作模倣支援処理では、呼吸波形記録部２５は、呼吸音センサにより順次出力される測定値を時系列で動作テーブル２４に記録する。

動作支援処理が終了すると、ＨＭＤ２のスコア画像生成部２６は、動作テーブル２４に格納されている関節座標時系列データと動作ズレデータと呼吸波形データを、模倣者のユーザＩＤと対応付けて、ユーザ動作データとしてサーバ４に送信する（図１０のＳ８）。

サーバ４のスコア判定部４９は、ＨＭＤ２から送信されたユーザ動作データをユーザ動作ＤＢ４４に格納する。また、ユーザ動作ＤＢ４４に格納したユーザ動作データ（具体的には、動作ズレデータ）に基づいて、模倣者の動作のスコアを算出する（Ｓ９）。スコアを算出後、算出したスコアをＨＭＤ２に対して通知する（Ｓ１０）。

ＨＭＤ２のスコア画像生成部２６は、サーバ４から受信したスコアを通知するスコア画面をディスプレイに表示させる（Ｓ１１）。
以上が、動作模倣支援システム１の処理についての説明である。

以上説明した動作模倣支援システム１では、被模倣者のモデル動作データが模倣者の体型に合わせてキャリブレーションされ、かつ、被模倣者と模倣者の頭部の高さ及び目線の向きが等しくなるようにモデル動作が表示される。そのため、模倣者にとって、自身の動作と被模倣者の動作の一致度の把握が容易になる。さらに本システムでは、被模倣者の頭部位置から見たモデル動作が光学透過型のディスプレイに表示される。そのため、模倣者は、モデル動作を自身の身体に重ねて見ることで、モデル動作と自身の動作の一致度をより容易に把握することができる。また、本システムでは、動作中に集中すべきタイミングが模倣者に通知されるようになっている。そのため、模倣者は、被模倣者の精神面も模倣することができる。また、本システムでは、模倣者と被模倣者の関節位置のズレが所定の閾値以上となると、当該関節に装着されたウェアラブル端末３が振動するようになっている。そのため、模倣者は、自身の足首等の見えづらい位置であっても、被模倣者との一致度を把握することができる。

２．変形例
上記の実施形態は下記のように変形してもよい。なお、以下に記載する２以上の変形例は互いに組み合わせてもよい。

２−１．変形例１
動作模倣支援システム１は、野球やゴルフ等のスポーツの動作の模倣を支援することを主に想定しているが、演技や工芸等の技芸や、料理や工事等の作業の動作の模倣支援に使用されてもよい。

２−２．変形例２
サーバ４のキャリブレーション部４８は、上記の実施形態とは異なる方法でモデル動作データを補正してもよい。例えば、被模倣者に対する模倣者の関節間の距離の比率に代えて、被模倣者に対する模倣者の身長の比率に基づいてモデル動作データを補正してもよい。その場合、モデル属性データ抽出部４５は、モデル属性ＤＢ４１から被模倣者の身長を抽出し、ユーザ属性データ抽出部４７は、ユーザ属性ＤＢ４３から模倣者の身長を抽出する。そして、キャリブレーション部４８は、関節座標時系列データが示す各関節の位置座標を、隣接する関節の位置座標間の距離が、被模倣者に対する模倣者の身長の比率を乗じた値となるように補正する。

また別の例として、被模倣者に対する模倣者の身体重心の高さの比率に基づいてモデル動作データを補正してもよい。身体重心の高さは、例えば、身長に「0.56」を乗じて算出する。この場合、キャリブレーション部４８は、関節座標時系列データが示す各関節の位置座標を、隣接する関節の位置座標間の距離が、被模倣者に対する模倣者の重心の高さの比率を乗じた値となるように補正する。

２−３．変形例３
サーバ４に記憶されるモデル動作データは、呼吸波形データに代えて、心拍間隔の波形データを含んでもよい。その場合、モデル動作データは、呼吸フラグデータに代えて、所定の動作時において心拍間隔が変化するタイミング（言い換えると、集中すべきタイミング）を示す心拍間隔フラグデータを含むことになる。心拍間隔フラグデータは、心拍間隔の波形データが示す波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを示すデータである。言い換えると、同波形について２階微分した値が所定の閾値以上となるタイミングを示すデータである。この心拍間隔フラグデータがＨＭＤ２に提供された場合、ＨＭＤ２の音声出力制御部２２は、取得した心拍間隔フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。

また別の例として、モデル動作データは、呼吸波形データに代えて、脳波波形データを含んでもよい。その場合、モデル動作データは、呼吸フラグデータに代えて、所定の動作時において脳波が急激に変化するタイミング（言い換えると、集中すべきタイミング）を示す脳波フラグデータを含むことになる。脳波フラグデータは、脳波波形データが示す波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを示すデータである。言い換えると、同波形について２階微分した値が所定の閾値以上となるタイミングを示すデータである。この脳波フラグデータがＨＭＤ２に提供された場合、ＨＭＤ２の音声出力制御部２２は、取得した脳波フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。

２−４．変形例４
サーバ４が実行する処理の一部又は全部をＨＭＤ２側で実行するようにしてもよい。具体的には、モデル属性データ抽出部４５、モデル動作データ抽出部４６、ユーザ属性データ抽出部４７、キャリブレーション部４８及びスコア判定部４９が実行する処理の一部又は全部をＨＭＤ２側で実行するようにしてもよい。

２−５．変形例５
ＨＭＤ２が備えるディスプレイは、ビデオ透過型のディスプレイであってもよい。すなわち、被模倣者のモデル動作を、ＨＭＤ２のカメラにより撮影された景色の画像に重ねて表示してもよい。

２−６．変形例６
ＨＭＤ２の重畳映像生成部２１は、上記の被模倣者の本人視点の映像を、模倣者の指示に応じて、第三者視点の映像に切り替えてもよい。ここで、第三者視点の映像とは、被模倣者のモデル動作を離れた位置から見た映像である。第三者視点の映像を表示する際には、仮想空間に設定される仮想カメラＣ（図９参照）の位置が、原点ｏから水平方向に移動させられる。

２−７．変形例７
ＨＭＤ２の動作ズレ判定部２３は、模倣者と被模倣者の関節位置のズレが所定の閾値以上となった場合に、振動以外の方法で模倣者にその旨を通知するようにしてもよい。例えば、ズレが検出された関節を通知するメッセージをスピーカから出力させたり、ディスプレイに表示させたりしてよい。

２−８．変形例８
ＨＭＤ２の動作ズレ判定部２３は、模倣者と被模倣者の間で関節位置のズレを判定するのに加えて、足裏の重心位置のズレを判定するようにしてもよい。その場合、サーバ４からＨＭＤ２に提供されるモデル動作データには、所定の動作を行う被模倣者の足裏の重心位置の時系列データ（以下、「重心時系列データ」という。）を含める。また、模倣者の両足の靴には、足裏の重心位置を測定するために、複数の圧力センサ、振動装置及び近距離無線通信装置を備える中敷が挿入される。そして、動作ズレ判定部２３は、中敷から順次送信される圧力値から足裏の重心位置を算出して、時系列で動作テーブル２４に記録する。足裏の重心位置の算出方法については、例えば特開２０１２−０１１１３６号公報を参照のこと。同時に、動作ズレ判定部２３は、足裏の重心位置を算出すると、取得した重心時系列データにおいて、当該算出時のタイミングに対応付けられている重心位置を特定し、特定した重心位置と、算出した重心位置との距離を算出して、当該タイミングと対応付けて動作テーブル２４に記録する。さらに、動作ズレ判定部２３は、算出した重心位置間の距離が所定の閾値以上である場合には、中敷に対して振動発生指示を送信する。振動発生指示を受信した中敷は、振動装置を所定の期間、振動させる。その結果、模倣者は、自身の足裏の重心位置が被模倣者とズレていることを知ることができる。

２−９．変形例９
ＨＭＤ２の動作ズレ判定部２３が実行する処理をサーバ４側で実行するようにしてもよい。その場合、ウェアラブル端末３は、サーバ４と直接データのやり取りを行ってもよいし、ＨＭＤ２を介してサーバ４とデータのやり取りを行ってもよい。

２−１０．変形例１０
ＨＭＤ２は、上記の実施形態とは異なる方法で呼吸波形データを生成してもよい。例えば、ＨＭＤ２に呼吸音センサを備えさせる代わりに、模倣者の身体に圧電フィルム等の周知の呼吸センサを装着させ、呼吸波形記録部２５は、この呼吸センサから順次出力される測定値を時系列で動作テーブル２４に記録するようにしてもよい。

２−１１．変形例１１
ウェアラブル端末３は、模倣者の関節以外の部位（例えば、頭部やつま先）に装着されてもよい。その場合、サーバ４からＨＭＤ２に提供される関節座標時系列データには、ウェアラブル端末３が装着される、関節以外の部位の時系列データが含まれてよい。

２−１２．変形例１２
ウェアラブル端末３は、振動装置として、方向性のある外力が加わっているかのような感覚を模倣者に提示する擬似力覚提示装置を備えてもよい。この擬似力覚提示装置については、雨宮智浩他，“指でつまむと引っ張られる感覚を生み出す装置「ぶるなび３」”，ＮＴＴ技術ジャーナル，2014年9月，Vol. 26，No. 9，pp. 23-26.を参照のこと。ウェアラブル端末３がこの擬似力覚提示装置を備える場合には、ＨＭＤ２の動作ズレ判定部２３は、関節位置を修正すべき方向に外力が加わっているような感覚を模倣者に提示するように当該装置を制御するようにしてもよい。例えば、模倣者の右手首の位置が被模倣者の右手首の位置よりも低かった場合には、上方向に外力が加わっているような感覚を模倣者に提示するように、模倣者の右手首に装着されているウェアラブル端末３を制御するようにしてもよい。

１…動作模倣支援システム、２…ＨＭＤ、３…ウェアラブル端末、４…サーバ、５…通信回線、２１…重畳映像生成部、２２…音声出力制御部、２３…動作ズレ判定部、２４…動作テーブル、２５…呼吸波形記録部、２６…スコア画像生成部、４１…モデル属性ＤＢ、４２…モデル動作ＤＢ、４３…ユーザ属性ＤＢ、４４…ユーザ動作ＤＢ、４５…モデル属性データ抽出部、４６…モデル動作データ抽出部、４７…ユーザ属性データ抽出部、４８…キャリブレーション部、４９…スコア判定部

Claims (6)

1. 被模倣者の動作を表す、３次元の仮想空間の座標の第１時系列データを取得する第１取得部と、
   前記被模倣者の身体のサイズを特定する第１特定部と、
   模倣者の身体のサイズを特定する第２特定部と、
   前記被模倣者の身体のサイズと前記模倣者の身体のサイズの差異に基づいて、前記第１時系列データにより表される動作が前記模倣者の身体のサイズに応じたものとなるように、前記第１時系列データを補正する補正部と、
   前記補正された第１時系列データにより表される動作を前記仮想空間内において行う人物の画像のうち、前記仮想空間に設定される仮想カメラにより撮影される部分を、前記模倣者が装着する頭部装着型表示装置において現実空間の景色に重ねて表示させる表示制御部と
   を備え、
   前記仮想カメラの撮影方向は、前記頭部装着型表示装置の向きに応じて変化し、
   前記仮想空間における前記人物の頭部の高さは、前記仮想カメラの高さと略同一である
   ことを特徴とする動作模倣支援システム。
2. 前記仮想空間における前記人物の頭部の水平方向の位置は、前記仮想カメラの水平方向の位置と略同一であることを特徴とする請求項１に記載の動作模倣支援システム。
3. 前記補正された第１時系列データより表される動作を模倣する前記模倣者の身体の動きを表す、前記仮想空間の座標の第２時系列データを取得する第２取得部と、
   前記補正された第１時系列データを構成する第１座標と、前記第２時系列データを構成し、前記第１座標に対応する第２座標の差分を算出する算出部と、
   前記算出された差分が所定の閾値よりも大きい場合に、前記模倣者に対して所定の通知を行う第１通知部と
   をさらに備えることを特徴とする請求項１又は２に記載の動作模倣支援システム。
4. 前記第１通知部は、前記模倣者に対して所定の力覚を提示することを特徴とする請求項３に記載の動作模倣支援システム。
5. 前記被模倣者が、前記第１時系列データにより表される動作を行う際の呼吸又は心拍間隔の波形を取得する第３取得部と、
   前記呼吸又は心拍間隔の波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを特定する第３特定部と、
   前記補正された第１時系列データにより表される動作を模倣する前記模倣者に対して、前記特定されたタイミングの到来を通知する第２通知部と
   をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の動作模倣支援システム。
6. 被模倣者の動作を表す、３次元の仮想空間の座標の第１時系列データを取得する第１取得部と、
   前記被模倣者の身体のサイズを特定する第１特定部と、
   模倣者の身体のサイズを特定する第２特定部と、
   前記被模倣者の身体のサイズと前記模倣者の身体のサイズの差異に基づいて、前記第１時系列データにより表される動作が前記模倣者の身体のサイズに応じたものとなるように、前記第１時系列データを補正する補正部と、
   前記補正された第１時系列データを、前記模倣者が装着する頭部装着型表示装置に対して送信する送信部と
   を備え、
   前記頭部装着型表示装置は、前記補正された第１時系列データにより表される動作を前記仮想空間内において行う人物の画像のうち、前記仮想空間に設定される仮想カメラにより撮影される部分を、現実空間の景色に重ねて表示させ、
   前記仮想カメラの撮影方向は、前記頭部装着型表示装置の向きに応じて変化し、
   前記仮想空間における前記人物の頭部の高さは、前記仮想カメラの高さと略同一である
   ことを特徴とする動作模倣支援装置。

Images