JP2017134116A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】作業者が適切な作業を習得するのを支援する技術を提供することを目的とする。【解決手段】ユーザによる操作時の模擬工具の位置及び姿勢のうち少なくとも一方の状態を示す状態情報を取得する状態取得手段３０１と、状態情報に基づいて、模擬工具の状態の軌跡を示す工具軌跡情報を生成する軌跡生成手段３０２と、工具軌跡情報と、記憶手段に予め記憶された、模擬工具の状態の基準軌跡を示す基準軌跡情報３０４と、に基づいて、ユーザに対する刺激を発生する刺激発生装置を制御する刺激制御手段３０６とを有する。【選択図】図３

Description

本発明は、作業者が工具を模した模擬工具を使って操作のトレーニングをすることで、適切な作業を習得するのを支援する技術に関する。

従来、製造業分野において、現実空間と仮想空間を継ぎ目なく合成した複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムを使ったトレーニングツールが導入されている。これは、作業者が工具を模した模擬工具を使って仮想物体を操作するトレーニングを通して、適切な作業を習得するものである。映像表示手段のひとつとして、ビデオカメラ等の撮像装置とディスプレイが一体化された頭部装着型ディスプレイ（以後、ＨＭＤ：ヘッドマウントディスプレイと表記）が用いられる。複合現実感システムによれば、対象物体をＣＧ（コンピュータグラフィックス）で表現し、現実世界の映像と重畳して、ＨＭＤに表示できる。その結果、作業者はあたかもそこに操作領域が存在するかのように確認しながら作業を体験することができる。この体験では、対象部品実物を作製・修復する必要がなく、何度も反復することが可能である。

製造現場の作業者が作業を習得するために、模擬工具を使った複合現実感システムのトレーニングツールを使うことができる。そうすることで効率的に作業を習得することができる。例えば、作業者が身に付けたＨＭＤの表示画面に、作業手順について実施すべき内容や注意を喚起する注意情報を映すことで、視覚情報提示によるティーチングが提供できる。また振動デバイスを具備した模擬工具を保持して、模擬工具の位置姿勢に応じた振動刺激を作業者に与えることで、体感を伴う情報提示も可能である。

特許文献１には、身体部位の位置姿勢に応じて、触覚情報を作業者にフィードバックする技術が開示されている。特許文献２には、力覚を提示するデバイスを取り付けた模擬工具を使って仮想ねじ物体を仮想ねじ穴物体に締結する作業において、締結度合によって提示する力覚程度を制御する技術が開示されている。

特開２０１２−７４０７６号公報 特開２００８−５５５２７号公報

しかしながら、作業者が工具を模した模擬工具を使って仮想物体を操作するトレーニングにおいて、熟練作業者のような的確な作業を習得するのが難しいという問題があった。

本発明はこのような問題点に鑑みなされたもので、作業者が適切な作業を習得するのを支援する技術を提供することを目的とする。

そこで、本発明は、情報処理装置であって、ユーザによる操作時の模擬工具の位置及び姿勢のうち少なくとも一方の状態を示す状態情報を取得する状態取得手段と、前記状態情報に基づいて、前記模擬工具の状態の軌跡を示す工具軌跡情報を生成する軌跡生成手段と、前記工具軌跡情報と、記憶手段に予め記憶された、前記模擬工具の状態の基準軌跡を示す基準軌跡情報と、に基づいて、前記ユーザに対する刺激を発生する刺激発生装置を制御する刺激制御手段とを有することを特徴とする。

本発明によれば、作業者が適切な作業を習得するのを支援する技術を提供することができる。

支援システムの全体図である。 情報処理装置、模擬工具及びＨＭＤのハードウェア構成を示す図である。 情報処理装置のソフトウェア構成を示す図である。 工具軌跡情報の一例を示す図である。 情報処理を示すフローチャートである。 情報処理の説明図である。

以下、本発明の実施形態について図面に基づいて説明する。図１は、本実施形態に係る情報処理システムの一例としての支援システムの全体図である。支援システムは、情報処理装置１００と、模擬工具１１０と、ＨＭＤ１２０と、を有している。作業者Ａは、ＨＭＤ１２０を装着する。１３０は、ＨＭＤ１２０により映し出される仮想物体である。作業者Ａは、ＨＭＤ１２０により仮想物体１３０が映し出された複合現実空間において、作業を体験する。本実施形態においては、仮想物体１３０に対し、電動スプレーを模した模擬工具１１０により、仮想物体１３０に一定の塗膜を塗布する作業を例に説明する。模擬工具１１０は、作業者の作業が適切でない場合に、ティーチングのための刺激を発生することができる。情報処理装置１００は、模擬工具１１０及びＨＭＤ１２０から受信した情報に基づいて、仮想物体の映像を生成するなど、ＨＭＤ１２０を制御する。情報処理装置１００はまた、模擬工具１１０による刺激の発生を制御する。

図２（ａ）は、情報処理装置１００のハードウェア構成を示す図である。情報処理装置１００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６と、通信部２０７とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、画像データや各種プログラム等各種情報を記憶する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、ブルートゥース等の近距離無線通信により模擬工具１１０やＨＭＤ１２０と接続する。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

図２（ｂ）は、模擬工具１１０のハードウェア構成を示す図である。模擬工具１１０は、検出部２１１と、刺激発生部２１２と、通信部２１３とを有している。検出部２１１は、模擬工具１１０の状態を検知する。ここで、状態とは、模擬工具１１０の位置及び姿勢である。なお、他の例としては、状態は、模擬工具１１０の位置及び姿勢のうち少なくとも一方であればよい。検出部２１１は、例えば、６自由度位置姿勢センサである。刺激発生部２１２は、模擬工具１１０のユーザである作業者に対して与える刺激を発生する。刺激発生部２１２は、具体的には、聴覚や触覚、力覚等の感覚刺激を発生させる。刺激発生部２１２には、例えば、振動刺激を発生させるデバイスとして、偏心モータ（ＥＲＭ）やリニア・バイブレータ（ＬＲＡ）、ピエゾ圧電素子等が用いられてもよい。また、刺激発生部２１２には、聴覚刺激を発生させるデバイスとして、動電型スピーカ、静電型スピーカ、圧電型スピーカ等が用いられてもよい。刺激発生部２１２は、刺激発生装置の一例である。通信部２１３は、近距離無線通信により、情報処理装置１００と接続する。

図２（ｃ）は、ＨＭＤ１２０のハードウェア構成を示す図である。ＨＭＤ１２０は、撮像部２２１と、表示部２２２と、通信部２２３とを有している。撮像部２２１は、装着者の視線方向の画像を撮像する。表示部２２２は、仮想物体を表示する。表示部２２２が刺激発生部２１２により得られた撮像画像上に仮想物体を合成した合成画像を表示することにより、装着者は、複合現実空間を体験することができる。通信部２２３は、近距離無線通信により、情報処理装置１００と接続する。

図３は、情報処理装置１００のソフトウェア構成を示す図である。情報処理装置１００は、情報取得部３０１と、軌跡生成部３０２と、工具軌跡記憶部３０３と、基準軌跡記憶部３０４と、逸脱判定部３０５と、刺激制御部３０６とを有している。情報処理装置１００はさらに、画像取得部３０７と、モデル記憶部３０８と、画像生成部３０９と、表示制御部３１０とを有している。

情報取得部３０１は、模擬工具１１０の検出部２１１により検出された、作業者による模擬工具１１０の操作時の模擬工具１１０の状態を示す状態情報を、通信部２０７を介して模擬工具１１０から取得する。軌跡生成部３０２は、状態情報に基づいて、模擬工具１１０の状態の軌跡である工具軌跡を示す工具軌跡情報を生成し、これを工具軌跡記憶部３０３に蓄積する。図４は、工具軌跡情報４００の一例を示す図である。軌跡生成部３０２は、情報取得部３０１が取得した状態情報に対し、状態情報が入力された時刻を対応付ける。図４の例では、時刻は、作業開始を基準としたものである。軌跡生成部３０２は、状態情報と時刻の組を１つのレコードとし、このレコードを時系列に並べることにより、時系列に沿った状態情報、すなわち状態情報の時系列情報を工具軌跡情報４００として生成する。なお、状態情報は、複合現実空間における模擬工具１１０の位置座標Ｘ、Ｙ、Ｚと回転角座標Ｑｘ、Ｑｙ、Ｑｚを示している。

図３に戻り、基準軌跡記憶部３０４は、基準軌跡情報を予め記憶している。ここで、基準軌跡情報は、模擬工具１１０の作業において得られる適切な軌跡を示す情報である。基準軌跡情報は、例えば熟練者が予め模擬工具１１０を用いて仮想物体に対して作業体験を行った際の状態情報に基づいて予め生成され、工具軌跡記憶部３０３に格納されているものとする。基準軌跡記憶部３０４に記憶されている基準軌跡情報のデータ構成は、工具軌跡情報４００のデータ構成と同様である。

基準軌跡記憶部３０４はさらに、基準範囲を予め記憶している。ここで、基準範囲は、基準軌跡の３次元座標と３次元回転座標を基準とした、各時刻における許容範囲（数値幅）を示す情報である。工具軌跡がこの基準範囲内にある場合には、作業は適切に行われていると判定され、工具軌跡が基準範囲を超えた場合に、作業の修正が必要で、作業者への通知がなされる。なお、基準範囲の幅は、時刻に応じて、また作業内容に応じて異なっているものとする。作業範囲の粗密の違い、危険度の高低等によって、座標逸脱の許容閾値が異なる可能性があるためである。

逸脱判定部３０５は、工具軌跡情報と基準軌跡情報の同時刻の状態情報の比較を逐次行い、工具軌跡情報に示される工具軌跡が基準軌跡から逸脱したか否かを判定する。具体的には、逸脱判定部３０５は、工具軌跡が基準軌跡を基準とした基準範囲に含まれているか否かを確認し、基準範囲から外れた場合に、工具軌跡が基準軌跡から逸脱したと判定する。逸脱判定部３０５はさらに、工具軌跡が基準軌跡から逸脱したと判定した場合には、工具軌跡の逸脱度を算出する。ここで、逸脱度とは、工具軌跡が基準から逸脱している程度を示す指標値である。逸脱判定部３０５は、工具軌跡と基準範囲の境界位置との差分を逸脱度として算出する。刺激制御部３０６は、逸脱判定部３０５の判定結果に応じて、模擬工具１１０の刺激発生部２１２を制御する。

一方、画像取得部３０７は、ＨＭＤ１２０の撮像部２２１により得られた、模擬工具１１０が存在する現実空間の撮像画像を、通信部２０７を介してＨＭＤ１２０から取得する（画像取得処理）。モデル記憶部３０８は、仮想物体１３０を表示するための仮想モデルを記憶している。画像生成部３０９は、画像取得部３０７が取得した撮像画像に仮想モデル等を合成した合成画像を生成する。表示制御部３１０は、ＨＭＤ１２０による表示を制御する。表示制御部３１０は、例えば、画像生成部３０９が生成した合成画像をＨＭＤ１２０の表示部２２２に表示するようＨＭＤ１２０を制御する。

図５は、情報処理装置１００による情報処理を示すフローチャートである。Ｓ５００において、情報取得部３０１は、模擬工具１１０から状態情報を取得する（状態取得処理）。次に、Ｓ５０１において、軌跡生成部３０２は、Ｓ５００において取得された状態情報に、状態情報が入力された時刻を対応付けて、工具軌跡情報を生成する（軌跡情報生成処理）。そして、軌跡生成部３０２は、工具軌跡情報を工具軌跡記憶部３０３に記録する。次に、Ｓ５０２において、逸脱判定部３０５は、対応する時刻における工具軌跡情報と基準軌跡記憶部３０４に記憶された基準軌跡情報とを比較することにより、工具軌跡情報に示される工具軌跡が基準範囲に含まれるか否かを判定する。逸脱判定部３０５は、工具軌跡が基準範囲に含まれる場合には（Ｓ５０２でＹｅｓ）、処理をＳ５０８へ進める。逸脱判定部３０５は、工具軌跡が基準範囲を超える場合には（Ｓ５０２でＮｏ）、処理をＳ５０３へ進める。

Ｓ５０３において、逸脱判定部３０５は、工具軌跡と基準範囲の境界位置との差分を逸脱度として算出する。次に、Ｓ５０４において、逸脱判定部３０５は、逸脱度に応じて刺激の強度を決定する。本実施形態においては、逸脱度に対し２つの範囲レベルが定められており、各範囲レベルに対して、刺激の強度を対応付けて、例えばＨＤＤ２０４等に記憶されているものとする。そして、逸脱判定部３０５は、Ｓ５０３において算出した逸脱度が属する範囲レベルを特定し、特定した範囲レベルに対応付けられている刺激の強度を特定する。なお、各範囲レベルの境界となる逸脱度や範囲レベルの数は、特に限定されるものではなく、作業者が刺激の強度や刺激のパターンの違いを識別可能な十分な数の範囲であることが好ましい。

次に、Ｓ５０５において、刺激制御部３０６は、Ｓ５０４において決定した強度の刺激を発生するよう模擬工具１１０の刺激発生部２１２を制御する（刺激制御処理）。具体的には、逸脱判定部３０５は、Ｓ５０４において決定した強度の刺激を発生するよう、通信部２０７を介して模擬工具１１０に指示を送信する。模擬工具１１０は、指示を受信すると、刺激発生部２１２が、指示に応じた刺激を発生する。例えば、逸脱度が最下位の範囲レベルに属する場合には、逸脱判定部３０５は、最も低い電圧パルス幅の出力を刺激強度として決定する。そして、これに対応し、模擬工具１１０の刺激発生部２１２は、最も弱い程度の刺激を発生する。また、例えば、逸脱度が最上位の範囲レベルに属する場合には、逸脱判定部３０５は、最も強い電圧パルス幅の出力を刺激強度として決定する。そして、これに対応し、刺激発生部２１２は、最も強い程度の刺激を発生する。

次に、Ｓ５０６において、画像生成部３０９は、Ｓ５０４において決定した強度の範囲レベルに応じて、警告メッセージや指導メッセージを撮像画像に合成した合成画像を生成する。ここで、警告メッセージや指導メッセージは提示情報の一例である。また、Ｓ５０６の処理は、合成画像を生成する画像生成処理の一例である。なお、本実施形態においては、各範囲レベルに対して、合成すべきメッセージ画像が対応付けて例えばＨＤＤ２０４等に記憶されているものとする。そして、画像生成部３０９は、範囲レベルに対応付けられているメッセージ画像を撮像画像に合成する。次に、Ｓ５０７において、表示制御部３１０は、Ｓ５０６において生成した合成画像を表示するよう、ＨＭＤ１２０の表示部２２２を制御する。具体的には、表示制御部３１０は、Ｓ５０６において生成した合成画像を表示するよう、通信部２０７を介してＨＭＤ１２０に指示を送信する。ＨＭＤ１２０は、指示を受信すると、表示部２２２が、指示に応じて合成画像を表示する。これにより、作業者に対し、視覚刺激を与えることができる。

例えば逸脱度が最下位の範囲レベルに属する場合には、画像生成部３０９は、撮像画像に警告メッセージを合成する。そして、これに対応し、ＨＭＤ１２０の表示部２２２は、警告メッセージの合成画像を表示する。また例えば、逸脱度が最上位の範囲レベルに属する場合には、警告メッセージに加え、修正すべき位置姿勢方向へ矢印ＣＧを合成する。これにより、より具体的なティーチングを作業者に与え、適切な模擬工具１１０の使い方を促すことができる。

次に、Ｓ５０８において、ＣＰＵ２０１は、作業者による模擬工具１１０を用いた作業が終了したか否かを確認する。ＣＰＵ２０１は、模擬工具１１０から作業終了の通知を受信した場合に作業終了と判断するものとする。ＣＰＵ２０１は、作業が終了した場合には（Ｓ５０８でＹｅｓ）、処理を終了する。ＣＰＵ２０１は、作業が終了していない場合には（Ｓ５０８でＮｏ）、処理をＳ５００へ進め、処理を継続する。

続いて、図６を参照しつつ、作業トレーニングについて、具体的に説明する。図６（Ａ）に示すように、作業者Ａは、ＨＭＤ１２０を装着し、電動スプレーを模した模擬工具１１０を使って仮想塗料を噴霧しながら模擬工具１１０を動かしていく。ここでは、仮想物体１３０に対して厚みの一定な塗膜を塗布する作業を実施する。作業は、開始点Ｐ０から噴霧をはじめ、左右に模擬工具１１０を動かしながら仮想物体１３０の上部から下部へ噴霧し、終了点Ｐ２０で作業終了とするものとする。本実施形態においては、情報処理装置１００の画像生成部３０９は、仮想物体１３０上にさらに開始点Ｐ０から終了点Ｐ２０までの基準軌跡を重畳した合成画像を生成し、ＨＭＤ１２０の表示部２２２は、基準軌跡が重畳された合成画像を表示するものとする。仮想物体１３０、模擬工具１１０、ＨＭＤ１２０は、複合現実感システムにおける共通の仮想空間座標６００を基準として扱われる。

図６（Ｂ）は、仮想空間座標６００における模擬工具１１０のＹ座標（太破線）と、刺激発生部２１２により出力される電圧波形（太実線）を、時間軸に対してプロットした図である。図６（Ｂ）のＰ０、Ｐ１、・・・、Ｐ７は、図６（Ａ）のＰ０、Ｐ１、・・・、Ｐ７に対応している。基準範囲は、熟練作業者による模擬工具１１０の軌跡をもとに作られたものである。基準範囲は、時刻に応じて変動する場合があり、図６（Ａ）の例では、Ｐ４からＰ６の作業範囲における基準範囲は、Ｐ０からＰ３の基準範囲に比べて狭くなっている。

図４（Ｂ）の例では、作業者Ａは開始点Ｐ０から噴霧をはじめ、Ｐ２までは、Ｙ基準範囲内で模擬工具１１０を操作できている。この間は、刺激発生部２１２には、最小のパルス幅でパルス電圧が印加されている。Ｐ２からＰ３の作業範囲では、工具軌跡がＹ基準軌跡から外れている。ここで、逸脱度は、図６（Ｂ）中のＹ基準範囲の領域境界から、模擬工具１１０の軌跡を示す太破線までの垂直方向の距離に相当する。逸脱度に応じて、印加電圧のパルス幅が制御される。このようなパルス幅の大小に伴い、作業者Ａが模擬工具１１０を介して受ける振動刺激が大小する。この仕組みによって、作業者Ａは自身が逸脱許容からどれほど離れて模擬工具１１０を操作しているか、一連の作業をしながらリアルタイムで体感することができる。

作業の折り返し地点であるＰ４からＰ６の作業範囲においても、工具軌跡はＹ基準範囲から外れている。このため、この範囲においても、逸脱度に相当した振動刺激が提示される。Ｐ６以降は、工具軌跡はＹ基準範囲内になるため、最小のパルス幅でパルス電圧が印加され、それに応じた振動刺激が提示される。

図６（Ｃ）は、仮想空間座標６００における模擬工具１１０の垂直方向の回転座標Ｑｚ（太破線）を、時間軸に対してプロットした図である。また図６（Ｄ）は、ＨＭＤ１２０の表示部２２２の表示例を示す図である。開始点Ｐ０からＰ３において、作業者Ａは、Ｑｚ基準範囲内にて模擬工具１１０を操作しているが、作業の折り返し地点であるＰ４からＰ６の作業範囲では、工具軌跡がＹ基準範囲から外れている。このように、工具軌跡がＹ基準範囲から外れると、図６（Ｄ）に示すように、「矢印の方向へ傾けましょう」といった警告メッセージ６１１と矢印画像６１２が仮想物体と共に合成された撮像画像が表示部２２２に表示される。表示制御部３１０はさらに、逸脱度によっては、作業者Ａに対し正しい軌跡に復帰するよう促すメッセージを表示するように制御してもよい。なお工具軌跡がＹ基準範囲内にある場合には、警告メッセージ６１１及び矢印画像６１２は表示されない。

以上説明したように、本実施形態によれば、作業者は、模擬工具１１０やＨＭＤ１２０を用いて仮想物体を操作するトレーニングを通して、振動による触覚刺激や音声による聴覚刺激などの感覚刺激をその強弱を含めて知覚することができる。このような感覚刺激をトレーニングツールが提示することで、作業者は、自身が修正すべき作業箇所をリアルタイムに把握し、熟練作業者に倣った適切な作業を習得することが可能である。すなわち、本実施形態に係る支援システムは、作業者が適切な作業を習得するのを支援する技術を提供することができる。

次に、第１の実施形態の変更例について説明する。第１の変更例としては、本実施形態においては、模擬工具１１０が模擬工具１１０の状態を検知したが、状態検知の主体は模擬工具１１０に限定されるものではない。他の例としては、ＨＭＤ１２０が撮像画像に基づいて、状態を検知してもよい。具体的には、模擬工具１１０には、状態検知のための指標が添付されているものとする。そして、ＨＭＤ１２０は模擬工具１１０を撮像し、得られた撮像画像内の指標の画像内座標と、３次元座標との対応関係に基づいて、模擬工具１１０の状態を特定してもよい。また、情報処理装置１００が、ＨＭＤ１２０から撮像画像を取得し、撮像画像から模擬工具１１０の状態を特定してもよい。また、情報処理装置１００は、撮像画像から状態を特定し、さらに実施形態において説明したように、模擬工具１１０から状態情報を取得し、これらの情報を総合して、状態情報を得ることとしてもよい。

第２の変更例としては、工具軌跡情報及び基準軌跡情報は、軌跡情報だけでなく、各軌跡情報を時間微分することで得られる移動速度情報を含んでもよい。さらに、この場合、逸脱判定部３０５は、工具軌跡と基準軌跡の比較において、移動速度の比較も行う。そして、逸脱判定部３０５は、この比較結果に基づいて、作業者の模擬工具１１０の移動速度（速度及び角速度）の、基準軌跡に係る移動速度（速度及び角速度）からの逸脱を考慮し、総合的な逸脱度を算出するものとする。

また、工具軌跡情報及び基準軌跡情報は、移動速度に替えて、各軌跡情報を時間に関し二階微分を施すことで得られる移動加速度情報を含んでもよい。さらに、この場合、逸脱判定部３０５は、工具軌跡と基準軌跡の比較において、移動加速度の比較も行う。そして、逸脱判定部３０５は、この比較結果に基づいて、作業者の模擬工具１１０の移動加速度（加速度及び角加速度）の基準軌跡に係る移動加速度（加速度及び角加速度）からの逸脱を考慮し、総合的な逸脱度を算出するものとする。

第３の変更例としては、刺激制御部３０６は、逸脱度に応じて、異なる刺激が発生されるように刺激発生部２１２を制御すればよく、刺激発生に係る具体的な制御は実施形態に限定されるものではない。例えば、刺激制御部３０６は、逸脱度を複数段に分けるのに替えて、逸脱度に比例して刺激強度を大きくするよう刺激発生部２１２を制御してもよい。また、他の例としては、刺激制御部３０６は、基準範囲内においても、同様に逸脱度に応じた刺激を発生するよう制御してもよい。また、刺激制御部３０６は、逸脱度に応じて、刺激の強度に替えて、刺激の種類を異ならせてもよい。例えば、刺激制御部３０６は、刺激の間欠振動の振動時間の長短を制御してもよい。また、刺激制御部３０６は、振動周波数の高低を制御してもよい。

第４の変更例としては、模擬工具１１０は、刺激発生装置としてスピーカを備えてもよい。そして、この場合には、刺激制御部３０６は、逸脱度に応じて、スピーカからのブザー音の大小を制御してもよく、またブザー音の周波数の高低を制御してもよく、ブザー音パターンを変更するよう制御してもよい。

第５の変更例としては、支援システムの各装置が行う処理、特に情報処理装置１００が行う処理は、支援システム内のいずれかの装置が行えばよく、その主体となる装置は実施形態に限定されるものではない。例えば、工具軌跡情報の生成は、模擬工具１１０が行ってもよい。

第６の変更例としては、支援システムは、模擬工具１１０を用いたトレーニングを支援するものであればよく、支援対象は、複合現実空間におけるトレーニングに限定されるものではない。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 情報処理装置
１１０ 模擬工具
１２０ ＨＭＤ

Claims (14)

1. ユーザによる操作時の模擬工具の位置及び姿勢のうち少なくとも一方の状態を示す状態情報を取得する状態取得手段と、
   前記状態情報に基づいて、前記模擬工具の状態の軌跡を示す工具軌跡情報を生成する軌跡生成手段と、
   前記工具軌跡情報と、記憶手段に予め記憶された、前記模擬工具の状態の基準軌跡を示す基準軌跡情報と、に基づいて、前記ユーザに対する刺激を発生する刺激発生装置を制御する刺激制御手段と
   を有することを特徴とする情報処理装置。
2. 前記軌跡生成手段は、前記状態情報の時系列情報を前記工具軌跡情報として生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記軌跡生成手段は、前記状態情報の時系列情報における移動速度情報を前記工具軌跡情報として生成することを特徴とする請求項１に記載の情報処理装置。
4. 前記軌跡生成手段は、前記状態情報の時系列情報における移動加速度情報を前記工具軌跡情報として生成することを特徴とする請求項１に記載の情報処理装置。
5. 前記刺激制御手段は、前記工具軌跡情報と前記基準軌跡情報との差分に基づいて刺激を生成するよう制御することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
6. 前記刺激制御手段は、前記工具軌跡情報と前記基準軌跡情報との差分が基準範囲を超える場合に、前記刺激を生成するよう前記刺激発生装置を制御することを特徴とする請求項５に記載の情報処理装置。
7. 前記刺激制御手段は、前記工具軌跡情報と前記基準軌跡情報との差分が基準範囲を超える場合に、前記差分に応じた刺激を生成するよう制御することを特徴とする請求項６に記載の情報処理装置。
8. 前記模擬工具の存在する現実空間の撮像画像を取得する画像取得手段と、
   前記撮像画像に、前記ユーザに提示する提示情報を合成した合成画像を生成する画像生成手段と、
   前記工具軌跡情報と、前記基準軌跡情報と、に基づいて、前記合成画像の表示手段への表示を制御する表示制御手段と
   をさらに有することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
9. 前記画像生成手段は、前記提示情報として警告メッセージを合成した前記合成画像を生成することを特徴とする請求項８に記載の情報処理装置。
10. 前記画像生成手段は、前記模擬工具の前記基準軌跡を前記提示情報として合成した前記合成画像を生成することを特徴とする請求項８に記載の情報処理装置。
11. ユーザにより操作される模擬工具と、
    前記ユーザに対して刺激を発生する刺激発生装置と、
    前記模擬工具の位置及び姿勢のうち少なくとも一方の状態を示す状態情報を取得する状態取得手段と、
    前記状態情報に基づいて、前記模擬工具の状態の軌跡を示す工具軌跡情報を生成する軌跡生成手段と、
    前記工具軌跡情報と、記憶手段に予め記憶された、前記模擬工具の状態の基準軌跡を示す基準軌跡情報と、に基づいて、前記刺激発生装置を制御する刺激制御手段と
    を有することを特徴とする情報処理システム。
12. 前記刺激発生装置を前記模擬工具に設けたことを特徴とする請求項１１に記載の情報処理システム。
13. 情報処理装置が実行する情報処理方法であって、
    ユーザによる操作時の模擬工具の位置及び姿勢のうち少なくとも一方の状態を示す状態情報を取得する状態取得ステップと、
    前記状態情報に基づいて、前記模擬工具の状態の軌跡を示す工具軌跡情報を生成する軌跡生成ステップと、
    前記工具軌跡情報と、記憶手段に予め記憶された、前記模擬工具の状態の基準軌跡を示す基準軌跡情報と、に基づいて、前記ユーザに対する刺激を発生する刺激発生装置を制御する刺激制御ステップと
    を含むことを特徴とする情報処理方法。
14. コンピュータを、
    ユーザによる操作時の模擬工具の位置及び姿勢のうち少なくとも一方の状態を示す状態情報を取得する状態取得手段と、
    前記状態情報に基づいて、前記模擬工具の状態の軌跡を示す工具軌跡情報を生成する軌跡生成手段と、
    前記工具軌跡情報と、記憶手段に予め記憶された、前記模擬工具の状態の基準軌跡を示す基準軌跡情報と、に基づいて、前記ユーザに対する刺激を発生する刺激発生装置を制御する刺激制御手段と
    して機能させるためのプログラム。

Images