JP2000356942A - 動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体 - Google Patents
動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体Info
- Publication number
- JP2000356942A JP2000356942A JP16829099A JP16829099A JP2000356942A JP 2000356942 A JP2000356942 A JP 2000356942A JP 16829099 A JP16829099 A JP 16829099A JP 16829099 A JP16829099 A JP 16829099A JP 2000356942 A JP2000356942 A JP 2000356942A
- Authority
- JP
- Japan
- Prior art keywords
- data
- user
- motion
- instructor
- teaching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
(57)【要約】
【課題】 動作を教示する際、注視点、集中度、緊張
度、力の入れ具合など教示者の内的状態も教示する動作
教示装置を提供する。 【解決手段】 教示者の生体データを生体データ検出手
段12で検出し生体データ処理手段13でこれを内的状
態データに変換して記憶手段14に動作データとともに
記録しておく。作業時の利用者の動作データから教示者
の動作データと内的状態データをデータ検索手段15に
よって検索し、これを利用者に対して、提示手段16へ
しかるべき形式で提示する。
度、力の入れ具合など教示者の内的状態も教示する動作
教示装置を提供する。 【解決手段】 教示者の生体データを生体データ検出手
段12で検出し生体データ処理手段13でこれを内的状
態データに変換して記憶手段14に動作データとともに
記録しておく。作業時の利用者の動作データから教示者
の動作データと内的状態データをデータ検索手段15に
よって検索し、これを利用者に対して、提示手段16へ
しかるべき形式で提示する。
Description
【0001】
【発明の属する技術分野】本発明は、身体の動きや姿勢
の変化を伴う作業の動作や技能を利用者に伝達する動作
教示装置に関する。
の変化を伴う作業の動作や技能を利用者に伝達する動作
教示装置に関する。
【0002】
【従来の技術】従来、動作データを定量的に測定する方
法としてポテンショメータ、磁気センサ、光学センサ、
ステップモータ、ステレオ画像処理等が知られており、
人体の複数の箇所の3次元位置を時系列で記録すること
ができる。これらを利用して、特表平10−50115
6公報記載の「運動測定装置」では、教示者の模範動作
をあらかじめ記録しておき、利用者が作業をしている時
にその動作に相当する教示者の動作を検索し、これをそ
のまま、あるいは利用者と教示者の動作の差異を抽出し
て利用者に提示し、身体動作を教示伝達する方法が示さ
れている。
法としてポテンショメータ、磁気センサ、光学センサ、
ステップモータ、ステレオ画像処理等が知られており、
人体の複数の箇所の3次元位置を時系列で記録すること
ができる。これらを利用して、特表平10−50115
6公報記載の「運動測定装置」では、教示者の模範動作
をあらかじめ記録しておき、利用者が作業をしている時
にその動作に相当する教示者の動作を検索し、これをそ
のまま、あるいは利用者と教示者の動作の差異を抽出し
て利用者に提示し、身体動作を教示伝達する方法が示さ
れている。
【0003】
【発明が解決しようとする課題】しかしながら、従来技
術の方法では、教示者の心理状態や注視位置の情報を記
録あるいは伝達することができない。このため、「作業
時のどの時点で集中すれば良いか」や「どこに注目すべ
きか」といった技能や運動の「勘どころ」を利用者に提
示することができず、動作と勘どころを合わせた効果的
な教示を行うことができないという問題がある。
術の方法では、教示者の心理状態や注視位置の情報を記
録あるいは伝達することができない。このため、「作業
時のどの時点で集中すれば良いか」や「どこに注目すべ
きか」といった技能や運動の「勘どころ」を利用者に提
示することができず、動作と勘どころを合わせた効果的
な教示を行うことができないという問題がある。
【0004】本発明は、このような事情に鑑みてなされ
たもので、利用者に対して教示者の心理状態や注視位置
の情報を記録あるいは伝達することができる動作教示装
置を提供することを目的とする。
たもので、利用者に対して教示者の心理状態や注視位置
の情報を記録あるいは伝達することができる動作教示装
置を提供することを目的とする。
【0005】
【課題を解決するための手段】請求項1に記載の発明
は、教示者の体の動作や姿勢を利用者に教示する動作教
示装置であって、前記動作教示装置は、体の動きや姿勢
を検出して動作データとして定量的に出力する動作デー
タ検出手段と、動作以外の身体状態を検出し生体データ
として定量的に出力する生体データ検出手段と、前記生
体データを教示者の心理身体状態を示す内的状態データ
に変換する生体データ処理手段と、教示者の動作データ
と内的状態データを関連付けて記録する記憶手段と、利
用者の動作データを受け取り前記記憶手段のデータを検
索するデータ検索手段と、前記データ検索装置の出力を
利用者に提示する提示手段とを備えたことを特徴とす
る。
は、教示者の体の動作や姿勢を利用者に教示する動作教
示装置であって、前記動作教示装置は、体の動きや姿勢
を検出して動作データとして定量的に出力する動作デー
タ検出手段と、動作以外の身体状態を検出し生体データ
として定量的に出力する生体データ検出手段と、前記生
体データを教示者の心理身体状態を示す内的状態データ
に変換する生体データ処理手段と、教示者の動作データ
と内的状態データを関連付けて記録する記憶手段と、利
用者の動作データを受け取り前記記憶手段のデータを検
索するデータ検索手段と、前記データ検索装置の出力を
利用者に提示する提示手段とを備えたことを特徴とす
る。
【0006】請求項2に記載の発明は、前記生体データ
検出手段は、眼球位置センサを含んで構成されているこ
とを特徴とする。
検出手段は、眼球位置センサを含んで構成されているこ
とを特徴とする。
【0007】請求項3に記載の発明は、前記生体データ
検出手段は、脳波センサを含んで構成されていることを
特徴とする。
検出手段は、脳波センサを含んで構成されていることを
特徴とする。
【0008】請求項4に記載の発明は、前記生体データ
検出手段は、心電センサを含んで構成されていることを
特徴とする。
検出手段は、心電センサを含んで構成されていることを
特徴とする。
【0009】請求項5に記載の発明は、前記生体データ
検出手段は、脈波センサを含んで構成されていることを
特徴とする
検出手段は、脈波センサを含んで構成されていることを
特徴とする
【0010】請求項6に記載の発明は、前記生体データ
検出手段は、瞬きセンサを含んで構成されていることを
特徴とする。
検出手段は、瞬きセンサを含んで構成されていることを
特徴とする。
【0011】請求項7に記載の発明は、前記生体データ
検出手段は、呼吸センサを含んで構成されていることを
特徴とする。
検出手段は、呼吸センサを含んで構成されていることを
特徴とする。
【0012】請求項8に記載の発明は、前記生体データ
検出手段は、体温センサを含んで構成されていることを
特徴とする
検出手段は、体温センサを含んで構成されていることを
特徴とする
【0013】請求項9に記載の発明は、前記生体データ
検出手段は、発汗センサを含んで構成されていることを
特徴とする。
検出手段は、発汗センサを含んで構成されていることを
特徴とする。
【0014】請求項10に記載の発明は、前記生体デー
タ検出手段は、筋電センサを含んで構成されていること
を特徴とする。
タ検出手段は、筋電センサを含んで構成されていること
を特徴とする。
【0015】請求項11に記載の発明は、前記データ検
索手段は、利用者の動作データに対応する教示者の動作
データとそれに関連付けられた内的状態データを前記記
憶手段から検索することを特徴とする。
索手段は、利用者の動作データに対応する教示者の動作
データとそれに関連付けられた内的状態データを前記記
憶手段から検索することを特徴とする。
【0016】請求項12に記載の発明は、前記提示手段
は、利用者が動作を継続している時に、その動作に関連
する教示者の内的状態データを単独で、あるいは教示者
の動作データとともに利用者に提示することを特徴とす
る。
は、利用者が動作を継続している時に、その動作に関連
する教示者の内的状態データを単独で、あるいは教示者
の動作データとともに利用者に提示することを特徴とす
る。
【0017】請求項13に記載の発明は、前記提示手段
は、教示者の注視位置をディスプレイ装置で視覚的に提
示することを特徴とする。
は、教示者の注視位置をディスプレイ装置で視覚的に提
示することを特徴とする。
【0018】請求項14に記載の発明は、前記提示手段
は、教示者の注視位置を周囲空間に光スポットで提示す
ることを特徴とする。
は、教示者の注視位置を周囲空間に光スポットで提示す
ることを特徴とする。
【0019】請求項15に記載の発明は、前記提示手段
は、教示者の内的状態データを利用者に聴覚的に提示す
ることを特徴とする。
は、教示者の内的状態データを利用者に聴覚的に提示す
ることを特徴とする。
【0020】請求項16に記載の発明は、前記提示手段
は、教示者の内的状態データを利用者に触覚的に提示す
ることを特徴とする。
は、教示者の内的状態データを利用者に触覚的に提示す
ることを特徴とする。
【0021】請求項17に記載の発明は、教示者の体の
動作や姿勢を利用者に教示する動作教示方法であって、
前記動作教示方法は、体の動きや姿勢を検出して定量的
な動作データを出力する動作データ検出過程と、動作以
外の身体状態を検出して定量的な生体データを出力する
生体データ検出過程と、前記生体データを教示者の心理
身体状態を示す内的状態データに変換する生体データ処
理過程と、教示者の動作データと内的状態データを関連
付けて記録する記憶過程と、利用者の動作データに基づ
いて記憶されているデータを検索するデータ検索過程
と、検索されたデータを利用者に対して提示する提示過
程とを有することを特徴とする。
動作や姿勢を利用者に教示する動作教示方法であって、
前記動作教示方法は、体の動きや姿勢を検出して定量的
な動作データを出力する動作データ検出過程と、動作以
外の身体状態を検出して定量的な生体データを出力する
生体データ検出過程と、前記生体データを教示者の心理
身体状態を示す内的状態データに変換する生体データ処
理過程と、教示者の動作データと内的状態データを関連
付けて記録する記憶過程と、利用者の動作データに基づ
いて記憶されているデータを検索するデータ検索過程
と、検索されたデータを利用者に対して提示する提示過
程とを有することを特徴とする。
【0022】請求項18に記載の発明は、教示者の体の
動作や姿勢を利用者に教示する動作教示プログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
前記動作教示プログラムは、体の動きや姿勢を検出して
定量的な動作データを出力する動作データ検出処理と、
動作以外の身体状態を検出して定量的な生体データを出
力する生体データ検出処理と、前記生体データを教示者
の心理身体状態を示す内的状態データに変換する生体デ
ータ処理と、教示者の動作データと内的状態データを関
連付けて記録する記憶処理と、利用者の動作データに基
づいて記憶されているデータを検索するデータ検索処理
と、検索されたデータを利用者に対して提示する提示処
理とをコンピュータに行わせることを特徴とする。
動作や姿勢を利用者に教示する動作教示プログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
前記動作教示プログラムは、体の動きや姿勢を検出して
定量的な動作データを出力する動作データ検出処理と、
動作以外の身体状態を検出して定量的な生体データを出
力する生体データ検出処理と、前記生体データを教示者
の心理身体状態を示す内的状態データに変換する生体デ
ータ処理と、教示者の動作データと内的状態データを関
連付けて記録する記憶処理と、利用者の動作データに基
づいて記憶されているデータを検索するデータ検索処理
と、検索されたデータを利用者に対して提示する提示処
理とをコンピュータに行わせることを特徴とする。
【0023】
【発明の実施の形態】以下、本発明の一実施の形態につ
いて図面を参照して詳細に説明する。図1は同実施形態
の構成を示すブロック図である。この図において、符号
11は、人体の複数の部位の3次元位置を時系列で計測
する動作データ検出手段である。この動作検出手段11
はポテンショメータ、磁気センサ、光学センサ、ステッ
プモータ、ステレオ画像処理等が用いられる。検出結果
は記憶手段14に記憶される。
いて図面を参照して詳細に説明する。図1は同実施形態
の構成を示すブロック図である。この図において、符号
11は、人体の複数の部位の3次元位置を時系列で計測
する動作データ検出手段である。この動作検出手段11
はポテンショメータ、磁気センサ、光学センサ、ステッ
プモータ、ステレオ画像処理等が用いられる。検出結果
は記憶手段14に記憶される。
【0024】符号12は人体の脳波や筋電、注視点など
の非動作データを計測する生体データ検出手段である。
計測対象となる生体データは、人間の心的状態を推定で
きるあらゆるものを含むことができるが、例えば、脳
波、心電、脈波、瞬き、呼吸、体温、発汗、筋電などで
ある。脳波、心電、脈波、瞬きに関しては、例えば「1
995年9月、信学技法第MBE95−73号、71〜
78頁」に記載されている方法で計測が可能である。
の非動作データを計測する生体データ検出手段である。
計測対象となる生体データは、人間の心的状態を推定で
きるあらゆるものを含むことができるが、例えば、脳
波、心電、脈波、瞬き、呼吸、体温、発汗、筋電などで
ある。脳波、心電、脈波、瞬きに関しては、例えば「1
995年9月、信学技法第MBE95−73号、71〜
78頁」に記載されている方法で計測が可能である。
【0025】符号13は、生体データ検出手段12の出
力に基づいて緊張度やストレスを推定して検出する生体
データ処理手段であり、処理結果は記憶手段14に記憶
される。生体データから緊張度やストレスを推定する手
法については例えば特願平06−115222「ストレ
ス計測装置」などで記載されており、生体データ処理手
段13はこれらの手法を装置化して実現したものであ
る。呼吸、体温、発汗などから人間の緊張度を推定する
方式は、例えば広く製品化されているいわゆる「嘘発見
器(ポリグラフ)」などで実現することができる。筋電
の計測器としてはいわゆる「筋電位計」が一般的であ
り、計測部の筋肉が収縮しているか弛緩しているか(す
なわち力が入っているかそうでないか)を容易に判定す
ることができる。また、人間がある時点においてどこを
見ているかを計測する装置は、「アイカメラ」などの名
称で製品化されている。
力に基づいて緊張度やストレスを推定して検出する生体
データ処理手段であり、処理結果は記憶手段14に記憶
される。生体データから緊張度やストレスを推定する手
法については例えば特願平06−115222「ストレ
ス計測装置」などで記載されており、生体データ処理手
段13はこれらの手法を装置化して実現したものであ
る。呼吸、体温、発汗などから人間の緊張度を推定する
方式は、例えば広く製品化されているいわゆる「嘘発見
器(ポリグラフ)」などで実現することができる。筋電
の計測器としてはいわゆる「筋電位計」が一般的であ
り、計測部の筋肉が収縮しているか弛緩しているか(す
なわち力が入っているかそうでないか)を容易に判定す
ることができる。また、人間がある時点においてどこを
見ているかを計測する装置は、「アイカメラ」などの名
称で製品化されている。
【0026】ここで、図2を参照してアイカメラの動作
原理を説明する。計測対象者の頭部に固定して視野画像
測定装置(カメラ)21と眼球位置測定装置22が取り
付けられ、頭部に対する相対的な視線方向がx−y座標
で計測される。測定結果は、視野画像測定装置21で撮
影した画像23の中でどこに視線があるかを示すマーカ
24で示される。また、ある限定された範囲において周
囲空間座標における視線方向を計測する装置も実現され
ている。
原理を説明する。計測対象者の頭部に固定して視野画像
測定装置(カメラ)21と眼球位置測定装置22が取り
付けられ、頭部に対する相対的な視線方向がx−y座標
で計測される。測定結果は、視野画像測定装置21で撮
影した画像23の中でどこに視線があるかを示すマーカ
24で示される。また、ある限定された範囲において周
囲空間座標における視線方向を計測する装置も実現され
ている。
【0027】例えば非接触アイマークレコーダでは、頭
部に固定されためがねの向きを別カメラで計測すること
により頭部の向きを計測し、この値で前記アイカメラと
同様の方法で計測された視線方向を補正することによ
り、周囲空間座標における視線方向を算出している。生
体データ検出手段12がこれらの眼球位置センサを含む
ときは、生体データ処理手段13は視野画像内や周囲空
間座標における視線方向座標を算出して記憶手段14に
送る。
部に固定されためがねの向きを別カメラで計測すること
により頭部の向きを計測し、この値で前記アイカメラと
同様の方法で計測された視線方向を補正することによ
り、周囲空間座標における視線方向を算出している。生
体データ検出手段12がこれらの眼球位置センサを含む
ときは、生体データ処理手段13は視野画像内や周囲空
間座標における視線方向座標を算出して記憶手段14に
送る。
【0028】符号15は、動作検出手段11の検出結果
に基づいて、記憶手段14に記憶されているデータを検
索して出力するデータ検索手段である。符号16は、デ
ータ検索手段15からの出力データを利用者に対して提
示する提示手段である。
に基づいて、記憶手段14に記憶されているデータを検
索して出力するデータ検索手段である。符号16は、デ
ータ検索手段15からの出力データを利用者に対して提
示する提示手段である。
【0029】次に、図1に示す実施の形態における動作
を説明する。利用者の模範となる教示者の動作データ
は、動作データ検出手段11により計測され、記憶手段
14に記録される。この際、データ形式が身体複数部位
の3次元座標か、身体関節部の角度であるかは特に限定
しなくてもよい。本実施形態においては、動作データと
同時に教示者の生体データも生体データ検出手段12に
よって計測される。生体データは教示者の身体的心的状
態が推定できるものであれば何でも良く、例えば先に挙
げた眼球位置、脳波、心電、脈波、瞬き、呼吸、体温、
発汗、筋電のうちの少なくとも一つかそれらの組み合わ
せである。
を説明する。利用者の模範となる教示者の動作データ
は、動作データ検出手段11により計測され、記憶手段
14に記録される。この際、データ形式が身体複数部位
の3次元座標か、身体関節部の角度であるかは特に限定
しなくてもよい。本実施形態においては、動作データと
同時に教示者の生体データも生体データ検出手段12に
よって計測される。生体データは教示者の身体的心的状
態が推定できるものであれば何でも良く、例えば先に挙
げた眼球位置、脳波、心電、脈波、瞬き、呼吸、体温、
発汗、筋電のうちの少なくとも一つかそれらの組み合わ
せである。
【0030】生体データ処理手段13は、これらの生体
データを教示者の心理身体状態を示す内的状態データに
変換して記憶手段14に出力する。ここで内的状態デー
タの形式は特に限定されないが、例えば生体データが眼
球位置であった場合は、視野画像内あるいは周囲空間座
標における視線方向を示す座標値を用いることができる
し、その他の生体データでもっとも簡単な場合は例えば
「緊張している」「緊張していない」の2つの内的状態
を示す記号あるいは数値を用いることもできる。筋電の
場合は体の各部位のどこに力が入っているか否かを示す
記号あるいは数値を用いることができる。以上の動作に
より、模範となる教示者の動作と心理身体状態を関連付
けて記録することができる。
データを教示者の心理身体状態を示す内的状態データに
変換して記憶手段14に出力する。ここで内的状態デー
タの形式は特に限定されないが、例えば生体データが眼
球位置であった場合は、視野画像内あるいは周囲空間座
標における視線方向を示す座標値を用いることができる
し、その他の生体データでもっとも簡単な場合は例えば
「緊張している」「緊張していない」の2つの内的状態
を示す記号あるいは数値を用いることもできる。筋電の
場合は体の各部位のどこに力が入っているか否かを示す
記号あるいは数値を用いることができる。以上の動作に
より、模範となる教示者の動作と心理身体状態を関連付
けて記録することができる。
【0031】次に、利用者が教示者の模範動作に基づい
て、作業時に教示を受ける際の動作を説明する。利用者
の動作データは動作データ検出手段11により検出され
る。データ検索手段15はこの動作データに相当する教
示者の動作データを記憶装置14から検索する。検索の
方法としては、第一に姿勢の類似度から検索する。教示
者と利用者の動作データが身体各部位の3次元座標で与
えられている場合は、例えば両者の少なくとも1つの対
応する部位間の距離の和が最小になるように教示者の動
作データを選ぶことで実現できる。
て、作業時に教示を受ける際の動作を説明する。利用者
の動作データは動作データ検出手段11により検出され
る。データ検索手段15はこの動作データに相当する教
示者の動作データを記憶装置14から検索する。検索の
方法としては、第一に姿勢の類似度から検索する。教示
者と利用者の動作データが身体各部位の3次元座標で与
えられている場合は、例えば両者の少なくとも1つの対
応する部位間の距離の和が最小になるように教示者の動
作データを選ぶことで実現できる。
【0032】その他の検索の方法としては、作業の開始
やあるいはその特定の場面からの経過時間を動作データ
とともに計測しておき、同じ経過時間を持った教示者の
動作データを選択してもよい。また、その他の検索の方
法として、教示者、利用者あるいは第3者が教示者の作
業中のある時点における動作データを指定して「マー
ク」を付与し、教示中において教示者、利用者あるいは
第3者がマークを付与した時点に相当する場面に来たこ
とを何らかの手段で入力し、これを手がかりに教示者の
データを検索してもよい。データ検索手段15は上記の
いずれかあるいはその他の方法で対応する動作データを
検索するとともに、この動作データに関連付けられて記
録されている内的状態データも検索し、両データを提示
手段16へ送る。
やあるいはその特定の場面からの経過時間を動作データ
とともに計測しておき、同じ経過時間を持った教示者の
動作データを選択してもよい。また、その他の検索の方
法として、教示者、利用者あるいは第3者が教示者の作
業中のある時点における動作データを指定して「マー
ク」を付与し、教示中において教示者、利用者あるいは
第3者がマークを付与した時点に相当する場面に来たこ
とを何らかの手段で入力し、これを手がかりに教示者の
データを検索してもよい。データ検索手段15は上記の
いずれかあるいはその他の方法で対応する動作データを
検索するとともに、この動作データに関連付けられて記
録されている内的状態データも検索し、両データを提示
手段16へ送る。
【0033】提示手段16は送られた動作データおよび
内的状態データをしかるべき形式で利用者に提示する。
以下、その動作を詳細に説明する。教示者の動作データ
を単独あるいは利用者の動作データと同時にディスプレ
イ装置に表示する方法は、例えばその差異を強調する方
法も含めて、従来技術として挙げた特表平10−501
156「運動測定装置」に記述されており、これらの方
式を用いることができる。また、特開平7−12428
1「フォーム練習装置」に記載されているがごとく、利
用者がいわゆる透過式のヘッドマウントディスプレイを
装着し、自分の身体と教示者の映像を空間的に重ねあわ
せて見ることで、即時に自身の動作を修正することがで
きる方式を用いても良い。
内的状態データをしかるべき形式で利用者に提示する。
以下、その動作を詳細に説明する。教示者の動作データ
を単独あるいは利用者の動作データと同時にディスプレ
イ装置に表示する方法は、例えばその差異を強調する方
法も含めて、従来技術として挙げた特表平10−501
156「運動測定装置」に記述されており、これらの方
式を用いることができる。また、特開平7−12428
1「フォーム練習装置」に記載されているがごとく、利
用者がいわゆる透過式のヘッドマウントディスプレイを
装着し、自分の身体と教示者の映像を空間的に重ねあわ
せて見ることで、即時に自身の動作を修正することがで
きる方式を用いても良い。
【0034】本発明の特徴は、これらの動作データの表
示と合せて、あるいは単独で、少なくとも一つの内的状
態データをしかるべき形式で提示することである。図3
は内的状態データとして教示者の視線方向データを提示
する際の一実現形態を示す模式図である。ディスプレイ
装置31には教示者の視野画像32と注視位置(視線方
向)を示すマーカ33が表示されている。利用者34は
この映像を通じて、マーカに相当する実空間での位置3
5を注視すべきことを知ることができる。その他の提示
方法としては、例えば図4に示すごとく可動式のビーム
発生装置41を用いて、実空間内の特定部位を光スポッ
トで指示することで教示者の注視位置を提示してもよ
い。あるいは利用者が透過式のヘッドマウントディスプ
レイを装着し、そこに実空間に重ねあわせる形で注視位
置を提示してもよい。
示と合せて、あるいは単独で、少なくとも一つの内的状
態データをしかるべき形式で提示することである。図3
は内的状態データとして教示者の視線方向データを提示
する際の一実現形態を示す模式図である。ディスプレイ
装置31には教示者の視野画像32と注視位置(視線方
向)を示すマーカ33が表示されている。利用者34は
この映像を通じて、マーカに相当する実空間での位置3
5を注視すべきことを知ることができる。その他の提示
方法としては、例えば図4に示すごとく可動式のビーム
発生装置41を用いて、実空間内の特定部位を光スポッ
トで指示することで教示者の注視位置を提示してもよ
い。あるいは利用者が透過式のヘッドマウントディスプ
レイを装着し、そこに実空間に重ねあわせる形で注視位
置を提示してもよい。
【0035】内的状態データとして教示者の集中度や緊
張度を提示する場合には、提示手段16がディスプレイ
装置で構成される場合は、そこに集中度や緊張度をグラ
フや図、色、数字、記号などで表示することが考えられ
る。あるいは提示手段16の中に音響発生装置を含め、
音で集中度や緊張度を伝達すれば、利用者に視覚的な負
荷をかけずに伝達できる。さらに提示手段16に例えば
ピエゾ素子などで構成される触覚ディスプレイを含める
場合は、触覚により伝達するようにしてもよい。
張度を提示する場合には、提示手段16がディスプレイ
装置で構成される場合は、そこに集中度や緊張度をグラ
フや図、色、数字、記号などで表示することが考えられ
る。あるいは提示手段16の中に音響発生装置を含め、
音で集中度や緊張度を伝達すれば、利用者に視覚的な負
荷をかけずに伝達できる。さらに提示手段16に例えば
ピエゾ素子などで構成される触覚ディスプレイを含める
場合は、触覚により伝達するようにしてもよい。
【0036】また、内的状態データの中に身体特定部位
の力の入り加減を示すデータが含まれている場合は、例
えば図5に示すごとくディスプレイ装置画面に身体モデ
ル51を提示し、力の入っている箇所をマーカ52で強
調するようにしてもよい。あるいは提示手段16として
体に局所的に装着できる振動装置や刺激装置を用いる場
合は、例えば教示者が力を入れた箇所を振動あるいは刺
激することで、利用者に視覚的な負荷をかけずに「力の
入れどころ」を教示することができる。
の力の入り加減を示すデータが含まれている場合は、例
えば図5に示すごとくディスプレイ装置画面に身体モデ
ル51を提示し、力の入っている箇所をマーカ52で強
調するようにしてもよい。あるいは提示手段16として
体に局所的に装着できる振動装置や刺激装置を用いる場
合は、例えば教示者が力を入れた箇所を振動あるいは刺
激することで、利用者に視覚的な負荷をかけずに「力の
入れどころ」を教示することができる。
【0037】以上説明したような方法で、少なくとも一
つ以上の内的状態データを利用者に実時間で提示するこ
とにより、本発明が意図する動作の教示が可能になる。
図6は本発明の代表的な実現例を模式的に表現した図で
あり、身体動作を伴う工作作業を教示することを想定し
ている。記憶手段14とデータ検索手段15はコンピュ
ータ装置61で構成されている。利用者34の動作デー
タは動作センサ62で検出され、コンピュータ装置61
に取り込まれる。コンピュータ装置61に接続されたデ
ィスプレイ装置31には、教示者の動作を示す身体モデ
ル51と集中度などを示すグラフ63が表示されてい
る。利用者34はこれを参照することで動作を修正する
ことができる。
つ以上の内的状態データを利用者に実時間で提示するこ
とにより、本発明が意図する動作の教示が可能になる。
図6は本発明の代表的な実現例を模式的に表現した図で
あり、身体動作を伴う工作作業を教示することを想定し
ている。記憶手段14とデータ検索手段15はコンピュ
ータ装置61で構成されている。利用者34の動作デー
タは動作センサ62で検出され、コンピュータ装置61
に取り込まれる。コンピュータ装置61に接続されたデ
ィスプレイ装置31には、教示者の動作を示す身体モデ
ル51と集中度などを示すグラフ63が表示されてい
る。利用者34はこれを参照することで動作を修正する
ことができる。
【0038】さらに作業空間には可動式ビーム装置41
が設置され、教示者の注視位置を利用者に示す。また、
利用者34には振動装置64が取り付けられ、力を入れ
るタイミングを教示する。なお、以上の説明では利用者
の動作を計測して、模範となるデータを実時間で提示す
る方法を述べたが、その他の教示の形態として、利用者
の動作も記録しておき、作業後に利用者が自身の動作と
模範となるデータを比較参照することも考えられる。た
だしこの利用形態も、これまでに説明した装置構成とそ
れぞれの動作で容易に実現できることは明らかである。
さらに、本実施の形態の説明では、動作データが身体各
部の3次元データで与えられることを前提にしてきた
が、これは本発明の必須要件ではない。応用によっては
身体の局所的な部位や、2次元データを動作データとし
て利用しても同様の効果を得ることができる。
が設置され、教示者の注視位置を利用者に示す。また、
利用者34には振動装置64が取り付けられ、力を入れ
るタイミングを教示する。なお、以上の説明では利用者
の動作を計測して、模範となるデータを実時間で提示す
る方法を述べたが、その他の教示の形態として、利用者
の動作も記録しておき、作業後に利用者が自身の動作と
模範となるデータを比較参照することも考えられる。た
だしこの利用形態も、これまでに説明した装置構成とそ
れぞれの動作で容易に実現できることは明らかである。
さらに、本実施の形態の説明では、動作データが身体各
部の3次元データで与えられることを前提にしてきた
が、これは本発明の必須要件ではない。応用によっては
身体の局所的な部位や、2次元データを動作データとし
て利用しても同様の効果を得ることができる。
【0039】本発明では教示者の注視点や心理状態を表
わす内的状態データを動作データに対応づけて記録する
装置を備え、さらにこれらの内的状態データを利用者が
理解できる形で作業中に提示することを特徴としてい
る。これを実現するために本発明における動作教示装置
は、体の動きや姿勢を検出して動作データとして定量的
に出力する動作データ検出手段と、動作以外の身体状態
を検出し生体データとして定量的に出力する生体データ
検出手段と、前記生体データを教示者の内的状態を示す
内的状態データに変換する生体データ処理手段と、教示
者の動作データと内的状態データを関連付けて記録する
記憶手段と、利用者の動作データを受け取り前記記憶手
段のデータを検索するデータ検索手段と、該データ検索
装置の出力を受け取りしかるべき形式で利用者に提示す
る提示手段で構成される。
わす内的状態データを動作データに対応づけて記録する
装置を備え、さらにこれらの内的状態データを利用者が
理解できる形で作業中に提示することを特徴としてい
る。これを実現するために本発明における動作教示装置
は、体の動きや姿勢を検出して動作データとして定量的
に出力する動作データ検出手段と、動作以外の身体状態
を検出し生体データとして定量的に出力する生体データ
検出手段と、前記生体データを教示者の内的状態を示す
内的状態データに変換する生体データ処理手段と、教示
者の動作データと内的状態データを関連付けて記録する
記憶手段と、利用者の動作データを受け取り前記記憶手
段のデータを検索するデータ検索手段と、該データ検索
装置の出力を受け取りしかるべき形式で利用者に提示す
る提示手段で構成される。
【0040】各装置は以下のようにお互いに連携して動
作する。模範となる教示者の動作データは動作データ検
出手段により計測され、記憶手段に記録される。このと
き同時に、生体データが生体データ検出手段により計測
される。この生体データは生体データ処理手段により教
示者の身体心理的状態を示す内的状態データに変換さ
れ、動作データと時間的に関連付けられて記憶手段に記
録される。利用者に動作を教示する際には、動作データ
検出手段により利用者の動作を計測する。データ検索手
段は、その動作に相当する教示者の動作データとそれに
関連付けられた内的状態データを記憶手段から検索す
る。提示手段は送られた動作データや内的状態データを
利用者に提示する。以上の動作により、利用者が作業を
実行している時に、模範となる動作や姿勢とともに作業
の「勘どころ」を実時間で参照することができる。
作する。模範となる教示者の動作データは動作データ検
出手段により計測され、記憶手段に記録される。このと
き同時に、生体データが生体データ検出手段により計測
される。この生体データは生体データ処理手段により教
示者の身体心理的状態を示す内的状態データに変換さ
れ、動作データと時間的に関連付けられて記憶手段に記
録される。利用者に動作を教示する際には、動作データ
検出手段により利用者の動作を計測する。データ検索手
段は、その動作に相当する教示者の動作データとそれに
関連付けられた内的状態データを記憶手段から検索す
る。提示手段は送られた動作データや内的状態データを
利用者に提示する。以上の動作により、利用者が作業を
実行している時に、模範となる動作や姿勢とともに作業
の「勘どころ」を実時間で参照することができる。
【0041】また、図1に示す各機能を実現するための
プログラムをコンピュータ読み取り可能な記録媒体に記
録して、この記録媒体に記録されたプログラムをコンピ
ュータシステムに読み込ませ、実行することにより動作
教示処理を行ってもよい。なお、ここでいう「コンピュ
ータシステム」とは、OSや周辺機器等のハードウェア
を含むものとする。また、「コンピュータシステム」
は、WWWシステムを利用している場合であれば、ホー
ムページ提供環境(あるいは表示環境)も含むものとす
る。また、「コンピュータ読み取り可能な記録媒体」と
は、フロッピー(登録商標)ディスク、光磁気ディス
ク、ROM、CD−ROM等の可搬媒体、コンピュータ
システムに内蔵されるハードディスク等の記憶装置のこ
とをいう。
プログラムをコンピュータ読み取り可能な記録媒体に記
録して、この記録媒体に記録されたプログラムをコンピ
ュータシステムに読み込ませ、実行することにより動作
教示処理を行ってもよい。なお、ここでいう「コンピュ
ータシステム」とは、OSや周辺機器等のハードウェア
を含むものとする。また、「コンピュータシステム」
は、WWWシステムを利用している場合であれば、ホー
ムページ提供環境(あるいは表示環境)も含むものとす
る。また、「コンピュータ読み取り可能な記録媒体」と
は、フロッピー(登録商標)ディスク、光磁気ディス
ク、ROM、CD−ROM等の可搬媒体、コンピュータ
システムに内蔵されるハードディスク等の記憶装置のこ
とをいう。
【0042】さらに「コンピュータ読み取り可能な記録
媒体」とは、インターネット等のネットワークや電話回
線等の通信回線を介してプログラムを送信する場合の通
信線のように、短時間の間、動的にプログラムを保持す
るもの(伝送媒体ないしは伝送波)、その場合のサーバ
やクライアントとなるコンピュータシステム内部の揮発
性メモリのように、一定時間プログラムを保持している
ものも含むものとする。また上記プログラムは、前述し
た機能の一部を実現するためのものであっても良く、さ
らに前述した機能をコンピュータシステムにすでに記録
されているプログラムとの組み合わせで実現できるも
の、いわゆる差分ファイル(差分プログラム)であって
も良い。
媒体」とは、インターネット等のネットワークや電話回
線等の通信回線を介してプログラムを送信する場合の通
信線のように、短時間の間、動的にプログラムを保持す
るもの(伝送媒体ないしは伝送波)、その場合のサーバ
やクライアントとなるコンピュータシステム内部の揮発
性メモリのように、一定時間プログラムを保持している
ものも含むものとする。また上記プログラムは、前述し
た機能の一部を実現するためのものであっても良く、さ
らに前述した機能をコンピュータシステムにすでに記録
されているプログラムとの組み合わせで実現できるも
の、いわゆる差分ファイル(差分プログラム)であって
も良い。
【0043】
【発明の効果】以上説明したように、この発明によれ
ば、利用者が自身の動作に相当する場面における教示者
の心的身体的状態を参照することができるため、注視位
置や集中度、緊張度、あるいは力の入れどころといった
「勘どころ」も含めた形で動作を教示することができる
という効果が得られる。
ば、利用者が自身の動作に相当する場面における教示者
の心的身体的状態を参照することができるため、注視位
置や集中度、緊張度、あるいは力の入れどころといった
「勘どころ」も含めた形で動作を教示することができる
という効果が得られる。
【図1】本発明の一実施形態の構成を示すブロック図で
ある。
ある。
【図2】視線方向検出装置の動作を示す模式図である。
【図3】注視位置データの提示方法を示す模式図であ
る。
る。
【図4】注視位置データの提示方法を示す模式図であ
る。
る。
【図5】「力の入れどころ」の提示方法例を示す模式図
である。
である。
【図6】代表的な実施例を示した模式図である。
11・・・動作データ検出手段、 12・・・生体データ検出手段、 13・・・生体データ処理手段、 14・・・記憶手段、 15・・・データ検索手段、 16・・・提示手段。
Claims (18)
- 【請求項1】 教示者の体の動作や姿勢を利用者に教示
する動作教示装置であって、 前記動作教示装置は、 体の動きや姿勢を検出して動作データとして定量的に出
力する動作データ検出手段と、 動作以外の身体状態を検出し生体データとして定量的に
出力する生体データ検出手段と、 前記生体データを教示者の心理身体状態を示す内的状態
データに変換する生体データ処理手段と、 教示者の動作データと内的状態データを関連付けて記録
する記憶手段と、利用者の動作データを受け取り前記記
憶手段のデータを検索するデータ検索手段と、 前記データ検索装置の出力を利用者に提示する提示手段
と、 を備えたことを特徴とする動作教示装置。 - 【請求項2】 前記生体データ検出手段は、眼球位置セ
ンサを含んで構成されていることを特徴とする請求項1
に記載の動作教示装置。 - 【請求項3】 前記生体データ検出手段は、脳波センサ
を含んで構成されていることを特徴とする請求項1また
は2に記載の動作教示装置。 - 【請求項4】 前記生体データ検出手段は、心電センサ
を含んで構成されていることを特徴とする請求項1ない
し3のいずれかに記載の動作教示装置。 - 【請求項5】 前記生体データ検出手段は、脈波センサ
を含んで構成されていることを特徴とする請求項1ない
し4のいずれかに記載の動作教示装置。 - 【請求項6】 前記生体データ検出手段は、瞬きセンサ
を含んで構成されていることを特徴とする請求項1ない
し5のいずれかに記載の動作教示装置。 - 【請求項7】 前記生体データ検出手段は、呼吸センサ
を含んで構成されていることを特徴とする請求項1ない
し6のいずれかに記載の動作教示装置。 - 【請求項8】 前記生体データ検出手段は、体温センサ
を含んで構成されていることを特徴とする請求項1ない
し7のいずれかに記載の動作教示装置。 - 【請求項9】 前記生体データ検出手段は、発汗センサ
を含んで構成されていることを特徴とする請求項1ない
し8のいずれかに記載の装動作教示置。 - 【請求項10】 前記生体データ検出手段は、筋電セン
サを含んで構成されていることを特徴とする請求項1な
いし9のいずれかに記載の動作教示装置。 - 【請求項11】 前記データ検索手段は、利用者の動作
データに対応する教示者の動作データとそれに関連付け
られた内的状態データを前記記憶手段から検索すること
を特徴とする請求項1ないし10のいずれかに記載の装
置。 - 【請求項12】 前記提示手段は、利用者が動作を継続
している時に、その動作に関連する教示者の内的状態デ
ータを単独で、あるいは教示者の動作データとともに利
用者に提示することを特徴とする請求項1ないし11の
いずれかに記載の動作教示装置。 - 【請求項13】 前記提示手段は、教示者の注視位置を
ディスプレイ装置で視覚的に提示することを特徴とする
請求項12記載の動作教示装置。 - 【請求項14】 前記提示手段は、教示者の注視位置を
周囲空間に光スポットで提示することを特徴とする請求
項12に記載の動作教示装置。 - 【請求項15】 前記提示手段は、教示者の内的状態デ
ータを利用者に聴覚的に提示することを特徴とする請求
項12に記載の動作教示装置。 - 【請求項16】 前記提示手段は、教示者の内的状態デ
ータを利用者に触覚的に提示することを特徴とする請求
項12に記載の動作教示装置。 - 【請求項17】 教示者の体の動作や姿勢を利用者に教
示する動作教示方法であって、 前記動作教示方法は、 体の動きや姿勢を検出して定量的な動作データを出力す
る動作データ検出過程と、 動作以外の身体状態を検出して定量的な生体データを出
力する生体データ検出過程と、 前記生体データを教示者の心理身体状態を示す内的状態
データに変換する生体データ処理過程と、 教示者の動作データと内的状態データを関連付けて記録
する記憶過程と、 利用者の動作データに基づいて記憶されているデータを
検索するデータ検索過程と、 検索されたデータを利用者に対して提示する提示過程
と、 を有することを特徴とする動作教示方法。 - 【請求項18】 教示者の体の動作や姿勢を利用者に教
示する動作教示プログラムを記録したコンピュータ読み
取り可能な記録媒体であって、 前記動作教示プログラムは、 体の動きや姿勢を検出して定量的な動作データを出力す
る動作データ検出処理と、 動作以外の身体状態を検出して定量的な生体データを出
力する生体データ検出処理と、 前記生体データを教示者の心理身体状態を示す内的状態
データに変換する生体データ処理と、 教示者の動作データと内的状態データを関連付けて記録
する記憶処理と、利用者の動作データに基づいて記憶さ
れているデータを検索するデータ検索処理と、 検索されたデータを利用者に対して提示する提示処理
と、 をコンピュータに行わせることを特徴とする動作教示プ
ログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16829099A JP2000356942A (ja) | 1999-06-15 | 1999-06-15 | 動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16829099A JP2000356942A (ja) | 1999-06-15 | 1999-06-15 | 動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000356942A true JP2000356942A (ja) | 2000-12-26 |
Family
ID=15865283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16829099A Pending JP2000356942A (ja) | 1999-06-15 | 1999-06-15 | 動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000356942A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004054886A (ja) * | 2002-05-28 | 2004-02-19 | Advanced Telecommunication Research Institute International | データベース作成装置 |
JP2005064839A (ja) * | 2003-08-12 | 2005-03-10 | Sony Corp | 記録装置、記録再生装置、再生装置、記録方法、記録再生方法および再生方法 |
JP2005063087A (ja) * | 2003-08-11 | 2005-03-10 | Sony Corp | 記録再生装置、再生装置、記録再生方法および再生方法 |
JP2005208478A (ja) * | 2004-01-26 | 2005-08-04 | Ota Hiroo | 模擬運転装置 |
JP2016150108A (ja) * | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
JP2016150117A (ja) * | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 心理状態判定方法、装置、及びプログラム |
JP2016150118A (ja) * | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 運動状態と心理状態判定方法、装置、及びプログラム |
JP2017064429A (ja) * | 2016-10-17 | 2017-04-06 | 日本電信電話株式会社 | 運動状態と心理状態判定方法、装置、及びプログラム |
JP2017086892A (ja) * | 2016-10-17 | 2017-05-25 | 日本電信電話株式会社 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
JP2018049258A (ja) * | 2016-09-14 | 2018-03-29 | 公益財団法人鉄道総合技術研究所 | プログラム及び列車運転シミュレータ |
-
1999
- 1999-06-15 JP JP16829099A patent/JP2000356942A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004054886A (ja) * | 2002-05-28 | 2004-02-19 | Advanced Telecommunication Research Institute International | データベース作成装置 |
JP2005063087A (ja) * | 2003-08-11 | 2005-03-10 | Sony Corp | 記録再生装置、再生装置、記録再生方法および再生方法 |
JP2005064839A (ja) * | 2003-08-12 | 2005-03-10 | Sony Corp | 記録装置、記録再生装置、再生装置、記録方法、記録再生方法および再生方法 |
JP2005208478A (ja) * | 2004-01-26 | 2005-08-04 | Ota Hiroo | 模擬運転装置 |
JP2016150108A (ja) * | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
JP2016150117A (ja) * | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 心理状態判定方法、装置、及びプログラム |
JP2016150118A (ja) * | 2015-02-17 | 2016-08-22 | 日本電信電話株式会社 | 運動状態と心理状態判定方法、装置、及びプログラム |
JP2018049258A (ja) * | 2016-09-14 | 2018-03-29 | 公益財団法人鉄道総合技術研究所 | プログラム及び列車運転シミュレータ |
JP2017064429A (ja) * | 2016-10-17 | 2017-04-06 | 日本電信電話株式会社 | 運動状態と心理状態判定方法、装置、及びプログラム |
JP2017086892A (ja) * | 2016-10-17 | 2017-05-25 | 日本電信電話株式会社 | 運動状態と心理状態とのフィードバック方法、システム、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Iqbal et al. | A review of wearable technology in medicine | |
EP3384437B1 (en) | Systems, computer medium and methods for management training systems | |
CN109298779B (zh) | 基于虚拟代理交互的虚拟训练系统与方法 | |
US7128577B2 (en) | Method for providing data to be used by a therapist for analyzing a patient behavior in a virtual environment | |
US11301775B2 (en) | Data annotation method and apparatus for enhanced machine learning | |
US7972140B2 (en) | Method and apparatus for performing a behaviour analysis using a virtual environment | |
KR101983279B1 (ko) | 가상현실을 이용한 신경질환 진단 장치 및 방법 | |
KR101911179B1 (ko) | 가상현실과 근전도 피드백 기반 재활훈련시스템 | |
CN101784230A (zh) | 用于显示匿名注解的身体锻炼数据的系统和方法 | |
JP2004294593A (ja) | 訓練支援装置 | |
KR102632408B1 (ko) | 웨어러블 디바이스 기반의 운동 관리 시스템 | |
CN108140421A (zh) | 运动训练 | |
Sucar et al. | Gesture therapy: A vision-based system for arm rehabilitation after stroke | |
JP2000356942A (ja) | 動作教示装置、動作教示方法及び動作教示プログラムを記録した記録媒体 | |
US20190274630A1 (en) | Output control device, output control method, and program | |
US20200371738A1 (en) | Virtual and augmented reality telecommunication platforms | |
Rahman | Multimedia environment toward analyzing and visualizing live kinematic data for children with hemiplegia | |
KR102048551B1 (ko) | 스마트 기기를 이용한 vr 재활 훈련 시스템 및 방법 | |
JP2003000569A (ja) | 手指運動機能回復支援ロボット | |
Meusel | Exploring mental effort and nausea via electrodermal activity within scenario-based tasks | |
CA3195141A1 (en) | Sightline-position determination device, sightline-position determination method, and training method | |
Komizunai et al. | An immersive nursing education system that provides experience of exemplary procedures from first person viewpoint with haptic feedback on wrist | |
KR102220837B1 (ko) | 신경계 및 근골격계 환자의 운동재활을 위한 증강현실 기반 거울운동 시스템 | |
JP6585901B2 (ja) | 支援システム | |
JP3048918B2 (ja) | 集中度推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040302 |