JP2003275259A - インタラクションシステム及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザが自ら意識することなくユーザに安全
な運動を行わせることのできるインタラクションシステ
ムを提供する。 【解決手段】 システ１は、ユーザ４の反応を促すこと
を目的としてユーザに対し感覚刺激を提示する感覚刺激
提示部１６と、感覚刺激提示部により提示される感覚刺
激に応じたユーザの動作を入力する動作入力部１８と、
ユーザの動作に伴うユーザの所定部位の位置・角度を検
出する運動検出部２０と、動作入力部１８により検出さ
れるユーザの動作、及び、運動検出部２０により検出さ
れるユーザの運動に応じて、感覚刺激提示部１６が提示
する感覚刺激を制御する感覚刺激制御部２４とを備え
る。運動検出部２０により検出されるユーザの運動範囲
が安全基準内に入るよう、感覚刺激提示部１６より提示
させる感覚刺激を制御することにより、ユーザに実質的
に無意識に安全な運動を行わせることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般に、ユーザの感
覚を刺激してユーザからの反応を獲得し、この反応に基
づいてユーザへの刺激を制御するインタラクションシス
テム及び方法に関する。本発明は特に、ユーザの反応に
伴ってユーザが運動を行う際の安全性を考慮した、特に
リハビリテーションに適したインタラクションシステム
及び方法に関する。

【０００２】

【従来の技術】従来、画像、音などの感覚刺激をユーザ
に提示してユーザからの反応を獲得し、この反応に基づ
いてユーザへの感覚刺激を制御するインタラクションシ
ステムをリハビリテーションに応用することが知られて
いる。例えば、特開平９−１２０４６４号に開示された
リハビリテーション支援装置は、仮想世界の画像を記憶
する記憶手段と、仮想世界の画像を表示するディスプレ
イと、患者の身体特徴量を測定する手段とを備え、測定
した身体特徴量を仮想世界の画像に連動して変化するよ
うにディスプレイに表示させることで、患者に自己の身
体的な状態を分かり易く示すものである。

【０００３】

【発明が解決しようとする課題】かかるシステムでは、
患者は、自己が現在行っている運動の状態を直感的に把
握することができるが、リハビリを行う上で必要以上あ
るいは急にリハビリすべき部位を動かさないようにする
ためには、患者自身が意識して動作を変更する必要があ
る。

【０００４】そこで、本発明は、患者などのユーザが自
ら意識することなくユーザに安全な運動を行わせること
のできるインタラクションシステム及び方法を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、本発明に係るインタラクションシステムは、ユーザ
の反応を促すことを目的としてユーザに対し感覚刺激を
提示する感覚刺激提示手段と、感覚刺激提示手段により
提示される感覚刺激に応じたユーザの動作を入力する動
作入力手段と、ユーザの動作に伴うユーザの運動を検出
する運動検出手段と、動作入力手段により入力されるユ
ーザの動作、及び、運動検出手段により検出されるユー
ザの運動に応じて、感覚刺激提示手段が提示する感覚刺
激を制御する感覚刺激制御手段とを備えたことを特徴と
する。ここで、感覚刺激とはユーザの五感（例えば視
覚）に刺激を与えるものである。

【０００６】かかるシステムでは、運動検出手段により
検出されるユーザの運動範囲が安全基準内に入るよう、
感覚刺激提示手段により提示させる感覚刺激を制御する
ことにより、ユーザに実質的に無意識に安全な運動を行
わせることができる。

【０００７】一般に、システムを利用するユーザに応じ
て安全基準が異なるため、感覚刺激制御手段はさらに、
ユーザの個人データに基づいて感覚刺激提示手段が提示
する感覚刺激を制御するようにし、これにより、ユーザ
に安全な運動をより確実に行わせるようにしてもよい。

【０００８】一実施形態では、運動検出手段は、ユーザ
の所定部位の位置及び／又は角度を検出するようにして
もよい。

【０００９】別の実施形態では、運動検出手段は、ユー
ザの所定部位の速度及び／又は角速度を検出するように
してもよい。

【００１０】さらに別の実施形態では、運動検出手段
は、ユーザの所定部位の加速度及び／又は角加速度を検
出するようにしてもよい。

【００１１】運動検出手段は、画像センサと、該センサ
から得られたユーザの画像データを処理するための画像
処理手段とを備え、画像処理手段で処理された画像デー
タに基づいて、ユーザの運動を検出するようにしてもよ
い。

【００１２】本発明に係るインタラクション方法は、ユ
ーザの反応を促すことを目的としてユーザに対し感覚刺
激を提示する感覚刺激提示工程と、感覚刺激提示工程に
おいて提示される感覚刺激に応じたユーザの動作を入力
する動作入力工程と、ユーザの動作に伴うユーザの運動
を検出する運動検出工程とを含み、動作入力工程におい
て検出されるユーザの動作、及び、運動検出工程により
検出されるユーザの運動に応じて、ユーザの運動範囲が
安全基準内に入るよう感覚刺激の制御を行うことを特徴
とする。

【００１３】かかる方法では、ユーザに実質的に無意識
に安全な運動を行わせることができる。

【００１４】

【発明の実施の形態】以下、添付図面を参照して本発明
の実施の形態を説明する。以下では、本発明に係るイン
タラクションシステムをリハビリテーションに適用した
例を用いて説明を行うが、本発明はリハビリテーション
以外の分野に適用可能であることは言うまでもない。

【００１５】実施の形態１．図１は、本発明に係るイン
タラクションシステムの実施の形態１を示す概要図であ
り、図２は、図１のシステムのブロック図である。図１
のシステム１は、仮想世界の画像として風船をプロジェ
クタ２に出現させ、ユーザに風船割り動作を促すことに
よりリハビリテーションを行う例である。

【００１６】システム１は、風船を表示するプロジェク
タ２と、プロジェクタ２の前方に位置するユーザ４の動
作を認識するためのカメラ６と、ユーザ４が把持するこ
とのできる入出力装置８と、ユーザ４の所定部位に装着
された磁気センサ１０と、静磁界を発生させるトランス
ミッタ１２とを有する。入出力装置８は、入力ボタン、
スピーカ、バイブレータ及び発光マーカを備えた装置で
ある。

【００１７】本実施形態では、ユーザ４の反応を促すこ
とを目的としてユーザ４に対し感覚刺激を提示する感覚
刺激提示部１６は、プロジェクタ２、及び、入出力装置
８のスピーカ及びバイブレータから構成される。感覚刺
激提示部１６により提示される感覚刺激に応じたユーザ
４の動作を入力する動作入力部１８は、カメラ６、及
び、入出力装置８の発光マーカ及び入力ボタンから構成
される。ユーザ４の動作に伴うユーザ４の運動を検出す
る運動検出部２０は、ユーザ４の所定部位の位置及び／
又は（関節周りの）角度を検出するもので、磁気センサ
１０及びトランスミッタ１２から構成される。

【００１８】プロジェクタ２、カメラ６、入出力装置
８、磁気センサ１０、及びトランスミッタ１２は、ホス
トコンピュータ２２に接続されている。ホストコンピュ
ータ２２は、制御部２４、キーボード２６、及びマウス
２８を含んで構成されるいわゆる一般的なコンピュータ
システムである。制御部２４は、プロジェクタ２に出現
させる風船の数、大きさ、浮揚速度、出現頻度などを制
御する感覚刺激制御部である。ユーザ４は、プロジェク
タ２に次々現れる風船を入出力装置８を用いて割ってい
くが、制御部２４は、風船割り動作に伴う入出力装置８
の発光マーカの動きをカメラ６で計測することで、風船
との干渉判定（すなわち、ユーザ４が入出力装置８を風
船にうまく当てたかどうか）を行う。制御部２４はさら
に、風船が割れると同時に、入出力装置８のスピーカを
制御して破裂音を鳴らすことでユーザ４に風船を割った
ことを聴覚的に認識させるとともに、バイブレータを制
御して装置８を振動させることでユーザ４に風船と接触
したことを触覚的に認識させる。ユーザ４に風船を割っ
たことを聴覚的に認識させるために、風船が割れると同
時に入出力装置８のスピーカを介して流していた音楽の
内容を変えるようにしてもよい。

【００１９】磁気センサ１０は、ユーザ４の上腕と背中
に一つずつ装着される。磁気センサ１０は、互いに直交
する３軸周りにそれぞれ巻回されたコイルを備え、トラ
ンスミッタ１２を介して発生させた静磁界中に磁気セン
サ１０を置くことで各コイルに流れる電流を検出するこ
とにより上腕及び背中の三次元位置・姿勢を検出する。
制御部２４は、上腕、背中の三次元位置・姿勢を表す検
出値に基づいて、胴体に対する上腕のヨー角（上腕の左
右方向の開き具合）を演算する。

【００２０】キーボード２６及びマウス２８は、上腕の
ヨー角の運動推奨範囲（安全動作範囲）を入力するデー
タ入力部３０として用いられる。この運動推奨範囲とし
て、個人によって、また運動時の健康状態を考慮した値
が入力される。制御部２４は、上腕ヨー角の運動推奨範
囲をある頻度で超えるようであれば、感覚刺激提示部１
６を構成するプロジェクタ２に表示させる画像を変更
し、大きな上腕ヨー角とならないよう風船出現位置を身
体の正面よりに移動させる。

【００２１】以上のように、ユーザ４が運動推奨範囲内
で動作を行えるよう、制御部２４がプロジェクタ２に表
示させる映像などの有無、内容、レベルを変化させるこ
とにより、ユーザ４は実質的に無意識に安全な動作ポジ
ション、動作姿勢をとることができる。

【００２２】本実施形態において、感覚刺激提示部１６
は、視覚情報を提示する視覚刺激提示手段としてプロジ
ェクタ２、例えば音楽、音や話し言葉などの聴覚情報を
提示する聴覚刺激提示手段として入出力装置８に内蔵さ
れたスピーカ、及びユーザの身体の所定部位に振動など
の触覚情報を提示する触覚刺激提示手段として入出力装
置８に内蔵されたバイブレータを備えている。しかしな
がら、さらに例えば香りなどの嗅覚情報を提示する嗅覚
刺激手段を設けてもよい。視覚刺激提示手段としてプロ
ジェクタ２を用いたが、これは２次元でも３次元でもよ
い。３次元であれば、現実に浮かんでいる風船そのもの
を割っている感覚を生じさせることが可能である。ま
た、プロジェクタ２の代わりに、ＤＬＰ（Digital Ligh
t Processing)、ＣＲＴ、ＰＤＰ（プラズマディスプレ
イパネル）、液晶ディスプレイを用いてもよい。聴覚刺
激提示手段として入出力装置８に内蔵したスピーカを用
いたが、プロジェクタにスピーカを内蔵させてもよい
し、ヘッドホンやイヤホンを利用してもよい。なお、ユ
ーザに提示する内容によっては、ＬＥＤなど単体の光信
号を発生させる点灯信号提示手段を用いてユーザに反応
動作を促す（例えば、図１の例で点灯する毎にユーザに
風船を割らせる。）ことも考えられる。

【００２３】本実施形態では、動作入力部１８は、ユー
ザ４の身振り、手振りなどの動作を検出する動作検出手
段として、入出力装置８に内蔵された発光マーカ、及び
カメラ６を備えている。しかしながら、加えて又は代わ
りに、例えばマイクなどユーザの発話を検出する音声検
出手段（この場合、一例として発話に基づいて風船を割
ったり移動させたりする。）、例えば画像センサ（例え
ばＣＣＤ、ＣＭＯＳ、赤外線センサ）などユーザの視線
の動きを検出する視線検出手段（この場合、一例として
視線の先にある画像を拡大してプロジェクタ２に表示さ
せる。）、及び／又は、例えば画像センサ（例えばＣＣ
Ｄ、ＣＭＯＳ）などユーザの表情を検出する表情検出手
段（この場合、一例として笑顔を検出すると入出力装置
８のマイクから流れる音楽をより楽しいものに変更す
る。）を設けてもよい。動作検出手段として磁気センサ
や画像センサを用いてもよい。なお、動作入力部１８が
運動検出部２０を兼ねることも可能である。

【００２４】本実施形態では、個人データ入力手段３０
としてキーボード２６及びマウス２８を示したが、タッ
チパネル、マイク（音声認識により入力）などでもよ
い。また、リハビリテーションを行う前にユーザ４に実
際に動作させた上で上腕など所定部位の位置・角度の安
全範囲を運動検出手段２０を利用して実測し、この実測
値をリハビリテーション時の安全基準パラメータ（例え
ば上腕ヨー角の運動推奨範囲）として用いるようにして
もよい。

【００２５】本実施形態では、上腕ヨー角を検出対象と
したが、ユーザの動作ポジションに関して身体、腕、手
などの位置を、動作姿勢に関して首、腕、腰、足、膝、
足首など関節の周りの角度を検出対象としてもよい。検
出位置に上述の磁気センサ１０を装着すれば、各部位の
三次元位置・姿勢は容易に検出できる。

【００２６】実施の形態２．図３は、本発明に係るイン
タラクションシステムの実施の形態２を示すブロック図
である。以下、実施の形態１と同一の構成要素には同一
の符号を用いる。本実施形態に係るシステム１ａにおい
て、運動検出部２０ａは、ユーザ４の所定部位の速度及
び／又は（関節周りの）角速度を検出する。ユーザ４の
所定部位の運動量・角運動量が予め設定した運動推奨範
囲を超えないよう、感覚刺激提示部１６により提示され
る刺激の有無、内容、レベルを変化させる。運動量・角
運動量の指標には、検出した速度・角速度にデータ入力
部３０を介して予め入力したユーザ４の運動部位の重さ
を乗算したものを用いる。なお、運動推奨範囲は速度・
角速度の範囲として設定してもよい。

【００２７】一例として、風船を割るために上腕を上下
に動かす運動の際に、ユーザ４が上腕を動かす速度を遅
くさせるよう風船の移動速度を遅くしたり、風船の数を
減らすようにプロジェクタ２に表示させる画像を変更す
る。

【００２８】角速度検出には例えばジャイロセンサを用
いれば、簡易に所定の軸周りの角速度を求めることがで
きる。例えば、上腕、下腕、手の甲、上肢、下肢、足の
甲などにジャイロセンサを装着することで、それぞれの
角速度（例えば上腕であれば、肘周りの角速度）を求め
ることができる。

【００２９】速度検出は、磁気センサを用いて計測した
位置情報を微分処理することにより行うことができる。

【００３０】以上のように、ユーザ４が運動推奨範囲内
で動作を行えるよう、制御部２４がプロジェクタ２に表
示させる映像などの有無、内容、レベルを変化させるこ
とにより、ユーザ４は実質的に無意識に安全範囲内の運
動量、角運動量で所定部位に関する動作を行うことがで
きる。

【００３１】実施の形態３．図４は、本発明に係るイン
タラクションシステムの実施の形態３を示すブロック図
である。本実施形態に係るシステム１ｂにおいて、運動
検出部２０ｂは、ユーザ４の所定部位の加速度及び／又
は（関節周りの）角加速度を検出する。ユーザ４の所定
部位のパワー（瞬発力）・ねじりモーメント（関節トル
クともいう。）が予め設定した運動推奨範囲を超えない
よう、感覚刺激提示部１６により提示される刺激の有
無、内容、レベルを変化させる。パワー・ねじりモーメ
ントの指標には、検出した加速度・角加速度にデータ入
力部３０を介して予め入力したユーザ４の運動部位の重
さを乗算したものを用いる。なお、運動推奨範囲は加速
度・角加速度の範囲として設定してもよい。

【００３２】角加速度検出は、ジャイロセンサを用いて
計測した角速度情報を微分処理することにより行うこと
ができる。加速度検出には例えば加速度センサを用い
る。例えば、手の甲、足の甲、腰などに加速度センサを
装着することで、それぞれの角速度を求めることができ
る。加速度センサの代わりに、磁気センサを用いて計測
した位置情報を２階微分処理して加速度検出を行っても
よい。

【００３３】速度検出は、磁気センサを用いて計測した
位置情報を微分処理することにより行うことができる。

【００３４】以上のように、ユーザ４が運動推奨範囲内
で動作を行えるよう、制御部２４がプロジェクタ２に表
示させる映像などの有無、内容、レベルを変化させるこ
とにより、ユーザ４は実質的に無意識に安全範囲内のパ
ワー、ねじりモーメントで所定部位に関する動作を行う
ことができる。

【００３５】実施の形態４．図５は、本発明に係るイン
タラクションシステムの実施の形態４を示すブロック図
である。本実施形態に係るシステム１ｃにおいて、運動
検出部２０ｃは、画像センサ３２及び画像処理手段３４
を備える。

【００３６】画像センサ３２には例えばＣＣＤ、ＣＭＯ
Ｓ、赤外線センサなどが用いられる。画像処理手段３４
は、画像センサ３２から得られたユーザ４の画像データ
に基づいて、ユーザ４の所定部位の位置、角度、速度、
角速度、加速度及び／又は角加速度を検出し、動作ポジ
ション、動作姿勢、運動量、角運動量、パワー及び／又
はねじりモーメントを求める。一例として、ユーザ４又
はユーザ４に装着したマーカを画像センサ３２にて検出
し、画像処理手段３４にて抽出、トラッキングなどの処
理を行うことで特定部位の認識を行い、ユーザ４の上記
特定部位の位置、角度、速度、角速度、加速度及び／又
は角加速度を演算する。制御部２４は、画像処理手段３
４からの信号に基づいて、予め設定した動作ポジショ
ン、動作姿勢、運動量、角運動量、パワー及び／又はね
じりモーメントの運動推奨範囲を超えないよう、感覚刺
激提示部により提示される刺激の有無、内容、レベルを
変化させる。

【００３７】本実施形態では、ユーザの所定部位の位
置、角度、速度、角速度、加速度及び／又は角加速度を
検出する際に、ユーザ側に装着する各種部品（マーカな
ど）が簡易化、あるいは省略でき（省略する場合は非接
触で各検出量を測定できる利点を有する。）、したがっ
てユーザにとって使い勝手のよいインタラクションシス
テムを提供できる。

【００３８】以上の説明は、本発明の具体的実施形態に
関するものであって、本発明は種々改変可能である。例
えば、上記実施形態では、運動推奨範囲内でユーザが動
作できるようユーザが自ら意識することなく安全な運動
を促すようになっているが、運動推奨範囲を実質的に超
えた場合（特に繰り返し超えた場合）にユーザに警告音
を発してユーザに運動推奨範囲を意識させるなどの機能
をシステムに追加してもよい。

【００３９】また、上記実施形態では、個人データはデ
ータ入力部から入力されていたが、代わりに又はこれに
加えて、インタラクションシステムが個人データベース
を備え、このデータベースの情報に基づいて感覚刺激制
御部が個人に応じた感覚刺激提示部の制御を行うように
してもよい。

【００４０】

【発明の効果】本発明によれば、実質的に無意識に安全
な運動をユーザに行わせることができる。

【図面の簡単な説明】

【図１】 本発明に係るインタラクションシステムの実
施の形態１を示す概要図。

【図２】 本発明に係るインタラクションシステムの実
施の形態１を示すブロック図。

【図３】 本発明に係るインタラクションシステムの実
施の形態２を示すブロック図。

【図４】 本発明に係るインタラクションシステムの実
施の形態３を示すブロック図。

【図５】 本発明に係るインタラクションシステムの実
施の形態４を示すブロック図。

【符号の説明】

１：インタラクションシステム、２：プロジェクタ、
８：入出力装置、１０：磁気センサ、１２：トランスミ
ッタ（静磁界発生装置）、２２：ホストコンピュータ、
２４：制御部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 羽島 一夫 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 平澤 宏祐 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 三輪 祥太郎 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 酒寄 映子 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 鈴木 一正 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B057 AA07 BA02 DA07 DA17 DB02 DC08 DC36 5L096 BA06 CA02 FA67 HA02

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ユーザの反応を促すことを目的としてユ
   ーザに対し感覚刺激を提示する感覚刺激提示手段と、 上記感覚刺激提示手段により提示される感覚刺激に応じ
   たユーザの動作を入力する動作入力手段と、 ユーザの動作に伴うユーザの運動を検出する運動検出手
   段と、 上記動作入力手段により入力されるユーザの動作、及
   び、上記運動検出手段により検出されるユーザの運動に
   応じて、上記感覚刺激提示手段が提示する感覚刺激を制
   御する感覚刺激制御手段とを備えたインタラクションシ
   ステム。
2. 【請求項２】 上記感覚刺激制御手段はさらに、ユーザ
   の個人データに基づいて上記感覚刺激提示手段が提示す
   る感覚刺激を制御することを特徴とする請求項１に記載
   のインタラクションシステム。
3. 【請求項３】 上記運動検出手段は、ユーザの所定部位
   の位置及び／又は角度を検出することを特徴とする請求
   項１又は２に記載のインタラクションシステム。
4. 【請求項４】 上記運動検出手段は、ユーザの所定部位
   の速度及び／又は角速度を検出することを特徴とする請
   求項１又は２に記載のインタラクションシステム。
5. 【請求項５】 上記運動検出手段は、ユーザの所定部位
   の加速度及び／又は角加速度を検出することを特徴とす
   る請求項１又は２に記載のインタラクションシステム。
6. 【請求項６】 上記運動検出手段は、画像センサと、該
   センサから得られたユーザの画像データを処理するため
   の画像処理手段とを備え、 上記画像処理手段で処理された画像データに基づいて、
   ユーザの運動を検出することを特徴とする請求項１〜５
   のいずれか一つに記載のインタラクションシステム。
7. 【請求項７】 ユーザの反応を促すことを目的としてユ
   ーザに対し感覚刺激を提示する感覚刺激提示工程と、 上記感覚刺激提示工程において提示される感覚刺激に応
   じたユーザの動作を入力する動作入力工程と、 ユーザの動作に伴うユーザの運動を検出する運動検出工
   程とを含み、 上記動作入力工程において入力されるユーザの動作、及
   び、上記運動検出工程により検出されるユーザの運動に
   応じて、上記感覚刺激の制御を行うことを特徴とするイ
   ンタラクション方法。