JP2020021491A - 使用者を仮想環境と同期化させる方法及び着用可能な装置 - Google Patents

Abstract

【課題】仮想のアプリケーション、特にコンピュータゲーム又は他のソフトウェアアプリケーションから使用者へ、身体的フィードバックを送るための装置を提供する。【解決手段】使用者と仮想環境との双方向の生理的及び技術的同期化のための方法が、使用者の生体測定パラメータ及び／又は運動学的パラメータを取得し、使用者の生体測定パラメータ及び／又は運動学的パラメータをアプリケーションプログラムに伝送し、アプリケーションプログラムでフィードバック信号を発生させ、フィードバック信号をコンピュータに送信し、フィードバック信号を処理し、使用者の皮膚と接触することによって使用者の神経系に身体的な感覚を呼び覚ますフィードバックパルスを送ることからなり、フィードバックパルスが、電気パルスのカスケード状分布の原理を用いて伝送される。この方法及び実施するための着用可能な装置は、使用者に対して高い現実味感を作り出すことができる。【選択図】なし

Description

本発明は、特に、仮想アップリケーション、コンピュータゲーム又は他のプログラムアプリケーションから使用者に身体的フィードバックを提供する分野に属する。

情報技術の発展は、科学論文において「バーチャルリアリティ」又は「バーチャルリアリティ（ＶＲ）システム」と称する技術的及び心理的な現象を創造することを可能にした。プログラミング技術の発展、半導体集積回路の処理量の急速な増大、情報を使用者に伝達してフィードバックを得るための特別な機器の発展は、仮想世界に入り込む人に、新しい質の知覚を与え、その人に、見て体験するだけでなく、その人自身に作用する機会をもたらした。

包括的なバーチャルリアリティシステムは、以下の特性を処理しなければならない。包括的なバーチャルリアリティシステムは、使用者の行動に応答し（双方向であり）、包括的なバーチャルリアリティシステムは、リアルタイムで３Ｄ−グラフィックスの仮想世界を導入し、感覚的連結システムを用いて没入効果を生じさせる。この目的で、包括的なバーチャルリアリティシステムと使用者は、十分に同期化されなければならない。

現在、仮想環境において双方向性及び現実味を帯びた身体的フィードバックをもたらす多数のバーチャルリアリティシステムがある。

本発明の最も密接に関連する技術（本明細書では、「原型」と称する）は、アプリケーションプログラムからのフィードバックを通じて、使用者の身体に身体的な感覚を伝える方法である。この方法は、アプリケーションプログラムにおいてフィードバック信号を発生させ、フィードバック信号を着用可能な受信手段に送信し、受信したフィードバック信号に基づき、インターフェースとしての使用者の皮膚及びこの方法のための着用可能な付属物を用いて、身体的なフィードバック感覚を、使用者の身体及び／又は頭に伝える。着用可能な付属物には、仮想環境から多感覚フィードバックを発生さ殻体ための種々の機械的及び電気的なトリガーと、種々の生体及び環境センサが備わっている。アプリケーションソフトのメインコントロールパネル及び着用可能な付属物の層に応じて使用者によって調節される種々の監視用具が、刺激されている触覚の強さを制御する。上記技術の不都合な点は、いろいろなタイプの干渉から受けるフィードバックパルスの調節が、十分に知覚することができないことである。手入力の「低−高」設定の変更は、調節の範囲である。一般的な調節は、パルス挙動のある一定のパターンを設定し、このパターンは、全ての妨害物と一致している。パルスの衝撃は、選択的で、仮想環境における種々の物体及び媒体に関する種々のタイプの干渉からの全ての範囲の身体的な感覚を伝えるわけではない。

本発明の目的は、フィードバックパルスの挙動を十分に知覚することのできるようにして高い現実味感を作り出すこと；仮想環境におけるあらゆる変化を、出現している出来事の最高の感覚経験を得つつある使用者の感覚認知レベルに伝達すること；使用者とデジタル環境インテリジェンスとの間に双方向モードのインスタントダイレクト（フィードフォーワード）とフィードバックの関係を構成すること；ゲーム又はシミュレーション過程において、可能な限りの没入をもたらすこと；適したデジタルダブルを創作することである。

上記の目的は、以下のようにして達成される。使用者と仮想環境との双方向の生理的及び技術的同期化のための方法であって、使用者の生体測定パラメータ及び／又は運動学的パラメータを取得し、使用者の生体測定パラメータ及び／又は運動学的パラメータをアプリケーションプログラムに伝送し、アプリケーションプログラムでフィードバック信号を発生させ、フィードバック信号を、コンピュータに送信し、フィードバック信号を処理し、使用者の皮膚と接触することによって使用者の神経系に身体的な感覚を呼び覚ますフィードバックパルスを送る方法において、フィードバックパルスが、電気パルスのカスケード状の分布原理を用いて伝送される本発明による方法が提案される。

本発明による方法を実施するため、使用者と仮想環境との双方向の生理的及び技術的同期化のための着用可能な装置が提案される。この使用者と仮想環境との双方向の生理的及び技術的同期化のための着用可能な装置の種々の実施の形態のうちの一つが、使用者の生体測定パラメータ及び／若しくは運動学的パラメータを集めるための少なくとも１個の要素；並びに／又は電気的フィードバックパルスを送るための少なくとも１個の要素；さらに下記の選択肢から選ばれる少なくとも１個の作業ユニットを接続するための少なくとも１個のスロットを有する少なくとも１個のモジュールを備え、
使用者の生体測定パラメータ及び／又は運動学的パラメータを集めるための装置、
電気的フィードバックパルスを送るための装置、
コンピュータユニット、
電気パルス発生ユニット、
電力供給ユニット、
アプリケーションプログラムと組み合わせるためのユニット；
表示装置及び／又は遠隔のプログラム制御コンソールとして機能するモバイル装置と組み合わせるためのユニット、及び
定位ユニット；
モジュールは、３層からなる可撓性プレートの形態に構成されており；生体測定パラメータ及び／若しくは運動学的パラメータを集めるための要素並びに／又は電気的フィードバックパルスを送るための要素は、使用者の皮膚と接触する層の外側に配置され；作業ユニットを接続するためのスロットは、外層の外側に配置されている。

本発明による方法を実施するための第２の態様では、使用者と仮想環境との双方向の生理的及び技術的同期化のための着用可能な装置であって、使用者の生体測定パラメータ及び／若しくは運動学的パラメータを集めるための少なくとも１個の要素；並びに／又は電気的フィードバックパルスを送るための少なくとも１個の要素；さらに下記の選択肢から選ばれる少なくとも１個の作業ユニットを接続するための少なくとも１個のスロットを備えた着用可能な装置であり、
使用者の生体測定パラメータ及び／又は運動学的パラメータを集めるための装置、
電気的フィードバックパルスを送るための装置、
コンピュータユニット、
電気パルス発生ユニット、
電力供給ユニット、
アプリケーションプログラムと組み合わせるためのユニット、
表示装置及び／又は遠隔のプログラム制御コンソールとして機能するモバイル装置と組み合わせるためのユニット、及び
定位ユニット；
着用可能な装置は、使用者の身体にぴったりと合うように適合することのできる弾性の殻体であり；弾性の殻体において、使用者の皮膚に接触している層は、導電性であり；生体測定パラメータ及び／若しくは運動学的パラメータを集めるための要素並びに／又は電気的フィードバックパルスを送るための要素は、使用者の身体に接触している側の導電性の層に配置されている。

本発明の着用可能な装置は、弾性の殻体からなる又は弾性材料に取り付けられたモジュラープレートからなる一点の衣類の形態に構成してもよい。

アプリケーションプログラムと組み合わせるための好ましい装置は、無線通信モジュール又は有線通信ポート、特にＵＳＢ（ユニバーサルシリアルバス）又はＣＯＭ（コンポーネントオブジェクトモデル）−インターフェースである。

好ましい定位装置は、ＧＰＳモジュール又は反響定位モジュール、レーザーエミッタのシステム又はマルチモジュラー３Ｄシステムである。

本発明は、フル機能の同期化をもたらして高い現実味感を作り出すこと、仮想環境におけるあらゆる変化を、出来事の最高の経験を得つつある使用者の感覚認知レベルに伝達すること、使用者とデジタル環境インテリジェンスとの間に瞬間的な双方向の直接的なつながりとフィードバックを構成すること、ゲーム又はシミュレーション過程において、最大限の没入をもたらすこと、及び好適なデジタルダブル（ツイン）を創作することを可能にするものである。

本発明が、以下の図面において図説されている。

本発明による使用者と仮想環境との双方向の生理的及び技術的な同期化方法の全体図（フローチャート）。 カスケード方式の電気パルス分布、工程１。 カスケード方式の電気パルス分布、工程２。 カスケード方式の電気パルス分布、工程３。 可撓性３層プレートの形態の本発明の全体図。 使用者の皮膚と接触する可撓性３層プレートの第１層の図。 可撓性３層プレートの内部層の図。 可撓性３層プレートの外側層の図。 可撓性カバーの形態をした本発明による着用可能な装置の外側面の図。 可撓性カバーの形態をした本発明による着用可能な装置の内側面の図。 モジュラースーツの形態をした着用可能な装置の正面図。 モジュラースーツの形態をした着用可能な装置の背面図。 モジュール式手袋型マニピュレータを、手の甲側から見た図。 モジュール式手袋型マニピュレータを、手のひら側から見た図。 可撓性カバースーツの形態をした着用可能な装置の正面図。 可撓性カバースーツの形態をした着用可能な装置の背面図。 可撓性カバー手袋型マニピュレータの平面図。 可撓性カバー手袋型マニピュレータを、手の甲側から見た図。 スーツと手袋型マニピュレータとの間の接合部。

図１には、本発明による、使用者と仮想環境との双方向性の生理的及び技術的同期化方法のフローチャートが示されている。

この本発明に係る方法によれば、生体測定パラメータを集めるための要素１及び運動学的パラメータを集めるための要素２が、使用者の生体測定パラメータ及び運動学的パラメータを集め、それらのパラメータを、パラメータを集めるための装置３に伝送する。パラメータを集めるための装置３は、受信したパラメータを処理して共通のコンピュータ４に送られる信号にし、それらの信号は、共通のバス５によって、共通のコンピュータ４とリンクされる。共通のコンピュータ４は、結合ユニット６を通じて受信した信号のバーストを、遠隔のデータ処理ユニット７に入力されたアプリケーションプログラムに伝送する。アプリケーションプログラムは、フィードバック信号を発生させ、それらのフィードバック信号を、結合ユニット６を通じて共通のコンピュータ４に伝送する。共通のコンピュータ４は、受信したフィードバック信号を処理し、パルス発生装置８に指令を伝達する。パルス発生装置８は、フィードバックパルスを発生させ、それらのフィードバックパルスを、電気的フィードバックパルスを送るための装置９に伝送する。電気的フィードバックパルスを送るための装置９は、フィードバックパルスを、フィードバックパルス伝送要素１０（本明細書において、以下「電極」と称する）及び／又はペルチェ素子１１に送る。

フィードバックパルスは、神経終末に作用し、これが、筋肉又は筋肉群を収縮させる。仮想環境において、使用者の仮想身体領域が仮想物体と遭遇すると、アプリケーションプログラムは、フィードバック信号を発生させ、それらのフィードバック信号を、結合ユニット６を通じてコンピュータ４に送信する。コンピュータ４は、パルス発生装置８用の対応する指令を発生させる。パルス発生装置８は、発生させたパルスを、電気的フィードバックパルスを送るための装置９を通じて、使用者の実際の身体の同じ領域に位置する電極１０とペルチェ素子１１に送る。

極めて現実味を帯びたフィードバックを確保するため、信号が使用者に送られ、電極１０及びペルチェ素子１１には、パルスのカスケード状の分布原理を用いて、種々の振幅、周波数及び応力のパルスが送られる。

図２、図３及び図４には、「緩やかな」電気パルス分布原理が示されており、ここでは、パルスは、より強いパワーからより弱いパワーさらに全面的な減衰までの種々のパワー範囲を有している。

図２には、使用者の身体上のランダムな電極１０系統領域が示されており、最も強いパルスが接触点１０−１で生じている。

図３では、電極接触点１０−１における第１の電気パルスが、最も大きなパワーを有しており、最も刺激の強い場所である。第１の電気パルスのパワーは、電子的に計算され、仮想環境における衝撃の種類に応じて決まる。パワーのレベルは、衝撃の種類に従って保存された数値ライブラリから取り出される。

電極接触点１０−２における第２の電気パルス及び接触点１０−３における第３の電気パルスは、パワーがより弱く、第１の電気パルス１０−１のパワーに応じてソフトウェアによって計算される。電気パルスは、所要の予めプログラムされた値によって自動的に和らげられる。

図４では、信号は、弱まりながら分布して、電極接触点１０−４において、その接地電位に達する。

こうして、カスケード状の分布は、極めて現実味を帯びた感知システムをもたらす。

電気パルスを巧みに配列することにより、複雑な触知できる感覚を、残りの二次感覚を刺激しながら、伝送することを可能にしている。

合理的なエネルギー消費になるよう、電極は、連鎖の原理を用いて作動する。例えば、１０個の電極にパルスを送るには、パルスは先ず第１の電極に送られた後、第１の電極から除去され、次いで第２の電極に送られ、以下同様である。これらは全て非常に高周波の作動であり、全ての電極へのパルス付与の痕跡（ｉｍｐｒｅｓｓｉｏｎ）がもたらされる。

特許請求の範囲に記載の方法の実施のために、本発明は、２種類の異なる実施の形態の着用可能な装置を想定している。

２種類の異なる実施の形態のうちの一方の例は、３個の作用層（図６〜図８）を有する可撓性の三層プレート１２（図５）の形態に構成されたモジュールである。使用者の皮膚と接触する内部層１２−１（図６）は、ワイヤ１３によって接続された一組の電極１０及び／又はペルチェ素子（図示せず）か、生体測定センサ及び／又は運動学的センサ（図示せず）を備えている。内部層１２−２（図７）は、一組の電極の接触部１４、一組の共通のバスの接触部１５、一組の作業ユニットの接触部１６、及びラッチ１７を備えている。

第３の層（図８）の内側は、相方のラッチ１８、第２の層（図示せず）の接触部と対向した接触部を備え、一方、外側は、作業ユニットを接続するためのスロット１９を有している。

このモジュールは、１個又は２個の層を有していてもよく、又は多層でもよい。

本発明における着用可能な装置の第２の実施の形態の例は、弾性の殻体２０（図９、図１０）である。弾性の殻体２０（図９）の外側面には、切欠き２１があり、切欠きには、一端に固定ロッド２３を有する強化肋骨状部材２２が挿入されている。強化肋骨状部材２２と固定ロッド２３は、使用者の身体に対する弾性の殻体２０のフィット感を調節する束縛装置を構成している。

弾性殻体２０の内側面（図１０）には、使用者の身体と接触する導電性の被膜２４が、層状に形成されている。導電性の被膜２４には、電極１０及び／又はペルチェ素子（図示せず）が層状に形成されている。

本発明による着用可能な装置の実施の形態のうちの１形態は、弾性の布地２７に取り付けられた種々の形態のモジュール１２を備えるスーツ２５（図１１、図１２）、又は手袋型マニピュレータ２６（図１３、図１４）である。この実施の形態は、電極を、身体にフィットさせることができる。プレート１２は、取り外し可能なので、破損やスーツを洗濯する場合に、必要ならば、構成部分を取り替えることができる。

使用者の身体と接触するスーツ２５及び手袋型マニピュレータ２６の内側面には、共通のバス、接地ケーブル、パルスワイヤ及びモジュールワイヤが中に配置されたワイヤ用の溝（図示せず）が、設けられている。

他の実施の形態では、着用可能な装置は、弾性の殻体を備えたスーツ２９（図１５、図１６）又は手袋型マニピュレータ３０（図１７、図１８）である。

スーツ２９と手袋型マニピュレータ３０の外面には、種々のユニットを取り付けるためのスロット３１、３２、３３、３４、３５を設けてもよい。

手袋型マニピュレータ２６及び３０は、手袋型マニピュレータ２６及び３０の下部に位置するスロット３６、並びにスーツ２５及び２９の袖の端に位置するスロット３７（図１９）によって、スーツ２５及び２９に取り付けられる。

スーツを着用する時には、使用者は（発生装置によって電極及びペルチェ素子に送られるパルスのピークの特徴を決定する）較正段階を経る。この段階は、２個のステップからなっている。

第１ステップ−最小電圧をかけることによって最大衝撃を測定するステップ
第２ステップ−最大衝撃による心地の悪い状態を決定するステップ
これら２個のパラメータを得た後は、スーツは、極めて心地よい感覚の範囲で使用することができる。

不快感は、運動学的パラメータ収集要素を用いて測定することができる。不快な場合には、コンパスによって検知することのできる間節角度の変化につながる人間の筋肉の収縮が、目視できるようになる。

本発明のスーツには、安全と健康保護の手段が備わっている。この目的で、全ての調節可能なパラメータには制限があり、胸の領域にある電極は、低パワーである。

本発明の着用可能な装置における感知システムの作動は、（種々の振幅、周波数、電圧及び応力を有する）信号の、電極及びペルチェ素子への送信に基づいている。これらの信号は、神経終末に作用し、これが、筋肉又は筋肉群を収縮させ、熱感／冷感を伝える。信号は、パルス発生装置によってつくられる。電気的フィードバックパルスを送るための装置は、一組の電子スイッチである。電子スイッチは、電気パルスを電気パルス発生装置に送る役目を担っている。コンピュータ４は、パルス発生装置と電気パルス発生装置のパラメータを管理している。コンピュータはまた、遠隔のデータ処理ユニットに入力されたアプリケーションプログラムとの接続も行っている。

電気パルス供給要素をオンとオフにする種々の組み合わせは、仮想空間において生じる出来事から、種々の現実味を帯びた身体的感覚を再現することができる。

例えば、知覚できる感覚を伝達するための電気パルスが、引力を伝達して仮想空間で使用者が手に持っている仮想物体の質量を調節するため、手袋型マニピュレータの手の平側に位置する電気パルス供給要素に送られ、仮想物体の重力を伝達するため、着用可能な装置の二頭筋−三頭筋の領域にある電気パルス供給要素に送られる。

一次感覚と二次（反射）感覚の原理は、いろいろな身体領域にある電気パルス供給要素をオンとオフにする種々の選択肢を組み合わせることにより、達成される。これらの感覚は、同時に又は二次感覚が短時間遅れて現れる。この原理は、仮想物体が使用者の身体に触れるだけでなく、使用者の身体に突き刺さる又は使用者の身体を貫通する場合に、ある種の衝撃、特に「侵通（ｐｅｎｅｔｒａｔｉｏｎ）」を伝えるのに用いられる。

カスケード状パルス分布システムは、円滑な衝撃効果を作り出すための弱まってゆく信号分布を、必ずしも伴うものではない。分布は、反復可能な上昇又は下降のパターンを有していてもよい。このことは、適正な液体、気体及び流体の媒体シミュレーションに、極めて重要である。

波状分布は、多くの物理現象の間で一般的である。提案された本発明におけるカスケード状パルス分布原理を行うことは、これらの現象のシミュレーション及びそのシミュレーションに基づく特殊な効果を作り出すことを可能にする。

電気パルス供給要素を密に配置すると、カスケード状パルス分布原理が、よりいっそう適切になる。パルス伝送の精度が上がり、それにより、流体状及びガス状媒体シミュレーションの精度が上がり、仮想環境に障害がある場合に一般的な質が向上する。

本発明において提案された技術は、エンターテイメント産業、科学研究（シミュレーションモデル）、教育（訓練プログラム、シミュレータ）、医療（治療、予防及び研究）、軍需産業（シミュレータ、補助装置）、映画産業、緊急９１１番（補助装置）、コンピュータグラフィックス産業、インターネット上（多次元ユーザーコネクション、社会適応型インターフェース）において適用することができる。

本発明に従い、使用者と仮想環境との双方向に生理的及び技術的同期化のためのスーツが開発され、このスーツの商品名は、Ｔｅｓｌａ Ｓｕｉｔである。

Claims (13)

1. 使用者と仮想環境との双方向の生理的及び技術的同期化のための方法であって、
   使用者の生体測定パラメータ及び／又は運動学的パラメータを取得し、
   使用者の生体測定パラメータ及び／又は運動学的パラメータをアプリケーションプログラムに伝送し、
   アプリケーションプログラムでフィードバック信号を発生させ、
   フィードバック信号を、コンピュータに送信し、
   フィードバック信号を処理し、
   使用者の皮膚と接触することによって使用者の神経系に身体的な感覚を呼び覚ますフィードバックパルスを送る方法において、フィードバックパルスが、電気パルスのカスケード状分布を用いて伝送される方法。
2. 使用者と仮想環境との双方向の生理的及び技術的同期化のための着用可能な装置であって；
   使用者の生体測定パラメータ及び／若しくは運動学的パラメータを集めるための少なくとも１個の要素；並びに／又は電気的フィードバックパルスを送るための少なくとも１個の要素；さらに下記の選択肢のグループから選ばれる少なくとも１個の作業ユニットを接続するための少なくとも１個のスロットを有する少なくとも１個のモジュールを備えた着用可能な装置において、
   使用者の生体測定パラメータ及び／又は運動学的パラメータを集めるための装置、
   電気的フィードバックパルスを送るための装置、
   コンピュータユニット、
   電気パルス発生ユニット、
   電力供給ユニット、
   遠隔のデータ処理ユニットに入力されたアプリケーションプログラムと組み合わせるためのユニット、
   表示装置及び／又は遠隔のプログラム制御ユニットとして機能するモバイル装置と組み合わせるためのユニット、及び
   定位ユニット；
   モジュールは、内側側面と外側側面を有する可撓性プレートの形態に構成されており；生体測定パラメータ及び／若しくは運動学的パラメータを集めるための要素並びに／又は電気的フィードバックパルスを送るための要素は、使用者の皮膚と接触する可撓性プレートの内側側面に配置され；作業ユニットを接続するためのスロットは、可撓性プレートの外側側面に配置されている、着用可能な装置。
3. モジュールが、取り外し自在である、請求項２に記載の着用可能な装置。
4. 弾性材料に取り付けられたモジュールを備える１点の衣類である、請求項２に記載の着用可能な装置。
5. 使用者と仮想環境との双方向の生理的及び技術的同期化のための着用可能な装置であって；
   使用者の生体測定パラメータ及び／若しくは運動学的パラメータを集めるための少なくとも１個の要素；並びに／又は電気的フィードバックパルスを送るための少なくとも１個の要素；さらに下記の選択肢から選ばれる少なくとも１個の作業ユニットを接続するための少なくとも１個のスロットを備えた着用可能な装置において、
   使用者の生体測定パラメータ及び／又は運動学的パラメータを集めるための装置、
   電気的フィードバックパルスを送るための装置、
   コンピュータユニット、
   電気パルス発生ユニット、
   電力供給ユニット、
   遠隔のデータ処理ユニットに入力されたアプリケーションプログラムと組み合わせるためのユニット、
   表示装置及び／又は遠隔のプログラム制御ユニットとして機能するモバイル装置と組み合わせるためのユニット、及び
   定位ユニット；
   前記着用可能な装置は、使用者の身体にぴったりと合うように適合することのできる弾性の殻体であり；弾性の殻体において、使用者の皮膚に接触している側面は、導電性であり；生体測定パラメータ及び／若しくは運動学的パラメータを集めるための要素並びに／又は電気的フィードバックパルスを送るための要素は、弾性の殻体の導電性の側面に配置されている、着用可能な装置。
6. 一点の衣類である、請求項５に記載の着用可能な装置。
7. アプリケーションプログラムと組み合わせるためのユニットが、無線通信ユニットである、請求項２又は５に記載の着用可能な装置。
8. アプリケーションプログラムと組み合わせるためのユニットが、有線通信ユニットである、請求項２又は５に記載の着用可能な装置。
9. 定位ユニットが、ＧＰＳモジュールである、請求項２又は５に記載の着用可能な装置。
10. 定位ユニットが、反響定位モジュールである、請求項２又は５に記載の着用可能な装置。
11. 定位ユニットが、レーザーエミッタのシステムである、請求項２又は５に記載の着用可能な装置。
12. 定位ユニットが、マルチモジュール式の３Ｄシステムである、請求項２又は５に記載の着用可能な装置。
13. モバイル装置と組み合わせるためのユニットが、調節及び取り外しが可能である、請求項２又は５に記載の着用可能な装置。

Images