JP2014519669A - 人間と機械の相互作用のためのインターフェースシステム - Google Patents

Abstract

ユーザの体（Ｂ）に着用可能又は取り付け可能なセンサ及びアクチュエータの装置（１２）と、
遠隔処理システムにある制御装置とデータを交換し、物理環境におけるユーザの位置及び運動を示すデータを装置へ伝送し、且つ、ユーザに対して、動作環境との相互作用を示す感覚をユーザの体の少なくとも一点に伝送するように、管理ユニット（１４）とを備える、人間と機械の相互作用のためのインターフェースシステム（１０）。
センサ及びアクチュエータは、多数の動作モジュール（１６）に支持されており、入力及び出力通信ポートの各組を通じて少なくとも１つの通信チャネルに向いている。動作モジュールは、動作モジュールを平面配置及び／又は積層配置に互いに組み合わせ可能であるように相互接続装置（１８）を備える。

Description

本発明は、人間と機械の相互作用のためのインターフェースシステムに関する。
この人間と機械の相互作用のためのインターフェースシステムは、ユーザの体に着用可能又は取り付け可能なセンサ及びアクチュエータの装置と、
センサ及びアクチュエータの装置を管理すると共に、遠隔処理システムにある制御装置とデータを交換し、物理環境におけるユーザの運動を示すデータを制御装置へ伝送し、且つ、ユーザに対して、遠隔処理システムが生成し又は少なくとも制御する動作環境とユーザとの相互作用を示す感覚を、ユーザの体の少なくとも一点に局部的に伝送する、少なくとも１つの管理ユニットとを備え、
ここで、センサ及びアクチュエータの装置は、物理環境においてセンサの運動を示す測定データを収集し、管理ユニットを通じて制御装置に測定データを供給するように構成されている少なくとも１つのセンサネットワークと、管理ユニットを介した制御装置からの指示データに基づいて、動作環境においてユーザとの相互作用を示す少なくとも１つの感覚を、ユーザの体の少なくとも一点に誘起するように構成されている少なくとも１つのアクチュエータネットワークとを備える。

このようなシステムは、例えば、ゲームとエンターテイメント環境のための、触覚的なフィードバックシステムに関して、欧州特許第１５３３６７８号明細書に記載されている。この公知のシステムは、ユーザが着用可能な衣服品又は他のアクセサリに取り付けられるアクチュエータとセンサを備える。このシステムの使用可能性は、衣服品又はアクセサリに取り付けられたアクチュエータネットワークとセンサネットワークの特定の配置によって決定される。

本発明の目的は、使用条件に合わせて、公知のシステムと比較してより高度な汎用性、柔軟性、及び適応性を得られるインターフェースシステムを提供することである。

このような目的の観点から、本発明の主題は、センサとアクチュエータが多数の動作モジュールによって支持されている初めに定義した種類のシステムが、入力及び出力通信ポートの各組を通じて少なくとも１つの通信チャネルに向いており、通信チャネルを通じて管理ユニットに動作的に接続され、この通信チャネルにおいて、動作モジュールは、動作モジュールを互いに平面配置及び／又は積層配置で組み合わせ可能であるような相互接続手段を備えるということである。

解決手法のこのような考えによれば、センサとアクチュエータを支持する動作モジュールは、動作モジュールが集合できるように、即ち「分子」のように組み合わせ可能であってもよく、ユーザの体の決められた知覚点において一連の異なった測定データを収集でき、及び／又は、ユーザの体の決められた刺激点において局部的な方法でユーザに触覚的な刺激もしくは他の刺激を与えることができる。

優位点として、好ましい実施形態によると、センサとアクチュエータの動作は、管理ユニットを通じてユーザの体にあるセンサ及びアクチュエータの位置に基づき、且つ、処理システムによって生成し又は少なくとも制御される動作環境とユーザとの所望の相互作用に基づき、処理システムによってユーザが調整可能である。

さらに本発明の目的は、人間と機械の相互作用のためのシステムが、
制御装置を実行するための処理システムと、
インターフェースとを備え、
このインターフェースシステムは、
−ユーザの体に着用可能又は取り付け可能なセンサとアクチュエータの装置と、
−センサ及びアクチュエータの装置を管理すると共に、物理環境におけるユーザの運動を示すデータを制御装置へ伝送し、且つ、ユーザに対して、処理システムが生成し又は少なくとも制御する動作環境とユーザとの相互環境を示す感覚を、ユーザの体の少なくとも一点に局部的に伝送する、管理ユニットと
を備え、
センサ及びアクチュエータの装置は、物理環境においてセンサの運動を示す測定データを収集し、管理ユニットを通じて制御装置に測定データを供給するように構成された少なくとも１つのセンサネットワークと、管理ユニットを通じて制御装置から得られた指示データに基づいて、仮想現実における対象との相互作用を示す少なくとも１つの感覚を誘起するように構成された少なくとも１つのアクチュエータネットワークとを備え、
センサ及びアクチュエータは多数の動作モジュールに支持されており、入力及び出力通信ポートの各組を通じて少なくとも１つの通信チャネルに向いており、通信チャネルを通じて管理ユニットに動作的に接続され、この通信チャネルにおいて、動作モジュールは、動作モジュールを互いに平面配置及び／又は積層配置で組み合わせ可能であるような相互接続手段を設けられている。

本発明に係るシステムのさらなる特徴と優位点は、添付図面を参照して、非限的な例としてのみ与えられ、以下の詳細な説明から明らかになるだろう。

本発明に係るインターフェースシステムの動作モジュールの平面図における模式図。 図１の多数の動作モジュールの模式図。 図２とは異なる構成の図１の多数の動作モジュールの模式図。 本発明に係る人間と機械の相互作用のためのシステムの模式図。

図を参照して、特に図４では、人間と機械の相互作用のためのインターフェースシステムは全体に１０で示されている。

このシステム１０は、ユーザの体Ｂに着用可能又は取り付け可能なセンサ及びアクチュエータの装置１２を備える。このような装置１２は、例えば、衣服品、着用可能なアクセサリ、道具などに取り付けられる。

システム１０は、センサ及びアクチュエータの装置１２を管理すると共に、遠隔処理システムＰＳにある制御装置とデータを交換し、物理環境におけるユーザの運動を示すデータを制御装置へ伝送し、且つ、ユーザに対して、遠隔処理システムＰＳが生成し又は少なくとも制御する動作環境とユーザとの相互作用を示す感覚を、ユーザの体の少なくとも一点に局部的に伝送する、管理ユニット１４をさらに備える。

本発明の実施形態によれば、このような動作環境は処理システムによって生成される仮想現実から構成されてもよい。別の実施形態によれば、上述の動作環境は、例えば、ＣＡＤ又はＣＡＭアプリケーションであるソフトウェアアプリケーションから構成されてもよい。他の実施形態によると、動作環境はロボット装置を制御する場合のように処理システムが制御する物理環境から構成されてもよい。

センサ及びアクチュエータの装置は、物理環境におけるセンサの運動を示す測定データを収集し、管理ユニット１４を通じて制御装置にデータを供給するように構成された少なくとも１つのセンサネットワークと、管理ユニット１４を通じて制御装置から得られる指示データに基づいて、仮想現実における対象との相互作用を示す少なくとも１つの感覚を誘起するように構成された少なくとも１つのアクチュエータネットワークとを備える。

上述のセンサ及びアクチュエータは、多数の動作モジュール１６によって支持されており、このモジュールのうち、１つが個別に概略的な態様で図１に表されている。このような動作モジュール１６は、入力及び出力通信ポートの各組を通じて、少なくとも１つの通信チャネルに向いており、上述の通信チャネルを通じて管理ユニット１４に動作的に接続されている。このような通信チャネルは、例えば、通信バス、又はメッシュ無線ネットワークであってもよい。

図１を参照して、個々の無線モジュール１６は、正多角形の形状を有する板要素からなり、特に六角形の形状のプリント回路基板（ＰＣＢ）である。動作モジュール１６は、図２，４に示されているような平面配置、及び／又は、図３に示されているような積層配置で、互いに組み合わせ可能であるように機械的な相互接続手段１８を備える。

個々の板要素１６は、各雄型及び雌型の側方接続用の多数の電気コネクタ１９ａ、１９ｂを備え、これらは交互に板要素１６の周囲の多角形の側方に構成される。

さらに、個々の板要素１６は、板要素１６の対向面にそれぞれ配置されている、（少なくとも）一組の雄型及び雌型の電気コネクタの鉛直方向の接続部１９ｃ（雌型接続は図では見えない）を備えている。

優位点としては、相互接続手段１８は同一の板要素の電気コネクタ１９ａ，１９ｂ，１９ｃを備える。これに代わる実施態様では、このような相互接続手段は電気コネクタを用いない装置によって構成されてもよい。

本発明の目的に対して、「互いに組み合わせ可能な動作モジュール」が意味することは、相互接続手段が必要に応じて動作モジュール間で直接物理的な相互接続が可能であるように構成されるということである。このような相互接続手段は、例えば、スナップ接続装置のような機構的な手段、又は磁性的な手段で成されている。当然ながら、必要に応じてこのような相互接続手段は、モジュール間で媒介される物理的な相互接続を行うために、例えばホースである媒介部材と連携して構成されてもよい。

回路の観点から、各動作モジュールは対応するマイクロコントローラによって支持されている。発明者はＰＩＮレベルで以下の構成を伴った側方６ピン型の電気コネクタを有する動作モジュールのプロトタイプを作成した。
Ｖｃｃ
ＧＮＤ
Ｉ２Ｃ ＳＤＡ（ｄａｔａ）
Ｉ２Ｃ ＳＣＬ（ｃｌｏｃｋ）
Ｔｘ ＵＡＲＴ
Ｒｘ ＵＡＲＴ

これに代えて、側方型の電気コネクタと同じ構成であるが、ブートローダ（ＭＩＳＯ，ＭＯＳＩ，ＲＥＳＥＴ，ＣＬＫ）のフラッシュが可能であるように、しかしプログラムを更新するためにも使用されてもよい、４チャネルを追加した１０ピン型の鉛直型のコネクタが使用されている。

上述のように、インターフェースシステムのセンサ及びアクチュエータは、動作モジュール１６によって支持されている。図１において動作モジュールは、２２で示されているセンサと、２４で示されているアクチュエータの両方を支持している。個々の動作モジュール１６が１つ以上のセンサのみを支持する検知ユニットとして実行されてもよく、又は、１つ以上のアクチュエータのみを支持する動作ユニットとして実行されてもよいことは明らかである。

プロトタイプ段階で、発明者は以下のハードウェアユニットを作成した。

管理ユニット即ちマスタユニット
このユニットは図４で表されており、１４で示されている。構造的な観点から、センサ及びアクチュエータを支持する動作モジュール１６の形状と類似した形状の動作モジュールとしてもまた有利に実行され、平面又は鉛直方向の相互接続構成を有するような動作モジュールと共に実行するための機構的な相互接続手段を備える。発明者が作成したプロトタイプでは、このユニットはマルチプレクサーバスを備え、且つ、そのコネクタが個別のＩ２Ｃバスに分離されており、バスごとに１２７ユニットまで接続するのに役立つ点で他のモジュールから区別されている。上で示したように、マスタユニットは動作モジュール１６と遠隔処理システムＰＳとの間でのデータ通信に関してシステム全体を管理する。

シリアル通信ユニット
このユニットは、図には描かれていないが、センサ及びアクチュエータを支持する動作モジュール１６の形状と類似した形状を有する動作モジュールとして構造上の観点から有利に実行され、このような動作モジュールと平面又は鉛直方向の相互接続構成を満たす相互接続手段を備える。このユニットは、インターフェースシステム１０のシリアルポートを介して処理システムＰＳと通信可能である。プロトタイプ段階ではこのようなユニットは、ＵＳＢインターフェースで実行されている。

無線通信ユニット
このユニットは、図には描かれていないが、センサ及びアクチュエータを支持する動作モジュール１６の形状と類似した形状を有する動作モジュールとして構造上の観点から有利に実行され、このような動作モジュールと平面又は鉛直方向の相互接続構成を満たす相互接続手段を備える。このユニットにより、インターフェースシステム１０は処理システムＰＳとの無線通信が可能である。プロトタイプ段階では、ジグビー装置を用いて実行されている。

当然ながら、例えば、ＷｉＦｉ、ブルートゥース、又は、ＧＰＲＳモデムデバイスを備える、他の種類の通信ユニットが用いられてもよい。

動作ユニット
このユニットは図で全体に１６で示されているが、管理ユニット１４からの指示データに基づいて、処理システムによって生成される仮想現実で、対象との相互作用を示す少なくとも１つ以上の感覚を誘起する１つ以上のアクチュエータを備える。プロトタイプ段階では、このようなユニットは２つの振動モータ、ペルチェセル、及び連続的な電流モータによって実行されており、このようなユニットは２つのＰＷＭ（Pulse Width Modulation）信号を制御するための２つのＨ型の橋を備える。

当然ながら、例えば、流体アクチュエータである他の種類のアクチュエータもまた用いられてもよい。他の動作装置は、例えば、煙又は戻り力のような、液体又は他の効果を放出する装置であってもよい。

孔ユニット
このユニットは、先に記載したような動作ユニットであるが、例えば触覚的なフィードバックのためのカーソルのような機構部が可動するための中心孔を備える。

検知ユニット
このユニットは図では全体に１６で示されているが、物理環境におけるセンサの運動を示す測定データを収集し、管理ユニット１４にこのような測定データを供給する１つ以上のセンサを備える。プロトタイプ段階では、このようなユニットは、３次元空間で方向ベクトルを出力する加速度計によって実行されている。動作モジュールの空間上の位置は、外部の追跡システムによって得られ、特に処理システムＰＳによって管理される光学式の追跡システムによって得られる。

当然ながら、例えば、温度センサ、磁場、湿度、強度、たわみ、又は光度センサなどの他の種類のセンサを用いてもよい。動作モジュールの空間局所化のために、追跡システムに代えて、このようなモジュールは対応する位置ユニットを備えてもよい。

電源ユニット
このユニットはインターフェースシステムに電力を供給する。プロトタイプ段階では、このようなユニットは電池挿入用の座部を備え、実行されている。

当然ながら、他の供給手段が用いられてもよい、例えば、外部の電気ネットワークに接続されてもよいし、又は、光電池のように電力源から独立していてもよい。

上に挙げられたユニットに加えて、例えば、質量記憶ユニット、又は、マイクロフォン、マイクロスピーカ、ミニディスプレイ、もしくはマイクロカメラを備える非触覚的な入力／出力ユニットのような他の機能を有するユニットがあってもよい。

さらに、異なる機能が同じユニット／動作モジュールに組み込まれていてもよい。例えば、無線通信装置が管理／マスタユニット１４に組み込まれていてもよい。この場合には専用の無線通信ユニットを省略できる。他の例としてはまた、管理／マスタユニット１４がアクチュエータ及び／又はセンサを備えてもよい。

個々のマスタユニットがアクチュエータ及びセンサの独自のネットワークを管理するような複数のマスタユニットが存在してもよく、この場合にはルーティング機能を有する管理ユニット/スーパーマスタユニットを提供できる。これに関しては、個々のマスタユニットが独自のアクチュエータ及び／又はセンサを備えるマスタユニットによってのみ形成されるネットワークを提供することもできる。

発明者によって実施されているプロトタイプシステムでは、個々のユニットはプログラムされており、インターフェースシステムが同時により多くのタスクを実行できるように、動作システムによってリアルタイムに管理されている。

マスタユニット内では以下のタスクが構成されている。
−通信タスク、即ちシリアルポート及びＩ２Ｃによる通信管理。
−データ調査タスク、即ちそれらの状態について情報を得るための全ユニットの巡回調査。

以下のタスクが、プロトタイプの動作ユニットに存在している。
−温度制御タスク−あらかじめ定められた点に対する温度管理を行うための基本的な種類のＰＩＤ制御器が実行されている。
−位置到達タスク−このタスクは探索表（Look-Up Table）による開ループでのＤＣモータの位置管理専用である。

以下のタスクが、プロトタイプの検知ユニットに存在している。
−方向計算タスク−一旦加速度計のアナログ値が得られると方向ベクトルが計算される。

一般に、利用可能なＲＡＭ容量を完全に満たすまで個々のユニットに対して特定のタスクを形成することは可能である。

上記のプロトタイプシステムでは、インターフェースシステム１０と処理システムＰＳとの間の通信は、有線のシリアルモード又は無線モードの主に２つのモードで行われる。代わりにユニット相互の通信はＩ２Ｃプロトコルを介して起こり、個々のユニットは独自のアドレスを割り当てられる。データ通信は、以下のデータプロトコルを用いることで行われる。
$ CommandType | UnitAddress | CommandValue #

単一コマンド又は大規模コマンドは、必要に応じて（例えばユーザに送られてくる感覚刺激が複雑な組み合わせになっている場合など）相互に依存して、リアルタイムに動作を実行するために管理されていてもよい。

上述のように、動作モジュールはプログラム可能であり、従ってセンサ及びアクチュエータの動作は、ユーザの体上のセンサ及びアクチュエータの所望の配置に基づいて、且つ、処理システムによって生成される仮想現実とユーザとの所望の相互作用に基づいて、ユーザが処理システムＰＳによって管理ユニット１４を通じて構築及び再構築可能である。

動作モジュールの構築及び再構築は、コンパイラを使用して動作モジュールを手動でプログラムすることで生じるか、又は光学認知処理もしくはＲＦＩＤによっても生じる。

光学認知処理の例は以下のようである。

ユーザは体の所望の部分に動作モジュールを配置することによって、処理システムＰＳのカメラに動作モジュール１６を映し、続いて使用モードを選択する。例えば、前腕に配置された触覚刺激を生成するためのユニットが使用された場合、処理システムの画面から出た立方体をシミュレートするソフトウェアアプリケーションは、立方体がユーザの腕に仮想的に接触したとき、動作モジュールに触覚的な刺激を生成させる。

他の例は以下のようである。

ユーザは、火器の使用をシミュレートするために、接触感覚、熱刺激、振動を生成するのに適した複数の動作モジュール１６とマスタユニット１４を組み合わせる。その後ユーザは、このようなモジュールのセット即ち分子をカメラに映し、固定システムを通じて指の上に火器を配置する。この一連の流れを個々の所望の指に対して繰り返してもよい。この点でユーザは、この場合は火器であるが、仮想の対象の特質と相互に作用する。仮想の火器を掴むことによってユーザは接触感覚を得る。一方で、仮想の引き金を引くことにより、振動及び熱のような感覚を担う動作モジュールの位置に依存したあらかじめ決められた動作点でユーザは振動及び熱の感覚を得る。

１０ インターフェースシステム
１２ センサ及びアクチュエータの装置
１４ 管理ユニット
１６ 動作モジュール
１８ 相互接続手段
１９ａ，１９ｂ，１９ｃ 電気コネクタ
２２ センサ
２４ アクチュエータ

Claims (9)

1. ユーザの体（Ｂ）に着用可能又は取り付け可能なセンサ及びアクチュエータの装置（１２）と、
   前記センサ及びアクチュエータの装置を管理すると共に、遠隔処理システム（ＰＳ）にある制御装置とデータを交換し、物理環境における前記ユーザの運動を示すデータを前記制御装置へ伝送し、且つ、前記ユーザに対して、前記遠隔処理システムが生成し又は少なくとも制御する動作環境と前記ユーザとの相互作用を示す感覚を、前記ユーザの体の少なくとも一点に局部的に伝送する、少なくとも１つの管理ユニット（１４）と、を備え、
   前記センサ及びアクチュエータの装置は、前記物理環境において前記センサの運動を示す測定データを収集し、前記管理ユニット（１４）を通じて前記制御装置に前記測定データを供給するように構成されている少なくとも１つのセンサ（２２）のネットワークと、前記管理ユニット（１４）を通じて前記アクチュエータが受け取る前記制御装置からの指示データに基づいて、前記ユーザの体の前記少なくとも一点に、前記動作環境と前記ユーザとの相互作用を示す少なくとも１つの感覚を誘起するように構成されている少なくとも１つのアクチュエータ（２４）のネットワークと、を備え、
   前記センサ及び前記アクチュエータは、入力及び出力通信ポートの各組を通じて少なくとも１つの通信チャネルに向いており、且つ、前記通信チャネルを通じて前記管理ユニットに動作的に接続されている、多数の動作モジュール（１６）によって支持されており、前記動作モジュールは、前記動作モジュールを平面配置及び／又は積層配置に互いに組み合わせ可能であるように相互接続手段（１８）を備えることを特徴とする、人間と機械の相互作用のためのインターフェースシステム（１０）。
2. 前記動作モジュールは、板要素によって構成され、前記相互接続手段は、個々の前記板要素に設けられた１つ以上の電気コネクタで構成される、請求項１に記載のシステム。
3. 前記動作モジュールは、正多角形状である板要素から構成され、個々の前記板要素は、側方接続用の多数の雄型及び雌型の電気コネクタ（１９ａ，１９ｂ）を備え、前記雄型及び雌型の電気コネクタは、前記板要素（１６）の多角形の周囲の側方に交互に配置される、請求項１又は２に記載のシステム。
4. 個々の前記板要素は、前記板要素（１６）の対向面にそれぞれ配置される、鉛直方向の接続のための少なくとも一組の雄型及び雌型の電気コネクタ（１９ｃ）を有する、請求項１から３のいずれか１項に記載のシステム。
5. 制御装置を実行するための処理システム（ＰＳ）と、
   インターフェース（１０）とを備え、
   前記インターフェース（１０）は、
   −ユーザの体（Ｂ）に着用可能又は取り付け可能なセンサ及びアクチュエータの装置（１２）と、
   −前記センサ及びアクチュエータ装置を管理すると共に、前記制御装置とデータを交換し、物理環境における前記ユーザの運動を示すデータを前記制御装置へ伝送し、且つ、前記ユーザに対して、前記遠隔処理システムが生成し又は少なくとも制御する動作環境と前記ユーザとの相互作用を示す感覚を、前記ユーザの体の少なくとも一点に局部的に伝送する、少なくとも１つの管理ユニット（１４）と
   を備え、
   前記センサ及びアクチュエータの装置は、前記物理環境において前記センサの運動を示す測定データを収集し、前記管理ユニット（１４）を通じて前記制御装置に前記測定データを供給するように構成されている少なくとも１つのセンサ（２２）のネットワークと、前記管理ユニット（１４）を通じて前記アクチュエータが受け取る前記制御装置からの指示データに基づいて、前記ユーザの体の前記少なくとも一点に、前記動作環境と前記ユーザとの相互作用を示す少なくとも１つの感覚を誘起するように構成されている少なくとも１つのアクチュエータ（２４）のネットワークと、を備え、
   前記センサ及び前記アクチュエータは、入力及び出力通信ポートの各組を通じて少なくとも１つの通信チャネルに向いており、且つ、前記通信チャネルを通じて前記管理ユニットに動作的に接続されている、多数の動作モジュール（１６）によって支持されており、前記動作モジュールは、動作モジュールを平面配置及び／又は積層配置に互いに組み合わせ可能であるように、相互接続手段（１８）を備えることを特徴とする、人間と機械の相互作用のためのシステム。
6. 前記動作モジュールは板要素で構成され、前記相互接続手段は前記の個々の板要素に設けられた１つ以上の電気コネクタに構成されている、請求項５に記載の装置。
7. 前記動作モジュールは正多角形状である板要素で構成され、個々の前記板要素は側方接続用の多数の雄型及び雌型の電気コネクタ（１９ａ，１９ｂ）を備え、前記板要素（１６）の多角形の周囲の側方に交互に構成される、請求項５又は６に記載のシステム。
8. 個々の前記板要素は、前記板要素（１６）の対向面にそれぞれ構成される、鉛直方向の接続のための少なくとも一組の雄型及び雌型の電気コネクタ（１９ｃ）を有する、請求項５から７のいずれか１項に記載のシステム。
9. 前記センサ及び前記アクチュエータの動作は、前記ユーザの体（Ｂ）上の前記センサ及び前記アクチュエータの所望の配置に基づいて、且つ、前記処理システムが生成し又は少なくとも制御する前記動作環境と前記ユーザとの所望の相互作用に基づいて、前記ユーザが前記処理システムによって前記管理ユニットを通じて構成可能である、請求項５から８のいずれか１項に記載のシステム。

Images