JP2009276970A - 触覚の視覚的処理方法および触覚の視覚的処理装置 - Google Patents

Abstract

【課題】触覚の視覚的処理方法および触覚の視覚的処理装置を提供する。
【解決手段】ハプトグラフ保存システム３０および再現システム５０からなる視覚的処理装置では、従来のような定性的な表現しかできなかった触覚情報をそのまま単に時系列的に保存させるのではなく、解析処理によって例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示ができ、かつ逆解析処理が可能なハプトグラフを保存フォーマットとして用いることで、触覚情報の保存・再現処理を双方向で行うことが可能になる。
【選択図】図４

Description

本発明は、触覚情報を視覚的に保存・圧縮し得る触覚の視覚的処理方法および触覚の視覚的処理装置に関する。

人間の持つ感覚のなかで、機械と人間、若しくは遠隔地に存在する人間と人間との間を結ぶ重要な感覚として、視覚，聴覚，触覚が挙げられる。視覚や聴覚に対応する画像や音声の処理技術は、情報通信工学の発展とともにインターフェースとして急速に広まり、産業の基盤技術として欠かせないものとなっている。例えば、写真，テレビ，電話，蓄音機等の発明により、視覚や聴覚に関する情報の伝送や、保存や、再生が可能となり、さらにはビデオカメラやテレビにより、視覚および聴覚情報の放送も可能になった。これは、あたかも人間が持つ視覚や聴覚が、時間と空間を越えたように感じさせることと等価であるといえる。現在では、そうした視覚や聴覚情報の解析や加工を取り扱うディジタル信号処理技術の開発も、日々進歩している。

一方、感覚情報の一つを担う触覚情報は、視覚や聴覚の情報に次ぐ新たなマルチメディア情報として、これを抽出したり、保存したり、加工したり、伝送したり、人工的に再現したりする技術の開発が求められている。これに対して、マスターシステムとスレーブシステムとによるロボットシステム間の遠隔操作や、動かしている位置とその位置での各種情報を触覚を介して表示するようなハプティック（触覚）ディスプレイは、触覚情報を扱う技術として多くの研究が行なわれている。

しかしながら、上述した視覚や聴覚に関する情報は受動的で、単方向性の感覚情報であるのに対し、触覚情報は実世界における「作用・反作用の法則」に束縛される双方向性の感覚情報であり、しかも接触対象である環境に能動的に接触することで、初めてその情報が得られるので、モデルベースやヴァーチャルリアリティを応用した触覚情報の再現は行なわれているものの、実世界における触覚情報の取得は困難である。実世界ハプティクスは、このような実世界における触覚情報の抽出や再現を扱う学問領域であり、実世界における遠隔地からのバイラテラル力覚フィードバックやマルチラテラル（多方向）触覚伝送技術などが開発されている。

こうした実世界におけるバイラテラル力覚フィードバックの実現に際しては、例えば非特許文献１，２に開示されるように、主に「透明性」の向上を目的として研究が進められてきた。「透明性」には空間透明性と時間透明性の２種類があり、そのうち空間透明性は触覚の再現可能な自由度に相当するため、多自由度力覚フィードバックの効率の良い統合が望まれる。一方、時間透明性は、その再現する触覚情報の周波数帯域に相当するため、触覚情報の直流成分から高周波成分までの時間遅れのない伝達が求められる。

多自由度で広帯域な実世界環境からの力覚フィードバックを実現するためには、ロバスト性を失わずに制御剛性をゼロにするための加速度制御が不可欠であり、非特許文献３で開示されるような外乱オブザーバによる実現手法が広く用いられている。特に非特許文献４では、外乱オブザーバを用いることで、広帯域の力覚情報を力覚センサレスで取得できることが示されており、外乱オブザーバのさらなる広帯域化について多くの研究がなされている。

このように、実世界および実時間における触覚情報の抽出や再現に関する研究は、従来から行なわれているものの、取得した触覚情報を保存し、時間を越えて再現するような技術は開発がなされていない。同時に、触覚情報と視聴覚情報といった他の感覚情報とのクロスオーバ技術の開発も求められているが、双方向性という触覚情報の持つ性質から、その実現は困難なものとなっている。

一方、本願発明者らは、触覚情報を可視化する技術として、「ハプトグラフ（Haptograph）」を提案している（非特許文献５や、特願２００７−２１２６８５号などを参照）。ハプトグラフは、取得した触覚情報に周波数解析を施すことで、あたかも写真のように触覚を色で表現することが可能である。そして、このようなハプトグラフを利用して、これまでにない新たな規格が提案されることが求められていた。
ディー．エイ．ローレンス（D．A．Lawrence）「バイラテラル遠隔操作における安定性と透明性（Stability and Transparency in Bilateral Teleoperation）」、米国電気電子学会 ロボティックスおよびオートメーション論文誌（IEEE Transactions on Robotics and Automation）、第９巻第５号（Vol.9，No.5）、pp．624−637，１９９３年１０月（October，1993） 横小路 泰義，吉川 恒夫（Y．Yokokohji，T．Yoshikawa）、「理想的な運動感覚における計算構築と実験に対するマスター−スレーブのバイラテラル制御（Bilateral Control of Master-Slave Manipulators for Ideal Kinesthetic Coupling-Formulation and Experiment）」米国電気電子学会 ロボティックスおよびオートメーション論文誌（IEEE Transactions on Robotics and Automation）、第10巻第５号（Vol.10，No.5）、pp．605−620，１９９４年１０月（October，1993） 大西 公平，柴田 昌明，村上 俊之（K．Ohnishi，M．Shibata，T．Murakami）、「高性能メカトロニクス用モーション制御（Motion Control for Advanced Mechatronics）」、米国電気電子学会／米国機械学会メカトロニクス論文誌（IEEE／ASME Transactions on Mechatronics）、第１巻（Vol．1）、第１号（No．1）、pp．56−67、１９９６年３月（March,1996） 村上 俊之，郁 方銘，大西 公平（T．Murakami，F．Yu，K．Ohnishi）、「多自由度マニピュレータにおけるトルクセンサレス制御（Torque Sensorless Control in Multidegree-of-freedom Manipulator）」、米国電気電子学会 産業電子論文誌（IEEE Transactions on Industrial Electronics）、第40巻第２号（Vol.40，No.2）、pp．259−265、１９９３年４月（April，1993） 桂 誠一郎，入江 航平，大石 潔（S．Katsura，K．Irie，K．Ohishi）、「広帯域力制御に基づくハプトグラフによる環境情報の視覚化（Visualization of Environmental Information by Haptograph Based on Wideband Force Control）、米国電気電子学会 第３３回産業電子部門年次会議論文（Proceedings of the 33th Annual Conference of the IEEE Industrial Electronics Society）、ＩＥＣＯＮ ２００７年−台北（IECON'07-TAIPEI）、pp．368−373，２００７年１１月（November，2007）

本発明は上記の問題点に鑑みなされたもので、その目的は、触覚情報の保存・再現処理を双方向で行うことが可能な触覚の視覚的処理方法および触覚の視覚的処理装置を提供することにある。

上記課題を解決するために、本発明における触覚の視覚的処理方法は、時系列な力の触覚情報を取得し、前記取得した前記触覚情報を時間領域で解析処理し、逆解析処理により前記触覚情報を再現可能な解析処理結果を記憶手段に保存することを特徴とする。

ここで上記方法においては、環境との接触動作に応じて生じる動作情報に基づき、前記触覚情報を取得することが好ましい。

この場合の前記解析処理結果は、前記触覚情報を周波数解析した周波数解析データを生成することで得られ、前記逆解析処理は逆変換周波数解析であり、前記周波数解析データを該逆変換周波数解析して前記触覚情報を再現するのが好ましい。

また、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、時間領域で解析処理し、前記解析処理結果を逆フーリエ変換または逆ウェーブレット変換または逆コサイン変換により、時間領域で逆解析処理するのが好ましい。

また、前記解析処理により得られる前記解析処理結果を、前記逆解析処理を実行するスレーブシステムと一体または別体に構成された仮想的マスターシステムで保持し、前記仮想的マスターシステムと前記スレーブシステムとの間でバイラテラル力覚フィードバック制御を構成することが好ましい。

また、前記解析処理結果を圧縮処理して記憶手段に保存するのが好ましい。

上記方法に対応するように、本発明における触覚の視覚的処理装置は、時系列な力の触覚情報を取得する手段と、前記取得した前記触覚情報を時間領域で解析処理する処理手段と、逆解析処理により前記触覚情報を再現可能な解析処理結果を記憶手段に保存させる構成としている。

ここで上記装置においては、環境との接触動作に応じて生じる動作情報に基づき、前記触覚情報を取得することが好ましい。

この場合の前記解析処理結果は、前記触覚情報を周波数解析した周波数解析データを生成することで得られ、前記逆解析処理は逆変換周波数解析であり、前記周波数解析データを該逆変換周波数解析して前記触覚情報を再現する構成とするのが好ましい。

また前記処理手段は、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、時間領域で解析処理するものであり、前記解析処理結果を逆フーリエ変換または逆ウェーブレット変換または逆コサイン変換により、時間領域で逆解析処理するデータ処理手段を備えることが好ましい。

また、前記解析処理により得られる前記解析処理結果を、前記逆解析処理を実行するスレーブシステムと一体または別体に構成された仮想的マスターシステムで保持し、前記仮想的マスターシステムと前記スレーブシステムとの間でバイラテラル力覚フィードバック制御を構成することが好ましい。

また前記解析処理結果を圧縮処理して記憶手段に保存することが好ましい。

上記請求項１の方法および請求項７の装置によれば、従来のような定性的な表現しかできなかった触覚情報をそのまま単に時系列的に保存させるのではなく、解析処理によって例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示が可能で、かつ逆解析処理が可能なハプトグラフを、保存フォーマットとして用いることができ、触覚情報の保存・再現処理を双方向で行うことが可能になる。

上記請求項２の方法および請求項８の装置によれば、環境との接触動作に応じて生じる例えば操作力、等価エネルギー、位置、速度、加速度、動力、電流、電圧および電力などの様々な動作情報を、触覚情報として取得することが可能になる。また、これら触覚情報を解析処理結果として保存するようにした場合には、人間の動作の可視化表示だけではなく、その人間の動作の特徴を周波数に基づいて評価、解析することも可能になる。

上記請求項３の方法および請求項９の装置によれば、振幅レベルの程度を例えば色や濃淡で可視化できる周波数解析データにより触覚情報を保存できるとともに、当該周波数解析データを基に触覚情報を再現することが可能になる。

上記請求項４の方法および請求項１０の装置によれば、画像や音声信号処理などの分野で研究開発が進んでいるフーリエ変換またはウェーブレット変換またはコサイン変換を採用し、逆解析処理として逆フーリエ変換または逆ウェーブレット変換または逆コサイン変換を採用することで、触覚情報の時間領域における解析処理を容易に行なうことが可能になる。

上記請求項５の方法および請求項１１の装置によれば、前記解析処理結果を保持した仮想的マスターシステムと、スレーブシステムとの間でバイラテラル力覚フィードバック制御と同様の制御構成を適用することにより、環境をモデル化することなく、環境との接触および非接触を繰り返す動作の再現が可能である。また、仮想的マスターシステムをスレーブシステムと別体とすることで、仮想的マスターシステムとスレーブシステムとをインターネットを介して接続することも可能となり、仮想的マスターシステムに保持した解析処理結果をインターネットを経由してスレーブシステムにダウンロードしてバイラテラル力覚フィードバック制御を実現することも可能となる。

上記請求項６の方法および請求項１２の装置によれば、解析処理結果を保存する際に、圧縮処理するようにしたことにより、ハプトグラフ処理手段５１で解析処理結果を保存する際のデータ保存量を低減させることができる。

本発明における好適な実施の形態について、添付図面を参照して説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また、以下に説明される構成の全てが、本発明の必須要件であるとは限らない。

図１は、本発明の好適な一実施例を示す実世界触覚情報のハプトグラフへの保存と再現の流れを模式的に示している。図中の「ハプトグラフ」とは、触覚情報を可視化する表現方法として、上述した非特許文献５や特願２００７−２１２６８５号などで本願発明者らが提案したものである。この「ハプトグラフ」は、人間の動作や環境との接触によって、アクチュエータのようなハプティック装置１００から生じる反作用力信号および等価エネルギー信号に対して、コンピュータ処理手段２００がフーリエ変換やウェーブレット変換などの周波数解析を施し、さらに必要に応じて、これを例えば環境の表面形状に基づき空間的に配置して、どの位置にどのような周波数成分の振幅レベル（スペクトル）が存在するのかを、振幅レベルの大きさに応じた色や濃淡（グラデーション）で表現することで、その生成が行なわれる。

例えば、一定の圧力でアクチュエータを環境に接触させ、スキャナのように環境表面を移動させながらハプトグラフを生成すれば、環境固有の剛性，粘性，表面形状の凹凸の違いを可視化して表示し、これを保存して標本化することが可能である。このような触覚スキャン機能を、前記ハプティック装置１００に相当する移動ロボットに埋め込めば、走行路面の触覚ベースの地図作成も可能になる。また、ハプトグラフを人間の動作に適用すれば、触覚情報に基づいた動作の特徴が抽出できる。すなわち、実世界における触覚情報をハプトグラフといったフォーマットで保存して可視化することができ、また保存したハプトグラフを元に、触覚情報を再現することも可能である。

触覚情報の再現に際しては、コンピュータ処理手段２００が前記ハプトグラフに対して周波数分析の逆変換処理を施すことで、ハプティック装置１００を介して実世界で触覚情報が再現される。なお、ハプトグラフを生成する際のハプティック装置１００やコンピュータ処理手段２００と、触覚情報を再現する際のハプティック装置１００やコンピュータ処理手段２００とが、同一の機器である必要はない。

次に、実世界における触覚情報をハプトグラフに保存する触覚保存装置のシステム構成について説明する。ここでは、前記「ハプトグラフ」の概念を人間の動作に適用し、触覚ベースでの動作の保存や再現を行なうことを目的としている。触覚情報は視覚情報や聴覚情報とは異なり、実世界における「作用・反作用の法則」に支配されることから、こうした作用力と反作用力をそれぞれ抽出し、再現するためには、バイラテラル力覚フィードバックが必要となる。これは図２に示すように、個体である人間Ａが、実世界で環境Ｅを動かす時に同時に生じる作用力と反作用力を、フィードバック制御部１によって一方のマスターシステム２において作用力だけを抽出し、他方のスレーブシステム３において反作用力だけを抽出することで実現する。こうして、前記ハプティック装置１００に相当する２台のマスターシステム２とスレーブシステム３を、フィードバック制御部１によってバイラテラル力覚フィードバック制御する構成を構築することで、人間Ａの作用力と環境Ｅからの反作用力の分離が可能になり、そこから動作中の触覚情報の抽出が可能になる。

図３は、実世界における触覚情報からハプトグラフを保存可能にするアクチュエータシステム１１の一例を示している。同図において、マスターシステム２に着目すると、ここにはマスターシステム２の設置用固定板として、平面が矩形の金属製板材からなる土台１２が設けられ、その土台１２の上面における長手方向に沿って、金属製からなる丸棒状の軸体１３が土台１２の上面上に前後方向に移動自在に設けられている。また、軸体１３の長手方向のほぼ中央箇所の位置には、土台１２の上面上に固定したリニアモータ１４が装着されている。このリニアモータ１４によって、軸体１３はその長手方向に移動できるようになっている。さらに、軸体１３の長手方向の他端には、検知手段としての位置エンコーダ１５が装着されている。この位置エンコーダ１５によって、軸体１３の位置と加速度とを測定することができる。

また、同様にスレーブシステム３も、スレーブシステム３の設置用固定板として、平面が矩形の金属製板材からなる土台２２が設けられ、この土台２２の上面における長手方向に沿って、金属製からなる丸棒状の軸体２３が土台２２の上面上に前後方向に移動自在に設けられている。また、軸体２３の長手方向のほぼ中央箇所の位置には、土台２２の上面上に固定したリニアモータ２４が装着されている。このリニアモータ２４によって、軸体２３はその長手方向に移動できるようになっている。さらに、軸体２３の長手方向の他端には、検知手段としての位置エンコーダ２５が装着されている。この位置エンコーダ２５によって、軸体２３の位置と加速度とを測定することができる。ここでマスターシステム２とスレーブシステム３では、軸体１３，２３が一軸方向へ押し引き動作するようにしたが、例えば軸体１３，２３が押し引き動作だけでなく、上下動作するなど多軸方向へ動作するようにしてもよい。

図４は、ハプトグラフ保存のためのバイラテラル力覚フィードバック制御の制御システムの一例を示し、マスターシステム２とスレーブシステム３とに基づいてハプトグラフ保存システム３０が構築されている。なお、以下の説明で、図や数式以外では、１階の微分を「・」，２階の微分を「・・」として便宜上あらわし、対応する記号の後に併記する。また、別に推定値をあらわす「＾」を、対応する記号の前に併記する。

このマスターシステム２とスレーブシステム３は、前記リニアモータ１４，２４により構成されており、人間Ａの指で行なう押し引きによる操作に対応している。また、リニアモータ１４，２４が受ける外乱力は、力覚センサを用いずに、外乱オブザーバ３１，３２で推定するように構成されている。ここで、人間Ａの操作力Ｆ_mと、環境Ｅからの反作用力Ｆ_sは、外乱オブザーバ３１，３２により力覚センサレスで以下の各数式のように推定することができる。

上記数１のＦ_m＾は外乱オブザーバ３１によって推定された人間Ａの操作力、上記数２のＦ_s＾は外乱オブザーバ３２によって推定された環境Ｅからの反作用力、上記数１および数２のｇｄｉｓは遮断周波数を表している。また、推定操作力Ｆ_m＾および推定反作用力Ｆ_s＾は、上記数１および数２のように、遮断周波数ｇｄｉｓの１次ローパスフィルタを通して推定されるため、その周波数を向上させることが鋭敏な力覚推定につながる。

力覚センサを用いずに力覚フィードバックを実現するための外乱オブザーバ３１，３２に用いる摩擦同定の精度は、力覚の推定精度に強く影響する。したがって、外乱オブザーバ３１，３２でそれぞれ推定される操作力や反作用力の誤差を最小にするためには、アクチュエータシステム１１としての機構的な摩擦を少なくすることが重要である。因みに、ここでは摩擦の影響を機構的にできるだけ小さくするために、ロッド型のリニアモータ１４，２４として、例えばジイエムシーヒルストン社のシャフトモータを用いている。リニアアクチュエータの詳細を表１に示す。また、アクチュエータシステム１１以外の各部を制御プログラムで構成し、制御プログラムはRT−Linux3.2で実装してそのサンプリングタイムを１００μｓに設定している。

マスターシステム２とスレーブシステム３を用いたハプトグラフ保存システム３０においてバイラテラル力覚フィードバックを実現するためには、人間Ａの操作力Ｆ_mと環境Ｅからの反作用力Ｆ_sとの和を０に制御することと、マスターシステム２の位置ｘ_mとスレーブシステム３の位置ｘ_sとの偏差を０に制御することを、マスターシステム２とスレーブシステム３とが同時に実現するように構成する必要がある。マスターシステム２とスレーブシステム３とが、それぞれロバスト加速度制御系に基づいて制御されている場合、バイラテラル力覚フィードバックの目標は以下の各数式のように表すことができる。

このように、上記数３や上記数４に示すバイラテラル力覚フィードバックの目標式は、マスターシステム２とスレーブシステム３との間の和のモードと差のモードとで表現される。和のモードと差のモードは直交する仮想空間で表現されるため、加速度制御に基づいてそれぞれの空間で独立に制御系を設計することにより、上記の目標を満たすことが可能になる。

先ず始めに、上記数３について説明すると、ハプトグラフ保存システム３０には、上記数３の式の加算値ｘ・・_c ^extを算出するために、マスターシステムから力−加速度変換手段３３を介して出力される等価加速度ｘ・・_m ^extと、スレーブシステム３から力−加速度変換手段３４を介して出力される等価加速度ｘ・・_s ^extとを加算する加算器３５が設けられている。なお、等価加速度ｘ・・_m ^extは、ハプトグラフ保存システム３０に備えた力−加速度変換手段３３を利用して、人間Ａの操作力Ｆ_mから次の数式にて算出できる。

同様に、等価加速度ｘ・・_s ^extは、ハプトグラフ保存システム３０に備えた力−加速度変換手段３４を利用して、環境Ｅからの反作用力Ｆ_sから次の数式にて算出できる。

ここで、Ｍ_nは上述したようにモータのノミナル質量（モータ質量）を示し、加算値ｘ・・_c ^extは、人間Ａの操作力の等価加速度ｘ・・_m ^extと、環境Ｅからの反作用力の等価加速度ｘ・・_s ^extとの和であり、これはバイラテラル力覚フィードバック制御を実現するハプトグラフ保存システム３０の入力となる。加算値ｘ・・_c ^extを０になるように制御することで、人工的に「作用・反作用の法則」を実現することができる。和のモードにおける加速度参照値ｘ・・_c ^refは力サーボ制御器３５により、前記加算値ｘ・・_c ^extと力サーボＣ_fとを乗算して、以下の数式のように生成される。

一方、上記数４の式の偏差ｘ・・_dを算出するために、ハプトグラフ保存システム３０には、マスターシステム２から出力される加速度応答値ｘ・・_mから、スレーブシステム３から出力される加速度応答値ｘ・・_sを減算する減算器３６が設けられる。前記数４において、ｘ・・_mはマスターシステム２の加速度応答値であり、ｘ・・_sはスレーブシステム３の加速度応答値を表しており、記号「→」は２階積分をした位置偏差が０になることを示している。マスターシステム２とスレーブシステム３の加速度応答の偏差ｘ・・_dは、以下の数式のように差のモードにおいて位置レギュレータ制御器３７により、０に制御される。

ここで、ｘ・・_d ^refは差のモードにおける加速度参照値を示す。実際のハプトグラフ保存システム３０は、和のモードにおける力サーボＣ_fと、差のモードにおける位置レギュレータＣ_p（ｓ）とを同時に実現するため、上記数７および数８から生成されるそれぞれの加速度参照値ｘ・・_c ^ref，ｘ・・_d ^refを加速度次元で以下の数式のように統合する。

上式において、左辺のｘ・・_m ^refはマスターシステム２の加速度参照値であり、この値は図４に示すように、各加速度参照値ｘ・・_c ^ref，ｘ・・_d ^refを加算する加算器３８と、この加算器３８で得た値に１／２を乗算する演算器３９とにより生成される。また、ｘ・・_s ^refはスレーブシステム３に入力する加速度参照値であり、この値は図４に示すように、加速度参照値ｘ・・_c ^refから加速度参照値ｘ・・_d ^refを減算する減算器４０と、この加算器４０で得た値に１／２を乗算する演算器４１とにより生成される。

前述のように、マスターシステム２およびスレーブシステム３の各アクチュエータシステム１１は、それぞれロバスト加速度制御されていることから、これらのマスターシステム２およびスレーブシステム３において加速度参照値ｘ・・_m ^ref，ｘ・・_s ^refが実現され、バイラテラル力覚フィードバックが可能になる。そして、このようなマスターシステム２およびスレーブシステム３への力応答に対し、短時間フーリエ変換やウェーブレット変換等の周波数解析をハプトグラフ処理手段（後述する）で施し、触覚情報に含まれる時間と力との関係を示す操作力信号を、時間と周波数との関係を示すハプトグラフに変換した後、これをハプトグラフ処理手段に記憶してデータベースとして保存する。

このように、操作力信号をハプトグラフに変換することで、操作力の時系列データからでは確認できない特徴的な周波数を抽出し、可視化、保存することが可能となる。具体的には、環境Ｅと接触して人間Ａが力を加える際に周波数が大きく表れるようなハプトグラフをデータベースとして保存できる。

また、同様に、このようなマスターシステム２およびスレーブシステム３への位置応答に対し、短時間フーリエ変換やウェーブレット変換等の周波数解析をハプトグラフ処理手段（後述する）で施し、触覚情報に含まれる時間と位置（操作力と速度応答の積を積分したもの）との関係を示す等価エネルギー信号を、時間と周波数との関係を示すハプトグラフに変換した後、これをハプトグラフ処理手段に記憶してデータベースとして保存する。

このように、等価エネルギー信号をハプトグラフに変換することで、操作力の時系列データからでは確認できない特徴的な周波数を抽出、可視化、保存することが可能となる。具体的には、環境Ｅと非接触状態、すなわちマスターシステム２およびスレーブシステム３がフリーモーションを行っている際に周波数が表れるようなハプトグラフをデータベースとして保存できる。

因みに、ここでは、短時間フーリエ変換やウェーブレット変換を適用したが、短時間フーリエ変換以外のフーリエ変換やコサイン変換を採用してもよい。ここでいうフーリエ変換とは、離散フーリエ変換や、高速フーリエ変換（ＦＦＴ）などを含み、コサイン変換は、特殊な離散フーリエ変換である離散コサイン変換や、離散コサイン変換の一手法である変形離散コサイン変換などを含む。また、ウェーブレット変換とは、連続ウェーブレット変換や、離散ウェーブレット変換などを含む。

前記ハプトグラフ保存システム３０は、時系列な力の触覚情報であれば、操作力や等価エネルギーだけでなく、環境との接触動作に応じて生じる例えば位置、速度、加速度、動力、電流、電圧および電力などの様々な動作情報を、触覚情報として取得するようにしてもよい。

また、ハプトグラフ保存システム３０では、ハプトグラフ処理手段にハプトグラフを記憶して保存する際に、所定のサンプリング周期でハプトグラフのデータを間引き処理等の圧縮処理を施すことにより、ハプトグラフのデータ保存量を低減するようにしてもよい。

次に、このようにしてハプトグラフとして保存された実世界触覚情報を再現する再現システムの一例について説明する。図５はハプトグラフに基づいて動作を再現するスレーブシステム３を示し、制御システムの構成等はハプトグラフ保存システム３０のスレーブシステム３と同じものを使用しており、相違点はマスターシステム２に換えて保存システムが接続される点である。

図６は、ハプトグラフ再現のためのバイラテラル力覚フィードバック制御の再現システムの構成の一例を示すものである。ここで、ハプトグラフ保存システム３０においてマスターシステム２およびスレーブシステム３により抽出した動作をハプトグラフに変換する際に用いた情報が、人間Ａの操作力信号と等価エネルギー信号であるため、再現システム５０は、ハプトグラフ処理手段５１に記憶されたハプトグラフに対して逆フーリエ変換などの逆変換周波数解析を施すことにより時系列データが再現される。

ここでは、逆フーリエ変換を適用したが、ハプトグラフを生成する際に用いた周波数解析に応じて逆ウェーブレット変換や、逆コサイン変換などを採用してもよい。要はハプトグラフを逆変換解析することにより時系列的な力の触覚情報が再現されればよい。また、ハプトグラフのデータが圧縮処理された状態で保存されている場合には、当該圧縮処理に対応した所定の復元処理を施すことにより圧縮前のハプトグラフを復元することが可能となる。

この再現システム５０では、ハプトグラフ処理手段５１にハプトグラフが周波数解析データとして保存されており、データ処理手段５２においてハプトグラフの周波数解析データに対し逆変換周波数解析を施す。これにより、等価エネルギー信号の再現データからは位置応答、速度応答、加速度応答をそれぞれ再現することが可能である。従って、再現システム５０では、人間Ａの操作力の再現データＦ_savおよび加速度応答の再現データｘ・・_savを、保存されたハプトグラフに基づいて得ることができる。この再現システム５０では、これら操作力再現データＦ_sav及び加速度応答再現データｘ・・_savを仮想的マスターシステムととらえて、バイラテラル力覚フィードバック制御を構成することにより、過去にマスターシステム３によって行われた動作の再現を実現する。

この仮想的マスターシステムは、スレーブシステムと別体とするようにしてもよく、この場合、仮想的マスターシステムとスレーブシステム３とをインターネットを介して接続することも可能となり、仮想的マスターシステムに保持した解析処理結果をインターネットを経由してスレーブシステム３にダウンロードしてバイラテラル力覚フィードバック制御を実現することも可能となる。

ハプトグラフ再現のためのバイラテラル力覚フィードバックの目標は以下の各数式のように表すことができる。

このように、マスターシステム２およびスレーブシステム３に基づくバイラテラル力覚フィードバック制御と同様に、目標式は和のモードと差のモードで表現される。ここで、再現システム５０には、上記数１０の式の加算値ｘ・・_c ^extを算出するために、データ処理手段５２から力−加速度変換手段５４を介して出力される等価加速度ｘ・・_sav ^extと、スレーブシステム３から力−加速度変換手段３４を介して出力される等価加速度ｘ・・_s ^extとを加算する加算器５５が設けられている。また、上記数１１の式の偏差ｘ・・_dを算出するために、再現システム５０には、データ処理手段５２から出力される加速度応答値ｘ・・_savから、スレーブシステム３から出力される加速度応答値ｘ・・_sを減算する減算器５６が設けられる。前記数１１において、ｘ・・_savは仮想的マスターシステムの加速度応答値であり、ｘ・・_sはスレーブシステム３の加速度応答値を表しており、記号「→」は２階積分をした位置偏差が０になることを示している。

なお、等価加速度ｘ・・_sav ^extは、人間Ａの操作力の再現データの等価加速度であり、再現システム５０に備えた力−加速度変換手段５４を利用して次の数式にて算出できる。

和のモードにおける加速度参照値ｘ・・_c ^refは力サーボ制御器３５により、前記加算値ｘ・・_c ^extと力サーボＣ_fとを乗算して、以下の数式のように生成される。

一方、差のモードにおける加速度参照値ｘ・・_d ^refは位置レギュレータ制御器３７により、前記偏差ｘ・・_dと位置レギュレータＣ_p（ｓ）とを乗算して、以下の数式のように生成される。

ここで、再現システム５０において、ハプトグラフからの実世界触覚情報の再現はスレーブシステム３のみを用いて行われるため、以下の数式のようにスレーブシステム３のみ加速度参照値を生成する。

スレーブシステム３は、ロバスト加速度制御により制御されていることから、上記の加速度参照値ｘ・・_c ^ref，ｘ・・_d ^refが実現され，仮想的マスターシステムに対する力覚フィードバックが可能になる。このように、スレーブシステム３のみを用いる構成でありながら、ハプトグラフの逆変換周波数解析に基づく時系列データを、仮想的マスターシステムととらえて、バイラテラル力覚フィードバック制御と同様の制御構成を適用することにより、人間の動作の再現が可能になる。

次に、実世界触覚情報をハプトグラフに変換して保存するハプトグラフ保存実験と、このハプトグラフ保存実験で保存したハプトグラフに基づき実世界触覚情報を再現するハプトグラフ再現実験を順に行った。先ず始めにハプトグラフ保存実験について以下説明する。ハプトグラフ保存実験では、操作者がマスターシステム２を操作し、スレーブシステム３を環境Ｅに接触させたときのハプトグラフを作成して、当該ハプトグラフにより実世界触覚情報を保存する実験を行った。

具体的には、スレーブシステム３において、約10秒間の間、環境Ｅへの接触と、当該環境Ｅへの非接触を5回繰り返し行った。この実験において、環境Ｅは鉄のブロックを使用した。環境Ｅの形状や硬さなどはモデル化しておらず、制御系にとって未知変数となっている。また、スレーブシステム３の先端の初期値は環境Ｅの表面に接触させた位置に設定した。この実験で用いた制御パラメータを表２に示す。

鋭敏な力覚フィードバックの実現のためには、これらの制御パラメータはできるだけ大きくすることが望まれる。図７および図８は、この実験によって、マスターシステム２とスレーブシステム３とを用いて抽出した動作の時系列データを示すものであり、図７はマスターシステム２およびスレーブシステム３から得た力応答を表し、図８はマスターシステム２およびスレーブシステム３から得た位置応答を表したものである。

図７および図８では、ハプトグラフ保存システム３０がマスターシステム２およびスレーブシステム３に基づく構成となっているため、操作者の操作力と環境Ｅからの反作用力の分離が可能になり、環境Ｅとの接触を含む動作が正確に抽出できていることが分かる。さらに、マスターシステム２で抽出される操作者の操作力と、スレーブシステム３で抽出される環境Ｅからの反作用力の和はほぼ０であり、マスターシステム２とスレーブシステム３との間の位置応答も一致していることから、遠隔地における「作用・反作用の法則」が良好に再現できていることが確認できる。

そして、図７が示すマスターシステム２およびスレーブシステム３から得た力応答を、短時間フーリエ変換を用いてハプトグラフに変換した。その結果、図９に示すような結果が得られた。この図９は、操作力信号のハプトグラフを示している。また、図８が示すマスターシステム２およびスレーブシステム３から得た位置応答を、短時間フーリエ変換を用いてハプトグラフに変換した。その結果、図１０に示すような結果が得られた。この図１０は、操作力と速度応答の積を積分した等価エネルギー信号のハプトグラフを示している。

図９および図１０に示すハプトグラフにおいて、縦軸が周波数を示し、横軸が時間を表しており、スペクトル（周波数成分の振幅レベル）の強さを青から黄、赤に変化するように色で表現している。図９では、環境Ｅと接触して人間が力を加えている際にスペクトルが大きく表れていることが確認できる。また、図１０では、環境Ｅと非接触状態時、すなわちマスターシステム２およびスレーブシステム３がフリーモーションを行っている際にスペクトルが表れていることが分かる。

このように、動作データのうち操作力信号および等価エネルギー信号をハプトグラフに変換表示することで、操作力の時系列データからでは確認できない特徴的な周波数を抽出し、可視化、保存することが可能であることを確認した。

次に、図９及び図１０に示したように保存されたハプトグラフを元に逆フーリエ変換を行うことにより、その再現を行うハプトグラフ再現実験を行った。スレーブシステム３の先端の初期値は環境Ｅの表面に接触させた位置と設定している。図１１及び図１２は再現された人間の時系列データを示している。図１１は、スレーブシステム３において、図９のハプトグラフに基づいて再現された力応答の時系列データを示している。また、図１２は、スレーブシステム３において、図１０のハプトグラフに基づいて再現された位置応答の時系列データを示している。

ハプトグラフ保存システム３０において抽出された動作データである図９と、再現システム５０のスレーブシステム３において再現された動作データである図１１とを比較すると、力応答がよく一致しており、ハプトグラフ保存システム３０のマスターシステム２において行われた動作を正確に再現できることが分かる。

また、ハプトグラフ保存システム３０において抽出された動作データである図１０と、再現システム５０のスレーブシステム３において再現された動作データである図１２とを比較すると、位置応答がよく一致しており、ハプトグラフ保存システム３０のマスターシステム２において行われた動作を再現できることが分かる。このように、再現システム５０では、仮想的マスターシステムとスレーブシステム３の間でバイラテラル力覚フィードバック制御を構成することで、環境Ｅをモデル化することなく、環境Ｅとの接触および非接触を繰り返す動作の再現が可能であることを確認した。結果として、動作データをハプトグラフという保存フォーマットにしたがって双方向に保存・再現が可能であることが実験結果により確認された。

以上のように本実施例では、時系列な力の触覚情報を、入力手段としてのハプトグラフ保存システム３０により取得し、このハプトグラフ保存システム３０で取得した触覚情報を、ハプトグラフ処理手段５１により時間領域で解析処理して、解析処理結果としてハプトグラフを生成し、この逆解析処理により触覚情報を再現可能なハプトグラフを、周波数解析データとしてハプトグラフ処理手段５１に保存する方法と装置を提供している。

このように、ハプトグラフ保存システム３０および再現システム５０からなる視覚的処理装置では、従来のような定性的な表現しかできなかった触覚情報をそのまま単に時系列的に保存させるのではなく、解析処理によって例えば触覚情報の特徴的な周波数について、色や濃淡による可視化表示ができ、かつ逆解析処理が可能なハプトグラフを保存フォーマットとして用いることで、触覚情報の保存・再現処理を双方向で行うことが可能になる。

また、環境Ｅとの接触と非接触とを繰り返すような人間の動作から、マスターシステム２およびスレーブシステム３に基づくバイラテラル力覚フィードバック制御によって、操作力および等価エネルギーを触覚情報として抽出し、これら操作力および等価エネルギーをハプトグラフとして保存するようにした場合には、人間の動作の可視化表示だけではなく、その人間の動作の特徴を周波数に基づいて評価、解析することも可能になる。

また、ハプトグラフ保存システム３０で取得した触覚情報から、この触覚情報を周波数解析した周波数解析データを生成し、再現システム５０でこの周波数解析データを逆変換周波数解析して触覚情報を再現させるようにしたことで、振幅レベルの程度を例えば色や濃淡で可視化できるハプトグラフにより触覚情報を保存できるとともに、当該ハプトグラフを基に触覚情報を再現することが可能になる。

さらに本実施例は、ハプトグラフ保存システム３０で取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により時間領域で解析処理し、再現システム５０で逆フーリエ変換または逆ウェーブレット変換または逆コサイン変換により時間領域で逆解析処理している。つまり、画像や音声信号処理などの分野で研究開発が進んでいるフーリエ変換またはウェーブレット変換またはコサイン変換等の解析処理やその逆解析処理を採用することで、触覚情報の時間領域における解析処理を容易に行なうことが可能になる。

さらに、逆変換処理により再現された操作力および等価エネルギーを仮想的マスターシステムと見立て、スレーブシステム３との間でバイラテラル力覚フィードバック制御と同様の制御構成を適用することにより、環境Ｅをモデル化することなく、環境Ｅとの接触および非接触を繰り返す動作の再現が可能である。

その他、本実施例では、解析処理結果を保存する際に、圧縮処理するようにしたことにより、ハプトグラフ処理手段５１で解析処理結果を保存する際のデータ保存量を低減させることができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の要旨の範囲において種々の変形実施が可能である。例えば、上述した実施の形態においては、固定した一乃至複数の点の位置に関係する触覚情報を適用した場合について述べたが、本発明はこれに限らず、特願２００７−２１２６８５に記載された空間領域解析部を設け、当該空間領域解析部の内蔵する有限要素法の変換機能によって、実世界空間を小空間に分割して抽出された触覚情報を時間領域で解析し、その結果を２次元空間に投影できるように、実世界空間上の位置と関連付けした触覚情報を適用してもよい。なお、空間領域解析部は、空間領域を小空間に分割して数値解析を行なうもので、これを実現する手法としては、有限要素法がよく知られている。

上記実施例で提示した「ハプトグラフ」により、触覚情報を視覚化（可視化）することが可能になるため、それまで「つるつる」や「ざらざら」といった定性的な表現に代わり、触覚情報をより直感的且つ定量的に表現することが可能な状態で保存することができる。さらに、上記実施例におけるハプトグラフ保存システム３０と再現システム５０は、インターネットや放送などの有線または無線通信手段によって遠隔地に配置されていてもよく、その場合は触覚情報を遠隔地に配信する際に、視覚化された情報をハプトグラフ保存システム３０から送り出すことで、どの場所にあっても直感的かつ定量的に触覚を再現することができる。さらに、ここで提案する「ハプトグラフ」をこれまでにない実世界触覚情報のディジタル保存フォーマットとして用いることにより、時間・空間を越えて実世界触覚情報を再現させることへの道を拓いたといえる。

本発明の一実施例におけるハプトグラフによる実世界触覚情報の保存・再現を示す概略図である。 同上、バイラテラル力覚フィードバックによる「作用・反作用の法則」の人工的実現の概念を示した説明図である。 同上、マスターシステムとスレーブシステムの実験装置を示す説明図である。 同上、ハプトグラフ保存システムにおける全制御系の構成を具体的に示すブロック線図である。 同上、スレーブシステムの実験装置を示す説明図である。 同上、再現システムにおける全制御系の構成を具体的に示すブロック線図である。 図２の実験装置による実験結果であって、人間のハプトグラフ保存システムにおける力応答を示すグラフである。 図２の実験装置による実験結果であって、人間のハプトグラフ保存システムにおける位置応答を示すグラフである。 図７に示した力応答を周波数解析した結果得られたハプトグラフである。 図８に示した位置応答を周波数解析した結果得られたハプトグラフである。 再現システムにおいて、図９に示したハプトグラフを逆周波数解析した結果得られた力応答を示すグラフである。 再現システムにおいて、図１０に示したハプトグラフを逆周波数解析した結果得られた位置応答を示すグラフである。

符号の説明

３０ ハプトグラフ保存システム（時系列な力の触覚情報を取得する手段）
５１ ハプトグラフ処理手段（処理手段、記憶手段）

Claims (12)

1. 時系列な力の触覚情報を取得し、
   前記取得した前記触覚情報を時間領域で解析処理し、
   逆解析処理により前記触覚情報を再現可能な解析処理結果を記憶手段に保存する
   ことを特徴とする触覚の視覚的処理方法。
2. 環境との接触動作に応じて生じる動作情報に基づき、前記触覚情報を取得する
   ことを特徴とする請求項１記載の触覚の視覚的処理方法。
3. 前記解析処理結果は、前記触覚情報を周波数解析した周波数解析データを生成することで得られ、
   前記逆解析処理は逆変換周波数解析であり、前記周波数解析データを該逆変換周波数解析して前記触覚情報を再現する
   ことを特徴とする請求項１または２記載の触覚の視覚的処理方法。
4. 前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、時間領域で解析処理し、
   前記解析処理結果を逆フーリエ変換または逆ウェーブレット変換または逆コサイン変換により、時間領域で逆解析処理する
   ことを特徴とする請求項１〜３の何れか一つに記載の触覚の視覚的処理方法。
5. 前記解析処理により得られる前記解析処理結果を、前記逆解析処理を実行するスレーブシステムと一体または別体に構成された仮想的マスターシステムで保持し、前記仮想的マスターシステムと前記スレーブシステムとの間でバイラテラル力覚フィードバック制御を構成する
   ことを特徴とする請求項１〜４の何れか一つに記載の触覚の視覚的処理方法。
6. 前記解析処理結果を圧縮処理して記憶手段に保存する
   ことを特徴とする請求項１〜５の何れか一つに記載の触覚の視覚的処理方法。
7. 時系列な力の触覚情報を取得する手段と、
   前記取得した前記触覚情報を時間領域で解析処理する処理手段と、
   逆解析処理により前記触覚情報を再現可能な解析処理結果を記憶手段に保存させる構成とした
   ことを特徴とする触覚の視覚的処理装置。
8. 環境との接触動作に応じて生じる動作情報に基づき、前記触覚情報を取得する
   ことを特徴とする請求項７記載の触覚の視覚的処理装置。
9. 前記解析処理結果は、前記触覚情報を周波数解析した周波数解析データを生成することで得られ、
   前記逆解析処理は逆変換周波数解析であり、前記周波数解析データを該逆変換周波数解析して前記触覚情報を再現する構成とした
   ことを特徴とする請求項７または８記載の触覚の視覚的処理装置。
10. 前記処理手段は、前記取得した触覚情報をフーリエ変換またはウェーブレット変換またはコサイン変換により、時間領域で解析処理するものであり、
    前記解析処理結果を逆フーリエ変換または逆ウェーブレット変換または逆コサイン変換により、時間領域で逆解析処理するデータ処理手段を備える
    ことを特徴とする請求項７〜９の何れか一つに記載の触覚の視覚的処理装置。
11. 前記解析処理により得られる前記解析処理結果を、前記逆解析処理を実行するスレーブシステムと一体または別体に構成された仮想的マスターシステムで保持し、前記仮想的マスターシステムと前記スレーブシステムとの間でバイラテラル力覚フィードバック制御を構成する
    ことを特徴とする請求項７〜１０の何れか一つに記載の触覚の視覚的処理装置。
12. 前記解析処理結果を圧縮処理して記憶手段に保存する
    ことを特徴とする請求項７〜１１の何れか一つに記載の触覚の視覚的処理装置。