JP2001051726A - 個性対応型機械制御装置 - Google Patents

個性対応型機械制御装置

Info

Publication number
JP2001051726A
JP2001051726A JP22575099A JP22575099A JP2001051726A JP 2001051726 A JP2001051726 A JP 2001051726A JP 22575099 A JP22575099 A JP 22575099A JP 22575099 A JP22575099 A JP 22575099A JP 2001051726 A JP2001051726 A JP 2001051726A
Authority
JP
Japan
Prior art keywords
operator
force
unit
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP22575099A
Other languages
English (en)
Inventor
Hide Sawai
秀 沢井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22575099A priority Critical patent/JP2001051726A/ja
Publication of JP2001051726A publication Critical patent/JP2001051726A/ja
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【課題】 操作者の個性に対応して動作する個性対応型
機械制御装置を提供すること。 【解決手段】 少なくとも操作者11が操作する操作部
12、20からの操作情報と、操作者の個人情報を検出
する検出部16a、16bと、上記操作情報及び上記個
人情報とを処理する制御部13、14、17と、を有
し、この制御部により上記操作情報と上記個人情報が処
理されると共に、上記操作部に対して上記操作者の個性
に対応した出力情報が提供されることを特徴とする個性
対応型機械制御装置10。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えばバーチャル
リアリティ(仮想現実感)装置や遠隔操作ロボット等に
用いられる個性対応型機械制御装置に関するものであ
る。
【0002】
【従来の技術】一般に、バーチャルリアリティ装置や遠
隔操作ロボットにおける、操作者への例えば力触覚提示
は、コンピュータ技術とロボット技術を融合して、未知
の感覚を生み出すことができる新しいヒューマン・マシ
ン・インタフェース技術である。この力触覚提示によっ
て、操作者は、実際に物体に触れていないにもかかわら
ず、そこに物体が実在するような感覚を仮想的に感じる
ことができるようになっている。
【0003】バーチャルリアリティ装置等において、こ
の力触覚提示を行なう場合、例えばコンピュータ内で予
め用意された仮想物体の硬さデータや、被提示対象物で
ある仮想物体内への侵入度等に基づいて、一定の計算式
を用いて操作者への力触覚提示量を計算するようにして
いる。例えば、特開平05−282279号に開示され
ているように、記憶させた複数のユーザの属性即ち身長
や視力,聴力等の属性値に基づいて、パラメータを算出
する方法がある。また、例えば遠隔操作ロボットのマス
ター(操作者)側への力触覚提示の場合、スレーブ側に
設けた接触センサや力センサ等の信号から一定の計算式
を用いて操作者への力触覚提示量を計算するようにして
いる。
【0004】
【発明が解決しようとする課題】しかしながら、これら
のバーチャルリアリティ装置や遠隔操作ロボットにおけ
る力触覚提示は、例えば操作者の力に関する個人差に対
応しているものではないため、例えば、力の弱い人に対
しては、バーチャルリアリティ装置から大きな力が提示
されて、操作者が怪我等を負うおそれがある。
【0005】これに対して、操作者側にて、力触覚提示
量をスイッチやボリウム等によって切換えたり変更調整
できるようにすることも可能でなるが、個々の操作者の
力に関する個性の違いに対して適切な力触覚提示を行な
うことは困難であると共に、同一操作者においても、そ
のときの体調や疲労度により力触覚提示量を微調整する
必要があり、常に適切な力触覚提示を行なうことは不可
能であった。
【0006】本発明は、以上の点に鑑み、操作者の個性
に対応して動作する個性対応型機械制御装置を提供する
ことを目的としている。
【0007】
【課題を解決するための手段】上記目的は、本発明によ
れば、少なくとも操作者が操作する操作部からの操作情
報と、操作者の個人情報を検出する検出部と、上記操作
情報及び上記個人情報とを処理する制御部と、を有し、
この制御部により上記操作情報と上記個人情報が処理さ
れると共に、上記操作部に対して上記操作者の個性に対
応した出力情報が提供されることを特徴とする個性対応
型機械制御装置により、達成される。
【0008】上記構成によれば、少なくとも操作者が操
作する操作部からの操作情報と、操作者の個人情報を検
出する検出部と、上記操作情報及び上記個人情報とを処
理する制御部と、を有しているので、この操作者の現況
を精密に把握することができる。また、本構成によれ
ば、上記制御部により上記操作情報と上記個人情報が処
理されると共に、上記操作部に対して上記操作者の個性
に対応した出力情報が提供されるので、この操作者の状
況に応じた出力情報に基づき個性対応型機械制御装置は
動作する。
【0009】好ましくは、請求項1の構成において、上
記操作者の個人情報が、操作者の力に関する情報であ
り、上記出力情報が、上記操作部の力触覚提示量であ
り、上記制御部では、この操作者の力に関する情報に基
づいて、その動力学的特性及び動作列特性を自動的に学
習し、この結果を記憶部に記憶させると共に、上記制御
部では、この記憶部に記憶された結果に基づいて、上記
操作部の上記力触覚提示量を調整するように制御されて
いる個性対応型機械制御装置である。
【0010】上記構成によれば、操作者の力に関する情
報に基づき、その動力学的特性及び動作列特性を自動的
に学習し、この結果を記憶部に記憶させると共に、上記
制御部では、この記憶部に記憶された結果に基づいて、
上記操作部の上記力触覚提示量を調整するように制御さ
れているので、上記操作者の力に関する情報は、上記記
憶部に記憶されている結果と比較等され、この比較等を
した後、上記操作部の上記力触覚提示量が調整されるこ
とになる。したがって、操作者の力に対応して、上記制
御部が上記操作部の上記力触覚提示量を調整することに
なり、任意の操作者の力に関する個人差に対応して、適
切な力触覚提示が自動的に行われることになる。
【0011】好ましくは、請求項2の構成において、上
記操作者の力に関する情報が、この操作者の筋電位情報
でり、上記結果が力のプロファイルである個性対応型機
械制御装置である。
【0012】上記構成によれば、上記操作者の力に関す
る情報が、この操作者の筋電位情報であり、上記結果が
力のプロファイルであるため、上記操作者の筋電位情報
は、上記記憶部に記憶されている力のプロファイルと比
較等され、この比較等をした後、上記操作部の上記力触
覚提示量が調整されることになる。したがって、操作者
の筋電位情報に対応して、上記制御部が上記操作部の上
記力触覚提示量を調整することになり、任意の操作者の
力に関する個人差に対応して、適切な力触覚提示が自動
的に行われることになる。また、上記制御部は、必要な
ときに、上記記憶部から力のプロファイルを読み出し
て、これに基づき上記力触覚提示量の調整が行われる。
【0013】好ましくは、請求項2の構成において、上
記制御部がリアルタイムの上記操作者の力のプロファイ
ルと、上記記憶部に記憶された力のプロファイルとを比
較して、この操作者の動作を予測して、力触覚提示量を
決定する個性対応型機械制御装置である。
【0014】また、好ましくは、請求項2の構成におい
て、上記制御部がリアルタイムの上記操作者の力のプロ
ファイルと、上記記憶部に記憶された力のプロファイル
とを比較して、この操作者の疲労度等による力の変化を
予測して、力触覚提示量を決定する個性対応型機械制御
装置である。
【0015】上記構成によれば、上記制御部がリアルタ
イムの上記操作者の力のプロファイルと、上記記憶部に
記憶された力のプロファイルとを比較して、この操作者
の動作又は疲労度等による力の変化を推定、予測するの
で、より迅速、且つ最適な力触覚提示量の調整ができ
る。
【0016】そして、好ましくは、請求項2の構成にお
いて、上記制御部がリアルタイムの上記操作者の力のプ
ロファイルと、上記記憶部に記憶された力のプロファイ
ルとを比較して、この操作者の新たな動作を感知して、
この新たな動作を、上記記憶部に記憶された力のプロフ
ァイルに記憶させる個性対応型機械制御装置である。
【0017】上記構成によれば、上記操作者のすべての
動作に関して力のプロファイルが記憶部に記憶されるこ
とにより、当該操作者のすべての動作に関して力のプロ
ファイルが学習されることになり、より良好な力触覚提
示が行なわれる。
【0018】また、好ましくは、請求項2の構成におい
て、上記制御部がリアルタイムの上記操作者の力のプロ
ファイルと、上記記憶部に記憶された力のプロファイル
とを比較して、この操作者が新たな操作者であると感知
した場合は、新たな操作者の力のプロファイルを上記記
憶部に記憶させる個性対応型機械制御装置である。
【0019】上記構成によれば、上記操作者が新たな操
作者であると感知した場合は、新たな操作者の力のプロ
ファイルを上記記憶部に記憶させるため、新たな操作者
が現われたとき、その操作者の力のプロファイルが記憶
されることにより、当該操作者の次回の操作の際には、
記憶された操作者として、既に上記記憶部に記憶されて
いる力のプロファイルに基づいて、当該操作者に対応し
た力触覚提示がより簡単に行なわれる。
【0020】
【発明の実施の形態】図1は、本発明の実施の形態に係
る個性対応型機械制御装置の構成を示している。図1に
示すように、個性対応型機械制御装置10は、操作者1
1が椅子等に着座した状態で、自己の顔に装着するため
のヘッド・マウント・ディスプレイ(HMD)15と、
操作者11が自己の手等で操作するための操作部である
操作部12とを有している。この操作部12は、図1に
示すように、操作部である力触覚提示装置20を介して
制御部である監視部(コンピュータ)13、ニューラル
ネットワーク処理部17及び記憶部であるメモリ18に
接続されている。また、この監視部13は、制御部に含
まれる仮想環境コンピュータ14に接続されており、こ
の仮想環境コンピュータ14と接続されているヘッド・
マウント・ディスプレイ15に仮想空間が表示されるよ
うになっている。
【0021】この仮想空間では、図1に示すように例え
ばダンベルが表されており、このダンベルを仮想空間に
おける操作者の手11aが持ち上げるようになってい
る。また、この操作者11の腕には、図1に示すように
検出部である電極16aが配置されている。この電極1
6aは、具体的には操作者11の腕の筋肉に対応して配
置されており、例えば「上腕二頭筋」、「三頭筋」、
「腕とう骨筋」及び「尺側手根屈筋」にそれぞれ対応し
て4つの電極16aを配置することになる。これらの4
つの電極16aは、同じく検出部である筋電位測定器1
6bを経てニューラルネットワーク処理部17と接続さ
れている。図2は、図1に示す個性対応型機械制御装置
10の構成を詳細に示すブロック構成図である。図2に
示すように、操作者11の腕に取り付けられた電極16
aは、筋電位測定器16bを経てニューラルネットワー
ク処理部17と接続されている。このニューラルネット
ワーク処理部17は、メモリ18及び監視部13に接続
されている。このため、電極16aで検知された筋電位
は、例えばニューラルネットワーク処理された後、その
データが、メモリ18及び監視部13に入力等されるこ
とになる。
【0022】また、この監視部13は、仮想環境を現出
させる仮想環境コンピュータ14を経てヘッド・マウン
ト・ディスプレイ15に接続されているため、この監視
部13の指示により、このヘッド・マウント・ディスプ
レイ15に仮想環境を現出させることになる。さらに、
この監視部13は、サーボコントローラ19及びサーボ
アンプ19aを経て力触覚提示装置20に接続されてお
り、この力触覚提示装置20は、操作部12に接続され
ている。このため、この監視部13の駆動指令がサーボ
コントローラ19に伝わり、このサーボコントローラ1
9が電圧で駆動指令を力触覚提示装置20に伝えること
により、力触覚提示装置20を駆動し、これにより操作
部12に例えばダンベルの重み等を伝え、操作者11が
これを感知するようになっている。また、力触覚提示装
置20には、駆動状態検出部22が備えられており、こ
の駆動状態検出部22により、この力触覚提示装置20
の動きのデータがサーボコントローラ19及び監視部1
3にフィードバックされるようになっている。
【0023】図3は、図2に表されているA部の部分を
より詳細に示した図である。図3に示すように、操作者
11は、上述のように電極16a、16aを腕に取り付
けると共に、この電極16a、16aは、電線で筋電位
測定器16bに接続され、この筋電位測定器16bから
測定データがニューラルネットワーク処理部17に入力
されるようになっている。一方、操作者11の手で操作
する操作部12と接続されている力触覚提示装置20
は、例えば複数のモータを備えており、この複数のHV
モータの動きにより操作部12に例えば仮想空間のダン
ベルの重みを伝えるようになっている。この複数のモー
タの近傍には、図3に示すように駆動状態検出部22
が、それぞれ配置されている。この駆動状態検出部2
2、22は、例えばエンコーダと力センサ等とから構成
され、このモータの駆動状態をサーボコントローラ19
及び監視部13にセンサ出力(パルス数/電圧)として
フィードバックしている。
【0024】そして、図4は、図2のB部の詳細を示し
た図である。図4に示すように、ニューラルネットワー
ク処理部17は、筋電位測定器16bからの測定データ
が入力されるニューロ・コンピューティング部スーパー
バイザ17aと、ニューロ・コンピューティング処理部
17b、そして、データ比較/推定/予測処理部17c
を有している。また、このニューラルネットワーク処理
部17は、ニューロ・コンピューティング部スーパーバ
イザ17aと接続されているメモリ管理部17eを備え
ていると共に、ニューロ・コンピューティング処理部1
7bとデータ比較/推定/予測処理部17cと接続され
ている局所メモリ17dも有している。また、監視部1
3は、図4に示すように、上記ニューラルネットワーク
処理部17のニューロ・コンピューティング部スーパー
バイザ17aと接続されているシステム最上位スーパー
バイザ13aが設けられている。このシステム最上位ス
ーパーバイザ13aは、駆動指令部13bを介して目標
値の駆動指令を図2に示すサーボコントローラ19に伝
えるようになっている。
【0025】そして、図3の駆動状態検出部22から出
力されたセンサ出力(パルス数/電圧)は、図4のセン
サ入力部13cに入力された後、システム最上位スーパ
ーバイザ13aに入力されることになる。また、システ
ム最上位スーパーバイザ13aは、通信部13dを介し
て、図2に示す仮想環境コンピュータ14にデータを送
信することになる。一方、図2に示すメモリ18は、図
4に示すように、力のプロファイル記憶部となってお
り、データ管理用ディレクトリ、個人別力のプロファイ
ル等が記憶されるようになっている。なお、このメモリ
18は、ニューラルネットワーク処理部17のメモリ管
理部17eと接続されている。図5は、図3の力触覚提
示装置20の詳細を示した図である。図5に示すように
力触覚提示装置20の全体は、ロボットになっており、
このロボットのアームの先端には、操作部12が形成さ
れている。この操作部12は、操作者11がその手11
bで把持すべきグリップ12aが備えられている。この
ロボットは、図5に示すように6つのモータMx,M
y,Mz,Z,θ1 ,θ2 が設けられているため、6軸
に可動するように構成されている。
【0026】図6(B)は、図2及び図3に示される電
極16aを表した図である。図6(B)に示すように電
極16aは、通常用いられている乾式電極であって、図
において左側に示されている円形の端子部を有してお
り、この端子部を操作者11の腕等の皮膚表面に設置す
ることになる。具体的には、図6(A)に示すように、
例えば操作者11の上腕二頭筋A,三頭筋B,腕とう骨
筋C,尺側手根屈筋Dに対応する皮膚表面に、それぞれ
電極16aの端子部が貼付されることになる。上記対応
する皮膚表面の位置とは、好ましくは、各筋肉の中央付
近である。このように操作者11の腕等の筋肉に電極1
6aを貼付し、例えば上記上腕二頭筋A,三頭筋B,腕
とう骨筋C,尺側手根屈筋D等の筋肉の筋電位を測定す
る。この電極16aで測定された筋電位のデータは、ア
ナログデータとしての電位であるため、この微小電位を
増幅し、A/D変換(アナログ・デジタル変換)(サン
プリング周波数は例えば800Hz)し、データ列とす
ることになる。このデータ列は、時間的に離散化して量
子化したサンプリング結果のデータ列である。
【0027】このようにデジタル化された測定データ
は、積分処理及びフーリエ変換(FFT)処理されるこ
とになる。この積分処理で、この測定データは時間軸に
対する振幅の積分結果データとなる。また、フーリエ変
換処理で、上記測定データは、周波数軸に対するスペク
トル・データとなる。したがって、上記測定データが、
これら積分処理及びフーリエ変換(FFT)処理される
ことで、時間軸に対する振幅の積分結果データと周波数
軸に対するスペクトル・データという2種類のデータを
得ることができる。このように得られる上記2種類のデ
ータにつき、以下、具体例を用いて詳細に説明する。例
えば、操作者Aと操作者Bの2人の腕の上腕二頭筋,三
頭筋,腕とう骨筋及び尺側手根屈筋に対応する皮膚表面
にそれぞれ電極16aであるセンサを貼付する。この状
態で、2種類の異なる姿勢をとる。すなわち、図7に示
すように、左腕を水平に保ち、手のひらを下向きにする
姿勢(A)と、手のひらを上向きにする姿勢(B)であ
る。また、これらのそれぞれの姿勢で、0kg、1k
g、2.5kg、5kgの4種類の重りを、20.48
秒間保持した状態の筋電位を計測した。
【0028】そして、この計測結果を上述のように積分
処理し、時間軸に対する振幅の積分結果データとしたの
が、図8である。図8に示すように、操作者Aと操作者
Bでは、重りを持ったときに使用する筋肉や力の入れ方
には、相違が見られ、個人差があることが分かる。ま
た、同一の操作者であっても、図7に示すような異なる
姿勢で重りを持つと、使用する筋肉や力の入れ方に違い
が生じることが分かる。さらに、重りを重くし、操作者
がより力をいれると筋電位の振幅(電圧)が増すことも
分かった。一方、上述の測定結果のうち、一方の操作者
の測定値のみを上述のようにフーリエ変換(FFT)
し、周波数軸に対するスペクトル・データとしたのが、
図9乃至図12である。図9乃至図12に示すように、
姿勢の相違、すなわち手のひらが上向きか下向きかによ
って、または、重りの重さによって、筋電位の周波数分
布、すなわち周波数軸に対するスペクトル・データが相
違するため、操作者が使用する筋肉や力の入れ方に特徴
があることがわかる。
【0029】さらに、図13は、重さ0kgと5kgの
重りを手のひらを下向きで持った一方の操作者の電極1
6aの筋電位(電圧)と時間変化の図である。図示する
ように、操作者が疲労すると筋電位の積分値が増加する
ことがわかった。また、筋肉によっては、筋電位の周波
数分布が変化し、別の筋肉を使用する場合があることも
分かった。そして、これらの変化は、個人差があること
もわかった。以上のように、上記時間軸に対する振幅の
積分結果データと周波数軸に対するスペクトル・データ
という2種類のデータを得ることで操作者個人を認識す
るための様々なデータを入手することができる。そし
て、これら時間軸に対する振幅の積分結果データと周波
数軸に対するスペクトル・データという2種類のデータ
を、上記操作者個人の認識用のデータとしてメモリ18
に記憶させる際に、図4に示すようにニューラルネット
処理を行っている。
【0030】以下、ニューラルネット処理について説明
する。本実施の形態において用いるニューラルネット処
理は、パターン認識等に応用されている階層化したネッ
トワークを用いている。すなわち、ネットワーク状に結
合している各ニューロユニットは、そのニューロユニッ
トが属する層より一つ下の層に属するすべてのニューロ
ユニットの出力を入力として受け取るような層構造とな
っている。そして、最下層に入力されたデータの情報が
層を経るにしたがって一定の重み付け(結合の強さ)で
処理、統合され、出力されるようになっている。このた
め、入力に対して最善の出力が得られるように、ニュー
ロ・コンピュータを「学習」させることができる。具体
的には、1986年にラメルハートらが発表したバック
プロパゲーションとして知られる重み学習アルゴリズム
を用いたものである。
【0031】以上のように、上記時間軸に対する振幅の
積分結果データと周波数軸に対するスペクトラル・デー
タという2種類のデータを図4に示すようにニューラル
ネットワーク処理部17でニューラルネット処理するこ
とになる。すなわち、操作者11の腕に貼付した電極1
6aが検出した特定の時間間隔毎の測定データは、ニュ
ーラルネットワーク処理部17でニューラルネット処理
され、メモリ18に操作者11の力のプロファイルとし
て記憶されることになる。具体的には図14に示すよう
に、操作者、疲労度、負荷、姿勢、動きの列、時間軸に
対する振幅の積分結果データ及び周波数軸に対するスペ
クトラル・データが、それぞれ操作者毎に記録されるこ
とになる。このようにメモリ18に力のプロファイルを
記憶しておくことで、その後、ある操作者から測定され
た筋電位のデータを上述のようにデジタル化し、ニュー
ラルネット処理して出力したデータ列があった場合、こ
のデータ列と記憶された力のプロファイルのデータ列と
が略一致すれば、この記憶された力のプロファイルのデ
ータ列にしたがって、新しい操作者の操作を予測等する
ことが可能となる。
【0032】したがって、ニューラルネットワーク処理
を行えば、メモリ18の力のプロファイルの記憶や任意
の時間間隔で得られたニューラルネットの出力とメモリ
18のプロファイルデータとの比較、推定等が可能とな
ることになる。本実施の形態に係る個性対応型機械制御
装置10は、以上のように構成されているが、以下、そ
の動作等について説明する。本実施の形態における個性
対応型機械制御装置10においては、上述のように操作
者11は、ヘッド・マウント・ディスプレイ15によ
り、仮想環境コンピュータ14内に存在する仮想空間を
見ることができるようになっている。そして、この仮想
空間内には、図1に示すようにダンベルが写っており、
このダンベルを仮想空間における操作者11の手が持ち
上げるようになっている。具体的は、図5に示すグリッ
プ12aを操作者11が操作して、仮想空間内のダンベ
ルを持ち上げることになる。このような個性対応型機械
制御装置10を操作するには、先ず、操作者11は、図
3に示すように電極16aを上腕二頭筋,三頭筋,腕と
う骨筋及び尺側手根屈筋に対応する皮膚表面に貼付す
る。この状態が図15のステップST1である。次に図
15のステップST2の操作者の特定が行われる。この
操作者の特定は、具体的には、図16に示すようなステ
ップとなっている。
【0033】すなわち、ステップST21に示すよう
に、規定の動作をして筋電位を測定するステップを行
う。この規定の動作をして筋電位を測定するというステ
ップは図17のようなステップとなっている。また、図
15の操作者の特定ST2と図15及び図18のキャリ
ブレーションST3は、見かけ上、同時に行う場合があ
るので、併せて説明する。すなわち、図16に示す規定
の動作をして筋電位を測定ST21する際に、図18に
示すキャリブレーションST3を先ず行う。このキャリ
ブレーションST3は、電極16aを貼付する位置によ
り、あるいは操作者のその日の体調等により、測定され
る筋電位の値及び/あるいは周波数分布(スペクトル)
が微妙に相違するため、この微妙な相違を補正するため
のキャリブレーション値を求めるためのものである。具
体的には、図18に示すように、先ず、操作者11に規
定の動作をさせ筋電位を測定する(ST31)。例えば
操作者11の腕を軽く動かしてもらう等である。これに
よって得られた筋電位のデータをデジタル化し、積分及
びフーリエ変換等し、図18のST32のようにニュー
ラルネット処理を行う。このニューラルネット処理で
は、予め記憶されているデータとステップST31で測
定されたデータとを比較し、微妙な相違がある場合は、
その変換係数(関数)すなわちキャリブレーション値を
求める。
【0034】この出力されたキャリブレーション値のセ
ットST33により、キャリブレーションST3は終了
する。このように、キャリブレーションST3によって
キャリブレーション値をセットした後、図16に示す規
定の動作をして筋電位を測定ST21する。先ず、電極
16aを付けた操作者11は、図5に示す力触覚提示装
置20の操作部12に設けられているグリップ12aを
握ることになる。そして、予め決められた動作を操作者
11が行う。具体的には、腕を手のひらが上になるよう
に体の前にのばし、その状態から肘の曲げ伸ばしを行う
等である。このような動作を操作者11が行うことによ
り、図17のステップST211に示すように筋電位セ
ンサ(電極)出力のA/D変換が行われる。これは、電
極16aから測定された筋電位はアナログデータである
ため、このデータをデジタルデータに変換することにな
る。その後、ステップST212に示すように積分およ
びフーリエ変換の計算を行うことになる。この計算によ
り、上述の時間軸に対する振幅積分データと周波数軸に
対するスペクトルデータが得られる。これにより、図1
6のステップST21規定の動作をして筋電位を測定が
終了する。
【0035】そして、図16のステップST22に示す
ように、これら時間軸に対する振幅積分データと周波数
軸に対するスペクトルデータがニューラルネット処理さ
れることになる(ST22)。このニューラルネット処
理においては、ST23のように、現在の操作者11が
個性対応型機械制御装置10を初めて使う操作者である
か否かを判断することになる。すなわち、図4に示すメ
モリ18内に記憶されている、図14に示す力のプロフ
ァイルデータのデータ列と現在の操作者11のデータ列
を比較して、記憶された操作者と同一か否かを判断す
る。ここで、操作者が相違するとする場合は、ステップ
ST25のようにメモリ18内に新たな力のプロファイ
ルデータとして、現在の操作者11のデータ列を図14
のように記憶する。これは、メモリ18内の力のプロフ
ァイルに記憶されていない力のプロファイルデータ列が
観察された場合であるが、このように、新しいデータ列
を力のプロファイルデータとして記憶するため、操作者
11が、この個性対応型機械制御装置10を使用すれば
使用するほど、この個性対応型機械制御装置10は、操
作者11になじんでくることになる。
【0036】一方、ステップST24に示すように、メ
モリ18内に記憶されている、図14に示す力のプロフ
ァイルデータのデータ列と現在の操作者11のデータ列
を比較して、記憶された操作者と同一であると判断され
た場合は、当該操作者の力のプロファイルデータを読み
出すことになる。これで、図15の操作者の特定(ST
2)が終了する。続いて、図15のステップST4に示
すバーチャル空間での作業(通常の操作)となる。ここ
では、操作者の特定ST2において当該操作者の力のプ
ロファイルデータを読みだした場合(ST24)を例と
して説明する。このバーチャル空間での作業(通常の操
作)ST4は、具体的には、図19に示すようなステッ
プとなる。すなわち、図19のステップST41に示す
ように「バーチャル空間モデルからの操作対象物体の重
量(負荷)の取得」とステップST42に示す「(1)
実時間で測定された積分データとスペクトル・データ
(2)力のプロファイルデータ(3)操作者の各関節角
度の時間列データのニューラルネットへの入力」を行
う。
【0037】すなわち、先ず、上述のように特定した操
作者11が、図5に示す操作部12のグリップ12aを
掴み、図1に示すヘッド・マウント・ディスプレイ15
を装着する。このヘッド・マウント・ディスプレイ15
には、図2に示す仮想環境コンピュータ14より、図1
に示すような仮想空間が表示されることになる。この仮
想空間では、例えば床に1kg、3kg及び5kgのダ
ンベルが表示される。そして、例えば、この1kgのダ
ンベルを、操作者11が持ち上げようとして、その1k
gのダンベルの置いてある方向に、仮想空間における操
作者の手11aを動かし、この1kgのダンベルを、仮
想空間における操作者の手11aが掴んで持ち上げよう
とすることになる。このとき、図2に示す監視部13
は、サーボコントローラ19及びサーボアンプ19aを
介して力触覚提示装置20に目標の駆動指令を与える。
この目標の駆動指令は、1kgのダンベルを持ち上げよ
うとする操作者11の手11bの動きを阻止する方向、
すなわち、本実施の形態においては、垂直方向にダンベ
ルの重さ(1kg)に相当する力を図3に示すモータを
用いて力触覚提示装置20に発生させ、操作者11に提
示することになる。このとき、操作者11は、仮想空間
における1kgのダンベルの重さを実感(力感)するこ
とができるようになっている。
【0038】ところで、このとき、サーボコントロール
の手法としては、位置制御ではなく力制御を用いてい
る。すなわち、図3に示すように、力触覚提示装置20
の駆動状態検出部22に備えられている力センサによ
り、操作者11が力触覚提示装置20の操作部12に及
ぼす力が1kgになるように制御することになる。ここ
で、操作者11が操作する、操作部12のグリップ12
aの位置と姿勢は、図5に示す6軸のモータMx、M
y、Mz、Z、θ1、θ2のエンコーダの値から計算し
て把握することになる。このグリップ12aの位置と姿
勢を把握することで、操作者の手11bの位置と姿勢を
把握することになる。次に、仮想空間において、操作者
11は1kgのダンベルを床に置き、代わりに3kgの
ダンベルの方に、仮想空間における操作者の手11aを
伸ばして掴み、そして持ち上げる。すると力触覚提示装
置20は、鉛直方向に今度は3kgの力を発生させるこ
とにより、操作者11は、重さ3kgのダンベルを実際
に持ち上げたように感じる。
【0039】ここで、操作者11のメモリ18内にある
プロファイルデータと、上述の実時間で得られる時間軸
に対する振幅の積分データと周波数軸に対するスペクト
ル・データ、並びに力触覚提示装置20の駆動状態検出
部22のエンコーダから計算した操作者11の各関節角
度の時間列データを用いて図19のステップST43に
示すように、ニューラルネット内での処理を行う。この
ステップST43のニューラルネット内での処理によ
り、ステップST44に示すように「(1)操作者名
(2)動作予測(3)疲労度のニューラルネットからの
出力」を行う。また、上記「(2)動作予測のニューラ
ルネットからの出力」は、例えば操作者11が、ある動
作をし始めたときに、メモリ18の動作の時間的初期段
階の力のプロファイルデータ列と略一致する場合に可能
となる。すなわち、このプロファイルデータ列におい
て、「腕を自然に真下に伸ばした状態から肘を90度曲
げる動作をした」ことが記憶されていれば、この動作の
時間的初期段階の力のプロファイルデータ列が略一致す
れば、今回も同様に動作すると予測できる。
【0040】具体的には、上述のように、図5に示す6
軸のモータMx、My、Mz、Z、θ1、θ2のエンコ
ーダの値から計算して把握された操作者11の各関節の
角度をθ1(t)、θ2(t)、・・・・、θn(t)
とする。そして、このθ1(t)、θ2(t)、・・・
・、θn(t)を、Θ(t)={θ1(t)、θ2
(t)、・・・・、θn(t)}とする。このようにす
ることにより、筋電位のリアルタイムの測定データ(時
間軸に対する振幅の積分データと周波数軸に対するスペ
クトル・データ)と図14に示す力のプロファイルデー
タ、並びに上記各関節角度の時間列データであるΘ
(t)を図4に示すようにニューラルネット処理部17
で処理することにより、微小時間後(時刻t+1)の操
作者11の各関節角度、関節角加速度及び関節角加速度
等を予測することができる。
【0041】以上のように、ニューラルネット処理17
することで操作者11の名前や次の動作を予測すること
ができる。このようなステップST44の操作者名及び
動作予測のニューラルネットからの出力を図4の監視部
13が見張っているので、監視部13は、力触覚提示装
置20が次に出す力の大きさや向きを決めることがで
き、操作者11に時間遅れなく適切な力触覚提示を与え
ることができるようになる。 このような動作を操作者
11が繰り返し行っていると、操作者11は疲れてくる
ことになる。このとき、本実施の形態に係る個性対応型
機械制御装置10の筋電位測定器16bは、操作者11
の筋電位を上述のように測定しているため、筋電位の測
定及びニューラルネット処理部17での処理を行い、こ
のリアルタイムの実測データを力のプロファイルデータ
とし、メモリ18に記憶された力のプロファイルデータ
と比較することで、この疲労度を推定することができる
(ステップST44)。
【0042】具体的にはリアルタイムで得られる時間軸
に対する振幅積分データと周波数軸に対するスペクトル
・データが微妙に変化し、この変化を図4に示す力のプ
ロファイルデータの疲労度等のデータと比較することに
より推定できることとなる。このとき、図4のニューラ
ルネットワーク処理部17のニューロ・コンピューティ
ング部スーパーバイザ17aがそれを察知し、監視部1
3のシステム最上位スーパーバイザ13aに連絡してサ
ーボコントローラ19への駆動指令が変更されることに
なる。また、このサーボコントローラ19への駆動指令
の変更は、力触覚提示装置20の出力が調節されるた
め、疲労した操作者11とって適切な大きさの力触覚提
示が可能となる。すなわち、監視部13は、例えば1k
g,3kg及び5kgのダンベルを操作者11が持ち上
げたときに、力触覚提示装置20が鉛直方向に発生する
力を、それぞれ例えば0.9kg,2.8kg及び4.
7kgとしたとする。このとき、これらの値は、リアル
タイムで得られる時間軸に対する振幅積分データと周波
数軸に対するスペクトル・データにおいて、操作者11
が疲れていないときと同じにするが最も望ましい。こう
することで、操作者11は、疲れてきても、操作者11
本人は、疲れていないときと同じ感覚で、それぞれ1k
g,3kg及び5kgのダンベルをを持ち上げることが
できる。
【0043】以上のようにして図19ステップST44
は、終了し、図15のステップST5の力のプロファイ
ルデータの追加登録がなければ、操作者11が仮想空間
においてダンベルを持ち上げるという動作は、終了する
こととなる(ステップST6) 以上のように本実施の形態によれば、操作者11の筋肉
の発達の程度や動作の癖等の個人差に自動的に対応し
て、各操作者11にフィットした適切な力触覚提示をお
こなうことが可能となる。また、各操作者11の動力学
的特性や動作列特性を個性対応型機械制御装置10側が
学習し、力のプロファイルとしてメモリ18に記憶する
ので、操作者11が、そのような特性を自分で入力する
必要がない。さらに、その日の操作者11の体調や疲労
等による操作者11の力のプロファイルの変化を自動的
に感知し学習し、新力のプロファイルとして記憶すると
共に出力調整も行うので、常に操作者11の感覚にフィ
ットした適切な力触覚提示をすることができる。
【0044】また、過去に記憶された力のプロファイル
を検索して、操作者11を自動的に特定できるので、使
用する際には、操作者11は、自分が誰であるかを入力
する必要がない。そして、本実施の形態に係る個性対応
型機械制御装置10を使用する場合でも、自動的に新規
の力にプロファイルを作成して、記憶するので誰でも簡
単に使用することができる。
【0045】
【発明の効果】以上述べたように、本発明によれば、操
作者の個性に対応して動作する個性対応型機械制御装置
を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る個性対応型機械制御
装置を示す概略図である。
【図2】図1の個性対応型機械制御装置の構成を示すブ
ロック図である。
【図3】図2のブロック図のA部を詳細に示した概略図
である。
【図4】図2のブロック図のB部を詳細に示した概略図
である。
【図5】図3の力触覚装置を詳細に示した概略図であ
る。
【図6】(A)電極を操作者の皮膚表面に貼付した状態
を示す概略図である(B)電極を表した概略図である
【図7】(A)操作者が左腕を水平に保ち、手のひらを
下向きにする姿勢を示す図である。(B)操作者が左腕
を水平に保ち、手のひらを上向きにする姿勢を示す図で
ある。
【図8】操作者の姿勢の相違等の計測結果を積分処理
し、時間軸に対する振幅の積分結果データとした表であ
る。
【図9】操作者の手のひらが上向きの姿勢で等の重さ0
kg及び1kgの重りを持った状態の計測結果を筋電位
の周波数分布、すなわち周波数軸に対するスペクトラル
・データとして示した表である。
【図10】操作者の手のひらが上向きの姿勢で等の重さ
2.5kg及び5kgの重りを持った状態の計測結果を
筋電位の周波数分布、すなわち周波数軸に対するスペク
トラル・データとして示した表である。
【図11】操作者の手のひらが下向きの姿勢で等の重さ
0kg及び1kgの重りを持った状態の計測結果を筋電
位の周波数分布、すなわち周波数軸に対するスペクトラ
ル・データとして示した表である。
【図12】操作者の手のひらが下向きの姿勢で等の重さ
2.5kg及び5kgの重りを持った状態の計測結果を
筋電位の周波数分布、すなわち周波数軸に対するスペク
トラル・データとして示した表である。
【図13】操作者が重さ0kgと5kgの重りを手のひ
らが下向きで持った場合の電極の筋電位と時間変化の表
である。
【図14】力のプロファイルデータを示す表である。
【図15】操作全体の流れを示すフローチャートであ
る。
【図16】図15の操作者の特定の詳細な流れを示すフ
ローチャートである。
【図17】図16の規定の動作をして筋電位を測定の詳
細な流れを示すフローチャートである。
【図18】図15のキャブレーションの詳細な流れを示
すフローチャートである。
【図19】図15のバーチャル空間内での作業(通常の
操作)の詳細な流れを示すフローチャートである。
【符号の説明】
10・・・個性対応型機械制御装置、11・・・操作
者、11a・・・仮想空間における操作者の手、11b
・・・操作者の手、12・・・操作部、12a・・・グ
リップ、13・・・監視部、13a・・・システム最上
位スーパーバイザ、13b・・・駆動指令部、13c・
・・センサ入力部、13d・・・通信部、14・・・仮
想環境コンピュータ、15・・・ヘッド・マウント・デ
ィスプレイ、16a・・・電極、16b・・・筋電位測
定部、17・・・ニューラルネットワーク処理部、17
a・・・ニューロ・コンピューティング部スーパーバイ
ザ、17b・・・ニューロ・コンピューティング処理
部、17c・・・データ比較/推定/予測処理部、17
d・・・局所メモリ、17e・・・メモリ管理部、18
・・・メモリ、19・・・サーボコントローラ、19a
・・・サーボアンプ、20・・・力触覚提示装置、M
x,My,Mz,Z,θ1,θ2・・・モータ、22・
・・駆動状態検出部。

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 少なくとも操作者が操作する操作部から
    の操作情報と、 操作者の個人情報を検出する検出部と、 上記操作情報及び上記個人情報とを処理する制御部と、
    を有し、 この制御部により上記操作情報と上記個人情報が処理さ
    れると共に、上記操作部に対して上記操作者の個性に対
    応した出力情報が提供されることを特徴とする個性対応
    型機械制御装置。
  2. 【請求項2】 上記操作者の個人情報が、操作者の力に
    関する情報であり、 上記出力情報が、上記操作部の力触覚提示量であり、 上記制御部では、この操作者の力に関する情報に基づい
    て、その動力学的特性及び動作列特性を自動的に学習
    し、この結果を記憶部に記憶させると共に、 上記制御部では、この記憶部に記憶された結果に基づい
    て、上記操作部の上記力触覚提示量を調整するように制
    御されていることを特徴とする請求項1に記載の個性対
    応型機械制御装置。
  3. 【請求項3】 上記操作者の力に関する情報が、この操
    作者の筋電位情報であり、上記結果が力のプロファイル
    であることを特徴とする請求項2に記載の個性対応型機
    械制御装置。
  4. 【請求項4】 上記制御部がリアルタイムの上記操作者
    の力のプロファイルと、上記記憶部に記憶された力のプ
    ロファイルとを比較して、この操作者の動作を予測し
    て、力触覚提示量を決定することを特徴とする請求項2
    に記載の個性対応型機械制御装置。
  5. 【請求項5】 上記制御部がリアルタイムの上記操作者
    の力のプロファイルと、上記記憶部に記憶された力のプ
    ロファイルとを比較して、この操作者の疲労度等による
    力の変化を推定、予測して、力触覚提示量を決定するこ
    とを特徴とする請求項2に記載の個性対応型機械制御装
    置。
  6. 【請求項6】 上記制御部がリアルタイムの上記操作者
    の力のプロファイルと、上記記憶部に記憶された力のプ
    ロファイルとを比較して、この操作者の新たな動作を感
    知して、この新たな動作を、上記記憶部に記憶された力
    のプロファイルに記憶させることを特徴とする請求項2
    に記載の個性対応型機械制御装置。
  7. 【請求項7】 上記制御部がリアルタイムの上記操作者
    の力のプロファイルと、上記記憶部に記憶された力のプ
    ロファイルとを比較して、この操作者が新たな操作者で
    あると感知した場合は、新たな操作者の力のプロファイ
    ルを上記記憶部に記憶させることを特徴とする請求項2
    に記載の個性対応型機械制御装置。
JP22575099A 1999-08-09 1999-08-09 個性対応型機械制御装置 Pending JP2001051726A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22575099A JP2001051726A (ja) 1999-08-09 1999-08-09 個性対応型機械制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22575099A JP2001051726A (ja) 1999-08-09 1999-08-09 個性対応型機械制御装置

Publications (1)

Publication Number Publication Date
JP2001051726A true JP2001051726A (ja) 2001-02-23

Family

ID=16834250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22575099A Pending JP2001051726A (ja) 1999-08-09 1999-08-09 個性対応型機械制御装置

Country Status (1)

Country Link
JP (1) JP2001051726A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007514986A (ja) * 2003-09-30 2007-06-07 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ハプティックス伝送システム
JP2015172943A (ja) * 2007-09-14 2015-10-01 国立研究開発法人産業技術総合研究所 バーチャルリアリティ環境生成装置及びコントローラ装置
JP2016054994A (ja) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 運動推定装置、及び運動推定方法
CN106448422A (zh) * 2016-08-22 2017-02-22 纳博特南京科技有限公司 基于vr装置的机器人培训系统及培训方法
US11325029B2 (en) 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007514986A (ja) * 2003-09-30 2007-06-07 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ハプティックス伝送システム
JP4653101B2 (ja) * 2003-09-30 2011-03-16 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ハプティックス伝送システム
JP2015172943A (ja) * 2007-09-14 2015-10-01 国立研究開発法人産業技術総合研究所 バーチャルリアリティ環境生成装置及びコントローラ装置
JP2020061184A (ja) * 2007-09-14 2020-04-16 国立研究開発法人産業技術総合研究所 錯触力覚を誘起する方法及び錯触力覚を誘起する装置
US11325029B2 (en) 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
JP2016054994A (ja) * 2014-09-11 2016-04-21 トヨタ自動車株式会社 運動推定装置、及び運動推定方法
CN106448422A (zh) * 2016-08-22 2017-02-22 纳博特南京科技有限公司 基于vr装置的机器人培训系统及培训方法

Similar Documents

Publication Publication Date Title
US11069148B2 (en) Visualization of reconstructed handstate information
US10970936B2 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US10842407B2 (en) Camera-guided interpretation of neuromuscular signals
US20200097081A1 (en) Neuromuscular control of an augmented reality system
Fukuda et al. A human-assisting manipulator teleoperated by EMG signals and arm motions
Kuchenbecker et al. Improving contact realism through event-based haptic feedback
Ding et al. Service robot system with integration of wearable Myo armband for specialized hand gesture human–computer interfaces for people with disabilities with mobility problems
WO2020069181A1 (en) Neuromuscular control of physical objects in an environment
Rao et al. Evaluation of an isometric and a position joystick in a target acquisition task for individuals with cerebral palsy
CN110675933B (zh) 一种手指镜像康复训练系统
JP2004527815A (ja) 感知電気生理学的データに基づく活動開始方法及びシステム
CN109498375B (zh) 一种人体运动意图识别控制装置及控制方法
JP2001051726A (ja) 個性対応型機械制御装置
Yang et al. Simultaneous prediction of wrist and hand motions via wearable ultrasound sensing for natural control of hand prostheses
JP2003340757A (ja) ロボット
CN116019443A (zh) 一种心肺复苏胸外按压合规性检测系统及方法
Rahman et al. Building a wheelchair controlling and fall detection system using mobile application
Rivera et al. Control of a wheelchair using an adaptive k-means clustering of head poses
Sakaki Estimation of intention of user arm motion for the proactive motion of upper extremity supporting robot
EP3860527B1 (en) Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11493994B2 (en) Input device using bioelectric potential
Wang et al. THE INFLUENCE OF TORQUE AND ELBOW POSITION ON WRIST ROTATE ANGLE RECOGNITION BASED SURFACE ELECTROMYOGRAM.
Bull Robotic Grasp Control using Tactile Feedback
Fall et al. A Flexible and Modular Body-Machine Interface for Individuals Living with Severe Disabilities
JPH0728592A (ja) ヒューマンインタフェース装置