JP2023004556A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2023004556A
JP2023004556A JP2021106321A JP2021106321A JP2023004556A JP 2023004556 A JP2023004556 A JP 2023004556A JP 2021106321 A JP2021106321 A JP 2021106321A JP 2021106321 A JP2021106321 A JP 2021106321A JP 2023004556 A JP2023004556 A JP 2023004556A
Authority
JP
Japan
Prior art keywords
muscle
contraction
amount
reaction force
expansion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021106321A
Other languages
English (en)
Inventor
パヴェル アドディン
Adodin Pavel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021106321A priority Critical patent/JP2023004556A/ja
Priority to US18/572,407 priority patent/US20240310917A1/en
Priority to PCT/JP2022/005252 priority patent/WO2023276239A1/ja
Publication of JP2023004556A publication Critical patent/JP2023004556A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/087Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】電気刺激装置に適用することができ、オペレータの動きを妨げることのない触覚フィードバックを実現する情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】遠隔操作システムにおいて、入力デバイス10の伸縮量計測部112は、ユーザの体の部位の筋肉の伸縮に応じた操作対象に係る物理量の変化を表す変化情報を取得する。伸縮量算出部115は、変化情報に基づいて、物理量の変化に対応する筋肉の伸縮量を算出する。【選択図】図4

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、オペレータの動きを妨げることのない触覚フィードバックを実現できるようにする情報処理装置、情報処理方法、およびプログラムに関する。
ユーザの腕などの体の部位に複数の電極を装着し、その電極からその部位の筋肉に電気刺激信号を与えることで、外部からの指令によりユーザの腕などを動かす技術が知られている。
特許文献1には、ユーザの腕に巻きつけられるリストバンドに複数の電極と複数の光学式距離センサを設け、腕の筋肉に刺激を与えるとともに筋肉の変位を検出するようにした電気刺激装置が開示されている。
ところで、遠隔操作型のロボットにおいては、遠隔地においてロボットが物体のマニピュレーションを行ったり、周囲にある物体に接触したりする際、遠隔操作を行うオペレータがその感触を把握するために、触覚フィードバックを行う技術が多く用いられている。
国際公開第2017/131145号
触覚フィードバックを実現する入力デバイスは、そのほとんどが、外骨格型デバイスかグローブ型デバイスの2種類である。しかしながら、これらのデバイスは、大型で高価である上、装着型であるためにオペレータの動きを制限してしまう。
本開示は、このような状況に鑑みてなされたものであり、オペレータの動きを妨げることのない触覚フィードバックを実現するものである。
本開示の情報処理装置は、ユーザの体の部位の筋肉の伸縮に応じた操作対象に係る物理量の変化を表す変化情報を取得する取得部と前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する算出部とを備える情報処理装置である。
本開示の情報処理方法は、情報処理装置が、ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報を取得し、前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する情報処理方法である。
本開示のプログラムは、コンピュータに、ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報を取得し、前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する処理を実行させるためのプログラムである。
本開示においては、ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報が取得され、前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量が算出される。
本開示に係る技術を適用し得る遠隔操作システムの構成例を示す図である。 本開示に係る技術に用いる原理について説明する図である。 反力と変位のフィードバックについて説明する図である。 第1の実施形態の入力デバイスの機能構成例を示すブロック図である。 反力と変位のフィードバックの流れについて説明するフローチャートである。 反力のフィードバックについて説明する図である。 第2の実施形態の入力デバイスの機能構成例を示すブロック図である。 反力のフィードバックの流れについて説明するフローチャートである。 変位のフィードバックについて説明する図である。 第3の実施形態の入力デバイスの機能構成例を示すブロック図である。 変位のフィードバックの流れについて説明するフローチャートである。 フィードバックとオペレータ入力の干渉について説明する図である。 フィードバックとオペレータ入力の切り替えについて説明する図である。 マッピングモデルの構築の流れについて説明するフローチャートである。 マッピングモデルの構築の流れについて説明するフローチャートである。 遠隔操作システムの他の構成例を示す図である。 サーバの機能構成例を示すブロック図である。 コンピュータの構成例を示すブロック図である。
以下、本開示を実施するための形態(以下、実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.触覚フィードバック機能を有する入力デバイスとその課題
2.本開示に係る技術の概要
3.第1の実施形態(反力と変位のフィードバック)
4.第2の実施形態(反力のフィードバック)
5.第3の実施形態(変位のフィードバック)
6.フィードバックとオペレータ入力の干渉の回避策
7.マッピングモデルの構築
8.キャリブレーション手法の例
9.変形例
10.その他の適用例
11.コンピュータの構成例
<1.触覚フィードバック機能を有する入力デバイスとその課題>
従来、遠隔操作型のロボットを含む遠隔操作システムにおいては、ロボットを操作するためのオペレータ側のデバイス(マスタ)から、オペレータの動きに対応した位置、速度、力などの情報を、遠隔地に存在するロボット(スレーブ)に伝送することで、そのロボットの動作が制御される。
オペレータの動きをキャプチャする手法としては、(1)外骨格型デバイスを用いた手法、(2)マーカを用いた手法、(3)画像を用いた手法がある。(1)の手法は、オペレータがメカニカルな機構を装着することで、その動きを取得する手法である。(2)の手法は、オペレータに装着されたマーカの動きに基づいて、オペレータの姿勢を推定する手法である。(3)の手法は、画像からオペレータの骨格を推定することでその姿勢を推定する手法である。
遠隔操作型のロボットにおいては、上述のようにしてキャプチャされたオペレータの動きにロボットの動きを一致させることで、オペレータが遠隔操作を介して様々なタスクをこなすことができる。遠隔地においてロボットが物体のマニピュレーションを行ったり、周囲にある物体に接触したりする際、遠隔操作を行うオペレータがその感触を把握するために、触覚フィードバックを行う技術が多く用いられている。また、触覚フィードバックを行う技術は、没入感を向上させるために、VR(Virtual Reality)やAR(Augmented Reality)の分野などにおいても用いられ始めている。
触覚フィードバックを行うためには、オペレータが使用するマスタ(入力デバイス)に、スレーブ側(ロボットやVRアバターなど)の情報として、スレーブが環境から受けている反力や変位をフィードバックする必要がある。そこで、一般的には、触覚フィードバック機能を有する入力デバイスが用いられるが、そのほとんどが、外骨格型デバイスかグローブ型デバイスの2種類である。
外骨格型デバイスには、例えば、指先や手のひらに空圧をかけることで触覚を与えるものがある。このデバイスは、空間的・力覚的な分解能が高いが、重量があり高価である上、多くの周辺機器を必要とする。さらに、このデバイスは、外骨格型であるため周囲と干渉する可能性があり、また、指先を覆う構造のため手や指の動きが制限される可能性がある。
外骨格型デバイスには、モータによって各指に力を加えることで力フィードバックを行うものもある。このデバイスもまた、比較的重量があり高価である上、周囲と干渉したり、手や指の動きが制限されたりする可能性がある。さらに、指それぞれへの力フィードバックであるため、空間的な分解能が低くなってしまう。
一方、グローブ型デバイスには、操作対象が環境に接触したときに各指に振動を与えるものがある。このデバイスは、接触したか否かの情報のみをフィードバックするものであって、力フィードバックを行うことはできない。さらに、このデバイスは、グローブ型であるため、オペレータに対して違和感を与えたり、指の動きが制限される可能性もある。
以上のように、従来の触覚フィードバック機能を有する入力デバイスは、空間的・力覚的な分解能が高くなるにつれて技術的難易度が上がり、大きなスペースや周辺機器を必要として高価になる上、オペレータの自然な動きを妨げる可能性があった。
一方で、近年、人間の動きを制限しないデバイスとして、筋肉や神経などの変位や電気信号を取得することで人体の動きを推定し、さらに、電気信号を与えることによって能動的に人体を動かしたり感覚を伝えたりするリストバンド型デバイスが開発されている。
そこで、本開示に係る技術においては、オペレータの動きを妨げることのない触覚フィードバックの実現を可能にする。
<2.本開示に係る技術の概要>
(遠隔操作システムの構成例)
図1は、本開示に係る技術を適用し得る遠隔操作システムの構成例を示す図である。
図1の遠隔操作システムは、入力デバイス10と操作対象20を含むように構成される。
入力デバイス10は、本開示に係る技術が適用される情報処理装置の一形態である。
入力デバイス10は、例えば、ユーザであるオペレータOPの腕に巻きつけられるリストバンド形状を有し、腕に対向する側の面に、複数の電極と複数の光学式距離センサを備える。入力デバイス10は、筋肉の変位を検出するとともに、電極を介して腕の筋肉に刺激を与えることで、オペレータOPの意思とは関係なくその指を動かすことができる。すなわち、入力デバイス10は、電気刺激装置として構成される。
操作対象20は、例えば、入力デバイス10(オペレータOP)が存在する場所から離れた遠隔地に存在する遠隔操作型のロボットとして構成される。入力デバイス10と操作対象20は、例えばインターネットなどのネットワークを介して、互いに有線通信または無線通信を行う。
入力デバイス10は、ユーザであるオペレータOPの体の部位の筋肉の伸縮を入力として受け付け、その筋肉の伸縮に応じた制御量に基づいて、操作対象20の動作を制御する。
操作対象20は、入力デバイス10からの制御量に基づいて動作し、オペレータOPの体の部位の筋肉の伸縮に応じた物理量の変化を表す変化情報を、入力デバイス10に供給する。
物理量の変化は、操作対象20が動作する中で環境から受ける反力や、操作対象20においてその反力が作用する作用部の変位などとされる。操作対象20は、実空間(現実世界)に存在する物であってもよいし、仮想空間において作り出された物であってもよい。したがって、操作対象20に係る物理量の変化は、実空間において操作対象20が受ける反力や変位であってもよいし、仮想空間において操作対象20が受ける反力や変位であってもよい。
入力デバイス10は、操作対象20から供給された変化情報に基づいて、操作対象20に係る物理量の変化(反力や変位)に対応する当該筋肉の伸縮量を算出する。入力デバイス10は、算出された伸縮量に基づいて、当該筋肉に対する刺激を入力する。当該筋肉に対する刺激は、例えば電気刺激とされる。
このような構成により、オペレータOPの筋肉に刺激を与えることで、疑似的に触覚フィードバックを行うことが可能となる。
(本開示に係る技術に用いる原理)
図2を参照して、本開示に係る技術に用いる原理について説明する。ここでは、人間が人差し指で周囲にある物体C1に接触する場合を例に挙げる。但し、物体C1は固定されているものとする。
図2のA図に示されるように、人間が人差し指の屈筋を収縮させ、人差し指が物体C1に接触すると、人差し指は物体C1から反力Fを受ける。このとき、人間は屈筋のみを使い伸筋を使っていないが、物体C1からの反力Fによって力のつり合いが生じることで、人差し指は動かなくなる。屈筋と伸筋は、互いに反対の動きをする筋肉であり、このような一対の筋肉は、拮抗筋と呼ばれる。
これに対して、図2のB図に示されるように、人間がA図と同様に人差し指の屈筋を収縮させているときに外部より伸筋を収縮させると、屈筋への負荷が大きくなり、いずれ力のつり合いが生じることで、人差し指は停止する。このとき、A図の反力Fに相当する収縮量に応じた刺激を伸筋に与えることで、B図における人差し指の動きは、A図と同等となる。すなわち、B図においては、周囲に物体C1が存在しないにもかかわらず人差し指が動かなくなり、あたかも見えない物体に触れているかのような感覚を与えることができる。
本開示に係る技術においては、上述した原理を用いて、物体に触れている感覚を作り出すことで、疑似的に触覚フィードバックを行う3つの手法を提案する。
以下の3つの手法においては、対となる拮抗筋の少なくともいずれかの伸縮に応じた変化情報が取得され、その変化情報に基づいて、拮抗筋の少なくともいずれかの伸縮量が算出され、その伸縮量に応じた刺激がオペレータOPの拮抗筋に入力される。
手法1.操作対象(例えば遠隔操作型のロボット)が環境から受けている反力とその反力が作用する作用部の位置(変位)を、オペレータOPの手指や手首の拮抗筋の伸縮量に変換する。そして、その伸縮量だけ拮抗筋それぞれを伸縮させることで、操作対象が受けている反力と変位をオペレータOPにフィードバックする。
手法2.操作対象が環境から受けている反力を、オペレータOPの手指や手首の拮抗筋のうち、反力と同一方向に作用する筋肉の伸縮量に変換する。そして、その伸縮量だけ拮抗筋のうちの当該筋肉を伸縮させることで、操作対象が受けている反力をオペレータOPにフィードバックする。
手法3.操作対象が環境から受けている反力が作用する作用部の位置(変位)を、オペレータOPの手指や手首の拮抗筋のうち、反力と同一方向に作用する筋肉の伸縮量に変換する。そして、その伸縮量だけ拮抗筋のうちの当該筋肉を伸縮させることで、操作対象の作用部の変位をオペレータOPにフィードバックする。
以下、上述した3つの手法を適用した遠隔操作システムの実施形態について説明する。
<3.第1の実施形態>
図3は、上述した手法1における、反力と変位のフィードバックについて説明する図である。
手法1においては、図3のA図に示されるように、オペレータOPが能動的に人差し指を動かしたときの拮抗筋(伸筋と屈筋)それぞれの長さ(伸縮量)x1in,x2inを用いて、入力デバイス10により、操作対象20(ロボット)の動作が制御される。拮抗筋の長さx1in,x2inと操作対象20に入力される制御量xinとの関係は、xin=e(x1in,x2in)と定義される。
入力デバイス10から入力された制御量xinに応じて、B図に示されるように、操作対象20は、ロボットハンド状の駆動部dが駆動することで物体C2を把持する。このとき、駆動部dが環境から受けている反力Fと変位xが計測され、入力デバイス10に取得される。
入力デバイス10においては、操作対象20から取得された反力Fと変位xが、オペレータOPの人差し指に対して疑似的に与えられる疑似反力Ffeedと疑似変位xfeedに変換される。そして、オペレータOPが疑似反力Ffeedと疑似変位xfeedを実際に受けた場合の拮抗筋の伸縮量x,xが算出される。入力デバイス10は、算出された伸縮量x,xだけ人差し指の拮抗筋を収縮させるための刺激を、拮抗筋それぞれに入力する。
このようにして、操作対象20が受けている反力Fと変位xがオペレータOPにフィードバックされる。
図4は、図3を参照して説明した反力と変位のフィードバックを実現する入力デバイス10の機能構成例を示すブロック図である。
図4に示されるように、入力デバイス10は、センサ111、伸縮量計測部112、制御量算出部113、FB(フィードバック)情報取得部114、伸縮量算出部115、刺激入力部116、および電極117を含むように構成される。
センサ111は、複数の光学式距離センサとして構成される。センサ111は、例えばオペレータOPの人差し指の拮抗筋の変位に対応するセンサ値を取得し、伸縮量計測部112に供給する。
伸縮量計測部112は、センサ111からのセンサ値に基づいて、拮抗筋の伸縮量x1in,x2inを計測する。計測された伸縮量x1in,x2inは、制御量算出部113に供給される。
制御量算出部113は、伸縮量計測部112からの伸縮量x1in,x2inを用いて、操作対象20に入力する制御量xinを算出する。算出された制御量xinは、操作対象20に供給される。
一方、操作対象20は、駆動制御部121、駆動部122、および反力/変位計測部123を備えている。
駆動制御部121は、入力デバイス10からの制御量xinに基づいて、駆動部122の駆動を制御する。
駆動部122は、例えばロボットハンド状に構成され、駆動制御部121の制御により、所定の物体を把持するなど、物体のマニピュレーションを行う。
反力/変位計測部123は、例えば駆動部122に取り付けられるセンサ類として構成され、駆動部122の駆動により駆動部122が受ける反力Fと変位xを計測する。計測された反力Fと変位xは、操作対象20に係る物理量の変化を表す変化情報として、入力デバイス10に供給される。
入力デバイス10の説明に戻り、FB情報取得部114は、操作対象20から変化情報として供給された反力Fと変位xを取得し、オペレータOPの人差し指に与えられる疑似反力Ffeedと疑似変位xfeedに変換する。疑似反力Ffeedと疑似変位xfeedは、伸縮量算出部115に供給される。
伸縮量算出部115は、FB情報取得部114からの疑似反力Ffeedと疑似変位xfeedに基づいて、拮抗筋の伸縮量x,xを算出する。算出された伸縮量x,xは、刺激入力部116に供給される。
刺激入力部116は、伸縮量算出部115からの伸縮量x,xに応じた電気刺激信号を生成することで、伸縮量x,xだけ人差し指の拮抗筋を収縮させるための刺激を、電極117を介して入力する。
電極117は、オペレータOPの体において伸縮させる部位から離れた箇所に接触するように設けられる。具体的には、オペレータOPの各指から離れた前腕に接触するように設けられ、刺激入力部116により生成された電気刺激信号に応じて、オペレータOPの前腕に電気刺激を与える。
次に、図5のフローチャートを参照して、入力デバイス10による、操作対象20からの反力と変位のフィードバックの流れについて説明する。
ステップS11において、伸縮量計測部112は、センサ111からのセンサ値に基づいて、拮抗筋の伸縮量x1in,x2inを計測する。
ステップS12において、制御量算出部113は、伸縮量計測部112からの伸縮量x1in,x2inを用いて、操作対象20に入力する制御量xinを算出する。算出された制御量xinは、操作対象20に供給され、それに応じて、操作対象20の駆動部122が駆動する。
ステップS13において、FB情報取得部114は、反力/変位計測部123により計測された駆動部122が受ける反力Fと変位xを、操作対象20から取得する。
ステップS14において、FB情報取得部114は、操作対象20から取得した反力FがF>0である(反力Fが生じている)か否かを判定する。
F>0でないと判定された場合、すなわち、駆動部122が受ける反力Fが生じていない場合には、ステップS11に戻り、これ以降の処理が繰り返される。一方、F>0であると判定された場合、ステップS15に進む。
ステップS15において、FB情報取得部114は、操作対象20から取得した反力Fと変位xを、オペレータOPへのフィードバック値となる疑似反力Ffeedと疑似変位xfeedに変換する。疑似反力Ffeedと疑似変位xfeedは、反力Fと変位xのフィードバック量の増幅/減衰の程度を示す感度係数k,kを用いて、以下の式で表される。
feed=k
feed=k
ステップS16において、伸縮量算出部115は、FB情報取得部114により変換された疑似反力Ffeedと疑似変位xfeedに基づいて、拮抗筋の伸縮量x,xを算出する。ここで、疑似反力Ffeedと疑似変位xfeedは、拮抗筋の伸縮量x,xの関数で表され、以下の式で定義されるものとする。
feed=g(x,x
feed=f(x,x
上述した2式より、拮抗筋の伸縮量x,xは、疑似反力Ffeedと疑似変位xfeedの関数として求められる。関数g,fが線形独立であれば、伸縮量x,xは独立に求められる。
ステップS17において、刺激入力部116は、伸縮量算出部115により算出された伸縮量x,xに基づいて、電極117を介して拮抗筋に対して刺激を入力する。
なお、F>0でない(反力Fが生じていない)場合には、拮抗筋の伸縮量x,xは、計測されている伸縮量x1in,x2inそのものとなり、拮抗筋に対して刺激は入力されない。
以上の処理によれば、操作対象20が受けている反力Fと変位xに対応する拮抗筋の伸縮量が算出され、その伸縮量に応じた刺激が拮抗筋に対して入力されることで、操作対象20が受けている反力Fと変位xがオペレータOPにフィードバックされる。これにより、外骨格型デバイスやグローブ型デバイスなどを装着しなくとも、オペレータOPの手指に対して、あたかも見えない物体に触れているかのような感覚を与えることができ、オペレータOPの動きを妨げることのない触覚フィードバックを実現することが可能となる。
<4.第2の実施形態>
図6は、上述した手法2における、反力のフィードバックについて説明する図である。
手法2においても、図6のA図に示されるように、オペレータOPが意図的に人差し指を動かしたときの拮抗筋(伸筋と屈筋)それぞれの長さ(伸縮量)x1in,x2inを用いて、入力デバイス10により、操作対象20(ロボット)の動作が制御される。拮抗筋の長さx1in,x2inと操作対象20に入力される制御量xinとの関係は、xin=e(x1in,x2in)と定義される。
ここで、オペレータOPが人差し指を動かす場合、拮抗筋(伸筋と屈筋)のいずれか一方が収縮することで、その指は動く。例えば、屈筋が収縮し、屈筋の長さx2inの変化量Δx2inが負の値(Δx2in<0)となった場合には、オペレータOPが指を曲げていることになる。
入力デバイス10から入力された制御量xinに応じて、B図に示されるように、操作対象20は、ロボットハンド状の駆動部dが駆動することで物体C2を把持する。このとき、駆動部dが環境から受けている反力Fが計測され、入力デバイス10に取得される。
入力デバイス10においては、操作対象20から取得された反力Fが、オペレータOPの人差し指に対して疑似的に与えられる疑似反力Ffeedに変換される。そして、オペレータOPが疑似反力Ffeedを実際に受けた場合の拮抗筋の伸縮量xまたはxが算出される。ここでは、拮抗筋(伸筋と屈筋)のうち、オペレータOPの動作により収縮していない筋肉の伸縮量が算出される。そして、入力デバイス10は、算出された伸縮量xまたはxだけ収縮していない方の拮抗筋を収縮させるための刺激を、当該拮抗筋に入力する。
このようにして、操作対象20が受けている反力FがオペレータOPにフィードバックされる。
図7は、図6を参照して説明した反力のフィードバックを実現する入力デバイス10の機能構成例を示すブロック図である。
図7に示されるように、入力デバイス10は、センサ211、伸縮量計測部212、制御量算出部213、FB情報取得部214、伸縮量算出部215、刺激入力部216、および電極217を含むように構成される。
なお、図7のセンサ211、伸縮量計測部212、制御量算出部213、FB情報取得部214、伸縮量算出部215、刺激入力部216、および電極217は、それぞれ、図3のセンサ111、伸縮量計測部112、制御量算出部113、FB情報取得部114、伸縮量算出部115、刺激入力部116、および電極117と同様の機能を有するので、その説明は省略する。
但し、FB情報取得部214は、操作対象20から供給された反力Fのみを取得し、オペレータOPの人差し指に与えられる疑似反力Ffeedに変換する点で、FB情報取得部114とは異なる。
また、図7の操作対象20が備える駆動制御部221、駆動部222、および反力計測部223のうち、駆動制御部221と駆動部222は、図3の駆動制御部121と駆動部122と同様の機能を有するので、その説明は省略する。
反力計測部223は、駆動部222の駆動により駆動部222が受ける反力Fを計測する。計測された反力Fは、操作対象20に係る物理量の変化を表す変化情報として、入力デバイス10に供給される。
次に、図8のフローチャートを参照して、入力デバイス10による、操作対象20からの反力のフィードバックの流れについて説明する。
ステップS21において、伸縮量計測部212は、センサ211からのセンサ値に基づいて、拮抗筋の伸縮量x1in,x2inを計測する。
ここでは、拮抗筋のいずれが収縮したか(オペレータOPが指を動かした方向)も検出される。例えば、伸筋が収縮し、伸筋の長さx1inの変化量がΔx1in<0となった(オペレータOPが指を伸ばしている)か、または、屈筋が収縮し、屈筋の長さx2inの変化量がΔx2in<0となった(オペレータOPが指を曲げている)かが検出される。
ステップS22において、制御量算出部213は、伸縮量計測部212からの伸縮量x1in,x2inを用いて、操作対象20に入力する制御量xinを算出する。算出された制御量xinは、操作対象20に供給され、それに応じて、操作対象20の駆動部222が駆動する。
ステップS23において、FB情報取得部214は、反力計測部223により計測された駆動部222が受ける反力Fを、操作対象20から取得する。
ステップS24において、FB情報取得部214は、操作対象20から取得した反力FがF>0である(反力Fが生じている)か否かを判定する。
F>0でないと判定された場合、すなわち、駆動部222が受ける反力Fが生じていない場合には、ステップS21に戻り、これ以降の処理が繰り返される。一方、F>0であると判定された場合、ステップS25に進む。
ステップS25において、FB情報取得部214は、操作対象20から取得した反力Fを、オペレータOPへのフィードバック値となる疑似反力Ffeedに変換する。疑似反力Ffeedは、反力Fのフィードバック量の増幅/減衰の程度を示す感度係数kを用いて、以下の式で表される。
feed=k
ステップS26において、伸縮量算出部215は、FB情報取得部214により変換された疑似反力Ffeedに基づいて、収縮していない拮抗筋の伸縮量xまたはxを算出する。ここで、疑似反力Ffeedは、拮抗筋の伸縮量x,xの関数で表され、以下の式で定義されるものとする。
feed=g(x,x
上述した式より、収縮していない拮抗筋の伸縮量xまたはxは、上記関数gから求められる関数h,hを用いて、以下のように表される。
Δx2in<0の場合(オペレータOPが指を曲げている場合)、
=h(x2in,Ffeed
Δx1in<0の場合(オペレータOPが指を伸ばしている場合)、
=h(x1in,Ffeed
ステップS27において、刺激入力部216は、伸縮量算出部215により算出された、収縮していない拮抗筋の伸縮量xまたはxに基づいて、電極217を介して当該拮抗筋に対して刺激を入力する。
なお、収縮している方の拮抗筋の伸縮量xまたはxは、計測されている伸縮量x1inまたはx2inそのものとなり、収縮している方の拮抗筋に対して刺激は入力されない。
以上の処理によれば、操作対象20が受けている反力Fに対応する、収縮していない拮抗筋の伸縮量が算出され、その伸縮量に応じた刺激が、収縮していない方の拮抗筋に対して入力されることで、操作対象20が受けている反力FがオペレータOPにフィードバックされる。これにより、外骨格型デバイスやグローブ型デバイスなどを装着しなくとも、オペレータOPの手指に対して、あたかも見えない物体に触れているかのような感覚を与えることができ、オペレータOPの動きを妨げることのない触覚フィードバックを実現することが可能となる。
<5.第3の実施形態>
図9は、上述した手法3における、変位のフィードバックについて説明する図である。
手法3においても、図9のA図に示されるように、オペレータOPが意図的に人差し指を動かしたときの拮抗筋(伸筋と屈筋)それぞれの長さ(伸縮量)x1in,x2inを用いて、入力デバイス10により、操作対象20(ロボット)の動作が制御される。拮抗筋の長さx1in,x2inと操作対象20に入力される制御量xinとの関係は、xin=e(x1in,x2in)と定義される。
ここで、オペレータOPが人差し指を動かす場合、拮抗筋(伸筋と屈筋)のいずれか一方が収縮することで、その指は動く。例えば、屈筋が収縮し、屈筋の長さx2inの変化量Δx2inが負の値(Δx2in<0)となった場合には、オペレータOPが指を曲げていることになる。
入力デバイス10から入力された制御量xinに応じて、B図に示されるように、操作対象20は、ロボットハンド状の駆動部dが駆動することで物体C2を把持する。このとき、駆動部dが環境から受けている反力Fが計測され、入力デバイス10に取得される。
入力デバイス10においては、操作対象20から取得された反力Fから、駆動部dの変位xが推定され、オペレータOPの人差し指に対して疑似的に与えられる疑似変位xfeedに変換される。そして、オペレータOPが疑似変位xfeedを実際に受けた場合の拮抗筋の伸縮量xまたはxが算出される。ここでは、拮抗筋(伸筋と屈筋)のうち、オペレータOPの動作により収縮していない筋肉の伸縮量が算出される。そして、入力デバイス10は、算出された伸縮量xまたはxだけ人差し指の収縮していない方の拮抗筋を収縮させるための刺激を、当該拮抗筋に入力する。
このようにして、操作対象20が受けている変位xがオペレータOPにフィードバックされる。
図10は、図9を参照して説明した変位のフィードバックを実現する入力デバイス10の機能構成例を示すブロック図である。
図10に示されるように、入力デバイス10は、センサ311、伸縮量計測部312、制御量算出部313、FB情報取得部314、伸縮量算出部315、刺激入力部316、および電極317を含むように構成される。
なお、図10のセンサ311、伸縮量計測部312、制御量算出部313、FB情報取得部314、伸縮量算出部315、刺激入力部316、および電極317は、それぞれ、図3のセンサ111、伸縮量計測部112、制御量算出部113、FB情報取得部114、伸縮量算出部115、刺激入力部116、および電極117と同様の機能を有するので、その説明は省略する。
但し、FB情報取得部314は、操作対象20から供給された反力Fを取得することで変位xを推定し、オペレータOPの人差し指に与えられる疑似変位xfeedに変換する点で、FB情報取得部114とは異なる。
また、図10の操作対象20が備える駆動制御部321、駆動部322、および反力計測部323は、図7の駆動制御部221、駆動部222、および反力計測部223と同様の機能を有するので、その説明は省略する。
次に、図11のフローチャートを参照して、入力デバイス10による、操作対象20からの変位のフィードバックの流れについて説明する。
ステップS31において、伸縮量計測部312は、センサ311からのセンサ値に基づいて、拮抗筋の伸縮量x1in,x2inを計測する。
ここでは、拮抗筋のいずれが収縮したか(オペレータOPが指を動かした方向)も検出される。例えば、伸筋が収縮し、伸筋の長さx1inの変化量がΔx1in<0となった(オペレータOPが指を伸ばしている)か、または、屈筋が収縮し、屈筋の長さx2inの変化量がΔx2in<0となった(オペレータOPが指を曲げている)かが検出される。
ステップS32において、制御量算出部313は、伸縮量計測部312からの伸縮量x1in,x2inを用いて、操作対象20に入力する制御量xinを算出する。算出された制御量xinは、操作対象20に供給され、それに応じて、操作対象20の駆動部322が駆動する。
ステップS33において、FB情報取得部314は、反力計測部323により計測された、駆動部322が受ける反力Fを、操作対象20から取得する。
ステップS34において、FB情報取得部314は、操作対象20から取得した反力FがF>0である(反力Fが生じている)か否かを判定する。
F>0でないと判定された場合、すなわち、駆動部322が受ける反力Fが生じていない場合には、ステップS31に戻り、これ以降の処理が繰り返される。一方、F>0であると判定された場合、ステップS35に進む。
ステップS35において、FB情報取得部314は、操作対象20から取得した反力Fから、操作対象20において反力Fが作用する駆動部322の変位xを推定する。
ステップS36において、FB情報取得部314は、推定された変位xを、オペレータOPへのフィードバック値となる疑似変位xfeedに変換する。疑似変位xfeedは、変位xのフィードバック量の増幅/減衰の程度を示す感度係数kを用いて、以下の式で表される。
feed=k
ステップS37において、伸縮量算出部215は、FB情報取得部314により変換された疑似変位xfeedに基づいて、収縮していない拮抗筋の伸縮量xまたはxを算出する。ここで、疑似変位xfeedは、拮抗筋の伸縮量x,xの関数で表され、以下の式で定義されるものとする。
feed=f(x,x
上述した式より、収縮していない拮抗筋の伸縮量xまたはxは、上記関数fから求められる関数h,hを用いて、以下のように表される。
Δx2in<0の場合(オペレータOPが指を曲げている場合)、
=h(x2in,Ffeed
Δx1in<0の場合(オペレータOPが指を伸ばしている場合)、
=h(x1in,Ffeed
ステップS38において、刺激入力部316は、伸縮量算出部315により算出された、収縮していない拮抗筋の伸縮量xまたはxに基づいて、電極317を介して当該拮抗筋に対して刺激を入力する。
なお、収縮している方の拮抗筋の伸縮量xまたはxは、計測されている伸縮量x1inまたはx2inそのものとなり、収縮している方の拮抗筋に対して刺激は入力されない。
以上の処理によれば、操作対象20が受けている変位xに対応する、収縮していない拮抗筋の伸縮量が算出され、その伸縮量に応じた刺激が、収縮していない方の拮抗筋に対して入力されることで、操作対象20が受けている変位xがオペレータOPにフィードバックされる。これにより、外骨格型デバイスやグローブ型デバイスなどを装着しなくとも、オペレータOPの手指に対して、あたかも見えない物体に触れているかのような感覚を与えることができ、オペレータOPの動きを妨げることのない触覚フィードバックを実現することが可能となる。
なお、手法3においては、操作対象20から取得された反力Fから変位xが推定されるものとしたが、操作対象20において変位xが計測され、その変位xが操作対象20から取得されるようにしてもよい。
<6.フィードバックとオペレータ入力の干渉の回避策>
上述した手法においては、オペレータOPが能動的に手指などを動かしている最中に、電気刺激によるフィードバックが行われた場合、入力デバイス10によるフィードバック指令と、オペレータOPの筋電による手指への指令が干渉することが考えられる。すなわち、タイミングによっては、オペレータOPが動かしていない方の筋肉ではなく、オペレータOPが動かしている筋肉にフィードバックが行われることがあり得る。
例えば、図12のA図に示されるように、オペレータOP(人間)が屈筋を使って手指を曲げた場合、操作対象20(ロボット)が環境(物体C3)から受けている反力Fが伸筋への刺激としてフィードバックされる。その状態から、オペレータOPが手指を伸ばそうとする場合、B図に示されるように、屈筋の収縮は停止し、伸筋にはこれまでのフィードバックとオペレータOPによる入力が加わる。すなわち、1つの筋肉が、外部からの入力とオペレータOPからの入力の2系統の制御入力を受けることになる。
このような干渉に対して、以下の3つの回避策が考えられる。
(回避策1)
オペレータOPが、フィードバック指令を受けている筋肉を能動的に動かそうとした場合であっても、それまでのフィードバックを継続して行うようにする。すなわち、刺激入力部により電気刺激が入力されている筋肉の意図的な伸縮が検知された場合であっても、その筋肉に対する電気刺激の入力が継続されるようにする。
この場合、当該筋肉には、オペレータOPによる指令とフィードバック指令としての電気刺激が同時に与えられる。そのため、フィードバックが加わっている方向に筋肉を動かしやすくなり、ひいては、オペレータOPはより弱い力で筋肉を動かすことができる。すなわち、フィードバックが、オペレータOPの動作のアシストとして機能する。
(回避策2)
オペレータOPが、フィードバック指令を受けている筋肉を能動的に動かそうとした場合、それまでのフィードバックを停止するようにする。すなわち、刺激入力部により電気刺激が入力されている筋肉の意図的な伸縮が検知された場合、その筋肉に対する電気刺激の入力が停止されるようにする。
この場合、オペレータOPが筋肉や関節の動作の方向を切り替える度に、ロボットが反力を受けることで加わっていたフィードバックが瞬時に停止することになる。
(回避策3)
オペレータOPが、フィードバック指令を受けている筋肉を能動的に動かそうとした場合、図13に示されるように、オペレータ入力による手指の動き(筋肉の伸長量)がフィードバックによる動きの幅を越えるときには、フィードバックを停止するようにする。また、オペレータ入力による手指の動き(筋肉の伸長量)が相対的に小さい場合には、フィードバックを優先して行うようにする。すなわち、刺激入力部により電気刺激が入力されている筋肉の意図的な伸縮による伸縮量が所定量を超えた場合には、その筋肉に対する電気刺激の入力が停止されるようにする。
この場合、オペレータ入力による動きの量が、それまでのフィードバックによる動きの量を越えた場合に、フィードバックからオペレータ入力に切り替わるため、上述した回避策2のように、フィードバックが瞬時に停止することはなく、より正確に反力がフィードバックされるようになる。
<7.マッピングモデルの構築>
上述した手法1,2,3を用いた反力や変位のフィードバックを行うためには、オペレータOPに与えられる疑似反力・疑似変位と、オペレータ入力(拮抗筋の伸縮量)とを対応付ける必要がある。以下においては、これらを対応付けるモデルを構築する2つの手順について説明する。このようなモデルを用いることで、拮抗筋の少なくともいずれかの伸縮量を算出することが可能となる。
(機械学習を用いたモデル構築)
図14のフローチャートを参照して、オペレータOPに与えられる疑似反力・疑似変位を拮抗筋の長さ(伸縮量)などに一意に変換するためのマッピングモデルを、機械学習を用いて構築する手順について説明する。
まず、一般モデルを構築する。ここでは、マッピングモデルの入力を反力・変位のフィードバック値(疑似反力・疑似変位)とし、出力をオペレータOPが筋肉を動かすための制御量(拮抗筋の長さ)とする。一般的に、入力変数と出力変数がそれぞれ2つずつある場合、(Ffeed,xfeed)→(x,x)として、一意にマッピングを行うことができる。
ステップS51において、不特定のユーザに測定対象とする手指を動かしてもらうことで、不特定のユーザについて、各指の位置と力とともに、各指の拮抗筋の長さ(伸縮量)を計測する。拮抗筋の長さの計測には、例えば、従来のリストバンド型デバイスなどが用いられる。
これらの計測は、年齢、身長、性別など様々なパラメータのユーザを対象として行われる。すなわち、ステップS52において、十分なデータが収集できたか否かが判定され、十分なデータが収集できるまで、不特定のユーザについての計測(ステップS51)が繰り返される。
十分なデータが収集できた場合、ステップS53において、機械学習を用いたマッピングモデルを構築する。具体的には、収集された大量のデータを用いて、例えばニューラルネットワークなどの機械学習アルゴリズムによりマッピングモデルを構築する。
以上のようにして、一般モデルが構築される。以降においては、特定のユーザのためのモデル変更を行う。
ステップS54において、特定のユーザに測定対象とする手指を動かしてもらうことで、ステップS51と同様に、特定のユーザについて、各指の位置と力とともに、各指の拮抗筋の長さ(伸縮量)を計測する。
ステップS55において、特定のユーザについての計測結果を用いて、マッピングモデル(一般モデル)のパラメータを微調整することで、特定のユーザに適した固有モデルが構築される。このようにして構築されたマッピングモデルは、当該ユーザに対して反力・変位のフィードバックを行う際に用いられる。
なお、機械学習を用いたマッピングモデルの構築は、フィードバックされる物理量(反力や変位)に応じて、言い換えると、上述したいずれの手法を用いるかに応じて実行されてもよい。
(理論式を用いたモデル構築)
図15のフローチャートを参照して、オペレータOPに与えられる疑似反力・疑似変位を拮抗筋の長さ(伸縮量)などに一意に変換するためのマッピングモデルを、例えば多項式近似などの理論式を用いて構築する手順について説明する。
なお、図15のステップS61,S62の手順は、図15のステップS51,52の手順と同様であるので、その説明は省略する。
すなわち、十分なデータが収集できた場合、ステップS63において、理論式を用いたマッピングモデルを構築する。具体的には、多項式近似などを用いて、収集された大量のデータにおける入力変数と出力変数の関係を理論的な数式で表現する。例えば、反力が拮抗筋の伸縮量の二次関数で、変位が拮抗筋の伸縮量の一次関数であるとしたとき、以下のような連立方程式が得られる。
feed=a(x-x+b(x-x)+c
feed=d(x-x)+e
以上のようにして、一般モデルが構築される。以降においては、特定のユーザのためのモデル変更を行う。
ステップS64において、特定のユーザに測定対象とする手指を動かしてもらうことで、ステップS61と同様に、特定のユーザについて、各指の位置と力とともに、各指の拮抗筋の長さ(伸縮量)を計測する。
ステップS65において、特定のユーザについての計測結果を用いて、マッピングモデル(一般モデル)のパラメータを微調整することで、特定のユーザに適した固有モデルが構築される。このようにして構築されたマッピングモデルは、当該ユーザに対して反力・変位のフィードバックを行う際に用いられる。
<8.キャリブレーション手法の例>
上述したモデル構築においては、マッピングモデルの入力変数と出力変数に関する大量のデータを収集する必要がある。以下においては、それらのデータを収集するためのキャリブレーション手法の例について説明する。なお、以下のいずれの例においても、拮抗筋の伸縮量などの計測には、リストバンド型デバイスが用いられるものとする。
(1)力センサを用いた手法
オペレータOPが手指を動かす際に、手指が環境から受ける反力と変位を測定する。反力の測定には、力センサ(トルクセンサ)を用いる。力センサ(トルクセンサ)は、環境において固定され、力センサ(トルクセンサ)に対して、オペレータOPが能動的に外力を加えることで反力が測定される。変位の測定には、マーカを使用したモーションキャプチャシステムや、マーカを使用しない骨格推定に基づくキャプチャシステムを用いる。
本手法は、オペレータOPが力センサに対して外力を加える際に手指が動かないため、反力と変位に対して同時にキャリブレーションを行うことが困難となる。一方、手指に装着するものはないため、キャリブレーションのプロセスがスムーズとなり、短時間で実施可能となる。
(2)装着型デバイスを用いた手法
オペレータOPに、力を能動的に与えることが可能で、かつ、指の位置情報を取得することが可能な外骨格型デバイスを装着させ、オペレータOPが、そのデバイスに負荷を加えることによって、反力と変位を同時に計測する。
本手法は、装着型デバイスの使用に伴う準備や補助的なキャリブレーションが必要となるため、比較的時間がかかるおそれがある一方、反力と変位に対して同時にキャリブレーションを行うことが可能である。
(3)重りを用いた手法
オペレータOPの手指にあらかじめ質量を計測した重りを取り付け、オペレータOPが手指を動かす際に、重りに働く重力に対する反力を計算することで、キャリブレーションを行う。変位の測定には、(1)力センサを用いた手法と同様のキャプチャシステムを用いる。
本手法は、重りを装着する必要があるため、比較的時間がかかるおそれがある一方、反力と変位に対して同時にキャリブレーションを行うことを、安価に実現することができる。
(4)変位のみ測定する手法
マーカを使用したモーションキャプチャシステムや、マーカを使用しない骨格推定に基づくキャプチャシステムなどを用いて、オペレータOPの手指の動き(変位)のみを計測する。この場合、あらかじめ構築された一般モデルを適用することで、一定程度の精度での力フィードバックも実現できる。
本手法は、オペレータOPの手指などにデバイスを装着する必要がないため、一般モデルが構築された状態でのキャリブレーション、すなわち、使用現場における特定ユーザに対するキャリブレーションに有効となる。
上述した4つのキャリブレーション手法は、一般モデルの構築と、特定ユーザのための固有モデルの構築の両方に用いられてもよいし、それぞれ別個に用いられたり、組み合わせて用いられたりしてもよい。
<9.変形例>
上述した遠隔操作システムにおいては、オペレータに装着された入力デバイスが、操作対象の動作を制御するものとした。これに限らず、オペレータに装着された入力デバイスが、クラウド上のサーバなど、任意の場所にあるコンピュータを介して、操作対象の動作を制御するようにもできる。
図16は、本開示に係る技術を適用し得る遠隔操作システムの他の構成例を示す図である。
図16の遠隔操作システムは、入力デバイス510と操作対象520に加え、例えばクラウド上に構成されるサーバ530を含むように構成される。
入力デバイス510は、ユーザであるオペレータOPの体の部位の筋肉の伸縮を入力として受け付け、その筋肉の伸縮量を、サーバ530に供給する。
サーバ530は、本開示に係る技術が適用される情報処理装置の一形態である。サーバ530は、入力デバイス510からの伸縮量に応じた制御量に基づいて、操作対象520の動作を制御する。
操作対象520は、入力デバイス510からの制御量に基づいて動作し、オペレータOPの体の部位の筋肉の伸縮に応じた物理量の変化を表す変化情報を、サーバ530に供給する。サーバ530は、操作対象520から供給された変化情報に基づいて、操作対象520に係る物理量の変化(反力や変位)に対応する当該筋肉の伸縮量を算出し、入力デバイス510に供給する。
入力デバイス510は、サーバ530から供給された伸縮量に基づいて、オペレータOPの当該筋肉に対する刺激を入力する。
図17は、サーバ530の機能構成例を示すブロック図である。
図17に示されるように、サーバ530は、制御量算出部531、FB情報取得部532、および伸縮量算出部533を含むように構成される。
制御量算出部531は、入力デバイス510からの伸縮量x1in,x2inを用いて、操作対象520に入力する制御量xinを算出する。算出された制御量xinは、操作対象520に供給される。
FB情報取得部532は、操作対象520から変化情報として供給された反力Fと変位xを取得し、例えばオペレータOPの人差し指に与えられる疑似反力Ffeedと疑似変位xfeedに変換する。疑似反力Ffeedと疑似変位xfeedは、伸縮量算出部533に供給される。
伸縮量算出部533は、FB情報取得部532からの疑似反力Ffeedと疑似変位xfeedに基づいて、拮抗筋の伸縮量x,xを算出する。算出された伸縮量x,xは、入力デバイス510に供給される。
なお、図17の構成においては、操作対象520が受けている反力と変位がオペレータOPにフィードバックされるものとするが、手法2のように、反力のみがオペレータOPにフィードバックされてもよい。また、手法3のように、変位のみがオペレータOPにフィードバックされたりしてもよい。
このような構成においても、オペレータOPの筋肉に刺激を与えることで、疑似的に触覚フィードバックを行うことが可能となる。
<10.その他の適用例>
本開示に係る技術は、上述した説明における操作対象や、フィードバック対象となる部位にも適用することができる。
(1)操作対象
上述した実施の形態においては、操作対象として、遠隔操作型のロボットが制御されるものとした。
これに限らず、物理的な操作対象として、実空間に存在する自動車、バイク、航空機、船舶、その他の自動化機器や機械が制御されるようにしてもよい。また、物理的でない操作対象として、VR・AR機器を用いたゲームや体験などにおける仮想物体が制御されるようにしてもよい。
さらに、操作対象は、物体に限らず、生物であってもよい。この場合、例えば、人間同士の感覚共有や遠隔操作も可能となる。
(2)フィードバック対象となる部位
上述した実施の形態においては、人間の手指に、操作対象が受けた反力や変位がフィードバックされるものとした。
これに限らず、フィードバック対象となる部位を動作させるデバイスに応じて、人間の手、腕、足、胴体などの任意の部位に、操作対象が受けた物理量がフィードバックされてもよい。また、反力の向きによっては、人間(オペレータ)が能動的に動かしている筋肉と拮抗しない筋肉に対して、その反力がフィードバックされてもよい。
(3)物理量の例
上述した実施の形態において、操作対象が受ける反力や変位、それらに応じた疑似反力、拮抗筋の伸縮量は、以下のような物理量に置き換えることもできる。
・操作対象が受ける反力:モーメント、剛性など
・操作対象が受ける変位:角変位、回転角など
・疑似反力:トルク、手指(筋肉)の剛性など
・拮抗筋の伸縮量:電圧、電流、張力、剛性など
なお、これらの物理量は、上述したモデル構築やキャリブレーションにおいて用いられるようにもできる。
(4)刺激方法
上述した実施の形態においては、フィードバックの際に筋肉に対して電気刺激が入力されるものとしたが、電気刺激以外の刺激が入力されるようにしてもよい。
<11.コンピュータの構成例>
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
本開示に係る技術を適用し得る情報処理装置としての入力デバイス10やサーバ530は、図18に示される構成を有するコンピュータ900により実現される。
コンピュータ900において、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、入力部906、出力部907、記憶部908、通信部909、及びドライブ910が接続されている。
入力部906は、キーボード、マウス、マイクロフォンなどよりなる。出力部907は、ディスプレイ、スピーカなどよりなる。記憶部908は、ハードディスクや不揮発性のメモリなどよりなる。通信部909は、ネットワークインタフェースなどよりなる。ドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア911を駆動する。
以上のように構成されるコンピュータ900では、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ900(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア911に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ900では、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
なお、コンピュータ900が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示に係る技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示に係る技術は以下のような構成をとることができる。
(1)
ユーザの体の部位の筋肉の伸縮に応じた操作対象に係る物理量の変化を表す変化情報を取得する取得部と、
前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する算出部と
を備える情報処理装置。
(2)
算出された前記伸縮量に基づいて、前記筋肉に対する刺激を入力する入力部をさらに備える
(1)に記載の情報処理装置。
(3)
前記入力部は、前記ユーザの体において前記部位から離れた箇所に接触する電極を介して、前記筋肉に対して電気刺激を入力する
(2)に記載の情報処理装置。
(4)
前記取得部は、対となる拮抗筋の少なくともいずれかの伸縮に応じた前記変化情報を取得し、
前記算出部は、前記変化情報に基づいて、前記拮抗筋の少なくともいずれかの前記伸縮量を算出する
(2)または(3)に記載の情報処理装置。
(5)
前記取得部は、前記操作対象が環境から受ける反力と、前記操作対象において前記反力が作用する作用部の変位を表す前記変化情報を取得し、
前記算出部は、前記拮抗筋それぞれの、前記反力と前記変位に対応する前記伸縮量を算出する
(4)に記載の情報処理装置。
(6)
前記取得部は、前記操作対象が環境から受ける反力を表す前記変化情報を取得し、
前記算出部は、前記拮抗筋のうち収縮していない前記筋肉の、前記反力に対応する前記伸縮量を算出する
(4)に記載の情報処理装置。
(7)
前記取得部は、前記操作対象において、環境から受ける反力が作用する作用部の変位を表す前記変化情報を取得し、
前記算出部は、前記拮抗筋のうち収縮していない前記筋肉の、前記変位に対応する前記伸縮量を算出する
(4)に記載の情報処理装置。
(8)
前記入力部は、前記刺激が入力されている前記筋肉の前記ユーザによる意図的な伸縮が検知された場合であっても、前記筋肉に対する前記刺激の入力を継続する
(2)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記入力部は、前記刺激が入力されている前記筋肉の前記ユーザによる意図的な伸縮が検知された場合、前記筋肉に対する前記刺激の入力を停止する
(2)乃至(7)のいずれかに記載の情報処理装置。
(10)
前記入力部は、前記刺激が入力されている前記筋肉の前記ユーザによる意図的な伸縮による前記伸縮量が所定量を超えた場合、前記筋肉に対する前記刺激の入力を停止する
(2)乃至(7)のいずれかに記載の情報処理装置。
(11)
前記算出部は、前記筋肉の少なくともいずれかの前記伸縮量を、前記変化情報で表される前記物理量の変化を前記伸縮量に変換するためのモデルに基づいて算出する
(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記モデルは、機械学習を用いて構築されたマッピングモデルである
(11)に記載の情報処理装置。
(13)
前記モデルは、理論式を用いて構築されたマッピングモデルである
(11)に記載の情報処理装置。
(14)
算出された前記伸縮量は、前記伸縮量に基づいて前記筋肉に対する刺激を入力する入力デバイスに供給される
(1)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記物理量の変化は、実空間において前記操作対象が環境から受ける反力および前記操作対象において前記反力が作用する作用部の変位の少なくともいずれかを含む
(1)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記物理量の変化は、仮想空間において前記操作対象が環境から受ける反力および前記操作対象において前記反力が作用する作用部の変位の少なくともいずれかを含む
(1)乃至(14)のいずれかに記載の情報処理装置。
(17)
情報処理装置が、
ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報を取得し、
前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する
情報処理方法。
(18)
コンピュータに、
ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報を取得し、
前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する
処理を実行させるためのプログラム。
10 入力デバイス, 20 操作対象, 111 センサ, 112 伸縮量計測部, 113 制御量算出部, 114 FB情報取得部, 115 伸縮量算出部, 116 刺激入力部, 117 電極, 510 入力デバイス, 520 操作対象, 530 サーバ, 531 制御量算出部, 532 FB情報取得部, 900 コンピュータ, 901 CPU

Claims (18)

  1. ユーザの体の部位の筋肉の伸縮に応じた操作対象に係る物理量の変化を表す変化情報を取得する取得部と、
    前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する算出部と
    を備える情報処理装置。
  2. 算出された前記伸縮量に基づいて、前記筋肉に対する刺激を入力する入力部をさらに備える
    請求項1に記載の情報処理装置。
  3. 前記入力部は、前記ユーザの体において前記部位から離れた箇所に接触する電極を介して、前記筋肉に対して電気刺激を入力する
    請求項2に記載の情報処理装置。
  4. 前記取得部は、対となる拮抗筋の少なくともいずれかの伸縮に応じた前記変化情報を取得し、
    前記算出部は、前記変化情報に基づいて、前記拮抗筋の少なくともいずれかの前記伸縮量を算出する
    請求項1に記載の情報処理装置。
  5. 前記取得部は、前記操作対象が環境から受ける反力と、前記操作対象において前記反力が作用する作用部の変位を表す前記変化情報を取得し、
    前記算出部は、前記拮抗筋それぞれの、前記反力と前記変位に対応する前記伸縮量を算出する
    請求項4に記載の情報処理装置。
  6. 前記取得部は、前記操作対象が環境から受ける反力を表す前記変化情報を取得し、
    前記算出部は、前記拮抗筋のうち収縮していない前記筋肉の、前記反力に対応する前記伸縮量を算出する
    請求項4に記載の情報処理装置。
  7. 前記取得部は、前記操作対象において、環境から受ける反力が作用する作用部の変位を表す前記変化情報を取得し、
    前記算出部は、前記拮抗筋のうち収縮していない前記筋肉の、前記変位に対応する前記伸縮量を算出する
    請求項4に記載の情報処理装置。
  8. 前記入力部は、前記刺激が入力されている前記筋肉の前記ユーザによる意図的な伸縮が検知された場合であっても、前記筋肉に対する前記刺激の入力を継続する
    請求項2に記載の情報処理装置。
  9. 前記入力部は、前記刺激が入力されている前記筋肉の前記ユーザによる意図的な伸縮が検知された場合、前記筋肉に対する前記刺激の入力を停止する
    請求項2に記載の情報処理装置。
  10. 前記入力部は、前記刺激が入力されている前記筋肉の前記ユーザによる意図的な伸縮による前記伸縮量が所定量を超えた場合、前記筋肉に対する前記刺激の入力を停止する
    請求項2に記載の情報処理装置。
  11. 前記算出部は、前記筋肉の前記伸縮量を、前記変化情報で表される前記物理量の変化を前記伸縮量に変換するためのモデルに基づいて算出する
    請求項1に記載の情報処理装置。
  12. 前記モデルは、機械学習を用いて構築されたマッピングモデルである
    請求項11に記載の情報処理装置。
  13. 前記モデルは、理論式を用いて構築されたマッピングモデルである
    請求項11に記載の情報処理装置。
  14. 算出された前記伸縮量は、前記伸縮量に基づいて前記筋肉に対する刺激を入力する入力デバイスに供給される
    請求項1に記載の情報処理装置。
  15. 前記物理量の変化は、実空間において前記操作対象が環境から受ける反力および前記操作対象において前記反力が作用する作用部の変位の少なくともいずれかを含む
    請求項1に記載の情報処理装置。
  16. 前記物理量の変化は、仮想空間において前記操作対象が環境から受ける反力および前記操作対象において前記反力が作用する作用部の変位の少なくともいずれかを含む
    請求項1に記載の情報処理装置。
  17. 情報処理装置が、
    ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報を取得し、
    前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する
    情報処理方法。
  18. コンピュータに、
    ユーザの体の部位の筋肉の変位に応じた操作対象の動作に係る物理量の変化を表す変化情報を取得し、
    前記変化情報に基づいて、前記物理量の変化に対応する前記筋肉の伸縮量を算出する
    処理を実行させるためのプログラム。
JP2021106321A 2021-06-28 2021-06-28 情報処理装置、情報処理方法、およびプログラム Pending JP2023004556A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021106321A JP2023004556A (ja) 2021-06-28 2021-06-28 情報処理装置、情報処理方法、およびプログラム
US18/572,407 US20240310917A1 (en) 2021-06-28 2022-02-10 Information processing apparatus, information processing method, and program
PCT/JP2022/005252 WO2023276239A1 (ja) 2021-06-28 2022-02-10 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021106321A JP2023004556A (ja) 2021-06-28 2021-06-28 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2023004556A true JP2023004556A (ja) 2023-01-17

Family

ID=84691138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021106321A Pending JP2023004556A (ja) 2021-06-28 2021-06-28 情報処理装置、情報処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20240310917A1 (ja)
JP (1) JP2023004556A (ja)
WO (1) WO2023276239A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4348577B2 (ja) * 1999-08-17 2009-10-21 ソニー株式会社 筋電位情報を利用したモーションキャプチャー装置とその制御方法、並びにこれを用いた電気刺激装置、力触覚呈示装置とこれらの制御方法
JP4085691B2 (ja) * 2002-05-17 2008-05-14 セイコーエプソン株式会社 画像処理装置
JP6251302B2 (ja) * 2016-01-27 2017-12-20 H2L株式会社 電気刺激装置

Also Published As

Publication number Publication date
WO2023276239A1 (ja) 2023-01-05
US20240310917A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
Jo et al. Design and control of a wearable and force-controllable hand exoskeleton system
Ben-Tzvi et al. Sensing and force-feedback exoskeleton (SAFE) robotic glove
JP6678832B2 (ja) 遠隔制御マニピュレータシステムおよび制御装置
Rao et al. Evaluation of an isometric and a position joystick in a target acquisition task for individuals with cerebral palsy
KR101548156B1 (ko) 촉감과 관절 저항감을 동시에 전달하는 무선 외골격 햅틱 인터페이스 장치 및 그 구성 방법
Tran et al. The relationship between physical human-exoskeleton interaction and dynamic factors: using a learning approach for control applications
CN114503057A (zh) 基于图像和惯性测量单元两者的取向确定
Kristanto et al. A wearable three-axis tactile sensor for human fingertips
Cui et al. An optimization approach to teleoperation of the thumb of a humanoid robot hand: Kinematic mapping and calibration
Li et al. Design and performance characterization of a soft robot hand with fingertip haptic feedback for teleoperation
KR101227092B1 (ko) 로봇의 동작 제어 시스템 및 동작 제어 방법
Ketkar et al. Design and development of a spherical 5-bar thumb exoskeleton mechanism for poststroke rehabilitation
WO2023276239A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP2660742A1 (en) Training apparatus
Aggogeri et al. Design and development of a mechanism for lower limb movement
Huo et al. Force sensorless admittance control of body weight support system
KR101568084B1 (ko) 이족보행로봇의 보행 모방 제어장치
Fukuda et al. An EMG‐controlled omnidirectional pointing device
Daud Haptic systems for post-stroke rehabilitation: From virtual reality to remote rehabilitation
JP6499900B2 (ja) 力覚制御装置及び力覚提示装置
JP2557789B2 (ja) ヒューマンインタフェース装置
Cui et al. Kinematic mapping and calibration of the thumb motions for teleoperating a humanoid robot hand
JP7535968B2 (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
Wang et al. A resistance compensation control algorithm for a cable-driven hand exoskeleton for motor function rehabilitation
CN118061200B (zh) 基于振动诱导的用于遥操作系统的力反馈方法及装置