JP2019084615A - マスタ操縦装置 - Google Patents

マスタ操縦装置 Download PDF

Info

Publication number
JP2019084615A
JP2019084615A JP2017213783A JP2017213783A JP2019084615A JP 2019084615 A JP2019084615 A JP 2019084615A JP 2017213783 A JP2017213783 A JP 2017213783A JP 2017213783 A JP2017213783 A JP 2017213783A JP 2019084615 A JP2019084615 A JP 2019084615A
Authority
JP
Japan
Prior art keywords
interference
slave device
master
master control
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017213783A
Other languages
English (en)
Other versions
JP6939432B2 (ja
Inventor
近藤 秀樹
Hideki Kondo
秀樹 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017213783A priority Critical patent/JP6939432B2/ja
Publication of JP2019084615A publication Critical patent/JP2019084615A/ja
Application granted granted Critical
Publication of JP6939432B2 publication Critical patent/JP6939432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】自装置の干渉による動作不良を低減することが可能なマスタ操縦装置を提供すること。【解決手段】本発明は、スレーブ装置40を遠隔で操縦するための操縦部11と、操縦部11の操縦に追従した動作となるようにスレーブ装置40を制御する制御部12と、スレーブ装置40の動作を示す画像40mを取得する取得部14と、自装置10干渉を検出するための干渉検出領域10rを設定する設定部15と、画像40mと干渉検出領域10rとを重畳して表示する表示部13と、を備える、マスタ操縦装置である。【選択図】図2

Description

本発明は、マスタ操縦装置に関するものであり、特に、自装置の干渉による動作不良を低減することが可能なマスタ操縦装置に関する。
ロボットなどのスレーブ装置を遠隔で操縦するマスタ操縦装置がある。この遠隔操縦は、マスタ操縦装置をマスタとし、ロボットをスレーブ装置とするマスタスレーブ方式による遠隔操縦である。マスタスレーブ方式によるロボットの遠隔操縦においては、環境や自身との干渉(自己干渉)を回避する必要がある。このため、操縦者に対してスレーブ装置の状態を視覚や反力で提示する。しかしながら、スレーブ装置で干渉が無い場合でも、マスタ操縦装置とスレーブ装置との形状の違いに起因して、マスタ操縦装置が操縦者を含めて自己干渉する場合がある。特に、操縦者に対して装着型マスタシステムの場合、外骨格型になるので、マスタ操縦装置の形状はスレーブ装置の形状とは大きく異なる。このため、腕部の同士の衝突や腕部と操縦者の腹部、大腿部などとの干渉を回避する必要がある。
特許文献1には、マスタ操縦装置の表示画面に、ロボット(スレーブ装置)を含むシーンの画像がリアルタイムで表示されると共に、ロボットの状態や操縦ガイドが重畳して表示されることが開示される。しかしながら、特許文献1には、遠隔操縦を行うマスタ操縦装置自身の干渉を検出するための干渉検出領域は表示画面に表示されない。よって、表示画面の内容に基づいてスレーブ装置であるロボットに干渉が無いものと思い込んで操縦すると、マスタ操縦装置の干渉により、ロボットを上手く遠隔操縦できない場合があった。
特許文献2には、ロボットの作業環境およびロボット自身の形状データを利用し、近接物体などの各種情報を作業環境の実画像にオーバレイ表示することにより、モニタ画面を通しての作業における立体感の喪失などの情報の欠落を補い、ロボットを遠隔操縦する際の作業性向上が開示されている。しかしながら、特許文献2には、遠隔操縦を行うマスタ操縦装置の干渉検出領域はモニタ画面に表示されない。よって、特許文献2においても、マスタ操縦装置の干渉により、ロボットを上手く遠隔操縦できない場合があった。
特開2016−107379号公報 特開平7−24767号公報
上述のように、マスタ操縦装置においては、マスタ操縦装置の干渉検出領域が表示画面に表示されない。このため、干渉が無いものと思い込んで操縦すると、マスタ操縦装置側の干渉により、ロボットを上手く遠隔操縦できない場合があった。
本発明は、このような問題点を解決するためになされたものであり、自装置の干渉による動作不良を低減することが可能なマスタ操縦装置を提供することを目的とする。
本発明は、
スレーブ装置を遠隔で操縦するための操縦部と、
前記操縦部の操縦に追従した動作となるように前記スレーブ装置を制御する制御部と、
前記スレーブ装置の動作を示す画像を取得する取得部と、
自装置の干渉を検出するための干渉検出領域を設定する設定部と、
前記画像と前記干渉検出領域とを重畳して表示する表示部と、
を備える、マスタ操縦装置である。
このような、マスタ操縦装置によれば、スレーブ装置の動作を示す画像と自装置の干渉検出領域とが重畳して表示されるので、マスタ操縦装置の干渉による動作不良を低減することができる。
本発明によれば、自装置の干渉による動作不良を低減することが可能なマスタ操縦装置を提供することができる。
実施の形態に係るマスタ操縦装置とスレーブ装置とを例示する模式図である。 実施の形態に係るマスタ操縦装置を例示するブロック図である。 実施の形態に係るマスタ操縦装置の動作を例示するフローチャートである。
以下、図面を参照して本発明の実施形態について説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明を省略する。
[実施の形態]
実施の形態に係るマスタ操縦装置の構成について説明する。
図1は、実施の形態に係るマスタ操縦装置とスレーブ装置とを例示する模式図である。
図2は、実施の形態に係るマスタ操縦装置を例示するブロック図である。
図1及び図2に示すように、実施の形態に係るマスタ操縦装置10は、操縦部11と制御部12と表示部13と取得部14と設定部15とを備える。操縦者18は、操縦部11でスレーブ装置40を遠隔で操縦する。操縦者18は、操縦部11で自身の手足等を動かすことにより、例えば、ロボットなどのスレーブ装置40を遠隔で操縦する。
制御部12は、操縦者18の操縦に追従した動作となるようにスレーブ装置40を制御する。操縦者18が操縦部11で操縦し、該操縦に追従するようにスレーブ装置40が動作する。
取得部14は、スレーブ装置40の動作を示す画像40mをスレーブ装置40から取得する。設定部15は、マスタ操縦装置10の干渉を検出するための干渉検出領域10rを設定する。干渉検出領域10rは、マスタ操縦装置10の形状を示す形状情報に基づいて設定されてもよい。
表示部13は、スレーブ装置40の動作を示す画像40mと、マスタ操縦装置10の干渉検出領域10rと、を重畳して表示する。これにより、操縦者18に対して、スレーブ装置40が干渉検出領域10rに干渉しているか否かを表示部13を介して視覚的に提示することができる。
操縦者18に対してマスタ操縦装置10の干渉検出領域10rが視覚的に提示されるため、操縦者18は直接視認できない干渉物を認識することができる。これにより、操縦者18は、干渉物を回避する適切な回避動作を行うことができる。
すなわち、実施の形態においては、操縦者18がヘッドマウントディスプレイなどの表示部13を装着し、自身の周囲が見えにくくマスタ操縦装置10の側の干渉物を認識できない場合でも、ヘッドマウントディスプレイ(表示部13)に干渉物(干渉検出領域10r)が表示されるので、マスタ操縦装置10の側の干渉を回避することができる。
その結果、自装置の干渉による動作不良を低減することが可能なマスタ操縦装置を提供することができる。
実施の形態は、マスタ操縦装置10をマスタとし、スレーブ装置40をスレーブとするマスタスレーブ方式による遠隔操縦である。よって、実施の形態は、マスタ操縦装置10とスレーブ装置40とを用いたマスタスレーブ方式のロボット遠隔操縦に適用できる。
スレーブ装置40の干渉回避のため、操縦者18に対して、スレーブ装置40の干渉検出に応じた反力を操縦者18に与えてもよい。
尚、スレーブ装置をスレーブ側マニプレータと称することもある。画像を画像情報、又は映像情報と称することもある。表示部を表示装置又は視覚提示装置と称することもある。干渉検出領域を干渉領域と称することもある。操縦者を操作者と称することもある。
実施の形態に係るマスタ操縦装置の動作について説明する。
図3は、実施の形態に係るマスタ操縦装置の動作を例示するフローチャートである。
図3に示すように、マスタ操縦装置10がスレーブ装置40の制御を開始する前に、マスタ操縦装置10と操縦者18のそれぞれの形状情報を読込む(ステップS101)。マスタ操縦装置10の側の各リンクの干渉検出領域10rを設定する(ステップS102)。干渉検出領域10rは、マスタ操縦装置10の干渉(自己干渉)を検出するために使用される。
スレーブ装置40の制御を開始するか否かを判断する(ステップS103)。スレーブ装置40の制御を開始しないと判断した場合(ステップS103:No)、ステップS103に戻る。
スレーブ装置40の制御を開始すると判断した場合(ステップS103:Yes)、マスタ操縦装置10の側の関節角度情報を取得する(ステップS104)。関節角度情報は、例えば、図1に示す右腕の肘関節の部分の角度10aである。ステップS104においては、その他の関節の角度も関節角度情報として取得し、必要とされる少なくとも1つ以上の関節角度情報を取得する。
マスタ操縦装置10の関節角度情報からマスタ操縦装置10の各リンクの干渉検出領域10rの位置姿勢を算出する(ステップS105)。
マスタ操縦装置10の形状情報を用いて、干渉検出領域10rと操縦者18とが干渉しているか否かを判定する(ステップS106)。すなわち、マスタ操縦装置10の干渉検出領域10rに、操縦者18の腕や足などが侵入するなどして、干渉検出領域10rと操縦者18とが干渉しているか否かを判定する。この判定を干渉判定と称する。
干渉していないと判定した場合(ステップS107:No)、ステップS109へ移行する。干渉していると判断した場合(ステップS107:Yes)、警告フラグをオンにする(ステップS108)。干渉していると判断した場合、判定結果を操縦者18に提示してもよい。
干渉していないと判定した場合(ステップS107:No)又は警告フラグをオンにした(ステップS108)場合、その後、スレーブ装置40の関節角度情報を取得する(ステップS109)。スレーブ装置40の関節角度情報から各リンクの位置姿勢を算出する(ステップS110)。
マスタ操縦装置10の干渉検出領域10rのサイズ、位置、姿勢を補正する(ステップS111)。
具体的には、マスタ操縦装置10の干渉検出領域10rと、スレーブ装置40のリンクの位置と、の間の距離が所定の距離以上離れている場合、マスタ操縦装置10の干渉検出領域10rを補正し、スレーブ装置40のリンクの位置に近づける。
また、マスタ操縦装置10のリンクの長さと、スレーブ装置40のリンクの長さと、が大きく異なる場合(マスタ操縦装置10のリンクの長さとスレーブ装置40のリンクの長さとの差が所定の長さ以上の場合)、マスタ操縦装置10の干渉検出領域10rにその比率Rを掛け、マスタ操縦装置10の干渉検出領域10rをリンクの長さ方向に対して拡大又は縮小してフィッティングする。比率Rは、例えば、スレーブ装置40のリンクの長さのマスタ操縦装置10のリンクの長さに対する比率である。
スレーブ装置40からスレーブ装置40の動作を示す画像40mを取得する(ステップS112)。具体的には、スレーブ装置40にカメラ40cを搭載し、カメラ40cで撮影した画像40mを取得する。
カメラ40cで撮影した画像40mと、マスタ操縦装置10の干渉検出領域10rと、を重畳した重畳画像を生成する(ステップS113)。
画像40mと干渉検出領域10rとが重畳された重畳画像を表示部13に表示する(ステップS114)。具体的には、操縦者18がヘッドマウントディスプレイ(表示部13)装着し、ヘッドマウントディスプレイに、重畳画像を表示する。表示部13は、ヘッドマウントディスプレイに限定されず、他の表示装置でもよい。
尚、警告フラグをオンにした場合(ステップS108)、干渉している複数のリンクをハイライトにして表示してもよい。複数のリンクのことを、リンク群と称することもある。
画像40mと干渉検出領域10rとを重畳して表示した(ステップS114)後、マスタ操縦装置10によるスレーブ装置40の制御を終了するか否かを判断する(ステップS115)。制御を終了しないと判断した場合(ステップS115:No)、ステップS104に移行する。制御を終了すると判断した場合(ステップS115:Yes)、制御を終了する。
実施の形態に係るマスタ操縦装置10の表示部13は、スレーブ装置40の動作を示す画像40mと、マスタ操縦装置10の干渉検出領域10rと、を重畳して表示する。
これにより、操縦者18は、スレーブ装置40の干渉状態に加えて、マスタ操縦装置10の干渉状態を加味して遠隔操縦を行うことができる。そして、操縦者18は、これらの干渉状態に応じて干渉物を回避するための適切な回避動作を行うことができる。
その結果、自装置の干渉による動作不良を低減することが可能なマスタ操縦装置を提供することができる。
また、操縦者18は、スレーブ装置40の干渉状態とマスタ操縦装置10の干渉状態とを認識することができるので、スレーブ装置40をスムーズに操縦することができる。
また、操縦者18は、スレーブ装置40とマスタ操縦装置10のどちらの装置で干渉が発生しているのを認識することができる。すなわち、操縦者18は、干渉が発生した場合、干渉がスレーブ装置とマスタ操縦装置のどちらで発生したものかを区別することができる。
また、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
10…マスタ操縦装置 10a…角度 10r…干渉検出領域 11…操縦部 12…制御部 13…表示部 14…取得部 15…設定部 18…操縦者 40…スレーブ装置 40c…カメラ 40m…画像 R…比率

Claims (1)

  1. スレーブ装置を遠隔で操縦するための操縦部と、
    前記操縦部の操縦に追従した動作となるように前記スレーブ装置を制御する制御部と、
    前記スレーブ装置の動作を示す画像を取得する取得部と、
    自装置の干渉を検出するための干渉検出領域を設定する設定部と、
    前記画像と前記干渉検出領域とを重畳して表示する表示部と、
    を備える、マスタ操縦装置。
JP2017213783A 2017-11-06 2017-11-06 マスタ操縦装置 Active JP6939432B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017213783A JP6939432B2 (ja) 2017-11-06 2017-11-06 マスタ操縦装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017213783A JP6939432B2 (ja) 2017-11-06 2017-11-06 マスタ操縦装置

Publications (2)

Publication Number Publication Date
JP2019084615A true JP2019084615A (ja) 2019-06-06
JP6939432B2 JP6939432B2 (ja) 2021-09-22

Family

ID=66761918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017213783A Active JP6939432B2 (ja) 2017-11-06 2017-11-06 マスタ操縦装置

Country Status (1)

Country Link
JP (1) JP6939432B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001287191A (ja) * 2000-04-10 2001-10-16 Kawasaki Heavy Ind Ltd マスタアームのリンク位置検出方法
JP2002288637A (ja) * 2001-03-23 2002-10-04 Honda Motor Co Ltd 環境情報作成方法
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
JP2014004656A (ja) * 2012-06-25 2014-01-16 Univ Of Tsukuba マニピュレーションシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001287191A (ja) * 2000-04-10 2001-10-16 Kawasaki Heavy Ind Ltd マスタアームのリンク位置検出方法
JP2002288637A (ja) * 2001-03-23 2002-10-04 Honda Motor Co Ltd 環境情報作成方法
JP2007029232A (ja) * 2005-07-25 2007-02-08 Hitachi Medical Corp 内視鏡手術操作支援システム
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
JP2014004656A (ja) * 2012-06-25 2014-01-16 Univ Of Tsukuba マニピュレーションシステム

Also Published As

Publication number Publication date
JP6939432B2 (ja) 2021-09-22

Similar Documents

Publication Publication Date Title
CN107921642B (zh) 远程操作机械手系统及其运转方法
US9799132B2 (en) Driving support apparatus for tow coupling
CN105666505B (zh) 具备扩展现实对应显示器的机器人系统
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6795471B2 (ja) ロボットシステム
JP6850183B2 (ja) ロボットシステム及びその運転方法
JP7023492B2 (ja) 移動体の追従画像提示システム
JPH08132372A (ja) ロボットの制御方法
US20160089787A1 (en) Robot controller
JP2020028957A (ja) 干渉回避装置およびロボットシステム
JPH0811071A (ja) マニピュレータの制御装置
JP6657858B2 (ja) ロボット操作システム
JP4949799B2 (ja) 作業支援装置および方法
US11618166B2 (en) Robot operating device, robot, and robot operating method
JP2019084615A (ja) マスタ操縦装置
JP3376029B2 (ja) ロボットの遠隔操作装置
US20230010302A1 (en) Generation of image for robot operation
JPH09194186A (ja) 起重機のインターロック装置及び方法
US11915339B2 (en) Remote operation instructing system, and mount type device
JPH1139035A (ja) ロボット遠隔制御システム
WO2020203819A1 (ja) 遠隔操作装置
KR20240004248A (ko) 데이터 처리 장치, 데이터 처리 방법 및 데이터 처리 시스템
JPH0457789A (ja) ロボット給油装置
JPS60207781A (ja) 異構造・マスタスレイブ・マニピュレータの動作制限装置
KR20170088470A (ko) 표시 영상에 기반한 제어 시스템 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200526

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R151 Written notification of patent or utility model registration

Ref document number: 6939432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151