JP2012152870A - マニプレータ装置およびマニプレータ付き作業装置 - Google Patents
マニプレータ装置およびマニプレータ付き作業装置 Download PDFInfo
- Publication number
- JP2012152870A JP2012152870A JP2011015268A JP2011015268A JP2012152870A JP 2012152870 A JP2012152870 A JP 2012152870A JP 2011015268 A JP2011015268 A JP 2011015268A JP 2011015268 A JP2011015268 A JP 2011015268A JP 2012152870 A JP2012152870 A JP 2012152870A
- Authority
- JP
- Japan
- Prior art keywords
- manipulator
- omnidirectional imaging
- finger
- imaging device
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
- Studio Devices (AREA)
Abstract
任意の位置にある把持対象物が、マニプレータによる把持可能な範囲に入るように、マニプレータを操作するための情報を取得し、また、その情報を操作者に分かりやすく提示する。
【解決手段】
アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する1つまたは複数の指部を有するマニプレータ装置であって、前記指部の先端に第1の全方位撮像装置を設けるとともに、前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、前記第1の全方位撮像装置と前記第2の全方位撮像装置とは撮像軸が異なるように、例えば直交するように構成する。第1の全方位撮像装置による撮像画像に対象物が投影されず、且つ、第2の全方位撮像装置による撮像画像に対象物が投影されないことを確認することで、前記対象物が把持範囲にあることを判定することができる。
【選択図】 図3
Description
図1は、本発明の実施例1にかかるマニプレータ付き作業装置の概略構成を示す模式的な斜視図である。本実施例のマニプレータ装置は、車イス3に取り付けられ、車イスに座する操作者4によって操作される。
本実施例のマニプレータ付き作業装置は、車イス3に取り付けられたマニプレータ1と、同じく前記車イス3に取り付けられた制御装置2から構成される。車イスに座する操作者4は、制御装置2を介して、マニプレータ1を操作する。これにより、操作者4は、車イス3から離れることなく、周囲の物体を手元に取り寄せるなどの生活動作を行うことが可能となる。
なお、本実施例のマニプレータ装置は、必ずしも車イス3に取り付けられて使用するものではない。操作者4が、制御装置2を介して、マニプレータ1を操作する構成であれば、例えば両者をベッドに固定する構成といった、上記構成以外にも適宜の構成を採用することができる。
アーム部6は、車イスに固定される端を基端部とし、基端側から先端側に向かう方向を延伸方向として、車イス3に固定される基端関節11、腕節部12a、関節13a、腕節部12b、関節13b、腕節部12c、手首関節14が、順次、延伸方向に連結される。
グリップハンド部5は、アーム部の手首関節14の、更に延伸方向に接続される。
各関節機構は、自身より延伸方向に存在する機構に対して、軸周りの回転自由度を与える。即ち、図2において、基端関節11は、それより延伸方向に存在する腕12a以降の機構に対して、図中矢印に示すような回転自由度を与える。同様に、関節13aおよび関節13b、手首関節14についても、それより延伸方向に存在する機構に対して、図中矢印に示すような回転自由度を与える。これにより、アーム部6は、グリップハンド部5を、所定の空間領域内において、所定位置および方向に、移動もしくは回転させることが可能である。
図6は、全方位撮像装置FISHEYEa19の動作原理を示す模式図である。図6(a)は、指部17aの先端部に配置された全方位撮像装置19の撮像軸AXa方向前方に、三個の対象物OBJa、OBJb、OBJcが配置されている状態を、図3(b)と同一の方向から見た場合を示す模式図である。平面Sは、撮像軸AXaと直交し、全方位撮像装置19の設置面を含む平面である。即ち、平面Sは、指部17aの先端面も含まれる平面となる。
点Oを中心とし、円Pと半径が同一で、円Pから撮像軸AXa方向に広がる仮想半球面を半球面Rとする。全方位撮像装置19は、この半球面Rから入射した光線が、光学系を通過して2次元撮像面である円Pに投影され、全方位撮像装置19の撮像画像として記録する。半球面Rから円Pへの投影は、次の通りである。ある対象物を起点とする入射光をLとし、入射光Lと半球面Rの光点をAとする。そして、点Aを通り撮像軸AXaと平行な直線をL’とし、直線L’と、円Pとの交点をA’とすると、入射光Lに対して、点A’は一意に定まる。即ち、入射光Lは、点A’として画像に記録される。こうした、入射光の投影は、例えば複数枚の球面レンズを組み合わせた魚眼レンズなどを用いて実現できる。
このようにして、全方位撮像装置19は、所定の空間において、円Pを含む平面Sによって分けられる二つの領域に対して、撮像軸AXaが向く方向にある領域内の物体を撮像画像として記録できる。例えば、図6(a)の場合は、対象物OBJa、OBJb、OBJcが、図6(c)に示すように、全方位撮像装置19との位置関係により定まる形状で撮像画像として記録される。
即ち、全方位撮像装置19は、ある対象物が、全方位撮像装置19が取り付けられた平面Sより、撮像軸AXが向く方向に存在することを、画像に対象物が映ることにより判定することが可能となる。
本実施例にかかるマニプレータ付き作業装置の把持操作について、図3および図6を参照しながら、詳細に説明する。
把持対象物体が、グリップハンド部5の把持可能空間外部にあり、且つy軸正方向にある場合、全方位撮像装置19の画像に、把持対象物の像が映りこむ。この状態から、マニプレータ1を操作し、グリップハンド部5をy軸方向に平行移動させてゆくと、ある時点において、全方位撮像装置19に撮像されていた把持対象物体が、撮像されなくなる状態に遷移する。これは、即ち、把持対象物体が、把持可能空間に移入したこととなる。
このように、全方位撮像装置19の画像を確認しながら、マニプレータ1を操作することで、把持対象物体が、指部17aの先端の辺と指部17bの先端の辺とで構成される長方形の面から、把持可能空間に移入したことを検知することが可能となる。
これと同様に、ある時点において、全方位撮像装置19に撮像されていなかった把持対象物体が、撮像される状態に遷移した場合は、把持可能空間において、把持対象物体が、指部17aの先端の辺と指部17bの先端の辺とで構成される長方形の面から移出したと検知することが可能となる。
ただし、把持可能空間について、z軸に直交する二つの面は、どちらも開放面である。従って、本実施例においては、指部17aの下端(z軸負方向端)の辺と指部17bの下端の辺とで構成される長方形の面から、把持対象物体が、把持可能空間に移入出したことは検知できない。しかし、少なくとも単一の把持対象物体が、同時にz軸に直交する2つの面から把持可能空間に移入出することはあり得ない。従って、一方の面からの把持可能空間への移入もしくは移出を検知することで、十分である。
ただし、高速で移動する物体を把持固定するようなケースでは、z軸に直交する一つの開放面から移入した物体が、指部17aおよび17bを開閉させ把持する以前に、別のz軸に直交する開放面より移出する可能性がある。その場合は、図3(c)で示される手掌部16において、全方位撮像装置20の設置する面とは対向する反対の面に、更に全方位撮像装置を設置することで、上記のような場合を抑止することが可能となる。
回転移動させた後のグリップハンド部5において、全方位撮像装置19による撮像画像に把持対象物TGTの像が投影されている場合は、把持対象物TGTは、グリップハンド部5の把持可能空間の撮像軸AXa方向の領域に、収められていない。その場合、操作者は、グリップハンド部5の姿勢を維持したまま、把持対象物TGTが全方位撮像装置19の撮像画像に、把持対象物TGTが投影されない位置まで、グリップハンド部5を、撮像軸AXa方向に平行移動させればよい。
この手順において、全方位撮像装置19は、グリップハンド部5の指部17a先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、好適であることは前述の通りである。しかし、全方位撮像装置19のみで把持対象物TGTの位置関係を確認した場合、例えば図10に示すような位置に把持対象物TGTがある場合と、位置TGT’にある場合との判別がつかない。従って、全方位撮像装置19の画像と全方位撮像装置20の画像とを、同時に確認することで、より正確に、グリップハンド部5と、把持対象物TGTとの位置関係を、確認することが可能となる。
図12は、制御装置2における表示デバイス21の、他の表示例である。図12において、表示デバイス21には、図7と同じく画像表示領域30と操作アイコン表示エリア31とが、表示されるのに加えて、仮想視野画像34が表示される。図7の表示例から、図12の表示状態への切り替えは、例えば操作者が図7の表示例における視点切り替えアイコン33を指定することで行われる。画像表示領域30における、全方位画像32aおよび全方位画像32bとには、全方位撮像装置19および20に撮像された画像が、そのまま表示される。しかし、一般に全方位撮像装置で撮像された画像は、画像周辺部に近付くにつれて、人間の直感的な視覚イメージから大きく歪んでいる。そこで、図12における表示デバイス21の表示例では、この歪みを補正した画像を、仮想視野画像34として更に表示する。
また、二つの全方位撮像装置から得られた画像を、一つの仮想視野画像34に合成して、表示デバイス21に表示することで、操作者はより直感的にマニプレータ周囲の状況を確認することが可能となる。
図17は、本発明の実施例2にかかるマニプレータ1の構成を示す模式的斜視図であって、図2と対比される図である。なお、図17において、図2と対応する部分については同一符号を付し、その詳細説明は繰り返さない。
図17のマニプレータ1を参照して、図2で示されるマニプレータ1と異なる点は、アーム部の手首関節14の、更に延伸方向に多関節2指ハンド50が接続される点である。
多関節2指ハンド50は、図17の手首関節14に対して、延伸方向(y軸正方向)に連結される手首部15を基端として、延伸方向に、手首節51が、手首節51の先端には手首関節52が連結される。手首関節52には、延伸方向に指節53aと指関節55aと指節53bと指関節55bと指節53cとが、この順に連結された第1指53と、延伸方向に指節54aと指関節56aと指節54bと指関節56bと指節54cとが、この順に連結された第2指54とが接続される。
第1指53と、第2指54とは、手首節51の中心線を軸として対称的に手首関節52に接続にされている。手首関節52は、図18(a)に示す矢印のように、それぞれ、指節53aと、指節54aとに、回転自由度を与える。同様に、指関節55aと、55bと、56aと、56bとは、それぞれ図18(a)に示す矢印のように、接続された指節に回転自由度を与える。これら関節機構により、第1指53と、第2指54とは、その向かい合う面によって、所定の物体を把持することが可能となる。
多関節2指ハンド50は、このように複数の指節および指関節からなるため、所定の物体により複雑な操作を与える場合に好適である。
ここで、本実施例にかかる多関節2指ハンド50は、第1の実施例におけるグリップハンド部5の把持可能範囲のように、定形の把持可能範囲を定義することはできない。しかし、次に示すように、本実施例においても、全方位撮像装置19の撮像画像と、全方位撮像装置20の撮像画像とから、把持対象物が、把持可能範囲に入ったことを判断することが可能となる。
図19(a)は、操作者が把持対象物TGTの位置を確認する手順を模式的に表した図面である。この手順において、操作者は、把持対象物TGTの位置を、多関節2指ハンド50に具備される全方位撮像装置19および20を用いて確認する。
この手順において、全方位撮像装置19は、多関節2指ハンド50の第1指53の先端にあるため、マニプレータ付き作業装置の、他のいかなる部位にも、撮像可能領域が遮蔽されることがなく、好適であることは図9(a)と同一である。これにより、図9と同様にして、操作者は、全方位撮像装置19の画像と全方位撮像装置20の画像とを同時に確認することで、図19(b)に示すように、把持対象物TGTを多関節2指ハンド50の第1指53と第2指54とに挟まれる領域に収まるように、多関節2指ハンド50を移動することが可能である。これは、全方位撮像装置19による撮像画像の把持空間側の半面に映りこみ、且つ、全方位撮像装置20による撮像画像の撮像中心線と一致する位置に映りこむように、多関節2指ハンド50を操作すればよい。
ここで、操作者が、指関節55bと指関節56bをはじめとする多関節2指ハンド50の指関節を操作し、指節53cおよび指節54cとを平行に保ったまま、その間隔を狭めることで、図19(c)に示すように、把持対象物TGTを、指節53cおよび指節54cとで把持することが可能である。
図20(a)と図19(a)、図20(b)と図19(b)とは、同一の手順であり、その詳細な説明は繰り返さない。
ここで、指節53cの全方位撮像装置19の撮像画像において、再び把持対象物TGTが映りこむ場合、把持対象物TGTが、多関節2指ハンド50の把持可能範囲の十分内側に位置していないと判断できる。この場合、操作者は、図20(d)に示すように手首節51の軸方向に、多関節2指ハンド50を移動させる。
図20(c)および図20(d)に示すように、指関節55bと、指関節56bをはじめとする多関節2指ハンド50の指関節を操作し、指節53cの全方位撮像装置19の撮像画像に把持対象物TGTが映りこまないように、多関節2指ハンド50の指を屈曲させることで、図20(e)に示すように、指節53bおよび指節54bによって把持することが可能となる。
なお、本実施の形態における多関節2指ハンド50において、鉛直方向(図18(b)におけるz軸方向)の操作に関しては、実施例1に示した操作手順と同一のものが適用可能であるため、その詳細な説明は割愛する。
例えば、図8ないし図11、及び、図19ないし図20に示した操作手順において、本明細書における実施例においては、操作者が全方位撮像装置19および20との撮像画像を見ながら操作を行うと説明したが、これに限らず、例えば把持対象物TGTが撮像画像内に映りこむことを自動的に検出する装置と組み合わせることで、操作者が操作することなく、把持対象物TGTを把持することが可能である。
11…基端関節、12a、12b、12c…腕節部、13a、13b…関節機構、14…手首関節、15…手首部、16…手掌部、17a、17b指部、170a、170b…指部の把持面、18a、18b…並進関節機構、19…第1の全方位撮像装置FISHEYEa、20…第2の全方位撮像装置FISHEYEb、
21…表示デバイス、22…ジョイスティック型入力デバイス、23…キーボード型入力デバイス、25…制御処理部、
30…画像表示領域、31…操作アイコン表示エリア、32a、32b全方位画像、33…視点切り替えアイコン、34…仮想視野画像、35…視点制御アイコン、
41…マニプレータ構造パラメータテーブル、42…マニプレータ姿勢パラメータテーブル、43…仮想視点パラメータテーブル、44…カメラ姿勢計算部、45…合成パラメータ計算部、46…FISHEYEa画像処理部、47…FISHEYEb画像処理部、48…画像合成部、
50…多関節2指ハンド、51…手首節、52…手首関節、53…第1指、54…第2指、53a、53b、53c、54a、54b、54c…指節、55a、55b、56a、56b…指関節。
Claims (8)
- アーム部とハンド部から成り、当該ハンド部は、把持範囲にある対象物を把持する1つまたは複数の指部を有するマニプレータ装置であって、
前記指部の先端に第1の全方位撮像装置を設けるとともに、
前記ハンド部の、前記指部の先端以外の位置に第2の全方位撮像装置を設け、
前記第1の全方位撮像装置と前記第2の全方位撮像装置とは撮像軸が異なることを特徴とする マニプレータ装置。 - 請求項1記載のマニプレータ装置において、
前記第1の全方位撮像装置の撮像軸と前記第2の全方位撮像装置の撮像軸とが直交するように構成したことを特徴とするマニプレータ装置 - 請求項1記載のマニプレータ装置において、
前記第2の全方位撮像装置の撮像範囲が前記指部の把持範囲と接するように、前記第2の全方位撮像装置を配置したことを特徴とするマニプレータ装置 - 請求項1記載のマニプレータ装置において、
前記指部を支持する支持部の上端または下端に、前記第2の全方位撮像装置を配置したことを特徴とするマニプレータ装置。 - 請求項1記載のマニプレータ装置において、
前記ハンド部は、2つの直方体形状の指部と、前記2つの指部の把持面が向い合うように前記指部を支持する支持部と、前記2つの指部を並進運動させる並進関節機構とを含むことを特徴とするマニプレータ装置。 - 請求項1記載のマニプレータ装置において、
前記ハンド部は、多関節を備えた複数の指部から構成される多指ハンドを含むことを特徴とするマニプレータ装置。 - 請求項1乃至請求項6の何れか1つに記載のマニプレータ装置と、前記マニプレータ装置を操作する制御装置を備え、前記マニプレータ装置のアーム部は、1つまたは複数の腕節部を備え、前記ハンド部と前記腕節部との間、または、前記腕節部同士の間に、関節機構を備えるマニプレータ付き作業装置において、
前記腕節部の長さを含む構造データを格納する構造データ格納部と、前記関節機構の角度を含む姿勢データを格納する姿勢データ格納部と、視点情報を含む視点データを格納する視点データ格納部と、画像処理部とを更に有し、
前記画像処理部は、前記第1の全方位撮像装置の撮像画像と、前記第2の全方位撮像装置の撮像画像とから、前記構造データと前記姿勢データと視点データに基づいて前記視点から見た仮想視野画像を生成する処理を行うことを特徴とするマニプレータ付き作業装置。 - 請求項7記載のマニプレータ付き作業装置において、
前記制御装置は表示部を備え、前記生成した仮想視野画像を前記表示部に表示することを特徴とするマニプレータ付き作業装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015268A JP5739680B2 (ja) | 2011-01-27 | 2011-01-27 | マニプレータ装置およびマニプレータ付き作業装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011015268A JP5739680B2 (ja) | 2011-01-27 | 2011-01-27 | マニプレータ装置およびマニプレータ付き作業装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012152870A true JP2012152870A (ja) | 2012-08-16 |
JP5739680B2 JP5739680B2 (ja) | 2015-06-24 |
Family
ID=46835161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011015268A Expired - Fee Related JP5739680B2 (ja) | 2011-01-27 | 2011-01-27 | マニプレータ装置およびマニプレータ付き作業装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5739680B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014184494A (ja) * | 2013-03-21 | 2014-10-02 | Tsubakimoto Chain Co | マニピュレータ装置 |
JP2018117530A (ja) * | 2017-01-23 | 2018-08-02 | 坂下 恒明 | 農業機械 |
JP2018128847A (ja) * | 2017-02-08 | 2018-08-16 | 株式会社Ihiエアロスペース | 遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007518966A (ja) * | 2003-09-16 | 2007-07-12 | 株式会社東京大学Tlo | 光学式触覚センサ及び該センサを用いた力ベクトル分布再構成法 |
JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
JP2011235386A (ja) * | 2010-05-10 | 2011-11-24 | National Institute Of Advanced Industrial Science & Technology | ロボットアームのためのハンドカメラ装置 |
-
2011
- 2011-01-27 JP JP2011015268A patent/JP5739680B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007518966A (ja) * | 2003-09-16 | 2007-07-12 | 株式会社東京大学Tlo | 光学式触覚センサ及び該センサを用いた力ベクトル分布再構成法 |
JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
JP2011235386A (ja) * | 2010-05-10 | 2011-11-24 | National Institute Of Advanced Industrial Science & Technology | ロボットアームのためのハンドカメラ装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014184494A (ja) * | 2013-03-21 | 2014-10-02 | Tsubakimoto Chain Co | マニピュレータ装置 |
JP2018117530A (ja) * | 2017-01-23 | 2018-08-02 | 坂下 恒明 | 農業機械 |
JP2018128847A (ja) * | 2017-02-08 | 2018-08-16 | 株式会社Ihiエアロスペース | 遠隔操縦車両の停止位置決定方法及び遠隔操縦車両の操縦システム |
Also Published As
Publication number | Publication date |
---|---|
JP5739680B2 (ja) | 2015-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11019329B2 (en) | Automated panning and zooming in teleoperated surgical systems with stereo displays | |
US20210321865A1 (en) | Display Monitor Control of a Telesurgical Tool | |
JP7081584B2 (ja) | 医療用観察システム、制御装置及び制御方法 | |
JP4911701B2 (ja) | マスタ・スレーブ式マニピュレータシステム | |
JP7199177B2 (ja) | 手術ナビゲーションシステムのためのポジショニングアーム | |
JP5675621B2 (ja) | 医療用ロボットシステムおよび該医療用ロボットシステムの作動方法 | |
KR102482803B1 (ko) | 컴퓨터 보조 원격조작 시스템에서의 2차 기구 제어 | |
US20140277741A1 (en) | Robots and methods of controlling the same | |
JP6522027B2 (ja) | 内視鏡を操縦するシステム | |
JPH07328016A (ja) | 手術用マニピュレータシステム | |
JP5739680B2 (ja) | マニプレータ装置およびマニプレータ付き作業装置 | |
US20220000571A1 (en) | System and method for assisting tool exchange | |
CN113271883B (zh) | 用于机器人手术系统的手眼协调系统 | |
JP2023512616A (ja) | 顕微鏡システムを制御する装置、方法およびコンピュータプログラム | |
JP2782428B2 (ja) | 仮想物体操作装置 | |
US20240025050A1 (en) | Imaging device control in viewing systems | |
JP2006007390A (ja) | 撮像装置、撮像方法、撮像プログラム、撮像プログラムを記録したコンピュータ読取可能な記録媒体 | |
WO2018150489A1 (ja) | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム | |
JP2003144453A (ja) | 情報処理システムおよび情報処理方法、プログラムおよび記録媒体、情報処理装置、並びに制御装置および制御方法 | |
JP2002172597A (ja) | 微小構造体組立装置 | |
TWI595854B (zh) | Endoscope control system and method of controlling the endoscope | |
WO2021256463A1 (ja) | 撮像システム及びロボットシステム | |
JPH09147142A (ja) | 表示方法及び装置 | |
JP4290084B2 (ja) | 3次元視点位置・視線方向の入力装置 | |
WO2021167628A1 (en) | Multi-camera user interface device calibration and tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140715 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150331 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5739680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |