JP2016531008A - ロボットの作業領域を定める方法及び装置 - Google Patents

ロボットの作業領域を定める方法及び装置 Download PDF

Info

Publication number
JP2016531008A
JP2016531008A JP2016530429A JP2016530429A JP2016531008A JP 2016531008 A JP2016531008 A JP 2016531008A JP 2016530429 A JP2016530429 A JP 2016530429A JP 2016530429 A JP2016530429 A JP 2016530429A JP 2016531008 A JP2016531008 A JP 2016531008A
Authority
JP
Japan
Prior art keywords
field
work area
view
imaging device
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016530429A
Other languages
English (en)
Inventor
ゴンベルト,ベルント
Original Assignee
ゴムテック ゲーエムベーハー
ゴムテック ゲーエムベーハー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゴムテック ゲーエムベーハー, ゴムテック ゲーエムベーハー filed Critical ゴムテック ゲーエムベーハー
Publication of JP2016531008A publication Critical patent/JP2016531008A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40478Graphic display of work area of robot, forbidden, permitted zone
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45118Endoscopic, laparoscopic manipulator
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Manipulator (AREA)

Abstract

本発明は、ロボット(3)がこれに固定された器具(7)を操作可能な作業領域(A、A’)を定める方法に関する。本発明によれば、作業領域(A、A’)は、撮像装置(6)がその内部で画像を撮影する視野(K、K’)が撮像装置(6)の位置決め、及び/又は焦点距離の調整によって規定され、作業領域(A、A’)が側面境界(11、11’)に応じて確定されることによって定められる。【選択図】なし

Description

本発明は、特許請求の範囲第1項のプリアンブルに記載の、ロボットが器具を操作できる作業範囲を定める方法、及び特許請求の範囲第11項のプリアンブルに記載のロボットシステムに関する。
以下に参照する公知のロボットシステムは、ロボットを動かすため、又は指定の動作を実行するためにユーザが手動操作する、例えばジョイスティック、又は撮像システムなどの入力装置を含んでいる。その際、ユーザが入力する制御設定は入力装置を介して、1つ又は複数のロボットによって実行される対応する制御命令に変換される。公知の入力装置は、一般に、ユーザの制御要求を検知し、対応する制御信号に変換する複数のセンサを有する。次いで、制御信号は制御回路、又は調整回路で処理され、それによって最終的にロボットのアクチュエータ、又はロボットに搭載されている器具のアクチュエータが制御されることによって、ロボット、又は器具はユーザが望む動作を実行する。
手術用ロボットの用途では、通常は外科医が手術用器具を動かし、操作できる特定の作業領域が定められる。外科医が手術用器具を所定の作業領域外に動かそうとすると、それが手術用ロボットによって自動的に認識され、妨げられる。そのため、外科医は作業領域内にある器官、又は組織だけを処置することができる。それによって、外科的侵襲中に本来の手術領域外の器官又は組織が不慮に損傷することが防止される。
例えば、特許文献1の明細書は、手術用ロボットシステムの作業領域を定める方法を記載している。その後、外科医は三次元表示される手術対象の組織を通過する仮想切断面を設定することができる。組織を含む仮想切断面との断面が作業領域を画定する。
欧州特許第2 384 714 A1号
本発明の課題は、作業領域を定める代替方法、及び作業領域を定める代替装置を提案することである。
この課題は、特許請求の範囲第1項、及び特許請求の範囲第11項に記載の特徴によって解決される。本発明の更なる実施形態は、従属クレームによって達成される。
本発明により、撮像装置を使用して、ロボットがそれに固定された器具を操作できる作業領域を定める方法が提案される。その際、先ず撮像装置の視野(viewing body)が撮像装置の位置決め及び/又は焦点距離の調整によって決定される。その際、視野は、撮像装置が撮像可能な空間を画定する。すなわち、視野は、撮像装置によって撮像できる全ての(反射)光線の光束によって決定される。次いで、視野の側面境界に関する幾何的データが判定され、最後に視野の側面境界に依存する空間範囲の作業領域が定められる。したがって、特定の作業領域を定めるために外科医などのユーザは、撮像装置を所望のとおりに位置決めし、及び/又は所望の焦点距離を調整し、好適には調整値を確認するだけでよい。その後、ロボットシステムの制御ユニットは画像処理装置の位置及び/又は焦点距離に応じて自動的に作業領域を判定する。撮像装置によって撮影された画像が完全にモニタに表示されると、許容される作業領域全体をモニタで監視することができる。
器具又はその器具のエンドエフェクタが作業領域の境界に達するようにユーザがロボットシステムを操作すると、動きは好適には自動的に停止する。この中断は基本的に境界で、又は境界までの所定の距離で行われる。器具の位置、又はエンドエフェクタの位置は、例えば撮像装置、又は別の適宜のセンサで認識可能である。
前記撮像装置は好適にはカメラを含むことができ、また例えば内視鏡として形成することができる。
前述のように、視野は撮像装置で認識可能な全ての光線によって決定される。したがって、幾何的な視野外にある対象は撮像装置によって撮影することができない。基本的に、幾何的な視野はそれぞれ使用される撮像装置の光学系に応じて異なる多くの形状を有することができる。通常は円形光学系が使用されるため、視野は一般に円錐形の形状を有している。
本明細書の文脈で「ロボット」とは特に、例えば電動モータなどの1つ又は複数のアクチュエータによって可動な1つ又は複数の関節アームを有する機械であると理解されたい。
本発明により、作業領域は好適には、少なくとも一部が、好適には全部が視野の側面境界内にある空間領域に定められる。
本発明の第1の実施形態では、作業領域は例えばその側面境界が視野の側面境界に対応するように定められる。したがって、その場合は、作業領域は視野の体積に一致する。視野が例えば円錐形である場合は、作業領域は円錐面によって限定される。その際、ロボット又は器具の側面移動の自由度はロボット又は器具が送られる深さ(すなわち光学系との距離)によって左右される。深さが大きくなるほど円錐の断面が大きくなり、ひいては側面移動の自由度が大きくなる。
本発明の第2の実施形態では、作業領域は、視野内にあり、視野の体積よりも小さい空間領域に定められる。視野が円錐形である場合、作業領域は、例えば視野内に配置された角錐形であってよい。
作業領域は好適には方形の横断面を有している。それによって、撮像装置で撮影した画像が表示される方形のスクリーンに作業領域を適合させることができる。作業領域は好適には、スクリーンの側方境界が同時に作業領域の境界を示すように定められる。それによって、外科医は作業領域全体をスクリーンで監視することができる。
作業領域を方形のスクリーンに適合させるため、例えば作業領域の特定の深さの方形の断面の対角線がこの位置の円錐形の視野の直径に対応するように、方形の断面の対角線を調整することができる。そうすれば、モニタに表示される画像の境界が作業領域の境界に対応する。
本発明の別の実施形態では、作業領域を仮想面を有する視野の切断線に応じて、又は切断面に応じて定めることもできよう。それによって、任意の円錐断面によって異なる作業体積を定めることができる。切断面をスクリーン上でユーザに表示することができる。以下は簡単な例である。仮想面の法線が例えば視野円錐の長手方向を示す仮想面を有する円錐形の視野の断面(より詳細にはその外表面)は、円形の切断線を生じる。そこでロボットの作業領域を、その範囲が円形の切断線に対応する円筒に限定することができる。作業領域を定めるため、ユーザは、前述のように撮像装置の位置調整(その際、仮想切断面は固定状態に保たれる)、又は仮想切断面の位置調整のいずれかができよう。あるいは、例えば角が正確に円形の切断線上にある、例えば方形の断面を有する立方形の作業領域を作成することもできよう。断面の大きさも仮想切断面を有する視野円錐の断面に依存する。
作業領域は例えば円錐形、角錐形、円筒形、又は立方形の形状でよく、又は別の幾何形状を有していてもよい。好適には、作業領域の形状をユーザが選択できる。
本発明の好ましい実施形態では、視野及び/又は選択された作業領域を、好適には、撮像装置が撮影してモニタに表示される画像内に重ね合わせる。ここで、ユーザは、視野又は作業領域を示す撮影画像、及び例えば(カラーの)線を見ることができる。
作業領域は基本的に深さを制限されず、また少なくとも深さの境界面の設定によってこれを制限することもできる。これは例えば、ユーザ入力を必要とせずに自動的に行うことができる。選択的に、ユーザが例えば適宜のデータを入力することによってユーザが作業領域を指定することもできよう。データ入力は、例えばロボットも制御する制御装置を用いて行うこともできる。
本発明の特定の実施形態では、作業領域は、光学系に対して異なる距離で配置された2つの面の間の空間領域に限定される。面とは基本的に任意の自由形状面である。好適には、境界面は平面である。深さの境界を調整するためにユーザは例えば、スクリーンに表示された画像に、1つ又は複数の境界面が通る1つ又は複数の点をマーキングすることができる。システムはこのような入力を1つ又は複数の境界面として認識し、それに対応して作業領域を限定する。
好適には、撮像装置の新たな位置合わせ、又は調整によって能動作業領域は初期段階では変化しない。作業領域を変更するには、外科医は好適には、例えばキー操作で適宜に入力しなければならない。あるいは、撮像装置の作業領域の位置及び/又は焦点距離を調節すれば、作業領域を自動的に適応させるようにすることもできよう。
選択的に、例えばあらかじめ一度定めた様々な作業領域を記憶させることもできる。この場合、必要に応じて外科医が例えばキーを押すことによって、撮像装置の位置及び/又は焦点距離を変更しなくても記憶された様々な作業領域を入れ替えることができるようにロボットシステムを設計できよう。

本発明は、視野の境界内部で画像を撮影できる撮像装置を取り付けた少なくとも1つの第1のロボットと、器具、特に手術用器具を固定した第2のロボットとを有するロボットシステムにも関する。
ロボットシステムは更に、一方又は両方のロボットを制御するために入力装置を含んでいる。本発明では更に、視野の境界に関する幾何的データを判定し、視野の境界に応じて、ロボットが移動でき、又はロボットがそれに固定された器具を操作できる作業領域を定める制御ユニットが備えられる。
本明細書の文脈で、「ロボットシステム」とは、特に、1つ又は複数のロボット操作器具、及び/又は1つ又は複数の別の機械を含むことができる1つ又は複数のロボットを有する工学システムであると理解されたい。侵襲性が最小限の手術に使用するために装備されるロボットシステムは、例えば手術用器具、又は別の器具をそれぞれ備える1つ又は複数のロボット、及び電気的に位置調整可能な手術台を含むことができる。
ロボットシステムの制御に適する適切な入力装置は例えば以下のようなものでよい。 ジョイスティック、マウス、キーボート、コントロールパネル、タッチパネル、タッチスクリーン、コンソール及び/又はカメラを使用する画像処理装置、並びにユーザの制御命令を把握し、対応する制御信号を生成することができる別の周知の入力装置。
本明細書によるロボットシステムは、好適には前述のように作業領域の深さの境界を設定する手段をも含んでいる。前記手段は好適には、1つ又は複数のロボットを制御するための入力装置の一部である。
撮像装置は好適には、光学的信号を電気信号に変換する画像センサを含んでいる。画像センサは例えば円形でも方形でもよい。
以下に添付図面を参照して本発明の実施例をより詳細に説明する。図中、
侵襲性が最小限の手術用ロボットシステム1の概略図である。 焦点距離が異なる場合の撮像装置の視野の概略図である。 撮像装置の先端位置が異なる場合の撮像装置の視野の概略図である。 画像上の対象の光学画像である。 側面方向と深さ側に限定された作業領域の概略図である。 作業領域をスクリーンのフォーマットに適合させる方法を示す図である。 スクリーンのフォーマットに適合するように修正された作業領域を示す図である。
図1は、例えば内視鏡などの撮像装置6を装備した第1のロボット2、及び手術用機器7が固定された第2のロボット3を含む侵襲性が最小限の手術用ロボットシステム1を示している。機器7は、例えば器官8の腫瘍を切除するためのメスを含むことができる。ここではロボット2、3は多関節ロボットアームとして形成され、各アーム部材は継手を介して別のアーム部材と可動的に連結されている。
ロボットシステム1は、更に、外科的侵襲が行われる患者5が乗る手術台4を含んでいる。両方のロボット2、3は、それぞれ手術台4の側面に固定され、撮像装置6及び手術用機器7は小さな人工的開口部を通して患者5の体内に挿入される。内視鏡6に組み込まれたカメラが手術を録画する。カメラで撮影された画像Bは、スクリーン12に表示される。それによって外科医は、内視鏡6が正しく調整されていれば、手術の進捗をスクリーン12で観察し、監視することができる。撮像装置6とスクリーン12とは、鮮明な画像を生成できるように好適には3D表示可能である。
ロボット2、3及び/又はこれらに固定された器具6、7を制御するため、外科医が手動操作する入力装置13が備えられる。図示した実施例では、入力装置13は2つのジョイスティックを有する操作コンソールである。あるいは、例えばロボット2、3をジェスチャ操作を用いて制御可能な画像処理装置などの任意の別の入力装置を備えることもできよう。外科医が実行する制御命令は入力装置13によって電気信号に変換され、制御ユニット21によって処理される。制御ユニット21は、外科医が望む個々の動作をロボットシステム1が実行するように、ロボット2、3の個々のアクチュエータ及び/又は器具6、7の個々のアクチュエータを制御するための適宜の調整信号を生成する。
ロボット支援の外科的侵襲は、特定の手術領域の周囲にある器官又は組織を損傷せずに安全が保証されなければならない比較的繊細な手術である。図示した例では、器官8が処置される。しかし器官9と10は処置されるべきではない。器官9、10が不慮に損傷することを避けるため、外科医は図では点線で示す作業領域Aを定めることができる。作業領域Aが決まった後、外科医は器具7、又はそのエンドエフェクタ17を作業領域Aの内部のみで動かし、又は操作することができる。外科医が機器7、又はそのエンドエフェクタ17を不慮に作業領域Aの外側で操作した場合は、それはロボットシステム1によって認識され、中断される。それによって、周囲の器官9、10の不慮の損傷を避けることができる。
図2は、図1の患者5の体内での手術領域の拡大図を示している。その上、図2では撮像装置6の光学系の焦点距離が異なる場合の様々な視野K、K’が示されている。その際、幾何的な視野K、K’は撮像装置6によって撮影可能な全ての光線によって決定される。したがって、視野K又はK’の外側にある対象は撮像装置6によって撮影できない。それぞれの視野K、K’の側面境界は、参照符号11、11’を付した外表面である。図示した例では、撮像装置6の光学系は円形画像センサであり、したがって視野K、K’の外表面は円錐形である。
この実施例では、撮像装置6の光学系は、撮影対象内外へのズームイン又はズームアウトが可能である。ズーム機能は、例えば入力装置13によって制御することもできる。第1のズーム調整は、例えば開口角ωを有する視野Kによって示される。外科医が患者の体内側にズームすると、すなわち焦点距離を長くすると、視野Kの角度ωはより小さくなる。逆に外科医が患者5の体外側にズームすると、焦点距離が短くなり、角度ωはより大きくなる。焦点距離がより短い第2のズーム調整は、例えば開口角ω’を有する視野K’によって示される。これに対応して、相互比較するために自由選択で投影される基準面Eに対して、第1の場合はより小さい半径Rを有するより小さい視野範囲Sが生じ、第2の場合はより大きい半径R’を有するより大きい視野範囲S’が生じる。これらの両方の視野範囲は、理論上、可能である。しかし実際には、視野K、K’の外表面11が器官と交差する場合には、視野範囲Sは側面に限定される。図2から明らかなように、外表面11が器官8と交差し、外表面11’が器官9及び10と交差している。これに対応して、実際の視野範囲S又はS’が生じる。すなわち、視野範囲S、S’は機器6を用いて患者5体内のどの程度の深部まで目視できるかによっても計算される。視野K’は器官8によって側面が制限されず、器官8を無視できるため、患者5体内のより深部まで目視できることによって、視野範囲Sを有する視野Kと比較してより広い視野範囲S’が得られる。
幾何的な視野K又はK’は、基本的に異なる形状を有することができる。しかし、通常は円形の光学系が使用されるため、光学系は一般的には図示のように円錐形の形状を有している。
特定の作業領域A、A’を選択するため、外科医は撮像装置6の焦点距離を変更することによって、より広い視野領域S、又はより狭い視野領域Sを選択することができる。その際に生じる視野K、K’の形状は許容作業領域A、A’の形状を決定する。所望の調整を行った後、外科医は入力することによって調整を確認しなければならない。そのために外科医は、入力装置13のキーを操作する、又は音声命令を発する、あるいは例えばマウスでソフトウエアアプリケーションに入力することができる。入力がなされた後、ロボットシステム1は、行われた視野K又はK’の調整に応じて作業領域A、A’の側面の境界を自動的に定める。視野Kの場合は、作業領域A、A’を視野Kの境界11内にある空間領域に自動的に定めることができる。本発明の特定の実施形態では、作業領域Aの側面の境界は視野Kの境界11に対応する。視野K’についても同様である。それによって側面境界を視野Kの外表面、又は視野K’の外表面によって定めることができる。あるいは、作業領域A、A’は、機能的に視野K、K’の形状に左右される別の形状を有することもできよう。
図2から明らかなように、それに加えて作業領域A、A’は深さ、すなわち視野Kの中心ビーム22の方向に延びるz軸に限定される。図示した実施例では、作業領域A、A’は上端部又は下端部でそれぞれ断面E又はEによって限定されている。選択的に、作業領域A、又はA’は任意の3次元自由形状面によって制限されることもできよう。
作業領域A、A’の深さ限界、及び/又は高さ限界を調整するため、外科医は例えば適宜の距離値e及び/又はeを入力することができる。距離値e、eは例えば基準点P、この場合は撮像装置6の遠端部に関連する値であってよい。このように、平面Eによって、その上方では機器7、又はエンドエフェクタ17で手術できない高さ限界を定めることができ、また平面Eによって、その下方では機器による侵襲が防げられる深さ限界を定めることができる。あるいは、外科医は、深さ限界、又は高さ限界の位置を設定するためにスクリーン12に表示される画像の特定の位置をクリックすることもできよう。更に、専門家が難なく実施できる深さ限界、又は高さ限界を調整する別の多くの可能性がある。
所望の作業領域A、A’の調整後、外科医は手術を開始することができる。手術の経過中に作業領域A、A’を変更したい場合は、例えば光学系の焦点距離を調節し、及び/又は境界面E、Eをずらすことによって変更することができる。外科医は更に、図3を参照して以下により詳細に説明するように、撮像装置6の位置を変えることもできよう。作業領域A、A’の大きさは、それぞれの変更後に基本的に自動的に適応させることができ、さらに、外科医が変更を確認するための入力も必要になることがある。
図3は、図2の方法の代わりに、又は補足として使用できる作業領域A、A’’の別の調整方法を示している。図3には図2と同じ患者5の体内の手術領域が示されている。撮像装置6は、視野KまたはK’’内の画像を再び撮影する。この場合、視野K、K’’の位置は撮像装置の位置をz方向に調整することによって変更される。撮像装置6が患者の体内により深くまで挿入されると、従属する視野Kは更に下方へとシフトする。逆に撮像装置6が患者から外側に引き出されると(参照符号6’’で示す)、従属する視野K’’は更に上方にシフトする。その際、開口角ω、又はω’’は同一のままに留まる。
したがって外科医は、撮像装置6を処置される器官8に近づけたり遠ざけたりすることによって作業領域A、A’’の位置を変更することができる。図示した例では、作業領域Aは器官8、及び器官10の一部を含んでいる。それに対して、器官9は作業領域Aの外側にある。それに対して、作業領域A’’は器官9の一部をも含むため、この器官の処置も可能である。
図2及び図3に示される例から、外科医が所望に応じて撮像装置の焦点距離、及び/又は位置を調整することによって作業領域A、A’、A’’を決定できることが明らかになる。作業領域A、又は少なくともその一部は外科医に対して、好適にはスクリーン12に表示される。
撮像装置6の新たな位置合わせ、又は調整により、能動作業領域Aは好適にはすぐには変化しない。作業領域Aを変更するには、外科医は好適には、例えばキー操作などの適宜の入力を行わなければならない。あるいは、撮像装置6の位置、及び/又は焦点距離を調節すると作業領域Aが自動的に適応されるようにすることもできよう。
選択的に、例えばあらかじめ一度定められた様々な作業領域A、A’、A’’を記憶させることもできよう。この場合、例えばキーを押すことによって外科医は必要に応じて、撮像装置6の位置、及び/又は焦点距離を変更する必要なく、記憶された様々な作業領域A、A’、A’’を入れ替えるようにロボットシステム1を設計することができよう。
特定の作業領域A、A’、A’’を選択するために、外科医は撮像装置6の位置を変更すると共に、撮像装置6の焦点距離を変更することができる。例えば、外科医は最初のステップで先ず撮像装置6を位置決めし、次いで焦点距離を変更することができよう。本発明によるロボットシステム1は更に、作業領域Aが閉鎖体積を示しているかどうかをチェックする、すなわち視野Kの深さを限定する平面E又はEの少なくとも一方が画定されたかどうかをチェックする検定装置をも含んでいる。好適には、閉鎖体積が定められない限り、外科医はロボット3を制御することができない。好適には、例えば視覚的表示、又は音響的表示によってユーザにエラー状態が報知される。
視野円錐K、K’、K’’のそれぞれに含まれるものは、撮像装置6によって直接撮影され、モニタ12で画像Bとして外科医に表示される。そこで外科医は、所望に応じて視野円錐、又は作業領域を適応させることが可能である。外科医は撮像装置6の位置決めを行った後、例えば先ず角度ω’を想定することができる。図2が示すように、従属する視野円錐K’には、不慮の外科的侵襲から防護すべき器官9、10も入り込んでいる。外科医が視野円錐K’を妥当な作業領域Aであると規定すると、それによって例えば外科医が機器7を器官8の側面で制御する場合に器官9、又は器官10が損傷する危険が生じるであろう。したがって、外科医は、撮像装置6で補足的に患者の体内にズームインすることによって作業領域を更に限定することができる。それによって、例えば視野円錐K’の角度ω’を角度ωに更に縮小して、付属する視野円錐Kから器官9を完全に除外することができる。更に、器官10が器官8で隠されるように器官10に関する視野円錐Kを制限することができる。すなわち、外科医は、機器7を不慮に器官8の側面で操作しても器官10を損傷させないようにすることができる。
図4は、これに関連してレンズ23による対象の画像Bへの結像を概略的に示している。但し、
であり、画像幅はb、対象の幅はgである。
但し、Rはレンズ23からの距離gにある視野領域Sの半径を示している。但し、
であり、fは焦点距離である。
画像Bは、光学的信号を対応する電気信号に変換する画像センサ20によって撮影される。画像センサ20は、視野Kの視野領域Sを完全に捉えることができるように、例えば円形に形成することができる。選択的に、従来のカメラで一般的に使用されている方形の画像センサ20を使用することもできよう。画像センサ20によって撮像された画像Bは、最終的にはスクリーン12に表示される。
図5は、従属する作業領域を有する円錐形の視野Kの斜視図を示している。作業領域Aは側面が視野円錐Kの外表面11によって限定されている。作業領域Aの深さと高さとは2つの平面E又はEによって限定されている。したがって、全体として円錐台形状の閉鎖作業領域Aが生じる。その際、好適にはEは機器7又はエンドエフェクタ17の操作がその上方では許容されない平面を画定し、Eは機器7又はエンドエフェクタ17の操作がその下方では許容されない平面を画定している。しかし本発明では、必ずしも両方の平面を画定する必要はない。両方の平面E又はEの一方だけを画定することもできる。
図6は、作業領域Aをスクリーン12のフォーマットへの適合を説明するために、スクリーン12、及びその上に表示された画像Bを示している。図示のように、円形画像Bはスクリーン12の方形の表示範囲内に適合されているため、スクリーン12のスクリーン面全体を画像Bの表示用に利用できる。この場合はスクリーンの対角線15は画像Bの直径に対応している。それによって、スクリーン12の表示範囲全体を利用できるが、表示範囲外にある画像Bの部分16は表示することができない。例えば図5に示されるように、作業領域Aが円錐形である場合は、外科医は作業領域Aを完全には監視できないであろう。したがって本発明の特定の実施形態では、作業領域Aはスクリーンのフォーマットに適合される。そのために、視野Kに対応する作業領域Aはスクリーン12に表示できない領域16の分だけ制限されている。したがって、円錐形の作業領域Aは、例えば図7に示されているように角錐形の作業領域A*を生じる。その際、角錐形の作業領域A*は、作業領域A*の垂直に延びる外縁14が円錐形の視野Kの外表面11上に位置するようなサイズにされる。更に、画像Bの直径は好適にはスクリーンの対角線15に対応する。
スクリーン12の画像フォーマットが判明している場合は、スクリーン12のフォーマットへの作業領域Aの適合を自動的に行うことができる。フルHDモニタの場合は、例えば1920x1080画素のフォーマットを自動的に認識することができる。修正された作業領域A*を使用すると、第1に、外科医が手術できる利用可能な作業領域全体を目視することができ、第2に外科医がスクリーン12で監視できないが手術できる領域が存在しなくなるという利点が得られる。図7から明らかなように、修正された作業領域A*は、1つ又は複数の平面E、Eによっても深さ範囲、又は高さ範囲を限定することができる。

Claims (13)

  1. ロボット(3)がこれに固定された器具(7)又はそのエンドエフェクタ(17)を操作可能であることにより作業領域(A、A’、A’’、A*)を定める方法であって、
    撮像装置(6)の位置決め、及び/又は前記撮像装置(6)の焦点距離(f)の調整により前記撮像装置(6)が撮影できる視野(K、K’、K’’)を定める工程と、
    前記視野(K、K’、K’’)の境界(11、11’、11’’)に関する幾何的データを判定する工程と、かつ、
    前記視野(K、K’、K’’)の境界(11、11’、11’’)に応じて作業領域(A、A’、A’’、A*)を定める工程と、を含むことを特徴とする方法。
  2. 前記作業領域(A、A’、A’’、A*)は、少なくとも一部が前記撮像装置(6)の前記視野(K、K’、K’’)の前記境界(11、11’、11’’)内にある空間領域に定められることを特徴とする、請求項1に記載の方法。
  3. 前記作業領域(A、A’、A’’、A*)が、その側面境界が前記視野(K、K’、K’’)の側面境界(11、11’、11’’)に対応するように定められることを特徴とする、請求項1又は2に記載の方法。
  4. 前記作業領域(A、A’、A’’、A*)が、前記視野(K、K’、K’’)の側面境界(11、11’、11’’)内にあり、前記撮像装置(6)で撮像された画像(B)が表示されるスクリーン(12)のフォーマットを有する方形断面を有する空間領域に定められることを特徴とする、請求項1、2又は3に記載の方法。
  5. 前記方形断面の特定の位置(z)での対角線が、この位置での前記視野(K、K’、K’’)の直径に対応することを特徴とする、請求項4に記載の方法。
  6. 前記作業領域(A、A’、A’’、A*)は円錐形、角錐形、円筒形、又は立方形であることを特徴とする、請求項1〜5の一項に記載の方法。
  7. 前記作業領域(A、A’、A’’、A*)は深さ(z)が限定されることを特徴とする、請求項1〜6の一項に記載の方法。
  8. 前記作業領域(A、A’、A’’、A*)は前記深さ(z)のユーザ設定に応じて限定されることを特徴とする、請求項7に記載の方法。
  9. 前記作業領域(A、A’、A’’、A*)の深さ(z)は、2つの平面(E、E)の間に配置された空間領域で限定されることを特徴とする、請求項7又は8に記載の方法。
  10. 前記平面は平面(E、E)であることを特徴とする、請求項9に記載の方法。
  11. 視野(K、K’、K’’)の境界(11、11’、11’’)内で画像を撮影可能な少なくとも1つの第1のロボット(2)が撮像装置(6)に取り付けられ、第2のロボット(3)が器具(7)、特に手術用器具に取り付けられたロボットシステム(1)であって、該ロボットシステム(1)は、ロボット(2、3)の一方、又は両方を制御可能にする入力装置(13)を含み、前記視野(K、K’、K’’)の前記境界(11、11’、11’’)に関する幾何的データを判定し、前記撮像装置(6)の前記視野(K、K’、K’’)の前記側面境界(11、11’、11’’)に応じた作業領域(A、A’、A’’、A*)を定める制御ユニット(21)を備えることを特徴とするロボットシステム(1)。
  12. 前記制御ユニット(21)は、少なくとも一部が前記撮像装置(6)の前記視野(K、K’、K’’)の境界(11、11’、11’’)内にある作業領域(A、A’、A’’、A*)を定めることを特徴とする、請求項11に記載のロボットシステム(1)。
  13. 前記作業領域(A、A’、A’’、A*)の深さ境界を設定する手段(13)を備えることを特徴とする、請求項11または12に記載のロボットシステム(1)。
JP2016530429A 2013-07-30 2014-07-22 ロボットの作業領域を定める方法及び装置 Pending JP2016531008A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102013108115.0A DE102013108115A1 (de) 2013-07-30 2013-07-30 Verfahren und Vorrichtung zum Festlegen eines Arbeitsbereichs eines Roboters
DE102013108115.0 2013-07-30
PCT/EP2014/065709 WO2015014669A1 (de) 2013-07-30 2014-07-22 Verfahren und vorrichtung zum festlegen eines arbeitsbereichs eines roboters

Publications (1)

Publication Number Publication Date
JP2016531008A true JP2016531008A (ja) 2016-10-06

Family

ID=51224931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016530429A Pending JP2016531008A (ja) 2013-07-30 2014-07-22 ロボットの作業領域を定める方法及び装置

Country Status (6)

Country Link
US (1) US20160158938A1 (ja)
JP (1) JP2016531008A (ja)
KR (1) KR20160030564A (ja)
CN (1) CN105407828A (ja)
DE (1) DE102013108115A1 (ja)
WO (1) WO2015014669A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022172112A (ja) * 2020-08-03 2022-11-15 三菱電機株式会社 遠隔操作装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015204867A1 (de) * 2015-03-18 2016-09-22 Kuka Roboter Gmbh Robotersystem und Verfahren zum Betrieb eines teleoperativen Prozesses
CN105094129B (zh) * 2015-07-10 2018-11-23 青岛星华智能装备有限公司 一种机器人工具尖端定位系统及其定位方法
CN105260767B (zh) * 2015-11-05 2019-04-12 正量电子科技(苏州)有限公司 射频识别标签的串联结构
DE112016006299T5 (de) * 2016-01-25 2018-10-11 Sony Corporation Medizinische Sicherheitssteuerungsvorrichtung, medizinisches Sicherheitssteuerungsverfahren und medizinisches Unterstützungssystem
JP2017176307A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 医療用支持アームの制御装置、医療用支持アーム装置の制御方法及び医療用システム
JP7003985B2 (ja) * 2017-02-28 2022-01-21 ソニーグループ株式会社 医療用支持アームシステムおよび制御装置
US20200170731A1 (en) * 2017-08-10 2020-06-04 Intuitive Surgical Operations, Inc. Systems and methods for point of interaction displays in a teleoperational assembly
WO2019050821A1 (en) * 2017-09-05 2019-03-14 Covidien Lp CAMERA CONTROL FOR SURGICAL ROBOTIC SYSTEMS
FR3089408B1 (fr) * 2018-12-06 2024-02-02 Univ Montpellier Dispositif médical pour la chirurgie de l’oeil
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
CN113822094B (zh) * 2020-06-02 2024-01-16 苏州科瓴精密机械科技有限公司 基于图像识别工作位置的方法、系统,机器人及存储介质
CN112587244A (zh) * 2020-12-15 2021-04-02 深圳市精锋医疗科技有限公司 手术机器人及其控制方法、控制装置
CN114687538B (zh) * 2020-12-29 2023-08-15 广东博智林机器人有限公司 一种地坪漆涂敷设备的工作方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000312684A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd 医療用マニピュレータ装置
JP2005312991A (ja) * 2005-07-08 2005-11-10 Olympus Corp 医療用マニピュレータシステム
US20070144298A1 (en) * 2005-12-27 2007-06-28 Intuitive Surgical Inc. Constraint based control in a minimally invasive surgical apparatus
WO2008093455A1 (ja) * 2007-02-01 2008-08-07 Olympus Medical Systems Corp. 内視鏡手術装置
JP2009539573A (ja) * 2006-06-13 2009-11-19 インテュイティブ サージカル インコーポレイテッド 低侵襲性外科手術用システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5261404A (en) * 1991-07-08 1993-11-16 Mick Peter R Three-dimensional mammal anatomy imaging system and method
US6810281B2 (en) * 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
WO2002060653A2 (en) * 2001-01-29 2002-08-08 The Acrobot Company Limited Active-constraint robots
EP1451671A2 (en) * 2001-07-06 2004-09-01 Koninklijke Philips Electronics N.V. Image processing method for interacting with a 3-d surface represented in a 3-d image
JP4500096B2 (ja) * 2004-04-27 2010-07-14 オリンパス株式会社 内視鏡及び内視鏡システム
US7440793B2 (en) * 2004-07-22 2008-10-21 Sunita Chauhan Apparatus and method for removing abnormal tissue
DE102006004703B4 (de) * 2006-01-31 2016-08-04 MedCom Gesellschaft für medizinische Bildverarbeitung mbH Verfahren und Anordnung zum Betreiben eines Positionierungsroboters
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
GB0613576D0 (en) * 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
US8665260B2 (en) * 2009-04-16 2014-03-04 Autodesk, Inc. Multiscale three-dimensional navigation
EP2384714A1 (en) 2010-05-03 2011-11-09 Universitat Politècnica de Catalunya A method for defining working space limits in robotic surgery
JP2012055498A (ja) * 2010-09-09 2012-03-22 Olympus Corp 画像処理装置、内視鏡装置、画像処理プログラム及び画像処理方法
US20140228632A1 (en) * 2011-08-21 2014-08-14 M.S.T. Medical Surgery Technologies Ltd. Device and method for assisting laparoscopic surgery - rule based approach
CN104837432B (zh) * 2012-12-11 2017-05-17 奥林巴斯株式会社 内窥镜装置和控制内窥镜装置的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000312684A (ja) * 1999-04-30 2000-11-14 Olympus Optical Co Ltd 医療用マニピュレータ装置
JP2005312991A (ja) * 2005-07-08 2005-11-10 Olympus Corp 医療用マニピュレータシステム
US20070144298A1 (en) * 2005-12-27 2007-06-28 Intuitive Surgical Inc. Constraint based control in a minimally invasive surgical apparatus
JP2009539573A (ja) * 2006-06-13 2009-11-19 インテュイティブ サージカル インコーポレイテッド 低侵襲性外科手術用システム
WO2008093455A1 (ja) * 2007-02-01 2008-08-07 Olympus Medical Systems Corp. 内視鏡手術装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022172112A (ja) * 2020-08-03 2022-11-15 三菱電機株式会社 遠隔操作装置
JP7397879B2 (ja) 2020-08-03 2023-12-13 三菱電機株式会社 遠隔操作装置

Also Published As

Publication number Publication date
US20160158938A1 (en) 2016-06-09
WO2015014669A1 (de) 2015-02-05
KR20160030564A (ko) 2016-03-18
CN105407828A (zh) 2016-03-16
DE102013108115A1 (de) 2015-02-05

Similar Documents

Publication Publication Date Title
JP2016531008A (ja) ロボットの作業領域を定める方法及び装置
CN108433809B (zh) 用于在手术过程期间设置并检索参考点的设备
KR101320379B1 (ko) 의료용 로봇 시스템의 컴퓨터 표시부 상에 보조 이미지의표시 및 조작
KR102549728B1 (ko) 원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들
KR102059496B1 (ko) 오퍼레이터 작용을 구별하는 방식을 이용하는 로봇 시스템 작동 모드의 사용자 선택
CN106102633B (zh) 用于远程操作医疗系统的结构调整系统和方法
CN112099215B (zh) 利用手势控制的手术显微镜和用于手术显微镜的手势控制的方法
CN111278383B (zh) 用于在远程操作系统的显示器中呈现增强现实感的系统和方法
EP3265008B1 (en) Surgical tool tracking to control surgical system
KR102117273B1 (ko) 수술 로봇 시스템 및 그 제어 방법
JP6939778B2 (ja) 制御装置、制御方法及び手術システム
JPWO2016203858A1 (ja) 医療システム
JP2018508301A (ja) 遠隔操作医療システムにおける器具の画面上での識別のためのシステム及び方法
WO2018211969A1 (ja) 入力制御装置、入力制御方法、および手術システム
KR20110081153A (ko) 팁의 위치 및 방향을 제어하기 위한 카메라 기기의 컴퓨터 생성된 보조 화면을 제공하는 의료용 로봇 시스템
JP2009542362A (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
US20160345802A1 (en) Endoscope with wide angle lens and adjustable view
JP7392654B2 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
WO2020261956A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
JP6965338B2 (ja) 医療用観察装置、制御装置、及び観察視野補正方法
EP3130276B1 (en) Endoscope with wide angle lens and adjustable view
US20210121253A1 (en) Apparatus, systems and methods for dynamic online kinematic adaptation of medical robots
WO2015151094A1 (en) Endoscope with wide angle lens and adjustable view
US20160306420A1 (en) Method for Controlling a Surgical Camera through Natural Head Movements
WO2018216501A1 (ja) 制御装置、制御方法、および手術システム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180226