JP2022156622A - 手術システム並びに手術支援方法 - Google Patents

手術システム並びに手術支援方法 Download PDF

Info

Publication number
JP2022156622A
JP2022156622A JP2021060413A JP2021060413A JP2022156622A JP 2022156622 A JP2022156622 A JP 2022156622A JP 2021060413 A JP2021060413 A JP 2021060413A JP 2021060413 A JP2021060413 A JP 2021060413A JP 2022156622 A JP2022156622 A JP 2022156622A
Authority
JP
Japan
Prior art keywords
surgical
coordinates
robot
observation device
surgical robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021060413A
Other languages
English (en)
Inventor
裕之 鈴木
Hiroyuki Suzuki
敦史 宮本
Atsushi Miyamoto
知之 大月
Tomoyuki Otsuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2021060413A priority Critical patent/JP2022156622A/ja
Priority to US18/551,753 priority patent/US20240173090A1/en
Priority to PCT/JP2021/048962 priority patent/WO2022209099A1/ja
Publication of JP2022156622A publication Critical patent/JP2022156622A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/14—Fixators for body parts, e.g. skull clamps; Constructional details of fixators, e.g. pins
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Neurosurgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Vascular Medicine (AREA)
  • Manipulator (AREA)

Abstract

【課題】観察装置と手術ロボットを使って外科手術を支援する手術システムを提供する。【解決手段】手術システムは、術野を観察する観察装置と、術具を支持する手術ロボットと、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部を具備する。前記観察装置は顕微鏡と前置レンズを含み、前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する。【選択図】 図５

Description

本明細書で開示する技術（以下、「本開示」とする）は、ロボティックス技術を適用して外科手術を支援する手術システム並びに手術支援方法に関する。
一般に外科手術は、オペレータの感覚運動によって行われる難しい作業である。特に眼科手術のように、小規模で脆弱な環境下で微細な術具を使用する手術の場合、オペレータは手の振戦を抑制して、ミクロンオーダーの動作を行う必要がある。そこで、ロボティックス技術を利用して、オペレータの手の振戦の抑止、操作支援によるオペレータ間の技量の相違の吸収などを実現する手術システムが浸透しつつある。
例えば、オペレータが顕微鏡を介して眼底部の術野を観察しながら術具操作を行うマスタスレーブシステムが開発されている（非特許文献１を参照のこと）。このマスタスレーブシステムによれば、オペレータは右手（又は利き手）で把持したマスタロボットの操作量に応じて術具を支持したスレーブロボットを動作させて、眼科手術における精密作業を行うことができる。
また、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ：光干渉断層装置）画像の情報に基づいて手術用レーザービームの走査を制御して、白内障手術における角膜切開、前嚢切開、水晶体の破砕を行う手術システムが提案されている（特許文献１を参照のこと）。
上記のような手術システムにおいては、オペレータは、顕微鏡やＯＣＴなどの観察装置で捕捉した標的組織の画像を見ながら手術を行う。その際、オペレータは、撮影画像と術具との空間的な位置関係を脳内でイメージしながら、マスタロボット（又は術具）の操作を行う。オペレータは、術具と撮像画像との間のハンドアイコーディネーションに習熟するために十分なトレーニングを行う必要がある。
特開２０１４－１２２０１号公報
Ｊ．Ｗｉｌｓｏｎ ｅｔ ａｌ．，"Ｉｎｔｒａｏｃｕｌａｒ ｒｏｂｏｔｉｃ ｉｎｔｅｒｖｅｎｔｉｏｎａｌ ｓｕｒｇｉｃａｌ ｓｙｓｔｅｍ （ＩＲＩＳＳ）： Ｍｅｃｈａｎｉｃａｌ ｄｅｓｉｇｎ，ｅｖａｌｕａｔｉｏｎ， ａｎｄ ｍａｓｔｅｒ－ｓｌａｖｅ ｍａｎｉｐｕｌａｔｉｏｎ，" Ｉｎｔ．Ｊ．Ｍｅｄ．Ｒｏｂｏｔ．Ｃｏｍｐｕｔ．Ａｓｓｉｓｔ．Ｓｕｒｇ．，ｖｏｌ．１４，Ｊｕｌ．２０１７，ｄｏｉ： １０．１００２／ｒｃｓ．１８４２． Ｂ．Ｐ．ＤｅＪｏｎｇ，Ｊ．Ｅ．Ｃｏｌｇａｔｅ，ａｎｄ Ｍ．Ａ．Ｐｅｓｈｋｉｎ，"Ｉｍｐｒｏｖｉｎｇ ｔｅｌｅｏｐｅｒａｔｉｏｎ： ｒｅｄｕｃｉｎｇ ｍｅｎｔａｌ ｒｏｔａｔｉｏｎｓ ａｎｄ ｔｒａｎｓｌａｔｉｏｎｓ，" ｉｎ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，２００４．Ｐｒｏｃｅｅｄｉｎｇｓ．ＩＣＲＡ'０４．２００４，２００４，ｖｏｌ．４，ｐｐ．３７０８－３７１４ Ｖｏｌ．４.
本開示の目的は、顕微鏡やＯＣＴなどの観察装置と手術ロボットを使って外科手術を支援する手術システム並びに手術支援方法を提供することにある。
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
術野を観察する観察装置と、
術具を支持する手術ロボットと、
前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、
前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部と、
を具備する手術システムである。
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
例えば、前記観察装置は顕微鏡と前置レンズを含み、前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定するように構成されている。
また、例えば、前記固定部は、マーカーを有し術部の状態を保持する保持器に対する前記手術ロボットの相対的な位置及び姿勢の関係を固定するように構成されている。保持器は例えば開瞼器である。
また、手術システムがそれぞれ術具を支持する第１の手術ロボットと第２の手術ロボットを含み、前記観察装置は顕微鏡と前置レンズを含む場合、前記固定部は、前記前置レンズに対する前記第１の手術ロボットと前記第２の手術ロボットそれぞれの相対的な位置及び姿勢の関係を固定するように構成されていてもよい。
また、本開示の第２の側面は、術野を観察する観察装置と術具を支持する手術ロボットを含む手術システムを用いた手術支援方法であって、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係が固定されており、
前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理ステップと、
前記処理ステップによって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御ステップと、
を有する手術支援方法である。
本開示によれば、観察装置と手術ロボットとを互いに連携して正確な手術の実施を支援する手術システム並びに手術支援方法を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、マスタスレーブ方式の手術システム１００の機能的構成例を示した図である。 図２は、眼底手術の一般的なレイアウト（眼球表面）を示した図である。 図３は、眼底手術の一般的なレイアウト（眼球断面）を示した図である。 図４は、手術ロボットを用いた眼底手術のレイアウトを示した図である。 図５は、観察装置５００と手術ロボット５１０の配置例（第１の実施例）を示した図である。 図６は、観察装置６００と手術ロボット６１０の配置例（第２の実施例）を示した図である。 図７は、観察装置６００と手術ロボット６１０の配置例（第２の実施例）を示した矢視図である。 図８は、観察装置８００と第１の手術ロボット８１０及び第２の手術ロボット８２０の配置例（第３の実施例）を示した図である。
以下、図面を参照しながら本開示について、以下の順に従って説明する。
Ａ．手術システム
Ｂ．手術ロボットを利用した外科手術の課題と本開示の概要
Ｃ．第１の実施例
Ｄ．第２の実施例
Ｅ．第３の実施例
Ｆ．効果
Ａ．手術システム
本明細書では、主に本開示をマスタスレーブ方式の手術システムに適用した実施形態を中心に説明する。このような手術システムでは、オペレータなどのユーザはマスタ側で操作を行い、スレーブ側ではユーザの操作に従ってロボットの駆動をコントロールすることによって手術を行う。手術システムにロボティックス技術を取り入れる目的として、オペレータの手の振戦の抑止、操作支援やオペレータ間の技量の相違の吸収、遠隔からの手術の実施などが挙げられる。
図１には、マスタスレーブ方式の手術システム１００の機能的構成例を示している。図示の手術システム１００は、ユーザ（オペレータ）が手術などの作業を指示するマスタ装置１１０と、マスタ装置１１０からの指示に従って手術を実施するスレーブ装置１２０からなる。ここで言う手術として、主に網膜手術を想定している。マスタ装置１１０とスレーブ装置１２０間は、伝送路１３０を介して相互接続されている。伝送路１３０は、例えば光ファイバなどのメディアを用いて低遅延で信号伝送を行えることが望ましい。
マスタ装置１１０は、マスタ側制御部１１１と、操作ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部１１２と、提示部１１３と、マスタ側通信部１１４を備えている。マスタ装置１１０は、マスタ側制御部１１１による統括的な制御下で動作する。
操作ＵＩ部１１２は、ユーザ（オペレータなど）が、スレーブ装置１２０において鉗子などの術具を操作するスレーブロボット１１２（後述）に対する指示を入力するためのデバイスからなる。操作ＵＩ部１１２は、例えば、コントローラやジョイスティックなどの専用の入力デバイス、さらにはマウス操作や指先のタッチ操作を入力するＧＵＩ画面などの汎用の入力デバイスで構成される。また、特許文献２で開示されるような、把持インターフェースをパラレルリンクで支持して構成される「医療用装置」を操作ＵＩ部１１２として利用することができる。
提示部１１３は、主にスレーブ装置１２０側のセンサ部１２３（後述）で取得されるセンサ情報に基づいて、操作ＵＩ部１１２を操作しているユーザ（オペレータ）に対して、スレーブ装置１２０において実施されている手術に関する情報を提示する。
例えば、センサ部１２３が患部の表面を観察する顕微鏡画像を撮り込むＲＧＢカメラやＯＣＴといった観察装置を装備し、又はこれらの観察装置で捕捉した撮像画像を取り込むインターフェースを装備し、これらの画像データが伝送路１３０を介して低遅延でマスタ装置１１０に転送される場合、提示部１１３は、モニタディスプレイなどを使って、リアルタイムの患部の顕微鏡画像やＯＣＴ画像を画面表示する。
また、センサ部１２３が、スレーブロボット１１２が操作する術具に作用する外力やモーメントを計測する機能を装備し、このような力覚情報が伝送路１３０を介して低遅延でマスタ装置１１０に転送される場合には、提示部１１３は、ユーザ（オペレータ）に対して力覚提示を行う。例えば、提示部１１３は、操作ＵＩ部１１２を使ってユーザ（オペレータ）に力覚提示を行うようにしてもよい。
マスタ側通信部１１４は、マスタ側制御部１１１による制御下で、伝送路１３０を介したスレーブ装置１２０との信号の送受信処理を行う。例えば伝送路１３０が光ファイバからなる場合、マスタ側通信部１１４は、マスタ装置１１０から送出する電気信号を光信号に変換する電光変換部と、伝送路１３０から受信した光信号を電気信号に変換する光電変換部を備えている。
マスタ側通信部１１４は、ユーザ（オペレータ）が操作ＵＩ部１１２を介して入力した、スレーブロボット１２２に対する操作コマンドを、伝送路１３０を介してスレーブ装置１２０に転送する。また、マスタ側通信部１１４は、スレーブ装置１２０から送られてくるセンサ情報を、伝送路１３０を介して受信する。
一方、スレーブ装置１２０は、スレーブ側制御部１２１と、スレーブロボット１２２と、センサ部１２３と、スレーブ側通信部１２４を備えている。スレーブ装置１２０は、スレーブ側制御部１２１による統括的な制御下で、マスタ装置１１０からの指示に応じた動作を行う。
スレーブロボット１２２は、例えば多リンク構造からなるアーム型のロボットであり、先端（又は、遠位端）にエンドエフェクタとして鉗子などの術具を搭載している。スレーブ側制御部１２１は、伝送路１３０を介してマスタ装置１１０から送られてきた操作コマンドを解釈して、スレーブロボット１２２を駆動するアクチュエータの駆動信号に変換して出力する。そして、スレーブロボット１２２は、スレーブ側制御部１２１からの駆動信号に基づいて動作する。
センサ部１２３は、スレーブロボット１２２やスレーブロボット１２２が実施している手術の患部における状況を検出する複数のセンサを備え、さらに手術室内に設置された各種センサ装置からセンサ情報を取り込むためのインターフェースを装備している。
例えば、センサ部１２３は、スレーブロボット１２２の先端（遠位端）に搭載された術具に、手術中に作用する外力やモーメントを計測するための力覚センサ（Ｆｏｒｃｅ Ｔｏｒｑｕｅ Ｓｅｎｓｏｒ：ＦＴＳ）を備えている。
また、センサ部１２３は、スレーブロボット１２２が手術中の患部の表面の顕微鏡画像や患部（眼球）の断面をスキャンするＯＣＴ画像を取り込むインターフェースを装備している。
スレーブ側通信部１２４は、スレーブ側制御部１２１による制御下で、伝送路１３０を介したマスタ装置１１０都の信号の送受信処理を行う。例えば伝送路１３０が光ファイバからなる場合、スレーブ側通信部１２４は、スレーブ装置１２０から送出する電気信号を光信号に変換する電光変換部と、伝送路１３０から受信した光信号を電気信号に変換する光電変換部を備えている。
スレーブ側通信部１２４は、センサ部１２３によって取得される術具の力覚データや、患部の顕微鏡画像、患部断面をスキャンしたＯＣＴ画像などを、伝送路１３０を介してマスタ装置１１０に転送する。また、スレーブ側通信部１２４は、マスタ装置１１０から送られてくるスレーブロボット１２２に対する操作コマンドを、伝送路１３０を介して受信する。
Ｂ．手術ロボットを利用した外科手術の課題と本開示の概要
図２及び図３には、眼底手術（網膜手術など）の一般的なレイアウトを示している。但し、図２は眼球表面を示し、図３はトロッカー及び術具（鉗子）が通過するように切断された眼球断面を示している。
図２に示すように、被手術眼となる眼球２００には開瞼器（ｅｙｅｌｉｄ ｓｐｅｃｕｌｕｍ）２０１が取り付けられ、瞼が閉じないように固定されている。そして、眼球２００の表面の複数箇所（図２に示す例では３箇所）に、トロッカー２０２～２０４が刺し込まれている。トロッカー２０２～２０４は、鉗子などの術具を挿入するための細径の管を有している。
図３に示すように、眼球３００の表面には細径の管を有するトロッカー３０１が刺されており、鉗子３０２がトロッカー３０１を介して眼球３００内に挿入され、さらに眼底に到達して、網膜手術が実施される。なお、オペレータ（又は、マスタ装置１１０を介してオペレータに遠隔操作されるスレーブロボット１２２）は、低侵襲の都合により、トロッカー３０１と眼球３００の表面との交点（「刺入点」とも呼ぶ）付近に対してできるだけ小さな負荷で手術が行われるように常に配慮する。したがって、スレーブロボット１２２のＲＣＭ（Ｒｅｍｏｔｅ Ｃｅｎｔｅｒ ｏｆ Ｍｏｔｉｏｎ）機構により、刺入点を支点として鉗子３０２をピボット操作することで、挿入点に発生する力積をゼロにする操作を行うことが理想的である。
図４には、手術ロボットを用いた眼底手術のレイアウトを示している。手術ロボットは、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図４に示す例では、手術ロボットは、メカニカルグランド（Ｍ－ＧＮＤ）に対し剛に固定されているベース部４０１と、ベース部４０１に対し垂直に取り付けられたリンク４０２と、リンク４０２の上端にジョイント４０３を介して取り付けられたロボットアームで構成される。ジョイント４０３は、ヨー軸回りの回転自由度を有するものとする。
図４に示す例では、ロボットアームは、シリアルリンク構造からなり、リンク４０４、４０６、４０８、４１０と、リンク４０４とリンク４０６間をヒンジ結合するジョイント４０５と、リンク４０６とリンク４０８間をヒンジ結合するジョイント４０７と、リンク４０８とリンク４１０をヒンジ結合するジョイント４０９で構成されている。各ジョイント４０５、４０７、４０９は、ロール軸回り（又は、ヨー軸と直交する軸回り）に回転自由度を備えている。そして、遠位端のリンク４１０には、鉗子などの術具４１１が装着される。
被手術眼となる眼球４２０には、瞼が閉じないように、開瞼器（図４では図示を省略）が取り付けられている。そして、眼球４２０の表面にトロッカー４２１が刺入されている。図４では、トロッカー４２１が通過するように切断された眼球４２０の断面を示している。ロボットアームの遠位端に搭載された術具４１１は、一方のトロッカー４２１を経由して、眼球４２０内に刺入されている。
なお、眼底手術に要求される術具４１１の可動範囲が小さくて十分なので、ロボットアームは、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
また、眼球４２０の情報には、顕微鏡やＯＣＴなどの観察装置（図４に示す例では、ステレオビデオ顕微鏡）４３０が設置されている。観察装置４３０は、図１に示した手術システム１００におけるセンサ部１２３に相当する。
オペレータは、観察装置４３０の撮像画像を介して、眼球表面や眼底などの術野を観察しながら術具４１１の操作を行う。手術システム１００を利用する場合、オペレータが右手（又は利き手）で操作する操作ＵＩ部１１２の操作量に応じて、術具４１１を支持したスレーブロボット１２２が動作して眼底手術を行う。
その際、オペレータは、観察装置４３０の撮像画像と術具４１１との空間的な位置関係を脳内でイメージしながら、操作ＵＩ部１１２の操作を行う。オペレータは、術具４１１と撮像画像との間のハンドアイコーディネーションに習熟するためには、十分なトレーニングを行う必要がある。一般に、観察装置４３０の撮像画像とロボットアーム間の相対的な位置及び姿勢の関係は未知である。このような場合、オペレータは観察装置４３０の撮像画像に基づいて、操作ＵＩ部１１２の操作を通じてスレーブロボット１２２に対して術具４１１の動作を支持しようとしても、撮像画像に基づく操作ＵＩ部１１２の操作量と、オペレータが意図している術具４１１の動きは乖離してしまい、精密な手術を実施することが困難である。また、スレーブロボット１２２と観察装置４３０との間に機械的に多くの部品が連結されている場合には、ロボットアームの撓みや部品加工精度によっても、術具４１１の位置及び姿勢の精度にも影響する。
そこで、本開示では、術野を観察する観察装置と術具を支持するロボットアームとの相対的な位置及び姿勢の関係を固定するようにしている。その結果、例えば、マスタ側における観察装置の撮像画像上での操作ＵＩ部１１２の操作量を、ロボットアームの遠位端（又は、遠位端に搭載した術具４１１）の動きに座標変換することが可能となる。したがって、本開示によれば、オペレータは観察装置とマスタスレーブ方式の手術システムとを互いに連携して、正確な手術を行うことができる。
Ｃ．第１の実施例
図５には、本開示の第１の実施例に係る、観察装置５００と手術ロボット５１０の配置例を示している。具体的には、眼底手術に適用される場合の、観察装置５００と手術ロボット５１０の配置例を示している。
観察装置５００は、例えばＯＣＴを搭載したステレオビデオ顕微鏡であり、図１に示した手術システム１００におけるセンサ部１２３に相当する。観察装置５００は、被手術眼を上方から観察する位置に配置されている。顕微鏡には、被手術眼と対物レンズの焦点位置との間に、前置レンズを配設するタイプと、前置レンズがないタイプの２種類がある。前置レンズは、例えば照明光を集束させて眼内を照明するという用途がある。網膜硝子体手術では広角観察レンズが、隅角を処置する低侵襲緑内障手術（ＭＩＧＳ：ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｇｌａｕｃｏｍａ ｓｕｒｇｅｒｙ）では隅角鏡が、それぞれ前置レンズとして広く使われている。図５に示す例では、観察装置５００は、前置レンズ５０１を有するステレオビデオ顕微鏡である。
また、手術ロボット５１０は、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図５に示す例では、手術ロボット５１０は、シリアルリンク構造のロボットアーム（例えば図４を参照のこと）からなり、遠位端に術具５１１を搭載している。眼底手術に要求される術具５１１の可動範囲が小さくて十分なので、手術ロボット５１０は、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
そして、図５に示す例では、前置レンズ５０１上に手術ロボット５１０が取り付けられている。手術ロボット５１０がマイクロロボットであることを想定すると、前置レンズ５０１上に手術ロボット５１０を設置することは十分に可能である。図５では、固定部５０２によって手術ロボット５１０が前置レンズ５０１に固定されているものとする。但し、手術ロボット５１０を前置レンズ５０１に固定する方法は特に限定されない。
そもそも観察装置５００と前置レンズ５０１との位置関係は既知である。そして、前置レンズ５０１上に手術ロボット５１０が取り付けられていることから、観察装置５００の撮像画像と手術ロボット５１０の位置関係が既知である。観察装置５００の撮像画像の座標系を（ｘv，ｙv，ｚv）とし、手術ロボット５１０の座標系を（ｘr，ｙr，ｚr）とすると、下式（１）に示すように、変換行列Ａ1を用いて観察装置５００の撮像画像の座標系（ｘv，ｙv，ｚv）を手術ロボット５１０の座標系（ｘr，ｙr，ｚr）に変換することができる。観察装置５００と手術ロボット５１０の位置関係が既知であることから、変換行列Ａ1を求めることができる。
Figure 2022156622000002
一方、手術ロボット５１０の構成情報（ロボットアームの各リンク及びジョイントの構成情報）と、その遠位端に装着された術具５１１の構成情報がそれぞれ既知であることから、手術ロボット５１０と術具５１１の位置関係が既知である。術具５１１の先端の座標系を（ｘe，ｙe，ｚe）とすると、下式（２）に示すように、変換行列Ａ2を用いて手術ロボット５１０の座標系（ｘr，ｙr，ｚr）を術具５１１の先端の座標系（ｘe，ｙe，ｚe）に変換することができる。手術ロボット５１０の構成情報と術具５１１の構成情報に基づいて、変換行列Ａ2を求めることができる。
Figure 2022156622000003
したがって、観察装置５００の撮像画像と術具５１１の先端との間の座標関係は、下式（３）に示すように定まる。
Figure 2022156622000004
手術システム１００に図５に示すような観察装置５００と手術ロボット５１０の配置を適用する場合について説明する。観察装置５００の撮像画像は、提示部１１３に含まれるモニタディスプレイの画面に表示される。オペレータは、操作ＵＩ部１１２を使って、モニタ画面に表示されている撮像画像に対して術具５１１の操作量を指示する。マスタ側制御部１１１は、観察装置５００の撮像画像の座標系で表現される操作量（ｘv，ｙv，ｚv）の情報を、伝送路１３０を介してスレーブ装置１２０に転送する。そして、スレーブ装置１２０側では、上式（３）に基づいて、操作量（ｘv，ｙv，ｚv）を術具５１１の先端の座標系（ｘe，ｙe，ｚe）に変換すると、さらに逆キネマティクス演算により、操作ＵＩ部１１２の操作量に対応する術具５１１の先端の動きを実現するための手術ロボット５１０の指令値（ロボットアームの各ジョイントの関節角度）に変換して、手術ロボット５１０の駆動を制御すればよい。
この場合の手術システム１００におけるハンドアイコーディネーションは、オペレータが観察装置５００の撮像画像を目で見て、その撮像画像に対して術具５１１の先端の位置情報を正確に捉え、術具５１１の先端の軌道を予測して、操作ＵＩ部１１２を使って操作することである。上述したように、本開示の第１の実施例によれば、オペレータが観察装置５００の撮像画像を見て操作ＵＩ部１１２への入力を行い、さらに手術ロボット５１０による術具５１１の動作がスムーズに行えるようになる。すなわち、本開示の第１の実施例によれば、オペレータは十分なトレーニングを積まなくても、ハンドアイコーディネーションを実現することができる。
最適なハンドアイコーディネーションが成立する条件を下式（４）のように定義することができる（非特許文献２を参照のこと）。上式（３）から、本開示の第１の実施例によれば、この条件式（４）を満たすことが分かる。
Figure 2022156622000005
Ｄ．第２の実施例
図６には、本開示の第２の実施例に係る、観察装置６００と手術ロボット６１０の配置例を示している。具体的には、眼底手術に適用される場合の、観察装置６００と手術ロボット６１０の配置例を示している。また、図７には、参考のため、観察装置６００と手術ロボット６１０の配置を上方から眺めた矢視図を示している。
観察装置６００は、例えばＯＣＴを搭載したステレオビデオ顕微鏡であり、図１に示した手術システム１００におけるセンサ部１２３に相当する。観察装置６００は、被手術眼を上方から観察する位置に配置されている。また、被手術眼には開瞼器６２０が取り付けられ、瞼が閉じないように固定されている。開瞼器６２０には３箇所にビジュアルマーカー６２１、６２２、６２３を有している。そして、マーカー６２１、６２２、６２３間の位置関係（マーカー６２１、６２２、６２３で構成される３角形の大きさ及び形状など）は手術システム１００において既知である。したがって、観察装置６００が術野と開瞼器６２０に取り付けられたマーカー６２１、６２２、６２３を同時に撮影して、撮像画像上のマーカー６２１、６２２、６２３間の位置関係に基づいて、観察装置６００と開瞼器６２０との相対的な位置及び姿勢の関係を計算することができる。
また、手術ロボット６１０は、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図６及び図７に示す例では、手術ロボット６１０は、シリアルリンク構造のロボットアーム（例えば図４を参照のこと）からなり、遠位端に術具６１１を搭載している。眼底手術に要求される術具６１１の可動範囲が小さくて十分なので、手術ロボット６１０は、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
そして、図６及び図７に示す例では、開瞼器６２０上に手術ロボット６１０が取り付けられている。手術ロボット６１０がマイクロロボットであることを想定すると、開瞼器６２０上に手術ロボット６１０を設置することは十分に可能である。図６及び図７では、固定部６０２によって手術ロボット６１０が開瞼器６２０に固定されているものとする。但し、手術ロボット６１０を開瞼器６２０に固定する方法は特に限定されない。
観察装置６００の撮像画像の座標系を（ｘv，ｙv，ｚv）とし、開瞼器６２０の座標系を（ｘs，ｙs，ｚs）とすると、下式（５）に示すように、変換行列Ｂ1を用いて観察装置５００の撮像画像の座標系を（ｘv，ｙv，ｚv）を開瞼器６２０の座標系（ｘs，ｙs，ｚs）に変換することができる。上述したように、観察装置６００が術野と開瞼器６２０に取り付けられたマーカー６２１、６２２、６２３を同時に撮影して、撮像画像上のマーカー６２１、６２２、６２３間の位置関係に基づいて算出される観察装置６００と開瞼器６２０との相対的な位置及び姿勢の関係に基づいて、変換行列Ｂ1を求めることができる。
Figure 2022156622000006
そして、開瞼器６２０上に手術ロボット６１０が取り付けられていることから、開瞼器６２０と手術ロボット６１０の位置関係が既知である。手術ロボット６１０の座標系を（ｘr，ｙr，ｚr）とすると、下式（６）に示すように、変換行列Ｂ2を用いて開瞼器６２０の撮像画像の座標系（ｘv，ｙv，ｚv）を手術ロボット６１０の座標系（ｘr，ｙr，ｚr）に変換することができる。開瞼器６２０と手術ロボット６１０の位置関係が既知であることから、変換行列Ｂ2を求めることができる。
Figure 2022156622000007
また、手術ロボット６１０の構成情報（ロボットアームの各リンク及びジョイントの構成情報）と、その遠位端に装着された術具６１１の構成情報がそれぞれ既知であることから、手術ロボット６１０と術具６１１の位置関係が既知である。術具６１１の先端の座標系を（ｘe，ｙe，ｚe）とすると、下式（７）に示すように、変換行列Ｂ3を用いて手術ロボット６１０の座標系（ｘr，ｙr，ｚr）を術具６１１の先端の座標系（ｘe，ｙe，ｚe）に変換することができる。手術ロボット５１０の構成情報と術具５１１の構成情報に基づいて、変換行列Ｂ3を求めることができる。
Figure 2022156622000008
したがって、観察装置６００の撮像画像と術具６１１の先端との間の座標関係は、下式（８）に示すように定まる。
Figure 2022156622000009
手術システム１００に図６に示すような観察装置６００と手術ロボット６１０の配置を適用する場合について説明する。観察装置６００の撮像画像は、提示部１１３に含まれるモニタディスプレイの画面に表示される。オペレータは、操作ＵＩ部１１２を使って、モニタ画面に表示されている撮像画像に対して術具５１１の操作量を指示する。マスタ側制御部１１１は、観察装置６００の撮像画像の座標系で表現される操作量（ｘv，ｙv，ｚv）の情報を、伝送路１３０を介してスレーブ装置１２０に転送する。そして、スレーブ装置１２０側では、上式（８）に基づいて、操作量（ｘv，ｙv，ｚv）を術具６１１の先端の座標系（ｘe，ｙe，ｚe）に変換すると、さらに逆キネマティクス演算により、操作ＵＩ部１１２の操作量に対応する術具６１１の先端の動きを実現するための手術ロボット６１０の指令値（ロボットアームの各ジョイントの関節角度）に変換して、手術ロボット６１０の駆動を制御すればよい。
このように本開示の第２の実施例においても、オペレータが観察装置６００の撮像画像を見て操作ＵＩ部１１２への入力を行い、さらに手術ロボット６１０による術具６１１の動作がスムーズに行えるようになる。
上式（８）から、本開示の第２の実施例によれば、最適なハンドアイコーディネーションが成立する上記の条件式（４）を満たすことが分かる。したがって、本開示の第２の実施例においても、オペレータは十分なトレーニングを積まなくても、ハンドアイコーディネーションを実現することができる。
Ｅ．第３の実施例
図８には、本開示の第３の実施例に係る、観察装置８００と２台の手術ロボット８１０及び８２０の配置例を示している。具体的には、眼底手術に適用される場合の、観察装置８００と第１の手術ロボット８１０及び第２の手術ロボット８２０の配置例を示している。
観察装置８００は、例えばＯＣＴを搭載したステレオビデオ顕微鏡であり、図１に示した手術システム１００におけるセンサ部１２３に相当する。観察装置８００は、被手術眼を上方から観察する位置に配置されている。顕微鏡には、被手術眼と対物レンズの焦点位置との間に、前置レンズを配設するタイプと、前置レンズがないタイプの２種類があるが（前述）、観察装置８００は、前置レンズ８０１を有するステレオビデオ顕微鏡である。
第１の手術ロボット８１０と第２の手術ロボット８２０は、図１に示した手術システム１００におけるスレーブロボット１２２に相当する。図８に示す例では、第１の手術ロボット８１０と第２の手術ロボット８２０はともに、シリアルリンク構造のロボットアーム（例えば図４を参照のこと）からなる。但し、第１の手術ロボット８１０と第２の手術ロボット８２０が同じ構成である必要はない。第１の手術ロボット８１０は遠位端に術具８１１を搭載し、第２の手術ロボット８２０は遠位端に術具８１２を搭載している。眼底手術に要求される術具８１１及び８１２の可動範囲が小さくて十分なので、第１の手術ロボット８１０と第２の手術ロボット８２０はいずれも、全長又は全高が数センチメートル程度、質量が数グラム～数十グラム程度のマイクロロボットであることを想定している。
そして、図８に示す例では、第１の手術ロボット８１０と第２の手術ロボット８２０はいずれも前置レンズ８０１上に取り付けられている。第１の手術ロボット８１０と第２の手術ロボットがマイクロロボットであることを想定すると、前置レンズ８０１上に第１の手術ロボット８１０と第２の手術ロボット８２０を設置することは十分に可能である。図８では、固定部８０２及び８０３によって第１の手術ロボット８１０と第２の手術ロボット８２０がそれぞれ前置レンズ８０１に固定されているものとする。但し、第１の手術ロボット８１０と第２の手術ロボット８２０を前置レンズ８０１に固定する方法は特に限定されない。
そもそも観察装置８００と前置レンズ８０１との位置関係は既知である。そして、前置レンズ８０１上に第１の手術ロボット８１０と第２の手術ロボット８２０が取り付けられていることから、観察装置８００の撮像画像と第１の手術ロボット８１０と第２の手術ロボット８２０の各々との位置関係が既知である。観察装置８００の撮像画像の座標系を（ｘv，ｙv，ｚv）とし、第１の手術ロボット８０の座標系を（ｘr1，ｙr1，ｚr1）とすると、下式（９）に示すように、変換行列Ａ11を用いて観察装置８００の撮像画像の座標系（ｘv，ｙv，ｚv）を第１の手術ロボット８１０の座標系（ｘr，ｙr，ｚr）に変換することができる。同様に、下式(１０)に示すように、変換行列Ａ21を用いて観察装置８００の撮像画像の座標系（ｘv，ｙv，ｚv）を第２の手術ロボット８２０の座標系（ｘr，ｙr，ｚr）に変換することができる。観察装置８００と第１の手術ロボット８１０と第２の手術ロボット８２０の各々と位置関係が既知であることから、変換行列Ａ11及びＡ21求めることができる。
Figure 2022156622000010
Figure 2022156622000011
一方、第１の手術ロボット８１０の構成情報（ロボットアームの各リンク及びジョイントの構成情報）と、その遠位端に装着された術具８１１の構成情報がそれぞれ既知であることから、第１の手術ロボット８１０と術具８１１の位置関係が既知である。同様に、第２の手術ロボット８２０と術具８２１の位置関係が既知である。術具８１１の先端の座標系を（ｘe1，ｙe1，ｚe1）とし、術具８２１の先端の座標系を（ｘe2，ｙe2，ｚe2）とすると、それぞれ下式（１１）及び（１２）に示すように、変換行列Ａ12を用いて第１の手術ロボット８１０の座標系（ｘr1，ｙr1，ｚr1）を術具８１１の先端の座標系（ｘe1，ｙe1，ｚe1）に変換するとともに、変換行列Ａ22を用いて第２の手術ロボット８２０の座標系（ｘr2，ｙr2，ｚr2）を術具８１１の先端の座標系（ｘe2，ｙe2，ｚe2）に変換ことができる。第１の手術ロボット８１０の構成情報と術具８１１の構成情報に基づいて変換行列Ａ12を求めるとともに、第２の手術ロボット８２０の構成情報と術具８２１の構成情報に基づいて変換行列Ａ22を求めることができる。
Figure 2022156622000012
Figure 2022156622000013
したがって、観察装置８００の撮像画像と各術具８１１及び８１２の先端との間の座標関係は、下式（１３）及び(１４)に示すように定まる。
Figure 2022156622000014
Figure 2022156622000015
手術システム１００に図８に示すような観察装置８００と第１の手術ロボット８１０及び第２の手術ロボット８２０の配置を適用する場合について説明する。観察装置８００の撮像画像は、提示部１１３に含まれるモニタディスプレイの画面に表示される。オペレータは、操作ＵＩ部１１２を使って、モニタ画面に表示されている撮像画像に対して各術具８１１及び８１２の操作量を指示する。マスタ側制御部１１１は、観察装置８００の撮像画像の座標系で表現される操作量（ｘv，ｙv，ｚv）の情報を、伝送路１３０を介してスレーブ装置１２０に転送する。そして、スレーブ装置１２０側では、上式（１３）及び（１４）に基づいて、操作量（ｘv，ｙv，ｚv）を術具８１１の先端の座標系（ｘe1，ｙe1，ｚe1）又は術具８１２の先端の座標系（ｘe1，ｙe1，ｚe1）に変換すると、さらに逆キネマティクス演算により、操作ＵＩ部１１２の操作量に対応する術具８１１又は術具８１２の先端の動きを実現するための第１の手術ロボット８１０又は第２の手術ロボット８２０の指令値（ロボットアームの各ジョイントの関節角度）に変換して、第１の手術ロボット８１０又は第２の手術ロボット８２０の駆動を制御すればよい。
このように本開示の第３の実施例においても、オペレータが観察装置８００の撮像画像を見て操作ＵＩ部１１２への入力を行い、さらに第１の手術ロボット８１０による術具８１１の動作及び第２の手術ロボット８２０による術具８２１の動作がスムーズに行えるようになる。
上式（１３）及び（１４）から、本開示の第３の実施例によれば、最適なハンドアイコーディネーションが成立する上記の条件式（４）を満たすことが分かる。したがって、本開示の第３の実施例においても、オペレータは十分なトレーニングを積まなくても、ハンドアイコーディネーションを実現することができる。
Ｆ．効果
このＦ項では、本開示を手術システム１００に適用することによってもたらされる効果について言及する。
本開示によれば、術野を観察する顕微鏡などの観察装置と、手術ロボットに支持される術具との相対的な位置関係を高精度に求める構造を備えることができる。したがって、観察装置と手術ロボット、さらには複数の手術ロボットとの協調動作による精密なマニピュレーション、ハンドアイコーディネーション、並びに手術支援を実現することができる。
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、本開示に係る手術システムを眼科手術に適用した実施形態を中心に説明してきたが、本開示の要旨はこれに限定されるものではない。観察装置と手術ロボットを用いて手術を支援するさまざまなタイプの手術システムに対しても同様に本開示を適用することができる。。
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本開示は、以下のような構成をとることも可能である。
（１）術野を観察する観察装置と、
術具を支持する手術ロボットと、
前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、
前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部と、
を具備する手術システム。
（２）前記観察装置は顕微鏡と前置レンズを含み、
前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
上記（１）に記載の手術システム。
（３）前記処理部は、前記観察装置の撮像画像上の座標を前記手術ロボットの座標に変換する第１の変換行列Ａ1と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ2を合成した合成行列Ａ1Ａ2を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
上記（２）に記載の手術システム。
（４）前記固定部は、マーカーを有し術部の状態を保持する保持器に対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
上記（１）に記載の手術システム。
（５）前記術部は眼球であり、前記保持器は開瞼器である、
上記（４）に記載の手術システム。
（６）前記処理部は、前記観察装置の撮像画像上の座標を前記保持具の座標に変換する第１の変換行列Ｂ1と前記保持具の座標を前記手術ロボットの座標に変換する第２の変換行列Ｂ2と前記手術ロボットの座標を前記術具の座標に変換する第３の変換行列Ｂ3を合成した合成行列Ｂ1Ｂ2Ｂ3を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
上記（４）又は（５）のいずれかに記載の手術システム。
（７）それぞれ術具を支持する第１の手術ロボットと第２の手術ロボットを含み、
前記観察装置は顕微鏡と前置レンズを含み、
前記固定部は、前記前置レンズに対する前記第１の手術ロボットと前記第２の手術ロボットそれぞれの相対的な位置及び姿勢の関係を固定する、
上記（１）に記載の手術システム。
（８）前記処理部は、
前記観察装置の撮像画像上の座標を前記第１の手術ロボットの座標に変換する第１の変換行列Ａ11と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ12を合成した合成行列Ａ11Ａ12を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換し、
前記観察装置の撮像画像上の座標を前記第２の手術ロボットの座標に変換する第１の変換行列Ａ21と前記第２の手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ22を合成した合成行列Ａ21Ａ22を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
上記（７）に記載の手術システム。
（９）前記処理部は、前記観察装置の撮像画像上で指示された操作量を前記術具の座標に変換する、
上記（１）乃至（８）のいずれかに記載の手術システム。
（１０）前記処理部によって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御部をさらに備える、
上記（９）に記載の手術システム。
（１１）前記手術ロボットの動作を指示するマスタ装置と、前記マスタ装置からの指示に基づいて前記手術ロボットの動作を制御するスレーブ装置を備える、
上記（１）乃至（１０）のいずれかに記載の手術システム。
（１２）前記マスタ装置は、前記観察装置の撮像画像上でオペレータによる術具操作の指示を入力し、
前記処理部は、前記オペレータによって指示された操作量を前記術具の座標に変換し、
前記スレーブ装置は、前記処理部から出力される前記術具の座標を逆キネマティクス演算して前記手術ロボットの動作を制御する、
上記（１１）に記載の手術システム。
（１３）術野を観察する観察装置と術具を支持する手術ロボットを含む手術システムを用いた手術支援方法であって、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係が固定されており、
前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理ステップと、
前記処理ステップによって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御ステップと、
を有する手術支援方法。
１００…手術システム、１１０…マスタ装置
１１１…マスタ側制御部、１１２…操作ＵＩ部、１１３…提示部
１１４…マスタ側通信部、１２０…スレーブ装置
１２１…スレーブ側制御部、１２２…スレーブロボット
１２３…センサ部、１２４…スレーブ側通信部、１３０…伝送路
５００…観察装置、５０１…前置レンズ、５０２…固定部
５１０…手術ロボット、５１１…術具
６００…観察装置、６０１…前置レンズ、６０２…固定部
６１０…手術ロボット、６１１…術具、６２０…開瞼器
６２１、６２２、６２３…ビジュアルマーカー
８００…観察装置、８０１…前置レンズ、８０２、８０３…固定部
８１０…第１の手術ロボット、８１１…術具
８２０…第１の手術ロボット、８２１…術具

Claims (13)

  1. 術野を観察する観察装置と、
    術具を支持する手術ロボットと、
    前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係を固定する固定部と、
    前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理部と、
    を具備する手術システム。
  2. 前記観察装置は顕微鏡と前置レンズを含み、
    前記固定部は、前記前置レンズに対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
    請求項１に記載の手術システム。
  3. 前記処理部は、前記観察装置の撮像画像上の座標を前記手術ロボットの座標に変換する第１の変換行列Ａ1と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ2を合成した合成行列Ａ1Ａ2を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
    請求項２に記載の手術システム。
  4. 前記固定部は、マーカーを有し術部の状態を保持する保持器に対する前記手術ロボットの相対的な位置及び姿勢の関係を固定する、
    請求項１に記載の手術システム。
  5. 前記術部は眼球であり、前記保持器は開瞼器である、
    請求項４に記載の手術システム。
  6. 前記処理部は、前記観察装置の撮像画像上の座標を前記保持具の座標に変換する第１の変換行列Ｂ1と前記保持具の座標を前記手術ロボットの座標に変換する第２の変換行列Ｂ2と前記手術ロボットの座標を前記術具の座標に変換する第３の変換行列Ｂ3を合成した合成行列Ｂ1Ｂ2Ｂ3を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
    請求項４に記載の手術システム。
  7. それぞれ術具を支持する第１の手術ロボットと第２の手術ロボットを含み、
    前記観察装置は顕微鏡と前置レンズを含み、
    前記固定部は、前記前置レンズに対する前記第１の手術ロボットと前記第２の手術ロボットそれぞれの相対的な位置及び姿勢の関係を固定する、
    請求項１に記載の手術システム。
  8. 前記処理部は、
    前記観察装置の撮像画像上の座標を前記第１の手術ロボットの座標に変換する第１の変換行列Ａ11と前記手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ12を合成した合成行列Ａ11Ａ12を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換し、
    前記観察装置の撮像画像上の座標を前記第２の手術ロボットの座標に変換する第１の変換行列Ａ21と前記第２の手術ロボットの座標を前記術具の座標に変換する第２の変換行列Ａ22を合成した合成行列Ａ21Ａ22を用いて、前記観察装置の撮像画像上の座標を前記術具の座標に変換する、
    請求項７に記載の手術システム。
  9. 前記処理部は、前記観察装置の撮像画像上で指示された操作量を前記術具の座標に変換する、
    請求項１に記載の手術システム。
  10. 前記処理部によって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御部をさらに備える、
    請求項９に記載の手術システム。
  11. 前記手術ロボットの動作を指示するマスタ装置と、前記マスタ装置からの指示に基づいて前記手術ロボットの動作を制御するスレーブ装置を備える、
    請求項１に記載の手術システム。
  12. 前記マスタ装置は、前記観察装置の撮像画像上でオペレータによる術具操作の指示を入力し、
    前記処理部は、前記オペレータによって指示された操作量を前記術具の座標に変換し、
    前記スレーブ装置は、前記処理部から出力される前記術具の座標を逆キネマティクス演算して前記手術ロボットの動作を制御する、
    請求項１１に記載の手術システム。
  13. 術野を観察する観察装置と術具を支持する手術ロボットを含む手術システムを用いた手術支援方法であって、前記観察装置と前記手術ロボットの相対的な位置及び姿勢の関係が固定されており、
    前記相対的な位置及び姿勢の関係に基づいて、前記観察装置の撮像画像上の座標と前記術具の座標間の座標変換のための処理を行う処理ステップと、
    前記処理ステップによって変換された術具の座標に基づいて前記手術ロボットの駆動を制御する制御ステップと、
    を有する手術支援方法。
JP2021060413A 2021-03-31 2021-03-31 手術システム並びに手術支援方法 Pending JP2022156622A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021060413A JP2022156622A (ja) 2021-03-31 2021-03-31 手術システム並びに手術支援方法
US18/551,753 US20240173090A1 (en) 2021-03-31 2021-12-28 Surgical system and surgical support method
PCT/JP2021/048962 WO2022209099A1 (ja) 2021-03-31 2021-12-28 手術システム並びに手術支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021060413A JP2022156622A (ja) 2021-03-31 2021-03-31 手術システム並びに手術支援方法

Publications (1)

Publication Number Publication Date
JP2022156622A true JP2022156622A (ja) 2022-10-14

Family

ID=83455949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021060413A Pending JP2022156622A (ja) 2021-03-31 2021-03-31 手術システム並びに手術支援方法

Country Status (3)

Country Link
US (1) US20240173090A1 (ja)
JP (1) JP2022156622A (ja)
WO (1) WO2022209099A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4101951B2 (ja) * 1998-11-10 2008-06-18 オリンパス株式会社 手術用顕微鏡
JP2005046186A (ja) * 2003-07-29 2005-02-24 Olympus Corp 手術用顕微鏡システム
JP5043604B2 (ja) * 2007-11-07 2012-10-10 株式会社トプコン 実体顕微鏡
FR2968191B1 (fr) * 2010-12-01 2012-12-14 Univ Paris Curie Effecteur equipe d'un dispositif pour la localisation d'une partie utile d'un outil
JP6902369B2 (ja) * 2017-03-15 2021-07-14 株式会社オカムラ 提示装置、提示方法およびプログラム、ならびに作業システム
JP2019076329A (ja) * 2017-10-23 2019-05-23 株式会社トプコン 前置レンズ装置及び眼科用顕微鏡

Also Published As

Publication number Publication date
US20240173090A1 (en) 2024-05-30
WO2022209099A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
KR102222651B1 (ko) 로봇 조작기 또는 연관 도구를 제어하기 위한 시스템 및 방법
JP3540362B2 (ja) 手術用マニピュレータの制御システム及びその制御方法
KR102237597B1 (ko) 수술 로봇용 마스터 장치 및 그 제어 방법
US8892224B2 (en) Method for graphically providing continuous change of state directions to a user of a medical robotic system
JP6026515B2 (ja) ツールの動作を制御するのに使用されるフレームの位置及び向きの推定
Mayer et al. The Endo [PA] R system for minimally invasive robotic surgery
US6223100B1 (en) Apparatus and method for performing computer enhanced surgery with articulated instrument
US6963792B1 (en) Surgical method
WO2018159155A1 (ja) 医療用観察システム、制御装置及び制御方法
Nakano et al. A parallel robot to assist vitreoretinal surgery
CN113440263B (zh) 计算机辅助式远程操作系统中的次级器械控制
KR20220032635A (ko) 원격조작 의료 시스템 내의 온스크린 메뉴들을 위한 시스템들 및 방법들
Noonan et al. Gaze contingent articulated robot control for robot assisted minimally invasive surgery
JPH08224248A (ja) 医療用マニピュレータ
JP7085401B2 (ja) 外科手術システム
CN114129266B (zh) 保持rc点不变的方法、机械臂、设备、机器人和介质
WO2022209099A1 (ja) 手術システム並びに手術支援方法
Ko et al. Compact laparoscopic assistant robot using a bending mechanism
Faraz et al. Issues and design concepts in endoscopic extenders
WO2020209165A1 (ja) 外科手術システム及び外科手術システムの制御方法
Mayer et al. An experimental system for robotic heart surgery
WO2020133368A1 (zh) 柔性手术器械、操作臂系统及微创手术机器人从手系统
WO2022196037A1 (ja) 力計測装置及び力計測方法、手術装置、及び手術システム
CN219846789U (zh) 手术机器人系统
Liu et al. A novel smart surgical robotic system with eye-hand coordination for surgical assistance