JP2021153773A - ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム - Google Patents

ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム Download PDF

Info

Publication number
JP2021153773A
JP2021153773A JP2020055966A JP2020055966A JP2021153773A JP 2021153773 A JP2021153773 A JP 2021153773A JP 2020055966 A JP2020055966 A JP 2020055966A JP 2020055966 A JP2020055966 A JP 2020055966A JP 2021153773 A JP2021153773 A JP 2021153773A
Authority
JP
Japan
Prior art keywords
robot
contact
tissue
subject
soft tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020055966A
Other languages
English (en)
Inventor
城太 井田
Jota Ida
城太 井田
充一 平塚
Atsuichi Hiratsuka
充一 平塚
秀介 茅野
Hidesuke Kayano
秀介 茅野
剛 長田
Takeshi Osada
剛 長田
隆 唐沢
Takashi Karasawa
隆 唐沢
信一郎 瀬尾
Shinichiro Seo
信一郎 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Medicaroid Corp
Original Assignee
Ziosoft Inc
Medicaroid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc, Medicaroid Corp filed Critical Ziosoft Inc
Priority to JP2020055966A priority Critical patent/JP2021153773A/ja
Priority to US17/211,966 priority patent/US20210298848A1/en
Publication of JP2021153773A publication Critical patent/JP2021153773A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/303Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0801Prevention of accidental cutting or pricking
    • A61B2090/08021Prevention of accidental cutting or pricking of the patient or his organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】変形が生じ易い軟組織を加味して、被検体の実際の位置と被検体のモデルの位置とを容易に位置合わせできるロボット手術支援装置を提供する。【解決手段】手術支援ロボットによる鏡視下手術を支援するロボット手術支援装置であって、処理部を備え、処理部は、被検体の3Dデータを取得し、手術支援ロボットが備える手術器具が被検体の軟組織に接触した接触位置を取得し、被検体の軟組織の接触位置の固さを取得し、接触位置及び固さに基づいて、3Dデータにおける軟組織の変形を伴って、被検体と3Dデータとの位置合わせを行う機能を有する。【選択図】図9

Description

本開示は、ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラムに関する。
従来、手術支援ロボットにより患者に対してロボット手術が行われている。ロボット手術において、接触センサが患者の骨への接触が検出され、この検出結果に基づいて患者の位置が位置合わされることが知られている(特許文献1参照)。
また、術式の1つとして、経肛門的低侵襲手術(TAMIS:Transanal Minimally Inbasive Surgery)が知られている。TAMISにおいて、手術器具を患者に挿入するために、患者の肛門にプラットフォーム(Transanal Access Platform)を設置することが知られている(非特許文献1参照)。
特開2018−126498号公報
GelPOINT Path, Transanal Access Platform, Applied Medical,[令和1年12月26日検索]インターネット<URL:https://www.appliedmedical.com/Products/Gelpoint/Path
従来の接触センサによる骨等の硬組織に対する接触の検出結果に基づく位置合わせの手法は、変形が生じやすい軟組織に適用することが困難である。
例えば、TAMISでは、被検体の体位変換に応じて被検体内の組織に移動や回転が発生し易く組織の変形が生じやすい。術中に被検体内の組織に手術器具が接触することで、組織が変形することもある。また、術前には、被検体の様子を観察するために、CT装置等により撮像が行われ、被検体のボリュームデータが用意される。ここで、術中に実空間における被検体内の組織が変形しても、仮想空間におけるボリュームデータに変形は生じない。そのため、実空間の被検体の位置と仮想空間のボリュームデータが示す位置とに乖離が生じる。この乖離により、鏡視下手術における安全性が低下し得る。
また、骨等の硬組織については、被検体の位置と仮想空間のボリュームデータが示す位置とを一度位置合わせすると、その後のタイミングにおいて両者の位置がずれ難い。一方、直腸等の軟組織については、被検体の動きや手術器具の接触による影響を受け易く、変形し易く、特に位置合わせの必要性が高い。
また、ロボット手術であっては、術者にとって触覚が限定的であって、特に変形が生じ易い軟組織の背後に異なる組織があるときに、触覚によって軟組織の背後の組織を把握することが難しい。
本開示は、上記事情に鑑みてされたものであって、変形が生じ易い軟組織を加味して、被検体の実際の位置と被検体の3Dデータの位置とを容易に位置合わせできるロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラムを提供する。
本開示の一態様は、手術支援ロボットによる鏡視下手術を支援するロボット手術支援装置であって、処理部を備え、前記処理部は、被検体の3Dデータを取得し、前記手術支援ロボットが備える手術器具が前記被検体の軟組織に接触した接触位置を取得し、前記被検体の軟組織の前記接触位置の固さを取得し、前記接触位置及び前記固さに基づいて、前記3Dデータにおける軟組織の変形を伴って、前記3Dデータの位置と前記手術支援ロボット300が認識する前記被検体の位置との位置合わせを行う機能を有する、ロボット手術支援装置である。
本開示によれば、変形が生じ易い軟組織を加味して、被検体の実際の位置と被検体のモデルの位置とを容易に位置合わせできる。
第1の実施形態におけるロボット手術支援システムの構成例を示すブロック図 ロボット手術支援装置のハードウェア構成例を示すブロック図 ロボット手術支援装置の機能構成例を示すブロック図 プラットフォーム、手術器具、及び被検体の内部の様子の一例を示す図 被検体の体位が切石位であり、脚部を低く上げている状態での骨盤の状態の一例を示す図 被検体の体位が切石位であり、脚部を低く上げている状態での骨盤の状態の一例を示す図 接触センサが接触する腸壁の背後に骨が存在することの一例を示す模式図 接触センサが接触する腸壁の背後に骨が存在しないことの一例を示す模式図 接触センサが接触する腸壁の背後に骨が少し離れて存在することの一例を示す模式図 接触センサが接触する腱に接触センサが接触する前の様子の一例を示す模式図 接触センサが接触する腱に接触センサが接触している様子の一例を示す模式図 接触センサが接触する腸壁の背後に腸壁が存在することの一例を示す模式図 ロボット手術支援装置の動作例を示すフローチャート ロボット手術支援装置の動作例を示すフローチャート(図9の続き)
以下、本開示の実施形態について、図面を用いて説明する。
(第1の実施形態)
図1は、第1の実施形態におけるロボット手術支援システム1の構成例を示すブロック図である。ロボット手術支援システム1は、ロボット手術支援装置100と、CT装置200と、手術支援ロボット300と、を備える。ロボット手術支援装置100と、CT装置200と、手術支援ロボット300とは、ネットワークを介して接続されてもよい。また、ロボット手術支援装置100は、CT装置200、及び手術支援ロボット300の各装置と、1対1で接続されてもよい。図1では、ロボット手術支援装置100が、CT装置200及び手術支援ロボット300のそれぞれと接続されていることを例示している。
ロボット手術支援装置100は、CT装置200及び手術支援ロボット300から各種データを取得する。ロボット手術支援装置100は、取得されたデータに基づいて画像処理し、手術支援ロボット300によるロボット手術を支援する。ロボット手術支援装置100は、PCとPCに搭載されたソフトウェアにより構成されてもよい。ロボット手術支援装置100は、手術ナビゲーションを行う。手術ナビゲーションは、例えば、手術前の計画(術前計画)を行うための術前シミュレーションや手術中のサポートを行うための術中ナビゲーションを含む。
CT装置200は、被検体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体は、生体、人体、動物、等を含んでよい。CT装置200は、被検体内部の任意の箇所の情報を含むボリュームデータを生成する。CT装置200は、CT画像としてのボリュームデータをロボット手術支援装置100へ、有線回線又は無線回線を介して送信する。CT画像の撮像には、CT撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。
手術支援ロボット300は、ロボット操作端末310、ロボット本体320、及び画像表示端末330を備える。
ロボット操作端末310は、術者により操作されるハンドコントローラやフットスイッチを備える。ロボット操作端末310は、術者によるハンドコントローラやフットスイッチの操作に応じて、ロボット本体320に設けられた複数のロボットアームARを動作させる。また、ロボット操作端末310は、ビューワを備える。ビューワは、ステレオビューワでよく、内視鏡ES(内視鏡カメラ)により取込まれた画像を融合させて3次元画像を表示してよい。なお、ロボット操作端末310が複数存在し、複数のロボット操作端末310を複数の術者が操作するによりロボット手術が行われてもよい。
ロボット本体320は、ロボット手術を行うための複数のロボットアームAR、ロボットアームARに装着されるエンドエフェクタEF(鉗子類、インストゥルメント)、及びロボットアームARに装着される内視鏡ESを備える。エンドエフェクタEF及び内視鏡ESは、鏡視下手術に用いられるものであるので、本実施形態では手術器具30とも称する。手術器具30は、1つ以上のエンドエフェクタEF及び内視鏡ESのうち少なくとも1つを含む。
ロボット本体320は、例えば4つのロボットアームARを備えており、内視鏡ESが装着されるカメラアームと、ロボット操作端末310の右手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第1エンドエフェクタアームと、ロボット操作端末310の左手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第2エンドエフェクタアームと、交換用のエンドエフェクタEFが装着される第3エンドエフェクタアームと、を含む。各ロボットアームARは、複数の関節を有しており、各関節に対応してモータとエンコーダを備えていてよい。エンコーダは、角度検出器の一例としてのロータリエンコーダを含んでよい。各ロボットアームARは、少なくとも6自由度、好ましくは7又は8自由度を有しており、3次元空間内において動作し、3次元空間内の各方向に可動自在でよい。エンドエフェクタEFには、ロボット手術において被検体PS内の処置対象に実際に接する器具であり、様々な処置(例えば、把持、切除、剥離、縫合)を可能とする。
エンドエフェクタEFは、例えば、把持鉗子、剥離鉗子、電気メス、等を含んでよい。エンドエフェクタEFは、役割毎に異なる別個のエンドエフェクタEFが複数用意されてよい。例えば、ロボット手術では、2つのエンドエフェクタEFによって組織を抑えたり引っ張ったりして、1つのエンドエフェクタEFで組織を切る処置が行われてよい。ロボットアームAR及び手術器具30は、ロボット操作端末310からの指示を基に、動作してよい。ロボット手術において、エンドエフェクタEFは少なくとも2つ使用される。
また、ロボット本体320は、処理部35及び接触センサ60を有する。処理部35は、例えばプロセッサにより構成される。プロセッサが、ロボット本体320が備えるメモリに記憶されたプログラムを実行することにより、各種処理や制御を行う処理部35として機能する。
接触センサ60は、例えば、手術器具30(例えばエンドエフェクタEF)に設置されてよく、手術器具30の先端に設置されてよい。接触センサ60は、被検体PS内の軟組織への接触の有無を検出する。処理部35は、接触センサ60により検出された接触の有無の情報を含む接触検出情報を、ロボット本体320が備える通信部(有線通信部又は無線通信部)を介して、ロボット手術支援装置100に送信する。接触センサ60は、接触センサ60が(例えば手術器具30の先端が)被検体PS内の軟組織と接触した接触位置を検出してよい。接触検出情報は、この接触位置の情報を含んでよい。
また、接触センサ60は、圧力センサとしても動作してよい。つまり、接触センサ60は、接触した軟組織から受ける反力の大きさを検出してよい。接触検出情報は、接触センサ60が検出した反力の情報を含んでよい。なお、接触センサ60と圧力センサとが一体ではなく、異なるセンサとして別個に設けられてもよい。
被検体PS内の軟組織は、骨等の硬組織以外の組織であり、腸(腸壁)、筋肉、血管、等を含んでよい。軟組織は、骨等の硬組織とは異なり、動き易く、例えば手術中にも体位変換や手術器具30の接触により動き易い。また、軟組織が動くことで、軟組織の周辺の組織も影響を受ける。そのため、硬組織と比較すると、軟組織の変形に応じて位置合わせ処理することは有益である。
画像表示端末330は、モニタ、内視鏡ESによって撮像された画像を処理し、ビューワやモニタに表示させるためのコントローラ、等を有する。モニタは、例えばロボット手術の助手や看護師により確認される。
手術支援ロボット300は、術者によるロボット操作端末310のハンドコントローラやフットスイッチの操作を受け、ロボット本体320のロボットアームARやエンドエフェクタEFや内視鏡ESの動作を制御し、被検体PSに対して各種処置を行うロボット手術を行う。ロボット手術では、被検体PS内で鏡視下手術が行われてよい。
本実施形態では、手術支援ロボット300を用いて経肛門的低侵襲手術(TAMIS:Transanal Minimally Inbasive Surgery)が行われることを主に想定する。TAMISは自然開口部を用いた鏡視下手術の一種である。TAMISでは、手術器具30を被検体PSに挿入するために、被検体PSの肛門にプラットフォーム40(Transanal Access Platform)(図3参照)が設置される。TAMISでは、被検体PSが有する孔である肛門にプラットフォーム40が設置されるので、トロッカーの設置のように被検体PSの体表にポートを穿孔することが不要である。TAMISでは、プラットフォーム40を介してガスが注入されて被検体PSの肛門の周辺に存在する組織や臓器を膨らませられてよい。TAMISでは、被検体PSの体位は、例えば切石位であるが、その他の体位(例えばジャックナイフ位)であってもよい。被検体PSの肛門の周辺に存在する組織や臓器は、例えば直腸、大腸、前立腺、などが含まれてよい。プラットフォーム40は、弁を有し、被検体PS内を気密に維持する。また、気密状態を維持するために、被検体PS内に空気(例えば二酸化炭素)が継続的に導入されてよい。
プラットフォーム40には、エンドエフェクタEFが挿通される。エンドエフェクタEFの挿通時にプラットフォーム40の弁が開き、エンドエフェクタEFの脱離時にはプラットフォーム40の弁が閉じる。プラットフォーム40を経由してエンドエフェクタEFが挿入され、術式に応じて様々な処置が行われる。ロボット手術は、肛門周辺の臓器を手術対象とする以外に、その他の部位の鏡視下手術(例えば、口蓋顎手術、縦隔手術、腹腔鏡手術)に適用されてもよい。
図2は、ロボット手術支援装置100の構成例を示すブロック図である。ロボット手術支援装置100は、送受部110、UI120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。
送受部110は、通信ポート、外部装置接続ポート、組み込みデバイスへの接続ポート、等を含む。送受部110は、CT装置200、及び手術支援ロボット300からの各種データを取得する。取得された各種データは、直ぐにプロセッサ140(処理部160)に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、各種データは、記録媒体や記録メディアを介して取得されてもよい。
送受部110は、CT装置200、及び手術支援ロボット300へ各種データを送信する。送信される各種データは、プロセッサ140(処理部160)から直接送信されてもよいし、メモリ150において保管された後、必要時に各装置へ送信されてもよい。また、各種データは、記録媒体や記録メディアを介して送られてもよい。
送受部110は、CT装置200からのボリュームデータを取得してよい。また、ボリュームデータは、中間データ、圧縮データやシノグラムの形で取得されてもよい。また、ボリュームデータは、ロボット手術支援装置100に取り付けられたセンサデバイスからの情報から取得されてもよい。
送受部110は、手術支援ロボット300からの情報を取得する。手術支援ロボット300からの情報は、手術支援ロボット300のキネマティクスの情報を含んでよい。キネマティクスの情報は、例えば、手術支援ロボット300が備えるロボット手術を行うための器具(例えばロボットアームAR、エンドエフェクタEF、内視鏡ES)の形状に関する形状情報や動作に関する動作情報を含んでよい。キネマティクスの情報は、外部サーバから受信されてもよい。
この形状情報は、ロボットアームARやエンドエフェクタEFや内視鏡ESの各部位の長さ、重さ、基準方向(例えば水平面)に対するロボットアームARの角度、ロボットアームARに対するエンドエフェクタEFの取付角度、等の少なくとも一部の情報を含んでよい。
この動作情報は、ロボットアームARやエンドエフェクタEFや内視鏡ESの3次元空間における可動範囲を含んでよい。この動作情報は、ロボットアームARが動作する際のロボットアームARの位置、速度、加速度、向き、等の情報を含んでよい。この動作情報は、エンドエフェクタEFが動作する際のロボットアームARに対するエンドエフェクタEFの位置、速度、加速度、向き、等の情報を含んでよい。この動作情報は、内視鏡ESが動作する際のロボットアームARに対する内視鏡ESの位置、速度、加速度、向き、等の情報を含んでよい。
なお、キネマティクスでは、自ロボットアームによる可動範囲とともに他ロボットアームの可動範囲が規定される。したがって、手術支援ロボット300は、手術支援ロボット300の各ロボットアームARがキネマティクスに基づいて動作することで、術中に複数のロボットアームARが干渉することを回避できる。
ロボットアームARやエンドエフェクタEFや内視鏡ESには、角度センサが取り付けられてよい。この角度センサは、ロボットアームARやエンドエフェクタEFや内視鏡ESの3次元空間での向きに相当する角度を検出するロータリエンコーダを含んでよい。送受部110は、手術支援ロボット300に取り付けられた各種センサが検出した検出情報を取得してよい。この各種センサには、接触センサ60が含まれてよい。
送受部110は、ロボット操作端末310に対する操作に関する操作情報を取得してよい。この操作情報は、操作の対象(例えばロボットアームAR、エンドエフェクタEF、内視鏡ES)、操作の種類(例えば移動、回転)、操作位置、操作速度、等の情報を含んでよい。
送受部110は、手術器具30に関する手術器具情報を取得してよい。手術器具情報は、手術器具30の被検体PSへの挿入距離を含んでよい。この挿入距離は、例えば、手術器具30が挿入されるプラットフォーム40とこの手術器具30の先端位置との間の距離に相当する。例えば、手術器具30に、手術器具30の挿入距離を示す目盛りが付されていてよい。送受部110は、この目盛りを電子的に読み取り、手術器具30の挿入距離を取得してよい。この場合、例えばリニアエンコーダ(読取装置)がプラットフォーム40に取り付けられ、手術器具30にはエンコード用のマーカが付されてよい。また、送受部110は、この目盛りを術者が読んでUI120を介して挿入距離を入力することで、手術器具30の挿入距離を取得してもよい。
また、手術支援ロボット300からの情報には、内視鏡ESによる撮像に関連する情報(内視鏡情報)が含まれてよい。内視鏡情報は、内視鏡ESにより撮像された画像(実内視鏡画像)、実内視鏡画像に関する付加情報(撮像位置、撮像向き、撮像画角、撮像範囲、撮像時刻、等)が含まれてよい。
UI120は、例えば、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、ロボット手術支援装置100の術者から、任意の入力操作を受け付ける。術者は、医師、看護師、放射線技師、学生、等を含んでよい。
UI120は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における、関心領域(ROI)の指定や輝度条件(例えばWW(Window Width)やWL(Window Level))の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、臓器、器官、骨、脳)の領域を含んでよい。組織は、病変組織、正常組織、腫瘍組織、等を含んでよい。
ディスプレイ130は、例えばLCDを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、CPR画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像、MIP画像、MinIP画像、平均値画像、レイキャスト画像、等を含んでもよい。2次元画像は、アキシャル画像、サジタル画像、コロナル画像、MPR画像、等を含んでよい。
メモリ150は、各種ROMやRAMの一次記憶装置を含む。メモリ150は、HDDやSSDの二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードや光ディスクの三次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、送受部110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、各種プログラムを含んでもよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
プロセッサ140は、CPU、DSP、又はGPUを含んでよい。プロセッサ140は、メモリ150に記憶されたプログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
図3は、処理部160の機能構成例を示すブロック図である。処理部160は、領域処理部161、変形処理部162、モデル設定部163、組織推定部165、画像生成部166、及び表示制御部167を備える。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
領域処理部161は、例えば送受部110を介して、被検体PSのボリュームデータを取得する。領域処理部161は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部161は、例えばボリュームデータの画素値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部161は、例えばUI120を介して、手動で関心領域を指定し、関心領域を抽出してよい。関心領域は、臓器、骨、血管、患部(例えば病変組織や腫瘍組織)、等の領域を含んでよい。臓器は、直腸、大腸、前立腺、等を含んでよい。
また、関心領域は、単一の組織だけでなく、その組織の周囲の組織を含んでセグメンテーション(区分)されて抽出されてもよい。例えば、関心領域としての臓器が直腸の場合、直腸本体だけでなく、直腸に接続する又は直腸内若しくは直腸周辺を走行する血管、直腸周辺の骨(例えば背骨、骨盤)や筋肉を含んでもよい。また、上記の直腸本体と直腸内又は直腸周辺の血管と直腸周辺の骨や筋肉とは、別々の組織としてセグメンテーションされて得られてもよい。
モデル設定部163は、組織のモデルを設定する。モデルは関心領域とボリュームデータに基づいて設定されてよい。モデルは、ボリュームデータが表現する組織を、ボリュームデータよりも簡素化して表現するものである。したがって、モデルのデータ量は、モデルに対応するボリュームデータのデータ量よりも小さい。モデルは、例えば手術における各種処置を模した変形処理や変形操作の対象となる。モデルは、例えば簡易なボーン変形モデルでよい。この場合、モデルは簡易な有限要素において骨組みを仮定して、有限要素の頂点を移動させることで、ボーンが変形する。組織の変形は、ボーンの変形を追従することによって表現できる。モデルは、臓器(例えば直腸)を模した臓器モデルを含んでよい。モデルは、単純な形状の多角形(例えば三角形)に類似する形状を有してもよいし、その他の形状を有してもよい。モデルは、例えば、臓器を示すボリュームデータの輪郭線であってもよい。モデルは、3次元モデルであっても2次元モデルであってもよい。なお、骨についてはモデルの変形ではなく、ボリュームデータの変形で表現されてもよい。骨は変形の自由度が小さいため、ボリュームデータのアフィン変換で表現できるためである。
モデル設定部163は、ボリュームデータに基づいて、モデルを生成することで、モデルを取得してよい。また、モデルのテンプレートが複数予め決まっており、メモリ150や外部サーバに保持されていてもよい。モデル設定部163は、ボリュームデータに合わせて、予め用意された複数のモデルのテンプレートから1つのモデルのテンプレートをメモリ150や外部サーバから取得することで、モデルを取得してもよい。
モデル設定部163は、ボリュームデータに含まれる被検体PSの組織(例えば臓器)におけるターゲットTGの位置を設定してよい。または、モデル設定部163は、組織を模したモデルにおけるターゲットTGの位置を設定してよい。ターゲットTGは、任意の組織内に設定される。モデル設定部163は、UI120を介してターゲットTGの位置を指定してよい。また、過去に被検体PSに対して処置されたターゲットTG(例えば患部)の位置がメモリ150に保持されていてもよい。モデル設定部163は、メモリ150からターゲットTGの位置を取得して設定してもよい。モデル設定部163は、術式に応じてターゲットTGの位置を設定してもよい。術式は、被検体PSに対する外科手術の方式を示す。ターゲット位置は、ある程度の広さを有するターゲットTGの領域の位置であってもよい。また、ターゲットTGは、患部に到達するまでに、手術器具30により順次処置を加えられる臓器であってもよい。
なお、術式は、UI120を介して指定されてよい。術式により、ロボット手術における各処置が定まってよい。処置に応じて、処置に必要なエンドエフェクタEFが定まってよい。よって、術式に応じて、ロボットアームARに装着されるエンドエフェクタEFが定まってよく、どのロボットアームARにどの種類のエンドエフェクタEFが装着されるかが定まってよい。
変形処理部162は、手術対象の被検体PSにおける変形に関する処理を行う。例えば、被検体PS内の臓器等の組織は、手術における術者の各種処置を模して術者によって各種の変形操作がされ得る。変形操作は、臓器を持ち上げる操作、ひっくり返す操作、切る操作、等を含んでよい。これに対応して、変形処理部162は、被検体PS内の臓器等の組織に対応するモデルを変形させる。例えば、臓器がエンドエフェクタEFにより引っ張られたり押されたり、切断されたりし得るが、この様子をモデルの変形によりシミュレートしてよい。モデルが変形すると、モデルにおけるターゲットも変形し得る。モデルの変形は、モデルの移動や回転を含んでよい。
変形操作による変形は、モデルに対して行われよく、有限要素法を用いた大変形シミュレーションでよい。例えば、体位変換による臓器の移動をシミュレートしてよい。この場合、臓器や病変の接点に加わる弾性力や臓器や病変の剛性、その他の物理的な特性が加味されてよい。モデルに対する変形処理は、ボリュームデータに対する変形処理と比較すると、演算量が低減される。変形シミュレーションにおける要素数が低減されるためである。なお、モデルに対しての変形処理が行われず、ボリュームデータに対して直接、変形処理が行われてもよい。
また、変形処理部162は、例えば、変形に関する処理として、仮想的に被検体PSに対して肛門からガスを注入するガス注入シミュレーションを行ってよい。ガス注入シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献1に記載された気腹シミュレーションの方法を、肛門を介してガスを注入するガス注入シミュレーションに適用してよい。つまり、変形処理部162は、非ガス注入状態のモデル又はボリュームデータを基に、ガス注入シミュレーションを行い、仮想ガス注入状態のモデル又はボリュームデータを生成してよい。また、実際にガス注入を行った上でCT装置200により撮影されて得られたボリュームデータ又はそのモデルを用いてもよい。また、実際にガス注入を行った上でCT装置200により撮影されて得られたボリュームデータ又はそのモデルを基にガス注入量を変化させたガス注入シミュレーションを行ってもよい。ガス注入シミュレーションにより、術者は、被検体PSに対して実際にガス注入しなくても、被検体PSがガス注入された状態を仮定し、仮想的にガス注入された状態を観察できる。なお、ガス注入状態のうち、ガス注入シミュレーションにより推定されるガス注入の状態を仮想ガス注入状態と称し、実際のガス注入された状態を実ガス注入状態と称してよい。
(参考非特許文献1)Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention), 2004, P559-P567
ガス注入シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形処理部162は、領域処理部161を介して、被検体PSの皮下脂肪を含む体表と、被検体PSの肛門付近の内臓と、をセグメンテーションしてよい。そして、変形処理部162は、モデル設定部163を介して、体表を皮膚と体脂肪との2層の有限要素にモデル化し、肛門付近の内臓を有限要素にモデル化してよい。変形処理部162は、任意に、例えば直腸と骨とをセグメンテーションし、モデルに追加してよい。また、体表と肛門付近の内臓との間にガス領域を設け、仮想的なガス注入に応じてガス注入領域が拡張(膨張)してよい。なお、ガス注入シミュレーションが行われなくてもよい。
変形処理部162は、モデルの変形に基づいて、位置合わせ処理を行う。位置合わせ処理は、仮想空間における被検体のモデルと、実空間において手術支援ロボット300が認識する被検体PSの位置とを位置合わせする処理である。位置合わせ処理では、術前シミュレーションにおいて生成された被検体のモデルの各点の座標と、術中の実空間での被検体PSの各点の座標を一致させる。よって、位置合わせ処理では、被検体のモデルの形状と被検体PSの形状とを一致させる。これにより、ロボット手術支援装置100は、手術支援ロボット300が実際に認識する被検体PSの位置と被検体PSのモデルの位置とを一致させることができ、モデルを用いたシミュレーションやナビゲーションの精度を向上できる。
また、位置合わせ処理では、被検体のモデル全体に含まれる各組織と被検体PS全体に含まれる各組織とを位置合わせしてよい。また、位置合わせ処理では、被検体のモデルの一部に含まれる組織と被検体PSの一部に含まれる組織とを位置合わせしてよい。例えば、被検体のモデルにおける腸壁の位置と、実空間での被検体PS内の腸壁の位置とを、一致させることで、位置合わせしてよい。また、術者が注目する一部の組織の位置合わせができれば、他の一部の組織は位置合わせされなくてもよい。位置合わせ処理は、全体としては非剛体レジストレーションで行われる。位置合わせ処理では、非剛体レジストレーションの代わりに、モデル(例えば軟組織のモデル)の変形を独立して計算してから剛体レジストレーションを行ってもよい。非剛体レジストレーションは、モデルの変形を伴ったレジストレーションでもよい。
変形処理部162は、接触センサ60により検出された軟組織への接触位置に基づいて、被検体のモデルを変形してよい。また、接触センサ60により検出された軟組織への接触位置及び軟組織からの反力に基づいて、被検体のモデルを変形してよい。また、実内視鏡画像に基づいて、画像解析により軟組織の変形の情報を取得し、この変形の情報に基づいて被検体のモデルを変形してよい。変形対象となる被検体のモデルは、少なくとも接触対象である軟組織のモデルを含む。なお、接触センサ60による反力の検出タイミングは、例えば、接触センサ60が接触組織に接触して押し、接触位置が変化している最中又は接触位置が変化した後でよい。
被検体PSでは、被検体PSの体位変換や被検体PSに対する手術(例えば手術器具30の組織への接触)によって、実空間における被検体PSの各組織の位置が変化し得る。つまり、被検体PSの組織が変形し得る。手術器具30の組織への接触は、例えば臓器の移動操作や切開操作の際の接触を含み得る。変形処理部162は、このような実空間の組織の変形に対応して、仮想空間のモデルを変形する。
また、実内視鏡画像は、軟組織を含んでよい。実内視鏡画像は、1つ得られても複数得られてもよい。変形処理部162は、軟組織のモデルを基に、所定の断面における軟組織の画像を予測してよい。この予測された画像を予測画像とも称する。変形処理部162は、実内視鏡画像を解析して、軟組織の撮像画像と、軟組織の予測画像と、の差分を算出してよい。そして、この差分に基づいて、軟組織のモデルを変形してよい。
組織推定部165は、被検体PSにおいて接触センサ60が接触する軟組織(接触対象、接触組織とも称する)と、この軟組織の背後に位置する組織(背後組織とも称する)と、を推定する。軟組織は、例えば、腸壁である。背後組織は、例えば、軟組織、硬組織(例えば骨)、又は弾性を有する組織(例えば腱、主要な動脈(例えば大動脈、総腸骨動脈))である。組織推定部165は、接触組織へ接触した接触位置又は接触位置の変化に基づいて、背後組織の有無、背後組織の種別、背後組織の位置、等を推定する。接触組織への接触位置の変化は、接触組織の変形とも言える。なお、被検体PSにおける組織の変形は、例えば体位変換時や組織への手術器具30の接触時に発生する。
また、組織推定部165は、接触組織へ接触した接触位置と接触組織による反力とに基づいて、背後組織の有無、背後組織の種別、背後組織の位置、等を推定してもよい。また、組織推定部165は、接触組織へ接触した接触位置と接触組織による反力と実内視鏡画像に基づいて、背後組織の有無、背後組織の種別、背後組織の位置、等を推定してもよい。
画像生成部166は、各種画像を生成する。画像生成部166は、取得されたボリュームデータの少なくとも一部(例えばボリュームデータにおいて抽出された領域)に基づいて、3次元画像や2次元画像を生成する。画像生成部166は、変形処理部162により変形されたモデル等に対応するボリュームデータに基づいて、3次元画像や2次元画像を生成してよい。
表示制御部167は、各種データ、情報、画像をディスプレイ130に表示させる。表示制御部167は、画像生成部166で生成された画像(例えばレンダリング画像)を表示させる。また、表示制御部167は、レンダリング画像の輝度調整を行ってよい。輝度調整は、例えばウインドウ幅(WW:Window Width)及びウインドウレベル(WL:Window Level)の少なくとも一方の調整を含んでよい。
図4は、プラットフォーム40、手術器具30、及び被検体PSの内部の様子の一例を示す図である。
ロボット本体320のロボットアームARに取り付けられたエンドエフェクタEFは、プラットフォーム40を挿通して被検体PSの内部に挿入される。図4では、プラットフォーム40は肛門に設置されており、肛門に接続する直腸の一部に病変が存在し、処置が行われるターゲットTGとなっている。ターゲットTG付近の様子は、ロボットアームARに取り付けられた内視鏡ESにより撮像される。内視鏡ESもエンドエフェクタEFと同様に、プラットフォーム40を挿通して被検体PSの内部に挿入される。実内視鏡画像には、ターゲットTGに各種処置を行うためのエンドエフェクタEFが映り込み得る。
また、エンドエフェクタEFの先端には、接触センサ60が取り付けられている。接触センサ60は、被検体PS内の組織(例えばターゲットTG)に接触し、その接触位置や反力を検出する。ロボット本体320は、接触センサ60により検出された接触位置や反力の情報を、ロボット手術支援装置100に送信する。
なお、図4では、被検体PSを基準とした被検体座標系(患者座標系)のx方向、y方向、及びz方向が示されている。被検体座標系は、直交座標系である。x方向は、被検体PSを基準とした左右方向に沿ってよい。y方向は、被検体PSを基準とした前後方向(被検体PSの厚み方向)でよい。z方向は、被検体PSを基準とした上下方向(被検体PSの体軸方向)でよい。x方向、y方向、z方向は、DICOM(Digital Imaging and COmmunications in Medicine)で規定された3方向でよい。
図5Aは、被検体PSの体位が切石位であり、脚部31を低く上げている状態での骨盤14の状態の一例を示す図である。図5Bは、被検体PSの体位が切石位であり、脚部31を高く上げている状態での骨盤14の状態の一例を示す図である。
ボリュームデータは、例えば被検体PSが仰臥位の状態でCT装置200により撮像されて得られる。変形処理部162は、被検体PSの体位の情報を取得する。変形処理部162は、被検体PSに対する術前には、被検体PSに対して予定されている手術の術式(例えばTAMIS)に応じて、被検体の体位(例えば切石位)を決定してよい。変形処理部162は、予定されている体位変換の情報(例えば仰臥位から切石位への変換)に基づいて、仰臥位の状態で得られたボリュームデータに基づく被検体のモデルを変形し、位置合わせ処理してよい。
また、変形処理部162は、被検体PSに対する術中には、ロボット手術支援システム1に含まれる各種センサの測定値に基づいて、モデルを変形してよい。例えば、変形処理部162は、被検体PSの詳細な体位(姿勢)を、被検体PSの骨盤14の状態に基づいて推定してよい。
図5A及び図5Bでは、被検体PSが手術ベッド400に載置されている。手術ベッド400は、被検体PSの胴部が載置されるテーブル420と脚部が保持される脚保持部450とを有する。変形処理部162は、例えば、テーブル420と脚保持部450との位置関係と、被検体のモデルと、被検体PSのキネマティクスモデルと、に応じて、被検体のモデルにおける骨盤14の状態を推定する。このキネマティクスモデルは、被検体PSの例えば下肢に存在する骨の長さと、下肢に存在する関節の自由度と、の情報を有する。
なお、テーブル420と脚保持部450との位置関係は、手術ベッド400が備える各種センサの検出値に基づいて算出されてよい。各種センサは、テーブル420に対する脚保持部450の距離やテーブル420に対する脚保持部450の角度を検出するセンサを含んでよい。骨盤14の状態は、被検体のモデルにおける骨盤14の位置や向きや動きを含んでよい。位置処理部164は、骨盤14の状態に基づいて、被検体のモデルを変形してよい。
次に、術中に手術対象となるターゲットTG及びターゲットTGの背後の組織の判別例について説明する。
術中には、ターゲットTGが患部に到達するまでに手術器具30により順次処置を加えられる臓器である場合など、ターゲットTGは、前面に位置することが多く、内視鏡ESにより撮像される。そのため、術者は、ディスプレイ130や画像表示端末330を介して、ターゲットTGの様子を観察可能である。一方、ターゲットTGの背後に存在する組織は、ターゲットTGの背後に隠れてしまい、内視鏡ESによる実内視鏡画像では確認し難いことが多い。この場合、ターゲットTGが接触組織であり、ターゲットTGの背後に存在する組織が背後組織である。
図6Aは、接触センサ60が接触する腸壁16の背後に骨15が存在することの一例を示す模式図である。図6Aでは、腸壁16は接触組織の一例であり、骨は背後組織の一例である。
組織推定部165は、手術器具30が腸壁16に接触して移動した接触位置の変化量が、閾値th1と同程度(例えば閾値th1と一致)であり、接触位置の変化後の腸壁16からの反力が閾値th2以上である場合、ターゲットTGとして接触される腸壁16の背後に骨15が存在すると推定する。この推定は、腸壁16を介して骨15に手術器具30が接触しても、骨15の位置が動かないことに基づく。よって、組織推定部165は、腸壁16に近接して骨15が存在していることを推定でき、つまり背後組織の位置を推定できる。なお、組織推定部165は、反力を考慮せずに接触組織の位置の変化量のみに応じて、背後組織を推定してもよい。
閾値th1は、接触組織(ここでは腸壁16)の太さに相当する長さである。接触組織の太さの情報は、例えばモデルにおける接触組織のモデル(例えば腸壁モデル)の太さから得られて、閾値th1に設定されてよい。閾値th2は、骨15のような硬組織を検出するための閾値である。例えば腸壁16を介した骨15からの反力を予め測定しておき、この反力が閾値th2に設定されていてよい。閾値th1,th2の設定は、組織推定部165により行われてよい。
図6Bは、接触センサ60が接触する腸壁16の背後に骨15が存在しないことの一例を示す模式図である。図6Bでは、腸壁16は接触組織の一例であり、骨15は背後組織の一例である。
組織推定部165は、手術器具30が腸壁16に接触して移動した接触位置の変化量が閾値th1より大きく、接触位置の変化後の腸壁16からの反力が閾値th2未満である場合、ターゲットTGとして接触される腸壁16の背後に骨15が存在しないと推定する。この推定は、腸壁16の背後に手術器具30の動きを止める組織が存在せずに腸壁16が大きく動くことに基づく。なお、組織推定部165は、反力を考慮せずに接触組織の位置の変化量のみに応じて、背後組織を推定してもよい。
図6Cは、接触センサ60が接触する腸壁16の背後に骨15が少し離れて存在することの一例を示す模式図である。図6Cでは、腸壁16は接触組織の一例であり、骨15は背後組織の一例である。
組織推定部165は、手術器具30が腸壁16に接触して移動した接触位置の変化量が閾値th1より大きく、接触位置の変化後の腸壁16からの反力が閾値th2以上である場合、ターゲットTGとして接触される腸壁16の背後に、腸壁16から離間して骨15が存在すると推定する。この推定は、腸壁16がある程度移動可能であるが、腸壁16が骨15に到達すると動かないことに基づく。また、組織推定部165は、接触位置の変化量と腸壁16の太さ(閾値th1に相当)との差分が、腸壁16と骨15との距離であると推定してよい。なお、組織推定部165は、反力を考慮せずに接触組織の位置の変化量のみに応じて、背後組織を推定してもよい。このように、組織推定部165は、背後組織の位置を推定できる。
また、組織推定部165は、手術器具30が腸壁16に接触して移動した接触位置の変化量が、腸壁16の太さと、腸壁16と骨15との距離と、の合計に相当する長さである場合、ターゲットTGとして接触される腸壁16の背後に、腸壁16から離間して骨15が存在すると推定してもよい。腸壁16と骨15との距離の情報は、モデルにおける腸壁モデルと骨モデルとの距離から取得されてもよい。
図6A、図6B、及び図6Cの場合、手術器具30の接触により実際に腸壁16が変形しているので、変形処理部162は、接触位置の変化量に応じて、モデルにおける少なくとも腸壁モデルを変形する。また、ロボット手術支援装置100は、腸壁16の背後にあって目視できない骨15が存在することを認識できる。
図7Aは、接触センサ60が接触する腱17に、接触センサ60が接触する前の様子の一例を示す模式図である。図7Bは、接触センサ60が接触する腱17に接触センサ60が接触している様子の一例を示す模式図である。図7A及び図7Bでは、腱17は接触組織の一例である。
組織推定部165は、手術器具30が腱17に接触して移動した接触位置の変化量が、閾値th11以上であり、接触位置の変化後の腸壁16からの反力が閾値th12以上である場合、弾性を有する組織(ここでは腱17)に接触センサ60が接触したと推定する。この推定は、腱17が弾性を有し、腱17の背後に手術器具30の動きを止める組織が存在せずに腱17が大きく動くことに基づく。
閾値th11は、弾性を加味して、接触組織(ここでは腱17)の太さよりも長い長さである。したがって、閾値th11は、閾値th1より大きな値であり、接触組織が多少伸長することを想定している。閾値th12は、硬組織よりも軟らかい弾性を有する組織を検出するための閾値である。したがって、閾値th12は、閾値th2よりも小さな値である。閾値th11,th12の設定は、組織推定部165により行われてよい。
また、組織推定部165は、内視鏡ESにより撮像された実内視鏡画像を取得する。組織推定部165は、実内視鏡画像に対して画像解析し、接触センサ60が接触した組織の種別(例えば骨15、腸壁16、腱17)を判定してよい。ここでは、組織推定部165は、接触センサ60が腱17に接触したと判定する。
図7Bの場合、手術器具30の接触により実際に腱17が変形しているので、変形処理部162は、接触位置の変化量に応じて、モデルにおける少なくとも腱のモデルを変形する。このように手術器具30により腱17を押す場合、腱17は、弾性を有する組織であるので、広い範囲で変形する(変形量が大きくなる)。この場合、手術器具30を押す方向に腱17が変形するので、実内視鏡画像上ではあまり変化がないので、画像を利用した位置合わせが困難である。これに対し、ロボット手術支援装置100は、少なくとも接触位置の変化を基に、位置合わせ処理できる。なお、図7Bにおける符号「17B」は、変形前の腱を示す。
図8は、接触センサ60が接触する腸壁16の背後に主要動脈18が存在することの一例を示す模式図である。図8では、腸壁16は接触組織の一例であり、主要動脈18は背後組織の一例である。主要動脈18は、例えば大動脈、総腸骨動脈である。
組織推定部165は、手術器具30が腸壁16に接触して移動した接触位置の変化量が閾値th1以上であり、接触位置の変化後の腸壁16からの反力が閾値th12以上である場合、ターゲットTGとして接触される腸壁16の背後に主要動脈18等の弾性を有する組織が存在すると推定する。この推定は、腸壁16を介して主要動脈18に手術器具30が接触すると、主要動脈18があまり動かず、腸壁16を介して主要動脈18から反力を受け易くなることに基づく。
また、組織推定部165は、実内視鏡画像を取得してよい。組織推定部165は、実内視鏡画像に対して画像解析し、接触センサ60が接触した組織の種別(例えば骨15、腸壁16、腱17)を判定してよい。ここでは、組織推定部165は、接触センサ60が腸壁16に接触したと判定する。
図8の場合、手術器具30の接触により実際に腸壁16が変形しているので、変形処理部162は、接触位置の変化量に応じて、モデルにおける少なくとも腸壁モデルを変形する。また、主要動脈18が接触組織の背後に存在する場合に腸壁16を押すと、主要動脈18と腸壁16とが共に変形する。接触位置の変化後には、腸壁16を介して得られる背後組織としての主要動脈18からの反力が大きくなったり、実内視鏡画像において手術器具30の進行方向が実際に押した方向からずれたり、手術器具30が撓んだりすることがある。組織推定部165は、このような反力の変化や画像の変化に基づいて、背後組織が弾性を有する組織であることを認識できる。なお、図8における符号「18B」は、変形前の腸壁を示し、符号「IR」は、内視鏡ESによる撮像範囲(視野)を示す。
また、組織推定部165は、このように背後組織が弾性を有する組織である場合、主要動脈18のような術中に注意を要する危険部位が、接触組織としての軟組織の背後に隠れていることを認識できる。背後に隠れた危険部位は、実内視鏡画像内には描画されない。この場合、表示制御部167は、危険部位の存在を示す警告情報をディスプレイ130又は画像表示端末330に表示させてよい。これにより、術者や術者以外の手術に関わる者に、危険部位の存在を知らせることができる。なお、危険部位の表示は危険部位の提示の一例であり、その他の提示方法(例えば音声出力、振動)で危険部位の存在を示す警告情報が提示されてもよい。なお、どの組織が危険部位であるかの情報は、メモリ150に保持されていてよい。
図9及び図10は、ロボット手術支援装置100の動作例を示すフローチャートである。なお、図9のS11〜S13は、例えば術前に実施され、図10のS21〜S29は、例えば術中に実施される。ここでの各処理は、処理部160の各部によって実施される。ここでは、直腸の臓器モデルを用いることを説明するが、他のモデルを用いてもよい。
まず、術前には、被検体PS(例えば患者)のボリュームデータを取得する(S11)。臓器、骨、及び血管の領域を抽出するセグメンテーションを実行する(S12)。ボリュームデータに基づいて、直腸の臓器モデルを生成する(S13)。
ロボット手術が開始される際には、手術支援ロボット300や被検体PSが載置された手術ベッド400が所定の位置に配置される。術中には、手術器具30が、肛門に設置されたプラットフォーム40を介して被検体PSの内部に挿入される。
続いて、被検体PSの体位(詳細な体位)を取得する(S21)。例えば、UI120を介して術者等に指定されて被検体PSの体位を決定してもよい。また、変形可能な手術ベッド400の形態に応じて、被検体PSの体位を決定してよい。また、術式に応じて被検体PSの体位を決定してもよい。
取得された被検体PSの体位に基づいて、臓器モデルを変形して位置合わせ処理する(S22)。また、被検体PSの体位の変換を取得し、体位の変換に基づいて、臓器モデルを変形して位置合わせ処理してもよい。臓器モデルの変形により、仮想空間での直腸の臓器モデルの位置と、手術支援ロボット300が認識する実空間での直腸の位置とを一致させる位置合わせする。
術者は、手術支援ロボット300を介して手術器具30を操作し、手術器具30(例えばエンドエフェクタEFや内視鏡ES)を被検体PS内に挿入し、各種処置を行う。この際、接触センサ60が、エンドエフェクタEFが接触組織に接触したことを検出する。組織推定部165が、手術支援ロボット300から接触組織に接触したことを示す接触検出情報を取得する(S23)。接触検出情報は、接触組織に接触した接触位置の情報を含んでよい。接触検出情報は、接触組織から受けた反力の情報を含んでよい。
組織推定部165は、手術支援ロボット300から接触検出情報に含まれる接触位置及び反力の情報を取得する(S24)。また、手術支援ロボット300から実内視鏡画像を取得してもよい。
少なくとも接触位置又は接触位置の変化量と、臓器モデルと、に基づいて、臓器モデルにおける接触組織と、接触組織の背後にある背後組織と、を推定する(S25)。この場合、接触組織及び背後組織の種別(例えば直腸、骨、血管、腱)を推定する。この場合、接触位置又は接触位置の変化量と、接触組織から受けた反力と、臓器モデルと、に基づいて、臓器モデルにおける接触組織及び背後組織を推定してよい。また、接触位置又は接触位置の変化量と、接触組織から受けた反力と、実内視鏡画像と、臓器モデルと、に基づいて、臓器モデルにおける接接触組織及び背後組織を推定してよい。
なお、直腸の臓器モデルの位置と実空間における直腸の位置との差が小さい場合、臓器モデルにおける接触組織及び背後組織は、実空間における直腸の接触組織及び背後組織と同じである。一方、直腸の臓器モデルの位置と実空間における直腸の位置との差が大きい場合、臓器モデルにおける接触組織及び背後組織は、実空間における直腸の接触組織及び背後組織と異なり得る。
推定された接触組織及び背後組織(つまり推定情報)と、接触位置とに基づいて、臓器モデルを再変形することで位置合わせ処理を行う(S26)。この場合、推定された接触組織及び背後組織の領域を臓器モデルから抽出し、抽出された領域を変形することで、位置合わせ処理してよい。このように、被検体PSの体位に基づく組織の変形に対応して位置合わせ処理を行った後に、被検体PS内の何らかの組織への接触による組織の移動や変形に対応して位置合わせ処理を行ってよい。なお、被検体PSの体位に基づく位置合わせ処理が行われずに、被検体PSの組織への接触に基づく位置合わせ処理が行われてもよい。
再変形された臓器モデルにおける接触組織と背後組織とを再推定する(S27)。この場合、接触組織及び背後組織の種別(例えば直腸、骨、血管、腱)を再推定する。再推定に用いる情報は、S25における推定に用いる情報と同じでよい。S26において臓器モデルが再変形されることで、臓器モデルにおける各点の位置は変化している。一方、接触センサ60により検出された接触位置は変化しない。そのため、再推定された接触組織と背後組織とは、S25における推定とは異なる結果となり得る。
再推定された背後組織が危険部位であるか否かを判定する(S28)。危険部位の情報は、メモリ150に保持されており、適宜参照されてよい。例えば危険部位は、主要な動脈(例えば大動脈)である。
再推定された背後組織が危険部位である場合、背後組織が危険部位であることを示す警告情報を表示させる(S29)。なお、接触組織が危険部位であるか否かを判定し、接触組織が危険部位である場合、接触組織が危険部位であることを示す警告情報を表示させてもよい。
なお、術中には、S21〜S29の処理が反復されてよい。また、術中にコーンビームCTなどによって患者の撮影を行うことなどによって、S11〜S13の処理の少なくとも一部が反復されてよい。
このように、ロボット手術支援装置100は、手術器具30が軟組織に接触したことを契機として、接触位置と軟組織の変形とに基づいて、位置合わせ処理を行う。よって、ロボット手術支援装置100は、手術器具30が位置合わせのための基準となる骨等の硬組織に直接接触できなくても、腸壁等の軟組織に手術器具30が接触することで、位置合わせ処理を行うことができる。したがって、手術支援ロボット300が認識する実空間での被検体PSの位置と仮想空間での被検体のモデルとの位置が一致するので、ロボット手術支援装置100は、モデルを用いたシミュレーションやナビゲーションの精度を向上できる。また、ロボット手術支援装置100は、接触組織の背後にある背後組織の種別も判別できるので、内視鏡ESによる実内視鏡画像に背後組織が映り込んでいなくても、以下のような事象を抑制できる。具体例として、手術器具30が手前の腸壁を押し続けることで、手術器具30が腸壁を介して背後の骨に到達し、手術器具30と骨とに挟まれて手術器具30が腸壁を貫通することを抑制できる。よって、ロボット手術支援装置100は、ロボット手術における安全性に寄与する。
ここで、比較例として、軟組織ではなく硬組織の接触位置を検出し、この接触位置を基に位置合わせ処理するとする。硬組織は接触センサ60が接触しても変形しないし、例えば整形外科の手術では骨を固定するので、位置合わせ処理の後に硬組織が動くことは想定されていない。これに対し、ロボット手術支援装置100は、手術器具30が軟組織へ接触するので、術中に何度も移動、回転、変形、等することがあり得る。この場合でも、ロボット手術支援装置100は、被検体PS内の組織の変形の度に、モデルも合わせて変形させることで、被検体PSとモデルとを位置合わせできる。また、硬組織を扱う整形外科の分野では、位置合わせ精度として高い精度が要求されるが、軟組織を扱う整形外科以外の分野では、位置合わせ精度が多少低くてもよく、例えば誤差が3mm以下の誤差の範囲でよい。また、本実施形態では、手術における各種処置の対象は接触対象である軟組織でよく、骨や主要血管などの背後組織は手術対象とされなくてよい。
また、ロボット手術支援装置100は、手術器具30が軟組織に接触したときに、軟組織の変形と背後の硬組織とを加味して、位置合わせ処理を行うことができる。位置合わせ処理は、内視鏡ESを視点とした場合にその奥行方向について少なくとも実施する。なお、この奥行方向と垂直な方向(つまり実内視鏡画像の画像面に沿う方向)には、位置合わせ処理が実施されなくてもよい。これは、内視鏡ESにより撮像された実内視鏡画像を観察することで、画像における上下左右方向を確認可能であるためである。これにより、ロボット手術支援装置100は、奥行方向も十分に考慮した手術の各処置を実施を支援できる。また、内視鏡ESの表示が奥行感のある3D表示でない場合でも、奥行方向の情報が増えることで、手術の安全性が向上する。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
例えば、手術器具30による軟組織への接触を検出する接触検出部として、接触センサ60を例示したが、これに限られない。例えば、参考非特許文献1に示すような触覚フィードバックに関連する公知の接触の検出技術が用いられてよい。
(参考非特許文献1:Allison M. Okamura, “Haptic Feedback in Robot-Assisted Minimally Invasive Surgery”, [令和2年3月3日検索]インターネット<URL: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2701448/>)
また、例えば、超音波プローブにより軟組織への接触を検出してもよい。また、変形処理部162が、内視鏡ESにより撮像された実内視鏡画像に対する画像解析に基づいて、手術器具30の撓みや接触組織の変形を認識してよい。そして、手術器具30の撓みや組織の変形を基に、手術器具30の組織への接触を検出してよい。
また、手術器具30の先端位置の検出として、手術器具30の先端に設置された接触センサ60により接触位置を検出することを例示したが、これに限られない。例えば、変形処理部162は、ロボット本体320に設置された角度検出器により検出された角度情報やロボット本体320のキネマティクスの情報を取得してよい。変形処理部162は、この角度情報やロボット本体320のキネマティクスの情報に基づいて、手術器具30の先端位置を検出してよい。また、変形処理部162は、上述の手術器具30の被検体PSへの挿入距離を示す挿入距離情報に基づいて、手術器具30の先端位置を検出してよい。また、変形処理部162は、実内視鏡画像に対する画像解析に基づいて、手術器具30の先端位置と、この手術器具30の近傍にある近傍組織の変形と、を検出してもよい。この位置は、内視鏡ESの位置に対する手術器具30の先端位置であってよい。手術器具30の先端が軟組織に接触している場合、手術器具30の先端は接触位置に相当する。よって、軟組織への接触時の手術器具30の先端位置が、モデルの変形等に用いられてよい。
また、接触センサ60により反力を検出することを例示したが、これに限られない。例えば、変形処理部162は、実内視鏡画像に対する画像解析に基づいて軟組織の歪みを認識し、歪みの状態(例えば形状、サイズ)に基づいて軟組織から受ける反力を推定してもよい。
また、複数の手術器具30の少なくとも1つに接触センサ60が設置されることを例示したが、これに限られない。例えば、ロボットアームARに単なる棒が装着され、この棒の先端に接触センサ60が取り付けられてもよい。この棒は、ロボットアームARを延長するものであり、手術器具30の代わりに取り付けられてよい。
また、接触センサ60がプラットフォーム40を経由して被検体PS内の軟組織と接触することを例示したが、これに限られない。例えば、接触センサ60が被検体PSの体表と直接接触してもよい。
また、内視鏡ESは、硬性内視鏡に限らず、軟性内視鏡であってもよい。
上記実施形態は、TAMISに適用可能であるが、その他の術式に適用されてもよく、例えば、経肛門的全直腸間膜切除術(TaTME:Transanal Total Mesorectal Excision)に適用されてもよい。また、単孔式腹腔鏡下手術に適用されてもよい。
また、術者の操作に基づくロボット手術だけでなく、ARS(Autonomous robotic Surgery)やSemi−ARSに用いることができる。ARSは、AI搭載の手術支援ロボットによりロボット手術を全自動で行うものである。Semi−ARSは、AI搭載の手術支援ロボットにより基本的にロボット手術を自動で行い、一部を術者による操作で行うものである。
また、ロボット手術による鏡視下手術を例示したが、術者が手術器具30を直接操作して行う手術であってもよい。この場合、ロボット本体320は術者でよく、ロボットアームARは術者の腕でよく、手術器具30は術者が把持して処置に用いる鉗子類及び内視鏡であってよい。
また、ロボット手術による鏡視下手術を例示したが、術者による直接の目視によって行うロボット手術であってもよい。また、患者に挿入しないカメラを用いたロボット手術であってもよい。この場合、ロボットは術者が操作しても、助手が操作してもよい。
また、術前シミュレーションと術中ナビゲーションは、別個のロボット手術支援装置で構成されてもよい。例えば、術前シミュレーションはシミュレータで行われてよく、術中ナビゲーションはナビゲータで行われてよい。
また、ロボット手術支援装置100は、少なくともプロセッサ140及びメモリ150を備えていればよい。送受部110、UI120、及びディスプレイ130は、ロボット手術支援装置100に対して外付けであってもよい。
また、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ(例えば画像データサーバ(PACS)(不図示))等へ送信され、保管されてもよい。この場合、必要時にロボット手術支援装置100の送受部110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
また、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送受部110を経由して送信されることを例示した。これは、実質的にCT装置200とロボット手術支援装置100とを併せて一製品として成立している場合も含まれるものとする。また、ロボット手術支援装置100がCT装置200のコンソールとして扱われている場合も含む。また、ロボット手術支援装置100が、手術支援ロボット300に設けられてもよい。
また、CT装置200により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
また、ロボット手術支援装置100における動作が規定されたロボット手術支援方法として表現可能である。また、コンピュータにロボット手術支援方法の各ステップを実行させるためのプログラムとして表現可能である。
(上記実施形態の概要)
上記実施形態の一態様は、手術支援ロボット300によるロボット手術を支援するロボット手術支援装置100であって、処理部160を備える。処理部160は、被検体PSの3Dデータ(例えばモデル、ボリュームデータ)を取得し、手術支援ロボット300が備える手術器具30が被検体PSの軟組織に接触した接触位置を取得し、被検体PSの軟組織の接触位置の固さ(例えば反力)を取得し、接触位置及び固さに基づいて、3Dデータにおける軟組織の変形を伴って、3Dデータの位置と手術支援ロボット300が認識する被検体PSの位置との位置合わせを行う機能を有する。
これにより、ロボット手術支援装置100は、位置合わせの基準となり易い硬組織が背後組織となり、実内視鏡画像によって硬組織が確認できず、硬組織に直接接触できない場合でも、接触組織としての軟組織への接触結果に基づいて、実空間の被検体PSと仮想空間において被検体PSに対応する3Dデータとを位置合わせできる。よって、ロボット手術支援装置100は、軟組織のように被検体PS内で動きやすい組織であっても、組織の変形を3Dデータに反映することで、容易に位置合わせできる。このように、変形が生じ易い軟組織を加味して、被検体PSの実際の位置と被検体の3Dデータの位置とを容易に位置合わせできる。よって、触覚に乏しいロボット手術支援装置100であっても、術者は軟組織の背後にある組織を把握出来る。
また、処理部160は、被検体PSの内部を撮像する内視鏡により撮像された、軟組織を含む少なくとも1つの実内視鏡画像(撮像画像の一例)を取得し、実内視鏡画像を解析して、取得された3Dデータにおける軟組織を基に予測される軟組織の予測画像と、前記軟組織の撮像画像との差分を算出し、差分に基づいて、3Dデータにおける軟組織を変形し、3Dデータにおける軟組織の変形に基づいて、位置合わせを行ってよい。これにより、ロボット手術支援装置100は、画像解析等により実内視鏡画像から把握可能な事象(例えば手術器具30の進行方向や撓み)を加味して、位置合わせできる。
また、処理部160は、接触位置及び固さに基づいて、手術器具30を視点として手術器具30が接触した軟組織の背後に骨が存在するかを推定してよい。これにより、ロボット手術支援装置100は、軟組織への接触結果に基づいて、背後組織として骨の存否を認識できる。よって、例えば、ロボット手術支援装置100は、手術支援ロボット300に対して、軟組織へ接触する力を小さくするよう指示したり、骨の存在に基づく軟組織へ接触する力の上限値を指示したりでき、ロボット手術の安全性を向上できる。
また、処理部160は、接触位置と固さに基づいて、弾性を有する組織に接触したかを推定してよい。これにより、ロボット手術支援装置100は、接触組織への接触結果に基づいて、接触組織としての弾性を有する組織の存在を認識できる。よって、例えば、ロボット手術支援装置100は、手術支援ロボット300に対して、弾性を有する組織へ接触する力を小さくするよう指示したり、弾性を有する組織へ接触する力の上限値を指示したりでき、ロボット手術の安全性を向上できる。
また、処理部160は、接触位置と固さに基づいて、手術器具30を視点として手術器具30が接触した軟組織の背後に弾性を有する組織が存在するか否かを推定してよい。これにより、ロボット手術支援装置100は、軟組織への接触結果に基づいて、背後組織として弾性を有する組織の存否を認識できる。よって、例えば、ロボット手術支援装置100は、手術支援ロボット300に対して、軟組織へ接触する力を小さくするよう指示したり、弾性を有する組織の存在に基づく軟組織へ接触する力の上限値を指示したりでき、ロボット手術の安全性を向上できる。
また、処理部160は、接触位置と固さに基づいて、手術器具30を視点として手術器具30が接触した軟組織の背後に危険部位が存在するか否かを判定してよい。処理部160は、危険部位が存在すると判定された場合、危険部位が存在することを示す警告情報を提示させてよい。これにより、術者は、警告情報の提示を確認することで、背後組織として危険部位が存在することを確認できる。よって、術者は、例えばロボット操作端末310を操作する際に、手術器具30を接触組織周辺に近づける際には細心の注意を払うことができる。
また、上記実施形態の一態様は、手術支援ロボット300であって、ロボットアームARと、ロボットアームARに取り付けられる手術器具30と、処理部35と、を備える。処理部35は、手術器具30が被検体PSの軟組織に接触した接触位置を取得し、被検体PSの軟組織の接触位置の固さを取得し、手術支援ロボット300によるロボット手術を支援するためのロボット手術支援装置100に、接触位置及び固さの情報を送信する。
これにより、手術支援ロボット300は、軟組織における接触位置及び軟組織が受ける固さの情報を取得できるので、ロボット手術支援装置100による、実空間の被検体PSと仮想空間において被検体PSに対応する3Dデータとを位置合わせを補助できる。
上記実施形態の一態様は、手術支援ロボット300による鏡視下手術を支援するロボット手術支援方法であって、被検体PSの3Dデータを取得し、手術支援ロボット300が備える手術器具30が被検体PSの軟組織に接触した接触位置を取得し、被検体PSの軟組織の接触位置の固さを取得し、接触位置及び固さに基づいて、3Dデータにおける軟組織の変形を伴って、3Dデータの位置と手術支援ロボット300が認識する被検体PSの位置との位置合わせを行う、ロボット手術支援方法である。
本実施形態の一態様は、上記のロボット手術支援方法をコンピュータに実行させるためのプログラムである。
本開示は、変形が生じ易い軟組織を加味して、被検体の実際の位置と被検体のモデルの位置とを容易に位置合わせできるロボット手術支援装置、手術支援ロボット、手術支援ロボット、ロボット手術支援方法、及びプログラム等に有用である。
1 ロボット手術支援システム
14 骨盤
15 骨
16 腸壁
17 腱
17B 変形前の腱
18 主要動脈
18B 変形前の主要動脈
30 手術器具
35 処理部
40 プラットフォーム
60 接触センサ
100 ロボット手術支援装置
110 送受部
120 UI
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域処理部
162 変形処理部
163 モデル設定部
165 組織推定部
166 画像生成部
167 表示制御部
200 CT装置
300 手術支援ロボット
310 ロボット操作端末
320 ロボット本体
330 画像表示端末
400 手術ベッド
420 テーブル
450 脚保持部
EF エンドエフェクタ
ES 内視鏡
PS 被検体
TG ターゲット

Claims (11)

  1. 手術支援ロボットによるロボット手術を支援するロボット手術支援装置であって、
    処理部を備え、
    前記処理部は、
    被検体の3Dデータを取得し、
    前記手術支援ロボットが備える手術器具が前記被検体の軟組織に接触した接触位置を取得し、
    前記被検体の軟組織の前記接触位置の固さを取得し、
    前記接触位置及び前記固さに基づいて、前記3Dデータにおける軟組織の変形を伴って、前記3Dデータの位置と前記手術支援ロボット300が認識する前記被検体の位置との位置合わせを行う機能を有する、
    ロボット手術支援装置。
  2. 前記処理部は、
    前記被検体の内部を撮像する内視鏡により撮像された、軟組織を含む少なくとも1つの撮像画像を取得し、
    前記撮像画像を解析して、取得された前記3Dデータにおける軟組織を基に予測される軟組織の予測画像と、前記軟組織の撮像画像との差分を算出し、
    前記差分に基づいて、前記3Dデータにおける前記軟組織を変形し、
    前記3Dデータにおける前記軟組織の変形に基づいて、前記位置合わせを行う、
    請求項1に記載のロボット手術支援装置。
  3. 前記処理部は、前記接触位置及び前記固さに基づいて、前記手術器具が接触した前記軟組織の背後に骨が存在するかを推定する、
    請求項1又は2に記載のロボット手術支援装置。
  4. 前記処理部は、前記接触位置と前記固さに基づいて、前記手術器具が弾性を有する組織に接触したかを推定する、
    請求項1又は2に記載のロボット手術支援装置。
  5. 前記処理部は、前記接触位置と前記固さに基づいて、前記手術器具を視点として前記手術器具が接触した前記軟組織の背後に弾性を有する組織が存在するか否かを判定する、
    請求項1又は2に記載のロボット手術支援装置。
  6. 前記弾性を有する組織は、血管である、
    請求項4又は5に記載のロボット手術支援装置。
  7. 前記処理部は、
    前記接触位置と前記固さに基づいて、前記手術器具を視点として前記手術器具が接触した前記軟組織の背後に危険部位が存在するか否かを判定し、
    前記危険部位が存在すると判定された場合、前記危険部位が存在することを示す警告情報を提示させる、
    請求項1〜6のいずれか1項に記載のロボット手術支援装置。
  8. 前記ロボット手術は、鏡視下手術である、
    請求項1〜7のいずれか1項に記載のロボット手術支援装置。
  9. 手術を支援する手術支援ロボットであって、
    ロボットアームと、
    前記ロボットアームに取り付けられる手術器具と、
    処理部と、を備え、
    前記処理部は、
    前記手術器具が被検体の軟組織に接触した接触位置を取得し、
    前記被検体の軟組織の前記接触位置の固さを取得し、
    前記手術支援ロボットによるロボット手術を支援するためのロボット手術支援装置に、前記接触位置及び前記固さの情報を送信する、
    手術支援ロボット。
  10. 手術支援ロボットによる鏡視下手術を支援するロボット手術支援方法であって、
    被検体の3Dデータを取得し、
    前記手術支援ロボットが備える手術器具が前記被検体の軟組織に接触した接触位置を取得し、
    前記被検体の軟組織の前記接触位置の固さを取得し、
    前記接触位置及び前記固さに基づいて、前記3Dデータにおける軟組織の変形を伴って、前記3Dデータの位置と前記手術支援ロボット300が認識する前記被検体の位置との位置合わせを行う、
    ロボット手術支援方法。
  11. 請求項10に記載のロボット手術支援方法をコンピュータに実行させるためのプログラム。
JP2020055966A 2020-03-26 2020-03-26 ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム Pending JP2021153773A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020055966A JP2021153773A (ja) 2020-03-26 2020-03-26 ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム
US17/211,966 US20210298848A1 (en) 2020-03-26 2021-03-25 Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020055966A JP2021153773A (ja) 2020-03-26 2020-03-26 ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2021153773A true JP2021153773A (ja) 2021-10-07

Family

ID=77855062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020055966A Pending JP2021153773A (ja) 2020-03-26 2020-03-26 ロボット手術支援装置、手術支援ロボット、ロボット手術支援方法、及びプログラム

Country Status (2)

Country Link
US (1) US20210298848A1 (ja)
JP (1) JP2021153773A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114848150A (zh) * 2022-05-05 2022-08-05 南开大学 一种模块化气动软体穿刺手术机器人
WO2024072689A1 (en) * 2022-09-26 2024-04-04 Intuitive Surgical Operations, Inc. Systems and methods for determining a force applied to an anatomical object within a subject based on a deformable three-dimensional model

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11406278B2 (en) * 2011-02-24 2022-08-09 Koninklijke Philips N.V. Non-rigid-body morphing of vessel image using intravascular device shape
US9547940B1 (en) * 2014-09-12 2017-01-17 University Of South Florida Systems and methods for providing augmented reality in minimally invasive surgery
WO2016182550A1 (en) * 2015-05-11 2016-11-17 Siemens Aktiengesellschaft Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
EP3360502A3 (en) * 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems

Also Published As

Publication number Publication date
US20210298848A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US11483532B2 (en) Augmented reality guidance system for spinal surgery using inertial measurement units
JP7277967B2 (ja) 超音波画像データの三次元撮像およびモデリング
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
US20130189663A1 (en) Medical training systems and methods
US20200113636A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
TWI711428B (zh) 用於醫療用具的光學追蹤系統及訓練系統
US20210298848A1 (en) Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system
US20210259776A1 (en) Hybrid simulation model for simulating medical procedures
Lamata et al. Augmented reality for minimally invasive surgery: overview and some recent advances
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
TWI707660B (zh) 手術用穿戴式影像顯示裝置及手術資訊即時呈現系統
US20210298981A1 (en) Surgical bed, endoscopic surgical device, endoscopic surgical method, and system
US11660158B2 (en) Enhanced haptic feedback system
US11779412B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
JP7414611B2 (ja) ロボット手術支援装置、処理方法、及びプログラム
JP2011131020A (ja) トロカーポート位置決定シミュレーション方法及びその装置
JP7182127B2 (ja) ロボット手術支援装置、情報出力方法、及びプログラム
Abolmaesumi et al. A haptic-based system for medical image examination
Jiang et al. Wearable Mechatronic Ultrasound-Integrated AR Navigation System for Lumbar Puncture Guidance
JP7355514B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2020210972A1 (zh) 手术用穿戴式影像显示装置及手术资讯即时呈现系统
JP2021045341A (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
US20200320900A1 (en) Systems and methods for simulating surgical procedures
Singla Intra-operative ultrasound-based augmented reality for laparoscopic surgical guidance
Mohareri Image and haptic guidance for robot-assisted laparoscopic surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325