JP2013509902A - 距離センサを使用した衝突の回避と探知 - Google Patents

距離センサを使用した衝突の回避と探知 Download PDF

Info

Publication number
JP2013509902A
JP2013509902A JP2012535970A JP2012535970A JP2013509902A JP 2013509902 A JP2013509902 A JP 2013509902A JP 2012535970 A JP2012535970 A JP 2012535970A JP 2012535970 A JP2012535970 A JP 2012535970A JP 2013509902 A JP2013509902 A JP 2013509902A
Authority
JP
Japan
Prior art keywords
endoscope
image
monocular
distance
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012535970A
Other languages
English (en)
Inventor
ポポヴィッチ,アレクサンドラ
クレー,マライケ
マルセリス,バウト
ヘース,クリスティアニュス マルティニュス ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013509902A publication Critical patent/JP2013509902A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/579Depth or shape recovery from multiple images from motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/062Measuring instruments not otherwise provided for penetration depth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08Accessories or related features not otherwise provided for
    • A61B2090/0801Prevention of accidental cutting or pricking
    • A61B2090/08021Prevention of accidental cutting or pricking of the patient or his organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50Supports for surgical instruments, e.g. articulated arms
    • A61B2090/506Supports for surgical instruments, e.g. articulated arms using a parallelogram linkage, e.g. panthograph
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本内視鏡に係る方法は、体の解剖学的領域における対象位置へと、内視鏡ロボットによる操作で、内視鏡を進めること、及び、内視鏡が、内視鏡ロボットによって対象位置へと進められるにつれて、その解剖学的領域の複数の単眼の内視鏡イメージを生成すること、を含む。単眼の内視鏡イメージにおいて、内視鏡と対象物との衝突を回避するため、または、探知するために、本方法は、更に、内視鏡が、内視鏡ロボットによって対象位置へと進められるにつれて、対象物からの内視鏡の距離測定値を生成すること、及び、その距離測定値に応じて、単眼の内視鏡イメージにおいて、対象物の表面の三次元イメージを再構築すること、を含む。

Description

本発明は、内視鏡ロボットにより操作される内視鏡を必要とした、最小限の切開を伴う外科手術に関する。詳細には、本発明は、距離センサを使用する内視鏡と体の解剖学的領域における対象物との衝突を回避し、探知すること、及び、内視鏡による表面イメージの再構築に関するものである。
一般的に、最小限の切開を伴う外科手術は内視鏡を利用する。内視鏡は、イメージ処理機能を持った、長くて、しなやかな、又は、固い管である。内視鏡は、自然の開口部、又は、小さな切り口を通じて体の中に挿入することにより、興味部位のイメージを提供する。そのイメージは、外科医が手術を行う際に、アイピースを通して、又は、スクリーン上で見ることができる。外科医にとっては、そのイメージにおける対象物との距離情報が不可欠である。これにより、外科医は、対象物を回避しながら、内視鏡を進めることができる。しかしながら、内視鏡イメージのフレームは二次元であるため、外科医は、そのイメージのスクリーンショットにおいて観察される対象物の深さを認識することができないかもしれない。
より詳細には、心臓病外科の内視鏡手術、腹部の腹腔鏡手術、背骨の内視鏡手術、そして、(例えば、膝)関節の関節鏡手術、これらに限定されるわけではないが、といった最小限の切開を伴う主要な手術の際中には、ビジュアルフィードバックを提供するために、硬い内視鏡が使用される。そのような手術の際中に、外科医は、アクティブ内視鏡ロボットを使用して、自律的に又は外科医の命令によって、内視鏡を移動することができる。どちらの場合においても、内視鏡ロボットは、内視鏡と患者の体内の興味部位の中にある重要な対象物との衝突を回避することができなければならない。そのような衝突を回避することは、リアルタイムに手術部位が変わるような手術(例えば、ACL関節鏡手術の際に、痛めた靭帯を除去したり、半月板を修復したり、そして/又は、チャネルに穴を開けるために、膝の内部がリアルタイムに変化すること)、そして/又は、手術前のイメージにおけるよりも、手術の際に患者の体の位置が変わる手術(例えば、手術前のコンピュータ断層写真では真っ直ぐだった膝が、手術の際には折り曲げられていること)、にとっては難しいかもしれない。
本発明は、内視鏡と対象物とのいかなる衝突をも回避し、探知する目的で、単眼の内視鏡イメージからの内視鏡ビデオフレームと、単眼の内視鏡イメージにおける対象物との距離測定値(distance measurements)を利用して、内視鏡により観察される対象物の表面の三次元イメージ(3D imade)を再構築するテクニックを提供する。
本発明の第一の形態は、内視鏡と内視鏡ロボットを有する内視鏡コントロール装置を使用した内視鏡システムである。手術中においては、内視鏡ロボットにより、内視鏡が解剖学的領域において対象位置へと進められるにつれて、内視鏡は、体の解剖学的領域の複数の単眼の内視鏡イメージを生成する。加えて、内視鏡は、内視鏡ロボットにより、内視鏡が解剖学的領域において対象位置へと進められるにつれて、単眼の内視鏡イメージにおける対象物からの内視鏡の位置測定値を生成するような、一つ以上の距離センサを有する(例えば、膝の単眼の内視鏡イメージにおける靭帯までの距離である)。内視鏡と対象物との衝突を回避し又は探知するために、内視鏡コントロール装置は、単眼の内視鏡イメージと距離測定値を受け取り、距離測定値に応じて、単眼の内視鏡イメージにおける対象物の表面の三次元イメージを再構築する。
本発明の第二の形態は、内視鏡を、内視鏡ロボットにより、体の解剖学的領域において、対象位置まで進めること、及び、内視鏡が、内視鏡ロボットにより、体の解剖学的領域において、対象位置まで進められるにつれて、複数の解剖学的領域の単眼の内視鏡イメージを生成すること、を伴う内視鏡に係る方法である。内視鏡が、単眼の内視鏡イメージにおいて(例えば、膝の単眼の内視鏡イメージにおける靭帯)、対象物と衝突することを回避する又は探知するためには、当該方法は、更に、内視鏡が、内視鏡ロボットにより、体の解剖学的領域において、対象位置まで進められるにつれて、その対象物からの内視鏡の距離測定値を生成すること、及び、距離測定値に応じて、単眼の内視鏡イメージにおける対象物の表面の三次元イメージを再構築すること、を伴う。
本発明に従って、内視鏡システムの典型的な実施例を示している。 本発明に従って、内視鏡の末端についての、第一の典型的な実施例を示している。 本発明に従って、内視鏡の末端についての、第二の典型的な実施例を示している。 本発明に従って、衝突を回避/探知する方法の典型的な実施例について、代表的なフローチャートを示している。 本発明に従って、関節鏡検査手術の、代表的な図を示している。 図5に示された関節鏡検査手術の際の、図4に示されたフローチャートの、典型的な適用例を示している。 本発明に従って、対象物探知について、典型的な実施例の、代表的なフローチャートを示している。 本発明に従って、二つの合成した膝のイメージについて、典型的な立体マッティング(stereo matching)を示している。
図1に示すように、本発明に係る内視鏡システム10は、いかなるタイプの医療行為にも適用可能なように、内視鏡20と内視鏡コントロール装置30を有している。そのような医療行為の例としては、これらに限定されるわけではないが、最小限の切開を伴う心臓手術(例えば、冠状動脈バイパス移植、または、僧帽弁交換)、最小限の切開を伴う腹部手術(腹腔鏡検査)(例えば、前立腺摘除、または、胆嚢摘除)、そして、自然開口部越経管腔的内視鏡手術、といったものがある。
内視鏡20は、ここにおいては、イメージングデバイス21(例えば、光ファイバー、レンズ、イメージシステムベースの小型CCD、等)を介して、体の(例えば、人間、または、動物)解剖学的領域のイメージを取り込むように構成された、あらゆる機器であるとして定義される。内視鏡20の例としては、これらに限定されるわけではないが、あらゆるタイプのイメージングスコープ(例えば、気管支スコープ、大腸内視鏡、腹腔鏡、関節鏡、等)、イメージシステムを備えたスコープに似たあらゆる機器(例えば、イメージカニューレ)、といったものがある。
内視鏡20は、更に、その末端に、個々のエレメント、または、アレイ(array)として、一つ以上の距離センサを備えている。一つの典型的な実施例においては、距離センサ22は、超音波振動子エレメント、または、アレイであり得る。超音波振動子エレメント、または、アレイは、超音波信号を発信及び受信することにより、対象物(例えば、膝の内部にある骨)との距離を表わす超音波信号の飛行時間(time of flight)情報を有している。超音波振動子エレメント/アレイは、薄膜のマイクロマシン製(例として、圧電薄膜、または、容量性マイクロマシン製の)トランスデューサであり得るし、それらは使い捨てでもあり得る。特に、容量性マイクロマシン製超音波振動子アレイは、飛行時間法距離測定についてAC特性を有しており、アレイの薄膜の対象物により及ぼされる、あらゆる圧力の直接測定についてDC特性を有している。
実際には、距離センサ22は、イメージングデバイス21に相対するように内視鏡20の末端に配置されており、対象物と内視鏡20との衝突の回避と探知を促進する。図2に示すように、一つの典型的な実施例においては、距離センサは、超音波振動子アレイ42の形態であり、超音波振動子アレイ43は、内視鏡シャフト40の末端の円周表面と正面に沿って、それぞれ、配置されており、内視鏡シャフトの末端には、イメージングデバイス41がある。この実施例においては、アレイ42と43は、内視鏡シャフト40の有効距離付近をセンスする。1Dまたは2Dの超音波振動子アレイを利用することにより、超音波信号を送信または受信するために、+/−45度の角度で超音波ビームのステアリング(steering)をすることができ、それにより、超音波センサの直線上の位置にある対象物も、その角度以下の位置にある対象物も同様に探知され、こうした対象物との衝突が回避され得る。
図3に示すように、別の典型的な実施例においては、距離センサは、単一の超音波線形エレメント52の形態で、内視鏡シャフト50の末端上で、イメージングデバイス51を取り囲んでいる。代替的には、超音波線形エレメント52は、ビーム形成とビームステアリングのためのフェイズアレイとして役に立つ、いくつかのエレメントにより構成され得る。
再び図1を参照すると、装置30における内視鏡ロボット31は、ここにおいては、最小限の切開を伴う手術の際に内視鏡20を巧みに操る目的で、モーター信号を内視鏡ロボット31に提供するように構成された、あらゆるコントローラーであるとして広く定義される。そして、装置30におけるロボットコントローラー32は、ここにおいては、最小限の切開を伴う手術の際に内視鏡20を巧みに操る目的で、モーター信号を内視鏡ロボット31に提供するように構成された、あらゆるコントローラーであるとして広く定義される。典型的には、ロボットコントローラー32への入力デバイス33は、これらに限定されるわけではないが、2D/3Dマウスとジョイスティックを有している。
装置30における衝突回避/探知装置34は、ここにおいては、手術中の外科医、または、内視鏡ロボットに対して、イメージングデバイス21と距離センサ22を組み合わせて使用し、体の解剖学的領域における、内視鏡20と対象物との衝突をリアルタイムで回避し/探知できるようにするよう構成された、あらゆる装置であるとして広く定義される。実際には、衝突回避/探知装置34は、上記に示されたように、独立してロボットコントローラー32を操作し得るか、または、ロボットコントローラー32の内部に組み込まれ得る。
図4に示すフローチャート60は、衝突回避/探知装置34により実行されるように、本発明の衝突回避/探知方法について表わしている。この方法では、初めに衝突回避/探知装置34は、イメージングデバイス21から、体の解剖学的領域における対象物の単眼の内視鏡イメージを獲得するよう、ステージS61を実行する。そして、内視鏡ロボット31により体の解剖学的領域において内視鏡20が対象位置へと進められる間に、距離センサ22から、内視鏡20の対象物からの距離測定値を受け取るよう、ステージS62を実行する。衝突回避/探知装置34は、イメージ獲得と距離測定から、フローチャート60のステージS63に進み、対象物を探知する。それにより、内視鏡20と対象物とのいかなる衝突をも回避し、または、探知するように、外科医がマニュアルで内視鏡ロボット31を操作し得る、または、内視鏡ロボット31が自動的に操作され得る。対象物の探査は、内視鏡20により観察された対象物の表面を3Dで再構築することを含む。3Dの再構築は、内視鏡と対象物のいかなる衝突も回避し探知するための、これらに限定されるわけではないが、対象物の3D形状や対象物の表面のあらゆるポイントの深さ、といった重要な情報を提供する。
フローチャート60の理解を促進するために、ステージS61からS63を、図5と図6に示された関節鏡外科手術70に関連して、より詳細に記述する。詳細には、図5は、膝71の、膝蓋骨72、靭帯73、および、損傷した軟骨74を示している。洗浄器具75、切り取り器具76、イメージングデバイス(図示なし)の形態でのイメージングデバイスを有する内視鏡77、そして、超音波振動子アレイ(図示なし)の形態での距離センサ、が、損傷した軟骨74を治療する目的で使用される。膝71における超音波振動子アレイの相対位置を決定するための、超音波振動子78aから78dもまた、示されている。
図6は、内視鏡ロボット31aによる内視鏡77のコントロールを示している。
図4は、イメージ獲得ステージS61には、内視鏡77に係るイメージングデバイスが含まれることを示している。イメージングデバイスは、ロボットコントローラー32により操作されるように、内視鏡ロボット31aにより、膝71の内部において、内視鏡77が対象位置まで進められるにつれて、二次元イメージの時間的なシーケンス80(図6)を衝突回避/探知装置34に提供する。代替的には、内視鏡77の超音波振動子アレイが、二次元イメージの時間的なシーケンス90を提供するように、利用され得る。
ステージS62の距離測定には、内視鏡77に係る超音波振動子アレイが含まれる。超音波振動子アレイは、膝71の内部で超音波信号を発信及び受信することにより、対象物との距離を表わし、衝突回避/探知装置34に距離測定信号81(図6)を提供する、超音波信号の飛行時間(time of flight)情報を有している。一つの実施例においては、距離測定信号は、対象物の飛行時間法距離測定についてAC信号成分を有し得る、そして、超音波振動子アレイの薄膜の対象物により及ぼされる、あらゆる圧力の直接測定についてDC信号成分を有し得る。
ステージS63の対象物深さ見積りは、衝突回避/探知装置34を有する。衝突回避/探知装置は、イメージの時間的なシーケンス80と距離測定信号81を組み合わせて使用することで、ロボットコントローラー32にコントロール信号82を提供し、そして/または、衝突の場合に、外科医、または内視鏡ロボット31が、対象物を回避し、または、巧みに操縦して対象物から離れることができるように、必要に応じて、画面イメージデータ83をモニター35に提供する。イメージデータ83の画面は、更に、外科医が、手術中の必要の必要な判断を行うことを容易にするような情報を提供する。特には、対象物の3D形状や、対象物の表面のあらゆるポイントの深さ、である。
図7に示すフローチャート110は、ステージS63(図4)の典型的な実施例を表わしている。詳細には、エピポーラ幾何学(epipolar geometry)に基づいた複合的ステレオマッチングアルゴリズム(multiple stereo matching algorithm)を実行することにより、装置34による対象物の探知が達成される。
最初に、内視鏡77を膝71に挿入するに先立って、フローチャート110のステージS111において、イメージングデバイスの校正(calibration)が行われる。ステージS111の一つの実施例においては、イメージングデバイス固有のパラメータ(例えば、焦点やレンズの歪み係数)を3x3のイメージングデバイス固有行列(K)の形式で得るために、規格化されたチェッカーボンド法(checkerbond method)が使用され得る。
2番目には、膝71の内部で内視鏡77が対象位置まで進んでいくにつれて、フローチャート110のステージ112において、異なる時間に撮影された同じシーンの2以上のイメージから、対象物の3D表面の再構築が行われる。詳細には、内視鏡71の動きは内視鏡ロボット31のコントロールから知られ、そして、二つのそれぞれのイメージングデバイスの位置の間の相対回転(3x3 行列R)と変換(3x1 ベクトルt)も知られる。イメージングデバイスの固有パラメータと非本質的なパラメータの両方からなる、集合(K、R、t)を知ることで、二つのイメージから3D深さマップを構築するように、イメージ修正が実行される。このプロセスにおいて、(K、R、t)イメージは、鉛直方向の成分が揃うように歪まされる。この修正プロセスにより、3x3の歪み行列と、4x3のずれ深さマッピング行列(disparity−to−depth mapping matrix)を結果として得る。
次には、従来技術として知られているように、ポイント対応(point correspondences)を使用して、ステージ112において、二つのイメージ間のオプティカルフロー(optical flow)が計算される。詳細には、それぞれの2Dポイント(x、y)におけるオプティカルフロー(u、v)が、二つのイメージ間のポイント移動(point movement)を表わす。なぜなら、イメージは修正され(例えば、平行になるように歪まされる)、そして、v=0になるからである。最終的には、オプティカルフローから、すべてのイメージエレメントにおけるずれマップ(disparity map)は、u(x1−x2)になる。4x3のずれ深さマッピング行列を使用して、ずれマップを再度投影することにより、イメージングデバイスのレンズ正面の対象物の3D形状が結果として得られる。図8は、イメージの時間的なシーケンス80からの典型的な3D表面再構築100を示している。
レンズと他の構造物との間の距離を探知することは可能である。しかしながら、イメージの時間的なシーケンス80において測定不能な欠陥が存在し、離散化エラーが存在する場合には、必要に応じて、3D表面再構築を訂正するように、フローチャート110のステージS113が実行される。その修正は、N個(一個、または、それ以上)の距離センサにより測定された深さdsi 、i=1,…,N と、N個の再構築されたイメージから測定された深さdii 、i=1,…,N を比較することから始まる。これらの距離は同一であるべきである、しかしながら、測定ノイズのために、N個の測定場所は、それぞれ、ノイズに関連した誤差を有することになる:ei=|dsi -dii| 、i=1,…,N
距離センサ22を使用した直接測定は、イメージを元にした方法よりも、きわめて、より正確である。従って、精度を改善するためには、再構築された表面を弾性的に歪ませるように(elastic warping)、集合 ei が使用される。
本発明の、典型的な発明の見地、特徴、そして、実施に関して述べられてきたが、開示されたシステムや方法は、このような典型的な発明の見地、特徴、そして/または、実施に限定されるものではない。むしろ、当業者にとっては、ここで述べられた説明から明らかなように、開示されたスステムや方法は、本発明の精神、または、範囲から逸脱することなく、変更、代替、そして、拡張することができる。従って、本発明は、そのような変更、代替、そして、拡張を、明らかに包含するものである。

Claims (20)

  1. 内視鏡システムであって:
    内視鏡が解剖学的領域における対象位置へと進められるにつれて、複数の前記解剖学的領域の単眼の内視鏡イメージを生成する内視鏡であり、
    当該内視鏡は、内視鏡が前記対象位置へと進められるにつれて、前記単眼の内視鏡イメージにおける対象物から当該内視鏡までの距離測定値を生成するための、少なくとも一つの距離センサを有する、内視鏡と;
    前記単眼の内視鏡イメージと前記距離測定値を受け取るために、前記内視鏡と通信する内視鏡コントロール装置であり、
    当該内視鏡コントロール装置は、前記内視鏡を前記対象位置へと進めるように、動作可能な内視鏡ロボットを有し、
    当該内視鏡コントロール装置は、前記距離測定値に応じて、前記単眼の内視鏡イメージにおける前記対象物の表面の三次元イメージを再構築するように、動作可能である、内視鏡コントロール装置と;
    を有する、
    ことを特徴とする内視鏡システム。
  2. 前記対象物の表面の前記三次元イメージの再構築は:
    前記解剖学的領域の前記単眼の内視鏡イメージの時間的なシーケンスから、前記対象物の三次元深さマップを生成すること;及び
    それぞれの距離測定値が一つの前記単眼の内視鏡イメージに関連したものであり、少なくとも二つの距離測定値に関して前記対象物の前記三次元深さマップを修正すること、
    を含む、
    請求項1に記載の内視鏡システム。
  3. 前記対象物の表面の前記三次元イメージの修正は:
    前記深さマップと、前記少なくとも二つの距離測定値により示された前記対象物の表面のそれぞれのポイントの深さ、との比較を表わす誤差集合を生成することを含む、
    請求項2に記載の内視鏡システム。
  4. 前記対象物の表面の前記三次元イメージの修正は、更に:
    前記誤差集合に応じて、前記対象物の表面の前記三次元イメージの前記再構築を弾性的に歪ませる、
    請求項3に記載の内視鏡システム。
  5. 前記少なくとも一つの距離センサは、前記少なくとも一つの距離センサ上の前記対象物により及ぼされる圧力の測定値を生成するように動作可能である、
    請求項1に記載の内視鏡システム。
  6. 前記少なくとも一つの距離センサは、前記内視鏡から前記対象物までの距離を示す飛行時間を含んだ超音波信号を発信及び受信するため、少なくとも一つの超音波振動子エレメントを有する、
    請求項1に記載の内視鏡システム。
  7. 前記少なくとも一つの距離センサは、前記内視鏡から前記対象物までの距離を示す飛行時間を含んだ超音波信号を発信及び受信するため、少なくとも一つの超音波振動子アレイを有する、
    請求項1に記載の内視鏡システム。
  8. 前記少なくとも一つの距離センサは、圧電セラミック振動子である、
    請求項1に記載の内視鏡システム。
  9. 前記少なくとも一つの距離センサは、単結晶振動子である、
    請求項1に記載の内視鏡システム。
  10. 前記少なくとも一つの距離センサは、薄いマイクロマシン製の圧電振動子である、
    請求項1に記載の内視鏡システム。
  11. 前記少なくとも一つの距離センサは、容量性マイクロマシン製である、
    請求項1に記載の内視鏡システム。
  12. 前記内視鏡は、更に、内視鏡シャフトの末端上にイメージングデバイスを有し;かつ、
    前記少なくとも一つの距離センサは、前記イメージングデバイスを取り囲む超音波線形エレメントを有する、
    請求項1に記載の内視鏡システム。
  13. 前記少なくとも一つの距離センサは、ビーム形成およびビームステアリングのためのフェイズアレイとして働く複数のセンサーエレメントを有する、
    請求項1に記載の内視鏡システム。
  14. 内視鏡に係る方法であって:
    体の解剖学的領域における対象位置へと内視鏡を進める内視鏡ロボットをコントロールすること;
    前記内視鏡ロボットにより、前記内視鏡が前記対象位置へと進められるにつれて、複数の前記解剖学的領域の単眼の内視鏡イメージを生成すること;
    前記内視鏡ロボットにより、前記内視鏡が前記対象位置へと進められるにつれて、前記単眼の内視鏡イメージにおける対象物から前記内視鏡までの距離測定値を生成すること;及び、
    前記距離測定値に応じて、前記単眼の内視鏡イメージにおける前記対象物の表面の三次元イメージを再構築すること;
    を有する、
    ことを特徴とする内視鏡に係る方法。
  15. 前記対象物の表面の前記三次元イメージの再構築は:
    前記解剖学的領域の前記単眼の内視鏡イメージの時間的なシーケンスから、前記対象物の三次元深さマップを生成すること;及び
    それぞれの距離測定値が一つの前記単眼の内視鏡イメージに関連したものであり、少なくとも二つの距離測定値に関して前記対象物の前記三次元深さマップを修正すること、
    を含む、
    請求項14に記載の内視鏡に係る方法。
  16. 前記対象物の表面の前記三次元イメージの修正は:
    前記深さマップと、前記少なくとも二つの距離測定値により示された前記対象物の表面のそれぞれのポイントの深さ、との比較を表わす誤差集合を生成することを含む、
    請求項14に記載の内視鏡に係る方法。
  17. 前記対象物の表面の前記三次元イメージの修正は、更に:
    前記誤差集合に応じて、前記対象物の表面の前記三次元イメージの前記再構築を弾性的に歪ませることを含む、
    請求項14に記載の内視鏡に係る方法。
  18. 前記内視鏡に係る方法は、更に:
    前記内視鏡上の前記対象物により及ぼされる圧力の測定値を生成することを含む、
    請求項14に記載の内視鏡に係る方法。
  19. 内視鏡コントロール装置であって:
    内視鏡を、体の解剖学的領域における対象位置へと進めるための内視鏡ロボットと;
    前記内視鏡が前記内視鏡ロボットにより前記対象位置へと進められるにつれて、前記解剖学的領域における複数の単眼の内視鏡イメージを受け取り、そして、単眼の内視鏡イメージにおける対象物からの前記内視鏡の距離測定値を受け取るように、動作可能な衝突回避/探知装置であり、
    当該衝突回避/探知装置は、更に、前記距離測定値に応じて前記単眼の内視鏡イメージにおける前記対象物の表面の三次元イメージを再構築するように動作可能な、衝突回避/探知装置と;
    を有する、
    ことを特徴とする内視鏡コントロール装置。
  20. 前記対象物の表面の前記三次元イメージの再構築は:
    前記解剖学的領域の前記単眼の内視鏡イメージの時間的なシーケンスから、前記対象物の三次元深さマップの作成と;
    それぞれの距離測定値が一つの前記単眼の内視鏡イメージに関連したものであり、少なくとも二つの距離測定値に関する前記対象物の前記三次元深さマップの修正と;
    を含む、
    請求項19に記載の内視鏡コントロール装置。
JP2012535970A 2009-11-04 2010-10-04 距離センサを使用した衝突の回避と探知 Pending JP2013509902A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US25785709P 2009-11-04 2009-11-04
US61/257,857 2009-11-04
PCT/IB2010/054481 WO2011055245A1 (en) 2009-11-04 2010-10-04 Collision avoidance and detection using distance sensors

Publications (1)

Publication Number Publication Date
JP2013509902A true JP2013509902A (ja) 2013-03-21

Family

ID=43355722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012535970A Pending JP2013509902A (ja) 2009-11-04 2010-10-04 距離センサを使用した衝突の回避と探知

Country Status (6)

Country Link
US (1) US20120209069A1 (ja)
EP (1) EP2496128A1 (ja)
JP (1) JP2013509902A (ja)
CN (1) CN102595998A (ja)
TW (1) TW201124106A (ja)
WO (1) WO2011055245A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 腹腔鏡および内視鏡による2d/2.5d画像データにおけるセマンティックセグメンテーションのための方法およびシステム
JP2018522622A (ja) * 2015-06-05 2018-08-16 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 内視鏡および腹腔鏡のナビゲーションのためにシーン解析とモデル融合とを同時に行う方法およびシステム
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
JP5988786B2 (ja) * 2012-09-07 2016-09-07 オリンパス株式会社 超音波ユニット及び超音波内視鏡
GB2505926A (en) * 2012-09-14 2014-03-19 Sony Corp Display of Depth Information Within a Scene
KR102087595B1 (ko) 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
JP6153410B2 (ja) * 2013-07-30 2017-06-28 オリンパス株式会社 ブレード検査装置及びブレード検査方法
US9452531B2 (en) 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
JP6358811B2 (ja) * 2014-02-13 2018-07-18 オリンパス株式会社 マニピュレータ及びマニピュレータシステム
CN106535812B (zh) 2014-03-28 2020-01-21 直观外科手术操作公司 带有基于定量三维成像的触觉反馈的手术系统
US10350009B2 (en) * 2014-03-28 2019-07-16 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and printing of surgical implants
EP3125808B1 (en) 2014-03-28 2023-01-04 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
DE102014210619A1 (de) * 2014-06-04 2015-12-17 Olympus Winter & Ibe Gmbh Endoskop mit berührungsloser Abstandsmessung
CN105881535A (zh) * 2015-02-13 2016-08-24 鸿富锦精密工业(深圳)有限公司 可根据音乐节拍跳舞的机器人
CN107847110B (zh) 2015-07-23 2019-11-08 奥林巴斯株式会社 操纵器和医疗系统
US10195740B2 (en) * 2015-09-10 2019-02-05 X Development Llc Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
US9727963B2 (en) 2015-09-18 2017-08-08 Auris Surgical Robotics, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
WO2017103984A1 (ja) * 2015-12-15 2017-06-22 オリンパス株式会社 医療用マニピュレータシステムとその作動方法
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
JP7282685B2 (ja) 2017-03-31 2023-05-29 オーリス ヘルス インコーポレイテッド 生理学的ノイズを補償する管腔ネットワークのナビゲーション用ロボットシステム
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
JP7317723B2 (ja) 2017-06-28 2023-07-31 オーリス ヘルス インコーポレイテッド 電磁場の歪み検出
CN110177516B (zh) 2017-09-05 2023-10-24 柯惠Lp公司 用于机器人手术系统的碰撞处理算法
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10366531B2 (en) * 2017-10-24 2019-07-30 Lowe's Companies, Inc. Robot motion planning for photogrammetry
US9990767B1 (en) 2017-10-24 2018-06-05 Lowe's Companies, Inc. Generation of 3D models using stochastic shape distribution
CN107811710B (zh) * 2017-10-31 2019-09-17 微创(上海)医疗机器人有限公司 手术辅助定位系统
AU2018384820A1 (en) 2017-12-14 2020-05-21 Auris Health, Inc. System and method for estimating instrument location
AU2018390476B2 (en) 2017-12-18 2024-03-28 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
CN110831486B (zh) 2018-05-30 2022-04-05 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和方法
US11503986B2 (en) 2018-05-31 2022-11-22 Auris Health, Inc. Robotic systems and methods for navigation of luminal network that detect physiological noise
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
CN110831538B (zh) 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
CN108836406A (zh) * 2018-06-01 2018-11-20 南方医科大学 一种基于语音识别的单人腹腔镜手术系统和方法
US11801113B2 (en) * 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
CN110082359A (zh) * 2019-05-10 2019-08-02 宝山钢铁股份有限公司 基于图像检测的钢管螺纹检测系统的定位结构机械装置
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
EP4021329A4 (en) 2019-08-30 2023-05-03 Auris Health, Inc. SYSTEM AND METHOD FOR INSTRUMENT IMAGE RELIABILITY
CN114641252B (zh) 2019-09-03 2023-09-01 奥瑞斯健康公司 电磁畸变检测和补偿
EP4034350A1 (en) * 2019-09-26 2022-08-03 Auris Health, Inc. Systems and methods for collision avoidance using object models
CN110811491A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具有三维重建功能的在线疾病识别内窥镜
CN110811527A (zh) * 2019-12-05 2020-02-21 中山大学附属第一医院 一种具备形状推测及疾病在线辅助诊断功能的内窥镜
EP4084722A4 (en) 2019-12-31 2024-01-10 Auris Health Inc ALIGNMENT INTERFACES FOR PERCUTANE ACCESS
EP4084721A4 (en) 2019-12-31 2024-01-03 Auris Health Inc IDENTIFICATION OF AN ANATOMIC FEATURE AND AIMING
US11660147B2 (en) 2019-12-31 2023-05-30 Auris Health, Inc. Alignment techniques for percutaneous access
CN116322551A (zh) * 2020-09-30 2023-06-23 奥瑞斯健康公司 基于接触信息检测的外科机器人中的碰撞避免
CN113838052B (zh) * 2021-11-25 2022-02-18 极限人工智能有限公司 碰撞报警装置、电子设备、存储介质以及内窥镜影像系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR1532340A (fr) * 1967-04-06 1968-07-12 Comp Generale Electricite Dispositif de mesure de la largeur d'une cavité du système circulatoire
DE1766904B1 (de) * 1967-08-08 1971-05-19 Olympus Optical Co Endoskop mit einer Einrichtung zur Ermittlung des Objektabstandes
JPS5745835A (en) * 1980-09-02 1982-03-16 Olympus Optical Co Endoscope apparatus
US5113869A (en) * 1990-08-21 1992-05-19 Telectronics Pacing Systems, Inc. Implantable ambulatory electrocardiogram monitor
US5417210A (en) * 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
DE19804797A1 (de) * 1998-02-07 1999-08-12 Storz Karl Gmbh & Co Vorrichtung zur endoskopischen Fluoreszenzdiagnose von Gewebe
ES2292463T3 (es) * 1999-09-24 2008-03-16 National Research Council Of Canada Dispositivo para la realizacion de una angiografia durante una cirugia.
WO2002040184A2 (en) * 2000-11-15 2002-05-23 Koninklijke Philips Electronics N.V. Multidimensional ultrasonic transducer arrays
US6773402B2 (en) * 2001-07-10 2004-08-10 Biosense, Inc. Location sensing with real-time ultrasound imaging
US7720532B2 (en) * 2004-03-23 2010-05-18 Dune Medical Ltd. Clean margin assessment tool
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
CN100569186C (zh) * 2002-03-15 2009-12-16 比约恩·A·J·安杰尔森 超声成像方法及系统、超声换能器阵列及探针
US20040199052A1 (en) * 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Endoscopic imaging system
DE102004008164B3 (de) * 2004-02-11 2005-10-13 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums
CA2826925C (en) * 2005-02-22 2017-01-24 Mako Surgical Corp. Haptic guidance system and method
US20060241438A1 (en) * 2005-03-03 2006-10-26 Chung-Yuo Wu Method and related system for measuring intracranial pressure
US7305883B2 (en) * 2005-10-05 2007-12-11 The Board Of Trustees Of The Leland Stanford Junior University Chemical micromachined microsensors
US20070167793A1 (en) * 2005-12-14 2007-07-19 Ep Medsystems, Inc. Method and system for enhancing spectral doppler presentation
DE102006017003A1 (de) * 2006-04-11 2007-10-18 Friedrich-Alexander-Universität Erlangen-Nürnberg Endoskop zur Tiefendatenakquisition
FR2923372B1 (fr) * 2007-11-08 2010-10-29 Theraclion Dispositif et methode de reperage non invasif d'une structure tel qu'un nerf.
DE102008018637A1 (de) * 2008-04-11 2009-10-15 Storz Endoskop Produktions Gmbh Vorrichtung und Verfahren zur Fluoreszenz-Bildgebung

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 腹腔鏡および内視鏡による2d/2.5d画像データにおけるセマンティックセグメンテーションのための方法およびシステム
JP2018522622A (ja) * 2015-06-05 2018-08-16 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 内視鏡および腹腔鏡のナビゲーションのためにシーン解析とモデル融合とを同時に行う方法およびシステム
WO2020070883A1 (ja) * 2018-10-05 2020-04-09 オリンパス株式会社 内視鏡システム

Also Published As

Publication number Publication date
WO2011055245A1 (en) 2011-05-12
TW201124106A (en) 2011-07-16
EP2496128A1 (en) 2012-09-12
CN102595998A (zh) 2012-07-18
US20120209069A1 (en) 2012-08-16

Similar Documents

Publication Publication Date Title
JP2013509902A (ja) 距離センサを使用した衝突の回避と探知
US11457981B2 (en) Computerized tomography (CT) image correction using position and direction (P andD) tracking assisted optical visualization
JP7433932B2 (ja) 定量的3次元イメージング及び手術用インプラントのプリント
US9750399B2 (en) Real-time depth estimation from monocular endoscope images
US9808200B2 (en) Medical imaging apparatus and method
WO2012095755A1 (en) Intraoperative camera calibration for endoscopic surgery
CA2808757A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
WO2010140074A1 (en) Distance-based position tracking method and system
CN110290758A (zh) 计算机辅助远程操作手术中的多维可视化
EP3096703A1 (en) Continuous image integration for robotic surgery
JP2006320427A (ja) 内視鏡手術支援システム
Edgcumbe et al. Calibration and stereo tracking of a laparoscopic ultrasound transducer for augmented reality in surgery
CN112741689B (zh) 应用光扫描部件来实现导航的方法及系统
Tamadazte et al. Weakly calibrated stereoscopic visual servoing for laser steering: Application to phonomicrosurgery
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
CN111281534A (zh) 生成手术部位的三维模型的系统和方法
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像
Hayashibe et al. Real-time 3D deformation imaging of abdominal organs in laparoscopy
Keil et al. A real-time online video overlay navigation system for minimally invasive laparoscopic tumor resection
Bost et al. Session 4. Imaging and image processing I–Optics and endoscopy
Mitsuhiro HAYASHIBE et al. Medicine Meets Virtual Reality 11 117 JD Westwood et al.(Eds.) IOS Press, 2003