JP2013541365A - 血管ツリー画像に基づく内視鏡のロボット制御 - Google Patents

血管ツリー画像に基づく内視鏡のロボット制御 Download PDF

Info

Publication number
JP2013541365A
JP2013541365A JP2013528806A JP2013528806A JP2013541365A JP 2013541365 A JP2013541365 A JP 2013541365A JP 2013528806 A JP2013528806 A JP 2013528806A JP 2013528806 A JP2013528806 A JP 2013528806A JP 2013541365 A JP2013541365 A JP 2013541365A
Authority
JP
Japan
Prior art keywords
blood vessel
vessel tree
image
endoscope
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013528806A
Other languages
English (en)
Other versions
JP2013541365A5 (ja
JP5955847B2 (ja
Inventor
アレクサンドラ ポポヴィック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2013541365A publication Critical patent/JP2013541365A/ja
Publication of JP2013541365A5 publication Critical patent/JP2013541365A5/ja
Application granted granted Critical
Publication of JP5955847B2 publication Critical patent/JP5955847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3137Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/0016Holding or positioning arrangements using motor drive units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00243Type of minimally invasive operation cardiac
    • A61B2017/00247Making holes in the wall of the heart, e.g. laser Myocardial revascularization
    • A61B2017/00252Making holes in the wall of the heart, e.g. laser Myocardial revascularization for by-pass connections, i.e. connections from heart chamber to blood vessel or from blood vessel to blood vessel
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/301Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • A61B2090/3614Image-producing devices, e.g. surgical cameras using optical fibre
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)

Abstract

ロボットガイディングシステムは、ロボットユニット10及び制御ユニット20を用いる。ロボットユニット10は、解剖学的領域内の血管ツリーの術中内視鏡画像14を生成する内視鏡12と、解剖学的領域内で内視鏡12を移動させるロボット11と、を有する。制御ユニット20は、解剖学的領域内に内視鏡パスを生成する内視鏡コントローラ22を有し、内視鏡パスは、血管ツリーの術中内視鏡画像14のグラフィック表現と、血管ツリーの術前3次元画像44のグラフィック表現とのマッチングから導出される。制御ユニット20は更に、内視鏡パスに従って解剖学的領域内で内視鏡12を移動させるようロボット11に命じるロボットコントローラ21を有する。

Description

本発明は、概して、最小侵襲性の外科的プロシージャ(例えば、最小侵襲性の冠動脈バイパス外科手術)の間の、内視鏡のロボット制御に関する。本発明は、特に、内視鏡をロボット制御でガイドするための基礎として、術前3次元(「3D」)血管ツリー画像のグラフィック表現を、術中内視鏡血管ツリー画像のグラフィック表現とマッチングすることに関する。
冠動脈バイパス術(Coronary artery bypass grafting、「CABG」)は、閉塞した冠動脈の血管再生のための外科的プロシージャである。毎年約50万件の手術が、米国で実施されている。従来のCABGでは、患者の胸骨が切開され、患者の心臓が、外科医に十分に露出される。心臓の露出にもかかわらず、ある動脈は、それら動脈より上の脂肪組織層により、部分的に見えないことがある。このような動脈に関して、外科医は、心臓表面を触診し、動脈からの脈打つ血液及び動脈の狭窄を感じることができる。しかしながら、このデータは、貧弱であり、外科的な計画を外科的な現場に移すには十分でないことがある。
最小侵襲性のCABGにおいて、外科医は、心臓表面を触診することができないので、従来のCABGの上述の問題が増幅される。更に、最小侵襲性のCABGにおいて使用される外科器具の長さは、ツールの近位端からの触覚フィードバックを妨げる。
従来のCABGに関する問題に対処するための1つの知られている技法は、術中の部位を、術前3D冠動脈ツリーと位置合わせすることである。具体的には、光学的に追跡されるポインタが、開かれた心臓状況で動脈の位置をデジタル化するために使用され、位置情報は、当分野で知られている反復的な最近接点(「ICP」)アルゴリズムを使用して術前ツリーと位置合わせされる。しかしながら、この技法は、デジタル化された動脈及び術前データをマッチングする任意の関連するアプローチの場合のように、小さいポートアクセスによって課される空間制約のため、最小侵襲性のCABGに関して実際的でない。更に、この技法は、動脈の大部分が目に見えること又は外科医によって触診されることを必要とするが、触診は、最小侵襲性のCABGでは不可能である。
最小侵襲性のCABGに関する問題に対処するための1つの知られている技法は、心臓表面が、光学的に追跡される内視鏡を使用して再構成され、同じ表面の術前コンピュータトモグラフィ(「CT」)データとマッチングされる、位置合わせ方法を実現することである。しかしながら、この技法は、表面を導出するために使用される内視鏡ビューがあまりに小さい場合、表面ベースのマッチングを提案する任意の関連するアプローチと同様に失敗することがある。更に、心臓表面は、特定の表面特徴なしに相対的に滑らかであるので、この技法のアルゴリズムは、多くの場合、アルゴリズムの準最適の極大で機能する。
最小侵襲性のCABGに関する問題に対処するための別の知られている技法は、以前に標識化されたケース及びグラフベースのマッチングのデータベースを使用して、新しい患者から抽出される冠状動脈ツリーを標識化することである。しかしながら、この技法は、完全なツリーが利用可能な場合のみ機能し、その目標は、ジオメトリをマッチングすることではなく、ツリーを標識化することである。
術前3D画像に対するグローバルな位置付けが達成されると、最小侵襲性のCABGの他の問題は、内視鏡の向き及びガイダンスである。位置合わせの目標は、吻合部位及び狭窄の位置特定を容易にすることである。標準の装置において、内視鏡は、アシスタントによって保持され、外科医は、2つの器具を保持する。外科医は、アシスタントに命令を出し、アシスタントは、それに応じて内視鏡を移動させる。この種の装置は、アシスタントが、一般に外科医の基準フレームで発行される外科医の命令を、アシスタントの基準フレーム及び内視鏡の基準フレームに直観的に変換する必要があるので、外科医の手−目の協調を妨げる。複数の座標系は、さまざまなハンドリング誤差を引き起こし、又は外科手術を長引かせ、又は冠動脈の誤った識別を引き起こしうる。
外科医が、外科医の頭部の検知される動きを通じて内視鏡を直接制御することを可能にするように設計される外科内視鏡アシスタントは、制御ループからアシスタントを除去することによって、それらの問題のいくらかを解決することができるが、外科医の基準フレームと内視鏡の基準フレームの間の変換の問題は依然として残る。
本発明は、術前3次元(「3D」)画像(例えば、CT画像、コーンビームCT画像、3DX線画像又はMRI画像)及び術中内視鏡画像、に示される血管ツリー(例えば、動脈、毛細血管又は静脈の分岐部)のグラフィック表現をマッチングし、術前3D画像からの血管ツリーを術中内視鏡画像にオーバレイし、オーバレイを使用して、術前3D画像に規定されるロケーションへ、内視鏡を保持するロボットをガイドするする方法を提供する。
本発明の1つの形態は、ロボットユニット及び制御ユニットを用いるロボットガイディングシステムである。
ロボットガイディングシステムは、ロボットユニット及び制御ユニットを用いる。ロボットユニットは、解剖学的領域内の血管ツリーの術中内視鏡画像を生成する内視鏡と、解剖学的領域内で内視鏡を移動させるロボットと、を有する。制御ユニットは、解剖学的領域内に内視鏡パスを生成する内視鏡コントローラを有し、内視鏡パスは、血管ツリーの術中内視鏡画像のグラフィック表現を、血管ツリーの術前3次元画像のグラフィック表現とマッチングすることから導出される。制御ユニットは更に、内視鏡パスに従って解剖学的領域内で内視鏡を移動させるよう、ロボットに命令するロボットコントローラを有する。
本発明の第2の形態は、解剖学的領域内の血管ツリーの術中内視鏡画像を生成し、解剖学的領域内に内視鏡パスを生成することを含むロボットガイディング方法であって、内視鏡パスが、血管ツリーの術中内視鏡画像のグラフィック表現を、血管ツリーの術前3次元画像のグラフィック表現とマッチングすることから導出される。ロボットガイディング方法は更に、内視鏡パスに従って解剖学的領域内で内視鏡を移動させるようロボットに命令することを含む。
「術前(pre-operative)」という本明細書で用いられる語は、解剖学的領域の3次元画像を取得するために、解剖学的領域の内視鏡イメージングの前、最中、又は後に実行される任意のアクティビティを記述するものとして広義に規定される。「術中(intra-operative)」という本明細書で用いられる語は、解剖学的領域の内視鏡イメージングの間、ロボットユニット及び制御ユニットによって実行される任意のアクティビティを記述するものとして広義に規定される。解剖学的領域の内視鏡イメージングの例は、CABG、気管支鏡検査、大腸内視鏡検査、腹腔鏡検査及び脳内視鏡検査を含むが、これらに限定されるものではない。
本発明の上述の形態及び他の形態並びに本発明のさまざまな特徴及び利点が、添付の図面を参照して理解される本発明のさまざまな実施形態の以下の詳細な説明から、更に明らかになる。詳細な説明及び図面は、単に本発明を説明するものであって制限するものではなく、本発明の範囲は、添付の請求項及びそれと等価なものによって規定される。
本発明による、ロボットガイディングシステムの例示の実施形態を示す図。 本発明による、ロボットガイダンス方法の例示の実施形態を表すフローチャート。 図2に示されるフローチャートの例示の外科的実現例を示す図。 本発明によるグラフマッチング方法の例示の実施形態を表すフローチャート。 本発明による血管ツリーのメイングラフの例示的な順序付けを示す図。 本発明による血管ツリーのメイングラフの例示的な順序付けを示す図。 本発明による、幾何学的表現と内視鏡画像との例示的なオーバレイ(重ね合わせ)を示す図。 本発明による、図7に示されるオーバレイの中の例示的なロボットパスを示す図。
図1に示されるように、ロボットガイディングシステムは、1又は複数の分岐部(すなわちブランチ)をもつ血管ツリーの内視鏡イメージングを伴う任意の内視鏡プロシージャのために、ロボットユニット10及び制御ユニット20を用いる。このような内視鏡プロシージャの例は、最小侵襲性の心臓手術(例えば、冠動脈バイパス術又は僧帽弁置換術)を含むが、これに限定されるものではない。
ロボットユニット10は、ロボット11、ロボット11に堅固に取り付けられる内視鏡12、及び内視鏡12に取り付けられるビデオキャプチャ装置13を有する。
ロボット11は、特定の内視鏡プロシージャの必要に応じてエンドエフェクタを操るための1又は複数の関節のモータ制御を具えて構成される任意のロボット装置として、ここに広義に規定される。実際、ロボット11は、4自由度を有することができ、例えば、剛体セグメントと連続的に接続される関節を有するシリアルロボット、並列に搭載される関節及び剛体セグメントを有するパラレルロボット(例えば、当分野で知られているStewartプラットホーム)、又はシリアル及びパラレル運動力学の混成コンビネーション、でありうる。
内視鏡12は、身体の内側からイメージングを行う能力を具えて構成される任意の装置として、ここで広義に規定される。本発明の目的を達成するための内視鏡12の例は、可撓性又は剛性の任意のタイプのスコープ(例えば、内視鏡、関節鏡、気管支鏡、コレドコスコープ、結腸内視鏡、膀胱鏡、十二指腸内視鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、耳鏡、プッシュ腸鏡、鼻咽頭内視鏡、S状結腸鏡、副鼻腔内視鏡、胸鏡、その他)、及び画像システムを備えるスコープと同様の装置(例えばイメージング能力をもつ入れ子式カニューレ)を含むが、これに限定されるものではない。イメージングは、局所的であり、表面画像は、ファイバ光学素子、レンズ及び小型化された(例えばCCDベースの)イメージングシステムによって、光学的に取得されることができる。
実際、内視鏡12は、ロボット11のエンドエフェクタに搭載される。ロボット11のエンドエフェクタの姿勢(pose)は、ロボット11アクチュエータの座標系の範囲におけるエンドエフェクタの位置及び向きである。内視鏡12が、ロボット11のエンドエフェクタに搭載される場合、解剖学的領域内の内視鏡12の視野の所与の姿勢は、ロボット座標系におけるロボット11のエンドエフェクタの明確な姿勢に対応する。従って、内視鏡12によって生成される血管ツリーの各個別の内視鏡画像は、解剖学的領域内の内視鏡12の対応する姿勢に関係付けられることができる。
ビデオキャプチャ装置13は、内視鏡12からの術中内視鏡ビデオ信号を、術中内視鏡画像(「IOEI」)14のコンピュータ可読の時間シーケンスに変換する能力を具えて構成される任意の装置として、ここに広義に規定される。実際、ビデオキャプチャ装置13は、術中内視鏡ビデオ信号から個別のデジタル静止画フレームを取得するために、任意のタイプのフレーム取り込み器を用いることができる。
図1を参照して、制御ユニット20は、ロボットコントローラ21及び内視鏡コントローラ22を有する。
ロボットコントローラ21は、内視鏡プロシージャの必要に応じてロボット11のエンドエフェクタの姿勢を制御するために、1又は複数のロボットアクチュエータコマンド(「RAC」)26をロボット11に提供するように構成される任意のコントローラとして、ここに広義に規定される。より詳しくは、ロボットコントローラ21は、内視鏡コントローラ22からの内視鏡位置コマンド(「EPC」)25を、ロボットアクチュエータコマンド26に変換する。例えば、内視鏡位置コマンド25は、解剖学的領域内の内視鏡12の視野の所望の3D位置に至る内視鏡パスを示すことができ、それによって、ロボットコントローラ21は、コマンド25を、内視鏡12を所望の3D位置へ移動させるのに必要なロボット11の各モータ用駆動電流を含むコマンド26に変換する。
内視鏡コントローラ22は、図2に例示として示される本発明によるロボットガイダンス方法を実現するように構成される任意のコントローラとして、ここに広義に規定される。このために、内視鏡コントローラ22は、画像処理モジュール(「IPM」)23を組み込むことができ、画像処理モジュール23は、本発明の解剖学的対象の画像位置合わせを実行するように構成される任意のモジュールとして、ここに広義に規定される。具体的には、解剖学的対象の画像位置合わせは、図2に示されるフローチャート30のステージS32及びS33によって例示的に実現されるような血管ツリー画像の位置合わせである。内視鏡コントローラ22は、視覚サーボモジュール(「VSM」)24を更に組み込むことができ、視覚サーボモジュール(「VSM」)24は、解剖学的領域内の内視鏡12の視野の所望の3D位置に至る内視鏡パスを示す内視鏡位置コマンド25を生成するように構成される任意のモジュールとして、ここに広義に規定される。具体的には、内視鏡位置コマンド25は、図2に示されるフローチャート30のステージS34によって例示的に実現されるように、血管ツリー画像の位置合わせから導出される。
フローチャート30の説明が、内視鏡コントローラ22の更なる理解を容易にするために、ここに与えられる。
図2を参照して、フローチャート30のステージS31は、術前3D画像から、血管ツリーの幾何学的表現を抽出することを含む。例えば、図3に示されるように、3Dイメージング装置(例えば、CT装置、X線装置、又はMRI装置)は、患者50の左及び右冠動脈51及び52を示す患者50の胸部領域の術前3D画像42を生成するように動作される。その後、血管ツリー抽出器43が、画像42から冠状動脈樹の幾何学的表現44を得るように動作され、得られた冠状動脈樹の幾何学的表現44は、データベース45に記憶されることができる。実際、Philipsで販売されているBrilliance iCTスキャナが、画像42を生成し、画像42から冠状動脈樹の3Dデータセットを取得するために使用されることができる。
図2を再び参照して、フローチャート30のステージS32は、画像処理モジュール23が、血管ツリーの1又は複数の術中内視鏡画像14(図1)のグラフィック表現を、血管ツリーの術前3D画像44(図1)のグラフィック表現とマッチングすることを含む。例えば、図3に示されるように、内視鏡12は、ビデオキャプチャ装置13によって取得され術中内視鏡画像14に変換される患者50の胸部領域の術中内視鏡検査ビデオを生成し、それにより、内視鏡コントローラ22の画像処理モジュール23は、冠状動脈樹の術中内視鏡画像14のグラフィック表現を、冠状動脈樹の術前3D画像44のグラフィック表現とマッチングする。1つの例示の実施形態において、画像処理モジュール23は、図4に示されるフローチャート60によって例示的に表される本発明の血管ツリー画像マッチングを実行し、これは、冠状動脈樹である血管ツリーのコンテクストにおいて、ここに記述される。
図4を参照して、フローチャート60のステージS61は、画像処理モジュール23が、当分野で知られている任意の表現方法に従って、冠状動脈樹の幾何学的表現から、冠状動脈樹メイングラフを生成することを含む。例えば、ステージS61に示されるように、冠状動脈樹の幾何学的表現70は、冠状動脈樹の幾何学的表現70の各々の分岐部(例えば二分岐又は三分岐)で表現されるノードと、ノード間のブランチ接続とを有するメイングラフ71に変換される。ステージS61は、術前(例えば内視鏡外科手術の数日前又は患者50内への内視鏡12の導入より前の任意の時間)に実施されることができ、又はCアーム血管撮影法若しくは他の適切なシステムによって術中に実施されることができる。
フローチャート60のステージS62は、画像処理モジュール23が、当分野で知られている任意のグラフィック表現方法に従って、術中内視鏡画像14において目に見える冠状動脈樹の一部から、冠状動脈樹サブグラフを生成することを含む。具体的には、内視鏡12が、患者50に導入され、画像処理モジュール23は、術中内視鏡画像14内の冠状動脈の構造の検出を実施する。実際、ある動脈の構造は目に見えるが、他の動脈の構造は、脂肪組織の層によって隠されることがある。従って、画像処理モジュール23は、知られている画像処理動作によって、目に見える冠状動脈の構造の自動検出(例えば、目に見える冠状動脈の構造のはっきりした赤色による閾値検出)を実現することができ、又は外科医は、入力装置を使用して、コンピュータディスプレイ上で目に見える冠状動脈の構造の輪郭を手作業で描くことができる。動脈の構造の検出に応じて、画像処理モジュール23は、冠状動脈樹メイングラフの生成と同様に、冠状動脈樹グラフを生成する。例えば、ステージS62に示されるように、冠状動脈構造の幾何学的表現72は、冠状動脈樹の幾何学的表現72の各々の分岐部(例えば二分岐又は三分岐)で表現されるノードとノード間のブランチ接続とを有するグラフ73に変換される。どちらのツリーも同じ人からのものであるので、内視鏡検査画像から導出されるグラフは、3D画像から導出されるグラフのサブグラフであることが理解される。
フローチャート60のステージS63は、画像処理モジュール23が、任意の知られているグラフマッチング方法(例えば、最大共通サブグラフ又はMcGregor共通サブグラフ)に従って、サブグラフをメイングラフとマッチングすることを含む。例えば、ステージS63に示されるように、サブグラフ73のノードは、メイングラフ71のノードのサブセットとマッチングされる。
実際、サブグラフ73は、術中内視鏡画像14内で部分的に検出されることができ、又はサブグラフ73のあるノード/接続は、術中内視鏡画像14から欠けていることがある。ステージS62のマッチング精度を改善するために、メイングラフ71及びサブグラフ73の付加の順序付けが、実現されることができる。
一実施形態において、メイングラフ71の垂直方向のノード順序付けは、ステージS61の画像スキャニングの間、患者50の知られている向きに基づいて実現される。具体的には、メイングラフのノードは、実線矢印によって図5に示されるように、上から下への順序を維持するように、方向的に関係付けられることができる。サブグラフ73に関して、内視鏡12に対する患者50の向きは、知られていない。しかしながら、冠状動脈樹のブランチは、それらが上から下へと広がるにつれて、ブランチの直径が小さくなることが分かるので、術中内視鏡画像14の動脈ブランチの変化する動脈サイズは、向きを示すことができる。
別の実施形態において、メイングラフ70の垂直方向のノード順序付けは、ステージS61の画像スキャニングの間の患者50の知られている向きに基づいて、実現されることができる。具体的には、メイングラフノードは、破線矢印によって図6に示される左右のノード順序を維持するように、方向的に関係付けられることができる。サブグラフ73に関して、内視鏡12に対する患者50の向きは、知られていない可能性が高いので、サブグラフ73の水平方向のノード順序は、グラフィカルユーザインタフェースを通じて手術外科医又はアシスタントによって設定されることができる。
順序付けの使用は、グラフをマッチングする時間を低下させることができ、可能性がある合致の数を低減することができるが、グラフ間の理論的に複数の合致は、マッチングアルゴリズムによってなお得られることができる。複数の合致のこのようなケースは、フローチャート30のステージS33の間、対処される。
図2を再び参照して、グラフのマッチングに基づいて、フローチャートのステージS33は、血管ツリーの術前3D画像44(図1)の幾何学的表現を、血管ツリーの術中内視鏡画像14にオーバレイすることを含む。これは、メイングラフに一意的に関連付けられる幾何学的表現を使用することによって行われる。従って、全体のジオメトリは、パースペクティブ変換を使用して、術中内視鏡画像14に直接変換されることができる。パースペクティブ変換は、ホモグラフィマッチングのような当分野で知られているマッチングアルゴリズムを使用して、術中内視鏡画像14及び術前3D画像44のノードから検出されることができる。
例えば、図7は、術中内視鏡画像90のノード91−95と合致したノードを有する冠状動脈樹の幾何学的表現80を示している。ノード91−95の間の各ノードペアの間の距離は、幾何学的表現80のスケーリングファクタを決定するために使用されることができ、それによって、幾何学的表現80が、図示されるように術中内視鏡画像90にオーバレイすることを可能にする。
実際、ステージS32(図2)のグラフマッチングが、複数の結果をもたらす場合、可能性のあるすべてのオーバレイが、外科医に対し表示されることができ、それによって、外科医は、自分が最も見込みのある合致であると思うマッチング結果を、グラフィカルユーザインタフェースを通じて選択することができる。外科医が、術中内視鏡画像14の少なくとも幾つかの構造に対する内視鏡12の位置を知っている場合、選択は、相対的に直接的でありうる。
図2を再び参照して、フローチャート30のステージS34は、視覚サーボモジュール32が、血管ツリーの術前3D画像44(図1)の幾何学的表現の、血管ツリーの術中内視鏡画像14(図1)へのオーバレイの中に、内視鏡パスを生成することを含む。内視鏡パスに基づいて、視覚サーボモジュール32は、ロボットコントローラ21に対し内視鏡位置コマンド25を生成し、それによって、解剖学的領域内の所望の位置に、内視鏡パスに沿って内視鏡12(図1)をガイドする。具体的には、正確なオーバレイが見つけられると、ロボット11は、外科医が術前3D画像44上の選択する位置へ、内視鏡12をガイドするよう命じられることができる。外科医又はアシスタントは、血管ツリーの或るポイントを選択することができ、ロボット11は、任意の適切なパスに沿って、所望の位置へ内視鏡12をガイドすることができる。例えば、図8に示されるように、ロボット11は、最短パス101に沿って所望の位置100へ、又は冠状動脈パス102に沿って所望の位置100へ、内視鏡12を移動させることができる。冠状動脈パス102は、ロボット11が内視鏡12を移動させるとき外科医が目に見える動脈を観察することを可能にするので、冠状動脈パス102は、好適な実施形態である。更に、外科医が、マッチングが成功であったかどうかを判定することを助けることができる。冠状動脈パス102は、当分野で知られている方法(例えば、Dijkstra最短経路アルゴリズム)を使用して規定されることができる。
実際、ロボット11の動きは、遠隔運動中心に関して非較正の視覚サーボを使用して命令されることができ、内視鏡12の視野は、マッチングステージS32の間、より大きいサブグラフを与えるように拡大されることができる。
図2を再び参照して、ステージS32−S34は、一度に実行されることができ、又はロボット11が解剖学的領域内の所望の位置へ内視鏡12を移動させる時間まで周期的に実行されることができ、又は外科医によって指示される回数実行されることができる。
実際、モジュール23及び24(図1)は、図示されるような内視鏡コントローラ22内に組み込まれるハードウェア、ソフトウェア及び/又はファームウェアによって実現されることができる。
ここでの図1−図8の記述から、当業者であれば、本発明のアプリケーションから、任意のタイプの血管に対して実施される任意のタイプの内視鏡外科手術(これに限定されない)までを含む本発明の多くの利点を理解するであろう。
本発明は、例示的な見地、特徴及び実現に関して記述されたが、開示されるシステム及び方法は、このような例示的な見地、特徴及び/又は実現に限定されない。むしろ、ここに示される記述から当業者には容易に明らかであるように、開示されるシステム及び方法は、本発明の精神又は範囲を逸脱することなく変形、変更及び改良の余地がある。従って、本発明は、この範囲内にある変形、変更及び改善を含む。

Claims (20)

  1. ロボットユニットと、
    制御ユニットと、
    を有し、前記ロボットユニットが、
    解剖学的領域内の血管ツリーの術中内視鏡画像を生成する内視鏡と、
    前記解剖学的領域内で前記内視鏡を移動させるロボットと、
    を有し、前記制御ユニットが、
    前記解剖学的領域内に内視鏡パスを生成する内視鏡コントローラであって、前記内視鏡パスは、前記血管ツリーの術中内視鏡画像のグラフィック表現の、前記血管ツリーの術前3次元画像のグラフィック表現とのマッチングから導出される、内視鏡コントローラと、
    前記内視鏡パスに従って前記解剖学的領域内で前記内視鏡を移動させるよう、前記ロボットに命じるロボットコントローラと、
    を有する、ロボットガイドディングシステム。
  2. 前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングが、
    前記血管ツリーの前記術前3次元画像の幾何学的表現から導出されるメイングラフを生成し、
    前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導き出されるサブグラフを生成し、
    前記サブグラフを前記メイングラフとマッチングする、
    ことを含む、請求項1に記載のロボットガイディングシステム。
  3. 前記メイングラフは、前記血管ツリーの前記術前3次元画像内の血管ツリーの各々の分岐部を表すノードのメインセットを含み、
    前記サブグラフは、前記ノードのメインセットのサブセットを含み、前記サブセットは、前記血管ツリーの前記術中内視鏡画像内の前記血管ツリーの各々の分岐部を表す、請求項2の記載のロボットガイディングシステム。
  4. 前記サブグラフの前記メイングラフとのマッチングは、前記メイングラフにおけるノードの垂直方向の順序及び水平方向の順序のうち少なくとも1つを確立することを含む、請求項3に記載のロボットガイディングシステム。
  5. 前記内視鏡コントローラは、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングに従って、前記血管ツリーの前記術前3次元画像の幾何学的表現を、前記血管ツリーの前記術中内視鏡画像にオーバレイする、請求項2に記載のロボットガイディングシステム。
  6. 前記内視鏡コントローラは更に、前記血管ツリーの前記術前3次元画像の幾何学的表現の、前記血管ツリーの前記術中内視鏡画像とのオーバレイの中に、前記内視鏡パスを生成する、請求項5に記載のロボットガイディングシステム。
  7. 前記サブグラフの前記メイングラフとのマッチングは、前記ノードのサブセットと前記ノードのメインセットとの複数のマッチング結果を含み、
    前記複数のマッチング結果のうち1つが、前記サブグラフの前記メイングラフとの合致として選択される、請求項2に記載のロボットガイディングシステム。
  8. 前記血管ツリーは冠状動脈樹である、請求項1に記載のロボットガイディングシステム、
  9. 解剖学的領域内の血管ツリーの術中内視鏡画像を生成する内視鏡、及び前記解剖学的領域内で内視鏡を移動させるロボット、のための制御ユニットであって、
    前記解剖学的領域内に内視鏡パスを生成する内視鏡コントローラであって、前記内視鏡パスは、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングから導出される、内視鏡コントローラと、
    前記内視鏡パスに従って前記解剖学的領域内で前記内視鏡を移動させるよう、前記ロボットに命じるロボットコントローラと、
    を有する、制御ユニット。
  10. 前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングが、
    前記血管ツリーの前記術前3次元画像の幾何学的表現から導出されるメイングラフを生成し、
    前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導き出されるサブグラフを生成し、
    前記サブグラフを前記メイングラフとマッチングする、
    ことを含む、請求項9に記載の制御ユニット。
  11. 前記メイングラフは、前記血管ツリーの前記術前3次元画像内の前記血管ツリーの各々の分岐部を表すノードのメインセットを含み、
    前記サブグラフは、前記ノードのメインセットのサブセットを含み、前記サブセットは、前記血管ツリーの前記術中内視鏡画像内の血管ツリーの各々の分岐部を表す、請求項10に記載の制御ユニット。
  12. 前記サブグラフの前記メイングラフトとのマッチングは、前記メイングラフのノードの垂直方向の順序及び水平方向の順序のうち少なくとも1つを確立することを含む、請求項11に記載の制御ユニット。
  13. 前記内視鏡コントローラは、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングに従って、前記血管ツリーの前記術前3次元画像の幾何学的表現を、前記血管ツリーの前記術中内視鏡画像にオーバレイする、請求項10に記載の制御ユニット。
  14. 前記内視鏡コントローラは更に、前記血管ツリーの前記術前3次元画像の幾何学的表現の、前記血管ツリーの前記術中内視鏡画像とのオーバレイの中に、前記内視鏡パスを生成する、請求項13に記載の制御ユニット。
  15. 前記サブグラフの前記メイングラフとのマッチングは、前記ノードのサブセットと前記ノードのメインセットとの複数のマッチング結果を含み、
    前記複数のマッチング結果のうち1つが、前記サブグラフの前記メイングラフとの合致として選択される、請求項10に記載の制御ユニット。
  16. ロボットガイディング方法であって、
    解剖学的領域内の血管ツリーの術中内視鏡画像を生成するステップと、
    前記解剖学的領域内に内視鏡パスを生成するステップであって、前記内視鏡パスは、前記血管ツリーの術中内視鏡画像のグラフィック表現の、前記血管ツリーの術前3次元画像のグラフィック表現とのマッチングから導出される、ステップと、
    前記内視鏡パスに従って前記解剖学的領域内で前記内視鏡を移動させるよう、前記ロボットに命じるステップと、
    を含むロボットガイディング方法。
  17. 前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングが、
    前記血管ツリーの前記術前3次元画像の幾何学的表現から導出されるメイングラフを生成し、
    前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導出されるサブグラフを生成し、
    前記サブグラフを前記メイングラフとマッチングする、
    ことを含む、請求項16に記載のロボットガイディング方法。
  18. 前記メイングラフは、前記血管ツリーの前記術前3次元画像内の血管ツリーの各々の分岐部を表すノードのメインセットを含み、
    前記サブグラフは、前記ノードのメインセットのサブセットを含み、
    前記サブセットは、前記血管ツリーの前記術中内視鏡画像内の血管ツリーの各々の分岐部を表す、
    請求項17に記載のロボットガイディング方法。
  19. 前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前3次元画像のグラフィック表現とのマッチングに従って、前記血管ツリーの前記術前3次元画像の幾何学的表現を、前記血管ツリーの前記術中内視鏡画像にオーバレイする、請求項17に記載のロボットガイディング方法。
  20. 前記内視鏡パスは、前記血管ツリーの前記術前3次元画像の幾何学的表現の、前記血管ツリーの前記術中内視鏡画像へのオーバレイの中に生成される、請求項19に記載のロボットガイディング方法。
JP2013528806A 2010-09-15 2011-09-13 血管ツリー画像に基づく内視鏡のロボット制御 Active JP5955847B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US38298010P 2010-09-15 2010-09-15
US61/382,980 2010-09-15
PCT/IB2011/053998 WO2012035492A1 (en) 2010-09-15 2011-09-13 Robotic control of an endoscope from blood vessel tree images

Publications (3)

Publication Number Publication Date
JP2013541365A true JP2013541365A (ja) 2013-11-14
JP2013541365A5 JP2013541365A5 (ja) 2014-10-30
JP5955847B2 JP5955847B2 (ja) 2016-07-20

Family

ID=44736002

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013528806A Active JP5955847B2 (ja) 2010-09-15 2011-09-13 血管ツリー画像に基づく内視鏡のロボット制御

Country Status (7)

Country Link
US (2) US9615886B2 (ja)
EP (1) EP2615993B1 (ja)
JP (1) JP5955847B2 (ja)
CN (1) CN103108602B (ja)
BR (1) BR112013005879A2 (ja)
RU (1) RU2594813C2 (ja)
WO (1) WO2012035492A1 (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017508499A (ja) * 2014-01-24 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ロボット手術のための連続画像統合
WO2018037931A1 (en) 2016-08-22 2018-03-01 Canon Kabushiki Kaisha Continuum robot, modification method of kinematic model of continuum robot, and control method of continuum robot
JP2020022730A (ja) * 2018-06-07 2020-02-13 グローバス メディカル インコーポレイティッド 自然基準を使用した共登録を提供するロボットシステムおよび関連方法
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
WO2023148812A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11819365B2 (en) 2012-06-21 2023-11-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013118047A1 (en) * 2012-02-06 2013-08-15 Koninklijke Philips Electronics N.V. Invisible bifurcation detection within vessel tree images
EP3524184B1 (en) 2012-05-14 2021-02-24 Intuitive Surgical Operations Inc. Systems for registration of a medical device using a reduced search space
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
CN104411226B (zh) * 2012-06-28 2017-01-18 皇家飞利浦有限公司 使用以机器人的方式操纵的内窥镜的增强的血管可视化
US9750575B2 (en) 2012-06-28 2017-09-05 Koninklijke Philips N.V. Evaluation of patency using photo-plethysmography on endoscope images
WO2014001977A2 (en) 2012-06-28 2014-01-03 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
EP3679881A1 (en) * 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
RU2692206C2 (ru) * 2013-05-09 2019-06-21 Конинклейке Филипс Н.В. Роботизированное управление эндоскопом на основе анатомических признаков
US11395702B2 (en) 2013-09-06 2022-07-26 Koninklijke Philips N.V. Navigation system
EP3102141B1 (en) 2014-02-04 2019-08-14 Koninklijke Philips N.V. A system for visualising an anatomical target
WO2015121764A1 (en) 2014-02-11 2015-08-20 Koninklijke Philips N.V. Spatial visualization of internal mammary artery during minimally invasive bypass surgery
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
WO2015149040A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional imaging of surgical scenes
KR102397670B1 (ko) 2014-03-28 2022-05-16 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템
WO2015149041A1 (en) 2014-03-28 2015-10-01 Dorin Panescu Quantitative three-dimensional visualization of instruments in a field of view
WO2016137612A1 (en) * 2015-02-26 2016-09-01 Covidien Lp Robotically controlling remote center of motion with software and guide tube
WO2017115227A1 (en) 2015-12-30 2017-07-06 Koninklijke Philips N.V. Image based robot guidance
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
WO2018104252A1 (en) 2016-12-07 2018-06-14 Koninklijke Philips N.V. Image guided motion scaling for robot control
US11123139B2 (en) * 2018-02-14 2021-09-21 Epica International, Inc. Method for determination of surgical procedure access
US10430949B1 (en) * 2018-04-24 2019-10-01 Shenzhen Keya Medical Technology Corporation Automatic method and system for vessel refine segmentation in biomedical images using tree structure based deep learning model
WO2020110278A1 (ja) 2018-11-30 2020-06-04 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
TWI835436B (zh) 2021-11-30 2024-03-11 美商安督奎斯特機器人公司 用於機器人手術系統的可轉向套管組件、其控制組件及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JP2002017752A (ja) * 2000-07-11 2002-01-22 Olympus Optical Co Ltd 内視鏡外科手術システム
JP2005503882A (ja) * 2001-10-02 2005-02-10 ネオガイド システムズ, インコーポレイテッド 操縦可能なセグメント化内視鏡および挿入法
JP2009279249A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器
US20100041949A1 (en) * 2007-03-12 2010-02-18 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
JP2010517633A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 中空臓器を通る3d経路計画のためのシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001054579A1 (en) * 2000-01-10 2001-08-02 Super Dimension Ltd. Methods and systems for performing medical procedures with reference to projective images and with respect to pre-stored images
ES2865048T3 (es) * 2002-04-17 2021-10-14 Covidien Lp Estructuras de endoscopio para navegar a un objetivo en una estructura ramificada
FR2855292B1 (fr) * 2003-05-22 2005-12-09 Inst Nat Rech Inf Automat Dispositif et procede de recalage en temps reel de motifs sur des images, notamment pour le guidage par localisation
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
RU2290055C2 (ru) * 2004-04-06 2006-12-27 Государственное образовательное учреждение высшего профессионального образования Новосибирская государственная медицинская академия Министерства здравоохранения Российской Федерации Нейронавигационная эндоскопическая система
US7646903B2 (en) * 2005-06-22 2010-01-12 Siemens Medical Solutions Usa, Inc. System and method for path based tree matching
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US7804990B2 (en) 2006-01-25 2010-09-28 Siemens Medical Solutions Usa, Inc. System and method for labeling and identifying lymph nodes in medical images
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US8672836B2 (en) 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
DE102008016146B4 (de) 2008-03-28 2010-01-28 Aktormed Gmbh Operations-Assistenz-System zur Führung eines chirurgischen Hilfsinstrumentes
JP5572440B2 (ja) * 2009-09-15 2014-08-13 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
US8696549B2 (en) * 2010-08-20 2014-04-15 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation in endoscopic applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
JP2002017752A (ja) * 2000-07-11 2002-01-22 Olympus Optical Co Ltd 内視鏡外科手術システム
JP2005503882A (ja) * 2001-10-02 2005-02-10 ネオガイド システムズ, インコーポレイテッド 操縦可能なセグメント化内視鏡および挿入法
JP2010517633A (ja) * 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 中空臓器を通る3d経路計画のためのシステム
US20100041949A1 (en) * 2007-03-12 2010-02-18 David Tolkowsky Devices and methods for performing medical procedures in tree-like luminal structures
JP2009279249A (ja) * 2008-05-23 2009-12-03 Olympus Medical Systems Corp 医療機器

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US11819283B2 (en) 2012-06-21 2023-11-21 Globus Medical Inc. Systems and methods related to robotic guidance in surgery
US11819365B2 (en) 2012-06-21 2023-11-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
JP2017508499A (ja) * 2014-01-24 2017-03-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ロボット手術のための連続画像統合
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11292123B2 (en) 2016-08-22 2022-04-05 Canon Kabushiki Kaisha Continuum robot, modification method of kinematic model of continuum robot, and control method of continuum robot
WO2018037931A1 (en) 2016-08-22 2018-03-01 Canon Kabushiki Kaisha Continuum robot, modification method of kinematic model of continuum robot, and control method of continuum robot
JP2020022730A (ja) * 2018-06-07 2020-02-13 グローバス メディカル インコーポレイティッド 自然基準を使用した共登録を提供するロボットシステムおよび関連方法
WO2023148812A1 (ja) * 2022-02-01 2023-08-10 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
WO2012035492A1 (en) 2012-03-22
CN103108602A (zh) 2013-05-15
CN103108602B (zh) 2015-09-30
JP5955847B2 (ja) 2016-07-20
US9615886B2 (en) 2017-04-11
EP2615993B1 (en) 2015-03-18
US20130165948A1 (en) 2013-06-27
US10182704B2 (en) 2019-01-22
EP2615993A1 (en) 2013-07-24
US20170209028A1 (en) 2017-07-27
RU2594813C2 (ru) 2016-08-20
RU2013116901A (ru) 2014-10-20
BR112013005879A2 (pt) 2016-05-10

Similar Documents

Publication Publication Date Title
JP5955847B2 (ja) 血管ツリー画像に基づく内視鏡のロボット制御
JP6251681B2 (ja) 血管ツリー画像の内視鏡的位置合わせ
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
US11452464B2 (en) Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images
US11284777B2 (en) Robotic control of an endoscope from anatomical features
US10772684B2 (en) Spatial visualization of internal mammary artery during minimally invasive bypass surgery
EP2866638B1 (en) Enhanced visualization of blood vessels using a robotically steered endoscope
JP2018521774A (ja) ボリュームイメージの対話型平面スライスからの内視鏡誘導
WO2012156873A1 (en) Endoscope segmentation correction for 3d-2d image overlay
CN104105439B (zh) 血管树图像内不可见的二分叉的检测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160615

R150 Certificate of patent or registration of utility model

Ref document number: 5955847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250