JP2014525765A - 内視鏡手術におけるガイド下注入のためのシステム及び方法 - Google Patents

内視鏡手術におけるガイド下注入のためのシステム及び方法 Download PDF

Info

Publication number
JP2014525765A
JP2014525765A JP2014515320A JP2014515320A JP2014525765A JP 2014525765 A JP2014525765 A JP 2014525765A JP 2014515320 A JP2014515320 A JP 2014515320A JP 2014515320 A JP2014515320 A JP 2014515320A JP 2014525765 A JP2014525765 A JP 2014525765A
Authority
JP
Japan
Prior art keywords
real
overlay map
target area
needle
workstation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014515320A
Other languages
English (en)
Other versions
JP6404713B2 (ja
Inventor
マンツケ,ローベルト
チャン,レイモンド
エルハワリー,ヘイザム
ポポヴィチ,アレクサンドラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2014525765A publication Critical patent/JP2014525765A/ja
Application granted granted Critical
Publication of JP6404713B2 publication Critical patent/JP6404713B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3478Endoscopic needles, e.g. for infusion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • A61B5/4839Diagnosis combined with treatment in closed-loop systems or methods combined with drug delivery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00115Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00243Type of minimally invasive operation cardiac
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00243Type of minimally invasive operation cardiac
    • A61B2017/00247Making holes in the wall of the heart, e.g. laser Myocardial revascularization
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2048Tracking techniques using an accelerometer or inertia sensor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/062Measuring instruments not otherwise provided for penetration depth
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Cardiology (AREA)
  • Endoscopes (AREA)

Abstract

誘導システム及び方法は、標的領域の画像データを術中に収集してリアルタイム画像を提供するように構成されたリアルタイム撮像装置(121)を含む。リアルタイム画像にレジストレーションされたオーバーレイマップ(111)を生成して、形態的な特徴情報を標的領域のリアルタイム画像内の対応する造形部上に投影するように、標的決定モジュール(108)が構成される。標的領域に対する手技を実行するために少なくとも1つの医療器具(122)が提供され、該少なくとも1つの医療器具は、手術タスクを実行することに適した領域まで、オーバーレイマップに基づいて誘導される。

Description

本開示は、医学的手技及びシステムに関し、より具体的には、ガイド下注入(guided injection)システム及び方法に関する。
冠動脈バイパス術(coronary artery bypass grafting;CABG)における心筋内幹細胞注入は心臓の再生に好影響を有する。低侵襲内視鏡CABG(MI−CABG)は、さもなければ開胸手術を受けなければならない多くの患者にとっての、有望で増加しつつある選択肢である。MI−CABG中の幹細胞又はその他のエージェント(作用因子)の心筋内注入は、治療の一部であり得るが、首尾良く実行するのは技術的に困難である。
MI−CABGにおけるエージェントの手動心筋内注入は、瘢痕、虚血若しくはその他の病変領域の広がり及び位置についての情報の欠如、並びに例えば心臓壁の厚さなどのその他の欠測データために難しい課題である。情報の欠如は、MI−CABG中に利用可能な術中撮像モダリティが内視鏡のみであることに部分的に起因している。
ガイド下注入のためのシステム及び方法を提供する。
本原理によれば、誘導システム及び方法は、標的領域の画像データを術中に収集してリアルタイム画像を提供するように構成されたリアルタイム撮像装置を含む。リアルタイム画像にレジストレーションされたオーバーレイマップを生成して、形態的な特徴情報を標的領域のリアルタイム画像内の対応する造形部上に投影するように、標的決定モジュールが構成される。標的領域に対する手技を実行するために少なくとも1つの医療器具が提供され、該少なくとも1つの医療器具は、手術タスクを実行することに適した領域まで、オーバーレイマップに基づいて誘導される。
ワークステーションは、プロセッサと、該プロセッサに結合されたメモリとを含む。標的領域の画像データを術中に収集してリアルタイム画像を提供するように、リアルタイム撮像装置が構成される。上記メモリに格納された標的決定モジュールが、ディスプレイ上でリアルタイム画像にレジストレーションされたオーバーレイマップを生成して、形態的な特徴情報を標的領域のリアルタイム画像内の対応する造形部上に投影するように構成される。標的領域に対する手技を実行するように少なくとも1つの医療器具が手動あるいは自動で制御され、該少なくとも1つの医療器具は、手術タスクを実行することに適した領域まで、オーバーレイマップに基づいて誘導される。
1つの方法は、患者の標的領域の関心特性を決定することと、標的領域をリアルタイム撮像してリアルタイム画像を提供することと、ディスプレイ上でリアルタイム画像にレジストレーションされるオーバーレイマップを生成して、形態的な特徴情報を標的領域のリアルタイム画像内の対応する造形部上に投影することと、オーバーレイマップに基づいて、手術タスクを実行することに適した領域まで少なくとも1つの医療器具が誘導されるよう、標的領域に対する手技を実行することとを含む。
添付の図面とともに読まれるべき、例示的な実施形態の以下の詳細な説明から、本開示の上述及びその他の課題、特徴及び効果が明らかになる。
以下、本開示は、以下の図を参照して好適実施形態を詳細に説明する。
例示的な一実施形態に従った組織特性のオーバーレイマップによる誘導用システム/方法を示すブロック/フロー図である。 例示的な一実施形態に従ったオーバーレイマップを示す内視鏡によって収集されたリアルタイム画像である。 例示的な他の一実施形態に従った誘導システム/方法を示すブロック/フロー図である。 例示的な他の一実施形態に従った複数の器具を用いて胸腔内で実行される手順を示す模式図である。 例示的な他の一実施形態に従ったオーバーレイマップに対する照準線を示すリアルタイム画像である。 例示的な他の一実施形態に従ったロボットを用いて胸腔内で実行される手順を示す模式図である。 例示的な他の一実施形態に従ったオーバーレイマップに対する標的記号を示すリアルタイム画像である。 例示的な他の一実施形態に従った標的組織の特性を同時に決定するためにロボット及び超音波撮像システムを用いて胸腔内で実行される手順を示す模式図である。 例示的な他の一実施形態に従った医療装置を配備するのに許容されない部位を有するオーバーレイマップを示すリアルタイム画像である。 例示的な他の一実施形態に従った組織特性のオーバーレイマップによる誘導用システム/方法を示すブロック/フロー図である。
本原理により、患者内の正確な位置に装置をガイド(誘導)する注入装置、システム及び方法、並びに、内視鏡画像内の解剖学的情報の検索及び視覚化のためのシステム及び方法が提供される。一実施形態において、タンポナーデ又はその他の深刻な事態を回避するために、局所的な心臓壁厚さ又はその他の病理に応じた制御された深さで延在あるいは配備されることが可能な注射針が使用される。注入装置は、重篤な合併症を回避するのに十分な医療介入者へのフィードバックを用いてガイドされて延在/配備される。
低侵襲冠動脈バイパス術(MI−CABG)及びその他の手技中に瘢痕位置及び組織厚についてのレジストレーションされたデータを与える内視鏡画像誘導システムが提供される。注入装置は、手動又はロボット制御の何れかで標的領域へと操舵されることができる。注射針は、標的領域内の組織厚の知識及びその視覚化に基づいて延進される。針及び注入器の半自動又は全自動の何れかでの作動(アクチュエーション)により、MI−CABG中の閉ループ式エージェント送達が可能である。エージェントは、幹細胞や薬物などを含み得る。
また、理解されるように、本発明は以下では医療器具に関して説明されるが、本発明の教示は、もっと広いものであり、複雑な生体系又は機械系を監視あるいは分析する際に使用される器具にも適用可能である。特に、本原理は、生体系の内部監視手順、例えば肺、心臓、消化管、排泄器官、血管などの体の全ての領域での手順に適用可能である。図に示される要素は、ハードウェア及びソフトウェアの様々な組合せにて実装されることができ、単一の要素又は複数の要素に結合され得る機能を提供する。
図に示される様々な要素の機能は、専用ハードウェア、及び適切なソフトウェアと協働してソフトウェアを実行することが可能なハードウェアの使用を介して提供され得る。プロセッサによって提供されるとき、それらの機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、あるいは一部が共用され得る複数の個別プロセッサによって提供される。また、“プロセッサ”又は“コントローラ”なる用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に意味するものと解釈されるべきでなく、以下に限られないが、デジタル信号プロセッサ(“DSP”)ハードウェア、ソフトウェアを格納する読み出し専用メモリ(“ROM”)、ランダムアクセスメモリ(“RAM”)、不揮発性ストレージなどを暗示的に含み得る。
また、発明の原理、態様及び実施形態、並びにその具体例を記載するここでの全ての記述は、構造的な均等物及び機能的な均等物の双方を包含することを意図したものである。さらに、そのような均等物は現在知られている均等物と将来的に開発される均等物(構造にかかわらず、同じ機能を果たす何らかの開発された要素)との双方を含むことが意図される。故に、例えば、当業者に認識されるように、ここに提示されるブロック図は、発明の原理を具現化する例示的なシステムコンポーネント及び/又は回路を概念的に見たものを表している。同様に、認識されるように、フローチャート、フロー図、及びそれらに類するものは、コンピュータ又はプロセッサが明示的に示されていようといなかろうと、事実上コンピュータ読み取り可能記憶媒体内に表現されてコンピュータ又はプロセッサによってそのように実行され得る様々な処理を表している。
また、本発明の実施形態は、コンピュータ使用可能あるいはコンピュータ読み取り可能な記憶媒体からアクセス可能なコンピュータプログラムの形態をとることができ、これは、コンピュータ又は何らかの命令実行システムによって使用され、あるいはそれとともに使用されるプログラムコードを提供する。この説明の目的で、コンピュータ使用可能あるいはコンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスによる使用又はそれと共にの使用のためにプログラムを含み、格納し、通信し、伝播し、あるいは輸送し得る如何なる装置であってもよい。媒体は、電子媒体、磁気媒体、光媒体、電磁気媒体、赤外線媒体、半導体システム(若しくは装置、デバイス)、又は伝搬媒体とし得る。コンピュータ読み取り可能媒体の例には、半導体メモリ若しくはソリッドステートメモリ、磁気テープ、取り外し可能コンピュータディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、リジッドな磁気ディスク及び光ディスクがある。光ディスクの現行例には、コンパクトディスク型読み出し専用メモリ(CD−ROM)、リード/ライト型コンパクトディスク(CD−R/W)、及びDVDがある。
以下、図面を参照する。図において、同一あるいは同様の要素は、似通った参照符号によって表すこととする。先ず図1を参照するに、本原理に従って医学的手技を実行するためのシステム100が例示されている。システム100は、手技を管理監督するワークステーション又はコンソール112を含み得る。ワークステーション112は好ましくは、1つ以上のプロセッサ114と、プログラム及びアプリケーションを格納するメモリ116とを含む。メモリ116は、医療器具の誘導用のプログラム/アプリケーション/データや、病理マップ及び関連データや、撮像情報などを格納し得る。
システム100は、画像データを集める内視鏡又はその他の装置120を含み得る。装置120は、リアルタイム画像データを提供する撮像システム121(例えば、カメラ)を含み得る。内視鏡120は、手技中に明かりを提供する光源を含み得る。標的組織又は器官140の手技(例えば、MI−CABG手順)において標的病変位置のレジストレーション(位置整合)されたデータ(又は、例えば組織厚などのその他の特性)を術前投影あるいは術中投影するために、撮像システム110が使用され得る。撮像システム110は、以下に限られないが、コンピュータ断層撮影、磁気共鳴撮像、X線、X線血管造影などを含み得る。
レジストレーションされたデータは好ましくはリアルタイム画像とレジストレーションされ、レジストレーションされたデータとリアルタイム画像とが共に表示される。レジストレーションされたデータはマップを含み得る。
手技を実行する医療装置122は、針、カテーテル、電極、内視鏡などを含み得る。一実施形態において、装置122は、内視鏡120によって配備されるか内視鏡120とは別に配備されるかし得る注入装置を含む。注入装置122は好ましくは、ロボット制御あるいは手動で標的領域140へと操舵可能である。注入装置122は、注射針124又は同様の装置を含むとともに、制御された延進機構126を有している。注射針124は、標的領域140内の組織厚や剛性特性(脂肪質の浸潤物、腫瘍、線維性瘢痕などの存在に依存して変化し得る)を含め、形態学、組成、生理的機能及び力学の知識に基づいて延進される。このような情報はデータベース130内あるいはメモリ116内に格納される。
閉ループエージェント送達システム又はロボット132(例えば、MI−CABG用)も含められ得る。送達システム132は、延進機構126、注入装置122、及び針124を含み得る。他の構成も企図される。送達システム132は、医師による手動操作のための視覚的な表示、可聴式フィードバック又はその他の触覚的な合図、及び/又は(半)自動化制御又は自動制御の何れかの選択肢を使用し得る。送達システム132は、(例えば、内視鏡120内のワーキングチャネルを用いて)内視鏡120とともに使用されてもよいし、(例えば、別の器具ポートを介して)内視鏡120とは別に使用されてもよい。
一実施形態によれば、例えば心臓などの標的領域140が、病理学的/形態学的/生理学的マッピングの対象とされ得る。マッピングは、1つ以上の医用撮像装置又はシステム110の使用を含み得る。撮像システム110は例えば、磁気共鳴撮像(MRI)システム、フルオロスコピーシステム、コンピュータ断層撮影(CT)システムなどを含み得る。マッピングは、標的領域140に関する情報を発見して保管するために、先験的あるいは術中に取得され得る。この情報は、標的領域内の組織厚や剛性特性(脂肪質の浸潤物、腫瘍、線維性瘢痕組織などの存在に依存して変化し得る)を含め、形態学、組成、生理的機能、及び力学を含み得る。このマッピングは、メモリ116及び/又はデータベース130に格納される。
注入装置122は例えば、カテーテル、ガイドワイヤー、内視鏡、プローブ、ロボット、電極、濾過装置、バルーン装置、又はその他の医用コンポーネントなどを含み得る。注入装置122は、マッピング情報に従って延進されるように配備され得る針124を含んでいてもよい。なお、注入装置122と内視鏡120は、1つのユニットとして使用されてもよいし、別々のユニットとして使用されてもよい。上述のものに加えて、あるいは代えて、その他の器具及び道具が使用されてもよい。
ワークステーション112は、被検体の内部画像を見るためのディスプレイ118を含むことができ、ディスプレイ118はまた、ユーザがワークステーション112並びにそのコンポーネントや機能とインタラクトすることを可能にし得る。これは、インタフェース115によって更に容易にされ得る。インタフェース115は、キーボード、マウス、ジョイスティック、又はワークステーション112とのユーザインタラクションを可能にするその他の周辺機器若しくは制御具を含み得る。
撮像システム110は、術前の撮像データ及び/又はリアルタイム術中撮像データを収集するために設けられ得る。術前撮像は、手技に先だって、別の施設や位置などで実行されてもよい。これらの3D画像は、形態マップ111に変換されて、メモリ116及び/又はデータベース130に格納され得る。
特に有用な実施形態において、装置120は、例えば心臓といった標的領域140を観察するために使用され得る。標的領域140は、病変、損傷部位、物体、又はその他の標的機構を含み得る。手技中において、事前あるいは同時に収集された形態学的情報を用いて、撮像装置121によって収集されるリアルタイム画像に重ね合わされてディスプレイ118上で描写されること可能な仮想的な形態画像が生成される。この仮想画像が術中撮像データとレジストレーションされることで、操作を実行するために必要な情報がユーザに提供される。例えば、ユーザによって選択あるいはプログラムされるように質感又は色を用いて特定の特性を表示することによって、組織厚、瘢痕組織位置、組織密度などが仮想画像内で指し示されることになる。
メモリ116は、標的(ターゲット)決定モジュール108を含んでいる。標的決定モジュール108は、メモリ116又はデータベース130に格納されたマッピング情報に基づいて、手術処置を実行し得る1つ又は複数の位置を計算する。手技の最適化のために、以前の症例からの専門知識がデータベース130内にエンコードされ得る。例えば、装置122がアブレーション電極を含む場合、例えば組織が焼灼されるべき部位である手術処置部位として手動あるいはロボット制御でアライメントの目標とされ得る標的が、形態データに基づいて、仮想画像内で生成され得る。手技を進める誘導ツールとしての役割を仮想画像が果たすよう、ディスプレイ118を用いて、仮想画像とリアルタイム画像との双方が表示され得る。
本システム100の他の一態様は、手技中に(例えば、注射針124を配備するときに)装置122によって避けられるべき、あるいは避けられなければならないクリティカルな生体構造が存在する高リスク領域に対応する危険ゾーン144の視覚描写を提供することを含む。これらの構造は、手技前の撮像からの、あるいは内視鏡で視覚化される患者固有座標空間にマッピングされることが可能な解剖学的ライブラリからの、患者固有情報に基づいて特定されることができる。このマッピングは、自動的に実行されてもよいし、あるいはインタフェース115を用いて手動で実行されてもよい。例えば、医師又はその他のユーザが、画像にアクセスして、避けられる必要がある敏感あるいはクリティカルな領域の上に画像又は画素マップを重ね合わせ得る。
危険ゾーン情報144は、コンピュータ支援による経路プランニング及び手技の最適化への入力として使用される手順信頼性/複雑性空間マップに組み込まれ得る。一実施形態において、照準線又はその他の標的記号がこれらの危険ゾーン領域と一致するとき、警告灯、警告音又はその他の警告機構141がトリガーされて、装置(例えば、針)がその位置を狙い撃つべきでないことを医師に警告し得る。
特に有用な一実施形態において、何らかの装置又は全ての装置(例えば、注入器、針、内視鏡、補助センシングプローブなど)のロボット作動の閉ループ制御に基づいて、経路プランが半自動的あるいは自動的に実行され得る。一実施形態において、針124などを有する装置122を適所に位置付けるように、ロボット132が手動制御あるいは自動制御される。ロボット132は、手技を実行するのに最良の領域を決定するために、メモリ116に格納されたマップ111を使用し得る。標的決定モジュール108が、自動的に決定された、あるいはユーザによって手動作成された危険ゾーンマップ144(及びその他のマップ)を用いて、最良の領域を計算する。ロボット132を使用して、注入装置122が或る位置に誘導され、深さ又は力のフィードバックに従って針124が配備され得る。ロボット132は、手技の実行に受け入れ可能な位置をモジュール108が決定するための組織データを含むマップ111からの情報と、延進機構126とを用いて、注入装置122を位置決めするように制御され得る。ロボット132は、注入装置122を適切な位置に誘導して、針124を発射する。理解されるように、誘導及び発射のタスクは、ユーザによる手動的な支援とともに用いられてもよい。例えば、ユーザが発射はしないが誘導を行ってもよく、あるいはその逆であってもよい。
ロボット又は閉ループシステム132は、深さ及び力の情報を測定することができ、これらを針124の注入深さを制御するためのフィードバックとして使用し得る。力はセンサ123によって測定されることができ、深さは、注入装置122内あるいはその他のコンポーネント内のモータ/サーバ125の並進移動によって測定されることができる。力、深さ、又はその他のパラメータは、手技中にユーザを支援するために、ディスプレイ118上にリアルタイムで表示され得る。
本システム100は、心臓介入以外にも拡張されて、その他の手技にも適用され得る。例えば、本原理は、内視鏡ガイド下での構造的心臓手技(例えば、弁修復術、卵円孔開存閉鎖術など)、心臓再同期療法のための内視鏡ガイド下での心外膜電極リード置換術、内視鏡ガイド下での心外膜切除術、内視鏡ガイド下での腹部介入、自然開口部越経管腔的内視鏡手術(Natural Orifice Translumenal Endoscopic Surgery;NOTES)、インターベンショナル腫瘍学、インターベンショナル神経放射線学、介入式痛み手技などに適用される。
図2を参照するに、内部標的画像200が、カメラを備えた内視鏡によって撮像された心臓202の斜視図を示している。この実施形態は、心臓202の上、又は心臓202の一部の上へのデジタルオーバーレイ204を提供するシステム/方法を記述するものである。一例において、オーバーレイ204は、選択された領域についての、心臓壁厚さ、瘢痕/虚血、又はその他の病理学的情報を指し示す。壁の厚さ又はその他の特性は、テクスチャ、色、陰影、又はその他の視覚効果(閃光、点滅、色変化、アニメーションなど)によって指し示され得る。有利には、仮想画像204内の情報が直接的に心臓202の位置と一致することを確保するよう、仮想画像204は心臓202にレジストレーション(位置整合)される。仮想画像204は好ましくは、図2に示されるような術中リアルタイム内視鏡画像の上に重ね合わせて示される。斯くして、臨床医/医師が手技に関してリアルタイムで決定を行うことに、直接的なガイダンスデータが利用可能になる。仮想画像204は好ましくは、ライブデータのフレームごとに更新される。
レジストレーション法(例えば、基準マーカーを使用する、原点を規定する、等々)を用いることにより、内視鏡の座標系と術前3D画像との間での変換が確立される。術前3D画像は、例えば、コンピュータ断層撮影(CT)、磁気共鳴(MR)、陽電子放出型断層撮影(PET)、又はその他の撮像技術を含み得る。内視鏡画像内で見られる心臓202の表面が、例えば、オーバーレイ204によって指し示される壁厚情報を用いて強調される。許容可能な針深さが決定され、その針深さを受け入れることができる位置が注入のために選択され得る。厚さは、位置に伴って変化する厚さを示すように、相関付けられた色及び色調で指し示され得る。目の前の介入に関連するその他の形態的/組織的/機能的な情報も同様にして視覚化され得る。なお、仮想画像204内に2つ以上の特性が存在してもよい。例えば、壁厚がその変化を示すために色のスペクトルに頼る一方で、瘢痕組織がクロスハッチング領域によって指し示され得る。
図3を参照するに、本原理に従った視覚撮像の利益を活用する1つの方法が例示されている。ブロック302にて、3D医療撮像検査(CT、MRI、超音波(US)など)から再構成された3D心臓表面から、例えば心臓壁厚さといった関心ある特性が測定される。これは、手技に先立って行われてもよいし、場合により同時に実行されてもよい。それは、収集される情報の種類、及び利用可能な撮像ツールやその他のツールの種類に依存する。ブロック304にて、上記撮像検査からの瘢痕/虚血/病理学的領域などが、収集された情報から検出される。これらの特徴は、標的領域の表面のマッピングの一翼を担うものであるが、後述のように、これらの特徴をレジストレーションするための道標でもある。
ブロック306にて、標的領域をリアルタイム撮像するために、内視鏡又はその他の撮像装置が患者内に導入される。標的領域の画像が収集される。ブロック308にて、標的領域の実画像との画像マップ(仮想画像)のレジストレーションにより、内視鏡/標的表面の変換が確立される。これは、1つ又は複数の異なるレジストレーション技術を用いて実行され得る。これらの技術は、マップデータ内で収集された身体的特徴を仮想画像と相関付けること等々を用い得る。
ブロック310にて、レジストレーションが提供され、仮想画像内の各画素との特徴の関連付けが為され得る。例えば、測定された特性及び上記変換を用いて、内視鏡画像の画素ごとに心臓の壁厚が確立され得る。ブロック312にて、測定された特性及び上記変換を用いて、瘢痕領域の位置又はその他の特徴が内視鏡画像内で確立され得る。ブロック314にて、仮想画像又はマップ情報を内視鏡画像上に重ね合わせることによって、レジストレーションされた仮想画像/内視鏡画像が視覚化される。
図4を参照するに、器具ポートを通して配備される針注入の手技が模式図にて例示されている。この実施形態は、図2及び3を参照して説明した実施形態の一拡張である。内視鏡402が患者内に挿入される。さらに、他の器具406、408が使用され得る。更なる器具406、408は、内視鏡402用の器具ポート411とは異なる入口点又は器具ポート410を通して患者の胸腔内に挿入され得る。
引き続き図4を参照しながら図5を参照するに、器具ポート410又は411の位置が内視鏡402に対して既知である(例えば、横方向、同心、固定された既知の機械的結合を用いて、等々)とすると、内視鏡画像420内の解剖学的構造416上への器具ポート410、411の軸の投影を指し示す照準線412又はその他のマークを、画像420上に重ね合わせることができる。これは、内視鏡402内あるいはその他の器具ポート410内の通路内に例えば針などの器具が挿入された場合に、該器具の予期される軌道を指し示すことになる。
画像420はまた、図2を参照して説明したマップ204を含んでいる。オーバーレイ204内のオーバーレイデータを用いて手術部位を選択し且つ照準線412を用いて器具の狙いを定めることができるように、マップ204及び照準線412は同時に表示され得る。
図6を参照するに、他の一実施形態は、内視鏡502がロボット504によって保持される場合に特に有用である。関心領域506が現在の内視鏡ビュー内で視認可能でない場合、マップ又は術前画像内で提供される表面情報と、上述のレジストレーションから得られる心臓表面とロボットとの間の既知の幾何学関係とを用いて、内視鏡502がロボット504によって操舵され得る。さらに、視覚的サービス方法を用いてロボット504を操舵することができ、壁厚又は虚血/瘢痕/病理学的組織の領域が、術前画像上でレジストレーションを介して特定されて、ロボット504を所望の位置に動かすために使用され得る。
他の一実施形態は、器具ポートを通して配備される注射針508を含む。注射針508は、ロボット制御でガイドされる内視鏡502のワーキングチャネルを通して配備され、あるいは、剛性の機械結合を用いてロボット式内視鏡502に対して空間的に校正され得る。注射針508は、内視鏡画像を用いてガイドされ、ロボット504により配備され得る。ロボット504は針508又はその他の器具の挿入深さを正確に制御することができるので、この方法は針の配置の精度を有意に向上させ得る。
引き続き図6を参照しながら図7を参照するに、内視鏡画像600は、その上に仮想画像204を重ねられて、例えば心臓などの標的領域416を描写している。器具ポート位置が、注入部位として照準線又はその他のマーク602を与えている。標的602は、デジタル的に画像600上に描写されて、手動制御あるいはロボット制御による針の前進がどこで行われるべきかを視覚的に指し示すインジケーションを提供する。ユーザが挿入点602及び挿入深さを選択し、ロボット504を用いて針508又はその他のツールが配備され得る。そして、ユーザによって注入が実行され得る。
他の一実施形態において、ロボット504は針508を位置付け且つ方向付けることができ、挿入/配備は外科医によって実行される。針508が挿入されているとき、ロボット又はロボットシステム504は、例えばモータエンコーダから、挿入深さを検知することができ、これが、ワークステーション(図1の112)によって処理されて、ディスプレイ(118)で内視鏡画像600に重ね合わされ得る。ディスプレイ(118)は、外側の心臓表面や内側の心臓表面からの針508の距離、又は計画された深さからの距離を含み得る。
更なる他の一実施形態において、ロボット504は、針508を挿入することができ、あるいは、外科医が器具を心臓表面に導入するために針508を方向付けることができる。一例において、異なる組織の層を針508が通過するときを検出するために、組織の偏位を測定する例えば力センサ又は歪み/形状センサなどのセンサ512が使用される。組織の剛性が増大あるいは低減するとき、この情報がワークステーション(112)によって処理されて、内視鏡画像600上あるいはディスプレイのその他の領域上にオーバーレイあるいは表示され得る。この力の情報はまた、抵抗力の特定の変化又は値までロボットが針を駆動する閉ループシステムの一部として使用されることができる。
図8を参照するに、他の一実施形態において、組織特性又は組織マップは術中に取得され得る。例えば、手術中に超音波測定を用いて心臓壁701の厚さが取得され得る。超音波測定は、超音波プローブ702を導入して超音波画像を収集することによって得ることができる。
理解されるように、その他の撮像技術も使用され得る。例えば、形態的/機能的調査用の装置702は、超音波技術に代えて、あるいは加えて、例えば拡散光トモグラフィ、光コヒーレンストモグラフィ、光音響、放射線カウント検出(例えば、小型ガンマカメラ)などの、撮像又はスペクトロスコピーを用いた調査に基づいてもよい。
この例において、超音波画像は、例えばプローブ、カメラ、トランスデューサ素子などの第2の撮像装置(例えば、内視鏡内に担持される)によって同時に取得される内視鏡画像とマッチングされ得る。撮像装置画像が、それら同士の間の空間的関係及び内視鏡カメラ投影に対する空間的関係を決定するために校正される。厚さ及びそれに類するものの超音波測定方法は技術的に知られている。例えば、単純なAモードUSを用いて、壁厚を指し示すものとして使用されることが可能な心臓の外表面の反射を検出することができる。
装置(例えば、針)の配置を容易にするため、超音波測定から得られる厚さ情報が内視鏡画像上に表示されるべきである。超音波装置702が心臓表面701上を動くとき、超音波装置702は、技術的に知られた写真測量法を用いて、内視鏡画像上で追跡されることができる。故に、画像に対する装置702の位置が分かり、例えば図2に示したように測定データを重ね合わせることができる。
図9を参照するに、例示的な内視鏡画像802が示されている。画像802は、心臓804と、注射針などが避ける必要があるクリティカルな生体構造が存在する高リスク領域に対応する危険ゾーン806及び808との視覚的な描写を含んでいる。これらの構造又は領域806、808は、手技前の撮像からの、あるいは内視鏡で視覚化される患者固有座標空間にマッピングされることが可能な、そのような情報の解剖学的ライブラリからの、患者固有情報に基づいて特定されることができる。領域806及び808は、医師又はその他のユーザによる視覚化を可能にするためにディスプレイ(例えば、図1のディスプレイ118)に表示されるべき心臓表面804(又は、その他の器官若しくは組織の表面)上にデジタル的にマッピングされ得る。危険ゾーン806、808に関する情報は、コンピュータ支援による経路プランニング及び手技の最適化への入力として使用され得る手順信頼性/複雑性空間マップ内で使用され得る。経路プランは、手技で使用されるツールのロボット作動機構の制御に基づいて(半)自動化されたプロセスで実行され得る。
図10を参照するに、他の一実施形態に従った装置誘導のための方法が示されている。ブロック902にて、患者の標的領域に関して、関心ある特徴が決定あるいは測定される。これらの特性は、如何なる特徴であってもよく、例えば、組織厚、瘢痕組織位置、組織密度などを含み得る。ブロック904にて、標的領域のリアルタイム撮像が実行され、リアルタイム画像が提供される。リアルタイム画像は、後述のようなオーバーレイの背景画像又はベース画像として作用することになる。
ブロック906にて、オーバーレイマップが生成され、且つ、オーバーレイマップが、標的領域のリアルタイム画像内の対応するフィーチャ(造形部)上に形態的な特徴情報を投影するよう、ディスプレイ上のリアルタイム画像又はその他の描写物にレジストレーションされる。形態的な特徴情報は、撮像システムを用いて術前あるいは術中に標的領域から収集され得る。オーバーレイマップは、撮像されている対応する組織に関する情報を指し示す画素値を含む。斯くして、測定された特徴値をオーバーレイマップが指し示すことで、医師、その他のユーザ、又はコンピュータ装置は、手技を実行するのに最良の1つ又は複数の位置を決定することができる。ブロック908にて、オーバーレイマップは、形態的な特徴情報の変化を指し示すよう、色またはテクスチャの変化やアニメーションなどを含み得る。ブロック910にて、オーバーレイマップは、装置の狙いを定めることを支援するよう、許容可能な注入部位及び/又はターゲット若しくは照準線を表示することを含み得る。ブロック912にて、オーバーレイマップは、注入が行われるべきでない危険ゾーンを表示し得る。
ブロック914にて、オーバーレイマップに基づいて少なくとも1つの医療器具が手術タスクを実行するのに適した領域まで誘導されるよう、標的領域についての手技が実行される。標的領域は心臓を含むことができ、形態的な特徴情報は心臓の壁厚及び瘢痕組織のうちの少なくとも一方を含むことができ、手技を実行するステップは、ブロック916で針を標的領域まで操舵することと、ブロック918でオーバーレイマップに従って標的領域内に針を配備することとを含むことができる。
ブロック920にて、手技は医療器具の標的領域へのロボット誘導を含むことができ、オーバーレイマップを用いて、手術可能な部位への誘導が制御される。ロボットはまた、オーバーレイマップに従って器具を配備するために使用され得る。一実施形態において、ユーザが少なくとも1つの医療器具の向き及び深さを計画し、ロボットがこの少なくとも1つの医療器具を器官内に挿入し得る。他の一実施形態において、ユーザが医療器具の向き及び深さを計画し、ロボットが該器具を方向付け、ユーザが該器具(例えば、針)を挿入し、ロボットシステムが深さを測定し、そして、撮像装置/視覚化システムが現在深さをリアルタイムに示してもよい。更なる他の一実施形態において、ユーザが器具の向き及び深さを計画し、ロボットが該器具を方向付け、ユーザが該器具(例えば、針)を挿入し、ロボットシステムが力センサにより力を測定し、そして、視覚化システムが現在の挿入力をリアルタイムに示してもよい。他の一実施形態においては、ユーザが器具の向き及び深さを計画し、ロボットが該器具を方向付けて挿入し、ロボットシステムが力センサにより力を測定し、そして、リアルタイムの力情報を用いて深さを制御するように、閉ループ制御システム内で力情報が使用される。他の組み合わせに係るロボット制御と手動との協働も企図される。
ブロック922にて、少なくとも1つの医療器具の狙いを定める照準線又はその他の記号がリアルタイム画像内に生成されることができ、オーバーレイマップによって指し示されるリスク領域を照準線が向いているときには警告が発せられ得る。
添付の特許請求の範囲を解釈するに当たって理解されるべきことには、
a)用語“有する”は、所与の請求項に列挙された要素又はステップ以外の要素又はステップの存在を排除するものではなく、
b)要素の前の不定冠詞“a”又は“an”は、そのような要素が複数存在することを排除するものではなく、
c)請求項中の如何なる参照符号もその範囲を制限するものではなく、
d)複数の“手段”が、同一のアイテム、ハードウェア、ソフトウェア実装構造又は機能によって表されていることがあり、
e)特に指し示していない限り、ステップ群の特定の順序を必須とするものではない。
内視鏡手術中のガイド下注入のためのシステム及び方法に関して好適実施形態(例示的なものであり、限定的なものではない)を説明してきたが、以上の教示を受けた当業者によって変更及び変形が為され得る。故に、理解されるように、本開示に係る特定の実施形態において変形が為され得るが、それは添付の特許請求の範囲にまとめた開示の実施形態の範囲内でのものである。以上では特許法によって要求される詳細事項を説明したが、特許証による保護を望むものは添付の特許請求の範囲に記載されたものである。
MI−CABGにおけるエージェントの手動心筋内注入は、瘢痕、虚血若しくはその他の病変領域の広がり及び位置についての情報の欠如、並びに例えば心臓壁の厚さなどのその他の欠測データために難しい課題である。情報の欠如は、MI−CABG中に利用可能な術中撮像モダリティが内視鏡のみであることに部分的に起因している。
Korn等による“COMPUTER-ASSISTED IDENTIFICATION AND TREATMENT OF AFFECTED ORGAN TISSUE”という発明名称の米国特許出願公開第2011/0087088号は、核医学画像検査を用いるコンピュータ支援プロセスに関する。Niemeyer等による“CAMERA REFERENCED CONTROL IN A MINIMALLY INVASIVE SURGICAL APPARATUS”という発明名称の米国特許第7155315号は、強化されたテレプレゼンス及び遠隔手術システムに関する。Yanof等による“TACTILE FEEDBACK AND DISPLAY IN A CT IMAGE GUIDED ROBOTIC SYSTEM FOR INTERVENTIONAL PROCEDURES”という発明名称の米国特許出願公開第2003/0097060号は、被検体に画像ガイド下での医学的手技を行うことに関する。Fischer等による“APPARATUS AND METHODS FOR MRI-COMPATIBLE HAPTIC INTERFACE”という発明名称の国際公開第2011/057260号は、オペレータに触覚フィードバックを提供し且つオペレータから位置コマンドを受信するマスターロボット/触覚装置に関する。
ワークステーション112は、被検体148の内部画像を見るためのディスプレイ118を含むことができ、ディスプレイ118はまた、ユーザがワークステーション112並びにそのコンポーネントや機能とインタラクトすることを可能にし得る。これは、インタフェース115によって更に容易にされ得る。インタフェース115は、キーボード、マウス、ジョイスティック、又はワークステーション112とのユーザインタラクションを可能にするその他の周辺機器若しくは制御具を含み得る。

Claims (35)

  1. 標的領域の画像データを術中に収集してリアルタイム画像を提供するように構成されたリアルタイム撮像装置と、
    前記リアルタイム画像にレジストレーションされたオーバーレイマップを生成して、形態的な特徴情報を前記標的領域の前記リアルタイム画像内の対応する造形部上に投影するように構成された標的決定モジュールと、
    前記標的領域に対する手技を実行する少なくとも1つの医療器具であり、手術タスクを実行することに適した領域まで前記オーバーレイマップに基づいて誘導される少なくとも1つの医療器具と、
    を有する誘導システム。
  2. 前記リアルタイム撮像装置は、カメラを備えた内視鏡を含む、請求項1に記載のシステム。
  3. 前記標的領域は心臓を含み、前記形態的な特徴情報は心臓の壁厚及び瘢痕組織のうちの少なくとも一方を含む、請求項1に記載のシステム。
  4. 前記オーバーレイマップは、心臓の壁厚及び瘢痕組織のうちの前記少なくとも一方の変化を指し示す色の変化及びテクスチャの変化のうちの一方を含む、請求項3に記載のシステム。
  5. 前記少なくとも1つの医療器具は針を含み、前記オーバーレイマップは許容可能な注入部位を示す、請求項1に記載のシステム。
  6. 前記少なくとも1つの医療器具は針を含み、前記オーバーレイマップは注入が行われるべきでない危険ゾーンを示す、請求項1に記載のシステム。
  7. 前記少なくとも1つの医療器具は、ロボットを用いて誘導され、該ロボットは前記オーバーレイマップに基づいて制御される、請求項1に記載のシステム。
  8. 前記ロボットは前記少なくとも1つの医療器具を器官内に挿入する、請求項7に記載のシステム。
  9. 前記ロボットは前記少なくとも1つの医療器具の針の挿入深さを測定し、ディスプレイが現在の挿入深さをリアルタイムに指し示す、請求項7に記載のシステム。
  10. 前記ロボットは、力センサを用いて、前記少なくとも1つの医療器具の針の挿入力を測定し、ディスプレイが現在の挿入力をリアルタイムに指し示す、請求項7に記載のシステム。
  11. 前記挿入力についての情報が、挿入深さを制御するために、閉ループ制御システム内で使用される、請求項10に記載のシステム。
  12. 前記形態的な特徴情報は、撮像システムを用いて術前あるいは術中に前記標的領域から収集される、請求項1に記載のシステム。
  13. プロセッサと、
    前記プロセッサに結合されたメモリと、
    標的領域の画像データを術中に収集してリアルタイム画像を提供するように構成されたリアルタイム撮像装置と、
    前記メモリに格納され、且つ、ディスプレイ上で前記リアルタイム画像にレジストレーションされたオーバーレイマップを生成して、形態的な特徴情報を前記標的領域の前記リアルタイム画像内の対応する造形部上に投影するように構成された、標的決定モジュールと、
    前記標的領域に対する手技を実行するように手動あるいは自動で制御される少なくとも1つの医療器具であり、手術タスクを実行することに適した領域まで前記オーバーレイマップに基づいて誘導される少なくとも1つの医療器具と、
    を有するワークステーション。
  14. 前記リアルタイム撮像装置は、カメラを備えた内視鏡を含む、請求項13に記載のワークステーション。
  15. 前記標的領域は心臓を含み、前記形態的な特徴情報は心臓の壁厚及び瘢痕組織のうちの少なくとも一方を含む、請求項13に記載のワークステーション。
  16. 前記オーバーレイマップは、心臓の壁厚及び瘢痕組織のうちの前記少なくとも一方の変化を指し示す色の変化及びテクスチャの変化のうちの一方を含む、請求項15に記載のワークステーション。
  17. 前記少なくとも1つの医療器具は針を含み、前記オーバーレイマップは許容可能な注入部位を示す、請求項13に記載のワークステーション。
  18. 前記少なくとも1つの医療器具は針を含み、前記オーバーレイマップは注入が行われるべきでない危険ゾーンを示す、請求項13に記載のワークステーション。
  19. 前記少なくとも1つの医療器具は、ロボットを用いて誘導され、該ロボットは前記オーバーレイマップに基づいて制御される、請求項13に記載のワークステーション。
  20. 前記ロボットは、前記少なくとも1つの医療器具の針を器官内に挿入し、且つ該針の挿入深さ及び挿入力のうちの少なくとも一方を測定する、請求項19に記載のワークステーション。
  21. 前記挿入深さ及び挿入力のうちの前記少なくとも一方をディスプレイがリアルタイムに指し示す、請求項20に記載のワークステーション。
  22. 前記挿入力についての情報が、挿入深さを制御するために、閉ループ制御システム内で使用される、請求項20に記載のワークステーション。
  23. 前記形態的な特徴情報は、撮像システムを用いて術前あるいは術中に前記標的領域から収集される、請求項13に記載のワークステーション。
  24. 前記標的決定モジュールは、前記少なくとも1つの医療器具の狙いを定める照準線を前記リアルタイム画像内に生成する、請求項13に記載のワークステーション。
  25. 前記オーバーレイマップによって指し示される危険領域を前記照準線が向いているときに警告を提供するように構成された警告機構、を更に有する請求項24に記載のワークステーション。
  26. 患者の標的領域の関心特性を決定し、
    前記標的領域をリアルタイム撮像してリアルタイム画像を提供し、
    ディスプレイ上で前記リアルタイム画像にレジストレーションされるオーバーレイマップを生成して、形態的な特徴情報を前記標的領域の前記リアルタイム画像内の対応する造形部上に投影し、
    前記オーバーレイマップに基づいて、手術タスクを実行することに適した領域まで少なくとも1つの医療器具が誘導されるよう、前記標的領域に対する手技を実行する、
    ことを有する方法。
  27. 前記標的領域は心臓を含み、前記形態的な特徴情報は心臓の壁厚及び瘢痕組織のうちの少なくとも一方を含み、
    前記手技を実行するステップは、
    針を前記標的領域まで操舵することと、
    前記オーバーレイマップに基づいて前記標的領域内に前記針を配備することと
    を含む、
    請求項26に記載の方法。
  28. 前記オーバーレイマップを生成することは、形態的な特徴情報における変化を指し示す色の変化及びテクスチャの変化のうちの一方を含むように前記オーバーレイマップを生成することを含む、請求項26に記載の方法。
  29. 前記オーバーレイマップを生成することは、許容可能な注入部位を表示することを含む、請求項26に記載の方法。
  30. 前記オーバーレイマップを生成することは、注入が行われるべきでない危険ゾーンを表示することを含む、請求項26に記載の方法。
  31. 前記手技を実行することは、手術可能な部位への誘導を制御するために前記オーバーレイマップを用いて、前記少なくとも1つの医療器具を前記標的領域までロボットで誘導することを含む、請求項26に記載の方法。
  32. 前記形態的な特徴情報は、撮像システムを用いて術前あるいは術中に前記標的領域から収集される、請求項26に記載の方法。
  33. 前記少なくとも1つの医療器具の狙いを定める照準線を前記リアルタイム画像内に生成し、前記オーバーレイマップによって指し示される危険領域を前記照準線が向いているときに警告する、ことを更に有する請求項26に記載の方法。
  34. 前記リアルタイム撮像することは、前記少なくとも1つの医療器具によって達成された挿入深さ及び挿入力のうちの少なくとも一方を画像化することを含む、請求項26に記載の方法。
  35. 前記挿入力についての情報が、挿入深さを制御するために、閉ループ制御システム内で使用される、請求項34に記載の方法。
JP2014515320A 2011-06-17 2012-06-11 内視鏡手術におけるガイド下注入のためのシステム及び方法 Active JP6404713B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161498062P 2011-06-17 2011-06-17
US61/498,062 2011-06-17
PCT/IB2012/052940 WO2012172474A1 (en) 2011-06-17 2012-06-11 System and method for guided injection during endoscopic surgery

Publications (2)

Publication Number Publication Date
JP2014525765A true JP2014525765A (ja) 2014-10-02
JP6404713B2 JP6404713B2 (ja) 2018-10-17

Family

ID=46514716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014515320A Active JP6404713B2 (ja) 2011-06-17 2012-06-11 内視鏡手術におけるガイド下注入のためのシステム及び方法

Country Status (5)

Country Link
US (1) US11304686B2 (ja)
EP (1) EP2720636B8 (ja)
JP (1) JP6404713B2 (ja)
CN (1) CN103619278B (ja)
WO (1) WO2012172474A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019515719A (ja) * 2016-03-31 2019-06-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 腫瘍吸引のための画像誘導ロボットシステム
JP2021510110A (ja) * 2018-01-10 2021-04-15 コヴィディエン リミテッド パートナーシップ 外科用ポートの配置のためのガイダンス
JP2021518243A (ja) * 2018-03-17 2021-08-02 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法
JP6951811B1 (ja) * 2021-03-31 2021-10-20 国立大学法人 岡山大学 穿刺ロボットシステム
JP7374970B2 (ja) 2013-01-08 2023-11-07 バイオカーディア,インコーポレイテッド 標的部位選択、自動遠隔画像注釈を用いるエントリおよびアップデート

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
US10631712B2 (en) * 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
WO2014070799A1 (en) 2012-10-30 2014-05-08 Truinject Medical Corp. System for injection training
WO2014084398A1 (ja) 2012-11-30 2014-06-05 株式会社 東芝 医用画像診断装置
US10512506B2 (en) 2013-04-30 2019-12-24 Cedars-Sinai Medical Center Stabilization apparatuses and methods for medical procedures
US9592095B2 (en) * 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
CN103584918B (zh) * 2013-08-22 2016-07-27 中南大学湘雅三医院 遥控介入机器人系统
US20150157197A1 (en) * 2013-12-09 2015-06-11 Omer Aslam Ilahi Endoscopic image overlay
AU2015204201B2 (en) * 2014-01-06 2019-11-28 Body Vision Medical Ltd. Surgical devices and methods of use thereof
WO2015110928A1 (en) 2014-01-24 2015-07-30 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
JP6649260B2 (ja) * 2014-02-04 2020-02-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管の深さ及び位置の可視化並びに血管断面のロボットガイド可視化
CN106572887B (zh) * 2014-07-15 2020-05-12 皇家飞利浦有限公司 X射线套件中的图像整合和机器人内窥镜控制
CN107106814B (zh) 2014-10-29 2021-02-26 西达-赛奈医疗中心 一种用于治疗剂和相关物质的受控输送的设备、系统和方法
US10898162B2 (en) 2014-10-30 2021-01-26 Koninklijke Philips N.V. Ultrasound visualization of curved structures
US10687898B2 (en) * 2014-11-14 2020-06-23 The Johns Hopkins University Systems and methods for atrial fibrillation treatment and risk assessment
CN107666876B (zh) * 2015-05-18 2022-08-30 皇家飞利浦有限公司 用于图像引导的活检的术中准确度反馈系统和装置
EP3912577A1 (en) 2015-06-23 2021-11-24 Stryker Corporation Delivery system and method for delivering material to a target site
CN114795472A (zh) * 2015-10-28 2022-07-29 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
US10849688B2 (en) 2016-03-02 2020-12-01 Truinject Corp. Sensory enhanced environments for injection aid and social training
CN105536093B (zh) * 2016-03-10 2019-05-03 京东方科技集团股份有限公司 智能输液系统以及使用智能输液系统的输液方法
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR102420386B1 (ko) * 2016-06-30 2022-07-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
FR3059885B1 (fr) 2016-12-08 2020-05-08 Koelis Dispositif de visualisation d’un organe interne d’un patient ainsi qu’un procede de visualisation associe
WO2018136901A1 (en) 2017-01-23 2018-07-26 Truinject Corp. Syringe dose and position measuring apparatus
CN110621252B (zh) 2017-04-18 2024-03-15 直观外科手术操作公司 用于监测图像引导程序的图形用户界面
US20180360655A1 (en) 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US20190117459A1 (en) 2017-06-16 2019-04-25 Michael S. Berlin Methods and Systems for OCT Guided Glaucoma Surgery
JP6981793B2 (ja) * 2017-06-30 2021-12-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像診断装置及びプログラム
US10772677B2 (en) 2017-08-29 2020-09-15 Ethicon Llc Electrically-powered surgical systems
US10856928B2 (en) * 2017-08-29 2020-12-08 Ethicon Llc Electrically-powered surgical systems
JP2021521959A (ja) * 2018-04-25 2021-08-30 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 細長いデバイスに関するシステム及び方法
US11026585B2 (en) 2018-06-05 2021-06-08 Synaptive Medical Inc. System and method for intraoperative video processing
EP3875022A4 (en) * 2018-11-01 2021-10-20 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, MEDICAL IMAGE PROCESSING PROCESS AND PROGRAM, AND DIAGNOSIS ASSISTANCE DEVICE
JP2022517807A (ja) * 2019-01-18 2022-03-10 アンスティテュ オスピタロ-ユニベルシテール ドゥ ストラスブール 医療用ナビゲーションのためのシステムおよび方法
DE102019200803A1 (de) * 2019-01-23 2020-07-23 Siemens Healthcare Gmbh Medizintechnischer Roboter, medizinisches System, Verfahren zu deren Betrieb, Computerprogramm und Speichermedium
US10867375B2 (en) * 2019-01-30 2020-12-15 Siemens Healthcare Gmbh Forecasting images for image processing
US11406454B2 (en) * 2019-03-29 2022-08-09 Gyrus Acmi, Inc. Anti-perforation device
US11497564B2 (en) * 2019-06-07 2022-11-15 Verb Surgical Inc. Supervised robot-human collaboration in surgical robotics
WO2021078918A1 (en) * 2019-10-23 2021-04-29 Koninklijke Philips N.V. Apparatus and method for assisting precision ablation and the planning thereof
EP3832659A1 (en) * 2019-12-02 2021-06-09 Koninklijke Philips N.V. Apparatus and method for assisting precision ablation and the planning thereof
US11896323B2 (en) * 2020-09-01 2024-02-13 Aibolit Technologies, Llc System, method, and computer-accessible medium for automatically tracking and/or identifying at least one portion of an anatomical structure during a medical procedure
US20220192748A1 (en) * 2020-12-22 2022-06-23 Biosense Webster (Israel) Ltd. Displaying annotations on design line formed on anatomical map
CN113712574B (zh) * 2021-09-03 2022-06-21 上海诺诚电气股份有限公司 一种脑电生物反馈得康复方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097060A1 (en) * 2001-11-21 2003-05-22 Yanof Jeffrey Harold Tactile feedback and display in a CT image guided robotic system for interventional procedures
US20040153128A1 (en) * 2003-01-30 2004-08-05 Mitta Suresh Method and system for image processing and contour assessment
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
US7155315B2 (en) * 1999-04-07 2006-12-26 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
JP2007044509A (ja) * 2005-08-02 2007-02-22 Biosense Webster Inc 侵襲的手技のシミュレーション
JP2008018172A (ja) * 2006-07-14 2008-01-31 Hitachi Medical Corp 手術支援装置
JP2009106633A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 医用画像表示装置及び術中ナビゲーションシステム
US20090149867A1 (en) * 2006-06-05 2009-06-11 Daniel Glozman Controlled steering of a flexible needle
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
US20110087088A1 (en) * 2009-10-13 2011-04-14 Cell Genetics, Llc Computer-assisted identification and treatment of affected organ tissue

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5660185A (en) 1995-04-13 1997-08-26 Neovision Corporation Image-guided biopsy apparatus with enhanced imaging and methods
US20030113303A1 (en) * 1998-02-05 2003-06-19 Yitzhack Schwartz Homing of embryonic stem cells to a target zone in tissue using active therapeutics or substances
US20040102804A1 (en) * 1999-08-10 2004-05-27 Chin Albert K. Apparatus and methods for endoscopic surgical procedures
US7556602B2 (en) * 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
US7740623B2 (en) * 2001-01-13 2010-06-22 Medtronic, Inc. Devices and methods for interstitial injection of biologic agents into tissue
US7877130B2 (en) * 2002-10-03 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for using delayed enhancement magnetic resonance imaging and artificial intelligence to identify non-viable myocardial tissue
JP3982817B2 (ja) * 2003-03-07 2007-09-26 株式会社東芝 画像処理装置および画像処理方法
DE10352011A1 (de) * 2003-11-07 2005-06-16 Siemens Ag Einrichtung zur verbesserten kardiologischen Ablation
US20080249467A1 (en) * 2007-04-05 2008-10-09 Daniel Rogers Burnett Device and Method for Safe Access to a Body Cavity
US20090048525A1 (en) 2007-08-14 2009-02-19 Biomedix, Inc. Venous refill testing system and method
US20110202012A1 (en) * 2007-08-16 2011-08-18 Bartlett Edwin C Smart Injection Syring Systems Providing Real-Time User Feedback of Correct Needle Position
US8195271B2 (en) * 2007-11-06 2012-06-05 Siemens Aktiengesellschaft Method and system for performing ablation to treat ventricular tachycardia
WO2010086861A1 (en) 2009-01-29 2010-08-05 Noel Axelrod Multimodal depth-resolving endoscope
US8747297B2 (en) 2009-03-02 2014-06-10 Olympus Corporation Endoscopic heart surgery method
CA2761844C (en) 2009-05-14 2017-11-28 University Health Network Quantitative endoscopy
EP2440129A4 (en) * 2009-06-08 2015-06-03 Mri Interventions Inc MRI-CONTROLLED SURGICAL SYSTEMS WITH PRESET SCAN SURFACES
WO2011057260A2 (en) * 2009-11-09 2011-05-12 Worcester Polytechnic Institute Apparatus and methods for mri-compatible haptic interface
WO2012141189A1 (ja) 2011-04-11 2012-10-18 日本電気株式会社 暗号化方法、暗号化装置および暗号化プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155315B2 (en) * 1999-04-07 2006-12-26 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
US20030097060A1 (en) * 2001-11-21 2003-05-22 Yanof Jeffrey Harold Tactile feedback and display in a CT image guided robotic system for interventional procedures
US20040153128A1 (en) * 2003-01-30 2004-08-05 Mitta Suresh Method and system for image processing and contour assessment
US20050015005A1 (en) * 2003-04-28 2005-01-20 Kockro Ralf Alfons Computer enhanced surgical navigation imaging system (camera probe)
JP2007044509A (ja) * 2005-08-02 2007-02-22 Biosense Webster Inc 侵襲的手技のシミュレーション
US20090149867A1 (en) * 2006-06-05 2009-06-11 Daniel Glozman Controlled steering of a flexible needle
JP2010506600A (ja) * 2006-06-05 2010-03-04 テクニオン リサーチ アンド ディベロップメント ファンデーション リミテッド 柔軟な針の制御された操作
JP2008018172A (ja) * 2006-07-14 2008-01-31 Hitachi Medical Corp 手術支援装置
JP2009106633A (ja) * 2007-10-31 2009-05-21 Toshiba Corp 医用画像表示装置及び術中ナビゲーションシステム
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
US20110087088A1 (en) * 2009-10-13 2011-04-14 Cell Genetics, Llc Computer-assisted identification and treatment of affected organ tissue

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7374970B2 (ja) 2013-01-08 2023-11-07 バイオカーディア,インコーポレイテッド 標的部位選択、自動遠隔画像注釈を用いるエントリおよびアップデート
JP2019515719A (ja) * 2016-03-31 2019-06-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 腫瘍吸引のための画像誘導ロボットシステム
JP7232050B2 (ja) 2016-03-31 2023-03-02 コーニンクレッカ フィリップス エヌ ヴェ 腫瘍吸引のための画像誘導ロボットシステム
JP2021510110A (ja) * 2018-01-10 2021-04-15 コヴィディエン リミテッド パートナーシップ 外科用ポートの配置のためのガイダンス
US11806085B2 (en) 2018-01-10 2023-11-07 Covidien Lp Guidance for placement of surgical ports
JP2021518243A (ja) * 2018-03-17 2021-08-02 キヤノン ユーエスエイ, インコーポレイテッドCanon U.S.A., Inc 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法
JP7252268B2 (ja) 2018-03-17 2023-04-04 キヤノン ユーエスエイ,インコーポレイテッド 3d医用画像データにおける皮膚表面上の仮想デバイス配置のための方法
JP6951811B1 (ja) * 2021-03-31 2021-10-20 国立大学法人 岡山大学 穿刺ロボットシステム
JP2022157517A (ja) * 2021-03-31 2022-10-14 国立大学法人 岡山大学 穿刺ロボットシステム

Also Published As

Publication number Publication date
US20140142422A1 (en) 2014-05-22
EP2720636A1 (en) 2014-04-23
EP2720636B1 (en) 2020-02-26
EP2720636B8 (en) 2020-04-08
JP6404713B2 (ja) 2018-10-17
WO2012172474A1 (en) 2012-12-20
CN103619278A (zh) 2014-03-05
US11304686B2 (en) 2022-04-19
CN103619278B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
JP6404713B2 (ja) 内視鏡手術におけるガイド下注入のためのシステム及び方法
US11553968B2 (en) Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
US20200146588A1 (en) Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US11871913B2 (en) Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US11622815B2 (en) Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160815

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180913

R150 Certificate of patent or registration of utility model

Ref document number: 6404713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250