JP2012505695A - 画像に基づくローカライゼーション方法及びシステム - Google Patents

画像に基づくローカライゼーション方法及びシステム Download PDF

Info

Publication number
JP2012505695A
JP2012505695A JP2011531612A JP2011531612A JP2012505695A JP 2012505695 A JP2012505695 A JP 2012505695A JP 2011531612 A JP2011531612 A JP 2011531612A JP 2011531612 A JP2011531612 A JP 2011531612A JP 2012505695 A JP2012505695 A JP 2012505695A
Authority
JP
Japan
Prior art keywords
endoscope
image
virtual
endoscopic
path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011531612A
Other languages
English (en)
Inventor
カレン アイリーン トロヴァト
アレクサンドラ ポポヴィク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2012505695A publication Critical patent/JP2012505695A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743—Type of operation; Specification of treatment sites
    • A61B2017/00809—Lung operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

画像に基づくローカライゼーション方法３０の術前ステージは、身体の解剖学的領域４０を示すスキャン画像２０を生成し、内視鏡５１の運動学的特性及び光学的特性に従って、スキャン画像２０内の内視鏡経路５２に関する内視鏡５１の仮想姿勢の予測を含む仮想情報２１を生成することを含む。方法３０の術中ステージは、内視鏡経路５２に従って解剖学的領域４０を示す内視鏡画像２２を生成し、スキャン画像２０内の内視鏡経路５２に関する内視鏡５１の仮想姿勢の予測に対応する、内視鏡画像２２内の内視鏡経路５２に関する内視鏡５１の姿勢の推定を含む追跡情報２３を生成することを含む。

Description

本発明は、身体の解剖学的領域のスキャン画像に対する身体の解剖学的領域内の内視鏡の姿勢の画像に基づく（image-based）情報を提供するための、身体の解剖学的領域の画像に基づくローカライゼーションに関する。
気管支鏡検査法(bronchoscopy)は、気管支鏡が内部構造の視覚情報を提供するために患者の気管支樹の内部に配置される標準の気管支鏡によって一般に実施される術中プロシージャである。
気管支鏡の空間的なローカライゼーションのための１つの既知の方法は、電磁（「ＥＭ」）追跡を使用することである。しかしながら、このソリューションは、例えば気管支鏡における外部磁場生成器及びコイルのような、付加の装置を必要とする。更に、正確さは、気管支鏡の金属又は外科フィールドの近傍の他の対象物によってもたらされる電磁界歪のため損なわれることがある。更に、ＥＭ追跡における位置合わせプロシージャは、外部座標系（例えばＥＭ場生成器の座標系又は動的参照ベースの座標系）とコンピュータトモグラフィ（「ＣＴ」）画像空間との間の関係を設定することを含む。一般に、位置合わせはポイントツーポイントマッチングによって実施され、これは、付加の待ち時間を生じさせる。位置合わせを行っても、呼吸のような患者の動きが、実際のロケーションと計算されるロケーションとの間にエラーを生じさせることがある。
気管支鏡の空間的なローカライゼーションに関する別の既知の方法は、術前３次元（「３Ｄ」）データセットを、気管支鏡からの２次元（「２Ｄ」）内視鏡画像と位置合わせすることである。具体的には、ビデオストリームからの画像が、患者画像の座標系のビデオフレームの相対位置を見つけるために、気管支樹の３Ｄモデル及びカメラフライスルーの関連する断面とマッチングされる。この２Ｄ／３Ｄ位置合わせに関する主な問題は、複雑さであり、これは、効率的に、リアルタイムに、十分な正確さを伴って実施されることができないことを意味する。この問題を解決するために、２Ｄ／３Ｄ位置合わせは、最初に粗い位置合わせを取得し、その後２Ｄ／３Ｄ位置合わせを介して変換パラメータの微調整を行うために、ＥＭ追跡によって支援される。
内視鏡ツールの画像ガイダンスに関する既知の方法は、光学的ローカライゼーションシステムによる内視鏡プローブの追跡を含む。ＣＴ座標系又は磁気共鳴イメージング（「ＭＲＩ」）座標系において内視鏡先端部をローカライズするために、内視鏡は、赤外線（「ＩＲ」）反射領域を有する追跡されるリジッドな筐体を備えられなければならない。内視鏡位置を追跡し、それを、ＣＴ又はＭＲＩ上の位置に関連付けることが可能であるように、位置合わせ及び較正が、内視鏡挿入前に実施されなければならない。目標は、「位置合わせされた」術前撮像データ（ＣＴ又はＭＲＩ）をオーバレイすることによって、内視鏡ビデオデータを強化することである。
本発明は、外部撮像システム（例えばＣＴ、ＭＲＩ、超音波、Ｘ線及び他の外部撮像システム）によって取得される身体の解剖学的領域のスキャン画像内に内視鏡の仮想画像を生成するために、術前計画の利用を前提とする。例えば、ここに詳しく説明されるように、本発明による仮想気管支鏡検査法は、被検解剖学的領域内に運動学的に正しい内視鏡経路を生成するために、気管支鏡又は撮像カニューレ（すなわち撮像装置を備える任意のタイプのカニューレ）の運動学的特性を使用するとともに、肺の３Ｄデータセットから得られる肺の３Ｄモデル内で気管支鏡又は撮像カニューレによる術前計画の実行を視覚的にシミュレートするために、気管支鏡又は撮像カニューレの光学的特性を使用する、術前内視鏡プロシージャである。
内視鏡が気管支鏡であるコンテクストにおいて、２００７年４月１７日公開のTrovato等による「3D Tool Path Planning, Simulation and Control System」という表題の国際公開第２００７／０４２９８６Ａ２号パンフレットによって教示される経路計画技法が、肺の３Ｄデータセットによって示される身体の解剖学的領域内に運動学的に正しい気管支鏡用経路を生成するために、使用されることができる。
内視鏡が撮像入れ子式カニューレであるコンテクストにおいて、２００８年３月２０日公開のTrovato等による「Active Cannula Configuration For Minimally Invasive Surgery」という表題の国際公開第２００８／０３２２３０Ａ１号パンフレットによって教示される経路計画／入れ子式カニューレ構造技法が、肺の３Ｄデータセットによって示される身体の解剖学的領域内に運動学的に正しい入れ子式カニューレ用経路を生成するために、使用されることができる。
本発明は更に、術前仮想画像及び内視鏡によって取得される被検解剖学的領域の内視鏡画像を比較するために画像取り出し技法の利用を前提とする。当分野において知られている画像取り出しは、例えば、Datta, R.、Joshi, D.、Li, J.及びWang, J. Z.による「Image retrieval: Ideas, influences, and trends of the newage」(ACM Comput. Surv. 40, 2, Article 5 (April 2008))に記述される画像取り出し技法のように、画像データベースから所与の特性を有する画像を取り出す方法である。画像は、クエリ画像との類似性に基づいて、データベースから取り出されることができる。画像間の類似性尺度は、画像特徴（例えば画像エッジ）間の幾何学的距離を測定する幾何学的なメトリック、又は例えばSelim Aksoy、Robert M. Haralickによる「Probabilistic vs. Geometric Similarity Measures for Image Retrieval」(IEEE Conf. Computer Vision and Pattern Recognition, 2000, pp 357-362, vol. 2)に記述されている類似性測定のような、画像特徴の見込みを使用する蓋然性尺度を使用して、確立されることができる。
本発明の１つの形態は、身体の解剖学的領域を示すスキャン画像の生成及びスキャン画像から導き出される仮想情報の生成を含む術前ステージを有する画像に基づくローカライゼーション方法である。仮想情報は、内視鏡の運動学的及び光学的特性に従う、スキャン画像内の内視鏡経路に関する内視鏡の仮想姿勢（virtual poses）の予測を含む。
術前ステージの例示の実施形態において、スキャン画像及び内視鏡の運動学的特性は、スキャン画像内に内視鏡経路を生成するために使用される。その後、内視鏡の光学的特性が、スキャン画像内の内視鏡経路の仮想画像を示す仮想ビデオフレームを生成するために使用される。加えて、スキャン画像内の内視鏡経路の姿勢が、仮想ビデオフレームに割り当てられ、１又は複数の画像特徴が、仮想ビデオフレームから抽出される。
画像に基づくローカライゼーション方法は更に、内視鏡経路に従って身体の解剖学的領域を示す内視鏡画像の生成及び仮想情報及び内視鏡画像から導き出される追跡情報の生成を含む術中ステージを有する。追跡情報は、スキャン画像内の内視鏡経路に関する内視鏡の仮想姿勢の予測に対応する、内視鏡画像内の内視鏡経路に関する内視鏡の姿勢(poses)の推定を含む。
術中ステージの例示の実施形態において、１又は複数の内視鏡フレーム特徴が、内視鏡画像の各ビデオフレームから抽出される。（複数の）仮想フレーム特徴に対する（複数の）内視鏡フレーム特徴の画像マッチングは、内視鏡ビデオフレーム及びゆえに内視鏡のロケーションへの仮想ビデオフレームの割り当てられた姿勢の対応付けを容易にする。
本発明の目的のために、本明細書において使用される「生成する」という語は、概して、特に画像データセット及びビデオフレームのコンピュータ処理及びメモリ記憶／取り出しの目的のために利用可能な情報（例えばデータ、テキスト、画像、ボイス及びビデオ）を生成し、供給し、提供し、取得し、作り出し、形成し、開発し、展開し、修正し、変形し、変更し又は他のやり方で作るための、当技術分野において現在知られている及び今後知られる任意の技法を含むものとして広く規定される。加えて、本明細書において使用される「導き出される（derived from）」という語句は、ソースの情報セットからターゲットの情報セットを生成するために、当分野において現在知られている又は今後知られる任意の技法を含むものとして広く規定される。
加えて、本明細書において用いられる「術前」という語は、内視鏡アプリケーション（例えば内視鏡用の経路計画）の前に行われる又は該内視鏡アプリケーション前の期間又は準備に関連する任意のアクティビティを記述するものとして広く規定され、本明細書において使用される「術中」という語は、（例えば計画された経路に従って内視鏡を動作させる）内視鏡アプリケーションの最中に行われ、実施され、又は遭遇される任意のアクティビティを記述するものとして広く規定される。内視鏡アプリケーションの例は、気管支鏡検査法、大腸内視鏡検査、腹腔鏡検査及び脳内視鏡検査を含むが、これらに限定されるものではない。
多くの場合、術前アクティビティ及び術中アクティビティは、明確に別々の時間期間中に行われる。それにもかかわらず、本発明は、術前及び術中時間期間の任意の程度の重なり合いを含むケースを含む。
更に、「内視鏡」という語は、身体の内側からイメージングする能力を有する任意の装置として広く規定される。本発明の目的を達成するための内視鏡の例は、可撓性又は剛性の任意のタイプのスコープ（例えば関節鏡、気管支鏡、胆管鏡、大腸内視鏡、膀胱鏡、十二指腸内視鏡、胃部内視鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、オトスコープ、プッシュ式腸内視鏡、耳鼻咽頭内視鏡、Ｓ字結腸鏡、副鼻腔内視鏡、ソラスコープ、その他）、及び画像システムを備えるスコープ（例えば撮像を伴う入れ子式カニューレ）と同様の任意の装置を含むが、これらに限定されるものではない。撮像は局所的であり、表面画像は、ファイバオプティクス、レンズ、小型化した（例えばＣＣＤベースの）撮像システムによって光学的に取得されることができる。
本発明の上述の形態及び他の形態並びに本発明のさまざまな特徴及び効果は、添付の図面に関連して理解される本発明のさまざまな実施形態の以下の詳細な説明から一層明らかになる。詳細な説明及び図面は、本発明を単に説明するものであって、制限するものではなく、本発明の範囲は、添付の請求項及びそれと等価なものによって規定される。
本発明の画像に基づくローカライゼーション方法の一実施形態を表わすフローチャート。 図１に示されるフローチャートの例示の気管支鏡検査法アプリケーションを示す図。 本発明の姿勢予測方法の一実施形態を表わすフローチャート。 図３に示されるフローチャートによる例示の気管支鏡用の内視鏡経路生成を示す図。 図３に示されるフローチャートによる例示の入れ子式カニューレ用の内視鏡経路生成を示す図。 図３に示されるフローチャートによる例示の座標空間及び非ホロノミック近傍の２Ｄ投影を示す図。 図３に示されるフローチャートによる例示の光学的仕様データを示す図。 図３に示されるフローチャートによる例示の仮想ビデオフレーム生成を示す図。 本発明の姿勢推定方法の一実施形態を表わすフローチャート。 図９に示されるフローチャートによる内視鏡の例示の追跡を示す図。 本発明の画像に基づくローカライゼーションシステムの一実施形態を示す図。
本発明の画像に基づくローカライゼーション方法を表わすフローチャート３０が、図１に示されている。図１を参照して、フローチャート３０は、術前ステージＳ３１及び術中ステージＳ３２に分割される。
術前ステージＳ３１は、人間又は動物の身体の解剖学的領域をスキャンして、被検解剖学的領域のスキャン画像２０を取得するための外部撮像システム（例えばＣＴ、ＭＲＩ、超音波、Ｘ線、その他）を含む。術中ステージＳ３２の間の診断又は治療に関して起こりうるニーズに基づいて、被検解剖学的領域の内視鏡によるシミュレートされた光学的ビューイングが、術前内視鏡プロシージャに従って実行される。シミュレートされたビューイングから予測される内視鏡の姿勢を詳しく示す仮想情報が、本明細書に後述されるように、術中ステージＳ３２の間、解剖学的領域の内視鏡画像内の内視鏡の姿勢を推定するために生成される。
例えば、図２の例示の術前ステージＳ３１に示されるように、ＣＴスキャナ５０は、患者の気管支樹４０をスキャンするために使用されることができ、その結果、気管支樹４０の３Ｄ画像２０を生じさせる。仮想気管支鏡検査法は、術中ステージＳ３２の間に気管支鏡検査法を実施するためのニーズに基づいて、後で実行されることもできる。具体的には、スキャン画像２０及び内視鏡５１の運動学的特性を使用して計画された経路技法が、気管支樹４０を通る内視鏡５１用の内視鏡経路５２を生成するために、実行されることができる。スキャン画像２０及び内視鏡５１の光学的特性を使用する画像処理技術は、内視鏡５１が仮想的に内視鏡経路５２を通り抜けるときの、気管支樹４０の内視鏡５１による光学的ビューイングをスキャン画像２０の３Ｄ空間に関してシミュレートするために、実行されることができる。光学的シミュレーションから導き出されるスキャン画像２０内における内視鏡５１の予測される仮想ロケーション（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を詳しく示す仮想情報２１は、その後、直ちに処理されることができ及び／又は気管支鏡検査法のためにデータベース５３に記憶されることができる。
図１を再び参照して、術中ステージＳ３２は、内視鏡が、内視鏡プロシージャに従って被検解剖学的領域の内視鏡画像２２を生成することを含む。被検解剖学的領域内の内視鏡の姿勢を推定するために、仮想情報２１が、スキャン画像２０内の内視鏡の予測される仮想姿勢を内視鏡画像２２に対応付けるために参照される。対応付けの結果を詳しく示す追跡情報２３は、内視鏡プロシージャとの適合を容易にするように内視鏡を制御するために、及び／又は内視鏡画像２２内の内視鏡の推定された姿勢を表示するために、生成される。
例えば、図２の例示の術中ステージＳ３２に示されるように、内視鏡５１が、内視鏡経路５２を通り抜けるように動作されるとき、内視鏡５１は、気管支樹４０の内視鏡画像２２を生成する。アクション時の内視鏡５１のロケーション（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を推定するために、仮想情報２１が、気管支樹４０のスキャン画像２０内における内視鏡５１の予測される仮想姿勢を、気管支樹４０の内視鏡画像２２に対応付けるために参照される。追跡姿勢データ２３ａの形の追跡情報２３は、内視鏡経路５２との適合を容易にするように、内視鏡５１の内視鏡制御機構（図示せず）に制御データを供給するために生成される。加えて、追跡姿勢画像２３ａの形の追跡情報２３が、気管支樹４０内の内視鏡５１の推定された姿勢をディスプレイ５４上に表示するために、生成される。
図１及び図２の先行する記述は、本発明の画像に基づくローカライゼーション方法の概略的な本発明の原理を教示している。実際、本発明は、フローチャート３０が実現される態様又はモードに対していかなる制約又はいかなる制限も課さない。それにもかかわらず、図３−図１０の以下の記述は、本発明の画像に基づくローカライゼーション方法の更なる理解を容易にするために、フローチャート３０の例示の実施形態を教示する。
本発明の姿勢予測方法を表わすフローチャート６０が、図３に示されている。フローチャート６０は、図１の術前ステージＳ３１の例示の実施形態である。
図３を参照して、フローチャート６０のステージＳ６１は、スキャン画像２０に示される身体の解剖学的領域の３Ｄ表面セグメント化を実行し、３Ｄ表面セグメント化を表わす３Ｄ表面データ２４を生成することを含む。被検解剖学的領域の３Ｄ表面セグメント化の技法は、当業者によって知られている。例えば、気管支樹のボリュームは、本明細書に後述されるようにフローチャート６０のステージＳ６２及びＳ６３のために必要とされる気管支樹の内部表面画像を取得するために、既知のマーチングキューブ表面抽出を使用することによって、気管支樹のＣＴスキャンからセグメント化されることができる。
フローチャート６０のステージＳ６２は、スキャン画像２０内に内視鏡用の運動学的にカスタマイズされた経路を生成するために、３Ｄ表面データ２４及び内視鏡の運動学的特性を表す仕様データ２５を使用して、計画される経路技法（例えば高速マーチング又はＡ＊検索技法）を実行することを含む。例えば、内視鏡が気管支鏡であるコンテクストにおいて、２００７年４月１７日公開のTrovato他による「3D Tool Path Planning, Simulation and Control System」という表題の国際公開第２００７／０４２９８６Ａ２号パンフレットによって教示される既知の経路計画技法が、３Ｄ表面データ２４（例えばＣＴスキャンデータセット）によって表わされるスキャン画像２０内に運動学的にカスタマイズされた経路を生成するために、使用されることができる。この文献の内容全体が、参照によって本明細書に盛り込まれるものとする。図４は、気管支樹のスキャン画像７０内の例示の気管支鏡用の内視鏡経路７１を示している。内視鏡経路７１は、入口ロケーション７２と目標ロケーション７３との間に延在する。
更に例示として、内視鏡が撮像入れ子式カニューレであるコンテクストにおいて、２００８年３月２０日公開のTrovato他による「Active Cannula Configuration For Minimally Invasive Surgery」という表題の国際公開第２００８／０３２２３０Ａ１号パンフレットによって教示される経路計画／入れ子式カニューレ構造技法が、３Ｄ表面データ２４（例えばＣＴスキャンデータセット）によって表わされる被検解剖学的領域内に、撮像カニューレ用の運動学的にカスタマイズされた経路を生成するために、使用されることができる。この文献の内容全体が、参照によって本明細書に盛り込まれるものとする。図５は、気管支樹の画像７４内の例示の撮像入れ子式カニューレ用の内視鏡経路７５を示している。内視鏡経路７５は、入口ロケーション７６と目標ロケーション７７との間に延在する。
続いて図３を参照して、運動的にカスタマイズされた経路を表わす内視鏡経路データ２６が、本明細書に後述されるステージＳ６３のために、及び術中ステージ３２（図１）の間に内視鏡を介して術中プロシージャを実施するために、生成される。ステージＳ６２の術前経路生成方法は、当分野において知られているような離散化された構造空間を含み、内視鏡経路データ２６は、適用可能な近傍によって横断される構造空間の座標の関数として、生成される。例えば、図６は、７つのスレッド８１−８７の３次元非ホロノミック近傍８０を示している。これは、スレッド８１によって表わされる向きでホーム位置Ｈから到達されることができる相対位置及び向きをカプセル化する。
ステージＳ６２の術前経路生成方法は、好適には、本発明による離散化された構造空間の連続する利用を含み、従って、内視鏡経路データ２６は、離散化された構造空間全体における近傍の正確な位置値の関数として、生成される。
ステージＳ６２の術前経路生成方法は、それが不正確な離散化された構造空間において運動学的にカスタマイズされた正確な経路を提供するので、好適には、経路生成器として用いられる。更に、方法は、経路の６次元仕様が、３Ｄ空間内で計算され記憶されることを可能にする。例えば、構造空間は、例えばＣＴによって一般に生成される異方性（非立方体ボクセル）画像のような３Ｄ障壁空間に基づくことができる。ボクセルが、離散的な非立方体であるにもかかわらず、計画器は、例えば接続された一連の円弧のような、滑らかな経路を生成することができる。これは、はるかに少ないメモリが必要とされ、経路が迅速に計算されることができることを意味する。しかしながら、離散化の選択は、障壁領域に影響を及ぼし、従って、結果として得られる実行可能な経路に影響を及ぼす。結果は、内視鏡の連続する座標系における、滑らかで運動学的に実行可能な経路である。これは、２００８年６月２６日及び２００８年９月２３日出願のTrovato他による「Method and System for Fast Precise Planning」という表題の米国特許出願第６１／０７５，８８６号及び第６１／０９９，２３３号明細書により詳しく記述されており、その内容全体が、参照によって本明細書に盛り込まれるものとする。
図３に戻って、フローチャート６０のステージＳ６３は、光学的仕様データ２７によって表される内視鏡の光学的特性によって、３Ｄ表面データ及び内視鏡経路データ２６によって表されるスキャン画像２０内の内視鏡経路の仮想画像を示す２Ｄ断面仮想ビデオフレーム２１ａを順次に生成することを含む。具体的には、仮想内視鏡は、内視鏡経路に沿って前進され、仮想ビデオフレーム２１ａは、内視鏡経路を前進する実際の内視鏡によって取得されるであろう被検解剖学的領域のビデオフレームのシミュレーションとして、内視鏡経路の予め決められた経路ポイントにおいて順次に生成される。このシミュレーションは、物理的な内視鏡の光学的特性を考慮して達成される。
例えば、図７は、本発明に関連する内視鏡９０のいくつかの光学的特性を示している。具体的には、内視鏡９０のレンズ９１のサイズは、投影方向９５に沿って焦点９４を有する視野領域９２の視野角９３を確立する。前方クリッピング平面９６及び後方クリッピング平面９７は、フィールドの光学的深さに類似する内視鏡９０の可視化エリアを規定するために、投影方向９５と直交する。付加のパラメータは、レンズ９１に対する内視鏡９０の光源の位置、角度、強度及び色を含む。光学的仕様データ２７（図３）は、適用可能な内視鏡の１又は複数の光学的特性９１−９７及び任意の他の関連する特性を示すことができる。
図３に戻って、実際の内視鏡の光学的特性が、仮想内視鏡に適用される。シミュレーションの任意の所与の経路ポイントにおいて、仮想内視鏡がスキャン画像２０内のどこを見ているか、スキャン画像２０のどのエリアが仮想内視鏡によってフォーカスされているか、仮想内視鏡によって放出される光の強度及び色、並びに任意の他の関連する光学的特性を知ることは、実際の内視鏡によって当該経路ポイントにおいて取得されるビデオフレームのシミュレーションとして仮想ビデオフレームを生成することを容易にする。
例えば、図８は、図５に示される経路７５のエリア７８から取得される４つの例示の逐次的な仮想ビデオフレーム１００−１０３を示している。各フレーム１００−１０３は、シミュレーション時に予め決められた経路ポイントにおいて取得されたものである。仮想ビデオフレーム１００−１０３は、それぞれ、被検気管支樹内の内視鏡によって取得されるエリア７８の例えば２Ｄ断面の光学的ビューイングをシミュレートするエリア７８の特定の２Ｄ断面を示している。
図３に戻って、フローチャート６０のステージＳ６４は、各々の仮想ビデオフレーム２１ａの姿勢割り当てを含む。具体的には、スキャン画像２０の座標空間が、仮想ビデオフレーム２１ａの生成において利用される各々の経路ポイントの位置及び向きを考慮して、スキャン画像２０内の各々の仮想ビデオフレーム２１ａのユニークな位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を決定するために使用される。
ステージＳ６４は更に、各々の仮想ビデオフレーム２１ａから１又は複数の画像特徴を抽出することを含む。特徴抽出の例は、分岐点のエッジ及びビューフィールドに対するその相対位置、分岐点のエッジ形状、ピクセル強度の強度パターン及び空間分布（光学的にリアリスティックな仮想ビデオフレームが生成される場合）を含むが、これらに限定されるものではない。エッジは、シンプルな既知のエッジ演算子（例えばカニー（Canny）又はラプラシアン（Laplacian））を使用して、又はより進歩した既知のアルゴリズム（例えばウェーブレット解析）を使用して、検出されることができる。分岐点形状は、既知の形状記述子及び／又は主成分分析による形状モデリングを使用して、解析されることができる。図８に示されるように、別の例として、これらの技法は、フレーム１００−１０３のエッジ及びフレーム１０２及び１０３に示される成長１０４を抽出するために、使用されることができる。
ステージＳ６４の結果は、仮想ビデオフレーム２１ａごとに、術前画像２０の座標空間のユニークな位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）並びに詳しく後述される特徴マッチングのために抽出された画像特徴を表わす仮想データセット２１ｂである。
フローチャート６０のステージＳ６５は、適当なパラメータフィールドを有するデータベース内に、仮想ビデオフレーム２１ａ及び仮想姿勢データセット２１ｂを記憶することを含む。
フローチャート６０のステージＳ６６は、診断目的で、被検解剖学的領域内で内視鏡の視覚的なフライスルーを実行するために仮想ビデオフレーム２１ａを利用することを含む。
図３を再び参照して、フローチャート６０の完了は、仮想ビデオフレーム２１ａ及び仮想データセット２１ｂのパラメータ化された記憶をもたらし、従って、データベースは、仮想ビデオフレーム２１ａと、生成された被検解剖学的領域の内視鏡画像２２（図１）のビデオフレームとの間の整合を見出し、整合された内視鏡ビデオフレームに各々の仮想ビデオフレーム２１ａのユニークな位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を対応付けるために、使用される。
更にこの点に関して、図９は、本発明の姿勢推定方法を表わすフローチャート１１０を示している。術中プロシージャの間、フローチャート１１０のステージＳ１１１は、被検解剖学的領域の内視鏡から取得される内視鏡画像２２（図１）の各々の２Ｄ断面ビデオフレーム２２ａから、画像特徴を抽出することを含む。再び、特徴抽出の例は、分岐点のエッジ及びビューフィールドに対するその相対位置、分岐点のエッジ形状、ピクセル強度の強度パターン及び空間分布（光学的にリアリスティックな仮想ビデオフレームが生成される場合）を含むが、これらに制限されるものではない。エッジは、シンプルな既知のエッジ演算子（例えばカニー（Canny）又はラプラシアン（Laplacian））を使用して、又はより進歩した既知のアルゴリズム（例えばウェーブレット解析）を使用して、検出されることができる。分岐点形状は、既知の形状記述子及び／又は主成分分析による形状モデリングを使用して、解析されることができる。
フローチャート１１０のステージＳ１１２は更に、内視鏡ビデオフレーム２２ａから抽出された画像特徴に対し、仮想ビデオフレーム２１ａから抽出された画像特徴を画像マッチングすることを含む。規定されたメトリック（例えば、形状差、エッジ距離など）を使用して最も同様の特徴を有する２つの画像を見つけるための知られている検索技法が、画像特徴をマッチングするために使用されることができる。更に、時間効率を得るために、検索技法は、解剖学的領域の特定のエリアにデータベース検索を制約するために、画像の以前の整合に関するリアルタイム情報を使用するように洗練されることもできる。例えば、データベース検索は、最後の整合から±１０ｍｍのポイント及び向きに制約されることができ、好適には、最初に、期待される経路に沿って検索し、次に、期待される経路から制限された距離及び経路の範囲内の検索を行う。明らかに、許容できる基準の範囲内での整合を意味する整合がない場合、ロケーションデータは有効ではなく、システムは、エラー信号を記録するべきである。
フローチャート１１０のステージＳ１１３は更に、内視鏡画像２２内における内視鏡の姿勢を推定するために、仮想ビデオフレーム２１ａの（複数の）画像特徴に整合する内視鏡ビデオフレーム２２ａに、仮想ビデオフレーム２１ａの位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を対応付けることを含む。より具体的には、ステージＳ１１２において達成される特徴マッチングは、被検解剖学的領域のスキャン画像２０（図１）の座標系内の各々の仮想ビデオフレーム２１ａの位置（ｘ，ｙ，ｚ）及び向き（α，θ，φ）を、内視鏡ビデオフレーム２２ａの１つに対し、被検解剖学的領域の内視鏡画像２２内における内視鏡の姿勢の推定として座標に関して対応付けることを可能にする。
この姿勢の対応付けは、被検解剖学的領域内の内視鏡経路に関する内視鏡の推定される姿勢を示す追跡姿勢画像２３ｂを生成することを容易にする。具体的には、追跡姿勢画像２３ａは、内視鏡ビデオフレーム２２ａの割り当てられた姿勢から導き出される内視鏡及び内視鏡経路オーバレイを有するスキャン画像２０（図１）のバージョンである。
姿勢の対応付けは、更に、被検解剖学的領域内の内視鏡の推定された姿勢を表わす追跡姿勢データ２３ａの生成を容易にする。具体的には、追跡姿勢データ２３ｂは、計画された内視鏡経路への適合を確実にするために、内視鏡の制御機構において使用されるべき任意の形式（例えばコマンド形式又は信号形式）を有することができる。
例えば、図１０は、撮像入れ子式カニューレを用いて実施される仮想気管支鏡検査法１２０によって提供される仮想ビデオフレーム１３０と、同じ又は運動学的及び光学的に等価な撮像入れ子式カニューレを用いて実施される術中気管支鏡検査法によって提供される内視鏡ビデオフレーム１３１と、を示している。仮想ビデオフレーム１３０は、関連するデータベースから取り出され、それによって、仮想ビデオフレーム１３０からの画像特徴１３３（例えば、エッジ特徴）の以前の又はリアルタイムの抽出１２２及び内視鏡ビデオフレーム１３１からの画像特徴１３２の抽出１２３は、一対のフレームの特徴マッチング１２４を容易にする。その結果、座標空間の対応付け１３４は、追跡姿勢画像１３５に示される気管支内の内視鏡１２５の推定された位置及び向きの制御フィードバック及び表示を可能にする。
内視鏡の以前の位置及び向きが知られており、各々の内視鏡ビデオフレーム１３１が、リアルタイムに利用可能にされるので、「現在ロケーション」は近くにあるべきであり、従って、候補画像１３０の組を狭める。例えば、多くの同様に見える気管支がありうる。各々の気管支に沿った「スナップショット」は、信頼できそうであるが、おそらく非常に異なるロケーションの大きい組を生成する。更に、ロケーションごとに、向きの離散化されたサブセットさえも、多数の潜在的なビューを生成する。しかしながら、想定された経路がすでに知られている場合、組は、それらの見込みのあるｘ，ｙ，ｚロケーション及び見込みのあるα，θ，φ（ｒｘ，ｒｙ，ｒｚ）向きに低減されることができ、期待される状態付近に可能性としてバリエーションがありうる。更に、以前の「整合されたロケーション」に基づいて、候補である画像１３０の組は、それらの以前のロケーションから経過時間内に到達可能なものに制限される。撮像カニューレの運動学は、可能性のある選択を更に制限する。一旦整合が仮想フレーム１３０と「ライブ画像」１３１との間でなされると、仮想フレーム１３０からの位置及び向きのタグが、患者内の撮像カニューレの実際の向きの術前空間の座標を与える。
図１１は、本発明のさまざまな方法を実現するための例示のシステム１７０を示している。図１１を参照して、術前ステージの間、患者１４０の外部の撮像システムが、解剖学的領域を示すスキャン画像２０を提供するために、患者１４０の解剖学的領域をスキャン（例えば気管支１４１のＣＴスキャン）するために使用される。システム１７０の術前仮想サブシステム１７１は、ディスプレイ１６０を介して関連する術前内視鏡プロシージャの視覚的なフライスルー２１ｃを表示し、パラメータ化されたデータベース１７３に仮想ビデオフレーム２１ａ及び仮想データセット２１ｂを記憶するために、術前ステージＳ３１（図１）又はより具体的にはフローチャート６０（図３）を実現する。仮想情報２１ａ／ｂは、解剖学的領域内の内視鏡経路（例えば気管支樹１４１を通る撮像入れ子式カニューレ１５１を用いる、シミュレートされる気管支鏡検査法の内視鏡経路１５２）に関する内視鏡の仮想画像を詳しく示す。
術中状態の間、システム１８０の内視鏡制御機構（図示せず）は、計画された内視鏡経路に従って、解剖学的領域内における内視鏡の挿入を制御するように動作される。システム１８０は、システム１７０の術中追跡サブシステム１７２に、解剖学的領域の内視鏡画像２２を提供し、術中追跡サブシステム１７２は、追跡画像２３ａをディスプレイ１６０に表示し、及び／又は制御フィードバックの目的でシステム１８０に追跡姿勢データ２３ｂを提供するために、術中ステージＳ３２（図１）又はより具体的にはフローチャート１１０（図９）を実現する。追跡画像２２ａ及び追跡姿勢データ２３ｂは、解剖学的領域を通る物理的な内視鏡の内視鏡経路の情報を集合的に与える（例えば、気管支樹１４１を通る撮像入れ子式カニューレ１５１のリアルタイム追跡）。システム１７２が、仮想ビデオフレーム２１ａと内視鏡ビデオフレーム（図示せず）との間の特徴整合を達成することに失敗する場合、追跡姿勢データ２３ａは、失敗を示すエラーメッセージを含む。
本発明のさまざまな実施形態が、図示され、記述されているが、本明細書に記述される方法及びシステムは説明的であり、さまざまな変更及び変形がなされることができ、等価なものが、本発明の真の範囲を逸脱することなく、その構成要素と置き換えられることができることが当業者によって理解されるだろう。更に、多くの変形が、その中心の範囲から逸脱することなく、本発明の教示をエンティティ経路計画に適応させるように行われることができる。従って、本発明は、本発明を実施するために企図される最良のモードとして開示されている特定の実施形態に限定されず、本発明は、添付の請求項の範囲内に入るすべての実施形態を含むことが意図される。

Claims (15)

  1. 画像に基づくローカライゼーション方法であって、
    身体の解剖学的領域を示すスキャン画像を生成するステップと、
    内視鏡の運動学的特性に従って、前記スキャン画像内に内視鏡経路を生成するステップと、
    前記内視鏡の光学的特性に従って、前記スキャン画像内の前記内視鏡経路の仮想画像を示す仮想ビデオフレームを生成するステップと、
    を含む方法。
  2. 前記仮想ビデオフレームに、前記スキャン画像内の前記内視鏡経路に関する前記内視鏡の姿勢を割り当てるステップと、
    各仮想ビデオフレームから少なくとも１つの仮想フレーム特徴を抽出するステップと、
    を更に含む、請求項１に記載の画像に基づくローカライゼーション方法。
  3. 前記仮想ビデオフレーム、並びに前記内視鏡の姿勢割り当て及び前記抽出された少なくとも１つの仮想フレーム特徴を表わす仮想姿勢データセット、を含むパラメータ化されたデータベースを生成するステップを更に含む、請求項２に記載の画像に基づくローカライゼーション方法。
  4. 前記解剖学的領域内の前記内視鏡経路に関する前記内視鏡の予測される姿勢を示す前記仮想ビデオフレームの視覚的なフライスルーを実行するステップを更に含む、請求項１に記載の画像に基づくローカライゼーション方法。
  5. 前記内視鏡経路に従って前記身体の前記解剖学的領域を示す内視鏡画像を生成するステップと、
    前記内視鏡画像の各内視鏡ビデオフレームから少なくとも１つの内視鏡フレーム特徴を抽出するステップと、
    を更に含む、請求項２に記載の画像に基づくローカライゼーション方法。
  6. 前記少なくとも１つの仮想フレーム特徴に対し、前記少なくとも１つの内視鏡フレーム特徴の画像マッチングを行うステップと、
    前記画像マッチングに従って、前記内視鏡ビデオフレームに、前記仮想ビデオフレームの前記割り当てられた姿勢を対応付けるステップと、
    を更に含む、請求項５に記載の画像に基づくローカライゼーション方法。
  7. 前記内視鏡ビデオフレームの前記姿勢割り当てに従って、前記内視鏡画像内で前記内視鏡の推定される姿勢を示す追跡姿勢画像を生成するステップと、
    前記追跡姿勢画像フレームをディスプレイに提供するステップと、
    を含む、請求項６に記載の画像に基づくローカライゼーション方法。
  8. 前記内視鏡ビデオフレームの前記姿勢割り当てを表わす追跡姿勢データを生成するステップと、
    前記追跡姿勢データを前記内視鏡の内視鏡制御機構に提供するステップと、
    を更に含む、請求項６に記載の画像に基づくローカライゼーション方法。
  9. 前記内視鏡経路は、前記スキャン画像と関連付けられる離散化された構造空間内の近傍ノードの正確な位置値の関数として、生成される、請求項１に記載の画像に基づくローカライゼーション方法。
  10. 前記内視鏡は、気管支鏡及び撮像カニューレを含むグループから選択される、請求項１に記載の画像に基づくローカライゼーション方法。
  11. 身体の解剖学的領域を示すスキャン画像を生成するステップと、
    前記スキャン画像から導き出される仮想情報を生成するステップであって、前記仮想情報は、内視鏡の運動学的特性及び光学的特性に従う、前記スキャン画像内の内視鏡経路に関する前記内視鏡の仮想姿勢の予測を含む、ステップと、
    を含む、画像に基づくローカライゼーション方法。
  12. 前記内視鏡経路に従って前記身体の前記解剖学的領域を示す内視鏡画像を生成するステップと、
    前記仮想情報及び前記内視鏡画像から導き出される追跡情報を生成するステップであって、前記追跡情報は、前記スキャン画像内の前記内視鏡経路に関する前記内視鏡の前記仮想姿勢の予測に対応する、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の姿勢の推定を含む、ステップと、
    を更に含む、請求項１１に記載の画像に基づくローカライゼーション方法。
  13. 身体の解剖学的領域を示すスキャン画像から導き出される仮想情報を生成するように動作可能な術前仮想サブシステムであって、前記仮想情報が、前記内視鏡の運動学的特性及び光学的特性による、前記スキャン画像内の内視鏡経路に関する前記内視鏡の仮想姿勢の予測を含む、術前仮想サブシステムと、
    前記仮想情報、及び前記内視鏡経路に従って前記身体の解剖学的領域を示す内視鏡画像、から導き出される追跡情報を生成するように動作可能な術中追跡サブシステムであって、前記追跡情報は、前記スキャン画像内の前記内視鏡経路に関する前記内視鏡の仮想姿勢の予測に対応する、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の姿勢の推定を含む、術中追跡サブシステムと、
    を有する画像に基づくローカライゼーションシステム。
  14. ディスプレイを更に有し、前記術中追跡サブシステムは更に、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の推定される姿勢を示す追跡姿勢画像を、前記ディスプレイに提供するように動作可能である、請求項１３に記載の画像に基づくローカライゼーションシステム。
  15. 内視鏡制御機構を更に有し、前記術中追跡サブシステム更に、前記内視鏡画像内の前記内視鏡経路に関する前記内視鏡の推定される姿勢を表す追跡姿勢データを、前記内視鏡制御機構に提供するように動作可能である、請求項１３に記載の画像に基づくローカライゼーションシステム。
JP2011531612A 2008-10-20 2009-10-12 画像に基づくローカライゼーション方法及びシステム Withdrawn JP2012505695A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10666908P 2008-10-20 2008-10-20
US61/106,669 2008-10-20
PCT/IB2009/054476 WO2010046802A1 (en) 2008-10-20 2009-10-12 Image-based localization method and system

Publications (1)

Publication Number Publication Date
JP2012505695A true JP2012505695A (ja) 2012-03-08

Family

ID=41394942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011531612A Withdrawn JP2012505695A (ja) 2008-10-20 2009-10-12 画像に基づくローカライゼーション方法及びシステム

Country Status (6)

Country Link
US (1) US20110282151A1 (ja)
EP (1) EP2348954A1 (ja)
JP (1) JP2012505695A (ja)
CN (1) CN102186404A (ja)
RU (1) RU2011120186A (ja)
WO (1) WO2010046802A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014136576A1 (ja) * 2013-03-06 2014-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014156378A1 (ja) * 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP5687811B1 (ja) * 2013-04-15 2015-03-25 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2015526133A (ja) * 2012-06-28 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ ロボット操作される内視鏡を使用した血管可視化の向上
JP2019010382A (ja) * 2017-06-30 2019-01-24 富士フイルム株式会社 画像位置合わせ装置、方法およびプログラム
US10561338B2 (en) 2015-09-16 2020-02-18 Fujifilm Corporation Endoscope position identifying apparatus, endoscope position identifying method, and recording medium having an endoscope position identifying program recorded therein

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110184238A1 (en) * 2010-01-28 2011-07-28 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
EP2559002A1 (en) * 2010-04-13 2013-02-20 Koninklijke Philips Electronics N.V. Image analysing
US20130303887A1 (en) * 2010-08-20 2013-11-14 Veran Medical Technologies, Inc. Apparatus and method for four dimensional soft tissue navigation
WO2012106320A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Global and semi-global registration for image-based bronchoscopy guidance
US20120203067A1 (en) * 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
CN103957832B (zh) * 2011-10-26 2016-09-28 皇家飞利浦有限公司 血管树图像的内窥镜配准
WO2013093761A2 (en) * 2011-12-21 2013-06-27 Koninklijke Philips Electronics N.V. Overlay and motion compensation of structures from volumetric modalities onto video of an uncalibrated endoscope
JP6122875B2 (ja) * 2012-02-06 2017-04-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 血管ツリー画像内での見えない分岐部の検出
US20140336461A1 (en) * 2012-04-25 2014-11-13 The Trustees Of Columbia University In The City Of New York Surgical structured light system
US10376178B2 (en) 2012-05-14 2019-08-13 Intuitive Surgical Operations, Inc. Systems and methods for registration of a medical device using rapid pose search
CN104540439B (zh) * 2012-08-14 2016-10-26 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
US10588597B2 (en) 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
EP2996557B1 (en) * 2013-03-11 2019-05-01 Institut Hospitalo-Universitaire de Chirurgie Mini -Invasive Guidee Par l'Image Anatomical site relocalisation using dual data synchronisation
EP2904958A4 (en) * 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
US8824752B1 (en) 2013-03-15 2014-09-02 Heartflow, Inc. Methods and systems for assessing image quality in modeling of patient anatomic or blood flow characteristics
BR112015023898A2 (pt) * 2013-03-21 2017-07-18 Koninklijke Philips Nv aparelho de processamento de imagens, método de processamento de imagens, elemento de programa de computador para controlar um aparelho e mídia legível por computador
WO2015118423A1 (en) 2014-02-04 2015-08-13 Koninklijke Philips N.V. Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
US10772684B2 (en) 2014-02-11 2020-09-15 Koninklijke Philips N.V. Spatial visualization of internal mammary artery during minimally invasive bypass surgery
JP6854237B2 (ja) * 2014-03-28 2021-04-07 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視野内の器具の定量的三次元視覚化
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
US10555788B2 (en) 2014-03-28 2020-02-11 Intuitive Surgical Operations, Inc. Surgical system with haptic feedback based upon quantitative three-dimensional imaging
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
KR102397254B1 (ko) 2014-03-28 2022-05-12 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 장면의 정량적인 3차원 영상
US10772489B2 (en) 2014-07-09 2020-09-15 Acclarent, Inc. Guidewire navigation for sinuplasty
US10463242B2 (en) * 2014-07-09 2019-11-05 Acclarent, Inc. Guidewire navigation for sinuplasty
CN104306072B (zh) * 2014-11-07 2016-08-31 常州朗合医疗器械有限公司 医疗导航系统及方法
JP6510631B2 (ja) * 2015-03-24 2019-05-08 オリンパス株式会社 軟性マニピュレータ制御装置および医療用マニピュレータシステム
JP2016214782A (ja) * 2015-05-26 2016-12-22 Ｍｒｔ株式会社 気管支鏡の作動方法、マーキング用気管支鏡、切除標的領域の特定方法、及び、プログラム
CN107847111B (zh) * 2015-07-23 2022-04-08 皇家飞利浦有限公司 根据体积图像的交互式平面切片的内窥镜引导
CN108472090B (zh) 2015-12-29 2021-06-18 皇家飞利浦有限公司 用于控制外科手术机器人的系统、控制单元和方法
CN109069207B (zh) 2016-03-17 2021-09-10 皇家飞利浦有限公司 机器人系统及其控制单元和计算机可读存储介质
KR20230031371A (ko) * 2016-11-02 2023-03-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 수술을 위한 연속 정치 시스템 및 방법
CN106856067B (zh) * 2017-01-18 2019-04-02 北京大学人民医院 一种智能化电子模拟纤维支气管镜训练装置
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
US11204677B2 (en) * 2018-10-22 2021-12-21 Acclarent, Inc. Method for real time update of fly-through camera placement
WO2020173816A1 (en) * 2019-02-28 2020-09-03 Koninklijke Philips N.V. Feedforward continuous positioning control of end-effectors
CN112315582B (zh) * 2019-08-05 2022-03-25 罗雄彪 一种手术器械的定位方法、系统及装置
CN113143168A (zh) * 2020-01-07 2021-07-23 日本电气株式会社 医疗辅助操作方法、装置、设备和计算机存储介质
WO2022211501A1 (ko) * 2021-03-31 2022-10-06 서울대학교병원 굴곡성기관지내시경 이미지를 이용하여 해부학적 위치를 판별하는 장치 및 방법
US11903561B2 (en) * 2021-05-03 2024-02-20 Iemis (Hk) Limited Surgical systems and devices, and methods for configuring surgical systems and performing endoscopic procedures, including ERCP procedures
US20230088132A1 (en) 2021-09-22 2023-03-23 NewWave Medical, Inc. Systems and methods for real-time image-based device localization

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US6246898B1 (en) * 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US5797849A (en) * 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US6256090B1 (en) * 1997-07-31 2001-07-03 University Of Maryland Method and apparatus for determining the shape of a flexible body
US20020087148A1 (en) * 1998-02-24 2002-07-04 Brock David L. Flexible instrument
US6468265B1 (en) * 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US8442618B2 (en) * 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
US6749652B1 (en) 1999-12-02 2004-06-15 Touchstone Research Laboratory, Ltd. Cellular coal products and processes
DE10210648A1 (de) * 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Erfassung und Darstellung eines in ein zu untersuchendes oder behandelndes Hohlraumorgan eines Patienten eingeführten medizinischen Instruments
ES2865048T3 (es) * 2002-04-17 2021-10-14 Covidien Lp Estructuras de endoscopio para navegar a un objetivo en una estructura ramificada
EP2460473B1 (en) * 2003-05-08 2017-01-11 Hitachi, Ltd. Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
US7398116B2 (en) * 2003-08-11 2008-07-08 Veran Medical Technologies, Inc. Methods, apparatuses, and systems useful in conducting image guided interventions
EP1681011B1 (en) * 2003-10-31 2013-03-20 Olympus Corporation Insertion support system
WO2005053518A1 (ja) * 2003-12-05 2005-06-16 Olympus Corporation 表示処理装置
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
WO2005079492A2 (en) * 2004-02-17 2005-09-01 Traxtal Technologies Inc. Method and apparatus for registration, verification, and referencing of internal organs
DE102004011156A1 (de) * 2004-03-08 2005-10-06 Siemens Ag Verfahren zur endoluminalen Bildgebung mit Bewegungskorrektur
EP1787179A2 (en) * 2004-08-31 2007-05-23 Watlow Electric Manufacturing Company Operations system distributed diagnostic system
US7536216B2 (en) * 2004-10-18 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for virtual endoscopy with guidance for biopsy
CA2588002A1 (en) * 2005-01-18 2006-07-27 Traxtal Inc. Method and apparatus for guiding an instrument to a target in the lung
JP4668643B2 (ja) * 2005-02-23 2011-04-13 オリンパスメディカルシステムズ株式会社 内視鏡装置
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20090149703A1 (en) * 2005-08-25 2009-06-11 Olympus Medical Systems Corp. Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
ATE536829T1 (de) 2005-10-11 2011-12-15 Koninkl Philips Electronics Nv System zur 3d-werkzeugwegplanung, simulation und steuerung
WO2008005953A2 (en) * 2006-06-30 2008-01-10 Broncus Technologies, Inc. Airway bypass site selection and treatment planning
EP2066245B1 (en) 2006-09-14 2014-04-02 Koninklijke Philips N.V. Active cannula configuration for minimally invasive surgery
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US20090163800A1 (en) * 2007-12-20 2009-06-25 Siemens Corporate Research, Inc. Tools and methods for visualization and motion compensation during electrophysiology procedures
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US9923308B2 (en) 2012-04-04 2018-03-20 Holland Electronics, Llc Coaxial connector with plunger

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015526133A (ja) * 2012-06-28 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ ロボット操作される内視鏡を使用した血管可視化の向上
WO2014136576A1 (ja) * 2013-03-06 2014-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014156378A1 (ja) * 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9516993B2 (en) 2013-03-27 2016-12-13 Olympus Corporation Endoscope system
JP5687811B1 (ja) * 2013-04-15 2015-03-25 オリンパスメディカルシステムズ株式会社 内視鏡システム
US10561338B2 (en) 2015-09-16 2020-02-18 Fujifilm Corporation Endoscope position identifying apparatus, endoscope position identifying method, and recording medium having an endoscope position identifying program recorded therein
JP2019010382A (ja) * 2017-06-30 2019-01-24 富士フイルム株式会社 画像位置合わせ装置、方法およびプログラム

Also Published As

Publication number Publication date
US20110282151A1 (en) 2011-11-17
WO2010046802A1 (en) 2010-04-29
CN102186404A (zh) 2011-09-14
EP2348954A1 (en) 2011-08-03
RU2011120186A (ru) 2012-11-27

Similar Documents

Publication Publication Date Title
JP2012505695A (ja) 画像に基づくローカライゼーション方法及びシステム
US10667679B2 (en) Image-based global registration system and method applicable to bronchoscopy guidance
Grasa et al. Visual SLAM for handheld monocular endoscope
JP5836267B2 (ja) 電磁追跡内視鏡システムのためのマーカーなし追跡の位置合わせおよび較正のための方法およびシステム
US20120062714A1 (en) Real-time scope tracking and branch labeling without electro-magnetic tracking and pre-operative scan roadmaps
US7889905B2 (en) Fast 3D-2D image registration method with application to continuously guided endoscopy
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
KR102196291B1 (ko) 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US9498132B2 (en) Visualization of anatomical data by augmented reality
US20120063644A1 (en) Distance-based position tracking method and system
JP2019511931A (ja) 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ
WO2012095755A1 (en) Intraoperative camera calibration for endoscopic surgery
Allain et al. Re-localisation of a biopsy site in endoscopic images and characterisation of its uncertainty
Deng et al. Feature-based Visual Odometry for Bronchoscopy: A Dataset and Benchmark
Khare et al. Toward image-based global registration for bronchoscopy guidance
Serna-Morales et al. Acquisition of three-dimensional information of brain structures using endoneurosonography
Yang et al. 3D reconstruction from endoscopy images: A survey

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121011

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20131021