JP7350470B2 - 解剖学的画像における内視鏡の位置及び光軸の表示 - Google Patents

解剖学的画像における内視鏡の位置及び光軸の表示 Download PDF

Info

Publication number
JP7350470B2
JP7350470B2 JP2018161167A JP2018161167A JP7350470B2 JP 7350470 B2 JP7350470 B2 JP 7350470B2 JP 2018161167 A JP2018161167 A JP 2018161167A JP 2018161167 A JP2018161167 A JP 2018161167A JP 7350470 B2 JP7350470 B2 JP 7350470B2
Authority
JP
Japan
Prior art keywords
processor
slice
medical tool
organ
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018161167A
Other languages
English (en)
Other versions
JP2019042506A (ja
Inventor
アサフ・ゴバリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2019042506A publication Critical patent/JP2019042506A/ja
Application granted granted Critical
Publication of JP7350470B2 publication Critical patent/JP7350470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pulmonology (AREA)
  • Endoscopes (AREA)
  • Surgical Instruments (AREA)

Description

本発明は、概ね患者の器官内で医療デバイスを追跡すること、特にその制限された部分に入らずに器官内で内視鏡をナビゲートする方法及びシステムに関する。
一部の医療処置は、患者の器官の制限された部分間に医療デバイスをナビゲートすることを必要とする。
例えば、米国特許出願公開第2014/0344742号は、プロセッサ、及び計画モジュールを記憶するプロセッサと結合されるメモリを含むシステム及び方法について記載している。ユーザーインターフェースは、プロセッサと結合され、ユーザーが経路システムを通じて経路を選択できるように構成されている。計画モジュールは、ユーザーインターフェースを使用してガイドされるユーザー制御のカーソル点に対応する画像ボリュームの1つ又は2つ以上のスライスをアップロードするように構成されており、その結果、経路がナビゲートされているときに、経路内のカーソル点の深さに応じて1つ又は2つ以上のスライスが更新される。
国際出願公開第2015/149041号は、視野を撮像するように配置されるQ3D内視鏡、並びにシーンのQ3Dモデルを生成し、標的器具及び構造を特定するプロセッサを含むシステムについて記載している。このプロセッサは、器具の仮想視野からシーンを表示し、標的の周りの飛行禁止区域を決定する、当該器具のための予測される経路を決定する、又は当該器具の3D追跡を提供するように構成されている。
本明細書に記載される本発明の実施形態は、(i)患者の器官のセグメント化された三次元(3D)解剖学的画像の二次元(2D)スライスのセット、並びに(ii)器官内の医療用ツールの遠位先端のそれぞれの位置及び配向を示す位置信号を受信することを含む方法を提供する。医療用ツールの光軸は、位置信号に基づいて推定される。(i)光軸に対して既定の角度で配向され、(ii)遠位先端の位置を含むスライスを、スライスの中から選択する。選択されたスライスは、遠位先端の位置を示すマーカーと共にユーザーに対して表示される。
いくつかの実施形態では、既定の角度は、スライスと光軸との間の直角を含む。他の実施形態では、方法は、器官の、医療用ツールのアクセスを制限されている1つ又は2つ以上の選択された飛行禁止区域(NFZ)部分を特定すること、及びスライスに該当する1つ又は2つ以上の選択されたNFZ部分のそれぞれの断面図を示す1つ又は2つ以上のそれぞれのマーカーをスライス内に表示することを含む。更に他の実施形態では、マーカーを表示することは、医療用ツールの少なくとも一部が、選択されたNFZ部分のうちの少なくとも1つから既定の距離内にあるという検出に応じて警告表示をもたらすことを含む。
ある実施形態では、器官は、副鼻腔を含み、セグメント化された解剖学的画像のスライスのセットを受信することは、副鼻腔の1つ又は2つ以上のコンピュータ断層撮影(CT)のセグメント化された画像のスライスのセットを受信することを含む。別の実施形態では、位置信号を受信することは、位置追跡システムの位置センサから位置信号を受信することを含み、位置センサは、医療用ツールの遠位端と結合されている。
いくつかの実施形態では、医療用ツールは内視鏡を含む。他の実施形態では、光軸を推定することは、位置信号の配列に基づいて、医療用ツールの遠位端の移動の方向を推定することを含む。
本発明の一実施形態による、インターフェース及びプロセッサを含む装置が更に提供される。インターフェースは、(i)患者の器官のセグメント化された三次元(3D)解剖学的画像の二次元(2D)スライスのセット、並びに(ii)器官内の医療用ツールの遠位先端のそれぞれの位置及び配向を示す位置信号を受信するように構成されている。プロセッサは、位置信号に基づいて、医療用ツールの光軸を推定し、スライスの中から(i)光軸に対して既定の角度で配向され、(ii)遠位先端の位置を含む、スライスを選択し、選択されたスライスを、遠位先端の位置を示すマーカーと共にユーザーに対して表示するように構成されている。
本発明は、以下の発明を実施するための形態を図面と併せて考慮すると、より完全に理解されよう。
本発明の実施形態による、副鼻腔形成システムを使用する副鼻腔形成処置の概略的絵画図である。 本発明の実施形態による、内視鏡の遠位端及び解剖学的画像の概略的絵画図である。 本発明の実施形態による、解剖学的画像における内視鏡の位置及び配向を可視化するための方法を概略的に図示するフローチャートである。
概要
副鼻腔形成などのいくつかの医療処置は、患者の頭部において内視鏡などの医療デバイスを、典型的には患者の安全上の理由で頭部の制限された部分に内視鏡を挿入しないで、ナビゲートすることを必要とする場合がある。
以下に記載される本発明の実施形態は、そのような制限された部分に入らずに患者の頭部において内視鏡をナビゲートするための改善された方法及びシステムを提供する。
いくつかの実施形態では、ナビゲーションシステムは、患者の頭部のセグメント化された三次元(3D)解剖学的画像の二次元(2D)スライスのセット、及び位置追跡システムの位置センサからの位置信号を受信する。位置信号は、患者の頭部における内視鏡の遠位先端のそれぞれの位置及び配向を示す。
いくつかの実施形態では、ナビゲーションシステム内のプロセッサは、位置信号に基づいて、遠位先端の移動の方向を推定するように構成されており、その方向は典型的には内視鏡の光軸に対応する。いくつかの実施形態では、プロセッサは、2Dスライスの中から、(i)内視鏡の光軸に直交し、(ii)遠位先端の位置を含むスライスを選択するように更に構成されている。
いくつかの実施形態では、プロセッサは、遠位先端の位置を示すマーカーと共に、ユーザーに対して選択されたスライスを表示するように構成されている。
副鼻腔形成処置中に、医師は、医療用ツールに対して制限される患者の頭部内の1つ又は2つ以上の部分を選択し得る。いくつかの実施形態では、プロセッサは、メモリ内に選択された部分を記憶し、制限された部分のうち少なくとも1つが表示されたスライスに該当すると、制限された部分を示すマーカーをスライス内に表示するように構成されている。いくつかの実施形態では、プロセッサは、遠位先端又は内視鏡の任意の他の部分が制限された部分のうちの1つ又は2つ以上に近寄り過ぎたために、その中の組織に対して損傷を引き起こし得るという検出に応じて医師に対する警告表示を提供するように更に構成されている。
開示される技術は、制限された部分を有する非常に分岐した器官内で実行される副鼻腔形成処置においてなど、低侵襲の医療処置において特に重要である。そのような処置において、開示される技術は、標的位置に対する正確なナビゲーションを可能にし、内視鏡が制限された部分内の組織に対して損傷を引き起こし得るという警告表示を提供することによって患者の安全を向上させる。
システムの説明
図1は、本発明の実施形態による、副鼻腔形成システム20を使用する副鼻腔形成処置の概略的絵画図である。いくつかの実施形態では、副鼻腔形成システム20は、患者22の例えば副鼻腔37などの耳鼻咽喉(ENT)部分を可視化するように構成されているENT内視鏡28などの医療デバイスを備える。本開示の文脈及び特許請求の範囲において、「ツール」及び「デバイス」という用語は、互換的に使用され、対応の医療処置で使用される任意の好適な医療デバイスを指す。
いくつかの実施形態では、内視鏡28は、医師24が患者22の鼻26に挿入する、カメラ(下の図2に図示)が結合された遠位端38を備える。内視鏡28は、遠位端38の近位端に結合され、副鼻腔37の画像を収集するために遠位端38を副鼻腔37の中へナビゲートする際に、医師24を支援するように構成された手持ち式装置30を更に備える。他の実施形態では、カッター又は吸引ツールなどの任意の好適な医療デバイス(図示せず)は、内視鏡28と結合され得る。
ある実施形態では、システム20は、患者22の頭部内の1つ又は2つ以上の位置センサの位置及び配向を追跡するように構成されている磁気位置追跡システムを更に備える。磁気位置追跡システムは、磁気磁場発生器44と、下記の図2に示される位置センサとを備える。位置センサは、位置信号を磁場発生器から感知された外部磁場に応答して生成し、その結果、プロセッサ34は、後述するようにそれぞれのセンサの位置及び配向をマッピングすることができる。
この位置検知の方法は、様々な医療用途で、例えば、Biosense Webster Inc.(Diamond Bar,Calif.)が製造するCARTO(商標)システムに実装されており、米国特許第5,391,199号、同第6,690,963号、同第6,484,118号、同第6,239,724号、同第6,618,612号及び同第6,332,089号、国際公開第96/05768号、並びに米国特許出願公開第2002/0065455(A1)号、同第2003/0120150(A1)号及び同第2004/0068178(A1)号に詳細に記述されており、それらの開示は全て参照により本明細書に組み込まれる。
システム20は、位置特定パッド40を更に備え、位置特定パッド40は、フレーム46上に固定された磁場発生器44を備える。図1に示す例示的な構成では、パッド40は、5つの磁場発生器44を備えるが、任意の他の好適な数の発生器44を備えることができる。パッド40は、発生器44が患者22の外部の固定された既知の位置に位置するように、患者22の頭部41の下に配置された枕(図示せず)を更に備える。
いくつかの実施形態では、システム20は、コンソール33を備え、コンソール33は、メモリ(図示せず)、並びにケーブル32を介して、磁気センサ(下の図2に図示)が上に装着された内視鏡28から信号を受信するための好適なフロントエンド回路及びインターフェース回路と共にプロセッサ34、典型的には汎用コンピュータを備える。
いくつかの実施形態では、プロセッサ34は、位置追跡システムの座標系における内視鏡28の遠位先端(下の図2に図示)の位置及び配向を推定するように位置センサの位置及び配向をマッピングするように構成されている。
いくつかの実施形態では、プロセッサ34は、外部コンピュータ断層撮影(CT)システム(図示せず)を使用して得られた患者22の頭部41のセグメント化された三次元(3D)解剖学的画像のそれぞれのセグメント化された二次元(2D)スライスを描写するCT画像などの1つ又は2つ以上の解剖学的画像を受信するように構成されている。「セグメント化」という用語は、CTシステム内の組織のそれぞれの減衰を測定することによって、各スライス内で識別される様々な種類の組織を表示することを指す。
コンソール33は、入力デバイス39と、ユーザーディスプレイ36と、を更に備え、ユーザーディスプレイ36は、プロセッサ34から受信されたデータ(例えば、画像)、又は、ユーザー(例えば、医師24)によって挿入された入力を表示するように構成されている。
いくつかの実施形態では、プロセッサ34は、CT画像の中から画像35などの1つ又は2つ以上の選択された2Dスライスをユーザーディスプレイ36上に表示するように構成されている。図1の例では、画像35は、副鼻腔37などの患者22の鼻の組織のセグメント化された断面図であり、典型的には内視鏡28の光軸に直交している。
他の実施形態では、遠位先端60に直交する2Dスライスを表示する代わりに、プロセッサ34は、内視鏡28の光軸に対して任意の既定の角度で任意の2Dスライスを選択し、ディスプレイ36上に表示するように構成されている。既定の角度は、一定にすることができる、又は処置中に、また問題になっている器官に対して変更してもよい。実際には、例えば、プロセッサ34におけるいくらかのレイテンシのために、又はCTシステムの座標系と位置追跡システムの座標系との間の整合の限定された精度のために、既定の角度はいくつかの変更例を有し得ることが理解されよう。
いくつかの実施形態では、セグメント化されたCT画像は、副鼻腔形成処置の前に収集され、その結果、医師24の医師は、セグメント化されたCT画像のうちの1つ又は2つ以上において選択された部分にマークを付け得る。例えば、選択された部分は、内視鏡28又は任意の他の医療デバイスに対して制限されてもよい。
ある実施形態では、プロセッサ34は、画像35内に、例えば、内視鏡28に対して制限されている副鼻腔37内の選択された部分を示すマーカーを表示するように更に構成されている。図1の例では、これらの制限された部分は、「飛行禁止区域」(NFZ)50と呼ばれ、示されている。2Dスライスの表示、及びNFZ50を示すマーカーの表示は、下の図2で詳細に説明されている。
本開示の文脈及び特許請求の範囲において、「制限された」及び「NFZ」という用語は、内視鏡28の遠位先端60などの医療デバイスの任意の部分の存在が許されない部分を指すことに留意されたい。
コンソール33は、駆動回路(図示せず)を備え、駆動回路は、磁場を頭部41の回りに予め定義された使用容量で生成するように好適な信号で磁場発生器44を駆動させるように構成されている。
図1は、簡潔性かつ明瞭性のため、開示技法に関連する要素のみを示す。システム20は、典型的に、開示技法に直接には関連せず、したがって図1及び対応する説明から意図的に省略されている付加的なモジュール及び要素を備える。
プロセッサ34は、システムによって使用される機能を実行するように、かつソフトウェアによって処理されるか、又は別様に使用されるデータをメモリ(図示せず)に記憶するようにプログラムされ得る。このソフトウェアは、例えばネットワークを介して電子的形態でプロセッサにダウンロードされてもよく、又は光学的、磁気的、若しくは電子的メモリ媒体など、持続性の有形媒体上に提供されてもよい。代替的に、プロセッサ34の機能の一部又は全ては、専用の又はプログラム可能なデジタルハードウェア構成要素によって実行されてもよい。
CT画像の2Dスライスにおける内視鏡及び飛行禁止区域の表示
図2は、本発明の実施形態による、内視鏡28の遠位端38及び画像35の概略絵画図である。いくつかの実施形態では、副鼻腔37の画像、場合により患者22の他の鼻の組織の画像を収集するように構成されているカメラ54は、内視鏡28の遠位先端60と結合されている。
いくつかの実施形態では、位置センサ54は、遠位先端60に対して既定の場所で遠位端38と結合される。いくつかの実施形態では、位置センサ54は、磁界発生器44によって生成された外部磁界を検知することに応じて位置信号を発生するように構成されている。ある実施形態では、プロセッサ34は、センサ54によって提供される位置信号に基づいて、CTシステムの座標系における遠位先端60の位置及び配向をマップするために、CTシステムの座標系と位置追跡システムの座標系との間で整合するように構成されている。
いくつかの実施形態では、プロセッサ34は、位置信号に基づいて、矢印55によって表される遠位端38の移動の方向を推定するように更に構成されており、その方向は、典型的には、破線56によって表される内視鏡28の光軸に対応する。
いくつかの実施形態では、プロセッサ34は、2Dスライスの中から、光軸(例えば、破線56)に直交している平面52内のスライス(例えば、画像35)を選択するように構成されており、選択された部位は、遠位先端60の位置を含む。
ここで画像35において鼻腔37の断面図を示す挿入図51を参照する。いくつかの実施形態では、プロセッサ34は、画像35に遠位先端60の位置を示すマーカー61を表示するように構成されている。いくつかの実施形態では、プロセッサ34は、画像35の中央にマーカー61を表示するように更に構成されており、その結果、医師24は、セグメント化された画像35内に遠位先端60の周りに位置する組織を見ることができる。
上の図1の説明で、プロセッサ34は、遠位端38の移動中に画像35に該当する任意のNFZ50を表示するように構成されている。実施形態では、プロセッサ34は、遠位先端60又は内視鏡28の任意の他の部分がNFZ50に近寄り過ぎたために(therefor)、NFZ50内の組織に対して損傷を引き起こし得るという検出に応じて、医師24に対する警告表示を提供するように構成されている。いくつかの実施形態では、警告は、図2の画像35に示されるように医師24に視覚的に提示され得る。追加的又は代替的に、警告表示は、音声信号又は任意の他の好適なタイプのアラートを含み得る。内視鏡28がどのNFZからも十分な距離にある場合、プロセッサ34は、上述のようにそれぞれの2Dスライス上に遠位先端60及びその光軸だけを表示するように構成されている。
副鼻腔形成処置中に、医師24は、典型的には、器官内部で内視鏡28を移動する必要があることを留意されたい。警告表示を提供するために、プロセッサ34は、遠位先端60の各場所において、内視鏡28の光軸に直交し、かつ遠位先端60の現在の位置を含むそれぞれの2Dスライス、及び選択された2Dスライスに該当する1つ又は2つ以上のNFZ50をリアルタイムで選択し、表示するように構成されている。
代替の実施形態では、プロセッサ34は、内視鏡28のカメラ54によって収集された画像を受信し、そのような画像のそれぞれに対して、カメラ54によって収集された画像に最も適合する2DスライスをCT画像の中から選択するように構成されている。これらの実施形態では、位置追跡システム(及びセンサ58)を省略するか、あるいは、内視鏡28の遠位先端の場所を確認するための制御手段として使用してもよい。これらの実施形態は、視野及び倍率などカメラ54の特定パラメータの設定を必要とすることに留意されたい。
図3は、本発明の実施形態による、画像35内の遠位先端60の位置及び配向を可視化するための方法を概略的に図示するフローチャートである。いくつかの実施形態では、方法は、医療(例えば、副鼻腔形成)処置を実施する前に実行される準備手順、並びに医療処置中に実行される操作を含み得る。
準備手順は、画像収集工程100において、プロセッサ34がCTシステムから患者22の鼻の組織の解剖学的画像の2Dスライスのセットを受信することから始まる。いくつかの実施形態では、2Dスライスは、各スライス内の様々な種類の組織を識別するようにセグメント化される。
飛行禁止区域(NFZ)定義工程102において、プロセッサ34は、コンソール33のメモリ内に、医師24によって事前に定義されたNFZの部分を記憶する。NFZ定義工程102は、準備手順を完了することに留意されたい。
医療処置の第1の工程である内視鏡挿入工程106において、医師24は、患者22の鼻26に医療デバイスを挿入する。ある実施形態では、医療デバイスは、患者22の副鼻腔37内で診断及び/又は治療処置を実行するように構成されている、内視鏡28及び/又は任意の他の好適なデバイスを備える。いくつかの実施形態では、内視鏡28は、それぞれ遠位端58及び遠位先端60に結合されている位置センサ58及びカメラ54を備える。
位置信号取得工程106において、プロセッサ34は、センサ58から患者22の副鼻腔37内の遠位先端60の位置及び配向を示す位置信号を受信する。ある実施形態では、位置センサ58は、遠位先端60に対して既定のオフセットで遠位端38に結合されており、その場合、プロセッサ34は、位置信号及び既定のオフセットに基づいて、副鼻腔37における、又は患者22の任意の他の器官における遠位先端60の位置及び配向を推定するように構成されている。
光軸推定工程108において、医師24が内視鏡28を患者22の頭部41内で動かすとき、プロセッサ34は、センサ58から遠位端38の場所に対応する位置信号の配列を受信する。位置信号の配列に基づいて、プロセッサ34は、上の図2で矢印55によって表される遠位端38の移動の方向を推定し、その方向は、典型的には内視鏡28の光軸に対応する。
スライス選択工程110において、プロセッサ34は、2Dスライスの中から、内視鏡28の光軸に直交していて、かつ典型的にはスライスの中央に遠位先端60の位置を含むスライスを選択する。いくつかの実施形態では、プロセッサ34は、例えば、ディスプレイ36上にセグメント化された画像35として、2Dスライスを表示する。
マーカー表示工程112において、プロセッサ34は、画像35内に遠位先端60の位置及び光軸を示すマーカーを表示し、その結果、医師24は、問題になっている器官(例えば、副鼻腔37)内の遠位先端60のセグメント化された断面図を見ることができる。
本明細書に記載される実施形態は、主として副鼻腔形成処置に対処するが、本明細書に記載される方法及びシステムは、他の医療用途でも使用され得る。
したがって、上記に述べた実施形態は、例として引用したものであり、また本発明は、上記に具体的に示し説明したものに限定されないことが理解されよう。むしろ本発明の範囲は、上述の様々な特徴の組み合わせ及びその一部の組み合わせの両方、並びに上述の説明を読むことで当業者により想到されるであろう、また従来技術において開示されていないそれらの変形及び修正を含むものである。参照により本特許出願に援用される文献は、これらの援用文献において、いずれかの用語が本明細書において明示的又は暗示的になされた定義と矛盾して定義されている場合には、本明細書における定義のみを考慮するものとする点を除き、本出願の一部とみなすものとする。
〔実施の態様〕
(1) 方法であって、
(i)患者の器官のセグメント化された三次元(3D)解剖学的画像の二次元(2D)スライスのセット、並びに(ii)前記器官内の医療用ツールの遠位先端のそれぞれの位置及び配向を示す位置信号を受信することと、
前記位置信号に基づいて、前記医療用ツールの光軸を推定することと、
前記スライスの中から、(i)前記光軸に対して既定の角度で配向され、(ii)前記遠位先端の前記位置を含むスライスを選択することと、
前記選択されたスライスを、前記遠位先端の前記位置を示すマーカーと共にユーザーに対して表示することと、を含む、方法。
(2) 前記既定の角度が、前記スライスと前記光軸との間の直角を含む、実施態様1に記載の方法。
(3) 前記医療用ツールのアクセスを制限されている、前記器官の1つ又は2つ以上の選択された飛行禁止区域(NFZ)部分を特定することと、前記スライスに該当する前記1つ又は2つ以上の選択されたNFZ部分のそれぞれの断面図を示す1つ又は2つ以上のそれぞれのマーカーを前記スライス内に表示することと、を更に含む、実施態様1に記載の方法。
(4) 前記マーカーを表示することは、前記医療用ツールの少なくとも一部が前記選択されたNFZ部分のうちの少なくとも1つから既定の距離内にあるという検出に応じて警告表示をもたらすことを含む、実施態様3に記載の方法。
(5) 前記器官が、副鼻腔を含み、前記セグメント化された解剖学的画像のスライスの前記セットを受信することが、前記副鼻腔の1つ又は2つ以上のコンピュータ断層撮影(CT)のセグメント化された画像のスライスのセットを受信することを含む、実施態様1に記載の方法。
(6) 前記位置信号を受信することが、位置追跡システムの位置センサから前記位置信号を受信することを含み、前記位置センサが、前記医療用ツールの遠位端と結合されている、実施態様1に記載の方法。
(7) 前記医療用ツールが、内視鏡を備える、実施態様1に記載の方法。
(8) 前記光軸を推定することが、前記位置信号の配列に基づいて、前記医療用ツールの遠位端の移動の方向を推定することを含む、実施態様1に記載の方法。
(9) 装置であって、
インターフェースであって、(i)患者の器官のセグメント化された三次元(3D)解剖学的画像の二次元(2D)スライスのセット、並びに(ii)前記器官内の医療用ツールの遠位先端のそれぞれの位置及び配向を示す位置信号を受信するように構成されている、インターフェースと、
プロセッサであって、
前記位置信号に基づいて、前記医療用ツールの光軸を推定し、
前記スライスの中から、(i)前記光軸に対して既定の角度で配向され、(ii)前記遠位先端の前記位置を含むスライスを選択し、
前記選択されたスライスを、前記遠位先端の前記位置を示すマーカーと共にユーザーに対して表示するように構成されている、プロセッサと、を備える装置。
(10) 前記既定の角度が、前記スライスと前記光軸との間の直角を含む、実施態様9に記載の装置。
(11) 前記プロセッサが、前記医療用ツールのアクセスを制限されている、前記器官の1つ又は2つ以上の選択された飛行禁止区域(NFZ)部分を特定し、前記スライスに該当する前記1つ又は2つ以上の選択されたNFZ部分のそれぞれの断面図を示す1つ又は2つ以上のそれぞれのマーカーを前記スライス内に表示するように構成されている、実施態様9に記載の装置。
(12) 前記プロセッサは、前記医療用ツールの少なくとも一部が前記選択されたNFZ部分のうちの少なくとも1つから既定の距離内にあるという検出に応じて警告表示をもたらすように構成されている、実施態様11に記載の装置。
(13) 前記器官が、副鼻腔を含み、前記インターフェースが、前記副鼻腔の1つ又は2つ以上のコンピュータ断層撮影(CT)のセグメント化された画像のスライスのセットを受信するように構成されている、実施態様9に記載の装置。
(14) 前記インターフェースが、位置追跡システムの位置センサから前記位置信号を受信するように構成されており、前記位置センサが、前記医療用ツールの遠位端と結合されている、実施態様9に記載の装置。
(15) 前記医療用ツールが、内視鏡を備える、実施態様9に記載の装置。
(16) 前記プロセッサが、前記位置信号の配列に基づいて、前記医療用ツールの遠位端の移動の方向を推定するように構成されている、実施態様9に記載の装置。

Claims (5)

  1. 装置であって、
    インターフェースであって、(i)患者の器官のセグメント化された三次元(3D)解剖学的画像の二次元(2D)スライスのセット、並びに(ii)前記器官内の医療用ツールの遠位先端のそれぞれの位置及び配向を示す位置信号を受信するように構成されている、インターフェースと、
    プロセッサであって、
    前記位置信号に基づいて、前記医療用ツールの光軸を推定し、
    前記スライスの中から、(i)前記光軸に対して既定の角度で配向され、(ii)前記遠位先端の前記位置を含むスライスを選択し、
    前記選択されたスライスを、前記遠位先端の前記位置を示すマーカーと共にユーザーに対して表示するように構成され、
    前記既定の角度を、処置中に、問題になっている器官に対して変更可能に構成されている、プロセッサと、を備え
    前記プロセッサが、前記医療用ツールのアクセスを制限されている、前記器官の1つ又は2つ以上の選択された飛行禁止区域(NFZ)部分を特定し、前記スライスに該当する前記1つ又は2つ以上の選択されたNFZ部分のそれぞれの断面図を示す1つ又は2つ以上のそれぞれのマーカーを前記スライス内に表示するように構成され、
    前記プロセッサは、前記医療用ツールの少なくとも一部が前記選択されたNFZ部分のうちの少なくとも1つから既定の距離内にあるという検出に応じて警告表示をもたらすように構成され、
    前記医療用ツールが、内視鏡を備える装置。
  2. 前記既定の角度が、前記スライスと前記光軸との間の直角を含む、請求項1に記載の装置。
  3. 前記器官が、副鼻腔を含み、前記インターフェースが、前記副鼻腔の1つ又は2つ以上のコンピュータ断層撮影(CT)のセグメント化された画像のスライスのセットを受信するように構成されている、請求項1に記載の装置。
  4. 前記インターフェースが、位置追跡システムの位置センサから前記位置信号を受信するように構成されており、前記位置センサが、前記医療用ツールの遠位端と結合されている、請求項1に記載の装置。
  5. 前記プロセッサが、前記位置信号の配列に基づいて、前記医療用ツールの遠位端の移動の方向を推定するように構成されている、請求項1に記載の装置。
JP2018161167A 2017-08-31 2018-08-30 解剖学的画像における内視鏡の位置及び光軸の表示 Active JP7350470B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/693,271 US10506991B2 (en) 2017-08-31 2017-08-31 Displaying position and optical axis of an endoscope in an anatomical image
US15/693,271 2017-08-31

Publications (2)

Publication Number Publication Date
JP2019042506A JP2019042506A (ja) 2019-03-22
JP7350470B2 true JP7350470B2 (ja) 2023-09-26

Family

ID=63642491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161167A Active JP7350470B2 (ja) 2017-08-31 2018-08-30 解剖学的画像における内視鏡の位置及び光軸の表示

Country Status (7)

Country Link
US (1) US10506991B2 (ja)
EP (1) EP3451295A1 (ja)
JP (1) JP7350470B2 (ja)
CN (1) CN109419556A (ja)
AU (1) AU2018220039A1 (ja)
CA (1) CA3015770A1 (ja)
IL (1) IL261181B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017117369A1 (en) 2015-12-31 2017-07-06 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
US10952797B2 (en) * 2018-01-02 2021-03-23 Biosense Webster (Israel) Ltd. Tracking a rigid tool in a patient body
US20200015904A1 (en) 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization controls
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018172A (ja) 2006-07-14 2008-01-31 Hitachi Medical Corp 手術支援装置
WO2008093517A1 (ja) 2007-01-31 2008-08-07 National University Corporation Hamamatsu University School Of Medicine 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
US20100312095A1 (en) 2009-06-08 2010-12-09 Jenkins Kimble L Mri-guided surgical systems with proximity alerts
WO2012101888A1 (ja) 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
JP2016034412A (ja) 2014-08-04 2016-03-17 パナソニックヘルスケアホールディングス株式会社 手術支援装置および手術支援プログラム、手術支援方法
JP2017515617A (ja) 2014-03-28 2017-06-15 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 視野内の器具の定量的三次元視覚化

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
CA2197986C (en) 1994-08-19 2008-03-18 Shlomo Ben-Haim Medical diagnosis, treatment and imaging systems
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
EP0910300B1 (en) 1996-02-15 2003-12-03 Biosense, Inc. Site marking probe
ES2210498T3 (es) 1996-02-15 2004-07-01 Biosense, Inc. Transductores posicionables independientemente para sistema de localizacion.
US6016439A (en) * 1996-10-15 2000-01-18 Biosense, Inc. Method and apparatus for synthetic viewpoint imaging
JP3117665B2 (ja) 1997-08-26 2000-12-18 ジーイー横河メディカルシステム株式会社 画像表示方法および画像表示装置
US6239724B1 (en) 1997-12-30 2001-05-29 Remon Medical Technologies, Ltd. System and method for telemetrically providing intrabody spatial position
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
US7729742B2 (en) 2001-12-21 2010-06-01 Biosense, Inc. Wireless position sensor
US20040068178A1 (en) 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
JP2007512854A (ja) * 2003-04-28 2007-05-24 ブラッコ イメージング ソチエタ ペル アチオニ 手術用ナビゲーションシステム(カメラプローブ)
US7715604B2 (en) * 2005-01-18 2010-05-11 Siemens Medical Solutions Usa, Inc. System and method for automatically registering three dimensional cardiac images with electro-anatomical cardiac mapping data
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US8403858B2 (en) 2006-10-12 2013-03-26 Perceptive Navigation Llc Image guided catheters and methods of use
US20090012390A1 (en) * 2007-07-02 2009-01-08 General Electric Company System and method to improve illustration of an object with respect to an imaged subject
JP5561458B2 (ja) 2008-03-18 2014-07-30 国立大学法人浜松医科大学 手術支援システム
IT1392888B1 (it) 2008-07-24 2012-04-02 Esaote Spa Dispositivo e metodo di guida di utensili chirurgici mediante imaging ecografico.
CN102740755B (zh) * 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备
US10758212B2 (en) 2011-12-03 2020-09-01 Koninklijke Philips N.V. Automatic depth scrolling and orientation adjustment for semi-automated path planning
EP3679881A1 (en) * 2012-08-14 2020-07-15 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
US10588597B2 (en) * 2012-12-31 2020-03-17 Intuitive Surgical Operations, Inc. Systems and methods for interventional procedure planning
US10299684B2 (en) * 2013-12-20 2019-05-28 Koninklijke Philips N.V. User interface for photonic tools and electromagnetic tracking guided bronchoscope
US9770216B2 (en) * 2014-07-02 2017-09-26 Covidien Lp System and method for navigating within the lung
US20160354057A1 (en) * 2015-06-08 2016-12-08 General Electric Company Ultrasound imaging system and ultrasound-based method for guiding a catheter
WO2017192746A1 (en) * 2016-05-03 2017-11-09 Affera, Inc. Medical device visualization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008018172A (ja) 2006-07-14 2008-01-31 Hitachi Medical Corp 手術支援装置
WO2008093517A1 (ja) 2007-01-31 2008-08-07 National University Corporation Hamamatsu University School Of Medicine 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム
US20100312095A1 (en) 2009-06-08 2010-12-09 Jenkins Kimble L Mri-guided surgical systems with proximity alerts
WO2012101888A1 (ja) 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
JP2017515617A (ja) 2014-03-28 2017-06-15 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 視野内の器具の定量的三次元視覚化
JP2016034412A (ja) 2014-08-04 2016-03-17 パナソニックヘルスケアホールディングス株式会社 手術支援装置および手術支援プログラム、手術支援方法

Also Published As

Publication number Publication date
JP2019042506A (ja) 2019-03-22
US20190059833A1 (en) 2019-02-28
US10506991B2 (en) 2019-12-17
AU2018220039A1 (en) 2019-03-14
IL261181A (en) 2019-01-31
CA3015770A1 (en) 2019-02-28
CN109419556A (zh) 2019-03-05
IL261181B (en) 2021-07-29
EP3451295A1 (en) 2019-03-06

Similar Documents

Publication Publication Date Title
JP7350470B2 (ja) 解剖学的画像における内視鏡の位置及び光軸の表示
JP7341660B2 (ja) 医療手技におけるナビゲーションを補助するための拡張現実の使用
EP3395282B1 (en) Endoscopic view of invasive procedures in narrow passages
CN110811835B (zh) 计算机断层扫描增强的荧光透视系统、装置及其使用方法
JP5207795B2 (ja) 撮像対象中の対象物をナビゲーションするシステム及び方法
EP3392835B1 (en) Improving registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue
JP2007508913A (ja) 術中ターゲティングのシステムおよび方法
CN106901719B (zh) 用于使工具可视化的坐标系统之间的配准
JP6869715B2 (ja) ツールを可視化するための位置及び配向の確認
US20190046271A1 (en) Visualizing Navigation of a Medical Device in a Patient Organ Using a Dummy Device and a Physical 3D Model
JP6952740B2 (ja) ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム
JP7483468B2 (ja) 医療器具の識別
US20230360212A1 (en) Systems and methods for updating a graphical user interface based upon intraoperative imaging
CN114828768A (zh) 使用从探针的远侧端部的方向选择医学图像上的光标位置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230913

R150 Certificate of patent or registration of utility model

Ref document number: 7350470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150