JP2019010506A - 形状推定をともなう軌道情報による位置合わせの改良 - Google Patents
形状推定をともなう軌道情報による位置合わせの改良 Download PDFInfo
- Publication number
- JP2019010506A JP2019010506A JP2018116820A JP2018116820A JP2019010506A JP 2019010506 A JP2019010506 A JP 2019010506A JP 2018116820 A JP2018116820 A JP 2018116820A JP 2018116820 A JP2018116820 A JP 2018116820A JP 2019010506 A JP2019010506 A JP 2019010506A
- Authority
- JP
- Japan
- Prior art keywords
- lung
- airway
- catheter
- landmarks
- bronchoscopy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004072 lung Anatomy 0.000 claims abstract description 116
- 238000013276 bronchoscopy Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000002591 computed tomography Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 210000000621 bronchi Anatomy 0.000 claims description 37
- 210000003437 trachea Anatomy 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 14
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 20
- 210000003484 anatomy Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 210000003123 bronchiole Anatomy 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 4
- 238000005452 bending Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 4
- 239000000835 fiber Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000037361 pathway Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002685 pulmonary effect Effects 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000000740 bleeding effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 210000000867 larynx Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010070245 Foreign body Diseases 0.000 description 1
- 208000032843 Hemorrhage Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000013153 catheter ablation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000002249 digestive system Anatomy 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 210000001147 pulmonary artery Anatomy 0.000 description 1
- 210000003492 pulmonary vein Anatomy 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Pulmonology (AREA)
- Robotics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Otolaryngology (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Media Introduction/Drainage Providing Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】 気管支鏡検査法のような内視鏡手技において自動ランドマーク位置合わせを行うための方法及びシステム、並びに軌道情報及び形状推定を用いた位置合わせを提供すること。【解決手段】 肺の術前のコンピュータトモグラフィ（ＣＴ）画像に基づいて肺の気道のセグメンテーション中心線を生成することができる。セグメンテーション中心線上で、肺の気道内の分岐点に対応したランドマークを自動的に検出することができる。誘導の間に肺の気道を通るカテーテルの位置の位置データ点群を生成することができる。肺の気道のバウンディングボリュームを生成することができ、バウンディングボリューム中心線を検出することができる。同じ分岐点についてバウンディングボリューム中心線上でランドマークを検出することができる。次に、２つのランドマーク群を位置合わせの一環としてマッピングすることができる。軌道情報を形状推定とともに用いることで非剛体又は精密位置合わせを行うことができる。【選択図】 図１
Description
内視鏡の一般的な分野では、患者の体内への可撓性導管の挿入を用いた、低侵襲性の診断及び手術を行うための様々な医療器具が開発されており、この導管からカメラ、器具、又は他の装置を挿入し、患者の体内の所望の位置に選択的に配置された導管の遠位端において操作することができる。例えば、気管支鏡、内視鏡、肛門鏡、Ｓ状結腸鏡、鼻喉頭鏡、及び喉頭鏡をはじめとする多くの種類の医療器具がこのような形で動作する。本明細書では、内視鏡、カテーテル、又は生検器具といったこうした医療器具の一般名称を、気管支鏡などのこうした器具の具体的な例と互換的に使用する場合がある。
内視鏡医療器具を身体の標的領域の３次元（３Ｄ）デジタルマップと組み合わせて使用することで、医師又は操作者に診断及び／又は治療処置を適正に行ううえで必要とされる可視化及び情報を与えることができる。気管支鏡検査法は、内視鏡（例えば、気管支鏡）の肺への挿入を行う侵襲性の内視鏡手技の具体例である。気管支鏡検査法は、喉頭、気管、及び肺の他の気道などのヒトの呼吸器系の縦隔検査及び治療を行うために医師によって用いられている。例えば、気管支鏡検査法は、気道内の腫瘍、炎症、出血又は異物の位置を特定するために用いることができる。
本明細書では、気管支鏡検査法のような内視鏡手技において自動ランドマーク位置合わせを行うための方法及びシステム並びに軌道情報及び形状推定を用いた位置合わせについて述べる。肺の術前のコンピュータトモグラフィ（ＣＴ）画像に基づいて肺の気道のセグメンテーション中心線を生成することができる。セグメンテーション中心線上で、肺の気道内の分岐点に対応した第１のランドマーク群を自動的に検出することができる。
肺の気道を通じてカテーテルを誘導することができ、誘導の間のカテーテルの各位置を含む位置データ点群を生成することができる。この位置データ点群に基づいて肺の気道のバウンディングボリュームを生成することができ、気道のバウンディングボリュームからバウンディングボリューム中心線を検出することができる。次に、バウンディングボリューム中心線上で、セグメンテーション中心線上で自動的に検出された第１のランドマーク群に対応した気道内の第２のランドマーク群を検出することができる。次に、２つのランドマーク群を位置合わせの一環としてマッピングすることができる。
気道を通じたカテーテルの誘導で軌道情報を形状推定ととともに用いることで肺の気道内の分岐点からのカテーテルの距離を特定して非剛体又は精密位置合わせを行うことができる。カテーテルの位置の長さ、カテーテルの折れ曲がり角、及びカテーテルの捻れ角に基づいてエネルギーモデルを生成することができる。第１のランドマーク群と第２のランドマーク群（the set of landmarks）との間のエネルギー値が最小となる経路を選択してよく、それにより正確な位置合わせが実現される。
本開示は、呼吸器及び肺系に行われる気管支鏡検査手技に関して説明されるが、当業者であれば、本開示は、呼吸／肺系、心臓系、消化器系、神経血管系、及び／又は循環器系を含むが、これらに限定されない、体内の任意の体腔又は系で使用することができるシステム及び手技に応用可能であることが理解されよう。
誘導気管支鏡検査法（Navigated bronchoscopy）では、通常、医師による気道内への、視認用器具として機能し得る誘導カテーテル（例えば気管支鏡）の（例えば、口又は他の開口部若しくは切開部を介した）挿入を行う。例えば、気管支鏡にカメラ及び／又は電磁気（ＥＭ）センサを取り付けることで、気管支鏡が肺経路を通る際のビデオ、画像、及び／又はカテーテルの位置のセンサデータを捉えることができる。カテーテルは、限定するものではないが、以下の機能、すなわち、疾患組織に治療的アブレーションを行うために使用可能な電極を備える、光学センサを備える、かつ／又は温度センサを備える、などの他の機能を有することもできる。
可撓性又は剛性の気管支鏡を使用することができる。剛性の気管支鏡は真っ直ぐな管であり、より太い気道内で、例えば、大量の血液、分泌物、異物、又は病変組織（病変部）を除去するか、又は出血を抑えるか、又はステントを挿入するために使用される。可撓性の気管支鏡は、より細い気道（例えば、細気管支）内へと動かすことができ、例えば酸素を供給し、分泌物を吸引し、生検を行い、かつ、肺に薬剤を投与するための呼吸管を挿入するために使用することができる。
図１は、本明細書の開示に基づく、例示的な可撓性気管支鏡検査システム１００のシステム図である。例示的な気管支鏡検査システム１００は、カメラ又はセンサ及び付属の発光要素を配置することができる遠位端１０４を有する可撓性導管１０２を有している。
例示的な気管支鏡検査システム１００は、ロボットハンドル１０６及び付属コントローラ１０８並びにビデオディスプレイ１１０を含んでよく、これらは、医師又は他の操作者１０７が、患者１０５の肺１２２の気道１２０内の所望の位置にまで可撓性導管１０２の遠位端１０４を選択的かつ正確に挿入することを可能とする。例えば図１は、可撓性導管１０２を挿入して腫瘍１２４の近くに可撓性導管１０２の遠位端１０４を配置した結果を示している。
ディスプレイ１１０は、遠位端１０４のカメラ又はセンサからの画像を表示するように構成することができ、この画像を術前のコンピュータトモグラフィ（ＣＴ）画像（及び／又は核磁気共鳴映像法（ＭＲＩ）画像）と合成することによって、医師１０７がロボットハンドル１０６を使用して所望の位置に到達するように可撓性導管１０２を挿入しながら気道１２０を通って誘導することを支援することができる。ロボットハンドル１０６は、医師１０７によって方向付けられる挿入動作を実行するために、少なくとも部分的にコントローラ１０８によって制御することができる。
可撓性導管１０２は、遠位端１０４のカメラ、センサ、又は発光要素用のシグナリング要素の一部を構成することができる光ファイバ（例えば、導管１０２に沿って長さ方向に埋め込まれる）を有することができる。コントローラ１０８は、可撓性導管１０２の制御、及び、使用時にディスプレイ１１０上に表示されるグラフィックの一部として患者の気道１２０内の導管の位置の表現を表示することを支援するため、光ファイバを介してデータを生成する光ファイバセンシングを備えるように構成することができる。コントローラ１０８によって行われる光ファイバセンシングは、気管支鏡検査手技の間に導管１０２の経路及び曲率をその場で正確に計算することを可能とし得る。
コントローラ１０８は、限定するものではないが、以下の要素（具体的には示されていない）、すなわち、プロセッサ、記憶媒体、及び／又はオペレータインターフェースのいずれか１つ又は２つ以上を有することができる。例えば、コントローラ１０８は、コンピュータの内部に格納することができる１つ又は２つ以上の信号処理回路を有することができる。コントローラ１０８は、ハードウェア内に実装され、かつ／又は気管支鏡検査システム１００の機能を実行するようにソフトウェアでプログラムされることができる。このソフトウェアは、例えば、ネットワークを介して電子的形態でコントローラ１０８にダウンロードされてもよく、かつ／又は磁気若しくは光学媒体若しくは他の不揮発性メモリなどの有形媒体上で与えられてもよい。例えば、コントローラ１０８（例えば、プロセッサ及び／又は記憶媒体）にソフトウェアモジュールをダウンロードしてインストールすることにより気管支鏡検査システム１００を機能向上させることができる。１つの例では、コントローラ１０８は汎用コンピュータを含み得る。
図１に示される気管支鏡検査システム１００のような誘導画像型気管支鏡検査システムでは、医師は肺の内部でカテーテル（例えば、気管支鏡、生検ツールなど）を手動で誘導するため、支障なく肺を通じて誘導して気管支鏡検査手技を行ううえで周辺の解剖学的構造の視覚化に頼っている。気管支鏡及び／又は生検ツールの位置を追跡し、患者の肺の視覚表示された３次元（３Ｄ）マップにリアルタイムで表示することができ、これにより、操作者に所定の標的（例えば、腫瘍又は病変部）に向かう気管支内経路が与えられる。
気管支鏡検査手技に先立って肺の３Ｄマップを生成するには、患者の肺の術前の２次元（２Ｄ）ＣＴ画像（ＭＲＩ画像をこれに代えて又はこれに加えて用いてもよい）を異なる角度から撮影し、デジタル処理を用いて合成することによって、気道樹の複雑な構造を含む患者の肺の単一の３Ｄ像を形成することができる。このプロセスは医療画像セグメンテーションと呼ばれ、術前画像から対象とする解剖学的構造（この場合、気道内の）を分離及び抽出することによって２Ｄ画像から３Ｄ再構成像を形成するために医療イメージングにおいて一般的に用いられている。
気道のセグメンテーションは気道の複雑な構造のために特に困難であり、一部の気管支の極めて小さい直径（例えば、細気管支の直径は１ミリメートル（ｍｍ）未満であり得る）のため、ＣＴ（又はＭＲＩ）画像上で気管支を区別することは困難である。気道のセグメンテーションを行うための方法の１つの例として、例えば、気管及び２本の一次気管支のそれぞれの内部においてＣＴ（又はＭＲＩ）画像上の３個（又はそれよりも多い）種子点又はランドマークを特定することを行うものがある。これらのランドマークを用いることによって、３つのセグメンテーションプロセスの開始点として用いるための３つの異なる部分に体積を分割することができる。
図２は、気管支鏡検査法における誘導に関係し得る肺内の経路を示した肺の解剖学的構造２００の例示的説明図である。例えば、気道のセグメンテーションによって生成される肺のマップは、限定するものではないが、肺の解剖学的構造２００の以下の要素、すなわち、喉頭２０２、気管２０４、一次気管支２０６、二次気管支２０８、三次気管支２１０、及び／又は細気管支２１２を示すことができる。図に示されていない他の要素を、限定するものではないが、以下のもの、すなわち、肺動脈、肺静脈、及び／又は右及び左肺を含む肺のマップに含めることができる。
肺の３Ｄマップが生成された時点で、画像と患者との位置合わせを用いて、患者の体内でのカテーテルの誘導の経路を肺の３Ｄマップに対して正確に整合させることができる。一般的に、画像位置合わせとは、異なるデータ点群を１つの座標系に変換するプロセスであり、異なる位置データ点のソースから得られたデータ点を統合するために医療イメージングで用いられており、２Ｄ及び３Ｄ画像に用いることができる。画像位置合わせの最終目的の１つは、２つの画像の対応する点をできるだけ近づけることにある。医療イメージングにおける画像位置合わせは、一般的には、身体の解剖学的領域の運動を考慮しなくてはならず、そのため、複数の画像を撮影して解剖学的領域の単一の固定画像に変換することができる。
気管支鏡検査法、又は内視鏡検査法一般において、画像位置合わせは、内側からの気道（又は他の臓器）の画像を、カテーテルを用いてＣＴスキャンからの画像に対してマッピングする機能を有する。位置合わせは、カテーテルの誘導に用いられる座標系Ｘ（例えば、標的画像）とセグメンテーションにおいてＣＴ（又はＭＲＩ）スキャンに用いられる座標系Ｙ（例えば、参照画像）とをマッピングするための幾何的変換を行うことによって得ることができる。例えば、座標系Ｘ内の点ｘが座標系Ｙ内の点ｙに対応している場合、効果的な位置合わせによって、Ｔが点ｘに適用される変換関数であるものとして、変換後の点ｘ’＝Ｔ（ｘ）は、ｙに等しいか又はほぼ等しくなる。
画像と患者との位置合わせの１つの例として、中心線に基づいた位置合わせがあり、この位置合わせでは、気管支鏡（カテーテル）の先端が気道を通る経路（例えば、気管又は気管支）を通って誘導される際の気管支鏡の先端からの位置データを、術前ＣＴ画像からの患者の肺の気管気管支内の内腔（すなわち、内部空間）の経路（すなわち、中心線）と一致させる。位置合わせには、回転、拡大縮小、及び／又は平行移動を含み得る線形変換を用いて、ＣＴ画像の座標系と物理的世界の座標系（例えば、カテーテルによって用いられる磁気座標系）との間で点のペアを一致させることを行う「剛体」位置合わせが含まれる。
剛体位置合わせにおいて用いられる線形変換では、画像間のすべての局所的幾何形状の差をモデリングすることはできない可能性がある。したがって、標的画像を曲がらせて参照画像と整合することが可能な変換を使用することができる弾性体又は非剛体位置合わせ（精密位置合わせとも呼ばれる）を用いることもできる。非剛体位置合わせは、三次気管支及び細気管支のような肺の細い遠位気道内の正確な位置情報を取得して一致させるうえで特に有用である。
１つの例では、剛体位置合わせの一部として、ソース点群の点を参照点群の最近傍の対応する点と一致させる反復最近傍点（iterative closest point、ＩＣＰ）アルゴリズムを用いて、追跡された気管支鏡の経路（例えば、カテーテル位置点群）をセグメンテーションにおいて特定された中心線に対してマッピングすることができる。この場合、ＩＣＰアルゴリズムは、予備点群ランドマーク位置合わせプロセスによって生成することができる気道中心線に沿った主要参照点又はランドマーク（すなわち、種子点）を利用することができる。
現在のところ、気管支鏡検査法のセグメンテーション及び位置合わせプロセスは、ランドマークの選択（すなわち、気管及び気管支内の種子点の配置）が医師又は操作者によって手動で行われているために半自動化されているのみであり、全自動化はされておらず、時間及びコストがかかり、人的エラーを生じやすいものとなっている。したがって、カテーテルで速やかに気管及び左右の主（一次）気管支を探索することにより、気管支鏡検査システムが誘導座標系とＣＴ座標系との正確な位置合わせを得ることができることで、ＣＴ画像及びそのセグメンテーションの結果上を遠位の気管支（例えば二次及び三次気管支並びに細気管支）へと更に誘導されるような正確かつ自動的な位置合わせプロセスが医師によって求められている。
開示される気管支鏡検査システムは、カテーテルからの誘導情報を用いて肺内の解剖学的ランドマークを自動的に検出することでより有効な誘導情報を与えるものである。図３は、本明細書の開示に基づく、解剖学的ランドマークの自動検出及び位置合わせプロセスの一環としての肺３０６の気道内のカテーテル３０２の経路の例示的な断面図３００である。例示的な画像３００では、カテーテル３０２は肺３０６の主気道３０４を通って誘導されている。カテーテル３０２が主気道の「Ｔ」合流点又は分岐点３０８に到達すると、位置合わせプロセスが気道の構造を自動的に検出し、自動的に検出された分岐点３０８をランドマークとしてマークすることにより位置合わせを更新する。解剖学的ランドマークの自動検出及び位置合わせを用いた開示される気管支鏡検査システムについて以下に更に詳しく述べる。
本明細書の開示によれば、位置合わせプロセスの一環として、開示される気管支鏡検査システムは、医師が主気道部分内でカテーテルを操作する間に、カテーテル内に配置された複数のセンサ又は光ファイバを用いてカテーテルの位置を収集することができる。カテーテル誘導の間に収集された位置点を用い、開示される気管支鏡検査システムは主気道の軌道を再構成し、軌道の中心線を自動的にスケルトン化することができる。次いで、開示される気管支鏡検査システムは、中心線の各枝分かれ点（分岐点に対応する）を特定することにより主気道の中心線合流点のすべてを検出し、各枝分かれ点の位置をランドマークの候補として定義することができる。図４Ａは、気管４０４及び左右の一次気管支４０６を含む、肺の主気道の例示的な再構成４００Ａの画像を示し、図４Ｂは、気管４０４及び左右の一次気管支４０６を含む、肺の主気道の中心線の対応するスケルトン化された画像４００Ｂを示し、中心線に枝分かれ点が存在する位置の気道の合流点において自動的に検出された近位分岐点又はランドマーク４１０が示されている。
開示される気管支鏡検査システムは、気管支鏡検査法に先立って取得された肺の主気道のＣＴ（又はＭＲＩ）画像をセグメント化し、主気道の合流点を自動的に検出しつつＣＴ画像の中心線をスケルトン化することもできる。したがって、開示される気管支鏡検査システムは、カテーテル及び術前ＣＴスキャンをそれぞれ用いた誘導プロセスに基づいて、肺の主気道の中心線合流点の位置を２群、生成することもできる。次いで、開示される気管支鏡検査システムは、下記で述べるようにして２群の中心線合流点の位置間の点群位置合わせを行うことができる。
例えば、開示される気管支鏡検査システムは、点群の位置合わせの結果から開始して、誘導の間に構成された軌道点（すなわち、中心線に沿った合流点を特定する点群）と、気道セグメンテーションの間に構成された軌道点（すなわち、ＣＴスキャンに基づいたもの）との間でＩＣＰ位置合わせを行うことができる。１つの例では、開示される気管支鏡検査システムは、シンプレックスアルゴリズムのような線形プログラミングアルゴリズムを用いたＩＣＰプロセスによって位置合わせの結果を最適化することができる。
開示される気管支鏡検査システムは、画像位置合わせに使用される肺内のランドマークを自動的に検出して位置合わせすることによってより有効な誘導情報を与えることで、現在の位置合わせシステムを向上させるものである。開示されるシステムは、使用者による最初の位置合わせを行う必要をなくし、ランドマーク（例えば、気道の分岐点又は合流点）の選択における人的エラーを防止するものである。
図５は、本明細書の開示に基づく、気管支鏡検査システムで使用される例示的な自動ランドマーク位置合わせ手順５００のフロー図である。自動ランドマーク位置合わせ手順５００では、ＣＴ画像を気管支鏡の経路と整合させるために中心線に基づいた位置合わせが用いられるが、他の位置合わせ法も同様に用いることができる。
５０２で、肺を通る経路のセグメンテーション中心線をＣＴ画像（及び／又はＭＲＩ画像）に基づいて生成することができる。セグメンテーション中心線は、中心線を抽出するための任意の方法を用いて生成することができる。例えば、ＣＴスキャン画像からの気道の表面モデルに細線化アルゴリズムを適用することができる。
５０４で、近位分岐点（ランドマーク）がセグメンテーション中心線上で自動的に検出される。例えば、図４Ｂを参照すると、４個の近位分岐点４１０が検出されている。肺の解剖学的構造のため、気管と一次気管支との合流点、及び一次気管支と二次気管支との合流点のような主要合流点では、３個以上のランドマークが検出されることが好ましい。ＣＴスキャンからのランドマークは、中心線の階層的枝分かれ点として検出され得る（図４Ｂに示される）。
５０６において、カテーテルが気道を通じて誘導され、誘導の間のカテーテルの位置について位置データ点群が生成される。例えば、カテーテルは、肺の主要経路（例えば、気管、一次気管支、二次気管支）を通って誘導の間のカテーテルの位置を記録することによって位置データ点群を生成することができる（例えば、身体の下に配置された参照装置配列に対するカテーテルの遠位先端の位置、方向及び／又は距離を決定することにより）。５０８において、気道の表面の幾何形状を検出することにより、カテーテルがそれまでにあった位置の位置データ点群から気道のバウンディングボリュームを生成することができる（すなわち、全カテーテル位置を含む３Ｄのカテーテル位置の点群）。例えば、αボリュームアルゴリズムのような解剖学的構造マッピングプログラムによって、位置データ点群から気道の室形状を生成することができる。
５１０において、気道のバウンディングボリュームから中心線を検出することができる（例えば、細線化アルゴリズムを用いて）。５１２において、ステップ５０４からのセグメンテーション中心線上の近位分岐点に対応した近位分岐点（３個以上）を、バウンディングボリューム中心線上で自動的に検出することができる。カテーテルの各位置からのランドマークを、バウンディングボリューム中心線の枝分かれ点を検出することによって検出することができる。
図６Ａ及び図６Ｂは、自動ランドマーク検出を用いて特定された分岐点を有する例示的な気道中心線６０４のグラフ６００Ａ及び６００Ｂを示す。詳細には、図６Ａは、灰色で示される気道体積６０２のセグメンテーション、及び黒い線で示される気道体積６０２から自動的に抽出された中心線６０４のグラフ６００Ａである。中心線６０４は、カテーテルの経路（図には示されていない）に一致している。グラフ上で標識されたノード（例えば、ノード１、ノード２など）はＣＴスキャンから検出された候補ランドマークであり、検出された候補ランドマークの任意のサブセット（又はすべて）をランドマーク位置合わせに使用されるランドマークとして選択することができる（下記に述べるステップ５１４）。図６Ｂは、中心線６０４上の分岐点（例えば、枝分かれ点）に黒い丸によって示される、ランドマーク６０６を自動的に特定する自動ランドマーク検出の結果を示す、抽出された中心線６０４のグラフ６００Ｂである。この例では、ランドマーク６０６は気管と一次気管支との間、及び一次気管支と二次気管支との間に特定されている。図６Ｂは、３個の検出されたランドマーク６０６を示しているが、任意の数のランドマークが特定されてよい。
再び図５を参照すると、５１４において、ランドマーク位置合わせ手順を行ってバウンディングαボリューム中心線上の近位分岐点をセグメンテーション中心線上の近位分岐点に対してマッピングすることができ、これにより、ＣＴスキャンによって生成された肺のマップと肺内のカテーテルの経路との間の必要な対応関係を与えることで気管支鏡検査法における正確な誘導を実現することができる。１つの例では、特異値分解（singular value decomposition、ＳＶＤ）アルゴリズムを用いて２つの点群をマッピングすることができる。
ＣＴ画像からのランドマークとカテーテルの位置からのランドマークとを組み合わせるため、異なる解剖学的特徴を比較することができる。例えば、気管からの第１の分岐点又は枝分かれ点を、両方の点群において主枝分かれ点として定義することができる。主枝分かれ点と二次枝分かれ点（例えば、一次気管支と二次気管支との間）との間の距離を２つの点群間で比較することができる。主枝分かれ点と二次枝分かれ点との間の角度も比較することができる。このプロセスを、例えば、二次枝分かれ点から三次枝分かれ点まで（例えば、二次気管支と三次気管支との間）、といった具合に繰り返すことができる。
画像と患者との位置合わせの別の問題点として、精密又は非剛体位置合わせの精度が、カテーテルの遠位端が三次気管支及び細気管支のような細い遠位気道に入って行くにしたがって低下することがあり、気道内のカテーテルの正確な位置（場所）を決定するうえで不正確さを生じる。現在のところ、医師は肺の内部でカテーテルを手で誘導しているが、これにより、例えばそれが腫瘍の位置である場合には、遠位気道内を含む周辺の解剖学的構造の詳細かつ正確な可視化が必要となり得る。
上記で述べたように、画像位置合わせプロセスは、異なるデータ群を１つの座標系に変換する。気管支鏡検査法では、第１のデータ位置点群はカテーテルが気道を通って誘導される際のカテーテル先端の位置についてのものであり（例えば電磁誘導システムによって取得される）、第２の位置データ点群は気管支の画像についてのものである（例えば、ＣＴ画像に基づいた）。例えば、画像位置合わせは、気管及び気管支のような肺の特定の領域をマッピングすることができる。本明細書の開示は、形状推定とともに軌道情報を用いた非剛体位置合わせのための改良された位置合わせプロセス及びシステムを提供することにより、肺の内部、特に正確なカテーテル位置情報を得ることが困難な細い遠位気道内で誘導を行うためのより正確な位置合わせを提供するものである。
開示される位置合わせシステム及びプロセスは、形状推定用のカテーテル内の複数のセンサ又は光ファイバを使用してカテーテルの軌道を追跡することにより、従来の位置合わせシステムを改良するものである。形状推定では、分配ブラッグ反射器（distributed Bragg reflector、ＤＢＲ）（例えば、ファイバブラッグ格子（Fiber Bragg Grating、ＦＢＧ））に基づいた連続光ファイバ（光学）形状センサをカテーテルに使用することで、空間的に連続した形で感知することができるカテーテルを誘導及び配置することを支援し、これにより、カテーテルの長さ全体の位置に関する情報が与えられる。気管支鏡検査システムは、形状推定を用いて気道の実際の形状とカテーテルの軌道とを比較することでより正確な位置合わせを得ることができる。この方法を用いることで、本システム及び方法は、気道の運動（例えば、呼吸などによって生じる解剖学的構造の運動による）、更には、カテーテル又は気管支鏡によって加えられる機械的応力によるＣＴ画像内の気道の形状に対する現実世界の気道の変形を補償することができる。
図７は、本明細書の開示に基づく、軌道情報及び形状推定を用いた改良された精密（非剛体）位置合わせプロセスの一環として肺の気道内のカテーテル７０２の経路を示す肺の解剖学的構造７００の例示的な画像である。医師が気管７０４のような気道内でカテーテル７０２を誘導し、カテーテル７０２が気管７０４から気管支７０６へのＴ合流点７０８のような気道内のＴ合流点又は分岐点に近づくと、医師は形状推定とともに軌道情報を用いてＴ合流点７０８からのカテーテル７０２の距離を特定することができる。より詳細には、カテーテル７０２が合流点７０８に達した時点で、カテーテル７０２の経路の位置合わせを軌道情報を用いて更新することができ、形状推定を用いることで肺の経路の解剖学的構造のマッピング及び表示が向上する。
開示される位置合わせシステム及びプロセスは、形状推定とともに複数のセンサ及び光ファイバを使用したカテーテルの軌道の追跡を行うことで、肺の経路の解剖学的構造のマッピング及び表示を向上させるものである。誘導の間のカテーテルの磁気的位置の経路を用いることで、位置合わせプロセスの平行移動及び／又は回転を改善することができる。すなわち、カテーテルの先端の位置のみでなく、カテーテルの経路が分かるため、開示される位置合わせシステムは、カテーテルの経路と比較してありえない解剖学的構造を除去することにより、正確な位置情報を特定することができる。
図８は、本明細書の開示に基づく、気管支鏡検査システムで使用するための軌道情報を用いる例示的な位置合わせ手順８００のフロー図である。８０２において、ランドマーク位置合わせを行って、カテーテルの経路に基づいた標的座標系と、ＣＴ画像に基づいた参照座標系とを、例えば上記に述べた方法のいずれか（例えば、図５の自動ランドマーク位置合わせ手順５００）を用いて位置合わせする。１つの例では、ＩＣＰアルゴリズムを用いて剛体位置合わせを改善することができる。
８０４において、エネルギーモデルを生成することができる。エネルギーモデルは、カテーテルの各点によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、術前画像の一致させられた点によって形成される長さ、折れ曲がり角、及び捻れ角と比較することによって定義され得る。形状の長さ、折れ曲がり角、及び捻れ角は、最初に各点群について別々に計算することができる（すなわち、カテーテルの点群及び術前画像からの一致させられた点）。
図９は、本明細書の開示に基づく、長さ部分、折れ曲がり部分、及び捻れ部分を含んだエネルギーモデルの各要素の説明図である。図９及び式１を参照すると、Ｐが標的座標系（カテーテルの位置に基づく）又は参照座標系（術前ＣＴ又はＭＲＩ画像に基づく）内の位置点群を示すものとすると、経路に沿ったＰ内の各点からＰ内の結果としての点までのベクトルはＤＰで表すことができる。長さΔＬを、経路に沿ったＰ内の任意の２個の結果としての（すなわち、連続した）点間の距離として定義することができる。αで示される折れ曲がり角は、２本の結果としてのＤＰベクトル間の角度として定義することができる。２本の結果としてのＤＰベクトルは平面を画定し、θで表される捻れ角は２つの結果としての平面間の角度として定義することができる。
したがって、カテーテル経路内の長さ、折れ曲がり角、及び捻れ角を表すエネルギーＥは、式１によって定義することができる。すなわち、
図８を参照すると、８０６において、標的（カテーテル誘導）座標系と参照（ＣＴスキャンに基づく）座標系との間の最小エネルギーＥ（例えば、式１を用いる）を表す経路を選択し、これにしたがって位置合わせを計算する。
図１０は、位置合わせ前のカテーテル経路
本明細書に記載の実施形態及び処置は、ハードウェア及び／又はソフトウェアに実装され得る。アブレーションを実行するためのコンピュータシステムは、本明細書に記載の処置を含む、付加的な機能を導入するソフトウェアモジュールを実行することができ得る。本明細書に記載の処置は、高度な心臓可視化と、心臓リズム障害を診断し、治療する医師の能力を強化するための診断能力を有効にし得る。本明細書に開示される処置は、心臓内のアブレーション処置に関して述べられているが、これらの処置は、身体の他の部分におけるアブレーションにも同様に使用され得る。
〔実施の態様〕
（１） 気管支鏡検査手技において自動ランドマーク位置合わせを行うための方法であって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成することと、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成することと、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出することと、
前記肺の前記気道を通じた誘導の間のカテーテルの位置に基づいた位置データ点群を生成することと、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成することと、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出することと、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの分岐点に対応する第２の複数のランドマークを自動的に検出することと、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合することと、を含む、方法。
（２） 前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示することを更に含む、実施態様１に記載の方法。
（３） 前記肺の前記気道の前記マップが、２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示される、実施態様２に記載の方法。
（４） 前記複数のランドマークが、３つ以上のランドマークを含む、実施態様１に記載の方法。
（５） 前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出すること、及び前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出することが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することを含む、実施態様１に記載の方法。
（１） 気管支鏡検査手技において自動ランドマーク位置合わせを行うための方法であって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成することと、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成することと、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出することと、
前記肺の前記気道を通じた誘導の間のカテーテルの位置に基づいた位置データ点群を生成することと、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成することと、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出することと、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの分岐点に対応する第２の複数のランドマークを自動的に検出することと、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合することと、を含む、方法。
（２） 前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示することを更に含む、実施態様１に記載の方法。
（３） 前記肺の前記気道の前記マップが、２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示される、実施態様２に記載の方法。
（４） 前記複数のランドマークが、３つ以上のランドマークを含む、実施態様１に記載の方法。
（５） 前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出すること、及び前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出することが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することを含む、実施態様１に記載の方法。
（６） 前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも１つの気管支との間の第１のＴ合流点、及び前記肺の第１の気管支と前記肺の第２の気管支との間の第２のＴ合流点を含む、実施態様１に記載の方法。
（７） 前記マッピングを生成することが、特異値分解（ＳＶＤ）を用いる、実施態様１に記載の方法。
（８） 前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、実施態様１に記載の方法。
（９） 前記カテーテルを前記肺の前記気道を通じて誘導することが、
形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、実施態様１に記載の方法。
（１０） 前記形状推定が、
誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算することと、
前記エネルギー値が最小となる経路を選択することと、を含む、実施態様９に記載の方法。
（７） 前記マッピングを生成することが、特異値分解（ＳＶＤ）を用いる、実施態様１に記載の方法。
（８） 前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、実施態様１に記載の方法。
（９） 前記カテーテルを前記肺の前記気道を通じて誘導することが、
形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、実施態様１に記載の方法。
（１０） 前記形状推定が、
誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算することと、
前記エネルギー値が最小となる経路を選択することと、を含む、実施態様９に記載の方法。
（１１） 気管支鏡検査手技において自動ランドマーク位置合わせを行うように構成された気管支鏡検査システムであって、
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの前記分岐点に対応する第２の複数のランドマークを自動的に検出するように構成され、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。
（１２） 前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１３） 前記視覚的ディスプレイが、前記肺の前記気道の前記マップを２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示する、実施態様１２に記載の気管支鏡検査システム。
（１４） 前記複数のランドマークが、３つ以上のランドマークを含む、実施態様１１に記載の気管支鏡検査システム。
（１５） 前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出するように構成されている、実施態様１１に記載の気管支鏡検査システム。
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの前記分岐点に対応する第２の複数のランドマークを自動的に検出するように構成され、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。
（１２） 前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１３） 前記視覚的ディスプレイが、前記肺の前記気道の前記マップを２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示する、実施態様１２に記載の気管支鏡検査システム。
（１４） 前記複数のランドマークが、３つ以上のランドマークを含む、実施態様１１に記載の気管支鏡検査システム。
（１５） 前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１６） 前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも１つの気管支との間の第１のＴ合流点、及び前記肺の第１の気管支と前記肺の第２の気管支との間の第２のＴ合流点を含む、実施態様１１に記載の気管支鏡検査システム。
（１７） 前記プロセッサが、特異値分解（ＳＶＤ）を用いて前記マッピングを生成するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１８） 前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、実施態様１１に記載の気管支鏡検査システム。
（１９） 前記肺の前記気道を通じた前記カテーテルの誘導は、前記プロセッサが形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、実施態様１１に記載の気管支鏡検査システム。
（２０） 前記プロセッサが、誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算し、前記エネルギー値が最小となる経路を選択することにより形状推定を実行する、実施態様１９に記載の気管支鏡検査システム。
（１７） 前記プロセッサが、特異値分解（ＳＶＤ）を用いて前記マッピングを生成するように構成されている、実施態様１１に記載の気管支鏡検査システム。
（１８） 前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、実施態様１１に記載の気管支鏡検査システム。
（１９） 前記肺の前記気道を通じた前記カテーテルの誘導は、前記プロセッサが形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、実施態様１１に記載の気管支鏡検査システム。
（２０） 前記プロセッサが、誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算し、前記エネルギー値が最小となる経路を選択することにより形状推定を実行する、実施態様１９に記載の気管支鏡検査システム。
Claims (10)
- 気管支鏡検査手技において自動ランドマーク位置合わせを行うように構成された気管支鏡検査システムであって、
カテーテル及び視覚的ディスプレイ装置に動作可能に接続されたプロセッサであって、
肺の術前画像に基づいて、視覚的ディスプレイ上に表示することができる肺の気道のマップを生成するように構成され、
前記肺の前記術前画像に基づいて、前記肺の前記気道のセグメンテーション中心線を生成するように構成され、
前記セグメンテーション中心線上で、前記肺の前記気道の分岐点に対応した第１の複数のランドマークを自動的に検出するように構成され、
前記肺の前記気道を通じた誘導の間の前記カテーテルの位置に基づいた位置データ点群を生成するように構成され、
前記位置データ点群に基づいて前記肺の前記気道のバウンディングボリュームを生成するように構成され、
前記肺の前記気道の前記バウンディングボリュームからバウンディングボリューム中心線を検出するように構成され、
前記バウンディングボリューム中心線上で、前記第１の複数のランドマークの前記分岐点に対応する第２の複数のランドマークを自動的に検出するように構成され、
前記第２の複数のランドマークの対応する点に対して前記第１の複数のランドマークのマッピングを生成し、前記マッピングを用いて前記位置データ点群を前記肺の前記気道の前記マップと統合するように構成された、プロセッサ、を含む、気管支鏡検査システム。 - 前記視覚的ディスプレイが、前記マッピングを用いて前記肺の前記気道内で誘導される間の前記カテーテルの前記位置を、前記肺の前記気道の前記マップ上にリアルタイムで視覚的に表示するように構成されている、請求項１に記載の気管支鏡検査システム。
- 前記視覚的ディスプレイが、前記肺の前記気道の前記マップを２次元（２Ｄ）又は３次元（３Ｄ）画像として視覚的に表示する、請求項２に記載の気管支鏡検査システム。
- 前記複数のランドマークが、３つ以上のランドマークを含む、請求項１に記載の気管支鏡検査システム。
- 前記プロセッサが、それぞれ前記セグメンテーション中心線及び前記バウンディングボリューム中心線上で枝分かれ点を特定することにより、前記セグメンテーション中心線上で前記第１の複数のランドマークを自動的に検出し、前記バウンディングボリューム中心線上で前記第２の複数のランドマークを自動的に検出するように構成されている、請求項１に記載の気管支鏡検査システム。
- 前記肺の前記気道内の前記分岐点が、前記肺の気管と前記肺の少なくとも１つの気管支との間の第１のＴ合流点、及び前記肺の第１の気管支と前記肺の第２の気管支との間の第２のＴ合流点を含む、請求項１に記載の気管支鏡検査システム。
- 前記プロセッサが、特異値分解（ＳＶＤ）を用いて前記マッピングを生成するように構成されている、請求項１に記載の気管支鏡検査システム。
- 前記肺の前記術前画像が、コンピュータトモグラフィ（ＣＴ）又は核磁気共鳴画像法（ＭＲＩ）を用いて生成される、請求項１に記載の気管支鏡検査システム。
- 前記肺の前記気道を通じた前記カテーテルの誘導は、前記プロセッサが形状推定とともに軌道情報を用いて前記肺の前記気道内のＴ合流点からの前記カテーテルの距離を特定することを含む、請求項１に記載の気管支鏡検査システム。
- 前記プロセッサが、誘導の間の前記カテーテルの各位置によって形成される形状の長さ、折れ曲がり角、及び捻れ角を、前記術前画像内の一致させられた点の長さ、折れ曲がり角、及び捻れ角と比較することによりエネルギー値を計算し、前記エネルギー値が最小となる経路を選択することにより形状推定を実行する、請求項９に記載の気管支鏡検査システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/629,044 | 2017-06-21 | ||
| US15/629,044 US10575907B2 (en) | 2017-06-21 | 2017-06-21 | Registration with trajectory information with shape sensing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019010506A true JP2019010506A (ja) | 2019-01-24 |
| JP7154832B2 JP7154832B2 (ja) | 2022-10-18 |
Family
ID=62715886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018116820A Active JP7154832B2 (ja) | 2017-06-21 | 2018-06-20 | 形状推定をともなう軌道情報による位置合わせの改良 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US10575907B2 (ja) |
| EP (2) | EP3622877A1 (ja) |
| JP (1) | JP7154832B2 (ja) |
| CN (1) | CN109124766A (ja) |
| AU (1) | AU2018203304A1 (ja) |
| CA (1) | CA3008855A1 (ja) |
| IL (1) | IL259155B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021083954A (ja) * | 2019-11-29 | 2021-06-03 | キヤノンメディカルシステムズ株式会社 | 医用情報提供装置、医用情報提供装置の制御方法、及びプログラム |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5718459B2 (ja) | 2010-06-17 | 2015-05-13 | ワシントン・ユニバーシティＷａｓｈｉｎｇｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ | 整列した繊維を有する生物医学的パッチ |
| US11064955B2 (en) * | 2011-03-31 | 2021-07-20 | Koninklijke Philips N.V. | Shape sensing assisted medical procedure |
| ES2847893T3 (es) | 2012-09-21 | 2021-08-04 | Univ Washington | Parches biomédicos con fibras dispuestas en el espacio |
| US10248756B2 (en) * | 2015-02-18 | 2019-04-02 | Siemens Healthcare Gmbh | Anatomically specific movie driven medical image review |
| FR3037785B1 (fr) * | 2015-06-26 | 2017-08-18 | Therenva | Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires |
| US10632228B2 (en) | 2016-05-12 | 2020-04-28 | Acera Surgical, Inc. | Tissue substitute materials and methods for tissue repair |
| US10575907B2 (en) * | 2017-06-21 | 2020-03-03 | Biosense Webster (Israel) Ltd. | Registration with trajectory information with shape sensing |
| US11944388B2 (en) | 2018-09-28 | 2024-04-02 | Covidien Lp | Systems and methods for magnetic interference correction |
| WO2020102549A1 (en) * | 2018-11-15 | 2020-05-22 | Centerline Biomedical, Inc. | Systems and methods for registration using an anatomical measurement wire |
| US11478301B2 (en) * | 2018-11-15 | 2022-10-25 | Centerline Biomedical, Inc. | Modeling anatomical structures using an anatomical measurement wire |
| US11877806B2 (en) | 2018-12-06 | 2024-01-23 | Covidien Lp | Deformable registration of computer-generated airway models to airway trees |
| US10867436B2 (en) * | 2019-04-18 | 2020-12-15 | Zebra Medical Vision Ltd. | Systems and methods for reconstruction of 3D anatomical images from 2D anatomical images |
| EP3962351B1 (en) * | 2019-05-03 | 2023-07-12 | Koninklijke Philips N.V. | Co-registration of cardiac images |
| US11931111B2 (en) * | 2019-09-09 | 2024-03-19 | Covidien Lp | Systems and methods for providing surgical guidance |
| US12064191B2 (en) * | 2020-06-03 | 2024-08-20 | Covidien Lp | Surgical tool navigation using sensor fusion |
| US11544847B1 (en) * | 2020-10-16 | 2023-01-03 | Neutrace, Inc. | System and method for generating point cloud data for electro-anatomical mapping |
| CN112308890B (zh) * | 2020-10-29 | 2023-04-21 | 西北工业大学 | 一种标准球辅助的工业ct测量坐标系可靠配准方法 |
| JP2023552577A (ja) * | 2020-12-10 | 2023-12-18 | マグニシティ リミテッド | ナビゲーション気管支鏡検査のための動的変形追跡 |
| CN112641514B (zh) * | 2020-12-17 | 2022-10-18 | 杭州堃博生物科技有限公司 | 一种微创介入导航系统与方法 |
| CN113116475B (zh) * | 2020-12-31 | 2023-06-20 | 杭州堃博生物科技有限公司 | 经导管的导航处理方法、装置、介质、设备与导航系统 |
| CN113112609A (zh) * | 2021-03-15 | 2021-07-13 | 同济大学 | 一种面向肺部活检支气管镜的导航方法和系统 |
| CN113413213B (zh) * | 2021-07-14 | 2023-03-14 | 广州医科大学附属第一医院（广州呼吸中心） | Ct结果的处理方法、导航处理方法、装置与检测系统 |
| CN114041741B (zh) * | 2022-01-13 | 2022-04-22 | 杭州堃博生物科技有限公司 | 数据处理部、处理装置、手术系统、设备与介质 |
| CN115120346B (zh) * | 2022-08-30 | 2023-02-17 | 中国科学院自动化研究所 | 目标点定位装置、电子设备及支气管镜系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002200030A (ja) * | 2000-12-27 | 2002-07-16 | Olympus Optical Co Ltd | 内視鏡位置検出装置 |
| WO2005058137A2 (en) * | 2003-12-12 | 2005-06-30 | University Of Washington | Catheterscope 3d guidance and interface system |
| JP2005522274A (ja) * | 2002-04-17 | 2005-07-28 | スーパー ディメンション リミテッド | 内視鏡構造と分岐構造内の標的にナビゲートするための技術 |
| WO2014171391A1 (ja) * | 2013-04-15 | 2014-10-23 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
| JP2015530903A (ja) * | 2012-08-14 | 2015-10-29 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 多数のビジョンシステムのレジストレーションのためのシステム及び方法 |
| WO2016191298A1 (en) * | 2015-05-22 | 2016-12-01 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image guided surgery |
| WO2017049163A1 (en) * | 2015-09-18 | 2017-03-23 | Auris Surgical Robotics, Inc. | Navigation of tubular networks |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006103644A1 (en) | 2005-03-31 | 2006-10-05 | Paieon Inc. | Method and apparatus for positioning a device in a tubular organ |
| US7697972B2 (en) | 2002-11-19 | 2010-04-13 | Medtronic Navigation, Inc. | Navigation system for cardiac therapies |
| US7822461B2 (en) * | 2003-07-11 | 2010-10-26 | Siemens Medical Solutions Usa, Inc. | System and method for endoscopic path planning |
| US7720520B2 (en) * | 2004-12-01 | 2010-05-18 | Boston Scientific Scimed, Inc. | Method and system for registering an image with a navigation reference catheter |
| WO2006116198A2 (en) * | 2005-04-21 | 2006-11-02 | Asthmatx, Inc. | Control methods and devices for energy delivery |
| WO2007025081A2 (en) * | 2005-08-24 | 2007-03-01 | Traxtal Inc. | System, method and devices for navigated flexible endoscopy |
| US7671887B2 (en) | 2006-11-20 | 2010-03-02 | General Electric Company | System and method of navigating a medical instrument |
| RU2544807C2 (ru) * | 2009-06-29 | 2015-03-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для отслеживания при медицинской процедуре |
| WO2011035144A2 (en) | 2009-09-17 | 2011-03-24 | Broncus Technologies, Inc. | System and method for determining airway diameter using endoscope |
| US20110295268A1 (en) | 2010-05-28 | 2011-12-01 | Hansen Medical, Inc. | System and method for automated master input scaling |
| EP2605693B1 (en) | 2010-08-20 | 2019-11-06 | Veran Medical Technologies, Inc. | Apparatus for four dimensional soft tissue navigation |
| US11064955B2 (en) * | 2011-03-31 | 2021-07-20 | Koninklijke Philips N.V. | Shape sensing assisted medical procedure |
| EP2809249B1 (en) | 2012-02-03 | 2018-12-26 | Intuitive Surgical Operations, Inc. | Steerable flexible needle with embedded shape sensing |
| EP2816966B1 (en) | 2012-02-22 | 2023-10-25 | Veran Medical Technologies, Inc. | Steerable surgical catheter comprising a biopsy device at the distal end portion thereof |
| US10039473B2 (en) * | 2012-05-14 | 2018-08-07 | Intuitive Surgical Operations, Inc. | Systems and methods for navigation based on ordered sensor records |
| KR102332023B1 (ko) | 2013-10-24 | 2021-12-01 | 아우리스 헬스, 인크. | 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법 |
| WO2015075558A2 (en) * | 2013-11-25 | 2015-05-28 | Body Vision Medical Ltd. | Surgical devices and methods of use thereof |
| US10575907B2 (en) * | 2017-06-21 | 2020-03-03 | Biosense Webster (Israel) Ltd. | Registration with trajectory information with shape sensing |
-
2017
- 2017-06-21 US US15/629,044 patent/US10575907B2/en active Active
-
2018
- 2018-05-06 IL IL259155A patent/IL259155B/en active IP Right Grant
- 2018-05-11 AU AU2018203304A patent/AU2018203304A1/en not_active Abandoned
- 2018-06-19 CA CA3008855A patent/CA3008855A1/en not_active Abandoned
- 2018-06-20 EP EP19205984.8A patent/EP3622877A1/en not_active Withdrawn
- 2018-06-20 EP EP18178714.4A patent/EP3417759B1/en active Active
- 2018-06-20 JP JP2018116820A patent/JP7154832B2/ja active Active
- 2018-06-21 CN CN201810645147.4A patent/CN109124766A/zh active Pending
-
2020
- 2020-03-02 US US16/806,291 patent/US20200197106A1/en not_active Abandoned
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002200030A (ja) * | 2000-12-27 | 2002-07-16 | Olympus Optical Co Ltd | 内視鏡位置検出装置 |
| JP2005522274A (ja) * | 2002-04-17 | 2005-07-28 | スーパー ディメンション リミテッド | 内視鏡構造と分岐構造内の標的にナビゲートするための技術 |
| WO2005058137A2 (en) * | 2003-12-12 | 2005-06-30 | University Of Washington | Catheterscope 3d guidance and interface system |
| JP2015530903A (ja) * | 2012-08-14 | 2015-10-29 | インテュイティブ サージカル オペレーションズ， インコーポレイテッド | 多数のビジョンシステムのレジストレーションのためのシステム及び方法 |
| WO2014171391A1 (ja) * | 2013-04-15 | 2014-10-23 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
| WO2016191298A1 (en) * | 2015-05-22 | 2016-12-01 | Intuitive Surgical Operations, Inc. | Systems and methods of registration for image guided surgery |
| WO2017049163A1 (en) * | 2015-09-18 | 2017-03-23 | Auris Surgical Robotics, Inc. | Navigation of tubular networks |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021083954A (ja) * | 2019-11-29 | 2021-06-03 | キヤノンメディカルシステムズ株式会社 | 医用情報提供装置、医用情報提供装置の制御方法、及びプログラム |
| JP7408362B2 (ja) | 2019-11-29 | 2024-01-05 | キヤノンメディカルシステムズ株式会社 | 医用情報提供装置、医用情報提供装置の制御方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7154832B2 (ja) | 2022-10-18 |
| AU2018203304A1 (en) | 2019-01-17 |
| IL259155B (en) | 2021-04-29 |
| US10575907B2 (en) | 2020-03-03 |
| CN109124766A (zh) | 2019-01-04 |
| EP3622877A1 (en) | 2020-03-18 |
| CA3008855A1 (en) | 2018-12-21 |
| IL259155A (en) | 2018-06-28 |
| EP3417759A1 (en) | 2018-12-26 |
| US20180368917A1 (en) | 2018-12-27 |
| EP3417759B1 (en) | 2020-03-04 |
| US20200197106A1 (en) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7154832B2 (ja) | 形状推定をともなう軌道情報による位置合わせの改良 | |
| US11690527B2 (en) | Apparatus and method for four dimensional soft tissue navigation in endoscopic applications | |
| US11553968B2 (en) | Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter | |
| US12004820B2 (en) | Systems and methods of registration for image-guided surgery | |
| US20200146588A1 (en) | Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue | |
| US20200364865A1 (en) | Systems and methods of registration for image-guided surgery | |
| US9554729B2 (en) | Catheterscope 3D guidance and interface system | |
| KR102196291B1 (ko) | 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정 | |
| CN111568544B (zh) | 用于使医疗装置相对于目标的导航视觉化的系统和方法 | |
| US20180221566A1 (en) | Localization needle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210416 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221005 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7154832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |