JP2021049416A - 同時ｘ平面撮像を用いた画像レジストレーション及び誘導 - Google Patents

同時ｘ平面撮像を用いた画像レジストレーション及び誘導 Download PDF

Info

Publication number
JP2021049416A
JP2021049416A JP2020213036A JP2020213036A JP2021049416A JP 2021049416 A JP2021049416 A JP 2021049416A JP 2020213036 A JP2020213036 A JP 2020213036A JP 2020213036 A JP2020213036 A JP 2020213036A JP 2021049416 A JP2021049416 A JP 2021049416A
Authority
JP
Japan
Prior art keywords
image
alignment
images
imaging
planes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020213036A
Other languages
English (en)
Inventor
チェン−ホウ ング，ゲイリー
Cheng-How Ng Gary
チェン−ホウ ング，ゲイリー
シュー イン タン，トーマス
Shu Yin Tang Thomas
シュー イン タン，トーマス
チ リン チャン，グラディス
Tsz Ling Chan Gladys
チ リン チャン，グラディス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2021049416A publication Critical patent/JP2021049416A/ja
Priority to JP2023018321A priority Critical patent/JP2023053108A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

【課題】従来技術の問題を解決する。【解決手段】画像アライメントのためのシステムが、画像の使用者アライメントを可能にするように構成されるアライメント機構（１３２）を含む。第１の撮像モダリティ（１１０）が、アライメント機構（１３２）と関連付けられる撮像機構（１３４）を用いて少なくとも２つの撮像平面内に画像を同時に提供するように構成される。画像処理モジュール（１２６）が、多数の平面内の第１の画像と第２の画像との間でアライメント機構を用いた使用者アライメントを可能にするために、第１の撮像モダリティを用いて収集される第１の画像及び第２の撮像モダリティ（１３０）を用いて収集される第２の画像を表示するように構成される。レジストレーションモジュール（１１５）が、メモリ内に格納され、多数の平面内のアライメントが達成されたときに、多数の平面内で第１の画像を対応する第２の画像と位置合わせするように構成される。【選択図】図１

Description

この開示は、医療器具に関し、より具体的には、医療デバイスのための画像レジストレーション（位置合わせ）及び誘導（ガイダンス）のために多数の平面を利用する、撮像（イメージング）システム及び方法に関する。
画像融合(image fusion)は、ライブ超音波画像のスキャン平面と対応するボリュームデータセット（例えば、コンピュータ断層撮影（ＣＴ）又は磁気共鳴（ＭＲ））を通じた画像スライスを再フォーマットして表示するプロセスに関する。再フォーマットされたＣＴをライブ超音波画像の上にオーバーレイし得るし或いは並列フォーマットにおいて示し得る。ＣＴは、超音波と比べて、幾らかの腫瘍について、より良好な病巣視覚化をもたらす。超音波はライブ画像を提供するのに対し、ＣＴは患者の解剖学的構造の静止的なスナップショットを提示する。画像融合の１つの利点は、画像融合が両方のモダリティの利点を提供することである。例えば、２つのモダリティが融合されるとき、ＣＴからの良好な病巣視覚化は、超音波からのライブ情報及びフィードバックを備える。ライブ超音波中で不十分に視覚化される小さな病巣を標的化するために画像融合を利用し得る。
画像融合が可能であるために、超音波画像はＣＴ画像に位置合わせされなければならない。レジストレーションは、ＣＴ画像中の空間的な場所を超音波画像中の同じ空間的な場所に相関させることである。多くのレジストレーション技法が存在する。１つの方法は、平面レジストレーションと呼ばれる。この方法では、軸方向ＣＴ取得スライスと平行な超音波スキャン平面を得るために、超音波プローブは患者の体に対して垂直に保持される。次に、共通の解剖学的地点がＣＴ及び超音波中に印される。共通平面及び共通地点のこの組み合わせは、ＣＴ画像を超音波画像に位置合わせするのに十分である。
従来的なプローブは、方位平面に沿って単一のスキャン平面を生成する。従来的な変換器(transducer)を用いた従来的なレジストレーションは、手作業の平面整合(plane match)を利用することがあり、手作業の平面整合は速いが、矢状（非撮像）平面内のプローブ角の故に誤差を生み易い。加えて、従来的なプローブは、標的病巣を通じた１つの平面のみを示し得るが、頻繁には、スキャン平面が標的病巣の中心を通じて進んでいるように見えるにも拘わらず、部分的なボリューム効果が、中心から外れたスキャン平面をもたらし得る。その結果は、生検及び処置のための不正確な針配置又は他の誤差を含むことがある。
本原理によれば、画像アライメントのためのシステムが、画像の使用者アライメントを可能にするように構成されるアライメント機構を含む。第１の撮像モダリティが、２つ又はそれよりも多くのの撮像平面内に画像を同時に提供するように構成される。画像処理モジュールが、第１の撮像モダリティを用いて収集される第１の画像及び第２の撮像モダリティを用いて収集される第２の画像とを表示して、多数の平面内で第１の画像と第２の画像との間のアライメント機構を用いた使用者アライメントを可能にするように構成される。レジストレーションモジュールが、メモリ内に格納され、多数の平面内のアライメントが達成されたときに、多数の平面内で第１の画像を対応する第２の画像と位置合わせするように構成される。処置誘導のためのシステムが、融合画像の多数の平面を含み、多平面ディスプレイは処置誘導のために用いられる。
画像アライメントのためのシステムが、画像の使用者アライメントを可能にするように構成されるアライメント機構を含む。第１の撮像モダリティが、アライメント機構と関連付けられる撮像機構を用いて、２つの画像平面内に画像を同時に提供するように構成される。画像処理モジュールが、多数の平面内で第１の画像と第２の画像との間のアライメント機構を用いた使用者アライメントを可能にするよう、第１の撮像モダリティを用いて収集される第１の画像及び第２の撮像モダリティを用いて収集される第２の画像を表示するように構成される。レジストレーションモジュールが、メモリ内に格納され、多数の平面内のアライメントが達成されるときに、多数の平面内で第１の画像を対応する第２の画像と位置合わせするように構成される。
画像アライメントのための他のシステムが、第１の撮像モダリティによって実時間において撮られる第１の画像と、第２の撮像モダリティを用いて撮られる第２の画像とを含む。第１の撮像モダリティと関連付けられるプローブが、第２の画像の撮像平面と対応する少なくとも２つの撮像平面内に画像を同時に提供するように構成される。画像処理モジュールが、プローブの操作によって多数の平面内で第１の画像と第２の画像との間の使用者アライメントを可能にするよう、少なくとも２つの平面の各々の平面の上に第１の画像及び第２の画像を表示するように構成される。レジストレーションモジュールが、メモリ内に格納され、多数の平面内のアライメントが達成されたときに、第１の画像を少なくとも２つの平面内の対応する第２の画像と位置合わせするように構成される。
画像アライメントのための方法が、被験者のための少なくとも２つの撮像平面内に画像を同時に提供するために、第１の撮像モダリティと関連付けられるアライメント機構を位置付けること、多数の平面内で第１の画像と第２の画像との間の使用者アライメントを可能にするために、第１の撮像モダリティを用いて収集される第１の画像及び第２の撮像モダリティを用いて収集される第２の画像を処理すること、アライメント機構を用いて多数の平面内で対応する第１及び第２の画像を視覚的に整列させること、並びに、多数の平面内の視覚的なアライメントが達成されたときに、多数の平面内で対応する第２の画像との第１の画像のアライメントを固定することを含む。
器具誘導のための他の方法が、少なくとも２つの撮像平面内で第１のモダリティを用いて実時間画像を取得すること、融合画像を生成するために、実時間画像を少なくとも２つの撮像平面内の実時間画像に対応する第２の撮像モダリティを用いて収集される第２の画像と融合させること、及び、処置中に器具を位置付けるために、少なくとも２つの撮像平面内の融合画像を同時に視覚化することによって器具を誘導することを含む。
本開示のこれらの及び他の目的、構成、及び利点は、添付の図面との関係において判読されるべき、その例示的な実施態様の以下の詳細な記述から明らかになるであろう。
この開示は、以下の図面を参照して好適な実施態様の以下の記述を詳細に提示する。
例示的な実施態様に従った画像レジストレーション及び医療デバイス誘導のためのシステムを示すブロック／フロー図である。 本原理に従って矯正される画像アライメント誤差を示す図である。 その中心で印されているように見える病巣の第１の画像平面を示す画像である。 中心位置から偏った印された中心を示す図３Ａの第１の画像平面に対して直交する第２の画像平面を示す画像である。 第１のモダリティによって撮られるライブ画像と第２のモダリティによって撮られる静止画像との間のプローブ角度に起因する不整列を伴う軸方向撮像平面を示し、本原理に従って第１の撮像モダリティによって撮られるライブ画像と第２の撮像モダリティによって撮られる静止画像との間で整列させられる矢状撮像平面を更に示す、図である。 本原理に従ったレジストレーションの準備が出来たプローブの再配向に起因して整列する軸方向撮像平面及び矢状撮像平面を示す図である。 電子３Ｄプローブを使用することによって提供される軸方向平面（左上）及び軸方向コンピュータ断層撮影（ＣＴ）スライスと融合させられた同じ軸方向平面（左下）のライブ画像を示す図であり、右上及び右下の画像は、ライブ矢状平面及び本原理に従ってＣＴからの矢状スライスと融合させられた同じ平面を示している。 例示的な実施態様に従った画像レジストレーション及びデバイスアライメントのための方法を示すフロー図である。 例示的な実施態様に従ったデバイス誘導のための方法を示すフロー図である。
本原理によれば、多平面レジストレーションに基づき画像を融合するシステム及び方法が提供される。１つの実施態様では、撮像及びアライメント機構又は構成、例えば、電子三次元（３Ｄ）プローブが、アライメント及び同時画像融合、多平面内のレジストレーション及び表示のために、ライブＸ平面を生成する。電子３Ｄプローブは、直交Ｘ平面、多平面レンダリング（ＭＰＲ）を生成することができ、或いはボリュームを通じるあらゆる任意スライスさえも生成することができる。幾つかの実施態様によれば、実時間画像（例えば、超音波、Ｘ線など）が、静止画像（例えば、コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、陽電子放射断層撮影（ＰＥＴ）、単光子射出コンピュータ断層撮影（ＳＰＥＣＴ）、コーンビームＣＴ、トモシンセシス、従前の超音波ボリュームなど）と位置合わせされることがある。静止画像は、実時間（ライブ）画像に対してより大きな精度又は他の利益を含むのが普通である。
本原理は、多平面視覚化を用いる画像アライメント、画像融合／レジストレーション、及び器具誘導において利用されてよい。電子３Ｄプローブを用いた直交平面での同時のライブ撮像は、少なくとも２つの平面の視覚化をもたらし、使用者に多平面内のあらゆる誤差を矯正する機会を与える。同様に、この着想は、標的場所を印すことにおける精度の向上及び腫瘍又は他の関心の地点の中心への針誘導をもたらすために用いられてよい。何故ならば、それぞれの静止平面画像と融合される一対の直交ライブ画像平面は、病巣又は関心の地点の真正な中心のより決定的な視覚化をもたらすからである。１つの実施態様において、電子３Ｄプローブは、多数の平面を同時に表示し、電子３Ｄプローブは、例えば、病巣又は関心の地点の中心における、正しい針配置又は他のデバイス配置を示すために利用されてよい。
レジストレーションがひとたび成功裡に起こると、多平面内の同時融合画像を表示するために、同時Ｘ平面撮像が利用されてよい。これは処置誘導にとって有利であり得る。何故ならば、病巣の中心の真正な視覚化を達成することができ、病巣での針先端位置の確実性の向上を達成することができるからである。処置誘導のためのシステムがここにおいて記載され、そこでは、ライブ超音波の多平面（例えば、直交平面）が対応するＣＴスライスと融合させられ、平面のこれらの多数の表示が処置誘導のために用いられる。
本発明は医療撮像及びアライメントのための器具に関して記載されるが、本発明の教示はより一層広く、機械的システム、解剖学的モデル、機械類、パイプシステムなどを含む、あらゆるシステムの撮像に適用可能である。幾つかの実施態様において、本原理は、複雑な生物系又は機械系を撮像し或いは解析することに利用される。具体的には、本原理は、生物系のための内部撮像処置、心臓、胃腸管、排出器官、血管などのような、体の全ての領域における処置に適用可能である。
図面に描写される要素はハードウェア及びソフトウェアの様々な組み合わせにおいて実施されてよく、単一の要素又は多数の要素に組み入れられてよい機能を提供する。専用ハードウェア並びに適切なソフトウェアと関連してソフトウェアを実行し得るハードウェアの使用を通じて図面に示される様々な要素の機能を提供し得る。プロセッサによって提供されるときには、単一の専用プロセッサによって、単一の共用プロセッサによって、或いはそれらの一部を共用し得る複数の個々のプロセッサによって、それらの機能を提供し得る。その上、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行し得るハードウェアを排他的に言及するものと解釈されてならず、非限定的に、デジタルシグナルプロセッサ（“ＤＳＰ”）ハードウェア、ソフトウェアを格納する読出し専用メモリ（“ＲＯＭ”）、ランダムアクセス記憶装置（“ＲＡＭ”）、不揮発性記憶装置などを黙示的に含み得る。
全体的に、本発明の原理、特徴、及び実施態様、並びにそれらの具体的な実施例を引用する、ここにおける全ての陳述は、それらの構造的及び機能的な均等物を含むことが意図される。加えて、そのような均等物は、現在知られている均等物及び将来において開発される均等物（即ち、構造に拘わらず同じ機構を遂行する、開発されるあらゆる要素）の両方を含むことが意図される。よって、例えば、当業者は、ここにおいて提示されるブロック図が、本発明の原理を具現する例示的なシステム構成部品及び／又は回路構成の概念図を提示していることを理解するであろう。同様に、あらゆるフローチャート、フロー図、及び同等物は、そのようなコンピュータ又はプロセッサが明示的に示されているかに拘わらず、コンピュータ可読記憶媒体内に実質的に提示され且つコンピュータ又はプロセッサによって実行されてよい、様々なプロセスを提示していることが理解されよう。
更に、本発明の実施態様は、コンピュータ又は任意の命令実行システムによる或いはコンピュータ又は任意の命令実行システムとの関係における使用のためのプログラムコードを提供する、コンピュータ使用可能な又はコンピュータ可読な記憶媒体からアクセス可能なコンピュータプログラム製品の形態を取り得る。この記述の目的のために、コンピュータ使用可能な又はコンピュータ可読な記憶媒体は、命令実行システム、装置、又はデバイスによる、或いは命令実行システム、装置、又はデバイスとの関係における使用のためのプログラムを含み、格納し、通信し、伝搬し、或いは移動させることがある、任意の装置であり得る。媒体は、電子、磁気、光学、電磁、赤外、若しくは半導体システム（若しくは装置若しくはデバイス）又は伝搬媒体であり得る。コンピュータ可読媒体の実施例は、半導体又はソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセス記憶装置（ＲＡＭ）、読取り専用記憶装置（ＲＯＭ）、剛性の磁気ディスク及び光ディスクを含む。光ディスクの現在の実施例は、コンパクトディスク−読出し専用記憶装置（ＣＤ−ＲＯＭ）、コンパクトディスク−読出し／書込み（ＣＤ−Ｒ／Ｗ）、ブルーレイ（ＴＭ）及びＤＶＤを含む。
図面を参照し且つ初めに図１を参照すると（図面中の同等の番号は同一又は類似の要素を表している）、撮像、画像アライメント、レジストレーション、及びデバイス誘導のためのシステム１００が、特に有用な実施態様に従って例示的に示されている。システム１００は、ワークステーション又はコンソール１１２を含んでよく、処置はワークステーション又はコンソールから監督され且つ／或いは管理される。ワークステーション１１２は、１つ又はそれよりも多くのプロセッサ１１４と、プログラム及びアプリケーションを格納するメモリ１１６とを含むのが好ましい。メモリ１１６は、２つ又はそれよりも多くの画像又は撮像モダリティからの２つ又はそれよりも多くの画像を融合させ或いは位置合わせするように構成される、画像レジストレーション又は融合モジュール１１５を格納してよい。撮像モダリティは、超音波のような、実時間（ライブ）撮像モダリティ１１０と、コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、陽電子放射断層撮影（ＰＥＴ）、単光子射出コンピュータ断層撮影（ＳＰＥＣＴ）、コーンビームＣＴ、トモシンセシス、従前の超音波ボリュームなどのような、より正確な或いは静止的な撮像モダリティ１３０とを含むのが好ましい。
本原理は２つの撮像モダリティを想定するが、より多くの数の撮像モダリティが利用されてよく、或いは多数の同じ撮像モダリティ又は任意の組み合わせの撮像モダリティが利用されてよい。加えて、多数の実時間撮像モダリティ１１０が一緒に利用されてよく、より正確な若しくは静止的な撮像モダリティ１３０又はより正確な若しくは静止的な複数の撮像モダリティ１３０が、実時間撮像に先立って遂行され或いは収集されてよい。静止撮像モダリティは、システム１００の部分であってよく、或いは他のシステム（図示せず）の部分であってよく、静止撮像モダリティの画像１２８は、メモリ１１６に提供されて、メモリ１１６内に格納される。メモリ１１６内に収集され且つ格納される画像１２８は、レジストレーション／融合モジュール１１５及び／又は画像処理モジュール１２６による使用のために利用されてよい。
システム１００は、医療デバイス１０２の誘導のために利用されてよい。医療デバイス１０２は、針、カテーテル、ガイドワイヤ、プローブ、内視鏡、ロボット、電極、フィルタデバイス、バルーンデバイス、又は他の医療構成部品などを含んでよい。医療デバイス１０２は、被験者１６０（例えば、患者）の関心の地点又はボリューム１３１内に誘導されてよい。
特に有用な実施態様では、実時間撮像モダリティ１１０（例えば、超音波撮像）と一緒の使用のために、撮像機構１３４が設けられる。この撮像機構１３４は、少なくとも２つの平面内に同時画像を提供する、電子三次元（３Ｄ）プローブ又は３Ｄ超音波変換器プローブを含んでよい。プローブ１３４は、例えば方位（水平）及び高さ（垂直）次元に沿うスキャン平面を生成し得る、二次元（２Ｄ）アレイ変換器を含んでよい。行列変換器のような、２Ｄアレイ変換器は、当該技術分野において概ね知られており、３Ｄ超音波ボリューム撮像のために利用され得る。この撮像機構１３４は、使用者がライブモダリティからの画像を静止モダリティからの画像（又は他の画像の組み合わせ）と並べるのを許容する、アライメントインターフェース又は機構１３２に連結される。このアライメント機構１３２は、多平面内の融合画像のアライメントを可能にする、トラックボール、ジョイスティック、ダイアルなどを含む、様々な形態を取り得る。アライメント機構１３２及び撮像機構１３４は、１つのユニット（例えば、装置１３６）に統合されてよい。例えば、超音波プローブ自体は、撮像機構１３４及びアライメント機構１３２として利用され得るのに対し、プローブのピッチ及びヨーは、それぞれのモダリティのアライメントを修正する働きをする。
アライメント及び撮像装置（装置）１３６に関してアライメント機構１３２及び撮像機構１３４を集合的に記載し得る。特に有用な実施態様において、装置１３６は、任意の向きを備える多数の平面内でライブ超音波画像を取得し且つ表示し得る並びにレジストレーション及び誘導用途のためにこれらの画像を整列させ得る、電子３Ｄプローブを含む。３Ｄプローブは、アライメントのために画像を動かす三次元マウスとして機能し得る。このようにして、３Ｄプローブは、撮像機構１３４及びアライメント機構１３２の両方として機能し、多平面ライブ超音波画像を取得して表示し、それは周囲の解剖学的構造に対する病巣位置決定についてのより多くの確実性をもたらし、病巣又は他の関心の領域への針のより正確なレジストレーション及びより安全な誘導を促進する。３Ｄプローブは、超音波データのライブボリュームを取得し得る。超音波データのボリュームを表現し且つ用いて、器官の表面を視覚化し、これらの器官への或いはこれらの器官の内側に位置する病巣へのアプローチの計画を可能にし得る。
ワークステーション１１２は、被験者（患者）又はボリューム１３１の内部画像１２２，１２８を見るためのディスプレイ１１８を含み、異なる撮像モダリティの間でオーバーレイされ、融合させられ、或いはその他の方法において位置合わせされる画像１２２，１２８を含んでよい。画像１２２は、好ましくは、ライブの又は実時間の画像であるのに対し、画像１２８は、好ましくは、静止的な又はより高解像度の／正確な画像である。画像１２２及び１２８は、好ましくは、画像を位置合わせし且つ／或いは融合し得るよう、共通の有利な地点（平面）から撮られる画像を含む。
ディスプレイ又は複数のディスプレイ１１８は、２つ又はそれよりも多くの撮像モダリティの画像平面を整列（アライメント）させる視覚的なフィードバックを使用者に与えるように設けられる。ディスプレイ１１８は、使用者がワークステーション１１２並びにその構成部品及び機能又はシステム１００中の任意の他の要素と相互作用するのも可能にしてよい。これはインターフェース１２０によって更に容易化され、インターフェース１２０は、使用者にワークステーション１１２からのフィードバック及びワークステーション１１２との相互作用を許容するよう、キーボード、マウス、ジョイスティック、触覚デバイス、又は任意の他の周辺機器若しくは制御装置を含んでよい。インターフェース１２０及びアライメント機構１３２は統合させられてよく、或いは別個の構成でよい。
特に有用な実施態様において、電子３Ｄプローブ（１３４）は、類似の平面においてスライスされる静止的（例えば、ＣＴ、ＭＲなど）データセット（より正確な及び／又は静止的な撮像モダリティ１３０）と位置合わせするために、ライブの同時の直交平面の超音波又は他の実時間撮像モダリティ（１１０）を生成するために利用される。直交Ｘ平面は、例えば、病巣内の針配置又は他の器具配置の極めて正確なトラッキングをもたらし得るディスプレイ１１８上にライブ融合オーバーレイ眺望（例えば、ＣＴ又はＭＲに超音波を加えたもの）を生成するために、利用されてよく、部分的なボリューム効果、面外標的の衝撃などの、超音波に誘発される不正確性を軽減するのを助ける。
１つの実施態様では、撮像モダリティ１３０（例えば、ＣＴ又はＭＲ）が撮像モダリティ１１０とのレジストレーションにおける使用のための超音波平面をどのように生成するかを決定するために、医用におけるデジタル画像と通信（ＤＩＣＯＭ）のヘッダ情報が利用されてよい。画像処理モジュール１２６は、画像１２８から取得角度（例えば、ＤＩＣＯＭヘッダ情報）を読み出し、ライブ画像１２２中で相関を行い得る。加えて、使用中、多数の対応する平面内の画像１２２及び１２８は、使用者が例えば２つの直交平面の間でアライメント機能を遂行するのを可能にして、レジストレーションモジュール１１５によるレジストレーション位置での固定の前に適切な画像アライメントを保証するよう、同時に視覚化されてよい。
３Ｄプローブ１３４からライブＸ平面を提供する代わりに、実時間撮像モダリティ１１０のためにボリューム取得を取得し得る。次に、他の従前に取得された撮像モダリティ１３０（例えば、ＣＴスライス）からの画像と並ぶボリューム（例えば、３Ｄ超音波ボリューム）から適切な平面（複数の平面）を選択することによって、平面レジストレーションがレジストレーションモジュール１１５によって達成されてよい。加えて、レジストレーション中にＸ平面を使用することに代えて、ライブＸ平面は、超音波がＣＴと融合された後に提供されてよい。このようにして、ライブ画像は、あるバージョンの画像（従前に撮られたライブ画像）を既に含む融合画像までの正確な整合を有する。これは使用者操作及びアライメントをより一層正確にする。このアライメントは、好ましくは、融合画像の多平面を用いて手作業で遂行されるのが好ましい。アライメントは、多平面内の画像を同時に整列させるよう、ディスプレイ画像からの視覚的なフィードバックを含む。
他の実施態様において、共通の地点は、操作者による視覚的なアライメントを可能にするよう、画像中で選択され或いは割り当てられてよい。例えば、操作者は、アライメント機構１３２（又はインターフェース１２０）を用いて、軸方向ＣＴ平面と略平行な超音波画像と軸方向ＣＴ画像との間の共通の地点の上をクリックし、次に、矢状ＣＴ平面と略平行な超音波画像とＣＴボリュームを通じる矢状スライスとの間の共通の地点の上をクリックしてよい。矢状平面内の共通の地点を選択することは、初期超音波平面が軸方向ＣＴ取得平面と正確に平行でないならば、システム１００が如何なる傾きをも補償するのを可能にする。これは、ＣＴ（又はＭＲ）上の超音波のオーバーレイ画像を見ることによって並びに２つのモダリティの間の類似性が最大にされるよう超音波平面を調節することによって、使用者が行うことが現在期待されていることである。しかしながら、ＣＴ取得平面と完全に平行な超音波スキャン平面を得ることは、単一の平面を見るときに、実際の診療では極めて困難である。ここに記載する実施態様は、２つ又はそれよりも多くの平面内の超音波及びＣＴオーバーレイの同時の視覚化の故に、より一層大きな位置的な確実性を伴う結果を達成する。
例えば、ＣＴボリュームから生成される２つの直交するスライスと共に、２つの直交する平面がライブ超音波において取得されるときには、超音波平面をＣＴ平面に整列させる幾つかの方法がある。１つの方法は、ライブ超音波平面の上にＣＴ平面をオーバーレイし、プローブ位置調節を用いてＣＴを超音波に整列させることによるものである。他の方法は、ＣＴ平面及び／又は超音波平面内の共通の地点でユーザーインターフェース１２０（例えば、マウスクのクリッキングなど）を用いて選択すること、これらの地点を互いに関連付けること（例えば、多数の画像平面の各々の画像平面内の対応する地点を同時に整列させること）を含む。
システム１００は、撮像モダリティ（１３０）（例えば、ＣＴ又はＭＲ）データセットが非ゼロ取得角度（例えば、傾斜取得）を有するか否かを識別するために用いられてよい。この値を読み取り、３Ｄプローブ１３４に伝搬させ得る。ライブ超音波の軸方向平面及び矢状平面は、画像処理モジュール１２６によって或いはレジストレーションモジュール１１５によってそれらの画像に適用される傾斜した角度を有する。次に、使用者は、平面を視覚的に整列させることに進み、次に、多平面アライメントがひとたび達成されると、既述のように、レジストレーションを固定する。
図２を参照すると、図面は、平面レジストレーション不整列誤差の実施例を示している。画像２０２，２０４，２０６は、それぞれ、場所２１０，２１２，２１４にいる患者２３１の軸方向（例えば、矢状平面）に対して垂直に取られたＣＴ断面を描写している。参照のためにＣＴの使用を通じた矢状スライス２２２が描写されている。超音波画像を実時間に得るために、超音波プローブ２２０が利用される。従来的な平面レジストレーションを迅速に達成し得るが、それは誤差を生じ易く、患者２３１の上でレジストレーションを遂行する（２１２）平面から離れたＣＴ又はＭＲ取得（２０２，２０４，２０６）と共に使用可能でないことがある。これは、軸方向平面を定めるときの超音波変換器内の小さな角度誤差が空間的な不整合の増大を招き、更に遠いものはレジストレーション場所から離れる方向に進むからである（２１２）。
例えば、小部分及び筋骨格（ＭＳＫ）撮像のために、ＭＲ取得は、典型的には、傾斜向きにおいて行われる。よって、操作者が気を付けて超音波プローブが患者の位置に対して垂直であることを保証するとしても、超音波平面とＭＲの取得平面との間のアライメントは達成されないことがある。
軸方向ＣＴが患者２３１のために取得されると仮定すると、使用者は、患者をスキャンするときに軸方向平面２３２と平行な（又は患者の体に対して垂直な）スキャン平面をもたらすために、超音波プローブを保持しなければならない。平行からの如何なる逸脱も、レジストレーション場所から更に離れる方向に進むときに、即ち、プローブ２２０の向きと対応する回転させられた軸方向平面２３４に沿って進行するときに、レジストレーション誤差の増大をもたらす。特に腹は湾曲表面であるので、患者の体に対して完全に垂直であることからの小さな逸脱を視覚的に検出することは極めて困難である。
レジストレーションの地点で、超音波プローブ２２０に対するＣＴの位置２１２での中間スライス２０４は正しい。従前のＣＴの上へのライブ超音波画像のオーバーレイは完全なアライメントを示す。しかしながら、超音波プローブは平面レジストレーション中に僅かに傾斜させられるので、これはＣＴ画像２０２及び２０６を患者２３１の物理的な位置に対して同じ量だけ効果的に傾斜させる。患者の足に向かって、ＣＴの上にオーバーレイされるあらゆる超音波スキャンは、対応するＣＴ画像よりも数センチメートルより低い（後部方向にある）。反対のことが頭に向かって生じる。超音波スキャンが、対応するＣＴ画像よりも数センチメートル上に（前方方向に）現れる。電磁（ＥＭ）トラッキングされる針が処置のために同時に用いられるならば、ＣＴに対するＥＭトラッキングを介した針先端の推定は同じ誤差を示す。画像２０２，２０４，２０６中の十字線は、それぞれの画像に対する針先端位置を示している。このレジストレーション誤差の不正確性は、使用者が超音波を使用する際に針を配置する場所がＣＴ画像中に示される全く同じ位置であるという使用者の自信に対して影響を有する。
図１を再び参照すると、撮像機構１３４は、軸方向平面及び矢状平面の両方（又は直交平面若しくは非直交平面の他のセット）においてライブ超音波画像１２２を提供する。平面レジストレーションは、第１の撮像モダリティ（例えば、超音波）の画像１２２に対する第２の撮像モダリティ（例えば、ＣＴ、ＭＲなど）の画像１２８のために行われる。多平面内の画像１２２及び１２８の同時の視覚化は、アライメントにおけるあらゆる傾きを直ちに強調する。この傾きは、例えば、超音波（１２２）及びＣＴ（１２８）の矢状平面が整列させられるまでアライメント機構１３２を調節することによって、直ちに視覚化され且つ矯正される。傾きは別として、頭から褄先への方向において何らかの誤差があるならば、矢状平面はその偏り（オフセット）を強調し、使用者がそれを矯正するのを可能にする。
矢状平面に代えて或いは加えて、冠状面(coronal plane)が利用されてもよい。同時ライブ超音波平面を冠状次元において生成して、その向きにおけるアライメントの誤差を特定し且つ矯正し得る。他の平面の向きも想定される。
傾斜するＭＲ又はＣＴ取得のために、傾斜取得の角度はＤＩＣＯＭヘッダ内に格納される。その値を超音波又は他の実時間撮像システムによって読み取り、Ｘ平面が適用される同じ傾斜角を有するようＸ平面の取得に適用し得る。これは、臨床的な使用者が、患者毎にＣＴ又はＭＲ取得の向きを考慮に入れることを必要とすることなく、レジストレーションのための一定のプロトコルに従い得る（「貴方のプローブを患者に対して常に垂直に配置し得る」）ことを保証する。
本原理は、レジストレーション及び角度誤差を推定するためのみならず、関心の地点（例えば、病巣）の標的化の向上ももたらすために、１つ又はそれよりも多くの追加的な平面を使用してよい。画像融合及びナビゲーションの１つの目的は、多数のモダリティからの画像データを用いて、例えば、病巣の、極めて精密な標的化（ツール誘導）を可能にすることである。加えて、他のトラッキング技術が利用されてよく、例えば、超音波誘導に加えて、電磁（ＥＭ）トラッキングが、針のために用いられてよい。しかしながら、従来的なプローブを用いるならば、１つの平面のみが提供されるので、多くの場合に病巣の中心のように見えるものは、実際には他の平面内で中心から外れている。
図３Ａを参照すると、軸方向平面内で超音波画像と融合されたＣＴ画像を有する画像３５２が示されている。再フォーマットされたＣＴ及び超音波のスキャン平面は、大きな病巣の中心を通じて進んでいるように見え、次に、その場所はＴ１で印されている。
図３Ｂを参照すると、矢状平面を見るために、プローブが他の方向に物理的に回転させられるとき、画像３５４中のＴ１は、Ｔ１が実際には病巣３５６の中央にないように、有意に中心から外されて配置される。この誤差は、既述のように、多平面の実時間画像トラッキングを同時に提供することによって矯正される。本原理は、共通の構成の多平面視覚化を利用することによって、誘導精度の改良をもたらす。
図４を参照すると、図は、１つの例示的な実施態様に従った平面アライメント及び誤差矯正の実施例を示している。画像３６０及び３６２は、患者２３１のある場所で軸方向（画像３６０）に並びに軸方向（矢状平面）（画像３６２）に対して垂直に取られたＣＴ断面を描写している。軸方向超音波画像３６６（破線）及び矢状超音波画像３６８（破線）を同時に実時間において得るために、超音波プローブ３６４（例えば、３Ｄ電子プローブ（１３４））が利用される。
描写されるように、軸方向に沿う僅かな傾き（矢印「Ａ」）が、軸方向において整列させられていない実時間画像（画像３６０と整列させられていない画像３６６）をもたらし、矢状平面内の不整列をもたらす（画像３６８及び３６２は整列させられていない）。使用者は、不整列が取り除かれるまで（例えば、画像３６６が画像３６０と整列させられ、画像３６８が画像３６２と整列させられるまで）、アライメント機構としても利用されるプローブ３６４を動かすことによって、不整列の画像を視覚的に矯正し得る。傾き３６５又は他の誤差は、超音波及びＣＴの軸方向平面及び／又は矢状平面（又は他の平面）が整列させられるまでプローブ３６４を角度付けることによって、直ちに視覚化され且つ矯正される。傾斜しているＭＲ又はＣＴ取得のために、例えばＤＩＣＯＭヘッダ内に格納される、傾斜取得の角度を、超音波又は他の実時間撮像システムによって読み取り、Ｘ平面が適用される同じ傾斜角を有するよう、Ｘ平面の取得に適用し得る。
他のアライメント機構が利用されてよいことが理解されるべきである。例えば、地点は多数の平面に共通するインターフェースを用いて選択されてよい。次に、共通の地点は、多数の平面内の視覚的なアライメントのために利用されてよい。
図５を参照すると、プローブ３６４（又は他のデバイス）を超音波画像３６６及び３６８と画像３６０及び３６２との間の少なくとも２つの平面内でアライメントをそれぞれ達成する位置まで動かすことによって、正しいアライメントが達成される。アライメントがひとたび少なくとも２つの方向／平面、例えば、軸方向及び矢状、軸方向及び冠状、矢状及び冠状、又は任意の他の平面の間で行われると、レジストレーションは固定され、誘導又は他の操作が融合された或いは位置合わせされたデータを用いて進行して、医療器具の適切な位置付け及び／又は軌跡を保証する。
図６を参照すると、例示的な画像４０２，４０４，４０６が例示的に示されている。左上の画像４０２は、電子３Ｄプローブからのライブ軸方向平面を示している。左下の画像４０４は、ＣＴ画像と融合させられた同じ軸方向平面を示している。右上の画像４０６は及び右下の画像４０８は、ライブ矢状平面及びＣＴからの矢状スライスと融合させられた同じ平面をそれぞれ示している。
図示のように、システム１００（図１）は、ライブ超音波画像を２つ又はそれよりも多くの平面（例えば、軸方向平面及び矢状平面の両方）において表示する。患者のＣＴ又はＭＲも軸方向に及び矢状にもスライスされて表示され、且つそれらのそれぞれの超音波画像と共に表示される。使用者が軸方向超音波から軸方向ＣＴまでの（或いは矢状超音波から矢状ＣＴまでの）共通の地点を特定するとき、両方の軸方向画像は相互にオーバーレイされ、両方の矢状画像は相互にオーバーレイされる。矢状画像が相互の偏り（オフセット）又は何らかの角回転を実証するならば、使用者は、そのレジストレーションを固定する前に、その傾きを直ぐに物理的に矯正し得る。記載される実施態様は、中間平面を含む他の平面に加えて、冠状平面などを非限定的に含む、追加的な平面の使用を利用してよい。
図７を参照すると、画像アライメント、レジストレーション及びデバイス誘導のための方法が、本原理に従って例示的に記載されている。ブロック５０２において、第１の撮像モダリティと関連付けられる撮像及びアライメント装置が、被験者のために少なくとも２つの撮像平面内の画像を同時に提供するよう、位置付けられる。第１のモダリティは、超音波撮像を含んでよく、装置は、電子三次元プローブのような、統合的な撮像機構及びアライメント機構を含んでよい。他の実施態様において、三次元（３Ｄ）画像ボリュームは、撮像平面と対応する第１の画像を生成するように収集されてよい。他の実施態様において、装置は、少なくとも２つの撮像平面に共通する表示可能な地点を割り当てるインターフェース（例えば、１２０、図１）を含んでよい、アライメント機構を含む。ブロック５０４において、第２の撮像モダリティによって取得される画像データのボリュームを再フォーマットすることによって、少なくとも２つの撮像平面に対応する第２の画像が提供される。
ブロック５０６では、多数の平面内で第１の画像と第２の画像との間の使用者アライメントを可能にするよう、第１の画像は第１の撮像モダリティのために処理され、収集される第２の画像は第２の撮像モダリティのために処理される。ブロック５０８において、処理することは、多数の平面からの画像を用いて関心の地点の中心（又は他の位置）を決定することを含んでよい。
ブロック５１０において、画像は、多数の平面内の対応する第１及び第２の画像の間のアライメントを達成するように操作される。アライメントプロセスは、好ましくは、視覚的であり、ディスプレイ又は複数のディスプレイ上で使用者に提供される。ブロック５１２では、２つ又はそれよりも多くの平面を示す１つ又はそれよりも多くのディスプレイからの視覚的なフィードバックを用いてアライメント機構（例えば、プローブ）の使用者操作によってアライメントを行い得る。１つの実施態様において、アライメントは、ブロック５１４において多数の画像平面の各々における対応する地点を同時に整列させるよう第１の画像及び／又は第２の画像内の地点を（例えば、インターフェースを用いて）選択することによって、達成されてよい。他のアライメント作業は、整列基準線、整列マーカなどを含んでよい。ブロック５１６において、第２のモダリティは、コンピュータ断層撮影、磁気共鳴などを含んでよく、処理することは、第２の画像についての取得角度に従って第１の画像を調節することを含んでよい。
ブロック５１８において、多数の平面内のアライメントが達成されるとき、多数の平面内の対応する第２の画像と第１の画像との間のレジストレーションは固定される。ブロック５２０において、位置合わせすること（レジストレーション）は、第１及び第２の画像を融合させることを含んでよく、ライブ画像を融合させられた第１及び第２の画像に更に位置合わせすることを含んでよい。
ブロック５２２において、融合させられた／位置合わせされた画像は、デバイス誘導又は他の用途のために利用されてよい。多平面融合画像は、処置中に１つ又はそれよりも多くの器具を誘導するために利用されてよい。画像融合／レジストレーションは、画像誘導インターベンショナル処置、例えば、PercuNav（ＴＭ）において利用されてよい。１つの実施態様において、デバイス誘導及び組織特徴付けは、図８に従って行われてよい。
図８を参照すると、器具誘導及び組織特徴付けのための例示的な方法が示されている。ブロック６０２において、第１のモダリティを用いて少なくとも２つの画像平面内で実時間画像が取得される。第１のモダリティは、超音波撮像などを含んでよい。第２のモダリティは、コンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、陽電子放射断層撮影（ＰＥＴ）、単光子射出コンピュータ断層撮影（ＳＰＥＣＴ）、コーンビームＣＴ、トモシンセシス、従前の超音波ボリュームなどのうちの１つ又はそれよりも多くを含んでよい。
ブロック６０４において、実時間画像は、少なくとも２つの撮像平面内の実時間画像に対応する第２の撮像モダリティを用いて収集される第２の画像と融合させられて、融合画像を生成する。１つの実施態様において、融合画像が利用されてよく、実時間画像が融合画像に位置合わせされてよい。ブロック６０６において、処置中に器具を位置付けるために、少なくとも２つの撮像平面内で融合画像を同時に視覚化することによって、器具が誘導される。器具は、多数の平面内で視覚化される、標的に誘導される針を含んでよい。多平面位置付けはより良好な精度を保証し、デバイス位置付けプロセスにおける自信を操作者に植え付ける。器具誘導に加えて或いは器具誘導の代わりに、ブロック６０８において、関心の地点又は複数の関心の地点が融合画像中に特徴付けられてよい。関心の地点は、解剖学的構成、病巣、腫瘍、組織などを含んでよい。ブロック６１０において、特徴付けは、多数の平面からの画像を用いて関心の地点における中心又は他の位置を決定することを含んでよい。ブロック６１２において、必要に応じて、処置は継続される。
付属の請求項を解釈する際には、以下のことが理解されるべきである。
ａ）「含む」という用語は、所与の請求項中に列挙される要素又は行為以外の他の要素又は行為の存在を排除しない。
ｂ）ある要素に先行する不定冠詞は、そのような要素が複数存在することを排除しない。
ｃ）請求項中のいずれの参照記号も、それらの範囲を限定しない。
ｄ）幾つかの「手段」は、同じ品目又はハードウェア若しくはソフトウェア実現構造又は機能によって提示されてよい。
ｅ）特別に示されない限り、行為の特定の順序が要求されることは意図されない。
（例示的であることを意図し、限定的であることを意図しない）電子プローブを備える同時Ｘ平面撮像を用いた画像レジストレーション及び誘導についての好適な実施態様を記載したが、当業者は上記教示に照らして修正及び変更を行い得ることを記す。従って、付属の請求項によって概略されるような、ここにおいて開示される実施態様の範囲内にある、開示される開示の特定の実施態様において、変更が行われてよいことが、理解されるべきである。特許法によって要求される詳細及び特異点をこのように記載したが、請求され且つ特許によって保護されることが望まれるものは、付属の請求項中に示される。

Claims (1)

  1. アライメント機構と、
    撮像機構と、
    画像処理モジュールと、
    レジストレーションモジュールとを含む、
    システムであって、
    前記アライメント機構は、画像の使用者アライメントを可能にするように構成され、
    前記撮像機構は、第１の撮像モダリティと関連付けられ、前記アライメント機構及び前記撮像機構は、電子三次元プローブを含み、
    前記撮像機構は、少なくとも２つの異なる撮像平面において被験者の領域の少なくとも２つの第１の画像を同時に提供するように構成され、
    前記撮像機構は、前記アライメント機構と関連付けられ、
    前記画像処理モジュールは、前記少なくとも２つの第１の画像をディスプレイに同時に表示するように構成され、前記少なくとも２つの第１の画像の各々は、前記少なくとも２つの異なる撮像平面のうちの異なる撮像平面を示し、
    前記画像処理モジュールは、前記少なくとも２つの第１の画像を対応する第２の画像とオーバーレイするように構成され、
    前記対応する第２の画像は、前記少なくとも２つの第１の画像の取込み前に、第２の撮像モダリティを用いて収集され、当該システムのメモリに格納され、
    前記画像処理モジュールは、前記少なくとも２つの第１の画像及び前記対応する第２の画像が前記ディスプレイに同時に表示されるときに、前記ディスプレイ上の前記少なくとも２つの第１の画像と前記対応する第２の画像との間で、前記アライメント機構を用いて、使用者アライメントを可能にするように更に構成され、前記アライメントは、前記電子三次元プローブが相応して移動させられる間にリアルタイムに起こり、
    前記レジストレーションモジュールは、当該システムの前記メモリに格納され、前記少なくとも２つの異なる撮像平面におけるアライメントが達成されるときに、前記少なくとも２つの異なる撮像平面において、前記少なくとも２つの第１の画像を前記対応する第２の画像とレジストレーションする、ように構成される、
    システム。
JP2020213036A 2014-03-11 2020-12-23 同時ｘ平面撮像を用いた画像レジストレーション及び誘導 Pending JP2021049416A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023018321A JP2023053108A (ja) 2014-03-11 2023-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461950880P 2014-03-11 2014-03-11
US61/950,880 2014-03-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016555957A Division JP2017511728A (ja) 2014-03-11 2015-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023018321A Division JP2023053108A (ja) 2014-03-11 2023-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導

Publications (1)

Publication Number Publication Date
JP2021049416A true JP2021049416A (ja) 2021-04-01

Family

ID=52727181

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016555957A Pending JP2017511728A (ja) 2014-03-11 2015-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導
JP2020213036A Pending JP2021049416A (ja) 2014-03-11 2020-12-23 同時ｘ平面撮像を用いた画像レジストレーション及び誘導
JP2023018321A Pending JP2023053108A (ja) 2014-03-11 2023-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016555957A Pending JP2017511728A (ja) 2014-03-11 2015-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023018321A Pending JP2023053108A (ja) 2014-03-11 2023-02-09 同時ｘ平面撮像を用いた画像レジストレーション及び誘導

Country Status (5)

Country Link
US (1) US10912537B2 (ja)
EP (1) EP3116403B1 (ja)
JP (3) JP2017511728A (ja)
CN (1) CN106163408B (ja)
WO (1) WO2015136392A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106462967B (zh) * 2014-05-14 2020-06-30 皇家飞利浦有限公司 用于超声图像的基于模型的分割的采集取向相关特征
US10966688B2 (en) * 2014-08-26 2021-04-06 Rational Surgical Solutions, Llc Image registration for CT or MR imagery and ultrasound imagery using mobile device
WO2016175758A2 (en) 2015-04-28 2016-11-03 Analogic Corporation Image guided steering of a transducer array and/or an instrument
JP6632361B2 (ja) * 2015-12-15 2020-01-22 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム。
KR20180066781A (ko) 2016-12-09 2018-06-19 삼성전자주식회사 의료 영상을 표시하는 방법 및 장치
EP3582709A4 (en) * 2017-02-14 2020-11-25 Intuitive Surgical Operations Inc. MULTIDIMENSIONAL VISUALIZATION IN A COMPUTER-ASSISTED REMOTE-GUIDED SURGERY
US10299764B2 (en) * 2017-05-10 2019-05-28 General Electric Company Method and system for enhanced visualization of moving structures with cross-plane ultrasound images
WO2018218424A1 (en) 2017-05-27 2018-12-06 Shanghai United Imaging Healthcare Co., Ltd. System and method for couch sag compensation in image guided radio therapy
US10748345B2 (en) * 2017-07-07 2020-08-18 Adobe Inc. 3D object composition as part of a 2D digital image through use of a visual guide
WO2019041538A1 (zh) * 2017-11-02 2019-03-07 西安大医集团有限公司 肿瘤追踪方法及装置、放疗系统、存储介质
US20210251696A1 (en) * 2018-05-18 2021-08-19 Koninklijke Phips N.V. Mutli-modal image registration
CN109727223B (zh) * 2018-12-27 2021-02-05 上海联影医疗科技股份有限公司 一种医学图像自动融合方法和系统
CN110169783A (zh) * 2019-07-08 2019-08-27 闫俊梁 一种数字化Pet-超声一体机
WO2021049658A1 (ja) * 2019-09-13 2021-03-18 出光興産株式会社 有機エレクトロルミネッセンス素子及び電子機器
CN114760927A (zh) * 2019-09-27 2022-07-15 布弗莱运营公司 提供用于定位超声设备的反馈的方法和装置
WO2021159519A1 (zh) 2020-02-14 2021-08-19 西安大医集团股份有限公司 图像引导方法、装置、放疗设备和计算机存储介质
US11514624B2 (en) * 2020-03-16 2022-11-29 GE Precision Healthcare LLC Methods and systems for biopsy needle reconstruction error assessment
EP4178446A4 (en) * 2020-08-10 2023-06-07 Shanghai United Imaging Healthcare Co., Ltd. IMAGING SYSTEMS AND METHODS
CN113495099B (zh) * 2021-09-08 2021-12-07 之江实验室 一种校正超声扫描显微镜样品倾斜的图像处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244575A (ja) * 2006-03-15 2007-09-27 Hitachi Medical Corp 超音波診断装置
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
JP2014028132A (ja) * 2012-06-27 2014-02-13 Toshiba Corp 超音波診断装置及び画像データの補正方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030058423A (ko) * 2001-12-31 2003-07-07 주식회사 메디슨 중재적 초음파를 사용하는 3 차원 초음파 진단 시스템에서검침 도구의 관찰 및 이의 대상체로의 진입을 용이하게하기 위한 방법 및 장치
WO2005083629A1 (en) 2004-02-20 2005-09-09 Philips Intellectual Property & Standards Gmbh Device and process for multimodal registration of images
US20060020204A1 (en) 2004-07-01 2006-01-26 Bracco Imaging, S.P.A. System and method for three-dimensional space management and visualization of ultrasound data ("SonoDEX")
DE602004015796D1 (de) * 2004-10-01 2008-09-25 Medcom Ges Fuer Medizinische B Registrierung eines Ultraschallbildes mit einem Bild aus einem 3D-Scan, beispielsweise von einer Computertomographie (CT) oder Magnetspintomographie (MR)
EP1933278A1 (en) 2006-12-14 2008-06-18 BrainLAB AG Image fusion visualisation
DE102006061178A1 (de) 2006-12-22 2008-06-26 Siemens Ag System zur Durchführung und Überwachung minimal-invasiver Eingriffe
WO2010125505A1 (en) * 2009-04-28 2010-11-04 Koninklijke Philips Electronics N.V. Biopsy guide system with an ultrasound transducer and method of using same
KR101121353B1 (ko) 2009-08-03 2012-03-09 한국과학기술원 2차원 초음파 영상에 대응하는 2차원 ｃｔ 영상을 제공하는 시스템 및 방법
WO2011063517A1 (en) 2009-11-27 2011-06-03 Sentinelle Medical Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
JP2011167330A (ja) 2010-02-18 2011-09-01 Ge Medical Systems Global Technology Co Llc 超音波診断装置
BR112013031869B1 (pt) 2011-06-16 2021-05-18 Koninklijke Philips N.V. sistema e método para a geração de um mapa de registro de imagem, sistema de planejamento de terapia, um ou mais processadores, e, meio legível por computador não transitório
US9715757B2 (en) 2012-05-31 2017-07-25 Koninklijke Philips N.V. Ultrasound imaging system and method for image guidance procedure
US20140135623A1 (en) * 2012-11-15 2014-05-15 General Electric Company Systems and methods for x-ray and ultrasound imaging
US9230331B2 (en) * 2013-10-21 2016-01-05 Samsung Electronics Co., Ltd. Systems and methods for registration of ultrasound and CT images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007244575A (ja) * 2006-03-15 2007-09-27 Hitachi Medical Corp 超音波診断装置
JP2010515472A (ja) * 2006-11-27 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 事前収集された医用画像に実時間超音波画像を融合させるシステム及び方法
JP2014028132A (ja) * 2012-06-27 2014-02-13 Toshiba Corp 超音波診断装置及び画像データの補正方法

Also Published As

Publication number Publication date
US10912537B2 (en) 2021-02-09
JP2023053108A (ja) 2023-04-12
CN106163408B (zh) 2020-01-07
CN106163408A (zh) 2016-11-23
WO2015136392A1 (en) 2015-09-17
US20170164931A1 (en) 2017-06-15
EP3116403B1 (en) 2019-11-13
JP2017511728A (ja) 2017-04-27
EP3116403A1 (en) 2017-01-18

Similar Documents

Publication Publication Date Title
JP2021049416A (ja) 同時ｘ平面撮像を用いた画像レジストレーション及び誘導
US11553968B2 (en) Apparatuses and methods for registering a real-time image feed from an imaging device to a steerable catheter
US10617324B2 (en) Apparatuses and methods for endobronchial navigation to and confirmation of the location of a target tissue and percutaneous interception of the target tissue
US11896414B2 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
EP2963616B1 (en) Fluoroscopic pose estimation
JP6782688B2 (ja) 介入処置の３ｄ撮像ワークフローにおける器具及び生体構造のインテリジェントかつリアルタイムな可視化
US10575755B2 (en) Computer-implemented technique for calculating a position of a surgical device
CN103619278B (zh) 用于内窥镜手术期间的引导注射的系统
EP3206619B1 (en) Navigation of a surgical instrument
US10674891B2 (en) Method for assisting navigation of an endoscopic device
Nguyen et al. Percutaneous nephrolithotomy access: A systematic review of intraoperative assistive technologies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230209

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230217

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230221

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230324

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20230328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240501