JP2016536035A - 変形可能レジストレーションのためのシステム及びモジュラーネットワーク - Google Patents

変形可能レジストレーションのためのシステム及びモジュラーネットワーク Download PDF

Info

Publication number
JP2016536035A
JP2016536035A JP2016518075A JP2016518075A JP2016536035A JP 2016536035 A JP2016536035 A JP 2016536035A JP 2016518075 A JP2016518075 A JP 2016518075A JP 2016518075 A JP2016518075 A JP 2016518075A JP 2016536035 A JP2016536035 A JP 2016536035A
Authority
JP
Japan
Prior art keywords
operative
image
intra
zone
anatomy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016518075A
Other languages
English (en)
Inventor
マラゴーシュ，アミール モハンマド タマセビ
マラゴーシュ，アミール モハンマド タマセビ
クリュッカー，ヨッヒェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016536035A publication Critical patent/JP2016536035A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4375—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the male reproductive system
    • A61B5/4381—Prostate evaluation or disorder diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20124—Active shape model [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Reproductive Health (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

変形可能レジストレーションのための方法は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成すること、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成することを含む。手術前マルチゾーン画像(41)及び手術中マルチゾーン画像(42)は、手術前アナトミー画像(23)及び手術中アナトミー画像(33)の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像(23)及び手術中アナトミー画像(33)に関連する非一様な生体力学特性のうちの区別された多様性、又は、手術前アナトミー画像(23)及び手術中アナトミー画像(33)に関連する区別された生体力学特性を表現する。

Description

本発明は、一般的には、手術前アナトミー画像及び手術中アナトミー画像の信頼できるレジストレーションを促すために、手術前アナトミー画像(例えば、生体構造についてのコンピュータ断層撮影(CT)スキャン又は磁気共鳴(MR)イメージングスキャン)と手術中アナトミー画像(例えば、生体構造についての超音波(US)画像フレーム)との画像レジストレーションに関連する。本発明は、具体的には、アナトミー画像の強度ベースのデフォーマブルレジストレーションを促すために、手術前アナトミー画像及び手術中アナトミー画像の生体構造区分けについてのゾーンラベリングに関連する。
手術前アナトミー画像の手術中アナトミー画像との医療画像レジストレーションは、画像誘導の治療介入/手術/診断の手順を促進するために使用されている。医療画像レジストレーションの主な目的は、同一の又は相違するイメージングモダリティ(imaging modality)の中で同一のアナトミー対象についての同一の又は相違する眺めを整合させる幾何学変換を演算することである。
医療画像レジストレーションの重要な課題は、画像を様々なモダリティに合致させることを取り扱うことであり、しばしばマルチモーダル画像融合(multi-modality image fusion)と言及される。マルチモーダル画像融合は非常に困難な課題であり、なぜなら、マルチモーダル画像のグレー値同士の間の関係が常に容易に発見されるわけではなく、場合によっては、機能的な依存性が全体的に欠落してしまう或いは非常に識別困難になってしまうからである。
例えば、1つの分かりやすい状況は、高解像度の手術前CT又はMRスキャンの手術中超音波画像フレームとの融合である。例えば、従来の2次元(2D)超音波システムには、組織についてのトラッキングされる2D掃引を取得するためのポジションセンサ(例えば、電磁トラッキングセンサ)が備えられている。画像取得の最中に取得されるトラッキング情報を利用して、2D掃引USフレームは、組織の3次元(3D)ボリュームを再構築するために、基準座標系に対して整合させられる。超音波は、組織の手術中イメージングに対しては理想的であるが、画像誘導(image guidance)に対しては貧弱な画像解像度を有する。超音波イメージングと、他の高解像度イメージングモダリティ(例えば、CT又はMR)との融合は、従って、治療介入/手術/診断の手順に対する超音波ベースの誘導を改善するために使用されている。画像融合の際、ターゲットの組織は、手術中超音波(intraoperative ultrasound)及び手術前モダリティ(preoperative modality)の間で正確に登録される。2つの異なるモダリティの融合のために、多くの画像レジストレーション技術が提案されているが、手術中超音波と何らかの手術前モダリティ(例えば、CT又はMR)との融合は、手術中超音波と手術前モダリティとの間の機能的依存性の欠如に起因して困難であることが判明している。
特に、MR及び超音波モダリティの間の機能的依存性の欠如は、横たわった画像(prostrate images)のレジストレーションに対する画像強度ベースのメトリックを考慮に入れることを非常に困難にする。従って、MR-to-US画像融合のための既存のレジストレーション技術の多くは、2つの方式におけるポイントマッチング技術に着目している。第1方式では、双方のモダリティで見える一群の共通ランドマーク(例えば、尿道の輪郭)が手作業で/自動的に抽出され、ポイントベースのレジストレーションに使用される。別方式では、前立腺(prostate)の表面が、自動的な又は手作業による技術を利用して2つのモダリティの中でセグメント化される。抽出される表面は、2つの点群の間の距離を最小化するために試みるポイントベースの登録フレームに提供される。
特に、ポイントベースの剛体レジストレーション法は、経直腸超音波(transrectal ultrasound：TRUS)表面データとともにMRを登録するために実行されてよい。前立腺は、US及びMR画像の双方で表面メッシュとして自動的にセグメント化される。剛体レジストレーションは、2つのメッシュ間の距離を最小化する、並進及び回転パラメータの最適な組み合わせを発見しようとする。しかしながら、前立腺は剛直な形状ではないことに留意すべきである。前立腺の形状は、これら各々のモダリティの取得の最中に様々に変形し得る。例えば、典型的には、改善された画像品質のために直腸内コイル(Endorectal coil：ERC)が直腸内に挿入される一方で、MR画像が取得される。他方、TRUSイメージングはフリーハンドで実行され、TRUSプローブは、前立腺に隣接する直腸壁に直接的に接触して配置される必要がある。この直接的な接触は、画像取得の最中に前立腺形状の変形を引き起こす。
前立腺検査の最中におけるMR-to-US画像融合の精度を改善するアプローチの1つは、非線形表面ベース剛体レジストレーションを含み、これは前立腺(全体)にわたる変形の一様性を仮定する。しかしながら、剛体レジストレーションは、MR及びUS点群の間の並進及び回転の不整合しか補償せず、従って、TRUSプローブ及びERCにより生じる変形の結果として、剛体レジストレーションは2つのセグメント化された点群を照合するのに有効ではなくなってしまう。更に、非線形表面ベース法が画像融合に採用されたとしても、表面ベースアプローチは前立腺の表面に関する2つのモダリティを照合するには十分であるかもしれないが、そのような表面毎のマッピングは、前立腺の内部構造をどのように照合するかについての何らの情報も提供しない。更に重要なことに、前立腺にわたる一様な変形という仮定は、非一様な生体構造特性(例えば、剛性(stiffness))を有するタイプのセルから成る前立腺に関しては正確でない。
本発明は、中間的なモダリティとして機能する「マルチゾーン画像」と称する解剖学的にラベル付けされる画像を導入するデフォーマブルレジストレーション方法及びシステムを提供し、中間的モダリティは、通常、手術前アナトミー画像と手術中アナトミー画像との間で規定される。特に、各モダリティからのアナトミー画像は、生体構造の非一様な生体力学特性(例えば、前立腺の剛性など)についての様々な多様性に基づいて、2つ以上の所定のカラーゾーン(color zone)にセグメント化されてラベル付けされる。各々のカラーゾーンは、異なるカラー特性(例えば、強度値)により他のカラーゾーンから区別される。代替的又は追加的に、カラーゾーンは、異なる生体構造特性、生体組織の一様性又は非一様性(例えば、前立腺の剛性及び粘性など)に基づいてもよい。
例えば、前立腺画像は、前立腺の非一様な剛性に基づいて、複数ゾーン画像を再構築するために、各々のイメージングモダリティの中で周辺ゾーン及び中央ゾーンに分割される。この場合、中央ゾーンは周辺ゾーンよりも高い剛性を有し、従って、中央ゾーンは異なる強度値によりラベル付けされる(例えば、背景は0である強度値；周辺ゾーンは127である強度値；中央ゾーンは255である強度値であってもよい)。強度ベースの変形可能なレジストレーション技術が、再構築されたマルチゾーン画像について使用され、これにより、「手術前」と「手術中」とのアナトミー画像を融合する(例えば、MR-to-US画像に対する正規化された相互相関画像類似性メトリックによるBスプラインベースのレジストレーションである)。この再構築法は、「手術前」と「手術中」とののアナトミー画像のライブレジストレーションの最中に実行されてもよいし、或いは、「手術前」と「手術中」とのアナトミー画像のトレーニングセットにおいて実行され、「手術前」と「手術中」とののアナトミー画像のライブレジストレーションを改善するための変形モードを設定してもよい。
本発明の一形態はマルチモダリティ変形可能レジストレーションのためのシステムである。本システムは、手術前ワークステーション(例えば、CTワークステーション又はMRIワークステーション)と、手術中ワークステーション(例えば、超音波ワークステーション)と、変形可能レジストレーションワークステーションとを使用する。動作の際に、手術前イメージングワークステーションは手術前アナトミー画像を生成し、手術中イメージングワークステーションは手術中アナトミー画像を生成する。変形可能レジストレーションワークステーションは、手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成し、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成する。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
本発明の第2形態は、マルチモダリティ変形可能レジストレーションのためのモジュラーネットワークである。本システムは、手術前イメージ再構成部と手術中イメージ再構成部とを利用する。動作の際に、手術前再構成部は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成し、及び、手術中再構成部は、手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成する。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
本発明の第3形態は、マルチモダリティ変形可能レジストレーションのための方法である。本方法は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成すること、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成することを包含する。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
本発明の更なる形態及び他の形態並びに本発明の様々な特徴及び利点は、添付図面に関連して理解される本発明の様々な実施形態についての以下の詳細な説明から更に明らかになるであろう。詳細な説明及び図面は限定ではなく本発明の単なる例示に過ぎず、本発明の範囲は添付の特許請求の範囲及びその均等物によって規定される。
図1は本発明による再構成されるマルチゾーン画像を示す。 図2は本発明による変形可能レジストレーションについての第1実施例を示すフローチャートである。 図3は図2に示されるフローチャートの実現例を示す。 図4は本発明による変形可能レジストレーションの第2実施例の第1フェーズを表すフローチャートである。 図5は図4に示されるフローチャートの実現例を示す。 図6は本発明による変形可能レジストレーションの第2実施例の第2フェーズを表すフローチャートである。 図7は図6に示されるフローチャートの実現例を示す。 図2に示されるフローチャートを実現するモジュラーネットワークを組み込むワークステーションの実施例を示す。 図4及び6に示されるフローチャートを実現するモジュラーネットワークを組み込むワークステーションの実施例を示す。
本発明は生体構造の非一様な生体力学特性(例えば、前立腺の剛性)についての様々な多様性に関するカラーゾーンを利用して、アナトミー画像の変形可能なレジストレーションのための基礎としてマルチゾーン画像を再構成する。追加的又は代替的に、カラーゾーンは、生体構造についての異なる生体力学特性、一様性又は非一様性に関連付けられてよい。
本発明の説明目的に関し、「セグメンテーション(又は分割又は区分け等)」、「レジストレーション(又は登録)」、「マッピング」、「再構成」、「デフォーマブルレジストレーション(変形可能な再構成)」、「デフォーマブルフィールド(変形場)」、「デフォーマブルモード」、「原理的コンポーネント」等の用語及びそれらに関連する用語は、本発明に関する技術分野で知られているように広義に解釈されるべきである。
また、本発明の説明目的に関し、イメージング活動の出現又はイメージングシステムの動作によらず、本願で使用される「手術前(preoperative)」という用語は、準備として指定される特定のイメージングモダリティ又は治療介入/手術/診断の手順のサポートにおけるセカンダリイメージングモダリティの任意のイメージング活動又は構造を記述するように広く規定され、並びに、本願で使用される「手術中(intraoperative)」という用語は、治療介入/手術/診断の手順の実行中のプライマリイメージングモダリティとして指定される特定のイメージングモダリティの任意のイメージング活動又は構造を記述するように広く規定される。イメージングモダリティの具体例は、CT、MRI、X線及び超音波を含むが、これらに限定されない。
実際には、本発明は、任意の解剖学的な領域(例えば、頭部、胸部、骨盤など)及び解剖学的な構造(例えば、骨、組織、臓器、循環器系、消化器系など)、任意のタイプの手術前アナトミー画像、及び、任意のタイプの手術中アナトミー画像に適用されてよい。また、実際には、手術前アナトミー画像及び手術中アナトミー画像は、同じ対象(対象者)のアナトミー領域/構造に属するものであってもよいし、或いは、治療介入/手術/診断の手順のうちの異なる対象に属するものであってもよく、並びに、手術前アナトミー画像及び手術中アナトミー画像は、同一のイメージングモダリティ又は相違するイメージングモダリティにより生成されてもよい(例えば、手術前CT-手術中US；手術前CT-手術中CT；手術前MRI-手術中US；手術前MRI-手術中MRI；及び、手術前US-手術中US等であってもよい)。
本発明の理解を促すために、前立腺についてのデフォーマブルレジストレーション手術前MR画像及び手術中超音波画像に関する本発明の実施例が提供される。しかしながら、当業者は、全ての画像モダリティ及び全てのアナトミー領域に対してデフォーマブルレジストレーションをどのように実行するかを把握するであろう。
図1に関し、MRIシステム20は、スキャナ21とワークステーション22とを利用して、図示されるように患者10の前立腺11の手術前MRI画像23を生成する。実際には、本発明は、手術前MRI前立腺画像を取得するために様々なタイプの1つ以上のMRIシステム20を利用してもよい。
超音波システム30は、プローブ31とワークステーション32とを利用して、図示されるように患者10の前立腺11の解剖学的組織の超音波画像を生成する。実際には、本発明は、手術中US前立腺画像を取得するために様々なタイプの1つ以上の超音波システム30を利用してもよい。
本発明は様々な既知の技術を実行し、(1)前立腺11の手術前MR前立腺画像23と前立腺11の手術中超音波アナトミー画像とを、複数のカラーゾーンを含むマルチゾーン画像に再構築するための画像セグメンテーション、及び、(2)再構築されたマルチゾーン画像の非線形デフォーメーションマッピングのための強度ベースの変形可能レジストレーションを含むが、これらに限定されない。具体的には、アナトミー構造は非一様な生体力学特性(アナトミー構造の剛性等を含むがこれらに限定されない)を有し、生体力学特性の非一様な性質は、様々に異なる生体力学特性に基づくアナトミー構造の分割を促進する。例えば、前立腺11は異なる細胞型により構成され、異なる細胞型により構成されることは、前立腺を周辺ゾーン及び中央ゾーンに分割することを促し、中央ゾーンは周辺ゾーンよりも高い剛性度を有する。従って、本発明は、各々のゾーンに対する異なる色特性(例えば、強度値)とともに前立腺11をこれらのゾーンに分割し、アナトミー画像からマルチゾーン画像を再構成する。
例えば、図1に示されるように、手術前マルチゾーン画像41は、手術前MR前立腺画像23から再構築され、255という強度値(白色)の中央ゾーン41aと、127という強度値(灰色)の周辺ゾーン41bと、ゼロ(0)という強度値(黒色)の背景ゾーン41cとを含む。同様に、手術中マルチゾーン画像42は、手術中US前立腺画像33から再構築され、255という強度値(白色)の中央ゾーン42aと、127という強度値(灰色)の周辺ゾーン42bと、ゼロ(0)という強度値(黒色)の背景ゾーン42cとを含む。マルチゾーン画像41及び42は、デフォーマブルレジストレーションに関し、アナトミー画像23及び33よりも相応しく、アナトミー画像23及び33を登録するための基礎として供給される。
以下、アナトミー画像23及び33を登録するための基礎としてマルチゾーン画像41及び42のデフォーマブルレジストレーションについての2つの形態が説明される。
図2及び図3に示されるような第1形態は、アナトミー画像23及び33の直接的なデフォーマブルレジストレーションに関する。
図2及び図3に関し、フローチャート50は、本発明のデフォーマブルレジストレーション方法についての第1形態を表現する。フローチャート50の段階S51は、図1に関連して説明されたような手術前マルチゾーン画像41を再構成するために、手術前MR前立腺画像23の中に示される前立腺についての画像セグメント化、及び、セグメント化された前立腺のゾーンラベリングを、マニュアルで又は自動的に行うことを包含する。実際には、セグメンテーション技術及びラベリング技術が、段階S51において実行されてもよい。
フローチャート50の段階S52は、図1に関連して説明されたような手術中マルチゾーン画像42を再構成するために、手術中US前立腺画像33の中に示される前立腺についての画像セグメント化、及び、セグメント化された前立腺のゾーンラベリングを、マニュアルで又は自動的に行うことを包含する。実際には、セグメンテーション技術及びラベリング技術が、段階S52において実行されてもよい。
フローチャート50の段階S53は、マルチゾーン画像41及び42のデフォーマブルレジストレーション60と、マルチゾーン画像41及び42のデフォーマブルレジストレーション60の変形場から導出される前立腺画像23及び33の変形マッピング61aとを包含する。実際には、レジストレーション及びマッピング技術が段階S53において実行されてもよい。一形態において、段階S53に関し、前立腺全体に対するマルチゾーン画像41及び42の間の非線形マッピングが、(例えば、正規化された相互相関の画像類否メトリックを利用するBスプラインベースのレジストレーションのような)何らかの強度ベースのデフォーマブルレジストレーションを利用して算出され、結果の変形場が前立腺画像23及び33に適用され、前立腺画像23及び33の間で前立腺に関する1対1写像を達成する。その結果は、前立腺23及び33についてのデフォーマブルレジストレーションである。
図8は、フローチャート50(図2)を実現するためのハードウェア/ソフトウェア/ファームウェアモジュール111-114についてのネットワーク110aを示す。
第1に、手術前画像再構成部111は、手術前MRアナトミー画像23を手術前マルチゾーン画像41に再構成する技術を利用し、この再構成はフローチャート50の段階51に含まれ、図3に例示的に示されている。
第2に、手術中画像再構成部112は、手術中USアナトミー画像33を手術中マルチゾーン画像42に再構成する技術を利用し、この再構成はフローチャート50の段階52に含まれ、図3に例示的に示されている。
第3に、デフォーメーション登録部113aは、マルチゾーン画像41及び42のデフォーマブルレジストレーションを実行する技術を利用し、この動作はフローチャート50の段階53に含まれ、図3に例示的に示されている。
最終的に、デフォーメーションマッパー114は、デフォーメーションマッパー113aにより導出される変形場に基づいて、アナトミー画像41及び42のデフォーメーションマッピングを実行する技術を利用し、この動作はフローチャート50の段階53に含まれ、図3に例示的に示されている。
図8は、フローチャート50(図2)を実行するためのデフォーマブルレジストレーションワークステーション100aを更に示す。デフォーマブルレジストレーションワークステーション100aは、ワークステーション100aのハードウェア/ソフトウェア/ファームウェアとしてプログラムされ及びインストールされたモジュール111-114を実行するように、構造的にはハードウェア/回路(例えば、プロセッサ、メモリ等)とともに構成される。実際には、デフォーマブルレジストレーションワークステーション100aは、イメージングワークステーション20及び30(図1)と物理的に独立的であってもよいし、或いは、イメージングワークステーション20及び30の双方又は一方の中に物理的に組み込まれる論理的なサブステーション(substation)であってもよい。
図4ないし図7に示されるような第2形態は、変形のモデルを設定するための前立腺画像のトレーニングセットを対象とし、アナトミー画像23及び33のデフォーマブルレジストレーションを改善する。
この形態のデフォーマブルレジストレーションは2つのフェーズで実行される。第1フェーズでは、前立腺画像のトレーニングセットを利用して、平均的な変形及び複数の変形モードベクトルの形式で変形モデルを生成する。第2フェーズでは、平均的な変形及び複数の変形モードが、手術前MR前立腺画像23を手術中前立腺画像33に変形させるデフォーメーションフィールド(変形場)を推定するために使用される。
図4及び図5に関し、フローチャート70は第1フェーズを表現する。このフェーズでは、各々の対象者とともに対象者の母集団が、手術前MR前立腺画像と手術中US前立腺画像とを提供し、それぞれ前立腺画像についてのMRトレーニングデータセットとUSトレーニングデータセットとを形成する。
フローチャート70の段階S71は、手術前MR前立腺画像23(図1)を含む手術前MR前立腺画像のトレーニングデータセット123についてのマニュアル又は自動的な画像セグメント化及びゾーンラベリングを含み、図1に関して説明されたような手術前マルチゾーン画像の手術前トレーニングデータセット141を再構成する。実際には、何らかのセグメンテーション技術及びラベリング技術がS71の際に実行されてよい。
フローチャート70の段階S71は、手術中US前立腺画像33(図1)を含む手術中US前立腺画像のトレーニングデータセット133についてのマニュアル又は自動的な画像セグメント化及びゾーンラベリングを含み、図1に関して説明されたような手術中マルチゾーン画像の手術中トレーニングデータセット142を再構成する。この場合も、実際には、何らかのセグメンテーション技術及びラベリング技術がS71の際に実行されてよい。
フローチャート70の段階S72は、トレーニングマルチゾーン画像データベース141及び142のトレーニングデフォーマブルレジストレーションを含む。実際には、何らかのデフォーマブルレジストレーション技術が段階S73の際に実行されてよい。一形態の段階S72では、手術中トレーニングマルチゾーン画像データセット142は、手術中トレーニングデータセット133の平均である超音波前立腺テンプレート134に空間的に整合させられ、手術前トレーニングマルチゾーン画像データセット141に変形可能に登録される。その結果は、トレーニングマルチゾーン画像データベース141及び142のデフォーマブルレジストレーションのトレーニングデータセット160となる。
代替的に、MR前立腺テンプレート(不図示)が、MR前立腺画像のトレーニングデータセット123の平均として生成され、その後、トレーニングデータセット141及び142のデフォーマブルレジストレーションの実行前に、MR前立腺画像の手術中トレーニングデータセット141に空間的に整合させられてもよい。
テンプレート134のトレーニングデータセット142に対する空間的な調整は、剛体変換、アフィン変換、非線形レジストレーション、又は、3つのレジストレーションの組み合わせを利用して実行されてもよく、トレーニングデータベース141及び142のデフォーマブルレジストレーションは強度ベースのメトリックを利用して実行されてもよい。トレーニングデータセット142のテンプレート134に対する空間的な調整の後、トレーニングデータセット141は、各対象者のトレーニングデータセット142に対して非線形に歪められる(ワープされる)。非線形ワープは、強度ベースのメトリックとともにBスプラインレジストレーション技術を利用して実行されてもよい。代替的に、有限要素法のような別の非線形推定技術が、各対象者についてトレーニングデータセット141をトレーニングデータセット142に合わせ、各対象者の前立腺に対する変形場を取得するために使用されてもよい。変形場に関する数式は次のとおりである：
Figure 2016536035
 ここで、d<i>及びdバーは、それぞれ、サンプルトレーニングデータiに関するマルチゾーン画像の非線形レジストレーションの結果からの変形場、及び、平均的な変形場を表す。
フローチャート70の段階S73は、トレーニングマルチゾーン画像データベース141及び142のデフォーマブルレジストレーションについての主成分分析トレーニングデータセット160を含む。具体的には、平均的なデフォーメーション(変形)162が算出され、主成分分析(principal component analysis：PCA)を利用して、マルチモーダル画像レジストレーションの第1(モデル)フェーズで使用される対象者の変位場(displacement field)から、デフォーメーションモード(変形モード)163を導出する。
平均的な変形162は、複数の対象者についての変形を平均化することにより算出される：
Figure 2016536035
 ここで、nはデータセット、サンプル又は画像処理される対象者についての番号であり、i=1，2，…，nはデータセットの指標を指す。
以下のように、PC分析は、サンプル画像の変位場から変形モード163を導出するために使用される。算出される変位場(x，y，zの3成分を有する)がDi(mx3)である場合、各々の変位場は、データセットに関する全てのデータ点からのx，y，z成分を結合することにより、1次元ベクトルに再フォーマットされる。
共分散行列(covariance matrix)Σは次のように算出される：
Σ=DTD (Eq.3)
ここで、
Figure 2016536035
 である。
変形固有ベクトルΨの行列は、共分散行列Σを次のように対角化する：
Ψ-1ΣΨ=Λ (Eq.4)
ここで、Λ=｜λi｜nxnは、Σの固有値が対角要素である対角行列である。
変位場行列(Dmxn)の固有ベクトル(mはデータセットにおけるデータ点の数である)は、次のようにして見出される：
Φi=DΨλ-1/2 （Eq.5）
任意の変位場は、次式のように、平均的な変形と変形モード(φi)の線形結合との線形結合から推定されることが可能である：
Figure 2016536035
 ここで、kは変形モード数であり、k<<nである。
図6及び図7に関し、フローチャート80は、本発明の一形態による変形場(デフォーメーションフィールド)を推定するための第2フェーズを表現する。
フローチャート80の段階S81は、前立腺画像23及び33からの、或いは代替的に、異なる対象者による前立腺画像からのランドマークの抽出を含む。ランドマークは、前立腺画像23及び33双方に見える何らかの目印、例えば、尿道や前立腺の表面輪郭点の輪郭などであってもよい。各画像におけるランドマークのための点(ポイント)は、例えば強度に基づく基準のような既知の任意のポイント抽出法を利用して抽出されてよい。抽出されるポイント数は、好ましくは、フローチャート70の全ての変形モデルに対する固有値(Eigen value)(又は固有重み又は固有係数)を求めることができる程度に十分である。
フローチャート80の段階S82は、前立腺画像23及び33の中で抽出されたランドマークを登録し、ランドマークポイントに関する変換行列を決定する。この変換行列はランドマークに対してのみ正確であり、前立腺の身体構造内の様々な変形モードを補償するものではない。
フローチャートの段階S83は、フローチャート70で計算した変形モデルによる固有ベクトル163及び平均的な変形162に、ランドマークポイントを合致させる、算出された変形場を利用して、各々の変形モードiに対する固有係数αiを算出する(ここで、i=1，2，...，kである)。固有係数αiは次のようにして算出される。
Figure 2016536035
 ここで、Sはランドマークポイント群のインデックスに対応する。
フローチャート80の段階S83は、次式のように、平均的な変形162と、固有値で重み付けされた変形モード163とを加算することにより、前立腺画像23及び33の全てのポイントに対する変形場の推定を含む。
Figure 2016536035
 ここで、Pは画像中の全ての点(ポイント)に対応する。
図9は、フローチャート70(図4)及びフローチャート80(図6)を実現するためのハードウェア/ソフトウェア/ファームウェアモジュール111-120についてのネットワーク110bを示す。
第1に、手術前画像再構成部111は、手術前トレーニングデータセット123を手術前トレーニングデータセット141に再構成する技術を利用し、この技術はフローチャート70の段階S71に含まれるようなものであり、図5に例示的に示されている。
第2に、手術中アナトミー画像再構成部112は、手術中トレーニングデータセット133を手術中トレーニングデータセット142に再構成する技術を利用し、この技術はフローチャート70の段階S71に含まれるようなものであり、図5に例示的に示されている。
第3に、デフォーメーション登録部113bは、トレーニングデータセット141及び142のデフォーマブルレジストレーションを実行する技術を利用し、この技術はフローチャート70の段階S72に含まれるようなものであり、図5に例示されている。デフォーメーション登録部113bは、何れかのトレーニングデータセット123，133をテンプレート134に空間的に整合させる技術を利用する。
第4に、テンプレート生成部115は、MR手術前テンプレート又はUS手術前テンプレートのようなテンプレート134を生成する技術を利用し、この技術はフローチャート70の段階S72に含まれるようなものであり、図5に例示されている。
第5に、主成分分析部116は、平均変形162及び変形モード163の形式で変形モデルを生成する技術を利用し、この技術はフローチャート70の段階S73に含まれるようなものであり、図5に例示されている。
第6に、ランドマーク抽出部117は、アナトミー画像23及び33からランドマークを抽出する技術を利用し、この技術はフローチャート80の段階S81に含まれるようなものであり、図7に例示されている。
第7に、ランドマーク登録部118は、抽出されたランドマークを登録する技術を利用し、この技術はフローチャート80の段階S81に含まれるようなものであり、図7に例示されている。
第8に、主成分分析ソルバ119は、各々の変形モードに関する固有係数を計算する技術を利用し、この技術はフローチャート80の段階S82に含まれるようなものであり、図7に例示されている。
最終的に、デフォーメーションフィールド(変形場)推定部120は、変形場を推定する技術を利用し、この技術はフローチャート80の段階S83に含まれるようなものであり、図7に例示されている。
図9は、フローチャート70及び80を実行するためのデフォーマブルレジストレーションワークステーション100bも示している。デフォーマブルレジストレーションワークステーション100bは、ワークステーション100bのハードウェア/ソフトウェア/ファームウェアとしてプログラムされ及びインストールされたモジュール111-120を実行するように、構造的にはハードウェア/回路(例えば、プロセッサ、メモリ等)とともに構成される。実際には、デフォーマブルレジストレーションワークステーション100bは、イメージングワークステーション20及び30(図1)と物理的に独立的であってもよいし、或いは、イメージングワークステーション20及び30の双方又は一方の中に物理的に組み込まれる論理的なサブステーションであってもよい。
図1ないし9に関し、当業者は本発明の多くの利点を認めるであろうが、その利点は、変形可能なアナトミー構造についてのより正確で完全なデフォーマブルレジストレーションを含むがこれらに限定されない。
以上、本発明の様々な形態が説明及び記述されてきたが、本願で記述されているような本発明の形態は例示的であること、様々な変形及び修正がなされてよいこと、本発明の真の範囲から逸脱することなくそれらの要素について均等物が置換されてよいことが、当業者に理解されるであろう。更に、本願の中核から逸脱することなく、本発明による教示を適用するための多くの変形がなされてよい。従って、本発明は、本発明を実施するのに想定されるベストモードとして開示された特定の形態には限定されず、むしろ本発明は添付の特許請求の範囲に属する全ての形態を包含する。
本発明の一形態はマルチモダリティ変形可能レジストレーションのためのシステムである。本システムは、手術前ワークステーション(例えば、CTワークステーション又はMRIワークステーション)と、手術中ワークステーション(例えば、超音波ワークステーション)と、変形可能レジストレーションワークステーションとを使用する。動作の際に、手術前イメージングワークステーションは手術前アナトミー画像を生成し、手術中イメージングワークステーションは手術中アナトミー画像を生成する。変形可能レジストレーションワークステーションは、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成し、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成する。手術前マルチゾーン画像及び手術中マルチゾーン画像は、手術前アナトミー画像及び手術中アナトミー画像の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
本発明の第2形態は、マルチモダリティ変形可能レジストレーションのためのモジュラーネットワークである。本システムは、手術前イメージ再構成部と手術中イメージ再構成部とを利用する。動作の際に、手術前再構成部は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成し、及び、手術中再構成部は、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成する。手術前マルチゾーン画像及び手術中マルチゾーン画像は、手術前アナトミー画像及び手術中アナトミー画像の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。
本発明の第3形態は、マルチモダリティ変形可能レジストレーションのための方法である。本方法は、手術前アナトミー画像を、複数のカラーゾーンを含む手術前アナトミー画像の手術前マルチゾーン画像に再構成すること、及び、手術中アナトミー画像を、複数のカラーゾーンを含む手術中アナトミー画像の手術中マルチゾーン画像に再構成することを包含する。手術前マルチゾーン画像及び手術中マルチゾーン画像は、手術前アナトミー画像及び手術中アナトミー画像の変形可能レジストレーションのための基礎として役立つ。各々のカラーゾーンは、手術前アナトミー画像及び手術中アナトミー画像に関連する非一様な生体力学特性、又は、手術前アナトミー画像及び手術中アナトミー画像に関連する異なる生体力学特性についての様々な多様性を表現する。

Claims (20)

  1. 変形可能レジストレーションのためのシステムであって：
    手術前アナトミー画像を生成するように動作可能に構成される手術前イメージングワークステーション；
    手術中アナトミー画像を生成するように動作可能に構成される手術中イメージングワークステーション；及び
    変形可能レジストレーションワークステーション；
    を有し、前記変形可能レジストレーションワークステーションは、前記手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成するように動作可能に構成され、
    前記変形可能レジストレーションワークステーションは、前記手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成するように更に動作可能に構成され、
    各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、システム。
  2. 前記変形可能レジストレーションワークステーションは、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像を変形可能に登録するように動作可能に更に構成される、請求項1に記載のシステム。
  3. 前記変形可能レジストレーションワークステーションは、前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像を変形可能にマッピングするように動作可能に更に構成される、請求項2に記載のシステム。
  4. 前記変形可能レジストレーションワークステーションは、手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するように動作可能に更に構成され；
    前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み；及び
    前記手術中トレーニングセットは前記手術中マルチゾーン画像を含む、請求項1に記載のシステム。
  5. 前記変形可能レジストレーションワークステーションは、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに先立って、前記手術前トレーニングセット及び前記手術中トレーニングセットの何れかをトレーニングアナトミーテンプレートに空間的に整合させるように動作可能に更に構成される、請求項4に記載のシステム。
  6. 前記変形可能レジストレーションワークステーションは、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するように動作可能に更に構成される、請求項4に記載のシステム。
  7. 前記変形モデルは、平均的な変形と複数の変形モードベクトルとを含む、請求項6に記載のシステム。
  8. 前記変形可能レジストレーションワークステーションは、前記変形モデルの関数として変形場を推定するように動作可能に更に構成される、請求項6に記載のシステム。
  9. デフォーメーションワークステーションにインストールされる変形可能レジストレーションのためのモジュラーネットワークであって：
    手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成するように動作可能に構成される手術前画像再構成部；
    手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成するように動作可能に構成される手術中アナトミー画像再構成部；
    を有し、各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、モジュラーネットワーク。
  10. 前記手術前マルチゾーン画像及び手術中マルチゾーン画像を変形可能に登録するように動作可能に更に構成されるデフォーメーション登録部；
    を更に有する請求項9に記載のモジュラーネットワーク。
  11. 前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づく前記手術前アナトミー画像及び前記手術中アナトミー画像の変形可能なマッピングを実行するように動作可能に更に構成されるデフォーメーションマッパー；
    を更に有する請求項10に記載のモジュラーネットワーク。
  12. 手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するように動作可能に構成されるデフォーメーション登録部；
    を更に有し、前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み；及び
    前記手術中トレーニングセットは前記手術中マルチゾーン画像を含む、請求項9に記載のモジュラーネットワーク。
  13. 前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するように動作可能に構成される主成分分析部；
    を更に有する請求項12に記載のモジュラーネットワーク。
  14. 前記変形モデルは、平均的な変形と複数の変形モードベクトルとを含む、請求項13に記載のモジュラーネットワーク。
  15. 前記変形モデルの関数として変形場を推定するように動作可能に構成される変形場推定部；
    を更に有する請求項13に記載のモジュラーネットワーク。
  16. 変形可能レジストレーションのための方法であって：
    手術前アナトミー画像を、複数のカラーゾーンを含む手術前マルチゾーン画像に再構成するステップ；
    手術中アナトミー画像を、複数のカラーゾーンを含む手術中マルチゾーン画像に再構成するステップ；及び
    前記手術前マルチゾーン画像及び手術中マルチゾーン画像のデフォーメーションマッピングに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像にデフォーメーションマッピングを行うステップ；
    を有し、各々のカラーゾーンは、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する非一様な生体力学特性のうちの区別された多様性、又は、前記手術前アナトミー画像及び前記手術中アナトミー画像に関連する区別された生体力学特性のうちの何れかを表現する、方法。
  17. 前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像を変形可能に登録するステップ；
    を更に有する請求項16に記載の方法。
  18. 前記手術前マルチゾーン画像及び前記手術中マルチゾーン画像の変形可能レジストレーションに基づいて、前記手術前アナトミー画像及び前記手術中アナトミー画像を変形可能にマッピングするステップ；
    を更に有する請求項17に記載の方法。
  19. 当該方法は、手術前マルチゾーン画像の手術前トレーニングセットと手術中マルチゾーン画像の手術中トレーニングセットとを変形可能に登録するステップを更に有し、
    前記手術前トレーニングセットは前記手術前マルチゾーン画像を含み、
    前記手術中トレーニングセットは前記手術中マルチゾーン画像を含み、
    当該方法は、前記手術前トレーニングセット及び前記手術中トレーニングセットの変形可能レジストレーションに基づいて、変形モデルを生成するステップを更に有する、請求項16に記載の方法。
  20. 前記変形モデルの関数として変形場を推定するステップ；
    を更に有する請求項19に記載の方法。
JP2016518075A 2013-09-30 2014-09-17 変形可能レジストレーションのためのシステム及びモジュラーネットワーク Pending JP2016536035A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361884165P 2013-09-30 2013-09-30
US61/884,165 2013-09-30
PCT/IB2014/064581 WO2015044838A1 (en) 2013-09-30 2014-09-17 Method and system for automatic deformable registration

Publications (1)

Publication Number Publication Date
JP2016536035A true JP2016536035A (ja) 2016-11-24

Family

ID=51753263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518075A Pending JP2016536035A (ja) 2013-09-30 2014-09-17 変形可能レジストレーションのためのシステム及びモジュラーネットワーク

Country Status (5)

Country Link
US (1) US20160217560A1 (ja)
EP (1) EP3053140A1 (ja)
JP (1) JP2016536035A (ja)
CN (1) CN105593902A (ja)
WO (1) WO2015044838A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012785A1 (ja) * 2018-07-09 2020-01-16 国立大学法人北海道大学 放射線治療装置および放射線治療方法
JP2020062281A (ja) * 2018-10-18 2020-04-23 富士フイルム医療ソリューションズ株式会社 情報処理システム及び情報処理方法
US12017088B2 (en) 2018-07-09 2024-06-25 National University Corporation Hokkaido University Radiotherapy device and radiotherapy method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184782B (zh) * 2015-08-27 2018-03-23 山东师范大学 一种ct中盆腔器官自动分割的方法
US9934570B2 (en) 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
JP6821403B2 (ja) 2016-01-29 2021-01-27 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム、及びプログラム。
WO2017130263A1 (en) * 2016-01-29 2017-08-03 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image processing system, and program
US11064979B2 (en) * 2016-05-16 2021-07-20 Analogic Corporation Real-time anatomically based deformation mapping and correction
CN106920228B (zh) * 2017-01-19 2019-10-01 北京理工大学 脑图谱与脑图像的配准方法及装置
US10402969B2 (en) * 2017-03-10 2019-09-03 General Electric Company Methods and systems for model driven multi-modal medical imaging
JP7418352B2 (ja) 2018-05-16 2024-01-19 コーニンクレッカ フィリップス エヌ ヴェ 機械学習を使用する手術中の自動腫瘍識別
US11877806B2 (en) * 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
EP3677211A1 (en) * 2019-01-03 2020-07-08 Siemens Healthcare GmbH Medical assistance device, system, and method for determining a deformation of a subject, computer program, corresponding computer-readable storage medium
CN109875522B (zh) * 2019-04-22 2022-06-24 上海健康医学院 一种预测前列腺穿刺与根治术后病理评分一致性的方法
US10957010B2 (en) * 2019-08-07 2021-03-23 General Electric Company Deformable registration for multimodal images

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009504245A (ja) * 2005-08-11 2009-02-05 アキュレイ・インコーポレーテッド 仮想画像を使用した患者トラッキング
JP2010119654A (ja) * 2008-11-20 2010-06-03 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2011500250A (ja) * 2007-10-26 2011-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチモダリティ軟組織画像化のための閉ループレジストレーション制御
JP2011067594A (ja) * 2009-08-25 2011-04-07 Fujifilm Corp 肝機能造影像を用いた医用画像診断装置および方法、並びにプログラム
JP2012526623A (ja) * 2009-05-11 2012-11-01 シーメンス コーポレーション 画像ガイド下前立腺癌針生検のためのシステムおよび方法
JP2013517845A (ja) * 2010-01-22 2013-05-20 ザ リサーチ ファウンデーション オブ ザ ステート ユニバーシティ オブ ニューヨーク 前立腺の視覚化およびがん検出のためのシステムおよび方法
WO2013136278A1 (en) * 2012-03-15 2013-09-19 Koninklijke Philips N.V. Multi-modality deformable registration

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007002048D1 (de) * 2007-02-09 2009-10-01 Agfa Gevaert Visuelle Hervorhebung von Intervalländerungen mittels einer Zeitsubtraktionstechnik
EP2131212A3 (en) * 2008-06-05 2011-10-05 Medison Co., Ltd. Non-Rigid Registration Between CT Images and Ultrasound Images
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
US8472684B1 (en) * 2010-06-09 2013-06-25 Icad, Inc. Systems and methods for generating fused medical images from multi-parametric, magnetic resonance image data
WO2013141974A1 (en) * 2012-02-08 2013-09-26 Convergent Life Sciences, Inc. System and method for using medical image fusion
CN103226837B (zh) * 2013-05-21 2015-08-05 南方医科大学 一种观察子宫肿瘤放疗总剂量的分布图像的生成方法
US20150018666A1 (en) * 2013-07-12 2015-01-15 Anant Madabhushi Method and Apparatus for Registering Image Data Between Different Types of Image Data to Guide a Medical Procedure

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009504245A (ja) * 2005-08-11 2009-02-05 アキュレイ・インコーポレーテッド 仮想画像を使用した患者トラッキング
JP2011500250A (ja) * 2007-10-26 2011-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチモダリティ軟組織画像化のための閉ループレジストレーション制御
JP2010119654A (ja) * 2008-11-20 2010-06-03 Canon Inc 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP2012526623A (ja) * 2009-05-11 2012-11-01 シーメンス コーポレーション 画像ガイド下前立腺癌針生検のためのシステムおよび方法
JP2011067594A (ja) * 2009-08-25 2011-04-07 Fujifilm Corp 肝機能造影像を用いた医用画像診断装置および方法、並びにプログラム
JP2013517845A (ja) * 2010-01-22 2013-05-20 ザ リサーチ ファウンデーション オブ ザ ステート ユニバーシティ オブ ニューヨーク 前立腺の視覚化およびがん検出のためのシステムおよび方法
WO2013136278A1 (en) * 2012-03-15 2013-09-19 Koninklijke Philips N.V. Multi-modality deformable registration

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012785A1 (ja) * 2018-07-09 2020-01-16 国立大学法人北海道大学 放射線治療装置および放射線治療方法
JPWO2020012785A1 (ja) * 2018-07-09 2021-07-15 国立大学法人北海道大学 放射線治療装置および放射線治療方法
JP7362130B2 (ja) 2018-07-09 2023-10-17 国立大学法人北海道大学 放射線治療装置
US12017088B2 (en) 2018-07-09 2024-06-25 National University Corporation Hokkaido University Radiotherapy device and radiotherapy method
JP2020062281A (ja) * 2018-10-18 2020-04-23 富士フイルム医療ソリューションズ株式会社 情報処理システム及び情報処理方法
JP7097794B2 (ja) 2018-10-18 2022-07-08 富士フイルム医療ソリューションズ株式会社 情報処理システム及び情報処理方法

Also Published As

Publication number Publication date
WO2015044838A1 (en) 2015-04-02
EP3053140A1 (en) 2016-08-10
CN105593902A (zh) 2016-05-18
US20160217560A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
JP2016536035A (ja) 変形可能レジストレーションのためのシステム及びモジュラーネットワーク
JP6211682B2 (ja) メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム
Ferrante et al. Slice-to-volume medical image registration: A survey
AU2010280527B2 (en) Apparatus and method for registering two medical images
Schreibmann et al. Image interpolation in 4D CT using a BSpline deformable registration model
Wein et al. Automatic CT-ultrasound registration for diagnostic imaging and image-guided intervention
US8787648B2 (en) CT surrogate by auto-segmentation of magnetic resonance images
KR101267759B1 (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
JP5759446B2 (ja) 解剖学的特徴を輪郭抽出するシステム、作動方法及びコンピュータ可読媒体
Khalil et al. An overview on image registration techniques for cardiac diagnosis and treatment
US20070167784A1 (en) Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US8571277B2 (en) Image interpolation for medical imaging
Xu et al. Closed-loop control in fused MR-TRUS image-guided prostate biopsy
JP5919296B2 (ja) イメージレジストレーション装置
Khalil et al. 2D to 3D fusion of echocardiography and cardiac CT for TAVR and TAVI image guidance
Huang et al. Rapid dynamic image registration of the beating heart for diagnosis and surgical navigation
JP5495886B2 (ja) 患者位置決めシステム
Peressutti et al. A novel Bayesian respiratory motion model to estimate and resolve uncertainty in image-guided cardiac interventions
Kadoury et al. Realtime TRUS/MRI fusion targeted-biopsy for prostate cancer: a clinical demonstration of increased positive biopsy rates
Skalski et al. Using ASM in CT data segmentaion for prostate radiotherapy
Lu et al. Three-dimensional nonrigid registration and fusion for image-guided surgery navigation system
Maris et al. Deformable surface registration for breast tumors tracking: a phantom study
Duan et al. Augmenting CT cardiac roadmaps with segmented streaming ultrasound
Chowdhury et al. Linked statistical shape models for multi-modal segmentation of the prostate on MRI-CT for radiotherapy planning
Liu et al. A novel point based non-rigid registration method and its application on brain shift

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190129