JP2016517759A - メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム - Google Patents

メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム Download PDF

Info

Publication number
JP2016517759A
JP2016517759A JP2016512465A JP2016512465A JP2016517759A JP 2016517759 A JP2016517759 A JP 2016517759A JP 2016512465 A JP2016512465 A JP 2016512465A JP 2016512465 A JP2016512465 A JP 2016512465A JP 2016517759 A JP2016517759 A JP 2016517759A
Authority
JP
Japan
Prior art keywords
anatomical
mesh
preoperative
intraoperative
operative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016512465A
Other languages
English (en)
Other versions
JP6211682B2 (ja
JP2016517759A5 (ja
Inventor
アミル モハンマド タフマセビ,マラグホーシュ
アミル モハンマド タフマセビ,マラグホーシュ
クリュッカー,ヨッヘン
ゲオルギエフ ザゴルチェフ,リュボミル
ゲオルギエフ ザゴルチェフ,リュボミル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016517759A publication Critical patent/JP2016517759A/ja
Publication of JP2016517759A5 publication Critical patent/JP2016517759A5/ja
Application granted granted Critical
Publication of JP6211682B2 publication Critical patent/JP6211682B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/14
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • G06T2207/101363D ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic

Abstract

メッシュ・セグメンテーション及びレジストレーションのための方法は、解剖学的メッシュテンプレート(40)のベース・トポロジに基づく、術前の解剖学的画像(50)からの術前の解剖学的メッシュ(51)の抽出と;解剖学的メッシュテンプレート(40)のベース・トポロジから導出される術前の解剖学的メッシュ(51)の術前トポロジに基づく、術中の解剖学的画像(60)からの術中の解剖学的メッシュ(61)の抽出と、術前の解剖学的メッシュ(51)の術前トポロジから導出される術中の解剖学的メッシュ(61)の術中トポロジによって確立される、術前の解剖学的メッシュ(51)と術中の解剖学的メッシュ(61)との間のマッピング対応に基づく、術前の解剖学的画像(50)及び術中の解剖学的画像(60)のレジストレーションとを備える。(図2)

Description

本発明は、一般に、術前の解剖学的画像(例えば解剖学的構造のコンピュータ断層撮影(CT)スキャン又は磁気共鳴(MR)撮像スキャン)及び術中の解剖学的画像(例えば解剖学的構造の超音波(US)画像フレーム)の画像セグメンテーションに関し、術前の解剖学的画像及び術中の解剖学的画像の信頼性のあるレジストレーションを容易にする。本発明は、特に、術前の解剖学的画像及び術中の解剖学的画像からの解剖学的メッシュの抽出のための解剖学的メッシュテンプレートに関し、これにより、解剖学的メッシュは、これらの解剖学的画像をレジストレーションするためのマッピング対応(mapping correspondence)を有する。
術前の解剖学的画像と術中の解剖学的画像の融合は、画像誘導型の介入手順/外科的手順/診断手順を容易にするのに用いられている。周知の一シナリオは、高解像度の術前のCT又はMRスキャンと、術中の超音波画像フレームの融合である。例えば従来の2次元(2D)の超音波システムには、位置センサ(例えば電磁追跡センサ)が備えられ、追跡した臓器の2Dスイープ(sweep)を取得することができることがある。画像取得中に得られる追跡情報を使用して、2DスイープのUSフレームが、基準の座標系に対して整列されて臓器の3次元(3D)ボリュームを再構築する。超音波は、臓器の術中の撮像には理想的であるが、画像誘導には画像解像度が乏しい。したがって、超音波撮像と他の高解像度の撮像モダリティ(例えばCT又はMR)との融合が、介入手順/外科的手順/診断手順の超音波ベースの誘導を改善するのに用いられている。画像融合中に、対象の臓器が、術中の超音波と術前のモダリティとの間で正確にレジストレーションされる。2つの異なるモダリティの融合について多くの画像レジストレーション技術が提案されているが、術中の超音波といずれかの術前のモダリティ(例えばCT又はMR)の融合は、術中の超音波と術前のモダリティとの間の機能的な依存関係の欠如に起因して、困難なことであることが分かっている。
より具体的には、肝臓の術中のUS画像フレームに対する肝臓の術前の3D CT撮像スキャンの融合のための既知のダイヤフラム表面モデル(diaphragm surface model)に基づく解決策は、2D超音波スイープ又は単一の3D超音波ボリュームの取得から得られる、肝臓について抽出される3D肝臓ダイヤフラム表面モデルに対する、術前の3D CT撮像スキャンから得られる肝臓の3D形状セグメンテーションのレジストレーションを要する。術中の超音波画像におけるダイヤフラムの表面セグメンテーションは、母集団の平均メッシュモデルを、画像ベースの特徴を使用して超音波画像に適合させる。これは、課題をもたらす可能性があり、結果として、画像レジストレーションの正確性は、超音波セグメンテーションの正確性に大いに依存する。
ダイヤフラム表面モデルに基づくアプローチに対する代替として、本発明は、特に画像誘導型の介入手順/外科的手順/診断手順のために、術前の解剖学的画像と術中の解剖学的画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションを提供する。
本発明の第1の形態は、メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのシステムである。当該システムは、術前ワークステーション(例えばCTワークステーション又はMRIワークステーション)と、術中ワークステーション(例えば超音波ワークステーション)を用いる。動作において、術前ワークステーションは、解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像(例えばCTの肝臓画像又はMRIの肝臓画像)から、術前の解剖学的メッシュを抽出する。解剖学的メッシュテンプレートのベース・トポロジから導出される、抽出された術前の解剖学的メッシュの術前トポロジに基づいて、術中ワークステーションは、術中の解剖学的画像(例えば超音波の肝臓画像)から術中の解剖学的メッシュを抽出し、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づいて、術前の解剖学的画像及び術中の解剖学的画像をレジストレーションする。
本発明の第2の形態は、メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのモジュールネットワークである。当該システムは、術前メッシュ・エクストラクタと、術中メッシュ・エクストラクタと、メッシュ空間トランスフォーマとを備える。動作において、術前メッシュ・エクストラクタは、解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像(例えばCTの肝臓画像又はMRIの肝臓画像)から術前の解剖学的メッシュを抽出する。術中メッシュ・エクストラクタは、解剖学的メッシュテンプレートのベース・トポロジから導出される術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像(例えば超音波の肝臓画像)から術中の解剖学的メッシュを抽出する。メッシュ空間トランスフォーマは、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づいて、術前の解剖学的画像及び術中の解剖学的画像をレジストレーションする。
本発明の第3の形態は、メッシュ・セグメンテーション及びレジストレーションのための方法である。当該方法は、解剖学的メッシュテンプレートのベース・トポロジに基づく、術前の解剖学的画像(例えばCTの肝臓画像又はMRIの肝臓画像)からの術前の解剖学的メッシュの抽出と、解剖学的メッシュテンプレートのベース・トポロジから導出される術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像(例えば超音波の肝臓画像)からの術中の解剖学的メッシュの抽出と、術前の解剖学的メッシュの術前トポロジから導出される術中の解剖学的メッシュの術中トポロジによって確立される、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応に基づく、術前の解剖学的画像及び術中の解剖学的画像のレジストレーションとを含む。
本発明の前述の形態及び他の形態、並びに本発明の様々な特徴及び利点は、添付の図面と関連して読まれる、本発明の様々な実施形態の下記の詳細な説明から更に明らかになるであろう。詳細な説明及び図面は、限定ではなく、単に本発明を例示するものであり、本発明の範囲は、添付の特許請求の範囲及びその均等の範囲によって定義される。
本発明に係るメッシュ・セグメンテーション及びメッシュ・レジストレーションの方法の例示的な実施形態を表すフローチャートである。 図1に図示されるフローチャートの例示的な実装を示す図である。 本発明に係る術前のセグメンテーションモデルの構築の方法の例示的な実施形態を表すフローチャートである。 図3に図示されるフローチャートの例示的な実装を示す図である。 本発明に係る術中のセグメンテーションモデルの構築の方法の例示的な実施形態を表すフローチャートである。 図5に図示されるフローチャートの例示的な実装を示す図である。 本発明に係るマルチモーダルセグメンテーション及びレジストレーションのためのシステム及びモジュールネットワーク(module network)の例示的な実施形態を示す図である。
本発明は、術前の解剖学的画像及び術中の解剖学的画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションの初期設定(initialization)のために、解剖学的メッシュテンプレートのベース・トポロジを用いる。
本発明の目的では、「解剖学的」、「メッシュ」、「モデル」、「抽出」、「構築」、「セグメンテーション」、「レジストレーション」及び「変換」という用語及び関連する用語は、本発明の分野で知られるように広く解釈されるべきである。
また、本発明の目的では、撮像動作の発生又は撮像システムの動作に関わらず、「術前」という用語は、本明細書で使用されるとき、前処理あるいは介入手順/外科的手順/診断手順を支持する二次的撮像モダリティとして指定される、特定の撮像モダリティの任意の撮像動作又は構造を示すよう広く定義され、「術中」という用語は、本明細書で使用されるとき、介入手順/外科的手順/診断手順の実行中の一次撮像モダリティとして指定される、特定の撮像モダリティの任意の撮像動作又は構造を示すよう広く定義される。撮像モダリティの例には、これらに限られないが、CT、MRI、X線及び超音波が含まれる。
実際には、本発明は、任意の解剖学的領域(例えば頭部、胸部、骨盤等)及び解剖学的構造(例えば骨、臓器、循環系、消化器系等)、任意のタイプの術前の解剖学的画像及び任意のタイプの術中の解剖学的画像に当てはまる。また、実際には、術前の解剖学的画像及び術中の解剖学的画像は、介入手順/外科的手順/診断手順の同じ対象(subject)又は異なる対象の解剖学的領域/構造のものであってよく、術前の解剖学的画像及び術中の解剖学的画像は、同じ撮像モダリティによって生成されても、異なる撮像モダリティによって生成されてもよい(例えば術前CTと術中US、術前CTと術中CT、術前MRIと術中US、術前MRIと術中MRI、術前USと術中US)。
本発明の理解を容易にするために、本明細書では、術前のCT/MRの肝臓画像及び術中の超音波の肝臓画像のメッシュ・セグメンテーション及びメッシュ・レジストレーションの初期設定のための肝臓メッシュテンプレートのベース・トポロジの使用を対象とする、本発明の例示の実施形態が提供され得る。「CT/MR」という用語は、本明細書では、CT撮像又はMR撮像の代替的な使用を指すのに使用される。
図1を参照すると、フローチャート10は、本発明のメッシュ・セグメンテーションとメッシュ・レジストレーションの方法を表している。フローチャート10の段階S11は、解剖学的メッシュテンプレートのベース・トポロジが、対象の術前の解剖学的画像からの術前の解剖学的メッシュの抽出のためのベースとして機能することを含む。より具体的には、解剖学的メッシュテンプレートは、術前の解剖学的画像から解剖学的メッシュテンプレートと同じトポロジを有する術前の解剖学的メッシュを抽出するために、解剖学的画像内に示される解剖学的特徴と関連して使用される、固定数の節点(node)及び面(face)で構成される既知のトポロジを有する。
実際には、段階S11における、解剖学的メッシュテンプレートのベース・トポロジに基づく、術前の解剖学的画像からの術前の解剖学的メッシュの抽出のために、任意の技術が実装され得る。図2に示されるように、段階S11の一実施形態において、CT/MRセグメンテーションモデル11は、CT/MR肝臓画像50からのCT/MR肝臓メッシュ51の抽出のために、既知のベース・トポロジの肝臓メッシュテンプレート40をCT/MR肝臓画像50の画像特徴(例えば表面境界)に半自動的に適合させる。
フローチャート10の段階S12は、段階S11中に抽出された術前の解剖学的メッシュの術前トポロジが、段階S11と同じ対象又は段階S11と異なる対象の術中の解剖学的画像からの術中の解剖学的メッシュの抽出のためのベースとして機能することを含む。より具体的には、段階S11の間に抽出された術前の解剖学的メッシュは、解剖学的メッシュテンプレートと同じ既知のトポロジを有することになり、該術前の解剖学的メッシュの既知のトポロジを術中の解剖学的画像の解剖学的特徴とともに使用して、解剖学的メッシュテンプレート及び術前の解剖学的メッシュと同じトポロジを有する術中の解剖学的メッシュを抽出する。
実際には、段階S12における、術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像からの術中の解剖学的メッシュの抽出のために、任意の技術が実装され得る。図2に示されるように、段階S12の一実施形態において、超音波セグメンテーションモデル12が、既知のトポロジのCT/MR肝臓メッシュ51を超音波肝臓画像60に適応的に空間的に変換する。適応的な空間変換は、自由度(例えば剛体変換(rigid transformation)、アフィン変換又は弾性的に変形可能な変換(elastic deformable transformation))を制限していることがある。空間変換の後に、超音波セグメンテーションモデル12は、超音波肝臓画像60からの超音波肝臓メッシュ61の抽出のために、CT/MRの肝臓メッシュ51を超音波肝臓画像60の画像特徴(例えば表面境界)に半自動的に適合させる。
フローチャート10の段階S13は、術前の解剖学的画像と術中の解剖学的画像のレジストレーションを含む。より具体的には、解剖学的メッシュテンプレートの既知のベース・トポロジから導出される術前の解剖学的メッシュと術中の解剖学的メッシュの同一のトポロジは、術前の解剖学的メッシュと術中の解剖学的メッシュとの間のマッピング対応を確立し、このマッピング対応は、術中の解剖学的画像への術前の解剖学的画像の空間変換又はその反対の変換を容易にする。したがって、術前の解剖学的画像及び術中の解剖学的画像が、介入手順/外科的手順/診断手順の画像誘導の目的でレジストレーションされる。
実際には、術前の解剖学的と術中の解剖学的画像のレジストレーションのために任意の技術が実装され得る。図2に示されるように、段階S13の一実施形態において、CT/MR肝臓メッシュ51と超音波肝臓メッシュ61は、CT/MR肝臓メッシュ51と超音波肝臓メッシュ61の1対1のレジストレーション13(例えば剛体変換、アフィン変換又は弾性的に変形可能な変換)を容易にする同一の節点及び面を有する。フローチャート10の終了後、結果として得られる、術前の解剖学的画像(例えば図2のCR/MR画像50)及び術中の解剖学的画像(例えば図2の超音波画像60)のレジストレーションを、画像誘導型の介入手順/外科的手順/診断手順に使用することができる。
図2を参照すると、フローチャート10の例示の実施形態は、術前のセグメンテーションモデル(例えばCT/MRセグメンテーションモデル11)及び術中のセグメンテーションモデル(例えばUSセグメンテーションモデル12)を用いていた。次に、術前のセグメンテーションモデルと術中のセグメンテーションモデルの構築方法を示すために図3〜6を説明することにする。
図3を参照すると、フローチャート20は、本発明の術前のセグメンテーションモデルの構築方法を表している。
フローチャート20の段階S21は、j個(j2)の対象の一般集団(general population)全体にわたる解剖学的メッシュテンプレートの構築を含み、これにより、解剖学的メッシュテンプレートは、固定数の頂点と面の既知のベース・トポロジを有する。実際には、解剖学的メッシュテンプレートの構築のために任意の技術が実装され得る。段階S21の一実施形態では、図4に示される肝臓メッシュテンプレート40は、1つの肝臓についてj個のCT/MRセグメンテーションされる肝臓メッシュの一般対象集団の平均から構築される。肝臓メッシュテンプレート40は、固定の数の頂点及び面の既知のベース・トポロジを有し、図1に示されるようなフローチャート10のメッシュ・セグメンテーションの初期設定に使用される。
フローチャート20の段階S22は、j個の対象の一般集団全体にわたるk個(k2)の術前の解剖学的画像のデータセットからの、術前のトレーニングメッシュのデータセットの抽出を含む。実際には、術前のトレーニングメッシュのデータセットの抽出のために任意の技術が実装され得る。図4に示されるように、段階S22の一実施形態では、CT/MRトレーニングメッシュのデータセット53は、CT/MR肝臓画像のデータセット52の画像特徴(例えば表面境界)に対する肝臓メッシュテンプレート40の半自動的適合22によって抽出される。
実際には、解剖学的メッシュテンプレートの構築のためのセグメンテーションされた解剖学的メッシュ(図4には図示せず)と、術前のセグメンテーションモデルの構築のための術前の解剖学的画像のデータセット(例えば図4のCT/MR肝臓画像のデータセット52)を、同じ対象のうちの1つ以上から、あるいは2つの別個の対象のセットから生成することができる。
フローチャート20の段階S23は、術前のトレーニングメッシュのデータセット及び術前の解剖学的画像のデータセットからの、術前のセグメンテーションモデルの構築を含む。実際には、術前のセグメンテーションモデルの構築のために任意の技術が実装され得る。図4に示されるように、段階S23の一実施形態では、CT/MRセグメンテーションモデル23が、CT/MR肝臓画像のデータセット52内に示される画像特徴から、並びにCT/MRトレーニングメッシュのデータセット53の既知の頂点及び面から構築される。フローチャート20の終了後、CT/MRセグメンテーションモデル23は、図2に示されるようなCT/MRセグメンテーションモデル11として機能し得る。
図5を参照すると、フローチャート30は、本発明の術中のセグメンテーションモデルの構築方法を表す。フローチャート30の段階S31は、j個の対象の一般集団全体にわたるi個(i2)の術前の解剖学的画像のデータセットからの、術前のベースラインメッシュのデータセットの抽出を含む。実際には、術前のベースラインメッシュのデータセットの抽出のための任意の技術が実装され得る。図6に示されるように、段階S31の一実施形態では、CT/MRセグメンテーションモデル23(図4)は、肝臓メッシュテンプレート40を、CT/MRベースラインメッシュのデータセット55の抽出のために、CT/MR肝臓画像のデータセット54の画像特徴(例えば表面境界)に半自動的に適合させる。
実際には、術前のセグメンテーションモデルの構築のための術前の解剖学的データセット(例えば図4のCT/MR肝臓画像データセット52)と、術中のセグメンテーションモデルの構築のための術前の解剖学的画像データセット(例えば図6のCT/MR肝臓画像データセット54)を、同じ対象のうちの1つ以上から、あるいは2つの別個の対象のセットから生成することができる。
フローチャート30の段階S32は、j個の対象の一般集団全体にわたるl個(l2)の術中の解剖学的画像のデータセットからの、術中のトレーニングメッシュのデータセットの抽出を含む。実際には、術中のトレーニングメッシュのデータセットの抽出のための任意の技術が実装され得る。図6に示されるように、段階S32の一実施形態では、術前のベースラインメッシュのデータセット55が、任意の既知の技術(例えば手動のレジストレーション)によって超音波肝臓画像のデータセット62へ空間的に変換され、超音波トレーニングメッシュのデータセット63が、超音波肝臓画像のデータセット62の画像特徴(例えば表面境界)への術前のベースラインメッシュのデータセット55の半自動的適合32によって抽出される。
実際には、術前の解剖学的画像のデータセット(例えばCT/MR肝臓画像のデータセット54)と術中の解剖学的画像のデータセット(例えば超音波肝臓画像のデータセット62)を、同じ対象のうちの1つ以上から、あるいは2つの別個の対象のセットから生成することができる。
フローチャート30の段階S33は、術中のトレーニングメッシュのデータセットからの術中のセグメンテーションモデルの構築を含む。実際には、術中のセグメンテーションモデルの構築のための任意の技術が実装され得る。図6に示されるように、段階S33の一実施形態では、超音波セグメンテーションモデル33が、超音波肝臓画像のデータセット62内に示される画像特徴(例えば表面境界)から、並びに超音波トレーニングメッシュのデータセット63の既知の頂点及び面から構築される。フローチャート30の終了後、超音波セグメンテーションモデル33は、図2に示される超音波セグメンテーションモデル12として機能し得る。
図7を参照すると、フローチャート10(図1)、フローチャート20(図3)及びフローチャート30(図5)を実装するためのソフトウェア/ファームウェアモジュール91〜95のネットワークが図示されている。
第1に、術前メッシュ・エクストラクタ91は、フローチャート10の段階S11(図1)により含まれ、CT/MR肝臓メッシュ51の抽出(図2)で例示的に示されるような、術前の解剖学的メッシュを抽出するための技術を用いる。
第2に、術中メッシュ・エクストラクタ92は、フローチャート10の段階S12(図1)により含まれ、超音波肝臓メッシュ61の抽出(図2)で例示的に示されるような、術中の解剖学的メッシュを抽出するための技術を用いる。
第3に、メッシュ空間トランスフォーマ93は、フローチャート10の段階S13(図1)により含まれ、超音波肝臓メッシュ61へのCT/MR肝臓メッシュ51の空間変換(図2)で例示的に示されるような、術中の解剖学的メッシュへの術前の解剖学的メッシュの空間変換のための技術を用いる。
第4に、モジュール91及び92を支持して、術前モデルのコンストラクタ94は、フローチャート20(図3)により含まれ、CT/MRセグメンテーションモデル23の構築(図4)で例示的に示されるような、術前のセグメンテーションモデルを構築するための技術を用いる。
最後に、モジュール91及び92を支持して、術中モデルのコンストラクタ95は、フローチャート30(図5)により含まれ、超音波セグメンテーションモデル33の構築(図6)で例示的に示されるような、術中のセグメンテーションモデルを構築するための技術を用いる。
図7は更に、術前ワークステーション90a及び術中ワークステーション90bを用いるシステムを図示している。実際には、術前ワークステーション90a及び術中ワークステーション90bは、物理的に独立のワークステーションであってよく、あるいは単一のワークステーション内に物理的に統合される論理的なサブステーションであってもよい。
術前ワークステーション90aは構造的に、ワークステーション90a内でソフトウェア/ファームウェアとしてプログラムされ、インストールされる、術前メッシュ・エクストラクタ91を実行するためのハードウェア/回路(例えばプロセッサ、メモリ等)を用いて構成される。
術中ワークステーション90bは構造的に、ワークステーション90b内でソフトウェア/ファームウェアとしてプログラムされ、インストールされる、術中メッシュ・エクストラクタ92及びメッシュ空間トランスフォーマ93を実行するためのハードウェア/回路(例えばプロセッサ、メモリ等)を用いて構成される。
実際には、術前モデル・コンストラクタ94及び術中モデル・コンストラクタ95は、術前ワークステーション90a内で、あるいはトレーニングワークステーション(図示せず)内でソフトウェア/ファームウェアとしてプログラムされ、インストールされることがあり、トレーニングワークステーションは、物理的に独立のワークステーション又は術前ワークステーション90a内に物理的に統合される論理的なサブステーションのいずれかである。
例示的なシステムの動作において、画像誘導型の介入手順/外科的手順/診断手順の術前段階100に先立つトレーニング段階(図示せず)の間に、CT/MRセグメンテーションモデル11(図4)及び超音波セグメンテーションモデル12(図6)が、それぞれモジュール94及び95によって構築される。実際には、セグメンテーションモデル11及び12の構築は、多くの画像誘導型の介入手順/外科的手順/診断手順について一度に起り得る。
図7に示されるように、画像誘導型の介入手順/外科的手順/診断手順の術前段階100の間に、対象者70の肝臓71がCT/MRIスキャナ80によりスキャンされて、これにより、術前メッシュ・エクストラクタ91は、固定数の頂点及び面の既知のベース・トポロジを有する肝臓メッシュテンプレート40に基づいて、CT/MR肝臓画像50からCT/MR肝臓メッシュ51を抽出する。
図7に示されるように、画像誘導型の介入手順/外科的手順/診断手順の術中段階101の間に、対象者70の肝臓71が超音波プローブ81により撮像されて、これにより、術中メッシュ・エクストラクタ92は、肝臓メッシュテンプレート40のベース・トポロジと同一の固定数の頂点及び面の既知のトポロジを有するCT/MR肝臓メッシュ51に基づいて、超音波肝臓画像60から超音波画像メッシュ61を抽出する。超音波肝臓メッシュ61は、肝臓メッシュテンプレート40のベース・トポロジと同一の固定数の頂点及び面の既知のトポロジを有し、これにより、メッシュ空間トランスフォーマ93は、超音波肝臓画像60にCT/MR肝臓画像50をレジストレーションする目的のために、CT/MR肝臓メッシュ51を超音波肝臓メッシュ61へ空間的に変換する。
図1〜図7を参照して、当業者は、本発明の様々な利点を十分に理解するであろう。そのような利点は、これには限られないが、画像誘導型の介入手順/外科的手順/診断手順の術前段階の貴重な時間を節約し、術前及び術中の解剖学的画像を整列させる人的要因及び主観性を低減させることにより、画像誘導型の介入手順/外科的手順/診断手順のための全体的なワークフローを改善する、メッシュ・セグメンテーション及びメッシュ・レジストレーションを含む。
本発明の様々な実施形態を例示し、説明してきたが、本明細書において説明される本発明の実施形態は例示であり、本発明の真の範囲から逸脱することなく、様々な変更及び修正を行ってもよく、均等物をその要素と置き換えてもよいことが当業者には理解されよう。加えて、その中心となる範囲から逸脱することなく、本発明の教示を適応させる多くの修正が行われてもよい。したがって、本発明は、本発明を実施するためのベストモードとして考えられる特定の実施形態に限定されないものとして意図されており、むしろ、本発明は、添付の特許請求の範囲内にある全ての実施形態を含むように意図される。

Claims (20)

  1. メッシュ・セグメンテーション及びメッシュ・レジストレーションのためのシステムであって、当該システムは:
    解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前ワークステーションと;
    術中ワークステーションと;
    を備え、
    前記術中ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成され、
    前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように更に動作的に構成される、
    システム。
  2. 前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
    請求項1に記載のシステム。
  3. 前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
    請求項1に記載のシステム。
  4. 前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
    前記術前ワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
    請求項1に記載のシステム。
  5. 前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、トレーニングワークステーションを更に備え、
    前記術中ワークステーションは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
    請求項1に記載のシステム。
  6. 前記トレーニングワークステーションは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
    請求項5に記載のシステム。
  7. 前記術中ワークステーションによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
    請求項1に記載のシステム。
  8. メッシュ・セグメンテーション及びレジストレーションのためのモジュールネットワークであって、当該モジュールネットワークは:
    解剖学的メッシュテンプレートのベース・トポロジに基づいて、術前の解剖学的画像から術前の解剖学的メッシュを抽出するように動作的に構成される、術前メッシュ・エクストラクタと;
    前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づいて、術中の解剖学的画像から術中の解剖学的メッシュを抽出するように動作的に構成される、術中メッシュ・エクストラクタと;
    前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づいて、前記術前の解剖学的画像及び前記術中の解剖学的画像をレジストレーションするように動作的に構成される、メッシュ空間トランスフォーマと;
    を備える、モジュールネットワーク。
  9. 前記術前の解剖学的画像及び前記術中の解剖学的画像の双方が、同一の画像モダリティから生成される、
    請求項8に記載のモジュールネットワーク。
  10. 前記術前の解剖学的画像及び前記術中の解剖学的画像は、異なる画像モダリティから生成される、
    請求項8に記載のモジュールネットワーク。
  11. 前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの術前のトレーニングメッシュのデータセットの抽出により、術前のセグメンテーションモデルを構築するように動作的に構成される、術前モデル・コンストラクタを更に備え、
    前記術前メッシュ・エクストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて前記術前の解剖学的画像から前記術前の解剖学的メッシュを抽出するよう前記術前のセグメンテーションモデルを含む、
    請求項8に記載のモジュールネットワーク。
  12. 前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出により、術中のセグメンテーションモデルを構築するように動作的に構成される、術中モデル・コンストラクタを更に備え、
    前記術中メッシュ・エクストラクタは、前記術前の解剖学的メッシュの前記術前トポロジに基づいて前記術中の解剖学的画像から前記術中の解剖学的メッシュを抽出するよう前記術中のセグメンテーションモデルを含む、
    請求項8に記載のモジュールネットワーク。
  13. 前記術中モデル・コンストラクタは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づいて術前の解剖学的画像のデータセットから、前記術前のべースラインメッシュのデータセットを抽出するように更に動作可能である、
    請求項12に記載のモジュールネットワーク。
  14. 前記術前メッシュ・エクストラクタは、術前ワークステーション上に動作可能にインストールされ、
    前記術中メッシュ・エクストラクタ及び前記メッシュ空間トランスフォーマは、術中ワークステーション上に動作可能にインストールされる、
    請求項8に記載のモジュールネットワーク。
  15. 前記メッシュ空間トランスフォーマによる前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
    請求項8に記載のモジュールネットワーク。
  16. メッシュ・セグメンテーション及びレジストレーションのための方法であって、当該方法は:
    解剖学的メッシュテンプレートのベース・トポロジに基づく、解剖学的領域の術前の解剖学的画像からの術前の解剖学的メッシュの抽出と;
    前記解剖学的メッシュテンプレートの前記ベース・トポロジから導出される前記術前の解剖学的メッシュの術前トポロジに基づく、術中の解剖学的画像からの術中の解剖学的メッシュの抽出と;
    前記術前の解剖学的メッシュの前記術前トポロジから導出される前記術中の解剖学的メッシュの術中トポロジによって確立される、前記術前の解剖学的メッシュと前記術中の解剖学的メッシュとの間のマッピング対応に基づく、前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションと;
    を備える、方法。
  17. 前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出を含む、術前のセグメンテーションモデルの構築を更に備え、
    前記術前のセグメンテーションモデルは、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく前記術前の解剖学的画像からの前記術前の解剖学的メッシュの抽出を実施する、
    請求項16に記載の方法。
  18. 前記術前のベースラインメッシュのデータセットの前記術前トポロジに基づく、術中の解剖学的画像のデータセットからの術中のトレーニングメッシュのデータセットの抽出を含む、術中のセグメンテーションモデルの構築を更に備え、
    前記術中のセグメンテーションモデルは、前記術前の解剖学的メッシュの前記術前トポロジに基づく前記術中の解剖学的画像からの前記術中の解剖学的メッシュの抽出を実施する、
    請求項16に記載の方法。
  19. 前記術中のセグメンテーションモデルの構築は、前記解剖学的メッシュテンプレートの前記ベース・トポロジに基づく、術前の解剖学的画像のデータセットからの前記術前のべースラインメッシュのデータセットの抽出を更に含む、
    請求項18に記載の方法。
  20. 前記術前の解剖学的画像及び前記術中の解剖学的画像のレジストレーションは、前記術中の解剖学的メッシュへの前記術前の解剖学的メッシュの空間変換を含む、
    請求項16に記載の方法。
JP2016512465A 2013-05-09 2014-05-08 メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム Active JP6211682B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361821279P 2013-05-09 2013-05-09
US61/821,279 2013-05-09
PCT/IB2014/061288 WO2014181278A1 (en) 2013-05-09 2014-05-08 Method and system for mesh segmentation and mesh registration

Publications (3)

Publication Number Publication Date
JP2016517759A true JP2016517759A (ja) 2016-06-20
JP2016517759A5 JP2016517759A5 (ja) 2017-07-13
JP6211682B2 JP6211682B2 (ja) 2017-10-11

Family

ID=50884435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016512465A Active JP6211682B2 (ja) 2013-05-09 2014-05-08 メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム

Country Status (5)

Country Link
US (1) US9761005B2 (ja)
EP (1) EP2994881A1 (ja)
JP (1) JP6211682B2 (ja)
CN (1) CN105190692B (ja)
WO (1) WO2014181278A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019528971A (ja) * 2016-09-29 2019-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 隠蔽形状再構成および堅牢な点マッチングを介したcbctからmrへの位置合わせ

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160038252A1 (en) 2011-02-17 2016-02-11 The Trustees Of Dartmouth College Systems And Methods for Guiding Tissue Resection
CN105190692B (zh) 2013-05-09 2019-04-16 皇家飞利浦有限公司 用于网格分割和网格配准的方法和系统
EP3242602B1 (en) * 2015-01-06 2019-08-07 Koninklijke Philips N.V. Ultrasound imaging apparatus and method for segmenting anatomical objects
EP3307192B1 (en) * 2015-06-12 2022-04-13 The Trustees of Dartmouth College Methods for manufacturing a locator form for guiding tissue resection
FR3037785B1 (fr) * 2015-06-26 2017-08-18 Therenva Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
CN107835661B (zh) * 2015-08-05 2021-03-23 深圳迈瑞生物医疗电子股份有限公司 超声图像处理系统和方法及其装置、超声诊断装置
JP6392190B2 (ja) * 2015-08-31 2018-09-19 富士フイルム株式会社 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US9934570B2 (en) * 2015-10-09 2018-04-03 Insightec, Ltd. Systems and methods for registering images obtained using various imaging modalities and verifying image registration
CN106022269B (zh) * 2016-05-23 2019-04-16 中国科学院长春光学精密机械与物理研究所 一种人脸配准方法及装置
US10402969B2 (en) * 2017-03-10 2019-09-03 General Electric Company Methods and systems for model driven multi-modal medical imaging
WO2018223295A1 (en) * 2017-06-06 2018-12-13 Midea Group Co., Ltd. Coarse-to-fine hand detection method using deep neural network
CN109063712B (zh) * 2018-06-22 2021-10-15 哈尔滨工业大学 一种基于超声图像的多模型肝脏弥漫性疾病智能诊断方法
US20200051257A1 (en) * 2018-08-08 2020-02-13 Siemens Medical Solutions Usa, Inc. Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging
EP3863512A1 (en) * 2018-10-09 2021-08-18 Koninklijke Philips N.V. Automatic eeg sensor registration
WO2020129034A1 (en) * 2018-12-19 2020-06-25 INDIAN INSTITUTE OF TECHNOLOGY MADRAS (IIT Madras) Robotic surgery systems and surgical guidance methods thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1914683A2 (en) * 2006-06-23 2008-04-23 Julian Mattes Quantification and visualization of the motion and deformation of one or several objects inside a living entity
US20080123927A1 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US20120089377A1 (en) * 2009-06-18 2012-04-12 Koninklijke Philips Electronics N.V. Imaging procedure planning
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images
WO2013056082A1 (en) * 2011-10-12 2013-04-18 The Johns Hopkins University Methods for evaluating regional cardiac function and dyssynchrony from a dynamic imaging modality using endocardial motion
US8942455B2 (en) * 2011-08-30 2015-01-27 Siemens Aktiengesellschaft 2D/3D image registration method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862596A (zh) * 2005-04-19 2006-11-15 西门子共同研究公司 针对心脏展开的所融合的pet-ct可视化的系统和方法
US20090324041A1 (en) * 2008-01-23 2009-12-31 Eigen, Llc Apparatus for real-time 3d biopsy
CN105190692B (zh) 2013-05-09 2019-04-16 皇家飞利浦有限公司 用于网格分割和网格配准的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1914683A2 (en) * 2006-06-23 2008-04-23 Julian Mattes Quantification and visualization of the motion and deformation of one or several objects inside a living entity
US20080123927A1 (en) * 2006-11-16 2008-05-29 Vanderbilt University Apparatus and methods of compensating for organ deformation, registration of internal structures to images, and applications of same
US20120089377A1 (en) * 2009-06-18 2012-04-12 Koninklijke Philips Electronics N.V. Imaging procedure planning
US20120155734A1 (en) * 2009-08-07 2012-06-21 Ucl Business Plc Apparatus and method for registering two medical images
US8942455B2 (en) * 2011-08-30 2015-01-27 Siemens Aktiengesellschaft 2D/3D image registration method
WO2013056082A1 (en) * 2011-10-12 2013-04-18 The Johns Hopkins University Methods for evaluating regional cardiac function and dyssynchrony from a dynamic imaging modality using endocardial motion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019528971A (ja) * 2016-09-29 2019-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 隠蔽形状再構成および堅牢な点マッチングを介したcbctからmrへの位置合わせ
JP7177770B2 (ja) 2016-09-29 2022-11-24 コーニンクレッカ フィリップス エヌ ヴェ 隠蔽形状再構成および堅牢な点マッチングを介したcbctからmrへの位置合わせ

Also Published As

Publication number Publication date
JP6211682B2 (ja) 2017-10-11
CN105190692A (zh) 2015-12-23
WO2014181278A1 (en) 2014-11-13
CN105190692B (zh) 2019-04-16
US20160078633A1 (en) 2016-03-17
US9761005B2 (en) 2017-09-12
EP2994881A1 (en) 2016-03-16

Similar Documents

Publication Publication Date Title
JP6211682B2 (ja) メッシュ・セグメンテーション及びメッシュ・レジストレーションのための方法及びシステム
Ferrante et al. Slice-to-volume medical image registration: A survey
Haouchine et al. Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery
JP2016536035A (ja) 変形可能レジストレーションのためのシステム及びモジュラーネットワーク
US10290076B2 (en) System and method for automated initialization and registration of navigation system
US8326086B2 (en) Elastic image registration
Pratt et al. Dynamic guidance for robotic surgery using image-constrained biomechanical models
US20120087563A1 (en) Method and System for Intraoperative Guidance Using Physiological Image Fusion
US11547388B2 (en) Correcting probe induced deformation in an ultrasound fusing imaging system
US9977982B2 (en) Medical image processing method and image processing system
Baiker et al. Automated registration of whole-body follow-up MicroCT data of mice
Huang et al. Rapid dynamic image registration of the beating heart for diagnosis and surgical navigation
Xing et al. 3D tongue motion from tagged and cine MR images
CN108430376B (zh) 提供投影数据集
Bersvendsen et al. Robust spatio-temporal registration of 4D cardiac ultrasound sequences
JP2023026400A (ja) 画像レジストレーションを実行するコンピュータ実装方法、システム、および、プログラム(医用画像の可変レジストレーション)
Gao et al. Rapid image registration of three-dimensional transesophageal echocardiography and X-ray fluoroscopy for the guidance of cardiac interventions
Housden et al. Three-modality registration for guidance of minimally invasive cardiac interventions
Tadayyon et al. Target motion compensation in MRI-guided prostate biopsy with static images
Wang et al. A pulmonary deformation registration framework for biplane x-ray and ct using sparse motion composition
Dangi et al. Endocardial left ventricle feature tracking and reconstruction from tri-plane trans-esophageal echocardiography data
Ferrant et al. Surface based atlas matching of the brain using deformable surfaces and volumetric finite elements
Duan et al. Augmenting CT cardiac roadmaps with segmented streaming ultrasound
Mitra Multimodal image registration applied to magnetic resonance and ultrasound prostatic images
Li et al. Generation of synthetic 4D cardiac CT images by deformation from cardiac ultrasound

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170531

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170801

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170913

R150 Certificate of patent or registration of utility model

Ref document number: 6211682

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250