JP2007054636A - イメージの対を位置合わせする方法およびコンピュータによって実行される命令からなるプログラムを具現化して該方法を実施するプログラム記憶装置 - Google Patents
イメージの対を位置合わせする方法およびコンピュータによって実行される命令からなるプログラムを具現化して該方法を実施するプログラム記憶装置 Download PDFInfo
- Publication number
- JP2007054636A JP2007054636A JP2006228298A JP2006228298A JP2007054636A JP 2007054636 A JP2007054636 A JP 2007054636A JP 2006228298 A JP2006228298 A JP 2006228298A JP 2006228298 A JP2006228298 A JP 2006228298A JP 2007054636 A JP2007054636 A JP 2007054636A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- similarity measure
- pair
- pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000011524 similarity measure Methods 0.000 claims description 50
- 235000019557 luminance Nutrition 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 36
- 238000013519 translation Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000005457 optimization Methods 0.000 claims description 8
- 238000009827 uniform distribution Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013459 approach Methods 0.000 description 15
- 238000002591 computed tomography Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000002603 single-photon emission computed tomography Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000001502 gel electrophoresis Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 108010088880 plasmagel Proteins 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000010377 protein imaging Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Nuclear Medicine (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像の対を位置合わせする方法と、プログラムを具現化してこの方法を実施するプログラム記憶装置とを提供して、例えばマルチモダリティで得られた3次元医用画像を精確にレジストレーションすること。
【解決手段】画像の対を位置合わせする方法において、第1画像および第2画像を有する画像の対を用意し、ここで該画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、前記の第1画像および第2画像の両方にて顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、各領域の中心点によって特徴領域を表し、局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、前記特徴対を類似性の尺度で順序付け、前記の中心点をサブピクセル精度に改善することによって特徴対の結合形対応付け集合を最適化する。
【選択図】図6
【解決手段】画像の対を位置合わせする方法において、第1画像および第2画像を有する画像の対を用意し、ここで該画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、前記の第1画像および第2画像の両方にて顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、各領域の中心点によって特徴領域を表し、局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、前記特徴対を類似性の尺度で順序付け、前記の中心点をサブピクセル精度に改善することによって特徴対の結合形対応付け集合を最適化する。
【選択図】図6
Description
本発明は、3Dデジタル医用画像用のレジストレーション法に関するものであり、殊に画像の対を位置合わせする方法およびコンピュータによって実行可能な命令からなるプログラムを具現化してこの方法を実施するプログラム記憶装置に関する。また本発明は、2005年8月24日に提出されたXu等による"Method and System for Robust Salient Region Based Registration of 3D Medical Images"という名称の米国暫定特許第60/710,834号に優先権を主張するものであり、その内容をここに文献として援用する。
医用画像処理においてレジストレーションは、2つ以上の画像の空間的な位置の間のマッピングを得る基本的な作業になっており、またさまざまな応用に使用可能である。位置合わせ変換(alignment transformation)に対する主要な要求は、対応する画像内容を最適に重ね合わせることである。既存のレジストレーションアプローチは、特徴ベースト(例えばランドマーク、エッジ、マーカ)、輝度ベースト、またこれらの2つの手法の様相が組み合わせられたハイブリッドな手法に分類することができる。ランドマークベーストの手法は、特徴から離れた領域においてうまく位置合わせができないことがある。画像の輝度だけに基づくアプローチは、最適化処理の性質に起因して、理想解からかけ離れた局所的な最適解に陥ってしまうことがある。ハイブリッド法は、これらの複数の特性の組み合わせを使用しており、また画像輝度または幾何学的な情報だけでは測定に対する精確なベースが得られない、異なるモダリティからの画像をレジストレーションするのには殊に有利となり得る。例えば、領域ラベル付け情報(region labeling information)からなる付加的な情報チャネルと対になった相互情報量により、MRおよびPET画像のレジストレーション結果を改善することができる。ハイブリッドレジストレーション法は、例えば、コントラストの低い腹部、血漿ゲル電気泳動またはプロテインイメージングなどにおいて既知である。別の応用分野は、例えば、画像または対象体分析に有利な標準データベース(normative database)またはアトラスの作成、医師が疾患の発達についての知識を得られるようにする1患者におけるまたは患者間の検討、またはガン治療中の時間ベースのフォローアップによる検討などである。
同じ被験体に対して異なる画像システムを使用することによって、より一層多くの情報が得られるが、その一方で適切な解釈のためにマルチモダリティのレジストレーション法が必要になる。補助情報の追加は、さまざまな医用イメージングシステムによって行われ、これらはおおまかには2つの主要なカテゴリに分類される。すなわち、形態学的な情報を抽出する解剖学的イメージング(例えば、X線、コンピュータトモグラフィ(CT)、磁気共鳴イメージング(MRI)、超音波(US))と、下部の解剖学的構造の代謝についての情報を視覚化する機能的イメージング(例えば、単光子放射型コンピュータ断層撮影法(SPECT Single Photon Emission Computed Tomography)、陽電子放射断層撮影(PET Positron Emission Tomography)、機能的MRI(fMRI))とがある。マルチモーダル画像レジストレーションにおいて、異なるタイプの画像を組み合わせることは医師にとって有利である。例えば、CT画像によって良好な空間解像度が得られるのに対して、PET画像によって下部組織の機能が示されるのである。したがってCT画像における機能的な情報の欠如は、空間解像度が欠如している対応するPET画像との融合によって補償することができるのである。
本発明の課題は、画像の対を位置合わせする方法と、コンピュータによって実行可能な命令からなるプログラムを具現化してこの方法を実施するプログラム記憶装置とを提供して、例えばマルチモダリティで得られた3次元医用画像を精確にレジストレーションすることである。
上記の画像対を位置合わせする方法についての課題は、本発明の請求項1により、画像の対を位置合わせする方法において、第1画像および第2画像を有する画像の対を用意し、ここでこれらの画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、上記の第1画像および第2画像の両方にて顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、各領域の中心点によって特徴領域を表し、局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、上記の特徴対を類似性の尺度で順序付け、上記の中心点をサブピクセル精度に改善することによって特徴対の結合形対応付け集合を最適化することによって解決される。
また上記の画像対を位置合わせする方法についての課題は、本発明の請求項13により、画像の対を位置合わせする方法において、第1画像および第2画像を有する画像の対を用意し、ここでこれらの画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、上記の第1画像および第2画像の両方において顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、第1画像と第2画像との間でICP(Iterative Closest Point)プロシージャを使用して初期レジストレーションを推定し、第2画像のすべての特徴を第1画像の座標空間に変換し、変換された特徴をkDツリーに格納し、第1画像の特徴毎にこのツリーを調べて、あらかじめ定めた選択判定条件に基づいて第2画像における最隣接特徴(nearest neighbor feature)を選択し、第1画像および第2画像の特徴からなるこれらの選択した特徴対の並進不変性、回転不変性および大域的な画像類似性尺度をテストし、これらの選択した特徴を、その大域的な画像類似性尺度値によって順序付けることを特徴とする、画像の対を位置合わせする方法によって解決される。
上記のコンピュータによって実行可能な命令からなるプログラムを具現化して上記の方法を実施するプログラム記憶装置についての課題は、本発明の請求項16により、コンピュータによって実行可能な命令からなるプログラムを具現化し、画像の対を位置合わせする方法ステップを実施する、コンピュータによって読み出し可能なプログラム記憶装置において、上記の方法では、第1画像および第2画像を有する画像の対を用意し、ここでこれらの画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、上記の第1画像および第2画像の両方において顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、各領域の中心点によって特徴領域を表し、局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、上記の特徴対を類似性の尺度で順序付け、上記の中心点をサブピクセル精度に改善することによって特徴対の結合形対応付け集合を最適化することを特徴とする、コンピュータによって読み出し可能なプログラム記憶装置によって解決される。
ここで説明する本発明の実施例に一般的に含まれるのは、レジストレーションアプローチに対する方法およびシステムであり、このレジストレーションアプローチにより、2つの画像から3D領域が自動的に抽出され、これらの2つ画像の間で対応する対が探し出され、また剛体レジストレーション変換が行われて医用アプリケーションにおいて融合された結果が視覚化される。これらの本来の特徴のスケール、並進および回転について不変的な特性は3D用に適合されて、これによって下位の単一モダリティまたはマルチモダリティ3D医用画像間の変換が推定される。本発明の実施形態による方法により、機能ベースおよび輝度ベースの両方のアプローチの有利な側面が組み合わされ、また各画像において3D顕著領域特徴(3Dsalient region feature)の1集合が自動的に抽出され、対応付け集合(corresponence set)が推定され、アウトライアの除去を含めたサブピクセル精度の改善が行われる。ここでは領域成長ベースのアプローチ(region-growing based approach)が使用されて3D顕著領域特徴が抽出され、これにより、特徴のクラスタリングおよび相応する探索空間の複雑さが低減されるのである。
本発明の1実施形態によるアルゴリズムにより、kDツリー構造を活用することによって顕著領域が高速にクラスタリングされ、また3D顕著特徴領域(3Dsalient feature region)の局所輝度ドリブンなレジストレーションが使用されて最適化が改善される。本発明の1実施形態による付加的な機能に含まれるのは、顕著領域の2つの対の重心にICP(iterative closest point)アルゴリズムを使用して初期ポーズの推定を行うこと、および局所的な輝度ベースのレジストレーションを使用して重心を局所的に改善してサブピクセル精度を得ることである。
本発明の1実施形態によるアルゴリズムは、全自動、ロバストかつマルチモダリティ剛体画像レジストレーションアルゴリズムであり、これは3D画像を任意のポーズでレジストレーションすることができる。画像は、スケール不変のさまざまな3D特徴によってモデリングされ、幾何学的な構成上の制約を受ける。ここでは同じ画像における特徴の間での相対的な構成上の制約がフルに活用されて、複数の3D顕著特徴対の間の結合形対応付け(joint correspondence)が求められる。個々の特徴対の間の対応付けに比べ、結合形対応付けによって課せられる厳格な幾何学上の制約により、誤ったマッチングが格段に発生しにくくなる。結合形対応付け集合から推定される変換は、大域的な最適値に収束する。それは、新たな対を加えても大域的な画像位置合わせ品質をさらに改善することできないようになるまで、結合形対応付けがインクリメント式に加算されるからである。これは適切な収束判定条件によって達成される。
本発明の1様相によれば、画像の対を位置合わせする方法が提供され、この方法では、第1画像および第2画像を有する画像の対を用意し、ここでこれらの画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれている。また第1画像および第2画像の両方において顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられている。さらに各領域の中心点によって特徴領域を表し、局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、この特徴対を類似性の尺度で順序付け、上記の中心点をサブピクセル精度に改善することによって上記の特徴対の結合形対応付け集合を最適化する。
本発明の別の実施形態によれば、上記の方法において一方の画像に対する顕著特徴領域中心点をkDツリーで表し、特徴毎にこのkDツリーを調べて最隣接特徴(nearest neighbor feature)の集合を探し、上記のツリーから、顕著性値がより低くまた各特徴のスケール内に中心点を有する最隣接特徴を取り除き、これによって上記の画像において顕著特徴領域の実質的な均一な分布を得る。
本発明のさらに別の1実施形態によれば、上記の空間スケールは、上記の特徴領域を含む球の半径である。
本発明のさらに別の1実施形態によれば、上記のkDツリーは、上記の顕著特徴領域中心点の画像ピクセルインデックスをリーフとして使用し、ここで特徴領域と、最隣接特徴領域との距離は、画像インデックスユニットで表される。
本発明のさらに別の1実施形態によれば、局所的な輝度に基づく特徴点のレジストレーションではさらに、上記の第1画像と第2画像との間のICP変換を使用して初期レジストレーションを推定し、第2画像のすべての特徴を第1画像の座標空間に変換し、変換したこれらの特徴をkDツリーに格納し、上記の第1画像において特徴毎にこのツリーを調べ、あらかじめ定めた選択判定基準に基づいて第2画像において最隣接特徴を選択し、第1画像および第2画像の特徴からなるこの選択された特徴対の並進不変性、回転不変性、および大域的な画像類似性尺度をテストして、この選択された特徴対を大域的な画像類似性尺度値にしたがって順序付ける。
本発明のさらに別の1実施形態によれば、上記のICP変換により、特徴点からなる各集合間の平均誤差が最小化される。
本発明のさらに別の1実施形態によれば、上記の並進不変性のテストには、
を推定することが含まれ、ここでpiおよびpjは、物理空間におけるi番目の第1画像特徴およびj番目の第2画像特徴の中心座標である。
を推定することが含まれ、ここでpiおよびpjは、物理空間におけるi番目の第1画像特徴およびj番目の第2画像特徴の中心座標である。
本発明の別の1実施形態によれば、上記の回転不変性のテストには
を推定することが含まれ、ここで(fi,fj)はそれぞれ上記の第1画像および第2画像における特徴対を表しており、また
であり、ここでHは、
と定められる、空間スケールsを有するボクセル位置xの周りの球状隣接特徴領域(spherical neighborhood feature region)fs内の、画像輝度値を基準にしたエントロピーを表し、ただしp(i,s,x)は、fに含まれる画像輝度値iに対する確率密度関数であり、H(fi,fj)は、
と定められる同時微分エントロピー(joint differential entropy)であり、ここでp(fi,fj)は、特徴領域fiおよびfjにおける画像輝度の同時確率密度(joint probability density)であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合において値をとる。
本発明の別の1実施形態によれば、上記の大域的な画像類似性尺度のテストには、
を推定することが含まれ、ここでIrは第1画像を表し、
は、第1画像の座標空間への第2画像の変換を表し、また
であり、ここでHは、
と定められる、空間スケールsを有するボクセル位置xの周りの、前記の画像のうちの1画像内の画像輝度値を基準にしたエントロピーを表し、ただしp(i,s,x)は、Iに含まれる画像輝度値iに対する確率密度関数であり、
は
と定められる同時微分エントロピーであり、ここで
は、Irおよび
における画像輝度の同時確率密度であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合において値をとり、これによってLglobalが、第1画像および第2画像の重なりドメイン全体で評価される。
は、第1画像の座標空間への第2画像の変換を表し、また
は
は、Irおよび
における画像輝度の同時確率密度であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合において値をとり、これによってLglobalが、第1画像および第2画像の重なりドメイン全体で評価される。
本発明のさらに別の1実施形態によれば、特徴対の結合形対応付け集合の最適化ではさらに、上記の類似性尺度にしたがい、最も類似している特徴対によって上記の結合形対応付け集合を初期化し、結合形対応付け集合と、この結合形対応付け集合にまだ含まれていない各特徴対との和集合に対して類似性尺度を推定し、この和集合の類似性尺度を最大にする特徴対を選択して、最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、この結合形対応付け集合の類似性尺度よりも大きい場合、上記の最大値を与える特徴対を、局所剛体変換(local rigid tranformation)によってサブピクセル精度でレジストレーションして、上記の結合形対応付け集合に加える。
本発明のさらに別の1実施形態によれば、ICPプロシージャを使用することによって上記の類似性尺度を最大化して、特徴対間のレジストレーション変換を計算する。
本発明のさらに別の1実施形態によれば、最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、この結合形対応付け集合の類似性尺度以下である場合、類似性尺度を最大にする特徴対間のレジストレーション変換から計算したレジストレーション変換を供給する。
本発明の別の様相によれば、コンピュータに読み取り可能なプログラム記憶装置が提供され、ここでこのプログラム記憶装置は、コンピュータによって実行される命令のプログラムを具現化して上記の画像の対を位置合わせする方法の処理ステップを実施するものである。
ここで示す本発明の実施例に一般的に含まれるのは、スケール、回転および並進に対して不変である自動抽出した3D顕著領域特徴を構成的にマッチングする方法およびシステムである。したがって本発明にはさまざまな変形および択一的な形態が可能であるが、図面ではその特定の実施形態を例示して以下に詳しく説明する。しかしながら、本発明をここで示す特定の形態に制限する意図はなく、逆に本発明の精神および範囲内に入るすべての変形形態、同等の形態および択一的な形態が本発明に含まれることを理解されたい。
ここで使用される「画像」という語は、離散的な画像要素(例えば、2D画像に対するピクセル、3D画像に対するボクセル)からなる多次元データのことである。画像は、例えば、コンピュータトモグラフィ、磁気共鳴イメージング、超音波または当業者には公知の他の任意の医用イメージングシステムによって収集した被験体の医用画像とすることが可能である。画像は、医用でないコンテキスト、例えばリモートセンシングシステム、電子顕微鏡などから得ることも可能である。画像はR3からRへの関数と考えることができるが、本発明の方法は、このような画像には限定されず、任意の次元の画像、例えば、2Dの像または3Dのボリュームに適用可能である。2次元または3次元の画像に対して、画像の領域はふつう2次元または3次元の矩形のアレイであり、各ピクセルまたはボクセルは、2つまたは3つの互いに垂直な軸の組を基準にしてアドレッシングすることができる。ここで使用する「デジタル」または「デジタイズされた」という語は、デジタル収集システムを介してまたはアナログ画像から変換を介して収集されたデジタルまたはデジタイズされた形式の画像またはボリュームのことを適宜表すこととする。
本発明の1実施形態によれば、顕著性の記述が使用されて、3D画像から特徴が自動的に抽出される。本発明の1実施形態による3Dレジストレーションアルゴリズムを要約するフローチャートが図6に示されている。これらのステップの詳細を以下に詳述する。図を参照すると、ステップ60において球状領域を形成することによって3D顕著領域特徴が検出される。結果的に得られる各顕著領域特徴はつぎの特性を有する。すなわち、(1)領域の中心、(2)領域のスケール(半径)、および(3)領域の顕著性値である。
画像空間にわたって顕著領域特徴が均一に分布することは、ステップ61において、一方の集合の特徴領域中心点をkDツリー構造に格納することによって達成される。これによって空間位置について高速に調べることができる。ステップ62において、特徴毎にこのツリーを調べて最隣接特徴を探す。領域はそのスケール(半径)によって表されるため、顕著性がより低くかつ中心点がカレント特徴のスケール内にある特徴は、ステップ63で除去される。結果的に得られる、クラスタリングされた顕著特徴の部分集合は、全体集合から取り除かれる。より大きな顕著性値を有し、顕著領域特徴のスケール内に含まれる顕著領域特徴はない。このアプローチによって、大きな顕著性値、すなわち局所的に最大の顕著性値を有し、画像領域に発生し得る顕著領域特徴をクラスタリングすることが回避される。したがってこれらの特徴に基づく後続の画像レジストレーションには偏りが発生して誤った解が得られる可能性がある。
回転不変性に対するパラメタは、3D顕著特徴領域の局所的な輝度ドリブンなレジストレーションによって推定される。局所変換のパラメタ探索空間は、回転パラメタに制限される。各組み合わせをテストすることによって相関していない2つの集合に含まれている顕著領域特徴間で対応付けを探すと、計算が極めて繁雑になる。2つの3D顕著領域特徴集合の場合、これらの特徴は、ステップ64において中心点に還元(reduce)される。ステップ65において結果的に得られる2つのポイントクラウド(point cloud)は、これらの集合間の平均二乗誤差を最小化するICPアルゴリズムによってレジストレーションされる。結果的得られた変換がステップ66で使用されて、位置合わせ画像特徴集合(align image feature set)が基準画像の空間にマッピングされる。変換された位置合わせ特徴はステップ67でkDツリー構造に格納され、これによって基準画像顕著領域特徴を基準にして、変換され最も近いN個の位置合わせ特徴を高速に調べることができる。初期のICP変換によって、点集合間にロバストなマッピングが得られるとの前提に基づくと、仮定した対応付けに対するテストは、位置合わせ画像顕著特徴領域からなる全体集合の代わりに、基準特徴毎のN個の隣接に低減することができるのである。
顕著特徴領域の対応付け間でより一層高い精度を得るため、ステップ68において特徴中心は、顕著特徴領域間の局所的な輝度ドリブンのレジストレーションによって位置合わせされる。この場合、期待値を最大化する最適化処理に対するパラメタ探索空間には、並進、回転およびスケールに対するパラメタが含まれる。
顕著領域特徴の基本な考え方は、所定のスケールについて信号の複雑性または局所的な予測不可能性が高いことを表すことあり、ここでスケールとはボクセルの周りの球状の領域の半径のことである。このアプローチにより、スケールの異なる円形領域に対し、シャノンのエントロピーに基づいて関心点が区別される。またこのアプローチでは、対応するが異なる解剖学的または機能的構造から得られるボクセルが、類似の顕著性値を有することが前提とされる。顕著性の記述の局所的な性質により、画像レジストレーションにとって大きな利点が得られる。すなわち、異なる画像間の対応する顕著領域特徴は、画像がオーバラップしない場合であっても全体的な空間変換に対して不変なのである。
SPECTおよびPET画像の観察によって示されるのは、相応するCT画像と比較すると、局所顕著性最大値の位置が、対応する関心構造内で局所的に並進し得ることである。これは局所剛体レジストレーション(local rigid registration)ステップによって扱うことができ、ここでこのステップには、画像内容を変形することなく、局所的な輝度相関に基づき、領域中心をサブピクセル精度で相応する位置に並進することが含まれる。このステップでは、前に述べたように、相応する特徴に対して顕著性値が類似しているといの基本的な前提が保持される。
顕著性は、画像輝度範囲Dに対してつぎのように定められる。すなわち、
AD(sp,x) = HD(sp,x)・WD(sp,x)
であり、ここでHDは、スケール(半径)sを有するボクセル位置xの周りで球状隣接領域RS内の画像輝度値i∈Dを基準にしたエントロピーを示し、
である。ここでp(i,s,x)は、RSに含まれる画像輝度値に対する記述子iの確率密度関数(PDF probability density function)である。WD(s,x)は、スケールについてのPDF間の類似性の尺度である。これは、PDFの非類似性が増すのに伴って増大する。すなわち、
である。
AD(sp,x) = HD(sp,x)・WD(sp,x)
であり、ここでHDは、スケール(半径)sを有するボクセル位置xの周りで球状隣接領域RS内の画像輝度値i∈Dを基準にしたエントロピーを示し、
xにおけるHDの局所的なピークになるスケールspは、
によって得られる。
ボクセル毎に式(1)を解いた後、結果的に得られるのは、分析すべき入力画像と同じサイズの2つの一時画像である。すなわち、実際の顕著性値を含む画像と、式(2)から得られたスケール値を含む別の画像とが得られるのである。局所的に最適でありかつ最も記述的な顕著領域点は、領域成長サーチアプローチ(region-growing search approach)によって顕著性画像から抽出される。探索空間を低減するため、大域的顕著性閾値δを下限として使用する。本発明の1実施形態によれば、経験的に平均顕著性の半分に設定する、すなわち
によって良好な結果が得られて重要でない領域を消去された。
によって良好な結果が得られて重要でない領域を消去された。
領域特徴のkDツリー構造化に基づく最隣接点アルゴリズム(nearest point algorithm)により、局所的な顕著性最大値の位置を決定することができ、これによって顕著性値にしたがって順序付けられたボクセル位置のリストが得られる。このアプローチによって、局所的な最大値のクラスタリングが回避される。ここでこれは、例えば、大域的な閾値が適用されまた特徴が、低下する顕著性値だけにしたがって抽出される場合に発生し得るものである。kDツリーは、抽出された局所顕著性最大値の領域中心のインデックスをリーフとして使用することによって生成される。特定の特徴についてのK個の最隣接特徴は、この特徴の領域中心インデックスについて調べることによって効率的に探すことができる。したがって返された特徴への距離は、物理的な距離ではなく、画像インデックス次元における距離である。スケールパラメタは、最小距離要求条件として使用可能である。すなわち問い合わせた特徴のスケール以下の距離を有しかつ返されたすへでの特徴および顕著性の低いすべての特徴は、特徴集合から取り除かれる。この制限は、集合全体に適用され、クラスタリングされた領域を除去することができる。結果的に得られる集合によって特定のサイズが要求される場合、距離の判定条件を満たす、顕著性のより低い特徴で上記のリストを埋めることができる。特徴は、その中心が、顕著性値のより高い特徴の領域内にない場合、集合に保持される。結果的に得られる3D顕著領域特徴の集合は、均一に分布し、また後続の特徴対応探索に対して良好な条件を有する初期集合が得られる。
図1(a)〜(e)には、顕著特徴領域の集合の例が示されている。顕著特徴領域は図1(a)〜(b)において白い円で示されている。図1(a)は、顕著領域特徴の集合にクラスタリングを行った効果を示しており、これに対して図1(b)は、本発明の1実施形態によるアプローチによって選択された顕著領域特徴を示している。図1(c),1(d)および1(e)はそれぞれCT画像、PET画像およびMR画像から抽出した後に視覚化した最も重要な3D領域特徴を示している。顕著領域特徴は、図1(c)〜(e)において球状のバブルとして示されている。これらのボリュームは、特定の伝達関数によってウィンドウィングされて、特徴の位置が3Dで視覚化される。これに対して抽出そのものは、すべての輝度範囲に対して実行される。
領域コンポーネントマッチングステップ(region component matching step)と称される3Dレジストレーションのつぎのステップにより、2つの画像の特徴間の、仮想的な対応の集合が推定される。Irを基準画像、Itをテンプレートとし、またNrをIrから抽出した特徴の数、NtをItから抽出した特徴の数とする。すべての仮想的な特徴の対応の集合は、C={ci,j}であり、ただしi∈[1,Nr],j∈[1,Nt],|C|=Nr×Ntであり、またci,j=(fi,fj)は、Irの特徴fiと、Itの特徴fjとの対である。
パラメタ集合Θにより、2つの画像を位置合わせする変換Tが定められ、またこれは、fiおよびfjの並進、スケールおよび回転について不変性に基づいて推定することができる。fiとfjとの間の並進部分は、
によって直接推定され、ただしpiおよびpjは、物理空間におけるi番目の基準特徴およびj番目のテンプレート特徴の中心位置である。スケールについての不変性はこの場合には不要である。それは本発明の実施形態による3D医用画像に対して、ボクセル寸法(voxel dimension)は、DICOM(Digital Imaging and Communications in Medecine)ヘッダ内で供給されるからである。回転不変性を得るため、輝度値に基づいて、3D顕著特徴領域の局所剛体レジストレーションによって回転パラメタが推定される。最適化は、回転パラメタ部分空間ΘRに制限され、また輝度の類似性の尺度、エントロピー相関係数によって行われ、これは正規化された相互情報量の特殊な形態、すなわち、
であり、ここで同時微分エントロピーH(A,B)は
と定義できる。ここで積分のドメインはRiおよびRΘ jにわたっており、p(A,B)は、領域AおよびBにおける画像輝度の同時確率密度であり、IおよびJはそれぞれ、IfおよびImにおける発生し得る輝度値集合において値をとる。この係数により、オーバラップドメインに対して改善したロバストネスが得られ、またいくつかの付加的な有利な特性が得られる。すなわち、画像間の依存性が増大することを示す値の増大およびその逆が得られるのである。したがって回転に対する不変性はΘRに対する最適化問題として定式化することができる。すなわち、
である。
によって直接推定され、ただしpiおよびpjは、物理空間におけるi番目の基準特徴およびj番目のテンプレート特徴の中心位置である。スケールについての不変性はこの場合には不要である。それは本発明の実施形態による3D医用画像に対して、ボクセル寸法(voxel dimension)は、DICOM(Digital Imaging and Communications in Medecine)ヘッダ内で供給されるからである。回転不変性を得るため、輝度値に基づいて、3D顕著特徴領域の局所剛体レジストレーションによって回転パラメタが推定される。最適化は、回転パラメタ部分空間ΘRに制限され、また輝度の類似性の尺度、エントロピー相関係数によって行われ、これは正規化された相互情報量の特殊な形態、すなわち、
大域的な画像の類似性尺度Lglobalは、M個の各対の品質を推定するために使用される。すなわち
であり、ここでLglobalは、局所特徴領域だけではなく2つの画像の全体的なオーバラップドメインにおいて評価される。
大きな空間距離によって隔てられている特徴対は、対応するとは考えにくく、仮想的な対応付けの集合から取り除くことができる。これによって結合形対応付けに対する探索空間が低減される。したがって対応付け探索空間は、すべての対の組み合わせから、局所的に最も近い隣接特徴間だけの組み合わせに低減することができる。隣接集合は、基準およびテンプレート領域特徴集合間のICP変換を計算することによって推定することができ、ここでこれは集合を、領域中心位置の周りのポイントクラウドと見なすことによって行われる。このICPアルゴリズムにより、特徴集合は、局所的な最小平均二乗誤差MSE(minimal mean-square-error)に位置合わせされる。この結果は、すべてのテンプレート特徴を基準画像の座標空間に変換して、新たなkDツリーに格納するのに使用される。この場合、基準画像において顕著特徴毎に近似的に最も近い隣接特徴を、このツリーにおける高速探索によって決定することができる。各基準特徴に結合される、変換されたテンプレート特徴の最隣接特徴の数Nnは、この集合の全体濃度よりも格段に小さく、Nn≪Ntである。これにより、初期のICP変換が実際の位置合わせ変換の良好な近似であるという前提、および特徴が比較的大きな距離で離れている場合、これらはあまり対応していないという前提に基づいて複雑さは、Nr×Nnに低減されるのである。Nr×Nnの特徴対の対応付けの品質がテストされ、ここでこれは並進不変量
回転不変量
大域的画像類似性尺度Lglobal(ci,j)に基づいて行われ、これは位置合わせされた画像全体に局所的な特徴変換を適用することによって得られる。
回転不変量
大域的画像類似性尺度Lglobal(ci,j)に基づいて行われ、これは位置合わせされた画像全体に局所的な特徴変換を適用することによって得られる。
本発明の実施形態にしたがって行われた実験において、Nn=(1/10)%Ntの隣接サイズが適用されて、結合形対応付けに対する初期探索空間を設けることができた。さらに仮想的な対応付けは、大域的類似度尺度Lglobalによって順次付けされる。これにより、推定された対応付け集合においてアウトライアはわずかになる。
図2(a)〜(d)には、並進され、回転され、元々のスライスに重ね合わされたCTボリューム(左側部分)のスライスが示されている。円は、特定のスケールを有する顕著特徴領域を表している。順序付けがLglobalにしたがって行われており、全体集合にはわずかなアウトライアしか含まれない。わかりやすくするため、アプローチ毎に最初の4つの対応付けだけが示されている。
このアルゴリズムの特徴対応付け探索において計算されるサイズMの仮想的な対応付けの集合
は、2つの画像間の変換Tを推定するために使用される。この変換の精度は十分ではない。それはそのパラメタは、離散的な画像グリッド位置に固定された特徴で計算されているからである。上述したように、精確に対応する空間位置に位置していない特徴対もある。したがって結果的に得られる集合は、変換をマイナスに偏らせるアウトライアおよび不確かさを含み得るのである。つぎのステップにおいてΘおよびCは、サブピクセル精度の繰り返し処理において改善され、さらに精度の高い位置合わせが達成される。
は、2つの画像間の変換Tを推定するために使用される。この変換の精度は十分ではない。それはそのパラメタは、離散的な画像グリッド位置に固定された特徴で計算されているからである。上述したように、精確に対応する空間位置に位置していない特徴対もある。したがって結果的に得られる集合は、変換をマイナスに偏らせるアウトライアおよび不確かさを含み得るのである。つぎのステップにおいてΘおよびCは、サブピクセル精度の繰り返し処理において改善され、さらに精度の高い位置合わせが達成される。
サブピクセル精度で位置合わせされた特徴対を含みかつ理想的にはアウトライアを含まない結合形対応付け集合
を最適化することが望ましい。最適化された結合形対応付け集合の要素は、ICPアルゴリズムに対する入力として使用されて、大域的な画像の類似性を最大化する変換が計算される。すなわち、
である。
を最適化することが望ましい。最適化された結合形対応付け集合の要素は、ICPアルゴリズムに対する入力として使用されて、大域的な画像の類似性を最大化する変換が計算される。すなわち、
特徴対の数を少なく維持し、またレジストレーション効率を維持するため、EM(expectation-maximization)タイプアルゴリズムが、限られた数の繰り返しステップで使用される。変換
は、各繰り返しにおいて徐々に改善される結合形対応付け集合Jk_Jから計算される。Lglobalは、改善処理に対する収束条件として使用される。領域特徴対が一旦サブピクセル精度で局所的にレジストレーションされると、この特定の対の後続のレジストレーションによって、この対応付けの品質は向上されないため、これを無視することができる。したがって計算時間は、各繰り返しステップ中に繰り返して加えられる特徴対位置を改善するだけで節約することができる。
は、各繰り返しにおいて徐々に改善される結合形対応付け集合Jk_Jから計算される。Lglobalは、改善処理に対する収束条件として使用される。領域特徴対が一旦サブピクセル精度で局所的にレジストレーションされると、この特定の対の後続のレジストレーションによって、この対応付けの品質は向上されないため、これを無視することができる。したがって計算時間は、各繰り返しステップ中に繰り返して加えられる特徴対位置を改善するだけで節約することができる。
結合形対応付け集合およびレジストレーション変換の両方を最適化するEMタイプアルゴリズムのフローチャートは図3に示されている。このアルゴリズムは、Cの最上位の対、すなわち
を含む結合形対応付け集合によって初期される。これらの初期の対応付けに対してふつう前のステップにおいて収集された特徴対の順序集合から最良の2つを使用することができる。局所剛体レジストレーションは、対応する顕著領域特徴をサブピクセル精度で改善するために使用される。図を参照すると、サブピクセルで改善された対応付けのカレント集合はステップ31で得られる。ステップ32の推定ステップでは、すべての
に対して大域的類似性尺度Lglobal(J*∪ci,j)を計算する。ステップ33の最大化ステップでは、Lglobal(J*∪ci,j)を最大化する
を選択する。つぎにステップ34では、最大のLglobal(J*∪ci,j)[Lglobal(J*)の場合、ステップ35において変換TJ*が返され、このアルゴリズムは終了する。その他の場合、最大値を与える特徴対
がステップ35において局所剛体レジストレーションによってサブピクセル精度でレジストレーションされて特徴中心が改善される。改善された特徴対
は、ステップ37において集合J*に加えられ、すなわち、
であり、変換TJ*がステップ38で再計算される。ここでこれらのステップ32〜38は収束するまで繰り返される。
を含む結合形対応付け集合によって初期される。これらの初期の対応付けに対してふつう前のステップにおいて収集された特徴対の順序集合から最良の2つを使用することができる。局所剛体レジストレーションは、対応する顕著領域特徴をサブピクセル精度で改善するために使用される。図を参照すると、サブピクセルで改善された対応付けのカレント集合はステップ31で得られる。ステップ32の推定ステップでは、すべての
に対して大域的類似性尺度Lglobal(J*∪ci,j)を計算する。ステップ33の最大化ステップでは、Lglobal(J*∪ci,j)を最大化する
を選択する。つぎにステップ34では、最大のLglobal(J*∪ci,j)[Lglobal(J*)の場合、ステップ35において変換TJ*が返され、このアルゴリズムは終了する。その他の場合、最大値を与える特徴対
がステップ35において局所剛体レジストレーションによってサブピクセル精度でレジストレーションされて特徴中心が改善される。改善された特徴対
は、ステップ37において集合J*に加えられ、すなわち、
であり、変換TJ*がステップ38で再計算される。ここでこれらのステップ32〜38は収束するまで繰り返される。
本発明の実施形態によるアルゴリズムをさまざまな一患者について3D医用画像についてテストした。異なる時間に収集した11個のPET−CTボリューム対、治療の異なる段階における3つのCT画像、およびハイブリッドスキャナから得られた10個のSPECT−CTボリューム対に対して測定を行った。本発明の1実施形態による方法は、さまざまなモダリティ、ノイズ、視野の変化、およびPET−CT対のいくつかにおける画像輝度のアーチファクトなどを対処しなければならず、いくつかのスライスは、インポート中に補正されなかった異なる輝度スケールを有していた。図4(a)〜(c)はそれぞれPET−CT,CT−CTおよびSPECT−CTボリューム対に対して全体的な測定距離をx,yおよびz方向においてcmで、また標準偏差と共に示す表である。PET−CTおよびCT−CTレジストレーション品質は、いくつかの関心対象点間の距離、すなわち右および左側の肺尖、心尖、肝臓の円形端部、左上および右上ならびに左下および右下の腎臓端部を医療の専門家が評価したものである。10個のSPECT−CT画像は、最新式のハイブリッドスキャナによって収集したため、医師は、x,yおよびz方向に10〜50mm変化させ、各軸の周りに5〜60度回転することによってSPECT画像の手動で剛体的(rigidly)にレジストレーション解除(deregister)した。レジストレーションの後、いくつかの識別可能なランドマークが、CTおよびSPECT画像において医療専門家によって選択された。
スライス間で輝度のスケーリングが変わることに起因するアーチファクトまたはノイズを含む実際の医用画像に対して複数の実験を行った。本発明の実施形態によるアルゴリズムをこれらのデータでテストするため、これらの問題はレジストレーションの前に処理しなかった。図5(a)〜(c)は、本発明の1実施形態によるアルゴリズムを使用して収集したPET−CT画像対、輝度アーチファクトを有するCT−CT画像対、およびSPECT−CT画像対からそれぞれ得られ、融合式にレジストレーションされた結果画像からの3つのスライスを示している。後者のCT画像は、限定された視野で収集され、大量のノイズを含むが、ここで提案したレジストレーションの精度は許容範囲になった。残りのレジストレーション誤りは、本発明の非剛性変換の実施形態によって処理することができる。
視覚化をおよび測定のための専用の視覚化ソフトウェアを使用して医療専門家によって結果を評価した。評価のため、医療専門家は、3Dの関心領域の重心を使用するのと、ランドマークから他のランドマークへの直接の位置と間で選択を行った。いくつかの付加的な測定ツールと共に融合式の視覚化を描画ソフトウェアに組み込むことによってこの作業を支援した。PET−CTの場合、z方向において標準偏差が高いことは明らかである。その理由は、収集モデル間の違いから発生し得る。CT画像は、1呼吸のスナップショットを示しているのに対して、PET画像は複数の呼吸周期にわたって収集されており、多かれ少なかれ平均的な呼吸動作を示している。横隔膜のこのような動作に起因して腹部のいつかの器官は持ち上げられたり押し下げられたりして、データサンプルに大きな偏差が見られる原因になっている。この実験に使用された本発明の1実施形態によるアルゴリズムは、剛体変換だけをモデリングし、このような局所的な変形をモデリングしない。CT−CTデータに対しこのような作用はもはや支配的ではない。それは患者が2つの収集において理想的には同じように呼吸するからである。SPECT−CTデータは、本質的に良好にマッチングし、SPECTにおけるユーザ定義の剛性変換によって局所的な変形は発生しない。したがってこれらのケースに対して良好なレジストレーションを期待することができる。
すべての結果において、所定の測定誤差が発生する。それは、医療専門家がさまざまなスライスビューにおいて複数の位置をクリックすることによって位置を手動で指定しなければならないからである。しかしながらこのタイプの評価についての実験を行うにあたって、いくつかの測定ステップにおいて関心対象点を指定する距離の平均差分は(1観察者においてまた観察者間において)3mmを上回らない。
本発明は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサまたはこれらの組み合わせなどのさまざまな形態で実現可能であることを理解されたい。1実施形態において本発明は、コンピュータ読み出し可能プログラム記憶装置上に具現化されるアプリケーションプログラムとしてソフトウェアでインプリメント可能である。このアプリケーションプログラムは、任意のアーキテクチャを含むマシンにアップロードして実行することができる。
図7は、本発明の1実施形態による3Dレジストレーション処理をインプリメントするコンピュータシステムの例のブロック図である。図7を参照すると、本発明を実施するコンピュータシステム71は、殊に中央処理ユニット(CPU)72,記憶装置73および入出力(I/O)インタフェース74を含むことができる。コンピュータシステム71はふつうI/Oインタフェース74を介してディスプレイ75ならびにマウスおよびキーボードなどのさまざまな入力装置76に接続される。支援回路は、キャッシュ、電源、クロック回路および通信バスなどの回路を含むことができる。記憶装置73は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ディスクドライブ、テープドライブなどまたはこれらの組み合わせを含むことができる。本発明は、記憶装置73に格納されてCPU72によって実行されて信号源78から信号を処理するルーチン77として実施することが可能である。このため、コンピュータシステム71は、本発明のルーチン77を実行する場合に特殊用途のコンピュータシステムになる汎用コンピュータシステムなのである。
コンピュータシステム71はまたオペレーティングシステムおよびマイクロ命令コードを含む。ここに記載したさまざまな処理および関数は、マイクロ命令コードの一部またはオペレーティングシステムを介して実行されるアプリケーションプログラムの一部(またはこれらの組み合わせ)とすることが可能である。さらに付加的なデータ記憶装置および印刷装置などの別のさまざまな周辺装置をこのコンピュータプラットホームに接続可能である。
さらに、添付の図面に示した構成システムコンポーネントおよび方法ステップのいくつかはソフトウェアで実現できるため、システムコンポーネント(または処理ステップ)間の実際の接続は、本発明がプログラムされる仕方に依存して変わり得ることを理解されたい。ここに示した本発明の教示があれば、通常の知識を有する当業者は、本発明の上記および類似の実現または構成を想到することができる。
本発明を有利な実施形態に基づいて詳しく説明したが、添付の特許請求の範囲に記載した本発明の精神および範囲から逸脱することなくさまざまな変更および置き換えが行えることが当業者にはわかるはずである。
71 コンピュータシステム、 72 中央処理ユニット、 73 記憶装置、 74 入出力(I/O)インタフェース、 75 ディスプレイ、 76 入出力装置、 77 ルーチン、 78 信号源
Claims (27)
- 画像の対を位置合わせする方法において、
第1画像および第2画像を有する画像の対を用意し、ここで該画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、
前記の第1画像および第2画像の両方にて顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、
各領域の中心点によって特徴領域を表し、
局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、
前記特徴対を類似性の尺度で順序付け、
前記の中心点をサブピクセル精度に改善することによって特徴対の結合形対応付け集合を最適化することを特徴とする、
画像の対を位置合わせする方法。 - さらに、
一方の画像に対する顕著特徴領域中心点をkDツリーで表し、
特徴毎に当該kDツリーを調べて最隣接特徴の集合を探し、
顕著性値が低く、各特徴のスケール内に中心点を有する最隣接特徴を当該ツリーから除去して、前記の画像にて顕著特徴領域の実質的な均一な分布を得る、
請求項1に記載の方法。 - 前記の空間スケールは、特徴領域を含む球の半径である、
請求項1に記載の方法。 - 前記のkDツリーは、顕著特徴領域中心点の画像ピクセルインデックスをリーフとして使用し、
ここで特徴領域と、最隣接特徴領域との距離は、画像インデックスユニットである、
請求項2に記載の方法。 - 局所的な輝度に基づく特徴点のレジストレーションではさらに、
前記の第1画像と第2画像との間のICP変換を使用して初期レジストレーションを推定し、
第2画像のすべての特徴を第1画像の座標空間に変換し、
変換した当該の特徴をkDツリーに格納し、
上記の第1画像の特徴毎にこのツリーを調べてあらかじめ定めた選択判定基準に基づき第2画像にて最隣接特徴を選択し、
第1画像および第2画像の特徴からなる当該の選択された特徴対の並進不変性、回転不変性および大域的な画像類似性尺度をテストして、
大域的な画像類似性尺度値にしたがって当該の選択された特徴対を順序付ける、
請求項1に記載の方法。 - 前記のICP変換により、特徴点からなる各集合間の平均誤差を最小化する、
請求項5に記載の方法。 - 前記の並進不変性のテストには、
を推定することが含まれ、
ここでpiおよびpjは、物理空間におけるi番目の第1画像特徴およびj番目の第2画像特徴の中心座標である、
請求項5に記載の方法。 - 前記の回転不変性のテストには
ここで(fi,fj)はそれぞれ前記の第1画像および第2画像における特徴対を表しており、また
ただしp(i,s,x)は、fに含まれる画像輝度値iに対する確率密度関数であり、
H(fi,fj)は、
ここでp(fi,fj)は、特徴領域fiおよびfjにおける画像輝度の同時確率密度であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合にて値をとる、
請求項5に記載の方法。 - 前記の大域的な画像類似性尺度のテストには、
ここでIrは第1画像を表し、
は、第1画像の座標空間への第2画像の変換を表し、また
ただしp(i,s,x)は、Iに含まれる画像輝度値iに対する確率密度関数であり、
は
は、Irおよび
における画像輝度の同時確率密度であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合において値をとり、これによってLglobalが、第1画像および第2画像の重なりドメイン全体にて評価される、
請求項5に記載の方法。 - 特徴対の結合形対応付け集合の最適化ではさらに、
前記の類似性尺度にしたがい、最も類似している特徴対によって前記の結合形対応付け集合を初期化し、
結合形対応付け集合と、該結合形対応付け集合にまだ含まれていない各特徴対との和集合に対して類似性尺度を推定し、
当該の和集合の類似性尺度を最大にする特徴対を選択して、
最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、この結合形対応付け集合の類似性尺度よりも大きい場合、前記の最大値を与える特徴対を、局所剛体変換によってサブピクセル精度でレジストレーションして、前記の結合形対応付け集合に加える、
請求項1に記載の方法。 - ICPプロシージャを使用して前記の類似性尺度を最大化して、特徴対間のレジストレーション変換を計算する、
請求項10に記載の方法。 - 最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、当該結合形対応付け集合の類似性尺度以下である場合、類似性尺度を最大にする特徴対間のレジストレーション変換から計算したレジストレーション変換を供給する、
請求項10に記載の方法。 - 画像の対を位置合わせする方法において、
第1画像および第2画像を有する画像の対を用意し、ここで該画像には、ピクセルからなる3次元空間の領域に相応する複数の輝度が含まれており、
前記の第1画像および第2画像の両方にて顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、
第1画像との第2画像との間でICPプロシージャを使用して初期レジストレーションを推定し、
第2画像のすべての特徴を第1画像の座標空間に変換し、
変換された特徴をkDツリーに格納し、第1画像の特徴毎に該ツリーを照会し、あらかじめ定めた選択判定条件に基づいて第2画像における最隣接特徴を選択し、
第1画像および第2画像の特徴からなる当該の選択した特徴対の並進不変性、回転不変性および大域的な画像類似性尺度をテストし、
当該の選択した特徴を、その大域的な画像類似性尺度値によって順序付けることを特徴とする、
画像の対を位置合わせする方法。 - さらに、
各領域の中心点によって特徴領域を表し、
一方の画像に対する特徴領域中心点をkDツリーに格納し、
特徴毎に当該kDツリーを調べて最隣接特徴の集合を探し、
顕著性値がより低く、各特徴のスケール内に中心点を有する最隣接特徴を当該ツリーから除去して、前記画像にて顕著特徴領域の実質的に均一な分布を得る、
請求項13に記載の方法。 - さらに、
前記の類似性尺度にしたがい、最も類似している特徴対によって結合形対応付け集合を初期化し、
当該の結合形対応付け集合と、当該結合形対応付け集合にまだ含まれていない各特徴対との和集合に対して類似性尺度を推定し、
当該の和集合の類似性尺度を最大化する特徴対を選択して、
前記の最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、当該結合形対応付け集合の類似性尺度よりも大きい場合、当該の最大値を与える特徴対を、局所剛体変換によってサブピクセル精度でレジストレーションして、当該特徴対を前記結合形対応付け集合に加え、
ここで大域的な画像類似性尺度は、
は前記の第1画像の座標空間への第2画像の変換を表し、また
ただしp(i,s,x)は、Iに含まれる画像輝度値iに対する確率密度関数であり、
は、
画像Irおよび
における画像輝度の同時確率密度であり、IおよびJはそれぞれ、第1および第2画像における発生し得る輝度値集合にて値をとり、これによってLglobalは、第1および第2画像の重なりドメイン全体で評価される、
請求項13に記載の方法。 - コンピュータによって実行可能な命令からなるプログラムを具現化し、画像の対を位置合わせする方法ステップを実施する、コンピュータによって読み出し可能なプログラム記憶装置において、
前記の方法では、
第1画像および第2画像を有する画像の対を用意し、ここで該画像には、3次元空間におけるピクセルのドメインに相応する複数の輝度が含まれており、
前記の第1画像および第2画像の両方にて顕著特徴領域を識別し、ここで各領域には空間スケールが関連付けられており、
各領域の中心点によって特徴領域を表し、
局所的な輝度に基づいて、一方の画像の特徴点と、他方の画像の特徴点とをレジストレーションし、
前記の特徴対を類似性の尺度で順序付け、
前記の中心点をサブピクセル精度に改善することによって特徴対の結合形対応付け集合を最適化することを特徴とする、
コンピュータによって読み出し可能なプログラム記憶装置。 - 前記方法ではさらに、
一方の画像に対する顕著特徴領域中心点をkDツリーで表し、
特徴毎に当該kDツリーを調べて最隣接特徴の集合を探し、
顕著性値がより低く、各特徴のスケール内に中心点を有する最隣接特徴を当該ツリーから除去して、前記の画像にて顕著特徴領域の実質的な均一な分布を得る、
請求項16に記載のコンピュータによって読み出し可能なプログラム記憶装置。 - 前記の空間スケールは、特徴領域を含む球の半径である、
請求項16に記載のコンピュータによって読み出し可能なプログラム記憶装置。 - 前記のkDツリーは、顕著特徴領域中心点の画像ピクセルインデックスをリーフとして使用し、
ここで特徴領域と、最隣接特徴領域との距離は、画像インデックスユニットである、
請求項17に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 局所的な輝度に基づく特徴点のレジストレーションではさらに、
前記の第1画像と第2画像との間のICP変換を使用して初期レジストレーションを推定し、
第2画像のすべての特徴を第2画像の座標空間に変換し、
変換した当該の特徴をkDツリーに格納し、
上記の第1画像の特徴毎にこのツリーを調べてあらかじめ定めた選択判定基準に基づき第2画像にてて最隣接特徴を選択し、
第1画像および第2画像の特徴からなる選択された特徴対の並進不変性、回転不変性および大域的な画像類似性尺度をテストして、
大域的な画像類似性尺度にしたがって当該の選択された特徴対を順序付ける、
請求項16に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 前記のICP変換により、特徴点からなる各集合間の平均誤差を最小化する、
請求項20に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 前記の並進不変性のテストには、
を推定することが含まれ、
ここでpiおよびpjは、物理空間におけるi番目の第1画像特徴およびj番目の第2画像特徴の中心座標である、
請求項20に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 前記の回転不変性のテストには
ここで(fi,fj)はそれぞれ前記の第1画像および第2画像における特徴対を表しており、また
ただしp(i,s,x)は、fに含まれる画像輝度値iに対する確率密度関数であり、
H(fi,fj)は、
ここでp(fi,fj)は、特徴領域fiおよびfjにおける画像輝度の同時確率密度であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合にて値をとる、
請求項20に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 前記の大域的な画像類似性尺度のテストには、
ここでIrは第1画像を表し、
は、第1画像の座標空間への第2画像の変換を表し、また
ただしp(i,s,x)は、Iに含まれる画像輝度値iに対する確率密度関数であり、
は
は、Irおよび
における画像輝度の同時確率密度であり、IおよびJはそれぞれ第1画像および第2画像において発生し得る輝度値集合において値をとり、これによってLglobalが、第1画像および第2画像の重なり領域全体にて評価される、
請求項20に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 特徴対の結合形対応付け集合の最適化ではさらに、
前記の類似性尺度にしたがい、最も類似している特徴対によって前記の結合形対応付け集合を初期化し、
結合形対応付け集合と、該結合形対応付け集合にまだ含まれていない各特徴対との和集合に対して類似性尺度を推定し、
当該の和集合の類似性尺度を最大にする特徴対を選択して、
最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、この結合形対応付け集合の類似性尺度よりも大きい場合、前記の最大値を与える特徴対を、局所剛体変換によってサブピクセル精度でレジストレーションして、前記の結合形対応付け集合に加える、
請求項16に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - ICPプロシージャを使用して前記の類似性尺度を最大化して、特徴対間のレジストレーション変換を計算する、
請求項25に記載の、コンピュータによって読み出し可能なプログラム記憶装置。 - 最大値を与える特徴対と、結合形対応付け集合との和集合の類似性尺度が、当該結合形対応付け集合の類似性尺度以下である場合、類似性尺度を最大にする特徴対間のレジストレーション変換から計算したレジストレーション変換を供給する、
請求項25に記載の、コンピュータによって読み出し可能なプログラム記憶装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US71083405P | 2005-08-24 | 2005-08-24 | |
US11/380,673 US7583857B2 (en) | 2005-08-24 | 2006-04-28 | System and method for salient region feature based 3D multi modality registration of medical images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007054636A true JP2007054636A (ja) | 2007-03-08 |
Family
ID=37804173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006228298A Withdrawn JP2007054636A (ja) | 2005-08-24 | 2006-08-24 | イメージの対を位置合わせする方法およびコンピュータによって実行される命令からなるプログラムを具現化して該方法を実施するプログラム記憶装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7583857B2 (ja) |
JP (1) | JP2007054636A (ja) |
DE (1) | DE102006038485A1 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009112468A (ja) * | 2007-11-05 | 2009-05-28 | Toshiba Corp | 画像位置合わせ装置及びその方法並びに画像位置合わせプログラム |
JP2009160314A (ja) * | 2008-01-09 | 2009-07-23 | Canon Inc | 画像処理装置、画像処理方法、及び、コンピュータプログラム |
WO2009104510A1 (ja) * | 2008-02-19 | 2009-08-27 | 株式会社東芝 | 医用画像表示装置および画像表示方法 |
JP2009225943A (ja) * | 2008-03-21 | 2009-10-08 | Toshiba Corp | 医用画像処理装置、及び医用画像処理プログラム |
JP2009288129A (ja) * | 2008-05-30 | 2009-12-10 | Hitachi Ltd | 超音波探傷装置及び方法 |
JP2010253058A (ja) * | 2009-04-24 | 2010-11-11 | Tokyo Metropolitan Univ | 医用画像処理装置及び方法 |
JP2011039077A (ja) * | 2010-11-24 | 2011-02-24 | Hitachi Ltd | 超音波探傷装置及び超音波探傷装置の画像処理方法 |
JP2011041656A (ja) * | 2009-08-20 | 2011-03-03 | Yamatake Corp | ボリュームデータ間の対応付け方法 |
JP2012507066A (ja) * | 2008-09-26 | 2012-03-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 医療レポートのための患者固有の解剖学的スケッチ |
JP2012125297A (ja) * | 2010-12-13 | 2012-07-05 | Toshiba Corp | 超音波診断装置、画像処理装置及びプログラム。 |
WO2012137431A1 (ja) * | 2011-04-05 | 2012-10-11 | パナソニック株式会社 | 超音波診断装置、及び、超音波診断画像の出力方法 |
JP2013223674A (ja) * | 2012-04-23 | 2013-10-31 | Hitachi Ltd | 画像処理装置、画像処理方法 |
JP2015170363A (ja) * | 2014-03-04 | 2015-09-28 | 株式会社東芝 | 3Dオブジェクトの認識および位置合わせ(registration)の方法 |
JP2016036686A (ja) * | 2014-08-11 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、医用画像診断システムおよびプログラム |
JP2016036685A (ja) * | 2014-08-11 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、医用画像診断システムおよびプログラム |
JP2019084349A (ja) * | 2017-11-03 | 2019-06-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理プログラム |
Families Citing this family (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070116381A1 (en) * | 2005-10-19 | 2007-05-24 | Ali Khamene | Method for deformable registration of images |
US9867530B2 (en) | 2006-08-14 | 2018-01-16 | Volcano Corporation | Telescopic side port catheter device with imaging system and method for accessing side branch occlusions |
US8126239B2 (en) * | 2006-10-20 | 2012-02-28 | Siemens Aktiengesellschaft | Registering 2D and 3D data using 3D ultrasound data |
IL179582A0 (en) * | 2006-11-26 | 2007-05-15 | Algotec Systems Ltd | Comparison workflow automation by registration |
US8368695B2 (en) * | 2007-02-08 | 2013-02-05 | Microsoft Corporation | Transforming offline maps into interactive online maps |
CN100460813C (zh) * | 2007-05-10 | 2009-02-11 | 上海交通大学 | 三维空间连杆曲线匹配度的检测方法 |
US9596993B2 (en) | 2007-07-12 | 2017-03-21 | Volcano Corporation | Automatic calibration systems and methods of use |
US10219780B2 (en) | 2007-07-12 | 2019-03-05 | Volcano Corporation | OCT-IVUS catheter for concurrent luminal imaging |
EP2178442B1 (en) | 2007-07-12 | 2017-09-06 | Volcano Corporation | Catheter for in vivo imaging |
US8086616B1 (en) * | 2008-03-17 | 2011-12-27 | Google Inc. | Systems and methods for selecting interest point descriptors for object recognition |
US8374436B2 (en) * | 2008-06-30 | 2013-02-12 | Thomson Licensing | Method for detecting layout areas in a video image and method for generating an image of reduced size using the detection method |
US20100098305A1 (en) * | 2008-10-16 | 2010-04-22 | Riverain Medical Group Llc | Multi-image correlation |
US8271871B2 (en) * | 2009-04-30 | 2012-09-18 | Xerox Corporation | Automated method for alignment of document objects |
GB0912845D0 (en) * | 2009-07-24 | 2009-08-26 | Siemens Medical Solutions | Initialisation of registration using an anatomical atlas |
US8909323B2 (en) * | 2009-08-06 | 2014-12-09 | Siemens Medical Solutions Usa, Inc. | System for processing angiography and ultrasound image data |
US8391578B2 (en) * | 2009-11-11 | 2013-03-05 | General Electric Company | Method and apparatus for automatically registering images |
CN102385748B (zh) * | 2010-08-31 | 2013-12-25 | 上海微创医疗器械(集团)有限公司 | 一种图像配准方法 |
JP5597517B2 (ja) * | 2010-10-25 | 2014-10-01 | 株式会社東芝 | 医用画像処理装置、医用画像撮影装置、及び医用画像処理プログラム |
US11141063B2 (en) | 2010-12-23 | 2021-10-12 | Philips Image Guided Therapy Corporation | Integrated system architectures and methods of use |
US11040140B2 (en) | 2010-12-31 | 2021-06-22 | Philips Image Guided Therapy Corporation | Deep vein thrombosis therapeutic methods |
US8600172B2 (en) | 2011-03-16 | 2013-12-03 | Sensormatic Electronics, LLC | Video based matching and tracking by analyzing one or more image abstractions |
WO2013013087A2 (en) * | 2011-07-20 | 2013-01-24 | The Regents Of The University Of California | Efficient searching of stationary datasets |
US9360630B2 (en) | 2011-08-31 | 2016-06-07 | Volcano Corporation | Optical-electrical rotary joint and methods of use |
GB201117811D0 (en) * | 2011-10-14 | 2011-11-30 | Siemens Medical Solutions | Registration of cardiac CTA to PET/SPECT |
EP2780861A1 (en) * | 2011-11-18 | 2014-09-24 | Metaio GmbH | Method of matching image features with reference features and integrated circuit therefor |
US8605972B2 (en) * | 2012-03-02 | 2013-12-10 | Sony Corporation | Automatic image alignment |
US9025880B2 (en) * | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
US20140086464A1 (en) | 2012-09-21 | 2014-03-27 | Mim Software Inc. | Dynamic local registration system and method |
US11272845B2 (en) | 2012-10-05 | 2022-03-15 | Philips Image Guided Therapy Corporation | System and method for instant and automatic border detection |
US9858668B2 (en) | 2012-10-05 | 2018-01-02 | Volcano Corporation | Guidewire artifact removal in images |
US9367965B2 (en) | 2012-10-05 | 2016-06-14 | Volcano Corporation | Systems and methods for generating images of tissue |
US9292918B2 (en) | 2012-10-05 | 2016-03-22 | Volcano Corporation | Methods and systems for transforming luminal images |
EP2904671B1 (en) | 2012-10-05 | 2022-05-04 | David Welford | Systems and methods for amplifying light |
US9307926B2 (en) | 2012-10-05 | 2016-04-12 | Volcano Corporation | Automatic stent detection |
US10568586B2 (en) | 2012-10-05 | 2020-02-25 | Volcano Corporation | Systems for indicating parameters in an imaging data set and methods of use |
US9324141B2 (en) | 2012-10-05 | 2016-04-26 | Volcano Corporation | Removal of A-scan streaking artifact |
US10070827B2 (en) | 2012-10-05 | 2018-09-11 | Volcano Corporation | Automatic image playback |
US9286673B2 (en) | 2012-10-05 | 2016-03-15 | Volcano Corporation | Systems for correcting distortions in a medical image and methods of use thereof |
US9840734B2 (en) | 2012-10-22 | 2017-12-12 | Raindance Technologies, Inc. | Methods for analyzing DNA |
CN103017653B (zh) * | 2012-11-27 | 2015-06-24 | 武汉海达数云技术有限公司 | 一种球面全景影像与三维激光扫描点云的配准及测量方法 |
EP2931132B1 (en) | 2012-12-13 | 2023-07-05 | Philips Image Guided Therapy Corporation | System for targeted cannulation |
CA2895770A1 (en) | 2012-12-20 | 2014-07-24 | Jeremy Stigall | Locating intravascular images |
EP2934311B1 (en) | 2012-12-20 | 2020-04-15 | Volcano Corporation | Smooth transition catheters |
US10942022B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Manual calibration of imaging system |
WO2014107287A1 (en) | 2012-12-20 | 2014-07-10 | Kemp Nathaniel J | Optical coherence tomography system that is reconfigurable between different imaging modes |
US11406498B2 (en) | 2012-12-20 | 2022-08-09 | Philips Image Guided Therapy Corporation | Implant delivery system and implants |
US10939826B2 (en) | 2012-12-20 | 2021-03-09 | Philips Image Guided Therapy Corporation | Aspirating and removing biological material |
WO2014100606A1 (en) | 2012-12-21 | 2014-06-26 | Meyer, Douglas | Rotational ultrasound imaging catheter with extended catheter body telescope |
US9612105B2 (en) | 2012-12-21 | 2017-04-04 | Volcano Corporation | Polarization sensitive optical coherence tomography system |
US9486143B2 (en) | 2012-12-21 | 2016-11-08 | Volcano Corporation | Intravascular forward imaging device |
EP2936426B1 (en) | 2012-12-21 | 2021-10-13 | Jason Spencer | System and method for graphical processing of medical data |
CA2896006A1 (en) | 2012-12-21 | 2014-06-26 | David Welford | Systems and methods for narrowing a wavelength emission of light |
WO2014099760A1 (en) | 2012-12-21 | 2014-06-26 | Mai Jerome | Ultrasound imaging with variable line density |
US10058284B2 (en) | 2012-12-21 | 2018-08-28 | Volcano Corporation | Simultaneous imaging, monitoring, and therapy |
WO2014100162A1 (en) | 2012-12-21 | 2014-06-26 | Kemp Nathaniel J | Power-efficient optical buffering using optical switch |
US10413317B2 (en) | 2012-12-21 | 2019-09-17 | Volcano Corporation | System and method for catheter steering and operation |
JP2016501623A (ja) | 2012-12-21 | 2016-01-21 | アンドリュー ハンコック, | 画像信号のマルチ経路処理のためのシステムおよび方法 |
CN113705586A (zh) | 2013-03-07 | 2021-11-26 | 飞利浦影像引导治疗公司 | 血管内图像中的多模态分割 |
US10226597B2 (en) | 2013-03-07 | 2019-03-12 | Volcano Corporation | Guidewire with centering mechanism |
EP3895604A1 (en) | 2013-03-12 | 2021-10-20 | Collins, Donna | Systems and methods for diagnosing coronary microvascular disease |
US20140276923A1 (en) | 2013-03-12 | 2014-09-18 | Volcano Corporation | Vibrating catheter and methods of use |
US10758207B2 (en) | 2013-03-13 | 2020-09-01 | Philips Image Guided Therapy Corporation | Systems and methods for producing an image from a rotational intravascular ultrasound device |
US9301687B2 (en) | 2013-03-13 | 2016-04-05 | Volcano Corporation | System and method for OCT depth calibration |
US11026591B2 (en) | 2013-03-13 | 2021-06-08 | Philips Image Guided Therapy Corporation | Intravascular pressure sensor calibration |
JP6342984B2 (ja) | 2013-03-14 | 2018-06-13 | ボルケーノ コーポレイション | エコー源性特性を有するフィルタ |
US10219887B2 (en) | 2013-03-14 | 2019-03-05 | Volcano Corporation | Filters with echogenic characteristics |
US10292677B2 (en) | 2013-03-14 | 2019-05-21 | Volcano Corporation | Endoluminal filter having enhanced echogenic properties |
CN105190689A (zh) * | 2013-06-14 | 2015-12-23 | 英特尔公司 | 包括基于毗连特征的对象检测和/或双边对称对象分段的图像处理 |
EP2819093B1 (en) * | 2013-06-24 | 2016-05-11 | RaySearch Laboratories AB | Method and system for atlas-based segmentation |
KR102094507B1 (ko) * | 2013-11-01 | 2020-03-27 | 삼성전자주식회사 | 선택적 정제를 이용한 계층적 중요점 영상 생성 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 중요점 영상 생성 장치. |
CN103761730B (zh) * | 2013-12-31 | 2016-04-13 | 华中科技大学 | 知识约束的公路车辆目标图像气动光学效应校正方法 |
WO2015171943A1 (en) * | 2014-05-07 | 2015-11-12 | Decision Sciences International Corporation | Image-based object detection and feature extraction from a reconstructed charged particle image of a volume of interest |
US10115199B2 (en) | 2014-10-08 | 2018-10-30 | Decision Sciences International Corporation | Image based object locator |
US10521898B2 (en) * | 2015-01-06 | 2019-12-31 | Sikorsky Aircraft Corporation | Structural masking for progressive health monitoring |
CN104732540B (zh) * | 2015-03-27 | 2017-11-17 | 北京永新医疗设备有限公司 | Pet/ct几何配准方法和系统 |
US9659368B2 (en) * | 2015-05-15 | 2017-05-23 | Beth Israel Deaconess Medical Center, Inc. | System and method for enhancing functional medical images |
EP3362987B1 (en) * | 2015-10-14 | 2021-09-22 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for image correction |
CN105852971A (zh) * | 2016-05-04 | 2016-08-17 | 苏州点合医疗科技有限公司 | 基于骨骼三维中点云的配准导航方法 |
US11723579B2 (en) | 2017-09-19 | 2023-08-15 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement |
US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
EP3731749A4 (en) | 2017-12-31 | 2022-07-27 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE |
US10482600B2 (en) * | 2018-01-16 | 2019-11-19 | Siemens Healthcare Gmbh | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks |
WO2019183113A1 (en) * | 2018-03-20 | 2019-09-26 | Pcms Holdings, Inc. | System and method for optimizing dynamic point clouds based on prioritized transformations |
WO2019182811A1 (en) | 2018-03-20 | 2019-09-26 | Pcms Holdings, Inc. | System and method for dynamically adjusting level of details of point clouds |
US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
CN109461115A (zh) * | 2018-07-27 | 2019-03-12 | 北京电影学院 | 一种基于深度卷积网络的自动图像配准方法 |
EP3849410A4 (en) | 2018-09-14 | 2022-11-02 | Neuroenhancement Lab, LLC | SLEEP ENHANCEMENT SYSTEM AND METHOD |
EP3895431A1 (en) | 2018-12-14 | 2021-10-20 | PCMS Holdings, Inc. | System and method for procedurally colorizing spatial data |
CN111312373B (zh) * | 2020-01-19 | 2023-08-18 | 浙江树人学院(浙江树人大学) | 一种pet/ct图像融合自动标注方法 |
CN113808178A (zh) * | 2020-06-11 | 2021-12-17 | 通用电气精准医疗有限责任公司 | 图像配准方法及其模型训练方法 |
CN112465881B (zh) * | 2020-11-11 | 2024-06-04 | 常州码库数据科技有限公司 | 一种改进的鲁棒性点配准方法及系统 |
US11954139B2 (en) * | 2020-11-19 | 2024-04-09 | Accenture Global Solutions Limited | Deep document processing with self-supervised learning |
CN117788538B (zh) * | 2024-02-27 | 2024-05-10 | 南京信息工程大学 | 点云区间配对体积方差一致性的配准方法、装置和系统 |
CN118397059A (zh) * | 2024-06-27 | 2024-07-26 | 西安电子科技大学 | 用于多模态影像增强与配准的模型训练方法及配准方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4945478A (en) * | 1987-11-06 | 1990-07-31 | Center For Innovative Technology | Noninvasive medical imaging system and method for the identification and 3-D display of atherosclerosis and the like |
EP0534533B1 (en) * | 1991-09-25 | 1997-02-05 | Koninklijke Philips Electronics N.V. | Device and method for displaying cartographic information in vehicular navigation |
US5297061A (en) * | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
US6728424B1 (en) | 2000-09-15 | 2004-04-27 | Koninklijke Philips Electronics, N.V. | Imaging registration system and method using likelihood maximization |
DE10048029A1 (de) * | 2000-09-26 | 2002-04-25 | Philips Corp Intellectual Pty | Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation |
US6750974B2 (en) * | 2002-04-02 | 2004-06-15 | Gsi Lumonics Corporation | Method and system for 3D imaging of target regions |
-
2006
- 2006-04-28 US US11/380,673 patent/US7583857B2/en active Active
- 2006-08-16 DE DE102006038485A patent/DE102006038485A1/de not_active Withdrawn
- 2006-08-24 JP JP2006228298A patent/JP2007054636A/ja not_active Withdrawn
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009112468A (ja) * | 2007-11-05 | 2009-05-28 | Toshiba Corp | 画像位置合わせ装置及びその方法並びに画像位置合わせプログラム |
JP2009160314A (ja) * | 2008-01-09 | 2009-07-23 | Canon Inc | 画像処理装置、画像処理方法、及び、コンピュータプログラム |
US9147098B2 (en) | 2008-01-09 | 2015-09-29 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer program storage medium |
WO2009104510A1 (ja) * | 2008-02-19 | 2009-08-27 | 株式会社東芝 | 医用画像表示装置および画像表示方法 |
JP2009195306A (ja) * | 2008-02-19 | 2009-09-03 | Toshiba Corp | 医用画像表示装置および画像表示方法 |
US8374410B2 (en) | 2008-02-19 | 2013-02-12 | Kabushiki Kaisha Toshiba | Medical image display device and image displaying method |
JP2009225943A (ja) * | 2008-03-21 | 2009-10-08 | Toshiba Corp | 医用画像処理装置、及び医用画像処理プログラム |
JP2009288129A (ja) * | 2008-05-30 | 2009-12-10 | Hitachi Ltd | 超音波探傷装置及び方法 |
JP2012507066A (ja) * | 2008-09-26 | 2012-03-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 医療レポートのための患者固有の解剖学的スケッチ |
JP2010253058A (ja) * | 2009-04-24 | 2010-11-11 | Tokyo Metropolitan Univ | 医用画像処理装置及び方法 |
JP2011041656A (ja) * | 2009-08-20 | 2011-03-03 | Yamatake Corp | ボリュームデータ間の対応付け方法 |
JP2011039077A (ja) * | 2010-11-24 | 2011-02-24 | Hitachi Ltd | 超音波探傷装置及び超音波探傷装置の画像処理方法 |
JP2012125297A (ja) * | 2010-12-13 | 2012-07-05 | Toshiba Corp | 超音波診断装置、画像処理装置及びプログラム。 |
US9795363B2 (en) | 2011-04-05 | 2017-10-24 | Konica Minolta, Inc. | Ultrasound diagnostic apparatus and method for outputting ultrasound diagnostic image |
WO2012137431A1 (ja) * | 2011-04-05 | 2012-10-11 | パナソニック株式会社 | 超音波診断装置、及び、超音波診断画像の出力方法 |
JPWO2012137431A1 (ja) * | 2011-04-05 | 2014-07-28 | コニカミノルタ株式会社 | 超音波診断装置、及び、超音波診断画像の出力方法 |
JP5867401B2 (ja) * | 2011-04-05 | 2016-02-24 | コニカミノルタ株式会社 | 超音波診断装置、及び、超音波診断画像の出力方法 |
JP2013223674A (ja) * | 2012-04-23 | 2013-10-31 | Hitachi Ltd | 画像処理装置、画像処理方法 |
WO2013161112A1 (ja) * | 2012-04-23 | 2013-10-31 | 株式会社日立製作所 | 画像処理装置、画像処理方法 |
JP2015170363A (ja) * | 2014-03-04 | 2015-09-28 | 株式会社東芝 | 3Dオブジェクトの認識および位置合わせ(registration)の方法 |
JP2016036685A (ja) * | 2014-08-11 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、医用画像診断システムおよびプログラム |
JP2016036686A (ja) * | 2014-08-11 | 2016-03-22 | キヤノン株式会社 | 画像処理装置、画像処理方法、医用画像診断システムおよびプログラム |
JP2019084349A (ja) * | 2017-11-03 | 2019-06-06 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理プログラム |
JP7214434B2 (ja) | 2017-11-03 | 2023-01-30 | キヤノンメディカルシステムズ株式会社 | 医用画像処理装置及び医用画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
DE102006038485A1 (de) | 2007-04-19 |
US7583857B2 (en) | 2009-09-01 |
US20070047840A1 (en) | 2007-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7583857B2 (en) | System and method for salient region feature based 3D multi modality registration of medical images | |
Ferrante et al. | Slice-to-volume medical image registration: A survey | |
US8437521B2 (en) | Systems and methods for automatic vertebra edge detection, segmentation and identification in 3D imaging | |
US9818200B2 (en) | Apparatus and method for multi-atlas based segmentation of medical image data | |
US9672622B2 (en) | Image fusion with automated compensation for brain deformation | |
US9218542B2 (en) | Localization of anatomical structures using learning-based regression and efficient searching or deformation strategy | |
US8958614B2 (en) | Image-based detection using hierarchical learning | |
US9741131B2 (en) | Anatomy aware articulated registration for image segmentation | |
EP2422318B1 (en) | Quantification of medical image data | |
US8861891B2 (en) | Hierarchical atlas-based segmentation | |
US20160196642A1 (en) | Medical image processing | |
CN111311655B (zh) | 多模态图像配准方法、装置、电子设备、存储介质 | |
KR101645292B1 (ko) | 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템 | |
CN1920882A (zh) | 基于显著区域特征的医学图像三维多模配准的系统和方法 | |
US11798161B2 (en) | Method and apparatus for determining mid-sagittal plane in magnetic resonance images | |
EP4156096A1 (en) | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities | |
US9020215B2 (en) | Systems and methods for detecting and visualizing correspondence corridors on two-dimensional and volumetric medical images | |
Alam et al. | Evaluation of medical image registration techniques based on nature and domain of the transformation | |
Gass et al. | Consistency-based rectification of nonrigid registrations | |
US9286688B2 (en) | Automatic segmentation of articulated structures | |
Du et al. | Intensity-based robust similarity for multimodal image registration | |
Alam et al. | Quantitative evaluation of intrinsic registration methods for medical images | |
Zhang et al. | Multi-modality medical image registration using support vector machines | |
Kéchichian et al. | Automatic multiorgan segmentation using hierarchically registered probabilistic atlases | |
Andronache | Multi-modal non-rigid registration of volumetric medical images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070605 |