JP2014108349A

JP2014108349A - 画像位置合わせ装置、画像セグメンテーション装置、医用画像装置、画像位置合わせ方法、及び画像セグメンテーション方法

Info

Publication number: JP2014108349A
Application number: JP2013232318A
Authority: JP
Inventors: Jun Wan; ジュンワン; Yanli Wang; ヤンリワン; Zhao-Qing Wang; シャオピンワン; Atsuko Sugiyama; 敦子杉山
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2012-12-04
Filing date: 2013-11-08
Publication date: 2014-06-12
Anticipated expiration: 2033-11-08
Also published as: CN103854276A; CN103854276B; US20140153797A1; JP6373570B2; US9214009B2

Abstract

【課題】高速な画像位置合わせを実現することができる画像位置合わせ装置、画像セグメンテーション装置、医用画像装置、画像位置合わせ方法、及び画像セグメンテーション方法を提供すること。
【解決手段】実施形態に係る画像処理装置は、剛体位置合わせ部と、第一非剛体位置合わせ部と、第二非剛体位置合わせ部とを備える。剛体位置合わせ部は、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得する。第一非剛体位置合わせ部は、前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得する。第二非剛体位置合わせ部は、前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得する。
【選択図】図１

Description

本発明の実施形態は、画像処理分野に関し、具体的には、画像位置合わせ装置、画像セグメンテーション装置、医用画像装置、画像位置合わせ方法、及び画像セグメンテーション方法に関する。

画像位置合わせ（レジストレーション）及び画像セグメンテーションは、画像処理分野における一つの重要なテーマであり、広範囲での応用が期待されている。例えば、撮影対象の画像を基準画像と位置合わせすることで、二者間の相対的な変形情報を得ることができる。この変形情報は、後に続く撮影対象の識別、例えば、画像セグメンテーションのために役立つ。また、変形情報を撮影対象の画像に重畳することで、位置合わせ画像（位置合わせされた画像）を得ることができる。この位置合わせ画像は、基準画像を基準として撮影対象の画像を校生した画像とみなすこともできる。そして、位置合わせ画像に対して、関心領域が標識化された基準画像を用いてセグメンテーションを実行することで、位置合わせ画像における関心領域を確定することができる。

また、正確性、高速性及び実行性は、画像位置合わせの重要な要素である。

特開２００９−７８１４４号公報

本発明が解決しようとする課題は、高速な画像位置合わせを実現することができる画像位置合わせ装置、画像セグメンテーション装置、医用画像装置、画像位置合わせ方法、及び画像セグメンテーション方法を提供することである。

実施形態に係る画像処理装置は、剛体位置合わせ部と、第一非剛体位置合わせ部と、第二非剛体位置合わせ部とを備える。剛体位置合わせ部は、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得する。第一非剛体位置合わせ部は、前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得する。第二非剛体位置合わせ部は、前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得する。

図１は、本発明の一実施形態に係る画像位置合わせ装置を示すブロック図である。図２は、本発明の他の実施形態に係る画像位置合わせ装置を示すブロック図である。図３は、本発明の一実施形態に係る位置合わせ画像生成部を示すブロック図である。図４は、本発明の他の実施形態に係る画像位置合わせ装置を示すブロック図である。図５は、本発明の一実施形態に係る画像位置合わせ方法を示すフローチャートである。図６は、本発明の一実施形態に係る画像セグメンテーション装置を示すブロック図である。図７は、本発明の一実施形態に係る画像セグメンテーション方法を示すフローチャートである。図８は、本発明の一実施形態に係る医用画像装置を示すブロック図である。図９は、本発明の他の実施形態に係る医用画像装置を示すブロック図である。図１０は、本発明の実施形態を実現可能なコンピュータの構成を示すブロック図である。

以下では、本発明のいくつかの実施形態を理解するために、本発明の概要を説明する。この概要は、本発明のキーになる部分あるいは重要な部分を特定するものではなく、また本発明の範囲を限定するものでもない。この概要は、後に説明するさらに詳細な説明に先立って、いくつかの概要を簡単に説明するものである。

本発明の一つの目的は、高速な画像位置合わせを実現することができる画像位置合わせ装置及びその方法を提供することである。また、本発明の他の目的は、画像セグメンテーション装置及びその方法並びに医用画像装置を提供することである。

本発明の一態様によれば、画像位置合わせ装置は、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得する剛体位置合わせ部と、前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得する第一非剛体位置合わせ部と、前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得する第二非剛体位置合わせ部とを備える。

本発明の他の態様によれば、画像位置合わせ方法は、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得するステップと、前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得するステップと、前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得するステップとを含む。

本発明の他の態様によれば、画像セグメンテーション装置は、第一入力画像及び基準となる第二入力画像に対して、請求項１〜１１のいずれか一つに記載の画像位置合わせ装置により位置合わせを実行する画像位置合わせ部と、前記画像位置合わせ部によって取得された第三変形情報を前記第一入力画像又は第二入力画像に重畳させて位置合わせ画像を生成する画像ワープ部と、三入力画像に基づいて前記位置合わせ画像上の関心領域を標識化する画像標識部とを備え、前記第三入力画像は、前記第二入力画像上において予め定められた関心領域を標識化することで得られたものである。

本発明の他の態様によれば、画像セグメンテーション方法は、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得するステップと、前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得するステップと、前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得するステップと、前記第三変形情報を前記第一入力画像又は前記第二入力画像に重畳させて位置合わせ画像を生成するステップと、第三入力画像に基づいて前記位置合わせ画像上の関心領域を標識化するステップとを含み、前記第三入力画像は、前記第二入力画像上で予め定められた関心領域を標識化することで得られたものである。

本発明の他の態様によれば、医用画像装置は、前記画像位置合わせ装置を含む。

本発明の他の態様によれば、医用画像装置は、前記画像セグメンテーション装置を含む。

また、本発明の他の態様によれば、前記画像位置合わせ方法を実現するためのコンピュータプログラムを提供する。

また、本発明の他の態様によれば、前記画像位置合わせ方法を実現するためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体の形式のコンピュータプログラム製品を提供する。

また、本発明の他の態様によれば、前記画像セグメンテーション方法を実現するためのコンピュータプログラムを提供する。

また、本発明の他の態様によれば、前記画像セグメンテーション方法を実現するためのコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体の形式のコンピュータプログラム製品を提供する。

ここで開示される方法及び装置では、剛体位置合わせと非剛体位置合わせとの組み合わせによって、高速な画像位置合わせを実現することができる。

以下、図面を参照しながら本実施形態の説明することによって、本実施形態の目的、特徴、メリットをより理解し易くすることができる。なお、図面中の構成は、単に本実施形態の原理を示すためのものである。また、図面において、同じあるいは類似の技術的特徴あるいは構成は、同様のあるいは類似の図面表記を用いて表現することとする。

以下、図面を参照しながら本実施形態について説明する。なお、説明において、一つの図面あるいは一つの実施形態に記載した構成や特徴は、一つあるいは複数の他の図面あるいは実施形態において示した構成や特徴の組み合わせることができる。さらに、明瞭にするため、図面や説明において本実施形態と無関係な内容や、当業者にとって周知の構成や処理については、表示や記載を省略する。

画像位置合わせは、位置決め対象の画像と基準画像との間の相対的な変形情報を得るために利用することができる。ここで、変形情報の代表例としては、変形場（deformation field）があげられるが、これに限定されるものでない。変形場は、一種のベクトル場であり、位置合わせ画像と基準画像における相対的構造（例えば、特徴点）との間の変化を反映することができる。以下、図１〜５を参考にしながら、本発明の実施形態に係る画像位置合わせ装置及び方法について説明する。

図１に示すように、本発明の一実施形態の画像位置合わせ装置１００は、剛体位置合わせ部１１０と、第一非剛体位置合わせ部１２０と、第二非剛体位置合わせ部１３０とを含む。剛体位置合わせ部１１０は、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得する。第一非剛体位置合わせ部１２０は、第一変形情報を初期変形情報として、第一入力画像及び第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得する。第二非剛体位置合わせ部１３０は、第二変形情報を初期変形情報として、第一入力画像及び第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得する。第三変形情報は、画像位置合わせ装置１００の最終位置合わせ結果とすることができる。

画像位置合わせは、空間的な変換関係により、剛体位置合わせ（rigid registration）及び非剛体位置合わせ（non-rigid registration）の２種類に大別できる。剛体位置合わせとは、画像に対する大域的な変形であり、例えば画像全体での回転や平行移動、縮小、拡大である。即ち、剛体位置合わせは、画像における局部変形の位置合わせ処理は含まない。また、非剛体位置合わせとは、画像に対する各種の局所的な変形である。即ち、非剛体位置合わせは、画像の局所変形（例えば、画像の局部ねじれ）を利用して行う位置合わせ処理である。

画像位置合わせ装置１００では、剛体位置合わせ部１１０によって剛体位置合わせが実行された後に、第一入力画像及び第二入力画像間の大きな全体変形の変形情報を得ることができる。また、非剛体位置合わせは、複数回繰り返し実行することが必要であるが、この非剛体位置合わせを、剛体位置合わせによって得られた変形情報を初期変形情報として実行することで、画像間の大きな全体変形の非剛体位置合わせに対する影響を除去することができる。例えば、第二入力画像に対して大きな全体変形が第一入力画像に存在することで非剛体位置合わせに多大な時間を要するといった事態を回避することができ、非剛体位置合わせの高い正確性を有することができる。したがって、画像位置合わせ装置１００は、高速な画像位置合わせを実現することができる。

本発明の実施形態において、剛体位置合わせ部１１０は、各種の適切な剛体位置合わせの手法を用いることができる。例えば、点に基づく位置合わせや、セグメンテーションに基づく位置合わせ、ボリューム特徴に基づく位置合わせ等である。また、剛体位置合わせにおける類似度としては、相互情報と正規化相互情報結合ヒストグラム（Normalized Mutual Information Joint Histogram）による手法、又は、平均二乗偏差（Mean Square Difference）、相関係数（Correlation Coefficient）、勾配類似度（Gradient Similarity）等が適用できる。また、剛体位置合わせにおける最適化の方法としては、パウエル法、擬似全数（Pseudo-Exhaustive）等の手法が適用できる。ここでは逐一列挙しない。

本発明の実施形態において、第一非剛体位置合わせ部１２０と第二非剛体位置合わせ１３０は、それぞれ適切な非剛体位置合わせの手法を用いることができる。例えば、基本関数が描く変形領域に基づく位置合わせ、薄板スプライン（Thin-plate spline）、B-スプライン（B-spline）に基づく位置合わせ、弾性変形等の物理模型に基づく位置合わせ、光流動場（Optical Flow Field）に基づく位置合わせ等を適用することができる。ここでは逐一列挙しない。

例として、本発明の一実施形態では、第一非剛体位置合わせ部１２０は、非微分同相（non-diffeomorphic）位置合わせにより第一非剛体位置合わせを実行する。

例として、本発明の一実施形態では、第二非剛体位置合わせ部１３０は、微分同相（diffeomorphic）位置合わせにより第二非剛体位置合わせを実行することで、第一非剛体位置合わせ部１２０によって得られた位置合わせ結果（即ち、第二変形情報）を高い精度で最適化する。

微分同相位置合わせ法と比較して、非微分同相位置合わせ法は、画像間の比較的大きな局所変形を得ることができるが、正確性が微分同相位置合わせ法よりも劣る。前記両者の実施形態を組み合わせて、これら比較的大きな局所変形情報を初期変形情報として微分同相位置合わせを実行すれば、大きな局所変形の微分同相位置合わせに対する影響を除去でき、例えば第一入力画像に第二入力画像に対して大きな局所変形が存在して微分同相位置合わせに多大な時間を要するといった事態を回避することができ、また微分同相位置合わせの高い正確性を確保することができる。

本発明の一実施形態では、第二非剛体位置合わせ部１３０が適用する微分同相位置合わせ法は、Differomorphic Demons法である。この方法は正確性が高く、計算速度も比較的速い。

本発明の他の実施形態において、第二非剛体位置合わせ部１３０が適用する微分同相位置合わせ法は、Large Deformation Diffeomorphic Metric Mapping（ＬＤＤＭＭ）法である。この方法は正確性が高いが、計算速度が比較的遅い。しかし、既に剛体位置合わせ部１１０によって画像における大きな全体変形の影響が除去されており、また、第一非剛体位置合わせ部１２０によって画像における大きな局所変形の影響が除去されているので、たとえ第二非剛体位置合わせ部１３０がＬＤＤＭＭ法を用いたとしても、ＬＤＤＭＭ法を単独で適用するよりも正確で速い画像位置合わせを実現することができる。

図２は、本発明の他の実施形態に係る画像位置合わせ装置を示すブロック図である。本実施形態では、位置合わせ画像の生成により、利用者が、位置合わせされた画像を便利に観察することができる。なお、位置合わせ画像は、第二入力画像を基準として第一入力画像を校正した画像と見なすことができる。

図２に示すように、画像位置合わせ装置２００は、剛体位置合わせ部２１０と、第一非剛体位置合わせ部２２０と、第二非剛体位置合わせ部２３０と、位置合わせ画像生成部２４０とを含む。なお、剛体位置合わせ部２１０、第一非剛体位置合わせ部２２０及び第二非剛体位置合わせ部２３０の機能は、図１における剛体位置合わせ部１１０、第一非剛体位置合わせ部１２０及び第二非剛体位置合わせ部１３０の機能と同じであるので、ここでは重複して説明はしない。位置合わせ画像生成部２４０は、第二非剛体位置合わせ部１３０により得られた第三変形情報を第一入力画像上へ重畳させて、位置合わせ画像を生成する。または、位置合わせ画像生成部２４０は、第三変形情報を第二入力画像上へ重畳させて、位置合わせ画像を生成してもよい。ここで、変形情報は、例えば、ベクトル場の形式である変形場である。ここで、ベクトル場における各ベクトルは、第一入力画像と第二入力画像との相応構造（例えば、特徴点）の変化量と方向を表している。なお、このベクトル場が第一入力画像から第二入力画像までの変化を表している場合、該ベクトル場を直接第一入力画像上へ重畳させ、または、逆向きにした後で第二入力画像上へ重畳させて、位置合わせ画像を取得する。同様に、このベクトル場が第二入力画像から第一入力画像への変化を表している場合には、該ベクトル場を直接第二入力画像上へ重畳させ、または、逆向きにした後で第一入力画像上へ重畳させて、位置合わせ画像を取得する。

画像位置合わせの過程において、コンピュータに記憶されている画像はデジタル画像であり、画像における画素点の座標は整数で表すことができる。画像に対して空間変換（ここでは、第三変形情報を第一入力画像又は第二入力画像上に重畳させることを指す）を実行する場合、変換後の画素点の座標は大抵の場合再び整数では表すことができず、この場合は画像に対してリサンプル（Resample）を実行し、このリサンプルの過程では通常補間を行って完了となる。そのため、図３に示す実施形態では、位置合わせ画像生成部２４０は、補間部２４１を含む。補間部２４１は、位置合わせ画像を生成する前に、第三変形情報を重畳された後の第一入力画像あるいは第二入力画像に対して補間を行い、画像の画素点の座標を整数にする（すなわち、第三変形情報を重畳させた後の非整数座標の画素間に整数座標の画素を挿入する）。補間部２４１は、現有の各種の適切な手法、例えば、最近傍補間（Nearest neighbor interpolation）法、バイリニア法（Bi-linear interpolation）、スプライン補間（Spline interpolation）法を用いて補間を行うことができるが、ここでは逐一列挙しない。

さらに画像位置合わせ装置１００の位置合わせ速度を向上させるため、本発明の他の実施形態では、第一入力画像と第二入力画像の分解能をそれぞれ落としてそれぞれ分解能が異なる２組の画像を生成し、低分解能から高分解能にするマルチスケール（multi-scale）法を適用して画像の位置合わせを完成する。図４は、本発明のこの実施形態に係る画像位置合わせ装置を示すブロック図である。

図４に示すように、画像位置合わせ装置４００は、剛体位置合わせ部４１０と、第一非剛体位置合わせ部４２０と、第二非剛体位置合わせ部４３０と、低分解能画像生成部４４０を含む。ここで、低分解能画像生成部４４０は、第一入力画像からピラミッド構造を呈する異なる分解能の一組の複数画像を生成し、かつ、第二入力画像からピラミッド構造を呈する異なる分解能の一組の複数画像を生成する。一つの画像に対応するピラミッド構造は、ピラミッド形状配列で分解能が徐々に落ちていくような一組の複数画像である。異なるスケールで原画像の分解能を落として一組の複数画像を得る。第一入力画像のピラミッド最下層の画像の分解能は第一入力画像の分解能と等しいか、それ以下である。第一入力画像のピラミッド最高層の画像の分解能は最も低くなっている。第二入力画像のピラミッド最下層の画像の分解能は第二入力画像の分解能と等しいか、それ以下である。第二入力画像のピラミッド最高層の画像の分解能は最も低くなっている。位置合わせに便利なように、第一入力画像のピラミッド各層の分解能は第二入力画像のピラミッド各層の分解能と同じとする。低文解剖画像生成部４４０は、現有の各種適切な手法を適用して第一入力画像及び第二入力画像の低分解能画像を生成することができる。例えば、ガウシアン・コンターレット（Gaussian Contourlet）法により低分解能画像を得ることができる。

剛体位置合わせ部４１０、第一非剛体位置合わせ部４２０及び第二非剛体位置合わせ部４３０は、図１における剛体位置合わせ部１１０、第一非剛体位置合わせ部１２０及び第二非剛体位置合わせ部１３０の機能を有する。この他、図４に示す実施形態において、剛体位置合わせ部４１０は、第一入力画像及び第二入力画像のピラミッド構造における予め定められた低分解能の画像から開始し第一入力画像及び第二入力画像のピラミッド構造における予め定められた高分解能の画像まで複数回の位置合わせを実行し、前回の位置合わせにて得られた変形情報は次の位置合わせの初期変形情報とし、最後の一回にて得られた変形情報を第一変形情報とする。第一非剛体位置合わせ部４２０は、第一変形情報を初期変形情報とし、第一入力画像及び第二入力画像のピラミッド構造における予め定められた低分解能の画像から開始して、第一入力画像及び第二入力画像のピラミッド構造にける予め定められた高分解能の画像まで複数回の第一非剛体位置合わせを実行し、前回の位置合わせにより得られた変形情報は次回の位置合わせの初期変形情報とし、最後一回にて得られた変形情報を第二変形情報とする。第二非剛体位置合わせ部４３０は、第二変形情報を初期変形情報とし、第一入力画像及び第二入力画像のピラミッド構造における予め定められた低分解能の画像から開始して、第一入力画像及び第二入力画像のピラミッド構造にける予め定められた高分解能の画像まで複数回の第二非剛体位置合わせを実行し、前回の位置合わせにより得られた変形情報は次回の位置合わせの初期変形情報とし、最後の一回にて得られた変形情報を第三変形情報とする。

剛体位置合わせ、第一非剛体位置合わせ及び第二非剛体位置合わせの３つの過程において適用される画像の分解能は互いに独立である。剛体位置合わせが終了するときの画像の分解能が第一非剛体位置合わせ開始時の画像の分解能と異なる場合、第一非剛体位置合わせ部４２０は第一変形情報を第一非剛体位置合わせ開始時の画像の分解能を有する変形情報に変換し、第一非剛体位置合わせの初期変形情報とすることができる。同様に、第一非剛体位置合わせが終了するときの画像の分解能が第二非剛体位置合わせ開始時の画像の分解能と異なる場合、第二非剛体位置合わせ部４３０は第二変形情報を第二非剛体位置合わせ開始時の画像の分解能を有する変形情報に変換し、第二非剛体位置合わせの初期変形情報とすることができる。

具体的例として、前の位置合わせ過程が終了したときの分解能が次の位置合わせ過程が開始するときの分解能より低い場合、次の位置合わせ部は、例えば、アップ・サンプリング（Upsampling）法を適用して前の位置合わせ過程の結果である変形情報（例えば、変形場）を処理し、次の位置合わせ過程が開始するときの分解能を有する変形情報を得ることができる。前の位置合わせ過程が終了したときの分解能が次の位置合わせ過程が開始するときの分解能より高い場合、次の位置合わせ部は、例えば、ダウン・サンプリング（Downsampling）法を適用して前の位置合わせ過程の結果である変形情報（例えば、変形場）を処理し、次の位置合わせ過程が開始するときの分解能を有する変形情報を得ることができる。

低分解能画像が含む情報量は高分解能画像が含む情報量より少なく、それに応じて、低分解能画像に対する処理速度は高分解能画像に対する処理速度より速い。低分解能画像の位置合わせ結果に基づいて高分解能画像の位置合わせを実行することによって、画像位置合わせの正確さを保証することができる。したがって、直接原始分解能の画像に対して位置合わせを実行する方法と比較して、多分解能に基づく位置合わせ法のほうが有効に位置合わせ速度を向上させることができる。

なお、剛体位置合わせ部４１０、第一非剛体位置合わせ部４２０、第二非剛体位置合わせ部４３０は、必ずしも全てが低分解能画像を使用するとは限らない。剛体位置合わせ部４１０、第一非剛体位置合わせ部４２０、第二非剛体位置合わせ部４３０のうち一つ又は二つが、状況に応じて、低分解能画像を使用するようにしてもよい。

本発明の一実施形態において、前記画像位置合わせ装置は、第一入力画像及び／又は第二入力画像に対し、要求に応じて適切な前処理を実行するための前処理部（図示せず）を含んでもよい。例えば、前処理部は、脳部画像の位置合わせに適用される場合には、第一入力画像及び／又は第二入力画像の中から頭蓋骨部分を除去し、かつ、第一入力画像及び／又は第二入力画像をグレースケール画像に変換する。

図５は、本発明の一実施形態に係る画像位置合わせ方法を示すフローチャートである。図５に示すように、ステップＳ５１０において、第一入力画像及び基準としての第二入力画像に対して剛体位置合わせを実行し、第一変形情報を取得する。ステップＳ５１０は、前記実施形態に基づく画像位置合わせ装置における剛体位置合わせ部１１０、２１０又は３１０等により実行することができる。また、ステップＳ５２０において、第一変形情報を初期変形情報として、第一及び第二入力画像に対して第一非剛体位置合わせを実行し、第二変形情報を取得する。ステップＳ５２０は、前記実施形態に基づく画像位置合わせ装置における第一非剛体位置合わせ部１２０、２２０又は３２０等により実行することができる。また、ステップＳ５３０において、第二変形情報を初期変形情報として、第一及び第二入力画像に対して第二非剛体位置合わせを実行し、第三変形情報を取得する。ステップＳ５３０は、前記実施形態に基づく画像位置合わせ装置における第二非剛体位置合わせ部１３０、２３０又は３３０等により実行することができる。なお、画像位置合わせ方法の各ステップのより具体的な詳細については、上述した本発明の実施形態における画像位置合わせ装置の各部に関する説明を参考にして理解することができるので、ここでは繰り返して説明しない。

本発明の前記実施形態に係る画像位置合わせ装置及び方法は、二次元画像あるいは三次元ボリューム画像に対して位置合わせを実行することができるが、これらに限定されるものではない。

本発明の実施形態に係る画像位置合わせ装置及び方法は、各種画像の位置合わせに適用することができる。例えば、本発明の実施形態に係る画像位置合わせ装置及び方法は、医用画像の位置合わせに適用でき、基準としての第二入力画像は、医学アトラス（Medical Atlas）から選択された相応する画像であってもよい。医学アトラスは、人体の内臓器官に基づいて人体の画像に対してセグメンテーションを行い、各内臓器官や機能範囲に対する名称等により構築されたデータである。また、他の実施形態において、第一入力画像及び第二入力画像は、医用診断装置により取得されたデータに基づいて生成された医用画像であってもよい。例えば、基準画像としての第二入力画像は、ある地域又は民族を代表する被検体に対して得られたデータに基づいて生成された医用画像であり、第一入力画像は、同じ地域又は民族のその他の被検体に対して得られたデータに基づいて生成された医用画像である。

ここで、前記の医用画像は、医用診断装置を用いて得られた被検体のデータに基づいて生成された画像であってもよい。また、ここでは、前記の医用診断装置は、例えば、Ｘ線診断装置、超音波診断装置、コンピュータ断層撮影（Computed Tomography：ＣＴ）装置、磁気共鳴イメージング（Magnetic Resonance Imaging：ＭＲＩ）装置、陽電子放射断層撮影（Positron Emission Tomography：ＰＥＴ）装置等であるが、これらに限定されるものではない。

また、本発明の実施形態に係る画像位置合わせ技術は、位置合わせに基づく画像セグメンテーションに適用することができる。図６は、本発明の一実施形態に係る画像セグメンテーション装置を示すブロック図である。図６に示すように、画像セグメンテーション装置６００は、画像位置合わせ部６１０、画像ワープ部６２０及び画像標識部６３０を含む。画像位置合わせ部６１０は、第一入力画像と基準としての第二入力画像を位置合わせするためのものであり、上記いずれかの実施形態における画像位置合わせ装置１００、２００又は３００に基づいて画像位置合わせ部６１０を実行させる。画像ワープ部６２０は、画像位置合わせ部６１０で得られた第三変形情報を第一入力画像又は第二入力画像上へ重畳させ、位置合わせ画像を生成するために用いられる。画像標識部６３０は、第三入力画像上の関心領域に対する標識に基づいて位置合わせ画像上の関心領域を標識化するために用いられる。ここで、第三入力画像は、第二入力画像上で標識化された予め定められた関心領域によって得られたものである。例えば、第三入力画像は、第二入力画像（例えば、医学アトラスから選択された相応する画像）において関心領域の内臓器官の名称や機能範囲の名称等を標識することにより得られたものである。

本発明の実施形態に係る画像位置合わせ装置を用いて画像位置合わせ部６１０を実行させることにより、高速な位置合わせを提供することができ、これにより、高速な画像セグメンテーションを提供することができる。

図７は、本発明の一実施形態に係る画像セグメンテーション方法を示すフローチャートである。図７に示すように、ステップＳ７１０において、第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行し、第一変形情報を得る。また、ステップＳ７２０において、第一変形情報を初期変形情報とし、第一及び第二入力画像に対して第一非剛体位置合わせを実行し、第二変形情報を得る。また、ステップＳ７３０において、第二変形情報を初期変形情報として、第一及び第二入力画像に対して第二非剛体位置合わせを実行し、第三変形情報を得る。ステップＳ７１０、Ｓ７２０及びＳ７３０は画像位置合わせ部６１０により実行することができ、より具体的には、それぞれ、画像位置合わせ部６１０を実行するための画像位置合わせ装置における剛体位置合わせ部、第一非剛体位置合わせ部及び第二非剛体位置合わせ部により実行することができる。そして、ステップＳ７４０は、画像ワープ部６２０により実行することができる。また、ステップＳ７５０において、第三入力画像に基づいて位置合わせ画像上の関心領域を標識化する。この第三入力画像は、第二入力画像上に標識化された予め定められた関心領域により得られたものである。ステップＳ７５０は、画像標識部６３０により実行される。なお、画像セグメンテーション方法の各ステップのより具体的な詳細については、上述した本発明の実施形態における画像位置合わせ装置の各部に関する説明を参考にして理解することができるので、ここでは繰り返して説明しない。

本発明の前記実施形態の画像セグメンテーション装置及び方法は、二次元画像あるいは三次元ボリューム画像に対してセグメンテーションを実行することができるが、これらに限定されるものではない。

同様に、本発明の実施形態の画像セグメンテーション装置及び方法は、各種画像のセグメンテーションに適用することができる。例えば、本発明の実施形態の画像セグメンテーション装置及び方法は、医用画像のセグメンテーションに適用することができる。一実施形態において、第一入力画像は、医用診断装置により得られたデータに基づいて生成された医用画像であってもよく、基準としての第二入力画像は、医学アトラスから選択された相応する画像であってもよい。他の実施形態において、第一及び第二入力画像は、医用診断装置により得られたデータに基づいて生成された医用画像であってもよい。

図８は、本発明の一実施形態に係る医用画像装置を示すブロック図である。なお、本発明の主旨と範囲を明確にするため、図８では、医用画像装置のその他の構成は省略した。医用画像装置８００は、画像位置合わせ装置８１０を含み、入力画像に対して位置合わせを実行する。画像位置合わせ装置８１０は、前記いずれかの実施形態に基づく画像位置合わせ装置１００、２００又は３００である。例えば、医用画像装置８００は、Ｘ線診断装置、超音波診断装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置等であるが、これらに限定されるものではない。

図９は本発明の他の実施形態に係る医用画像装置を示すブロック図である。なお、本発明の主旨と範囲を明確にするため、図９においては医用画像装置のその他の構成は省略した。医用画像装置９００は、画像セグメンテーション装置９１０を含み、入力画像に対して位置合わせを実行する。画像セグメンテーション装置９１０は、前記いずれかの実施形態に基づく画像セグメンテーション装置６００である。例えば、医用画像装置９００は、Ｘ線診断装置、超音波診断装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置等であるが、これらに限定されるものではない。

前記画像位置合わせ装置及び画像セグメンテーション装置は、医用画像装置の中に具備されている場合、使用する具体的手段や方法は周知のものを適用することができるが、ここでは説明は省略する。

一例として、前記画像位置合わせ方法及び画像セグメンテーション方法の各ステップ、並びに、前記画像位置合わせ装置及び画像セグメンテーション装置の各構成及び／又は各部は、ソフトウエア、ファームウエア、ハードウエア又はそれらの組み合わせとして実施しても良い。ソフトウエア又はファームウエアによって実現した場合には、前記方法のソフトウエアプログラムを実施するため、メモリ媒体から又はネットワークを介して専用のハードウエア構造のコンピュータへダウンロードして構成することができ、該コンピュータに各種プログラムがダウンロードされた状態で、各種機能等を実施することができる。

図１０において、ＣＰＵ（Central Processing Unit）１００１は、ＲＯＭ（Read Only Memory）１００２の中に記憶されているプログラム、又は、記憶部１００８からＲＡＭ（Random Access Memory）１００３へ書き込まれたプログラムに基づいて、各種処理を実施する。ＲＡＭ１００３では、必要に応じて、ＣＰＵ１００１が各種処理等を実施するときに必要なデータも記憶しておく。ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３は、バス１００４を経由してそれぞれ接続されている。入力／出力インターフェース１００５も、バス１００４につながっている。

下記の各部は、入力／出力インターフェース１００５に接続されている入力部１００６（キーボード、マウス等を含む）、出力部１００７（モニタ、例えば、ブラウン管（Cathode-Ray Tube：ＣＲＴ）、液晶モニタ（Liquid Crystal Display）等や、スピーカ等を含む）、記憶部１００８（キーボードを含む）、通信部１００９（ネットワークインターフェースカード、例えば、ＬＡＮ（Local Area Network）カード、モデム等）である。通信部１００９は、ネットワーク（例えば、インターネット）を介して通信処理を実施する。必要に応じて、駆動部１０１０も入力／出力インターフェース１００５に接続可能である。取り外し可能な媒体１０１１は、例えば、磁気ディスク、光ディスク、ＭＯ（Magneto Optical disc）、半導体メモリ等であって、必要に応じて駆動部１０１０に装着され、必要に応じてコンピュータプログラムが読み出されて、記憶部１００８へダウンロードされる。

ソフトウエアによって前記システム処理を実施する場合は、ネットワーク（例えば、インターネット又は記憶媒体（例えば、取外し可能な媒体１０１１））からプログラムをダウンロードしても良い。

当業者によれば、このような記憶媒体が、図１０に示すような、プログラムを記憶し、当該プログラムをユーザに提供するために装置から離れたところに配置される取り外し可能な媒体１０１１に限られないことは明らかである。ここでいう取り外し可能な媒体１０１１の例は、磁気ディスク（フロッピー（登録商標）ディスク、光ディスク（ＣＤ−ＲＯＭやＤＶＤを含む）、磁気光ディスク（ＭｉｎｉＤｉｓｃ（ＭＤ、登録商標）を含む）らを含む。また、記憶媒体は、ＲＯＭ１００２であっても良く、記憶部１００８に含まれるハードディスク等、その中にプログラムが記憶され、それらを含む装置からユーザへプログラムが送られる形態でも良い。

また、本発明は、上述した画像位置合わせ方法を実現するための機器読み取り可能な命令コードを記憶したプログラムとしても実施可能である。ここでいう命令コードは、機器によって読み取られて実行されることで、上述した画像位置合わせ方法を実現する。

また、本発明は、上述した画像セグメンテーション方法を実現するための機器読み取り可能な命令コードを記憶したプログラムとしても実施可能である。ここでいう命令コードは、機器によって読み取られて実行されることで、上述した画像セグメンテーション方法を実現する。

ここで、前記機器読み取り可能な命令コードを記憶したプログラムを格納するための記憶媒体も、本発明に含まれる。この記憶媒体は、ハードディスク、光ディスク、磁気光ディスク、メモリカード、メモリスティックに限定されるものではない。

なお、上述した具体的な実施形態では、一つの実施方法に示す特徴について、同様の方法を一つ又は複数の他の実施方法の中で適用したり、その他の実施方法と組み合わせたり、又はその他の実施方法における特徴に替えるといったことも可能である。

さらに、“包含する／含む”といった用語を使用したときは、特徴・構成・ステップあるいは構造の存在を指し示す。ただし、その他の特徴・構成・ステップあるいは構造の存在や付加の排除を意味するものではない。

上記実施形態においては、数字構成の図番記号を用いて各ステップや構成を表記している。ただし、これらの図番記号は単なる説明や画図の都合への考慮によるものであって、その順序やいかなるほかの限定を表すものではない、と当業者は理解すべきである。

このほか、本実施形態の方法は、詳細な説明の欄において説明された時間順序に沿って実施されるものに限らず、その他の時間順序に沿って、同時に、あるいは独立して実施されても良い。それゆえ、本願の詳細な説明において説明された方法の実施順序は、本実施形態の技術範囲に対する構成を制限するものではない。

上記では、既に、本実施形態の具体的実施形態の説明をもって、本実施形態の説明を行っているものの、前記のすべての実施形態はすべて単なる例示に過ぎず、限定するものではない。当業者は、特許請求の主旨や範囲において、本実施形態の各種手直し・改良あるいは同等物の設計を行うことが可能である。これらの手直し・改良あるいは同等物は、本実施形態の保護範囲内に含まれるものである。

１００画像位置合わせ装置
１１０剛体位置合わせ部
１２０第一非剛体位置合わせ部
１３０第二非剛体位置合わせ部

Claims

第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得する剛体位置合わせ部と、
前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得する第一非剛体位置合わせ部と、
前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得する第二非剛体位置合わせ部と
を備えたことを特徴とする画像位置合わせ装置。
前記第一非剛体位置合わせ部は、非微分同相位置合わせ法に基づいて前記第一非剛体位置合わせを実行することを特徴とする請求項１に記載の画像位置合わせ装置。
前記第二非剛体位置合わせ部は、微分同相位置合わせ法に基づいて前記第二非剛体位置合わせを実行することを特徴とする請求項１に記載の画像位置合わせ装置。
前記微分同相位置合わせ法は、Diffeomorphic Demons法であることを特徴とする請求項３に記載の画像位置合わせ装置。
前記微分同相位置合わせ法は、Large Deformation Diffeomorphic Metric Mapping法であることを特徴とする請求項３に記載の画像位置合わせ装置。
前記第一入力画像及び前記第二入力画像からそれぞれピラミッド構造を呈する異なる低解像度の複数の画像を生成する低解像度画像生成部をさらに備え、
前記第一入力画像のピラミッド構造における最下層の解像度は、前記第一入力画像の解像度よりも低く、前記第二入力画像のピラミッド構造における最下層の解像度は、前記第二入力画像の解像度よりも低く、前記第一入力画像のピラミッド構造における各層の解像度は、前記第二入力画像のピラミッド構造における対応する層の解像度と同等であり、
前記剛体位置合わせ部、前記第一非剛体位置合わせ部及び前記第二非剛体位置合わせ部のうちの少なくとも一つは、前記第一入力画像及び前記第二入力画像のピラミッド構造における予め定められた低解像度画像から開始して、前記第一入力画像及び前記第二入力画像のピラミッド構造における予め定められた高解像度画像まで複数回の位置合わせを実行し、かつ、一回前の位置合わせにて得られた変形情報は、次の位置合わせにおける初期変形情報として用いられる
ことを特徴とする請求項１に記載の画像位置合わせ装置。
前記第一非剛体位置合わせ部は、前記剛体位置合わせ終了時の画像の分解能が前記第一非剛体位置合わせ開始時の画像の分解能と異なる場合に、前記第一変形情報を前記第一非剛体位置合わせ開始時の画像の分解能を有する変形情報に変換し、前記第一非剛体位置合わせにおける初期変形情報とする、
及び／又は、
前記第二非剛体位置合わせ部は、前記第一非剛体位置合わせ終了時の画像の分解能が前記第二非剛体位置合わせ開始時の画像の分解能と異なる場合に、前記第二変形情報を前記第二非剛体位置合わせ開始時の画像の分解能を有する変形情報に変換し、前記第二非剛体位置合わせにおける初期変形情報とする、
ことを特徴とする請求項６に記載の画像位置合わせ装置。
前記第三変形情報を前記第一入力画像又は前記第二入力画像に重畳させて位置合わせ画像を生成する位置合わせ画像生成部をさらに備えたことを特徴とする請求項１に記載の画像位置合わせ装置。
前記位置合わせ画像生成部は、補間部を有し、
前記補間部は、位置合わせ画像を生成する前に、重畳後の前記第一入力画像又は前記第二入力画像に対して補間を実行する
ことを特徴とする請求項８に記載の画像位置合わせ装置。
前記第一入力画像は、医用診断装置により取得されたデータに基づいて生成された医用画像であり、前記第二入力画像は、医学アトラスから選択された対応する画像であることを特徴とする請求項１〜９のいずれか一つに記載の画像位置合わせ装置。
前記第一入力画像及び前記第二入力画像は、医用診断装置により取得されたデータに基づいて生成された医用画像であることを特徴とする請求項１〜９のいずれか一つに記載の画像位置合わせ装置。
第一入力画像及び基準となる第二入力画像に対して、請求項１〜１１のいずれか一つに記載の画像位置合わせ装置により位置合わせを実行する画像位置合わせ部と、
前記画像位置合わせ部によって取得された第三変形情報を前記第一入力画像又は第二入力画像に重畳させて位置合わせ画像を生成する画像ワープ部と、
第三入力画像に基づいて前記位置合わせ画像上の関心領域を標識化する画像標識部とを備え、
前記第三入力画像は、前記第二入力画像上において予め定められた関心領域を標識化することで得られたものであることを特徴とする画像セグメンテーション装置。
前記第一入力画像は、医用診断装置により取得されたデータに基づいて生成された医用画像であり、前記第二入力画像は、医用画像群の中から選択された対応する画像であることを特徴とする請求項１２に記載の画像セグメンテーション装置。
前記第一入力画像及び前記第二入力画像は、医用診断装置により取得されたデータに基づいて生成された医用画像であることを特徴とする請求項１２に記載の画像セグメンテーション装置。
請求項１〜１１のいずれか一つに記載の画像位置合わせ装置を含むことを特徴とする医用画像装置。
請求項１２〜１４のいずれか一つに記載の画像セグメンテーション装置を含むことを特徴とする医用画像装置。
第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得するステップと、
前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得するステップと、
前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得するステップと
を含んだことを特徴とする画像位置合わせ方法。
第一入力画像及び基準となる第二入力画像に対して剛体位置合わせを実行することで、第一変形情報を取得するステップと、
前記第一変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第一非剛体位置合わせを実行することで、第二変形情報を取得するステップと、
前記第二変形情報を初期変形情報として、前記第一入力画像及び前記第二入力画像に対して第二非剛体位置合わせを実行することで、第三変形情報を取得するステップと、
前記第三変形情報を前記第一入力画像又は前記第二入力画像に重畳させて位置合わせ画像を生成するステップと、
第三入力画像に基づいて前記位置合わせ画像上の関心領域を標識化するステップとを含み、
前記第三入力画像は、前記第二入力画像上で予め定められた関心領域を標識化することで得られたものであることを特徴とする画像セグメンテーション方法。