JP2015039578A - 画像処理方法および装置並びにプログラム - Google Patents

Abstract

【課題】医用画像間で位置合せをより高い精度で行う画像処理方法及び装置を提供する。【解決手段】第一医用画像における第一血管画像及び第二医用画像における第二血管画像を抽出する血管抽出部３と、抽出された第一及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する血管部分構造体検出部４と、第一血管画像における血管部分構造体と第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体間のずれが小さくなるように、第一及び第二血管画像のうち少なくとも一方に座標変換を行い、第一及び第二血管画像の間において、血管部分構造体を含む所定領域における類似度を算出するマッチング評価部５と、類似度が最も高い座標変換を用いて、位置合せのための座標変換を行う座標変換部６とを備える。【選択図】図１

Description

本発明は、医用画像間の位置合せ技術に関する。

従来、撮像装置として、磁気共鳴装置（ＭＲ：Magnetic Resonance）、放射線断層撮影装置（ＣＴ：Computed
Tomography）、超音波装置（ＵＳ：Ultra Sound）などが知られている。これらの撮像装置には、その撮像モダリティ（modality）ごとにそれぞれ長所/短所が存在し、ある特定の撮像モダリティによる画像だけでは診断における精度が不足する場合がある。このため、近年、特定の撮像モダリティによる画像だけでなく、複数の異なる撮像モダリティによる画像を用いて診断することで、診断精度の向上を図る試みが盛んに行われている。

複数の異なる撮像モダリティによる画像を用いた診断では、撮像モダリティごとに画像の座標系が異なる。そのため、これらの座標系の相違や臓器の変動・変形に起因する位置ズレを補正する技術、すなわち、画像間での位置合せ（Registration）技術が重要である。

ところで、互いに異なる複数の画像間での位置合せ手法としては、相互情報量（Mutual Information）を用いる手法が最も一般的である（例えば、非特許文献１等参照）。この手法は、広義においては、画像の輝度値に基づく手法（intensity based method）である。つまり、相互情報量を用いて位置合せを行うには、対象画像間で輝度値に関連性があることが前提となる。

IEEE Trans. on Med. Imaging, 16:187-198, 1997

しかしながら、ＵＳ画像においては、音響陰影（Acoustic shadow）が発生し、高反射体の後方の輝度値は本来の値よりも低下する。また血管の輝度値も血管の走行方向に依って変化する。このため、例えば、ＭＲ画像とＵＳ画像との位置合せ、あるいは、ＣＴ画像とＵＳ画像との位置合せにおいては、輝度値の関連性に乏しい状況がしばしば発生し、位置合せの精度が極端に悪くなるケース（case）がある。

このような事情により、医用画像間の位置合せをより高い精度にて行うことができる技術が望まれている。

第１の観点の発明は、
３次元画像である第一医用画像及び第二医用画像の位置合せを行う画像処理方法であって、
前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出工程と、
前記抽出工程により抽出された前記第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出工程と、
前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体同士のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算工程と、
前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換工程とを備えた画像処理方法を提供する。

第２の観点の発明は、
３次元画像である第一医用画像及び第二医用画像の位置合せを行う画像処理装置であって、
前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出手段と、
前記抽出手段により抽出された第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出手段と、
前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体間のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算手段と、
前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換手段とを備えた画像処理装置を提供する。

第３の観点の発明は、
前記複数の組合せが、前記第一血管画像における複数の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、上記第２の観点の画像処理装置を提供する。

第４の観点の発明は、
前記複数の組合せが、選択された前記第一血管画像における単一の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、上記第２の観点の画像処理装置を提供する。

第５の観点の発明は、
前記血管部分構造体が、血管分岐点と、該血管分岐点から枝分かれする二本の血管部分とを含む、上記第２の観点から第４の観点のいずれか一つの画像処理装置をする。

第６の観点の発明は、
前記演算手段が、前記血管分岐点同士が重なり、かつ、前記二本の血管部分に近似する二直線を含む平面同士が重なるように、前記座標変換を行う、上記第５の観点の画像処理装置を提供する。

第７の観点の発明は、
前記血管部分構造体が、第一血管分岐点と、該第一血管分岐点から伸びる一本の第一血管部分と、前記第一血管分岐点とは異なる第二血管分岐点と、該第二血管分岐点から伸びる一本の第二血管部分とを含む、上記第２の観点から第４の観点のいずれか一つ観点の画像処理装置を提供する。

第８の観点の発明は、
前記演算手段が、前記第一血管分岐点、前記第二血管分岐点、または、前記第一血管部分及び第二血管部分に近似する二直線を最短距離で結ぶ線分の中点である所定の点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、上記第７の観点の画像処理装置を提供する。

第９の観点の発明は、
前記血管部分構造体が、血管分岐を構成する血管部分とは異なる二本の血管部分を含む、上記第２の観点から第４の観点のいずれか一つの観点の画像処理装置を提供する。

第１０の観点の発明は、
前記演算手段が、前記二本の血管部分に近似する二直線を最短距離で結ぶ線分の中点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、上記第９の観点の画像処理装置を提供する。

第１１の観点の発明は、
前記座標変換が行われた前記第一医用画像及び第二医用画像における画素値に係る特徴量に基づいて、該第一医用画像及び第二医用画像の少なくとも一方の座標変換を行って前記位置合せの調整を行う調整手段をさらに備えた、上記第２の観点から第１０の観点のいずれか一つの観点の画像処理装置を提供する。

第１２の観点の発明は、
前記位置合せの調整が行われた前記第一医用画像及び第二医用画像の各々における対応断面像を生成する生成手段と、
前記第一医用画像及び第二医用画像の各々における対応断面像を出力する出力手段とをさらに備えた、上記第２の観点から第１１の観点のいずれか一つの観点の画像処理装置を提供する。

第１３の観点の発明は、
前記検出手段が、前記第一血管画像及び第二血管画像において、最も太い血管部分側から追跡することにより、前記血管部分構造体を検出する、上記第２の観点から第１２の観点のいずれか一つの観点の画像処理装置を提供する。

第１４の観点の発明は、
前記第一医用画像及び第二医用画像が、撮像モダリティが互いに異なる画像である、上記第２の観点から第１３の観点のいずれか一つの観点の画像処理装置を提供する。

第１５の観点の発明は、
前記第一医用画像及び第二医用画像の一方が、超音波診断装置による画像である、上記第１４の観点の画像処理装置を提供する。

第１６の観点の発明は、
前記第一医用画像及び第二医用画像が、肝臓を含む画像である、上記第２の観点から第１５の観点のいずれか一つの観点の画像処理装置を提供する。

第１７の観点の発明は、
前記第一血管画像及び第二血管画像が、門脈または肝静脈に対応する画像である、上記第１６の観点の画像処理装置を提供する。

第１８の観点の発明は、
前記抽出手段が、前記第一血管画像及び第二血管画像を、二値化画像として抽出する、上記第２の観点から第１７の観点のいずれか一つの観点の画像処理装置を提供する。

第１９の観点の発明は、
前記検出手段が、前記複数の血管部分を細線化した後に、前記血管部分構造体を検出する、上記第２の観点から第１８の観点のいずれか一つの観点の画像処理装置を提供する。

第２０の観点の発明は、
コンピュータ（computer）を、上記第２の観点から第１９の観点のいずれか一つの観点の画像処理装置として機能させるためのプログラム（program）を提供する。

上記観点の発明によれば、上記構成により、同一の被写体を表す画像間において、互いに対応する血管構造が実質的に同一であることを利用して、一部の血管構造が最もマッチング（matching）するように座標変換するので、位置合せの対象となる画像間で輝度値の関連性が小さい場合であっても、その影響を受けることなく位置合せを行うことができ、その結果、より精度の高い位置合せを行うことが可能になる。

第一実施形態に係る画像処理装置１の構成を概略的に示す機能ブロック図である。 同一被検者の肝臓を表すＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USの一例を示す図である。 ＭＲ血管画像Ｖ_MR、ＭＲ血管樹骨ＴＲ_MR、及びＭＲ血管分岐におけるベクトルＵ，Ｖ，Ｗの算出結果のそれぞれの一例を示す図である。 血管分岐点を検出する方法を説明するための図である。 血管分岐を形成する血管部分に対応したベクトルを求める方法を説明するための図である。 血管分岐のマッチング評価の概念図ある。 血管分岐を規定するベクトルを説明するための図である。 画像表示の一例を示す図である。 第一実施形態に係る画像処理装置１における処理の流れを示すフロー図である。 第二実施形態における不完全血管分岐ペアの構成を説明するための図である。 不完全血管分岐ペアを規定するベクトルを説明するための図である。 第三実施形態における血管部分ペアの構成を説明するための図である。 血管部分ペアを規定するベクトルを説明するための図である。

以下、発明の実施形態について説明する。なお、これにより、発明が限定されるものではない。

（第一実施形態）
図１は、本実施形態に係る画像処理装置１の構成を概略的に示す機能ブロック（block）図である。なお、画像処理装置１は、例えば、コンピュータに所定のプログラムを実行させることにより実現させることができる。

図１に示すように、画像処理装置１は、画像取得部２と、血管抽出部３と、血管部分構造体検出部４と、マッチング評価部５と、座標変換部６と、位置合せ調整部７と、対応断面像生成部８と、画像出力部９とを有している。なお、血管抽出部３、血管部分構造体検出部４、マッチング評価部５、座標変換部６、位置合せ調整部７、対応断面像生成部８、及び画像出力部９は、それぞれ、発明における抽出手段、検出手段、評価手段、変換手段、調整手段、生成手段、及び出力手段の一例である。

画像取得部２は、位置合せの対象となる２つの画像を取得する。通常は、ユーザ（user）の操作に応じて、入力された２つの３次元医用画像を、位置合せの対象となる２つの画像として取得する。画像取得部２は、これら２つの画像のうち一方の画像を、位置合せ処理において固定される目標画像に設定し、他方の画像を、位置合せ処理において座標変換される対象画像に設定する。本例では、位置合せの対象となる２つの３次元医用画像として、同一被検者の肝臓を表すＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USを取得する。また、ＵＳ画像Ｇ_USを目標画像に設定し、ＭＲ画像Ｇ_MRを対象画像に設定する。なお、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USは、発明における第一医用画像及び第二医用画像の一例である。図２に、同一被検者の肝臓を表すＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USの一例を示す。ただし、この図では、便宜上、３次元医用画像における所定の断面像を示している。

血管抽出部３は、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USそれぞれについて、血管を表す血管画像を抽出する。血管画像の抽出には、既知の手法を用いる。例えば、非特許文献 Kirbus C and Quek
F: A review of vessel extraction technique and algorithms, ACM Computer Surveys
（CSUR）, 36（2）, 81-121, 2004.に記載されている手法を用いる。以下、ＭＲ画像Ｇ_MRにおける血管画像をＭＲ血管画像Ｖ_MRといい、ＵＳ画像Ｇ_USにおける血管画像をＵＳ血管画像Ｖ_USという。本例では、血管画像として、肝臓の門脈または肝静脈を表す画像を抽出する。また、血管画像は、二値化画像として抽出する。なお、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USは、発明における第一血管画像及び第二血管画像の一例である。図３（ａ）に、血管画像の一例として、ＭＲ血管画像Ｖ_MRのサンプル（sample）を示す。

血管部分構造体検出部４は、抽出されたＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USそれぞれにおいて、１つ以上の血管部分構造体を検出する。血管部分構造体とは、互いに近接または結合する複数の血管部分により構成される構造体である。本例では、血管部分構造体として、血管分岐を検出する。血管分岐は、血管分岐点と、その血管分岐点から枝分かれする二本の血管部分とにより構成される。そのため、血管分岐は、血管分岐点の位置と、その血管分岐点から枝分かれする二本の血管部分の走行方向及び長さとにより特定され、識別される。血管部分構造体検出部４は、具体的には、次のような処理を行う。

まず、抽出されたＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USに対して、スムージング（smoothing）処理を施す。これにより、境界（輪郭）が滑らかになった血管画像が得られる。スムージング処理には、例えば、３次元のガウシアンフィルタ（Gaussian Filter）や３次元のメディアンフィルタ（Median Filter）などを用いる。

次に、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USに対して、スケルトン（skeleton）処理（３次元細線化処理）を施す。これにより、血管の走行方向に沿った軸だけが木の枝骨のように線状に表された「血管樹骨」が得られる。以下、ＭＲ血管画像から得られた血管樹骨をＭＲ血管樹骨ＴＲ_MRといい、ＵＳ血管画像から得られた血管樹骨をＵＳ血管樹骨ＴＲ_USという。スケルトン処理としては、例えば、非特許文献 Lee et.al ,
Building skeleton models via 3-D medial surface/axis thinning algorithms.
Computer Vision, Graphics, and Image Processing, 56(6):462-478, 1994 に記載されている手法を用いる。図３（ｂ）に、血管樹骨の一例として、ＭＲ血管樹骨ＴＲ_MRのサンプルを示す。図３（ｂ）において、各血管部分に付された番号は、タグ（tag）番号である。

次いで、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、１つ以上の血管分岐点を検出する。具体的には、図４に示すように、血管樹骨ＴＲの枝骨に沿って、その枝骨上の点を含む所定サイズ（size）の領域を解析領域Ａ１として設定する。解析領域Ａ１は、例えば、血管樹骨ＴＲの枝骨上の点に対応した画素を中心とする［３×３×３］画素の３次元領域とする。次いで、この解析領域Ａ１に対して解析を行い、血管分岐を形成する連続画素を検出する。解析は、血管樹骨の「幹」側から「枝先」側に向かって行われるよう、血管樹骨の元となる血管画像において最も太い血管部分に相当する枝骨の端部から解析を開始する。そして、連続画素が枝分かれする点を、血管分岐点ＢＰとして検出する。なお、血管分岐は、一本の血管が二本の血管に枝分かれする二叉分岐が主流であるが、一本の血管が同一の分岐点で三本以上の血管に枝分かれする三叉以上の分岐も存在する。三叉以上の分岐では、複数の二叉分岐として認識する。以下、ＭＲ血管樹骨ＴＲ_MRにおいて検出された各血管分岐点をＭＲ血管分岐点ＢＰ_MR,i（i=1,2,…）で表し、ＵＳ血管樹骨ＴＲ_USにおいて検出された各血管分岐点をＵＳ血管分岐点ＢＰ_US,j（j=1,2,…）で表す。

なお、血管分岐点を検出する際、簡略化のため、血管樹骨の全体において、血管分岐点から枝分かれした血管部分の長さが非常に小さい血管分岐点は排除し、枝分かれした血管部分の長さが所定の閾値を超える比較的大きめの血管分岐点のみを検出するようにしてもよい。

次に、ＭＲ血管分岐点ＢＰ_MR,i及びＵＳ血管分岐点ＢＰ_US,jの各々について、その血管分岐点から枝分かれする二本の血管部分に対応した二つのベクトル（vector）を求める。具体的には、次のような処理を行う。

図５（ａ）に示すように、血管樹骨ＴＲ上で、血管分岐点ＢＰごとに、その血管分岐点ＢＰを含む所定サイズの領域を注目領域Ａ２として設定する。注目領域Ａ２は、例えば、血管分岐点ＢＰを中心とする［１０×１０×１０］画素の３次元領域とする。注目領域Ａ２内には、血管分岐点ＢＰから枝分かれする二本の血管部分ＢＶ₁，ＢＶ₂が含まれている。次に、図５（ｂ）に示すように、二本の血管部分ＢＶ₁，ＢＶ₂それぞれの走行方向と長さを表すベクトルｂ₁，ｂ₂を求める。血管分岐点ＢＰから枝分かれする血管部分ＢＶ₁，ＢＶ₂の走行方向と長さは、注目領域Ａ２内において、対象となる血管分岐点ＢＰから枝分かれする血管部分に次の血管分岐点ＢＮが現れる場合には、対象となる血管分岐点ＢＰとその次の血管分岐点ＢＮとを結ぶ線分の方向と長さとする。一方、対象となる血管分岐点ＢＰから枝分かれする血管部分に、終端点または注目領域Ａ２の境界面との交点である特定点ＢＣが現れる場合には、対象となる血管分岐点ＢＰと特定点ＢＣとを結ぶ線分の方向と長さとする。

このような処理により、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、血管分岐を、血管分岐点に対応する画素の座標と、その血管分岐点から枝分かれする二本の血管部分に対応した二つのベクトルとで特定することができる。なお、以下、ＭＲ血管樹骨ＴＲ_MRにおける血管分岐をＭＲ血管分岐といい、ＵＳ血管樹骨ＴＲ_USにおける血管分岐をＵＳ血管分岐という。

マッチング評価部５は、ＭＲ血管分岐とＵＳ血管分岐との組合せごとに、血管分岐同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ血管分岐とＵＳ血管分岐とが重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。次いで、位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、マッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐の周辺での類似度を算出する。類似度の値が大きいほど、血管分岐同士がよりマッチングしていると評価される。具体的には、マッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐の組合せごとに、次のような処理を行う。

図６に、血管分岐のマッチング評価の概念図を示す。まず、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USに座標変換を行って、これらの血管画像をマッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐に共通の座標空間に置く。

この座標空間は、マッチング評価の対象となるＭＲ血管分岐のＭＲ血管分岐点と、マッチング評価の対象となるＵＳ血管分岐のＵＳ血管分岐点とが重なり、さらに、そのＭＲ血管分岐を形成する二本の血管部分に対応した二つのベクトルを含む平面と、そのＵＳ血管分岐を形成する二本の血管部分に対応した二つのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第一共通座標空間という。スムージング処理済みのＭＲ血管画像Ｖ_MRを第一共通座標空間に置くには、マッチング評価の対象となるＭＲ血管分岐に対応した変換行列を求め、この変換行列を用いてＭＲ血管画像Ｖ_MRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像Ｖ_USを第一共通座標空間に置くには、マッチング評価の対象となるＵＳ血管分岐に対応した変換行列を求め、この変換行列を用いてＵＳ血管画像Ｖ_USの座標変換を行う。

ここで、変換行列の求め方について説明する。変換行列は、第一共通座標空間の中心となる原点と、血管分岐の姿勢（向き）を規定する回転行列とによって構成される。図７に示すように、血管分岐点をＰ＝[ｐ_x，ｐ_y，ｐ_z]とし、血管分岐点Ｐから枝分かれする血管部分に対応するベクトルをＵ及びＶ′とし、ＵＶ′面に垂直なベクトル、すなわち法線ベクトルをＷとする。また、ＷＵ面に垂直なベクトルをＶとする。すると、互いに直交するベクトルＵ，Ｖ，Ｗは、当該血管分岐の姿勢に応じて決定され、回転行列を規定する。図３（ｃ）に、ＭＲ血管分岐におけるベクトルＵ，Ｖ，Ｗの算出結果のサンプルを示す。

Ｕ＝[ｕ_x ｕ_y ｕ_z]，Ｖ′＝[ｖ’_x ｖ’_y ｖ’_z]
Ｗ＝Ｕ×Ｖ′＝[ｗ_x ｗ_y ｗ_z]
Ｖ＝(Ｕ×Ｖ′)×Ｕ＝[ｖ_x ｖ_y ｖ_z]

変換行列は、ＭＲ血管樹骨ＴＲ_MRにおいて検出されたＭＲ血管分岐と、ＵＳ血管樹骨ＴＲ_USにおいて検出されたＵＳ血管分岐との各々について求められる。ＭＲ血管分岐について求められる変換行列Ｔ_MR-BFと、ＵＳ血管分岐について求められる変換行列Ｔ_US-BFとは、それぞれ次のように表すことができる。

なお、ＭＲ画像Ｇ_MRとＵＳ画像Ｇ_USとの間にスケール（scale）の相違がある場合には、ＭＲ血管分岐またはＵＳ血管分岐の対応する変換行列に、スケール比scalを乗ずることで、このスケールの相違をキャンセル（cancel）することができる。ＭＲ画像Ｇ_MRとＵＳ画像Ｇ_USとのスケール比の行列は、次のように表すことできる。

ここで、スケールパラメータ（scale parameter）ｆx，ｆy，ｆzは、ＭＲ画像Ｇ_MRとＵＳ画像Ｇ_USとの間における対応実空間のスケール比から求められる。

スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、第一共通座標空間に置いたら、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの類似度を算出する。具体的には、第一共通座標空間において、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USそれぞれについて、第一共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間における当該評価領域での類似度を算出する。類似度としては、例えば、相互相関係数を用いる。相互相関係数の算出に用いる相関関数は、既知のものでよい。

このようなＭＲ血管画像及びＵＳ血管画像の第一共通座標空間への座標変換と、類似度の算出とを、ＭＲ血管分岐及びＵＳ血管分岐の組合せごとにそれぞれ行う。すなわち、ＭＲ血管分岐の数をｍ個とし、ＵＳ血管分岐の数をｎ個とすると、ＭＲ血管分岐それぞれの変換行列と、ｎ個のＵＳ血管分岐それぞれの変換行列とは、次のように表すことができる。

｛Ｔ_1MR-BF，Ｔ_2MR-BF，…，Ｔ_mMR-BF｝ ｛Ｔ_1US-BF，Ｔ_2US-BF，…，Ｔ_nUS-BF｝
そして、上記したマッチング評価処理を、ＭＲ血管分岐とＵＳ血管分岐との組合せの数、すなわちｍ×ｎの数だけ行う。ただし、ＭＲ血管分岐のどちらの血管部分とＵＳ血管分岐のどちらの血管部分とが共通の同じ血管となる可能性があるのかは、マッチング評価を行うまで不明である。そのため、実際には、ＭＲ血管分岐とＵＳ血管分岐との組合せごとに、ＭＲ血管分岐またはＵＳ血管分岐のいずれかに対して、血管分岐を形成する二本の血管部分の一方と他方とを位置的に入れ換えた場合についても、マッチング評価を行う必要がある。したがって、厳密には、上記マッチング評価処理は、ｍ×ｎ×２の数だけ行うことになる。

マッチング評価部５は、さらに、算出された４４類似度を比較して、ベストマッチング（best matching）の血管分岐の組合せ、すなわち、類似度が最大となる血管分岐の組合せを、ＭＲ画像及びＵＳ画像に共通する同一の血管分岐を表すものとして特定する。そして、この組合せに対応した変換行列に基づいて、ＭＲ画像の座標変換に用いる変換行列を決定する。

粗い位置合せに最適な変換行列は、次式により求められる。

Ｔ_MR-US＝[Ｔ_MR-BF]_best[Ｔ_US-BF]^-1 _best[scal]

ここで、[Ｔ_MR-BF]_bestは、ベストマッチングとなったＭＲ血管分岐に対応する変換行列であり、[Ｔ_US-BF]^-1 _bestは、ベストマッチングとなったＵＳ血管分岐に対応する変換行列の逆行列である。

座標変換部６は、この最適な変換行列Ｔ_MR-USを用いて、ＭＲ画像Ｇ_MRの座標変換を行うことにより、ＭＲ画像Ｇ_MRをＵＳ画像Ｇ_USに粗く位置合せをする。

位置合せ調整部７は、粗く位置合せされたＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USに対して、細かい位置合せを行う。細かい位置合せには、位置合せする画像間における画素値や、濃度勾配、エッジなどの特徴部分が合致するように座標変換を行う手法などを用いる。

本例における細かい位置合せに適した手法の一つとして、標準勾配場（Normalized Gradient Field：NGF）を用いる手法、例えば、非特許文献
Proceeding of SPIE Vol.7261, 72610G-1, 2009 に記載されている手法が挙げられる。標準勾配場とは、画像上の座標において各方向ｘ，ｙ，ｚの１次偏微分、すなわち勾配ベクトル（Gradient Vector）を算出した後、その勾配ベクトルをその勾配ベクトルの長さ（Vector
Norm）で規格化（normalized）したものである。つまり、標準勾配場は、画素値あるいは輝度値の大小や勾配の大きさに依存せず、勾配の方向だけを表す特徴量である。仮に、ある２つの画像において互いに対応する位置に同じ方向の標準勾配場が発生しているならば、これら２つの画像の位置は合っていると見なすことができる。したがって、この手法では、標準勾配場が示す方向の揃い具合を最適化することで、位置合せを行うことができる。

対応断面像生成部８は、位置合せが成されたＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USにおいて、互いに対応する断面像を生成する。生成する断面像の断面位置は、例えば、操作者によって指定される。

画像出力部９は、生成された断面像を画面に表示させたり、画像データとして外部に出力したりする。このとき、ベストマッチングの血管分岐の組合せを、画像化して共に出力してもよい。例えば、ＭＲ血管樹骨ＴＲ_MRとＵＳ血管樹骨ＴＲ_USとを並べて表示し、これらの画像の上に、ベストマッチングの血管分岐を構成する血管分岐点と、その血管分岐を形成する血管部分のベクトルとを、色づけするなどして強調して表示する。図８に、画像表示の一例を示す。図８において、上段左の画像は、ＵＳ血管分岐に対応するベクトルＵ，Ｖ，Ｗを求めて表示した結果を含むＵＳ血管樹骨ＴＲ_MR1であり、上段右の画像は、ＭＲ血管分岐に対応するベクトルＵ，Ｖ，Ｗを求めて表示した結果を含むＭＲ血管樹骨ＴＲ_US1である。また、下段左の画像は、特定されたベストマッチングのＵＳ血管分岐を含む、座標変換済みＵＳ画像の所定断面像Ｇ_US1であり、下段中央の画像は、特定されたベストマッチングのＭＲ血管分岐を含む、座標変換済みＭＲ画像Ｇ_MR1の所定断面像である。下段右の画像は、ＵＳ画像Ｇに粗い位置合せが成されたＭＲ画像の任意断面像Ｇ_MR-USである。

これより、本実施形態に係る画像処理装置１における処理の流れについて説明する。図９は、本実施形態に係る画像処理装置１における処理の流れを示すフロー図である。

ステップ（step）Ｓ１では、画像取得部２が、同一被検者の肝臓を表すＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USを取得する。本例では、ＵＳ画像Ｇ_USを目標画像とし、ＭＲ画像Ｇ_MRを対象画像とする。

ステップＳ２では、血管抽出部３が、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USそれぞれについて、肝臓の門脈または肝静脈に相当する血管を表す血管画像を抽出する。抽出には既知の手法を用いる。血管画像は二値化画像として抽出する。

ステップＳ３では、血管部分構造体検出部４が、ＭＲ画像Ｇ_MRにおいて抽出されたＭＲ血管画像Ｖ_MRと、ＵＳ画像Ｇ_USにおいて抽出されたＵＳ血管画像Ｖ_USのそれぞれに対して、スムージング処理及びスケルトン処理を施して、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USを得る。

ステップＳ４では、血管部分構造体検出部４が、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、枝骨に沿って追跡しながら解析を行う。この解析により、血管分岐点の位置と、その血管分岐点から枝分かれする二本の血管部分に対応するベクトルとを求めることにより、１つ以上の血管分岐を検出する。

ステップＳ５では、マッチング評価部５が、マッチング評価の対象となるＭＲ血管分岐とＵＳ血管分岐との組合せごとに、血管分岐同士が重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。そして、位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、対象となるＭＲ血管分岐及びＵＳ血管分岐の周辺での類似度を算出する。

ステップＳ６では、マッチング評価部５が、最大の類似度が算出された血管分岐の組合せを、ベストマッチングの血管分岐の組合せとして特定する。

ステップＳ７では、マッチング評価部５が、ベストマッチングの血管分岐に対応した変換行列に基づいて、粗い位置合せのための画像の座標変換に用いる変換行列Ｔ_MR-USを決定する。

ステップＳ８では、座標変換部６が、ＭＲ画像Ｇ_MRを、ステップＳ７で決定した変換行列Ｔ_MR-USを用いて座標変換を行うことにより、ＵＳ画像Ｇ_USに粗く位置合せをする。

ステップＳ９では、位置合せ調整部７は、粗く位置合せされたＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USに対して、細かい位置合せを行い、位置合せの調整を行う。細かい位置合せには、位置合せの対象となる画像間における画素値や、濃度勾配、エッジ（edge）などの特徴部分が合致するように座標変換を行う手法などを用いる。

ステップＳ１０では、対応断面像生成部８が、位置合せが成されたＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USにおいて、互いに対応する断面像を生成する。生成する断面像の断面位置は、例えば、操作者によって指定される。

ステップＳ１１では、画像出力部９が、生成された断面像を画面に表示させたり、画像データ（data）として外部に出力したりする。

（第二実施形態）
本実施形態に係る画像処理装置１′は、血管樹骨において、血管分岐点から枝分かれする血管部分が一本しか見つからないような場合であっても、画像の位置合せを可能にするものである。本実施形態では、第一実施形態による画像処理装置１をベース（base）として、血管部分構造体検出部４、及びマッチング評価部５が、第一実施形態とは異なる処理を行う。

血管部分構造体検出部４は、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、１つ以上の血管部分構造体を検出する。本例では、その血管部分構造体として、不完全血管分岐ペア（pair）を検出する。不完全血管分岐ペアは、図１０に示すように、血管樹骨ＴＲにおいて、第一血管分岐点ＢＰ₁と、この第一血管分岐点ＢＰ₁から伸びる一本の第一血管部分ＶＰ₁と、第一血管分岐点ＢＰ₁に近接しており第一血管分岐点ＢＰ₁とは異なる第二血管分岐点ＢＰ₂と、この第二血管分岐点ＢＰ₂から伸びる一本の第二血管部分ＶＰ₂とにより構成される。そのため、不完全血管分岐ペアは、第一血管分岐点ＢＰ₁の位置と、その第一血管分岐点ＢＰ₁から伸びる第一血管部分ＶＰ₁の走行方向及び長さ（ベクトルｕ）と、第二血管分岐点ＢＰ₂の位置と、その第二血管分岐点からＢＰ₂伸びる第二血管部分ＶＰ₂の走行方向及び長さ（ベクトルｖ）とにより特定され、識別される。

なお、血管部分構造体検出部４は、血管樹骨において、血管の伸びる方向が急激に変化する位置を、血管分岐点として認識し、その位置から先に伸びる血管部分を、分岐点から枝分かれする血管部分として認識する。これにより、血管分岐点から伸びる血管部分が一本しか見つからない場合であっても、血管分岐点とこの分岐点から伸びる血管部分とを的確に検出することができる。

血管部分構造体検出部４は、具体的には、次のような処理を行う。

まず、第一実施形態と同じ要領で、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USから、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USとを得る。また、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、２つ以上の血管分岐点を検出する。

次に、ＭＲ血管分岐点ＢＰ_MR,i及びＵＳ血管分岐点ＢＰ_US,jの各々について、その血管分岐点から伸びる一本の血管部分に対応した一つのベクトルを求める。

このような処理により、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、不完全血管分岐ペアを、第一血管分岐点に対応する画素の座標と、その第一血管分岐点から伸びる一本の第一血管部分に対応した一つのベクトルと、第二血管分岐点に対応する画素の座標と、その第二血管分岐点から伸びる一本の第二血管部分に対応した一つのベクトルとで特定することができる。なお、以下、ＭＲ血管樹骨ＴＲ_MRにおいて検出された不完全血管分岐ペアをＭＲ不完全血管分岐ペアといい、ＵＳ血管樹骨ＴＲ_USにおいて検出された不完全血管分岐ペアをＵＳ不完全血管分岐ペアという。

マッチング評価部５は、ＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとの組合せごとに、不完全血管分岐ペア同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとが重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、マッチング評価の対象となるＭＲ不完全血管分岐ペア及びＵＳ不完全血管分岐ペアの周辺での類似度を算出する。そして、この類似度の値が大きいほど、よりマッチングしているとの評価を行う。具体的には、マッチング評価の対象となるＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとの組合せごとに、次のような処理を行う。

まず、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、マッチング評価の対象となるＭＲ不完全血管分岐ペア及びＵＳ不完全血管分岐ペアに共通の座標空間に置く。

この座標空間は、マッチング評価の対象となるＭＲ不完全血管分岐ペアにおける「第一血管分岐点」、「第二血管分岐点」、または「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」のうちの所定の一点と、マッチング評価の対象となるＵＳ不完全血管分岐ペアにおける上記所定の一点とが重なり、さらに、マッチング評価の対象となるＭＲ不完全血管分岐ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＭＲ不完全血管分岐ペアにおける上記所定の一点に置いたときにこれらのベクトルを含む平面と、マッチング評価の対象となるＵＳ不完全血管分岐ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＵＳ不完全血管分岐ペアにおける上記所定の一点に置いたときにこれらのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第二共通座標空間という。

スムージング処理済みのＭＲ血管画像Ｖ_MRを第二共通座標空間に置くには、マッチング評価の対象となるＭＲ不完全血管分岐ペアに対応した変換行列を求め、この変換行列を用いてＭＲ血管画像Ｖ_MRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像Ｖ_USを第二共通座標空間に置くには、マッチング評価の対象となるＵＳ不完全血管分岐ペアに対応した変換行列を求め、この変換行列を用いてＵＳ血管画像Ｖ_USの座標変換を行う。

ここで、変換行列の求め方について説明する。変換行列は、第二共通座標空間の中心となる原点と、不完全血管分岐ペアの姿勢（向き）を規定する回転行列とによって構成される。図１１（ａ）に示すように、第一血管分岐点をＰ₀＝[ｐ_x，ｐ_y，ｐ_z]とし、第一血管分岐点Ｐ₀から伸びる第一血管部分に対応するベクトルをｕ＝[ｕ_x，ｕ_y，ｕ_z]とする。また、第二血管分岐点をＱ₀＝[ｑ_x，ｑ_y，ｑ_z]とし、第二血管分岐点Ｑ₀から伸びる第二血管部分に対応したベクトルをｖ＝[ｖ_x，ｖ_y，ｖ_z]とする。そして、ベクトルｕに沿って伸びる直線とベクトルｖに沿って伸びる直線とを最短距離で結ぶ線分をＬとする。すると、第二共通座標空間の中心となる原点は、図１３（ｂ）に示すように、第一血管分岐点Ｐ₀、第二血管分岐点Ｑ₀、または、最短距離線分Ｌの中点Ｏとすることができる。また、ベクトルｕ及びｖは、第二共通座標空間の中心すなわち原点に移動して配置させることができる。ここでのベクトルｕ，ｖは、第一実施形態における二本の血管部分に対応したベクトルＵ，Ｖ′と同様に扱うことができる。あとは、第一実施形態と同様の方法を用いることで、不完全血管分岐ペアから、第二共通座標空間への座標変換のための変換行列を算出することができる。

なお、最短距離線分Ｌは、次のようにして求めることができる。

第一血管分岐点Ｐ０を通り、ベクトルＵに沿って伸びる３次元での線ベクトルの式は、次のように表すことができる。

Ｐ（ｓ）＝Ｐ₀＋ｓ・ｕ
ここで、ｓは連続可変のパラメータ値である。

第一血管分岐点Ｐ₀と第二血管分岐点Ｑ₀との間の線ベクトルをＷとすると、
ｗ＝Ｐ₀−Ｑ₀
であるから、
Ｐ（ｓ）−Ｑ₀＝ｗ＋ｓ・ｕ
という式が成り立つ。

同様に、
Ｑ（ｔ）−Ｐ₀＝−ｗ＋ｔ・ｖ
という式が成り立つ。ここで、ｔは、連続可変のパラメータ値である。

これら２つの式を合成すると、
（Ｐ（ｓ）−Ｑ（ｔ））＋（Ｐ₀−Ｑ₀）＝２・ｗ＋ｓ・ｕ−ｔ・ｖ
（Ｐ（ｓ）−Ｑ（ｔ））＋ｗ＝２・ｗ＋ｓ・ｕ−ｔ・ｖ （ｉ）
となる。

線ベクトルＰ（ｓ）と線ベクトルＱ（ｔ）とを結ぶ線分は、その線分が線ベクトルＰ（ｓ）及び線ベクトルＱ（ｔ）に対してそれぞれ直角となるときに最短距離を取る。ここで、線ベクトルＰ（ｓ）と線ベクトルＱ（ｔ）とを最短距離で結ぶ線分の両端点をＰ（ｓ１）,Ｑ（ｔ１）とする。すると、互いに直交する２つのベクトルの内積は０であるから、
ｕ・（Ｐ（ｓ１）−Ｑ（ｔ１））＝０
となる。

また、この式に、式（ｉ）を代入すると、
ｕ・（ｗ＋ｓ１・ｕ−ｔ１・ｖ）＝０
となる。

したがって、
ｓ１＝（ｕ・ｖ）[ｓ１・（ｕ・ｖ）＋ｖ・ｗ]−ｕ・ｗ
＝ｓ１・（ｕ・ｖ）²＋（ｕ・ｖ）（ｖ・ｗ）−ｕ・ｗ
ｓ１＝［（ｕ・ｖ）（ｖ・ｗ）−ｕ・ｗ］／[１−（ｕ・ｖ）²]
となる。

同様に、
ｔ１＝［ｖ・ｗ−（ｕ・ｖ）（ｕ・ｗ）］／[１−（ｕ・ｖ）²]
となる。

最短距離線分Ｌは、
Ｌ＝Ｐ（ｓ１）−Ｑ（ｔ１）
であり、ベクトルｕ，ｖ，ｗから求めることができる。

スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、第二共通座標空間に置いたら、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの相互相関係数を算出する。具体的には、第二共通座標空間において、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USそれぞれについて、第二共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間における当該評価領域での類似度、例えば相互相関係数を算出する。

（第三実施形態）
本実施形態に係る画像処理装置１″は、血管樹骨において、血管分岐点が見つからず、互いに近接する血管部分しか見つからないような場合であっても、画像の位置合せを可能にするものである。本実施形態では、第一実施形態による画像処理装置１をベースとして、血管部分構造体検出部４、及びマッチング評価部５が、第一実施形態とは異なる処理を行う。

血管部分構造体検出部４は、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、１つ以上の血管部分構造体を検出する。本例では、その血管部分構造体として、血管部分ペアを検出する。血管部分ペアは、図１２に示すように、血管樹骨ＴＲにおいて、第一血管部分ＶＰ₁と、第一血管部分ＶＰ₁に近接しており第一血管部分ＶＰ₁とは異なる第二血管部分ＶＰ₂とにより構成される。そのため、血管部分ペアは、第一血管部分端点ＫＰ₁の位置と、その第一血管部分端点ＫＰ₁から伸びる第一血管部分ＶＰ₁の走行方向及び長さ（ベクトルｕ）と、第二血管部分端点ＫＰ₂の位置と、その第二血管部分端点ＫＰ₂から伸びる第二血管部分ＶＰ₂の走行方向及び長さ（ベクトルｖ）とにより特定され、識別される。

なお、血管部分構造体検出部４は、血管樹骨において、血管分岐点を含まない血管部分を認識し、その血管部分の端点を、血管部分端点として認識する。

血管部分構造体検出部４は、具体的には、次のような処理を行う。

まず、第一実施形態と同じ要領で、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USから、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USとを得る。また、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、互いに異なる２つ以上の血管部分端点を検出する。

次に、ＭＲ血管部分端点ＫＰ_MR,i及びＵＳ血管部分端点ＫＰ_US,jの各々について、その血管部分端点から伸びる一本の血管部分に対応した一つのベクトルを求める。

このような処理により、ＭＲ血管樹骨ＴＲ_MR及びＵＳ血管樹骨ＴＲ_USそれぞれにおいて、血管部分ペアを、第一血管部分端点に対応する画素の座標と、その第一血管部分端点から伸びる一本の第一血管部分に対応した一つのベクトルと、第二血管部分端点に対応する画素の座標と、その第二血管部分端点から伸びる一本の第二血管部分に対応した一つのベクトルとで特定することができる。なお、以下、ＭＲ血管樹骨ＴＲ_MRにおいて検出された血管部分ペアをＭＲ血管部分ペアといい、ＵＳ血管樹骨ＴＲ_USにおいて検出された血管部分ペアをＵＳ血管部分ペアという。

マッチング評価部５は、ＭＲ血管部分ペアとＵＳ血管部分ペアとの組合せごとに、血管部分ペア同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ血管部分ペアとＵＳ血管部分ペアとが重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、マッチング評価の対象となるＭＲ血管部分ペア及びＵＳ血管部分ペアの周辺での類似度を算出する。そして、この類似度の値が大きいほど、よりマッチングしているとの評価を行う。具体的には、マッチング評価の対象となるＭＲ血管部分ペアとＵＳ血管部分ペアとの組合せごとに、次のような処理を行う。

まず、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、マッチング評価の対象となるＭＲ血管部分ペア及びＵＳ血管部分ペアに共通の座標空間に置く。

この座標空間は、マッチング評価の対象となるＭＲ血管部分ペアにおける「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」と、マッチング評価の対象となるＵＳ血管部分ペアにおける「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」とが重なり、さらに、マッチング評価の対象となるＭＲ血管部分ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＭＲ血管部分ペアにおける上記最短距離線分の中点に置いたときにこれらのベクトルを含む平面と、マッチング評価の対象となるＵＳ血管部分ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＵＳ血管部分ペアにおける上記最短距離線分の中点に置いたときにこれらのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第三共通座標空間という。

スムージング処理済みのＭＲ血管画像Ｖ_MRを第三共通座標空間に置くには、マッチング評価の対象となるＭＲ血管部分ペアに対応した変換行列を求め、この変換行列を用いてＭＲ血管画像Ｖ_MRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像Ｖ_USを第三共通座標空間に置くには、マッチング評価の対象となるＵＳ血管部分ペアに対応した変換行列を求め、この変換行列を用いてＵＳ血管画像Ｖ_USの座標変換を行う。

ここで、変換行列の求め方について説明する。変換行列は、第三共通座標空間の中心となる原点と、血管部分ペアの姿勢（向き）を規定する回転行列とによって構成される。図１３（ａ）に示すように、第一血管部分端点をＰ₁＝[ｐ_x，ｐ_y，ｐ_z]とし、第一血管部分端点Ｐ₁から伸びる第一血管部分に対応するベクトルをｕ＝[ｕ_x，ｕ_y，ｕ_z]とする。また、第二血管部分端点をＱ₁＝[ｑ_x，ｑ_y，ｑ_z]とし、第二血管部分端点Ｑ₁から伸びる第二血管部分に対応したベクトルをｖ＝[ｖ_x，ｖ_y，ｖ_z]とする。そして、ベクトルｕに沿って伸びる直線とベクトルｖに沿って伸びる直線とを最短距離で結ぶ線分をＬとする。すると、第三共通座標空間の中心となる原点は、図１３（ｂ）に示すように、最短距離線分Ｌの中点Ｏとすることができる。また、ベクトルｕ及びｖは、第三共通座標空間の中心すなわち原点に移動して配置させることができる。ここでのベクトルｕ，ｖは、第一実施形態における二本の血管部分に対応したベクトルＵ，Ｖ′と同様に扱うことができる。あとは、第一実施形態と同様の方法を用いることで、血管部分ペアから、第三共通座標空間への座標変換のための変換行列を算出することができる。

スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、第三共通座標空間に置いたら、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの相互相関係数を算出する。具体的には、第三共通座標空間において、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USそれぞれについて、第三共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間における当該評価領域での類似度、例えば相互相関係数を算出する。

このように、上記の実施形態に係る画像処理装置によれば、同一の被写体を表す画像間において、互いに対応する血管構造が実質的に同一であることを利用して、一部の血管構造が最もマッチングするように座標変換するので、位置合せの対象となる画像間で輝度値の関連性が小さい場合であっても、その影響を受けることなく位置合せを行うことができ、その結果、より精度の高い位置合せを行うことが可能になる。

なお、第二実施形態、第三実施形態による画像位置合せ手法は、完全な血管分岐を検出できない時にのみ行ってもよいし、完全な血管分岐を検出できるか否かに関係なく行ってもよい。

また、上記実施形態では、マッチング評価を、ＭＲ血管画像におけるｍ個の血管部分構造体（血管分岐、不完全血管分岐ペア、または血管部分ペア）と、ＵＳ血管画像におけるｎ個の血管部分構造体との総当たりの組合せについて行っているが、これに限定されるものではない。例えば、マッチング評価を、ＵＳ血管画像におけるｎ個の血管部分構造体のうち、ユーザによって選択された単一の血管部分構造体と、ＭＲ血管画像におけるｍ個の血管構造体との組合せごとに行ってもよいし、ＭＲ血管画像におけるｍ個の血管部分構造体のうち、ユーザによって選択された単一の血管部分構造体と、ＵＳ血管画像におけるｎ個の血管構造体との組合せごとに行ってもよい。ユーザによって選択される単一の血管部分構造体は、例えば、ＭＲ画像またはＵＳ画像における腫瘤などを含む関心領域の近傍に存在する血管部分構造体とすることができる。このようにすれば、関心領域の周辺において特に高い精度での位置合せを期待することができ、診断効率をより向上させることが可能になる。

また、位置合せを行う２つの画像の組合せとしては、ＭＲ画像とＵＳ画像の組合せだけでなく、ＣＴ画像とＵＳ画像や、ＭＲ画像とＣＴ画像の組合せなど、あらゆる撮像モダリティの画像に適用できる。ただし、本提案による位置合せ手法は、位置合せの対象となる２つの画像間で輝度値の関連性が薄い場合にも、その影響をほとんど受けずに位置合せを行うことができる。そのため、本提案による位置合せ手法は、位置合せ対象の画像として、特殊な描写形態・コントラスト（contrast）を有するＵＳ画像が含まれる場合に、特に有効である。

また、上記実施形態は、発明を、撮像モダリティが互いに異なる画像同士の位置合せに適用した例であるが、撮像モダリティが同一であって撮像の時相が互いに異なる画像同士の位置合せにも適用することもできる。このような画像としては、例えば、手術前後の画像や造影撮影における早期相と後期相の画像などが考えられる。また、発明は、人体の医用画像だけでなく、動物の医用画像にも適用可能である。

また、上記実施形態は、画像処理装置であるが、コンピュータをこのような画像処理装置として機能させるためのプログラムもまた発明の実施形態の一例である。

１ 画像処理装置
２ 画像取得部
３ 血管抽出部（抽出手段）
４ 血管部分構造体検出部（検出手段）
５ マッチング評価部（演算手段）
６ 座標変換部（変換手段）
７ 位置合せ調整部（調整手段）
８ 対応断面像生成部（生成手段）
９ 画像出力部（出力手段）

Claims (20)

1. ３次元画像である第一医用画像及び第二医用画像の位置合せを行う画像処理方法であって、
   前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出工程と、
   前記抽出工程により抽出された前記第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出工程と、
   前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体同士のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算工程と、
   前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換工程とを備えた画像処理方法。
2. ３次元画像である第一医用画像及び第二医用画像の位置合せを行う画像処理装置であって、
   前記第一医用画像における第一血管画像及び前記第二医用画像における第二血管画像を抽出する抽出手段と、
   前記抽出手段により抽出された第一血管画像及び第二血管画像それぞれについて、互いに近接または結合する複数の血管部分によって構成される血管部分構造体を１つ以上検出する検出手段と、
   前記第一血管画像における血管部分構造体と前記第二血管画像における血管部分構造体とによる複数の組合せの各々について、血管部分構造体間のずれが小さくなるように、前記第一血管画像及び第二血管画像のうち少なくとも一方に座標変換を行い、前記第一血管画像及び第二血管画像の間において、前記血管部分構造体を含む所定領域における類似度を算出する演算手段と、
   前記類似度が最も高い座標変換を用いて、前記位置合せのための座標変換を行う変換手段とを備えた画像処理装置。
3. 前記複数の組合せは、前記第一血管画像における複数の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、請求項２に記載の画像処理装置。
4. 前記複数の組合せは、選択された前記第一血管画像における単一の血管部分構造体と、前記第二血管画像における複数の血管部分構造体との組合せである、請求項２に記載の画像処理装置。
5. 前記血管部分構造体は、血管分岐点と、該血管分岐点から枝分かれする二本の血管部分とを含む、請求項２から請求項４のいずれか一項に記載の画像処理装置。
6. 前記演算手段は、前記血管分岐点同士が重なり、かつ、前記二本の血管部分に近似する二直線を含む平面同士が重なるように、前記座標変換を行う、請求項５に記載の画像処理装置。
7. 前記血管部分構造体は、第一血管分岐点と、該第一血管分岐点から伸びる一本の第一血管部分と、前記第一血管分岐点とは異なる第二血管分岐点と、該第二血管分岐点から伸びる一本の第二血管部分とを含む、請求項２から請求項４のいずれか一項に記載の画像処理装置。
8. 前記演算手段は、前記第一血管分岐点、前記第二血管分岐点、または、前記第一血管部分及び第二血管部分に近似する二直線を最短距離で結ぶ線分の中点である所定の点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、請求項７に記載の画像処理装置。
9. 前記血管部分構造体は、血管分岐を構成する血管部分とは異なる二本の血管部分を含む、請求項２から請求項４のいずれか一項に記載の画像処理装置。
10. 前記演算手段は、前記二本の血管部分に近似する二直線を最短距離で結ぶ線分の中点同士が重なり、かつ、該二直線により規定される平面同士が重なるように、前記座標変換を行う、請求項９に記載の画像処理装置。
11. 前記座標変換が行われた前記第一医用画像及び第二医用画像における画素値に係る特徴量に基づいて、該第一医用画像及び第二医用画像の少なくとも一方の座標変換を行って前記位置合せの調整を行う調整手段をさらに備えた、請求項２から請求項１０のいずれか一項に記載の画像処理装置。
12. 前記位置合せの調整が行われた前記第一医用画像及び第二医用画像の各々における対応断面像を生成する生成手段と、
    前記第一医用画像及び第二医用画像の各々における対応断面像を出力する出力手段とをさらに備えた、請求項２から請求項１１のいずれか一項に記載の画像処理装置。
13. 前記検出手段は、前記第一血管画像及び第二血管画像において、最も太い血管部分側から追跡することにより、前記血管部分構造体を検出する、請求項２から請求項１２のいずれか一項に記載の画像処理装置。
14. 前記第一医用画像及び第二医用画像は、撮像モダリティが互いに異なる画像である、請求項２から請求項１３のいずれか一項に記載の画像処理装置。
15. 前記第一医用画像及び第二医用画像の一方は、超音波診断装置による画像である、請求項１４に記載の画像処理装置。
16. 前記第一医用画像及び第二医用画像は、肝臓を含む画像である、請求項２から請求項１５のいずれか一項に記載の画像処理装置。
17. 前記第一血管画像及び第二血管画像は、門脈または肝静脈に対応する画像である、請求項１６に記載の画像処理装置。
18. 前記抽出手段は、前記第一血管画像及び第二血管画像を、二値化画像として抽出する、請求項２から請求項１７のいずれか一項に記載の画像処理装置。
19. 前記検出手段は、前記複数の血管部分を細線化した後に、前記血管部分構造体を検出する、請求項２から請求項１８のいずれか一項に記載の画像処理装置。
20. コンピュータを、請求項２から請求項１９のいずれか一項に記載の画像処理装置として機能させるためのプログラム。