JP2016159115A - 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム - Google Patents

3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム Download PDF

Info

Publication number
JP2016159115A
JP2016159115A JP2015043980A JP2015043980A JP2016159115A JP 2016159115 A JP2016159115 A JP 2016159115A JP 2015043980 A JP2015043980 A JP 2015043980A JP 2015043980 A JP2015043980 A JP 2015043980A JP 2016159115 A JP2016159115 A JP 2016159115A
Authority
JP
Japan
Prior art keywords
image
unit
region
dimensional model
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015043980A
Other languages
English (en)
Inventor
太一 佐藤
Taichi Sato
太一 佐藤
透 中田
Toru Nakada
透 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015043980A priority Critical patent/JP2016159115A/ja
Publication of JP2016159115A publication Critical patent/JP2016159115A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】異なる方向から撮影したX線画像より、血管の3次元モデルを精度良く生成することができなかった。【解決手段】血管の3次元モデルを表示し、対応付けが間違った位置を指定することで、その位置よりも後に造影剤が流れる部分の3次元モデルの対応付けを変更して再度提示する。【選択図】図5

Description

本発明は、2方向から撮影した血管のX線画像より、血管の3次元モデルを生成する3次元モデル生成装置、3次元モデル生成方法および3次元モデル生成プログラムに関する。
血管の狭窄又は閉塞による疾患を調べる検査として、カテーテル造影検査がある。カテーテル造影検査では、X線不透過物質である造影剤を使用する。造影剤を血管内に注入してX線撮影することにより、血管とそれ以外の部分とを明瞭に区別することができる。
1方向からX線撮影した場合、冠状動脈のように多数の分岐を有する血管について、人が血管の形状を把握することは困難である。
そこで、2方向からX線撮影した2枚のX線画像より、血管の3次元モデルを生成する技術が研究開発されている(例えば、特許文献1および非特許文献1参照)。これにより、人は血管の形状を把握することが容易となる。
特開平8−131429号公報
吉田忠弘、見崎元秀、佐藤浩康、斎藤恒雄、「心血管造影像からの冠状動脈の3次元抽出」、電子情報通信学会論文誌 ‘89/3 Vol.J72−D−II No.3、P433−441
しかしながら、上記従来の技術では、血管の3次元モデルを生成するために十分ではなかった。
そこで、本開示の限定的でない例示的な実施形態は、血管の3次元モデルを生成する3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成用プログラムを提供する。
上記課題を解決するため、本発明の一態様に係る3次元モデル生成装置は、
血管を第1の撮影位置と第2の撮影位置とから撮影することにより、前記第1の撮影位置より得られる第1画像と前記第2の撮影位置より得られる第2画像とからなるX線画像セットを取得する画像取得部と、
前記第1画像における第1画像領域を取得する第1画像領域取得部と、
前記第2画像における、前記第1画像領域に対応する候補の画像領域である複数の第2画像領域を取得する第2画像領域取得部と、
前記第2画像領域取得部が取得した前記複数の前記第2画像領域の中から、一部の前記第2画像領域を選択し前記第1画像領域と対応する対応領域に決定する対応付け部と、前記対応付け部が前記複数の前記第2画像領域の中からいずれを選択したかを示す選択情報を保持する選択情報保持部と、
前記対応付け部より決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成部と、
対応付けのやり直しを指示する指示部と、
前記指示部によって、前記対応付けのやり直しが指示された際に、前記選択情報保持部が保持する前記選択情報が示す前記第2画像領域とは異なる第2画像領域を選択し対応付けを行なう再対応付け部と
を有する3次元モデル生成装置。
本開示の限定的でない例示的なある実施形態によれば、血管の3次元モデルを生成する3次元モデル生成装置が提供される。
血管の3次元モデルを生成する説明図 対応点の候補点が1点の場合の図 対応点の候補点が1点の場合の図 対応点の候補点が2点の場合の図 対応点の候補点が2点の場合の図 第1実施形態における3次元モデル生成装置の機能構成を示すブロック図 第1実施形態における3次元モデル生成装置の処理動作の一例を示すフローチャート 第2実施形態における形状復元装置1の機能構成を示すブロック図 X線撮影システムの構成を示すブロック図 第2実施形態における撮影部情報保持部104のデータ構造を示す図 第2実施形態におけるX線画像保持部103のデータ構造を示す図 第2実施形態における被撮像物領域取得部105の構成を示す図 第2実施形態における二値画像の一例を示す図 第2実施形態における細線画像の一例を示す図 第2実施形態における被撮像物領域取得部105のフローチャート 第2実施形態における被撮像物細線化画像保持部106のデータ構造を示す図 第2実施形態における対応付け部107の構成を示す図 第2実施形態における第二画像投影領域取得部705のフローチャート 第2実施形態におけるエピポーラ線L2を示す図 第2実施形態におけるエピポーラ平面を示す図 第2実施形態における第二画像投影領域Qk(k=1、2)を示す図 第2実施形態における第二画像投影領域保持部1706が保持するデータの一例を示す図 第2実施形態における第一画像投影領域保持部1703が保持するデータの一例を示す図 第2実施形態におけるエピポーラ平面を示す図 第2実施形態の変形例2におけるエピポーラ平面を示す図 第2実施形態における第一画像投影点Pk、第二画像投影領域Qk_1〜Qk_2の吸収特性列を示すグラフ 第2実施形態における対応付け制御部1701のフローチャート 第2実施形態における吸収特性列保持部1708のデータ構造を示す図 第2実施形態における第二画像投影領域保持部106のデータ構造を示す図 第2実施形態における三次元位置保持部110のデータ構造を示す図 第2実施形態における表示画面生成部111が生成する表示画面を示す図 第2実施形態における形状復元装置1のフローチャート 第2実施形態における三次元点J1に流れる造影剤の量を示すグラフ 第2実施形態における細線画像を示す図 第2実施形態における分割細線の領域を示す図 第2実施形態における分割細線の一例を示す図 第2実施形態における分割細線時刻情報を示す図 第2実施形態における細線接続情報を示す図 第2実施形態における後続細線情報を示す図 第2実施形態における吸収特性列評価保持部1710が保持する評価情報を示す図 第2実施形態における選択情報保持部150が保持する選択情報を示す図 第2実施形態における再対応付け部171が行なう処理の流れを示すフローチャート 第2実施形態の変形例におけるエピポーラ平面を示す図、 第2実施形態の変形例におけるエピポーラ平面を示す図、 第2実施形態の変形例におけるエピポーラ平面を示す図、
(本発明の基礎となった知見1)
図1に、血管の3次元モデルを生成する説明図を示す。
X線発生部202A及びX線発生部202Bより、血管1201に向けてX線を照射することにより、第1X線画像1101及び第2X線画像1102を得る。
血管1201上の点Jkは、第1X線画像1101上において点Pkに相当する。
ここで、点Jkが、第2X線画像1102上において何れの箇所であるか特定できれば、三角測量の原理を用いて、点Jkの3次元位置を特定することができる。同様に、血管1201上の複数の点について、3次元位置をそれぞれ特定することにより、血管1201の3次元モデルを生成することができる。
点Jkに対応する第2X線画像1102上の点の求める方法について説明する。
始めに、第1X線画像1101の点Pkに対して、第2X線画像1102におけるエピポーラ線L2を求める。エピポーラ線L2とは、点Pkの対応点が第2X線画像1102上に出現し得る直線状の範囲である。エピポーラ線L2は、点Pkと、第1X線画像1101及び第2X線画像1102の幾何学的な位置関係より決定される。図1において、点Pkに対応する候補点は点Qkのみであるので、点Pkの対応点は点Qkとなる。
図2A及び図2Bに、対応点の候補点が1点の場合の図を示す。
図2A及び図2Bに示すように、第2X線画像1102において、血管1201の端点と、エピポーラ線L2との交点が1点である場合には、点Qkが点Pkの対応点と決定される。
しかし、図3及び図4に示すように、血管1201の端点と、エピポーラ線L2との交点が2点である場合には、点Qk_1又は点Qk_2のいずれを点Pkの対応点とすべきかを決定することができない。
(第1実施形態)
<装置構成>
図5に、本発明の第1実施形態における対応付け装置100、3次元モデル生成装置10の機能ブロック図を示す。
3次元モデル生成装置10は対応付け装置100と3次元モデル生成部16を備える。対応付け装置100は、X線画像取得部11、第1X線吸収量一定値取得部12、第2X線吸収量一定値取得部13、類似度算出部14、対応領域決定部15及び3次元モデル生成部16を備える。
<X線画像取得部11>
X線画像取得部11は、造影剤が通過する際の血管1201を第1の撮影角度と第2の撮影角度とからX線を照射することにより、第1の撮影角度より得られる第1X線画像1101と第2の撮影角度より得られる第2X線画像1102とからなるX線画像セットを取得する。
<第1画像領域取得部12>
第1画像領域取得部12は、第1X線画像1101における分岐先の血管1201部分に相当する第1の画像領域Pkを取得する。
第1の画像領域Pkは、血管1201の分岐先の一部分の領域である。
なお、第1の画像領域Pkは、分岐先の血管1201を含む領域でも良いが、好ましくは、分岐先の血管1201に含まれる領域である。
なお、第1の画像領域Pkは、第1X線画像1101上の任意の点であっても良い。
<第2画像領域取得部13>
第2画像領域取得部13は、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)を取得する。
なお、第2の画像領域Qk_nは、分岐先の血管1201を含む領域でも良いが、好ましくは、分岐先の血管1201に含まれる領域である。
なお、第2の画像領域Qk_nは、第2X線画像1102上の任意の点であっても良い。
<対応付け部14>
対応付け部14は、第2画像領域取得部13が取得した第2の画像領域Qk_nの中から、一部を選択し、第1の画像領域Pkと対応する領域であると決定する。
<3次元モデル生成部16>
3次元モデル生成部16は、対応領域決定部15より決定された情報を用いて、血管1201の3次元モデルを生成する。
<選択情報保持部15>
選択情報保持部15は、対応領域決定部14が第一画像領域の対応領域として選択した第2の画像領域Qk_nの識別情報を保持する。
<指示部17>
指示部17は、対応付けのやり直しを指示する。具体的には、キーボード、マウス等の入力装置である。
<再対応付け部18>
再対応付け部18は、指示部17の指示に基づいて、対応付けのやり直しを行なう。選択情報保持部15が保持する以外の第2の画像領域Qk_mを第1の画像領域の対応領域に決定し、決定した第2の画像領域Qk_mの識別情報を選択情報保持部15に格納する。
例えば、選択情報保持部15が保持する値Xを取得し、
式1:Y=(X+1)%N
を算出して得られた値がYの時、第2の画像領域Qk_Yを第1の画像領域の対応領域に決定する。ここで%はモジュロ演算を示す。Nは第2の画像領域の数である。
<装置動作>
図6に、第1実施形態における3次元モデル生成装置10の処理動作フローを示す。
3次元モデル生成装置10は処理を開始する(ステップS601)。
X線画像取得部11は、術者が血管に所定濃度の造影剤を注入した際に、X線撮影装置によって前記血管を第1の撮影位置から撮影した第1画像1101と、第2の撮影位置から撮影した第2画像1102とを取得する。
(ステップS602)。
次に、第1画像領域取得部12は、第1X線画像1101における分岐先の血管1201部分に相当する第1の画像領域Pkを取得する(ステップS603)。
次に、第2画像取得部13は、第2X線画像1102における血管1201の部分に相当する画像領域であり、かつ、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)を取得する(ステップS604)。
次に、対応付け部14は、第2の画像領域Qk_nの一部を、第1の画像領域Pkと対応する領域であると決定する(ステップS605)。例えば、n=1となる第2の画像領域Qk_1を、第1の画像領域Pkの対応領域に決定する。
次に、対応付け部14は、ステップ605で第1の画像領域Pkと対応すると決定した第2の画像領域Qk_nの識別情報を選択情報保持部15に格納する。例えば、n=1となる第2の画像領域Qk_1を、第1の画像領域Pkの対応領域に決定した場合は、1を格納する。
(ステップS606)。
次に、3次元モデル生成部16は、ステップ605で決定した第1の画像領域Pkとそれに対応する第2の画像領域Qk_nの位置に基づいて第1の画像領域Pkに撮影された血管の3次元モデルを生成する。(ステップS607)
次に、3次元モデル生成装置10は、指示部17からの指示があるまで、指示があるかのチェックを繰り返す。(ステップS608)
次に、再対応付け部18は選択情報保持部15が保持する選択情報を取得する。例えば、第1の画像領域Pkと対応すると決定した第2の画像領域Qk_nの識別情報n=1を取得する。(ステップS609)
次に、再対応付け部19は、選択情報保持部15が保持する以外の第2の画像領域Qk_mを第1の画像領域の対応領域に決定する。
例えば、選択情報保持部15が保持する値Xを取得し、
式1:Y=(X+1)%N
を算出して得られたがYの時、第2の画像領域Qk_Yを第1の画像領域の対応領域に決定する。ここで%はモジュロ演算を示す。(ステップS610)
次に、再構成対応領域決定部は、選択情報保持部15が保持する値を更新する。例えば、式1の値に更新する。
<第1実施形態の効果>
第1実施形態における3次元モデル生成装置10によれば、術者が有する血管構造の知識と矛盾する血管の3次元モデルが提示された際、術者は別の3次元モデルの提示をシステムに指示し、血管構造の知識と合致する3次元モデルを提示されることができる。
(第2実施形態)
図7は、本発明の第2実施形態の3次元モデル生成装置1(以下、形状復元装置1とも言う)の構成を示す図である。形状復元装置1は、X線撮影部101〜102と、撮影部情報保持部104、X線画像取得部113、入力IF(インターフェース)114、X線画像保持部103、被撮像物領域取得部105、被撮像物細線化画像保持部106、被撮像物領域画像保持部1132、対応付け部107、対応情報保持部108、三次元位置取得部109、三次元位置保持部110、表示画面生成部111、表示部112、細線分割部121、分割細線保持部122、分割細線時刻情報取得部123、分割細線時刻情報保持部124、細線接続情報取得部125、細線接続情報保持部126、後続細線情報取得部127、後続細線情報保持部128、指示部170、再構成対応付け部171、選択情報保持部150とを備える。
X線撮影部101〜102は、被験者の撮影対象部位に対して放射線を照射して撮影されたX線透視像や、造影剤を注入した際に撮影された血管造影像を取得する手段であり、例えばX線血管造影装置またはアンギオグラフィと称される。本実施形態のおけるX線撮影部101〜102は被撮像物である血管を撮影する。
図8にX線撮影部101の構成を示す。X線発生部202は、高電圧を用いてX線を発生するX線管とX線の一部を遮蔽することによって照射野を制御するX線絞り器を有しており、寝台201上の患者200にX線を照射する。X線検出部203は患者200を透過したX線を受けて画像情報を記録し、記録した画像情報を出力するものであり、例えば、X線観応層を配置し、X線をデジタルデータに変換して出力するFPD(Flat Panel Detector)として構成されている。X線検出部203は、X線が照射されると、照射されたX線画像を示す画像情報を画像取得部113へ出力する。機構部206は術者の操作指示を受け付けた機構制御部205の指示に基づいてアーム204および寝台201を移動する。また、機構制御部205は、X線発生部202、またはX線検出部203の位置を撮影部情報保持部104に出力する。X線撮影部102についても同様の各部を有する。ここでは、X線撮影部101のX線発生部202と、X線撮影部102のX線発生部202を区別する場合には、前者をX線発生部202A、後者をX線発生部202Bとする。
機構制御部は、アーム204のみ、寝台201のみを移動する構成であっても、両方を移動する構成でも良い。
X線画像取得部113は、X線撮影部101〜102よりX線画像(放射線画像)を取得し、取得したX線画像をX線画像保持部103に格納する。後述の入力IF114によって指示されたタイミングで画像の取得を開始/終了する。
X線画像取得部113は、具体的には、入力IF114の指示により画像の取得を開始し、X線撮影部101より取得した画像をX線画像保持部115に格納する。以降、X線画像取得部113は、入力IF114より終了の指示があるまで、X線撮影部101より画像を取得し、取得した画像をX線画像保持部115に格納する。X線画像取得部113は、X線撮影部102からも同様に画像を取得して、取得した画像をX線画像保持部103に格納する。
撮影部情報保持部104は、X線撮影部101、102に関する情報を保持する部である。具体的には、例えばCPUのレジスタやキャッシュ、RAM、ROM等の記憶装置によって実現する。以降、名称に保持部を有する部は同様の方法で実現する。
撮影部情報保持部104は、具体的には、X線撮影部101、102の相対位置情報、および、X線撮影部101、102のカメラの内部パラメータAを保持する。図9は、撮影部情報保持部104のデータ構造を示す図である。撮影部情報保持部104は、並進ベクトルT、回転ベクトルR、内部パラメータA1、A2を保持する。
並進ベクトルTは、X線撮影部101の位置を基準にして、X線撮影部102がどこに存在するかを示すベクトルである。回転ベクトルRは、X線撮影部101の撮影方向に対する、X線撮影部102の撮影方向の向きを示す。内部パラメータA1は、撮影手段が備える撮影レンズと撮像素子の撮像面との位置関係を表すパラメータであり、X線撮影部101では、X線発生部202とX線検出部203の位置関係を表すパラメータである。ここでは、説明を簡単にするため、X線発生部202に対するX線検出部203の位置は固定であるものとし、内部パラメータA1、A2の値は予め用意して格納しておくものとする。
また、ここでは、X線撮影装置101に対するX線撮影装置102の相対位置は常に一定であるとし、並進ベクトルT、回転ベクトルRも予め保持するものとする。なお、X線撮影装置101とX線撮影装置102の位置をそれぞれ取得し、取得した位置より、並進ベクトルT、回転ベクトルRを算出する構成であっても構わない。
入力IF114は、操作者が、形状復元装置1に対して指示を入力する装置である。例えば、ボタン、スイッチ、コンピュータのキーボード、マウスなどによって実現する。ここでは、入力IF114は、X線画像取得部113に対して画像取得の開始、および、終了の指示を与えるのに用いる。
X線画像保持部103は、X線画像取得部113が取得した画像を保持する部である。図10は、X線画像保持部103のデータ構造を示す図である。X線画像取得部が画像取得を開始した時刻を時刻0、画像取得を終了した時刻を時刻ENDとし、画像取得から開始までの各時刻に、X線撮影部101〜102で撮影された画像を保持する。以降の説明では、X線撮影部101で時刻nに撮影された画像を画像1_nとし、X線撮影部102で時刻nに撮影された画像を画像2_nとする。また、時刻0に撮影された画像1_0、画像2_0を背景画像と呼ぶ。
被撮像物領域取得部105は、画像1_END、および、画像2_ENDから、造影剤が投入された血管の領域を取得する部である。図11は、被撮像物領域取得部105の構成を示す図である。被撮像物領域取得部105は、差分画像生成部1504、差分画像保持部1505、二値化部1501、細線化部1503を有する。
差分画像生成部1504は、X線画像保持部103より、画像n_ENDと画像n_0とを取得し、差分画像を生成し、生成した差分画像を差分画像保持部1505に格納する(n=1、2)。
差分画像保持部1505は、差分画像生成部が生成した差分画像を保持する。
二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、被撮像物領域画像保持部1132に格納する。ここでは、血管の領域の画素値を「1」とし、それ以外の領域の画素値を「0」とする。
細線化部1503は、被撮像物領域画像保持部1132が保持する二値画像を細線化して被撮像物細線化画像保持部106に格納する。図12に示す二値画像を、細線化して得られる細線画像を図13に示す。
<被撮像物領域取得部105が行う処理の流れ>
図14は、被撮像物領域取得部105によって画像1_ENDの被撮像物領域を取得する処理のフローチャートを示す図である。
被撮像物領域取得部105は、ステップS801で処理を開始する。
次に、ステップS802で、差分画像生成部1504は、前述の差分画像生成部1504の処理を行う。すなわち、X線画像保持部103より、画像1_0と、画像1_ENDとを取得し、取得した画像の各画素の差分を算出して生成した差分画像を、差分画像保持部1505に格納する。
次に、ステップS803で、二値化部1501は前述の二値化部1501の処理を行う。すなわち、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、被撮像物領域画像保持部1132に格納する。
次に、細線化部1503は、ステップS804で前述の細線化部1503の処理を行う。すなわち、被撮像物領域画像保持部1132が保持する二値画像を細線化して被撮像物細線化画像保持部106に格納する。
次に、被撮像物領域取得部105は、ステップS805で処理を終了する。
被撮像物領域取得部105は、X線撮影部102で撮影された画像2_ENDに対しても、同様の処理を行う。
なお、ここでは被撮像物領域を時刻ENDに取得された画像より決定する場合を説明したが、撮影開始から撮影終了までのいずれかの時間に造影剤が検出された領域を血管領域としても良い。具体的には、撮影開始時刻における画素の輝度との輝度差が閾値以上となる時刻を有する画素を被撮像物領域とし、いずれの時刻においても撮影開始時刻における画素の輝度との輝度差が閾値未満となる画素を、被撮像物領域外とする。
被撮像物細線化画像保持部106は、被撮像物領域取得部105が取得した被撮像物領域を保持する部である。図15は、被撮像物細線化画像保持部106のデータ構造を示す図である。被撮像物細線化画像保持部106は、画像1_ENDより生成した第一被撮像物細線化画像1101と、画像2_ENDより生成した第二被撮像物細線化画像1102とを保持する。
被撮像物領域画像保持部1132、被撮像物領域取得部105が取得した被撮像物領域画像を保持する部である。被撮像物領域画像保持部1132は、画像1_ENDより生成した第一被撮像物領域画像7901と、画像2_ENDより生成した第二被撮像物領域画像7902とを保持する。
細線分割部121は、被撮像物細線化画像保持部106を分基点ごとに分割する。図33に示す細線画像を分割した場合を図34に示す。図34において楕円で囲んだ3つの領域のそれぞれが分割後の細線である。分割後の各細線画像の一例を図35に示す。
分割細線保持部122は、細線分割部121が生成した分割後の各細線画像を保持する。例えば、図35の分割細線を保持する。
分割細線時刻情報取得部123は、分割細線保持部122が保持する各細線について、その領域に最初に造影剤が到達した分割細線時刻を取得する。具体的には、領域に含まれる各点の輝度が所定の閾値よりも暗くなる最初の時刻をX線画像保持部103が保持する画像を用いて取得し、その中で最初の時刻を分割細線時刻とする。
分割細線時刻情報保持部124は、分割細線時刻取得部123が取得した分割細線時刻情報を保持する。分割前の細線画像が図33の場合には、7つの分割細線画像に対する分割細線時刻を保持する。図36は、分割細線時刻情報保持部124が保持する時刻情報の一例を示す図である。
細線接続情報取得部125は、各分割細線と接触している他の細線を取得する。
細線接続情報保持部126は、細線接続情報取得部125が取得した接続情報を保持する部である。図37は、図33に示す細線画像に対する細線接続情報の一例を示す図である。
後続細線情報取得部127は、各分割細線と接続している他の分割線分のうち、自分より後に造影剤が流れる分割線分を抽出する部である。具体的には、分割細線Xに接続する分割細線のうち、Xより分割細線時刻情報が後の分割細線Y_n(n=1、、、N)を取得する。図38は、図33に示す細線画像に対する後続細線情報の一例を示す図である。
後続細線情報保持部128は、後続細線情報保持部127が取得した後続細線情報を保持する。
対応付け部107は、分割細線保持部122が保持する各分割細線画像の黒色の点に対して、第二被撮像物領域画像上の対応点の位置を取得する。以降の説明では、分割細線画像の各点を第一画像投影点Pk(k=1,2,…,K。ただし、Kは分割細線画像における第一画像投影点の数。)と呼ぶ。分割細線画像が複数枚ある場合には、分割細線時刻情報取得部123より分割細線時刻を取得し、分割細線時刻の値が小さい分割細線から順番に下記の処理を行う。
図16は、対応付け部107の構成を示す図である。対応付け部107は、第一画像投影領域取得部1702C、第二画像投影領域保持部1703C、第二画像投影領域取得部1705、第二画像投影領域保持部1706、吸収特性列取得部1707、吸収特性列保持部1708、吸収特性列評価部1709、吸収特性列評価保持部1710、対応領域決定部1711、対応付け制御部1711を有する。
まず、第二画像投影領域取得部1705を説明するのに先立って、エピポーラ線とエピポーラ平面について図18を用いて説明する。
図18において、1201は、血管である。X線撮影部101のX線発生部202Aで発生し、三次元点Jkを通過したX線は、X線検出部203A上の第一画像1101上の第一画像投影点Pkに投影される。
第一画像投影点Pkの位置のみからでは、三次元点Jkの位置を知ることは出来ないが、三次元点Jkは、X線発生部202Aと第一画像投影点Pkを結ぶ直線1231上のどこかに存在することになる。
さて、この直線1231上の点は、第二画像1102上では、図のエピポーラ線L2に投影される。三次元点Jkは直線1231上の点なので、三次元点Jkの投影点もこのエピポーラ線L2上のどこかに出現する。よって、三次元点Jkの対応点の候補は、このエピポーラ線L2上に存在する投影点に絞り込む事が出来る。
次に、X線撮影部102のX線発生部202Bと、X線発生部202Aと、第一画像投影点Pkを通る平面について説明する。この平面は(第一画像投影点Pkに対する)エピポーラ平面と呼ばれる。
この平面上の三次元点はJkに限らず、第二画像1102上では、全てエピポーラ線L2上に投影される。X線発生部202Bと、三次元点を結ぶ直線は、全てエピポーラL2に投影されるためである。
また、この平面上の三次元点は、第一画像1101上では、全てエピポーラ線L1上に投影される。X線発生部202Aと、三次元点を結ぶ直線は、全てエピポーラL1に投影されるためである。
さて、図19は、エピポーラ平面を示す図である。先述の説明では、血管上の一点を三次元点Jkとして説明したが、詳細には、血管1211のエピポーラ平面による断面は図のように楕円等の面積を有する形状となる。よって、以降の説明では、面積があることを利用する場合には三次元領域Jkと述べる。また、三次元領域Jkの投影点である第一画像投影点Pk、第二画像投影点Qkは、実際には線分であり、長さを有する形状となる。よって、以降の説明では、長さがあることを利用する場合には、第一画像投影領域Pk、第二画像投影領域Qkと記述する。
第二画像投影領域取得部1705は、後述の対応付け制御部1701により指定された第一画像投影点Pkに対する、対応点の候補となる第二画像投影領域Qk_n(n=1,2,…,N:ただし、Nは第二画像投影領域の数)の位置を取得する。具体的な方法を図17の被撮像物領域取得部105が行う処理のフローチャートを用いて説明する。
ステップS1001で、第二画像投影領域取得部1705は処理を開始する。
ステップS1003で、第二画像投影領域取得部1705は、撮影部情報保持部104より、並進ベクトルT、回転ベクトルR、内部パラメータA1、A2を取得する。
ステップS1004で、第二画像投影領域取得部1705は、取得した第一画像投影領域に対応するエピポーラ線L2を算出する。エピポーラ線L2は、第一画像投影点Pkの対応点が第二画面上に出現しうる直線状の範囲であり、第一画像投影点Pkの位置と、X線撮影部101とX線撮影部102の幾何学的な位置関係に基づいて決定される。
エピポーラ線L2は、X線撮影部101(X線発生部202A)の位置とX線撮影部102(X線発生部202B)の位置の情報(並進ベクトルT、回転ベクトルR)と、どのようなカメラで撮影しているかの情報(内部パラメータA1、A2)で算出される。具体的には、第二画像投影領域取得部1705は、以下の式6、式7の計算を行ってエピポーラ線のパラメータl2を算出する。
Figure 2016159115
Figure 2016159115
式6において、Fはファンダメンタル行列と呼ばれる行列であり、A1−Tは、内部パラメータA1の逆行列の転置行列を示し、[T]は、並進ベクトルTの歪対称行列を示す。
算出されたl2を(a,b,c)としたとき、エピポーラ線L2は、ax+by+c=0となる。
ステップS1005で、第二画像投影領域取得部1705は、被撮像物領域画像保持部1132より第二被撮像物領域画像7902を取得する。
ステップS1006で、第二画像投影領域取得部1705は、第二被撮像物領域画像7902で、エピポーラ線L2と交点する第二画像投影領域Qk_n(n=1,2,…,N。ただし、Nは第二画像投影領域の数)の位置を取得する。図20は、第二画像投影領域Qk(k=1、2)の一例を示す図である。図において8001はエピポーラ線L2を示す。X線撮影部102が撮影した画像2_ENDにおいて血管が撮影された被撮像物領域を示す。図20において、被撮像物領域(太線の領域)と、エピポーラ線L2が交差するそれぞれの領域が第二画像投影領域Qk_n(n=1、2)である。図20の場合では、点8011と点8012を結ぶ線分上の領域が第二画像投影領域Qk_1であり、点8012と点8013を結ぶ線分上の領域が第二画像投影領域Qk_2である。第二画像投影領域取得部1705は、それぞれの領域に属する点の座標を第二画像投影領域保持部106に格納する。
ステップS1008で、第二画像投影領域取得部1705は、処理を終了する。
第二画像投影領域保持部1706は、第二画像投影領域取得部1705が取得した第二画像投影領域Qk_n(n=1,2,…,N)の座標を保持する部である。図20の場合では、第二画像投影領域Qk_1、Qk_2の座標を取得する。図21は、第二画像投影領域保持部1706が保持するデータの一例を示す図である。1行目には、点8011〜点8012までの点の座標を保持し、2行目には、点8013〜点8014までの点の座標を保持する。以降の説明では、第二画像投影領域Qk_nを構成する各画素をqk_n_an(an=1,2,…,An:ただし、Anは、第二画像投影領域Qk_nを構成する画素数)と呼ぶ。
第二画像投影領域絞込み部1707は、第二画像投影領域保持部1706が保持する第二画像投影領域Qk_nのうち、血管構造的に第一画像投影領域Pkの対応点とはならない領域を削除する。
第一画像1101画像上において近くにある血管の2点は、3次元上においても近くに存在する。より厳密には、第一画像1101上の血管の点Xの近くに点Y1、、、Ypがあるとき、点Xに対応する3次元上の点V_xは、点Y1、、、Ypに対応する三次元上の点のいずれかの近くに存在する。
よって、第一画像1101の第一画像投影領域Pxの近くに第一画像投影領域Py(y=1、、、p)があるとき、第一画像投影領域Pxの対応点は第一画像投影領域Py(y=1、、、p)のいずれかの近くに存在する。
第二画像投影領域絞込み部1707は、第一画像投影領域Pxから所定距離以下の位置にある第一画像投影領域Py(y=1、、、p)を対応情報保持部108より取得し、第一画像投影領域Pxの対応領域候補のうち、第一画像投影領域Pyの対応領域からのいずれからも所定距離以上離れている対応候補領域を対応候補から除外する。
第一画像投影領域取得部1702Cは、後述の対応付け制御部1701により指定された第一画像投影点Pkに対する、第一画像領域Pkの位置を取得する。
具体的な方法を説明する。まず、式8を用いてエピポーラ線L1のパラメータl1を算出する。
Figure 2016159115
式7で、Fは式1で算出したFであり、FはFの転置行列を示す。mは、第二画像投影領域保持部1706より取得した任意の第二投影領域Qk_nの一点の座標である。
算出されたl1を(a,b,c)としたとき、エピポーラ線L1は、ax+by+c=0となる。算出したエピポーラ線L1と、第一被撮像物細線化画像1011の交点の座標の取得の仕方は、第二画像投影領域取得部1705の場合と同様であり、説明を省略する。
第一画像投影領域保持部1703Cは、第一画像投影領域取得部1702Cが取得した第一画像投影領域Pkの座標を保持する部である。図22は、第一画像投影領域Pkの保持する座標の一例を図22に示す。以降の説明では、第一画像投影領域Pkを構成する各画素をpk_b(b=1,2,…,B:ただし、Bは、第一画像投影領域Pkを構成する画素数)と呼ぶ。
吸収特性列取得部1707を説明するのに先立って吸収特性について説明する。
図19に示すエピポーラ平面において、第一画像投影点Pkの輝度と第二画像投影点Qk_2の輝度は異なるため、輝度を用いて第一画像投影点Pkの対応点を決定することは出来ない。しかし、X線発生部202Aを発生して第一画像投影領域Pkに到達するX線が横切る三次元領域Jkの厚さの合計(図23における太線の長さの合計)と、X線発生部202Bを発生して第二画像投影領域Qk_2に到達するX線が横切る三次元領域Jkの厚さの合計(図24における太線の長さの合計)は等しくなる。また、X線発生部202Aを発生して第一画像投影領域Pkに到達するX線が横切る造影剤の量(X線を吸収する物質量)の合計(図24における太線上の造影剤合計)と、X線発生部202Bを発生して第二画像投影領域Qk_2に到達するX線が横切る造影剤の量(X線を吸収する物質量)の合計(図23における太線上の造影剤合計)は等しくなる。より厳密には、X線発生部202Bを発生して第二画像投影領域Qk_2に到達するX線が横切る領域に存在する線減弱係数μの合計は等しくなる。
本手法では、この関係を用いて第一画像投影領域Pkの対応点を決定する。
まず、輝度による対応付けが出来ない理由を説明する。図19に示すエピポーラ平面において、X線発生部202Aを通過して三次元領域Jkを通過し、第一画像投影点Pkに到達するX線8201が、血管を通過する厚みは厚み8211である。一方、X線発生部202Bを通過して三次元領域Jkを通過し、第二画像投影点Qk_2に到達するX線8202が、血管を通過する厚みは厚み8212である。
厚み8211と、厚み8212とは、異なるので、第一画像投影点Pkの輝度と、第二画像投影点Qk_2の輝度は異なる値となる。よって、輝度によって、第一画像投影点Pkの対応点を決定することは困難である。
しかし、第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管の面積と、第二画像投領域Qk_2に到達するX線が、第二画像投領域Qk_2の範囲に到達するまでに横切る血管の面積は等しい。
図23、図24を用いてこの関係を説明する。図23は、第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管の面積を示す図である。説明を分かりやすくするために、三次元領域Jkは、図19とは異なるサイズ、位置に記載している。第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管の面積は、図中の太線の長さの合計で近似できる。
図24は、第二画像投領域Qk_2の範囲に到達するX線が、第二画像投領域Qk_2の範囲に到達するまでに横切る血管の面積を示す図である。第一画像投領域Pkの範囲に到達するX線が、第二画像投領域Pkの範囲に到達するまでに横切る血管の面積は、図中の太線の長さの合計で近似値できる。これらの面積は図23の場合も、図24の場合も等しくなる。また、上記の太線上に存在する造影剤の量も、図23の場合と、図24の場合とで等しくなる。また、上記の太線上に存在する造影剤の量が図23の場合と、図24の場合とで等しくなることより、上記の太線上でX線を吸収する物質量も、図23の場合と、図24の場合とで等しくなる。
本発明では、X線画像における第一撮像物領域に属する点の輝度より、前記の面積、もしくは前記面積で物質によって吸収されるX線の総量の推定を行う。
以下、その原理を説明する。強度IのX線は厚さd[cm]の物体を通過すると強度Iに減衰する。減弱の程度を示す線減弱係数をμ[cm−1]とすると、式9が成り立つ。
Figure 2016159115
第一画像投影領域Pkを構成する各画素pk_bに対しても、式8は成立する。画素pk_bが取得するX線の強度(画素pk_bの輝度)をI_b、画素pk_bに到達するX線が通過する三次元領域Jkの厚さをd_bとすると、式10が成立する。
Figure 2016159115
両辺の対数を取り、b=1,2,…,Bの合計を算出すると、式11が成立する。
Figure 2016159115
式11を変形すると式12が成立する。
Figure 2016159115
また、第二画像投影領域Qk_nを構成する各画素qk_n_anに対しても式8は成立し、画素qk_n_anの強度をI_an、画素qk_n_anに到達するX線が通過する三次元領域Jkの厚さをd_anとすると、同様に式13が成立する。
Figure 2016159115
式12において、Σd_bは、三次元領域Jkの断面積である。また、第二画像投影領域Qk_nが第一画像投影領域Pkの対応点であるとき、式13において、Σd_anも、三次元領域Jxの断面積となり、式12の値と式13の値は等しくなる。
そこで、本発明では、第二画像投影領域Qk_n(n=1,2,…,N)の中で、式13の値が式12の値に最も近い第二画像投影領域Qk_xを第一画像投影領域Pkの対応点の対応点に決定する。以降の説明では、式12の値を吸収特性λ_pkと呼び、式13の値を吸収特性λ_qk_nと呼ぶ。
なお、本実施形態における吸収特性は、投影領域の画素数とX線発生装置が発生したX線の強度との積と、前記投影領域の各画素で取得したX線の強度の対数の和との、差として算出する。
なお、ここでは、三次元領域Jkの断面の、線減弱係数をμが一定の場合の説明を行ったが、断面内の微少領域毎に線減弱係数の値が異なる場合においても、線減弱係数の合計は、撮影方向によらず一定になるため、本手法によって対応付けを行うことが出来る。
吸収特性列取得部1707は、指定された第一画像投影点Pkに対する吸収特性吸収特性λ_pkの各時刻における値を取得する。また、第二画像投影領域Qk_n(n=1,2,…,N)に対する吸収特性λ_qk_nの各時刻の値を取得する。以降の説明では、時刻t(t=1,2,…,END)における吸収特性の値をそれぞれ、吸収特性λ_Pk_t、λ_Qk_n_tと記述する。
図25は、吸収特性列取得部1707が取得する吸収特性の一例を示すグラフである。図25において太線2301、実線2302、点線2303は、それぞれ、第一画像投影領域Pkの吸収特性列、第二画像投影領域Qk_1の吸収特性列、第二画像投影領域Qk_2の吸収特性列である。グラフの横軸は時刻であり、1メモリは33msecである。グラフの縦軸は、吸収特性である。このグラフでは、血管1201に造影剤が注入されて、血管1201に含まれる造影剤の濃度が増えている段階の吸収特性を示している。

図27は、吸収特性列保持部1708が保持する吸収特性列のデータ構造を示す図である。吸収特性列取得部1707が取得する吸収特性列のデータは、第一画像投影点Pkの吸収特性列λ_Pk(t)(t=0,2,…,END)および、第二画像投影領域Qk_nの吸収特性列λ_Qk_n(t)(n=1,2,…,N、t=0,1,…,END)を有する。
吸収特性列保持部1708は、吸収特性列取得部1707が取得した吸収特性列を保持する。図27は、第二画像投影領域Qk_nが2つある場合の吸収特性列保持部1708が保持する吸収特性列を示す図である。
吸収特性列評価部1709は、吸収特性列保持部1708が保持する各第二画像投影領域Qk_n(n=1,2,…,N)の評価を行う部である。
吸収特性列評価部1709は、吸収特性列保持部1708が保持する第二画像投影領域Qk_n(n=1,2,…,N)の吸収特性列が、第一画像投影点Pの吸収特性列と同じような変化をしているか、異なる変化をしているかの評価値を算出し、吸収特性列評価保持部1710に格納する。本実施の形態では、式14に基づいてその評価を行う。
Figure 2016159115
ここで記号|X|は、Xの絶対値を示す。本実施の形態における評価値は、各時刻における、第一画像投影点Pkの吸収特性と、第二画像投影領域Qk_nの吸収特性の差分の絶対値の合計である。
図28は、第二画像投影領域Qk_1に対する評価値を示すグラフである。図28において、太線2301、実線2302は、それぞれ、第一画像投影領域Pkの吸収特性列、第二画像投影領域Qk_1の吸収特性列を示す。第二画像投影領域Qk_1に対する評価値は、図中の斜線の領域の面積である。図29は、第二画像投影領域Qk_2に対する評価値を示すグラフである。図29において、太線2301、点線2303は、それぞれ、第一画像投影領域Pkの吸収特性列、第二画像投影領域Qk_2の吸収特性列を示す。第二画像投影領域Qk_2に対する評価値は、斜線の領域の面積である。
吸収特性列評価保持部1710は、吸収特性列保持部1708が取得した各第二画像投影領域Qk_n(n=1,2,…,N)の吸収特性列の評価H_n(n=1,2,…,N)を保持する部である。図39は吸収特性列評価保持部1710が保持する評価情報の一例を示す図である。1列目は、Pkの座標、2列目は第一画像投影領域Pkがどの分割細線に属するかを示す識別子、3列目は第二画像投影領域QK_nの座標、4列目は各第二画像投影領域QK_nの評価値を格納する。
対応領域決定部1711は、吸収特性列評価保持部1710が保持する評価値H_n(n=1,2,…,N)のうち、最も小さい評価値を選択する。選択した評価値がH_xのとき、第二画像投影領域Qk_xを、第一画像投影領域Pkの対応領域Qkに決定する。評価値H_1、H_2が、それぞれ図28、図29で示される斜線の面積の場合には、面積が小さい方の第二画像投影領域Qk_1を第一画像投影領域Pkの対応点Qkに決定する。決定した第二画像投影領域の識別子nを選択情報保持部150に格納する。吸収特性列評価が図39に示す値の場合、(256、511)のPkに対しては第二画像投影領域がただ一つQk_1しか存在せず、Qk_1を示す識別子1を格納する。(256、510)のPkに対しては評価値が320のQk_1と、評価値が20のQk_2のうち、評価値が低い(評価が良い)Qk_2を選択し格納する。
選択情報保持部150は、対応領域決定部が複数の第二画像投影領域QK_nの中からいずれを選択したかを示す選択情報を保持する。吸収特性列評価が図39に示す値の場合に選択情報保持部150が保持する情報を図40に示す。
対応付け制御部1701は、対応付け部107を構成する各部を用いて対応付けを行う部である。図26は、対応付け制御部1701が行う処理の流れを示すフローチャートである。
ステップS1401で、対応付け制御部1701は処理を開始する。
ステップS1402で、対応付け制御部1701は被撮像物細線化画像保持部106より第一被撮像物細線化画像1101を取得する。
対応付け制御部1701は、ステップS1402で取得した第一被撮像物細線化画像1101で被撮像物領域の黒色の点に対して、ステップS1404からS1415の処理を行う。以下の説明では、黒色の点を第一画像投影点Pk(k=1,2,…,K:ただし、Kは黒色の点の数)と呼ぶ。
ステップS1406で、対応付け制御部1701は、第二画像投影領域取得部1705を用いて、第一画像投影点Pkに対する第二画像投影領域Qk_n(n=1,2,…,N)を取得し、取得した第二画像投影領域Qk_n(n=1,2,…,N)の座標を第二画像投影領域保持部1706に格納する。
ステップS14061で、対応付け制御部1701は、第一画像投影領域取得部1702Cを用いて、第一画像投影点Pkに対する第一画像投影領域Pkを取得し、取得した第一画像投影領域Pkの座標を第一画像投影領域保持部1703Cに格納する。
ステップS1407で、対応付け制御部1701は、吸収特性列取得部1707を用いて、第一画像投影領域Pkと、第二画像投影領域Qk_n(n=1,2,…,N)の吸収特性列を取得し、吸収特性列保持部1708に格納する。
ステップS1409で、対応付け制御部1701は、吸収特性評価部1709を用いて、第二画像投影領域Qk_n(n=1,2,…,N)の評価値、(すなわち差合計)を取得し、吸収特性列評価保持部1710に格納する。
ステップS1410で、対応付け制御部1701は、対応領域決定部1711を用いて、第一画像投影領域Pkの対応領域Qkを決定する。すなわち、吸収特性列評価保持部1710が保持する評価値H_nのうち、最も値が低い評価値となる第二画像投影領域Qk_xを選択する。また、最も低い評価値Hkを対応領域Qkの評価値とする。
ステップS1411で、対応付け制御部1701は第一画像投影点Pkの座標、対応領域Qkの座標、対応領域Qkの評価値Hkを対応情報保持部108に格納する。
ステップS1499で、対応付け制御部1701は処理を終了する。
対応情報保持部108は、対応付け部107が取得した、第一画像投影領域Pk(k=1,2,…,K:Kは第一画像投影点の数)の重心の座標、対応領域Qk(k=1,2,…,K)の重心の座標、対応領域Qkの評価値Hk(k=1,2,…,K)を格納する部である。図28は、対応情報保持部108のデータ構造を示す。初期状態では、対応情報保持部108が保持する組合せの数は0個であるが、対応付け制御部1701のステップS1411の処理が行われる度に、一行ずつデータが追加される。
三次元位置取得部109は、対応情報保持部108が保持するそれぞれの行の第一画像投影領域Pkの重心の座標と、それぞれの行の対応領域Qkの重心の座標を用いて、三角測量の原理を用いて、三次元上の三次元点Jkの座標を算出し、算出したJk(k=1,2,…,K)の座標を三次元位置保持部110に格納する。
三次元位置保持部110は、三次元位置取得部109が復元した三次元点Jk(k=1,2,…,K)の座標を保持する。図29は、三次元位置保持部110のデータ構造を示す図である。k行目には、(Jk_X、Jk_Y、Jk_Z)を保持する。Jk_X、Jk_Y、Jk_Zは、それぞれ、三次元点JkのX座標、Y座標、Z座標を示す。
表示画面生成部111は、三次元位置保持部110が保持する三次元点Jk(k=1,2,…,K)を表示するCG(コンピュータグラフィックス)の画面を生成する。図30は、表示画面生成部111が生成する表示画面の一例を示す図である。なお、ここでの三次元表示は表示方法の一例として、各三次元点を球として表示する場合を示すが、他の表示方法であっても構わない。たとえば、前後する3次元点を円柱で繋いでポリゴンとして表示するなどであっても構わない。
表示部112は、表示画面生成部111が生成した画面を表示する。具体的には、ディスプレイ装置、プロジェクター投影装置等の表示装置である。
指示部170は、血管の位置を指定して、再構成のやり直しを指示する。例えば、操作者が第一画像領域Pkの座標を指定して再構成のやり直しを指示する。位置の指定には、入力IF114のマウス、キーボード等の装置を用いる。
再対応付け部171は、指示部170からの指示を受けて対応付けを行なう。図41は再対応付け部171が行なう処理の流れである。
ステップ7801で指示部170からの指示により再対応付け部171は処理を開始する。
ステップ7802で、再対応付け部171は指示部170より指示位置を取得する。
ステップ7803で、再対応付け部171は、被撮像物細線化画像保持部106が保持する細線化画像で、指示位置に最も近い点を取得し、その点が属する分割細線画像を抽出する。(対応分割細線と呼ぶ。)
ステップ7804で、再対応付け部171は、ステップ7803で取得した対応分割細線の一点に対する選択情報Xを取得する。
ステップ7805で、再対応付け部171は、対応分割細線上の点に対する対応付けを更新する。具体的には再対応付け部171は、吸収特性列評価保持部1710が保持する評価情報のうち、対応分割細線の(後述の)一点についての、選択情報が示す識別子に対応する評価値の次に良い値となる評価値H_yを取得し、評価値H_yに対応する第二画像領域Qk_yを第一画像領域の対応領域に決定する。一点が図39の(256、510)で、選択情報がH_2=20の場合、再対応付け部171はH_2=20の次に良い評価値であるH_1=310を取得し、Qk_1を第一画像領域の対応領域に決定する。
もし、選択情報が示す評価値が評価値の中で最も評価の悪い値である場合には、再対応付け部171は、評価が最も良い評価値H_yを取得し、評価値H_yに対応するQk_yを第一画像領域の対応領域に決定する。再対応付け部171は、決定した対応点の情報を対応情報保持部108に格納する。
前記の一点は、対応分割細線上、最も造影剤が流れた時刻が早い点から選択する。
ステップ7806で、再対応付け部171は、前記の一点を通って造影剤が流れた第一画像1101(または第二画像1102)の各領域に対して対応付け部170を用いて再度対応付けを行なう。具体的には、分割対応領域に対して前記一点以外の各点、および、分割対応領域に後続する分割細線上の点について、対応点を一旦、消去して、それぞれの点に対して、再度、対応付け部170で対応付けを行い、分割対応領域に後続する分割細線上の点についても対応付け部170で対応付けを行ない、更に分割対応領域に後続する分割細線に後続する分割細線上の点についても対応付け部170で対応付けを行い、以降、それぞれに後続する分割細線に対して処理を繰り返す。
<形状復元装置1の処理の流れ>
図31は、形状復元装置1が行う処理のフローチャートを示す。
ステップS1901で、形状復元装置1は処理を開始する。
ステップS1902で、X線画像取得部113は、前述のX線画像取得部113の処理を行う。すなわち、X線撮像部101〜102よりX線画像を取得し、X線画像保持部103に格納する。
ステップS1903で、被撮像物領域取得部105は、前述の被撮像物領域取得部105の処理を行う。すなわち、X線画像保持部103が保持する画像に基づいて、第一被撮像物細線化画像1101、第二被撮像物細線化画像1102を取得し、被撮像物細線化画像保持部106に格納する。
ステップS19031で、細線分割部121は、前述の細線分割部121の処理を行う。すなわち、細線画像を分岐点で分割する。
ステップS19032で、分割細線時刻情報取得部123は、前述の分割細線時刻情報取得部123の処理を行う。すなわち、各分割細線に造影剤が始めて流れた時刻を取得する。
ステップS19033で、細線接続情報取得部125は、前述の細線接続情報取得部125の処理を行う。すなわち、各分割細線同士の接続関係を取得する。
ステップS19034で、後続細線情報取得部126は、前述の後続細線情報取得部126の処理を行う。すなわち、各分割細線に対して、自分の領域を通過して造影剤が流れる先の分割細線を取得する。
ステップS1904で、対応付け部107は前述の対応付け部107の処理を行う。すなわち、分割細線保持部122が保持する各分割細線の各第一画像投影領域Pk(k=1,2,…,K)の対応領域Qkを決定し、対応情報保持部108に対応情報を格納する。
ステップS1905で、三次元位置取得部109は、前述の三次元位置取得部109の処理を行う。すなわち、対応情報保持部108より、第一被撮像物細線化画像1101の各第一画像投影領域Pk(k=1,2,…,K)に対して、三次元点Jkの三次元位置を算出し、三次元位置保持部110に格納する。
ステップS1906で、表示画像生成部111は、各三次元点Jk(k=1,2,…,K)を表示するCGの画面を生成する。
ステップS1907で、表示部112は、表示画像生成部111が生成した表示画面を表示する。
ステップ1907で、指示部17は、指示を受け付ける。指示があるまで本ステップを繰り返す。
ステップ1907で、再対応付け部171は、再対応付け部の処理を行う。処理後ステップS1905に分岐し、処理を終了する。
<形状復元装置1が行う処理の原理>
血管に造影剤を投入すると、血管上の三次元点Jkに存在する造影剤の量は、時間と共に変化する。その時、三次元点Jkを含む血管断面を撮影した第一画像投影領域Pk、および、対応領域Qkの吸収特性も変化する。
まず、血管上の三次元点Jkを含む血管断面の吸収特性の変化について説明する。ある三次元点Jkを含む血管断面における吸収特性の変化を図32に示す。造影剤を投入する前は、造影剤は流れていない。造影剤を噴出を開始すると、時刻T2より徐々に造影剤が流れ始める。造影剤を噴出した位置に近い血管では時刻T2が小さな値となり、造影剤を噴出した位置から遠い血管では時刻T2が大きな値となる。やがて、時刻T3で吸収特性は一定値となる。造影剤の噴出を停止すると(または徐々に減らしていくと)時刻T4よりやがて吸収特性が徐々に減少していき、時刻T5で造影剤が流れていない状態になる。
カテーテルを同じ位置に固定し、同じ濃度の造影剤を一定時間注入する操作を複数回行なった場合、T2〜T5の時間は操作ごとにずれが生じる。これは、血管に流体である血液が流れており、そこに流体である造影剤が混入していくため、毎回、同じ広がり方にはならないためである。また脈動などの生体の作用によって変化が生じすることが考えられる。しかしV34の値、すなわち吸収特性が一定となる値自体には大きなの変化は生じない。そこで、形状復元装置1は、第一画像投影領域Pk、第二画像投影領域Qk_n(n=1,2,…,N)の吸収特性列を取得し、それぞれの吸収特性列で吸収特性が一定となる吸収特性一定値を取得し、吸収特性一定値の類似性を評価して、第二画像投影領域Qk_nの中から対応領域Qkを決定する。
<第2実施形態の効果>
本実施形態において、吸収特性評価の値が小さい3次元点は、対応付けの信頼度が高い点である。本実施形態における形状復元装置1を用いれば、最初に対応付け部107を実行して最も信頼度の高い3次元再構成結果を表示する。一般の3次元物体であれば再構成結果が正しいか否かを判定することはできないが、術者または操作者は血管構造に関する知識を有するので提示された3次元再構成結果が正しか否かを判断することが出来る。よって、提示された3次元再構成結果が正しくないと判断した場合、どこから再構成結果が正しくないかを指示部170を用いて指示し、再対応付け部171によって、その正しくない対応付け部分の対応付けをやりなおし、それに後続する部分の対応付けをやりなおすことができる。
(第2実施形態の変形例1)
第2実施形態では、エピポーラ平面に血管のみが存在する場合を説明した。変形例2では、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合を説明する。図42、図43は、被撮像物体Γが存在するエピポーラ平面を示す。図42は、造影剤が注入される前の状態であり、図43は造影剤が注入された後の状態を示す。
図42の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_b、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、式15が成立する。
Figure 2016159115
両辺の対数を取り、b=1,2,…,Bの合計を算出すると、式16が成立する。
Figure 2016159115
図43の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_tとすると、式17が成立する。
Figure 2016159115
両辺の対数を取り、b=1,2,…,Bの合計を算出すると、式18が成立する。
Figure 2016159115
式16を用いて、式18の右辺の第一項、第二項を置き換えて式19が成立する。
Figure 2016159115
式19を変形して式20が成立する。
Figure 2016159115
式20の左辺は、吸収特性の定義であり、式20を用いても吸収特性を算出できることが分かる。右辺第一項は、第一画像投影領域Pkを構成する点の時刻0での輝度の対数の和として算出する。第二画像投影領域Qkについても同様に式21を用いて、吸収特性を算出することが出来る。
Figure 2016159115
なお、ここでは、時刻0には、三次元領域Jkに造影剤がまったくない場合を説明したが、造影剤がある場合においても、時刻0からの吸収特性の増加量を式20、式21を用いて算出することが出来る。
なお、本変形例における吸収特性取得部は、前記第一の時刻に前記投影領域の各画素で取得したX線の強度の対数の値同士を加算した値と、前記第二の時刻に前記投影領域の各画素で取得したX線の強度の対数の値同士を加算した値との、差を算出し前記吸収特性とする。
(第2実施形態の変形例2)
第2実施形態では、式12、式13を吸収特性の定義としたが、変形例3では、他の方法で吸収特性を定義する。
第2実施形態の式10の両辺をIで割ると式22が成り立つ。
Figure 2016159115
式22は、b=1,2,…,Bの場合にも成立し、左辺同士の積、右辺同士の積が等しくなることより式23が成立する。
Figure 2016159115
更に式23を変形すると式24が成立する。ここで、記号Πは、各要素の積を示す演算視である。
Figure 2016159115
また、第二画像投影領域Qk_nを構成する各画素qk_n_anに対しても式21は成立し、画素qk_n_anの強度をI_an、画素qk_n_anに到達するX線が通過する三次元領域Jkの厚さをd_anとすると、同様に式25が成立する。
Figure 2016159115
式24において、Σd_bは、三次元領域Jkの断面積である。また、第二画像投影領域Qk_nが第一画像投影領域Pkの対応点であるとき、式25において、Σd_anも、三次元領域Jxの断面積となり、式24の値と式25の値は等しくなる。
本変形例では、式24の値を吸収特性λ_pk、式25の値をλ_qk_nとする。
吸収特性λ_pkは、第一投影画像領域Pkの各画素pk_b(b=1,2,…,B)における輝度I_bをIで割った値の積として算出する。
なお、本変形例における吸収特性取得部は、投影領域の各画素で取得したX線の強度同士の積を、X線発生装置が発生したX線の強度を投影領域の画素数で乗じた値で、割った値を算出し、吸収特性とする。
(第2実施形態の変形例3)
変形例3では、変形例1同様に、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合を説明する。
図42の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_b、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、式26が成立する。
Figure 2016159115
b=1,2,…,Bにおいて式26が成立し、左辺同士の積と、右辺同士の積を算出すると式27が成立する。
Figure 2016159115
図43の第一画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_tとすると、式14が成立し、両辺をIで割り、b=1,2,…,Bにおいて式14が成立し、左辺同士の積と、右辺同士の積を算出すると式28が成立する。
Figure 2016159115
式27、式28より、式29が成立する。
Figure 2016159115
式29の右辺は、変形例2における吸収特性の定義であり、式29を用いても吸収特性を算出できることが分かる。左辺は、第一画像領域Pkを構成する点pk_b(b=1,2,…,B)の「時刻tでの輝度を時刻0での輝度で割った値」の積として算出する。
なお、ここでは、時刻0には、三次元領域Jkに造影剤がまったくない場合を説明したが、造影剤がある場合においても、時刻0からの吸収特性の増加量を式20、式21を用いて算出することが出来る。
なお、本変形例における吸収特性取得部は、第一の時刻に投影領域の各画素で取得したX線の強度の値同士の積を、第二の時刻に投影領域の各画素で取得したX線の強度の値同士の積で、割った値を算出し、吸収特性とする。
(第2実施形態の変形例5)
変形例2、4では、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合に、造影剤が投入される前の時刻0の画像と、造影剤が投入された後の時刻tの画像を用いて、吸収特性を算出する方法を説明した。ここでは、一枚の画像を用いて、吸収特性を算出する方法を説明する。
図44では、被撮像物Γと、血管の領域である三次元領域Jkを同じ程度の大きさで記載したが、実際には図44に示すように、血管の領域である三次元領域Jkは非常に小さく、臓器等の領域である被撮像物Γの領域は非常に大きい。図44において、点qq1、点qq2は、第二画像投影領域Qk_2から例えば5画素離れた位置の点である。点qq1、点qq2に到達するX線は、被撮像物Γのほぼ同じ場所を透過してそれぞれの点に到達するので、輝度はほぼ等しい。また、三次元領域Jk_1に造影剤が流れていない時に第二画像領域Qk_1の点の輝度も、点qq1、点qq2の輝度とほぼ等しい。そこで、点qq1の輝度(または、点qq2の輝度、または、点qq1と点qq2の輝度の平均)を式17におけるI_an_0(an=1,2,…,An)の近似値として用いて、吸収特性を算出する。式16、式24、式25の場合も同様に、血管周辺の点の輝度を、I_an_0(an=1,2,…,An)、I_bn_0(bn=1,2,…,Bn)の近似値とする。このような構成を用いれば、一枚のみで吸収特性を算出することができる。
(変形例)
第1、2実施形態の説明では、処理の流れの一例を示したが、順序の入れ替えや、並列化をして実行しても構わない。
形状復元装置1を構成する要素の一部または全部は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、およびマウスなどから構成されるコンピュータシステムで実現することができる。そのRAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
形状復元装置1を構成する要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、およびRAMなどを含んで構成されるコンピュータシステムである。そのRAMには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
形状復元装置1を構成する要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。そのICカードまたはモジュールは、マイクロプロセッサ、ROM、およびRAMなどから構成されるコンピュータシステムである。そのICカードまたはモジュールは、前記の超多機能LSIを含むとしてもよい。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、そのICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
形状復元装置1を構成する要素の一部または全部は、管の形状を取得する方法としても実現される。また、本発明は、これらの方法によりコンピュータに管の形状を取得させるコンピュータプログラム、又は、コンピュータプログラムからなるディジタル信号としても実現される。
形状復元装置1を構成する要素の一部または全部は、上述のコンピュータプログラムまたはディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、又は、半導体メモリなどに記録したものとしても実現される。また、これらの記録媒体に記録されているディジタル信号としても実現される。
形状復元装置1を構成する要素の一部または全部は、電気通信回線、無線通信回線、有線通信回線、インターネットを代表とするネットワーク、またはデータ放送等を経由して伝送される、上述のコンピュータプログラムまたはディジタル信号としても実現される。
形状復元装置1を構成する要素の一部または全部は、マイクロプロセッサとメモリを備えたコンピュータシステムとしても実現される。この場合、そのメモリは、上述のコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作する。
また、そのコンピュータプログラムまたはディジタル信号を記録媒体に記録して移送することにより、またはコンピュータプログラムまたはディジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより本発明の処理を実施してもよい。
本発明の一態様に係る3次元モデル生成装置は、血管の3次元モデルを生成することができるため、カテーテル治療の際に有用である。
10 3次元モデル生成装置
11 画像取得部
1101 第1X線画像
1102 第2X線画像
12 第1画像領域取得部
1201 血管
13 第2画像領域取得部
14 対応領域決定部
15 選択情報部
16 3次元モデル生成部
17 指示部
18 再対応領域決定部
202A、202B X線発生部

Claims (7)

  1. 分岐を有する血管の3次元モデルを生成する3次元モデル生成装置であって、
    前記血管を第1の撮影位置と第2の撮影位置とから撮影することにより、前記第1の撮影位置より得られる第1画像と前記第2の撮影位置より得られる第2画像とからなるX線画像セットを取得する画像取得部と、
    前記第1画像における、第1画像領域を取得する第1画像領域取得部と、
    前記第2画像における、前記第1画像領域に対応する候補の画像領域である複数の第2画像領域を取得する第2画像領域取得部と、
    前記第2画像領域取得部が取得した前記複数の前記第2画像領域の中から、一部の前記第2画像領域を選択し前記第1画像領域と対応する対応領域に決定する対応付け部と、前記対応付け部が前記複数の前記第2画像領域の中からいずれを選択したかを示す選択情報を保持する選択情報保持部と、
    前記対応付け部より決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成部と、
    対応付けのやり直しを指示する指示部と、
    前記指示部によって、前記対応付けのやり直しが指示された際に、前記選択情報保持部が保持する前記選択情報が示す前記第2画像領域とは異なる第2画像領域を選択し対応付けを行なう再対応付け部と
    を有する3次元モデル生成装置。
  2. さらに、前記3次元モデル生成装置は、
    前記X線撮像装置の前記第1の撮影位置に対する前記第2の撮影位置の情報、及び前記第1画像上における前記第1の画像領域の位置情報を取得する位置情報取得部と、
    前記位置情報取得部より取得した各位置情報より、前記第2画像上について、エピポーラ線を算出するエピポーラ線算出部とを備え、
    前記複数の第2の画像領域は、前記エピポーラ線算出部より算出された前記エピポーラ線上にそれぞれ位置する、
    請求項1に記載の3次元モデル生成装置。
  3. 前記3次元モデル生成装置は更に、
    第1画像において血管が撮影された領域の一点を選択する血管選択部を有し、
    前記再対応付け部は、前記一点を含む前記第1画像領域の再対応付けを行なう
    請求項1又は2記載の3次元モデル生成装置。
  4. 前記再対応付け部は、前記一点と、前記一点に後続する点の再対応付けを行なう請求項3記載の3次元モデル生成装置。
  5. 前記3次元モデル生成装置は、更に、
    前記第1画像において、血管内部に挿入されたカテーテルの先端位置を抽出するカテ先端抽出部
    を有し、
    前記第1画像領域取得部は、前記カテーテルの先端位置を前記一点とする
    請求項3記載の3次元モデル生成装置。
  6. 分岐を有する血管の3次元モデルを生成する3次元モデル生成方法であって、
    前記血管を第1の撮影位置と第2の撮影位置とから撮影することにより、前記第1の撮影位置より得られる第1画像と前記第2の撮影位置より得られる第2画像とからなるX線画像セットを取得する画像取得ステップと、
    前記第1画像におけ第1画像領域を取得する第1画像領域取得ステップと、
    前記第2画像における、前記第1画像領域に対応する候補の画像領域である複数の第2画像領域を取得する第2画像領域取得ステップと、
    前記第2画像領域取得部が取得した前記複数の前記第2画像領域の中から、一部の前記第2画像領域を選択し前記第1画像領域と対応する対応領域に決定する対応付け部と、前記対応付け部が前記複数の前記第2画像領域の中からいずれを選択したかを示す選択情報を保持する選択情報保持ステップと、
    前記対応付け部より決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成ステップと、
    対応付けのやり直しを指示する指示ステップと、
    前記指示部によって、前記対応付けのやり直しが指示された際に、前記選択情報保持部が保持する前記選択情報が示す前記第2画像領域とは異なる第2画像領域を選択し対応付けを行なう再対応付けステップと
    を有する3次元モデル生成装置。
  7. 分岐を有する血管の3次元モデルを生成する3次元モデル生成用プログラムであって、
    コンピュータを、
    前記血管を第1の撮影位置と第2の撮影位置とから撮影することにより、前記第1の撮影位置より得られる第1画像と前記第2の撮影位置より得られる第2画像とからなるX線画像セットを取得する画像取得ステップと、
    前記第1画像における第1画像領域を取得する第1画像領域取得ステップと、
    前記第2画像における、前記第1画像領域に対応する候補の画像領域である複数の第2画像領域を取得する第2画像領域取得ステップと、
    前記第2画像領域取得部が取得した前記複数の前記第2画像領域の中から、一部の前記第2画像領域を選択し前記第1画像領域と対応する対応領域に決定する対応付け部と、前記対応付け部が前記複数の前記第2画像領域の中からいずれを選択したかを示す選択情報を保持する選択情報保持ステップと、
    前記対応付け部より決定された情報を用いて、前記血管の3次元モデルを生成する3次元モデル生成ステップと、
    対応付けのやり直しを指示する指示ステップと、
    前記指示部によって、前記対応付けのやり直しが指示された際に、前記選択情報保持部が保持する前記選択情報が示す前記第2画像領域とは異なる第2画像領域を選択し対応付けを行なう再対応付けステップと
    として機能させるための3次元モデル生成用プログラム。
JP2015043980A 2015-03-05 2015-03-05 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム Pending JP2016159115A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015043980A JP2016159115A (ja) 2015-03-05 2015-03-05 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015043980A JP2016159115A (ja) 2015-03-05 2015-03-05 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム

Publications (1)

Publication Number Publication Date
JP2016159115A true JP2016159115A (ja) 2016-09-05

Family

ID=56843725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015043980A Pending JP2016159115A (ja) 2015-03-05 2015-03-05 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム

Country Status (1)

Country Link
JP (1) JP2016159115A (ja)

Similar Documents

Publication Publication Date Title
US9949701B2 (en) Registration for tracked medical tools and X-ray systems
US9351698B2 (en) Vascular data processing and image registration systems, methods, and apparatuses
CN105517492B (zh) 用于处理心脏数据的处理设备
US10354410B2 (en) Apparatus for determining a position of a first object within a second object
JP5830626B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
JP6214646B2 (ja) 血管造影図における時間的な解剖学的標的タグ付け
US8995777B2 (en) Image registration apparatus
CN107809955B (zh) 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位
US10052032B2 (en) Stenosis therapy planning
CN104783825B (zh) 用于产生血管系统的二维投影图像的方法和装置
JP5830627B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
JP2008534109A (ja) 管状器官内の機器を位置決めする装置および方法
CN107787203B (zh) 图像配准
US8831323B2 (en) Method and apparatus for measuring activity of a tracer
US8098919B2 (en) Three-dimensional reconstruction of an object from projection photographs
JP2021133243A (ja) デジタルマンモグラフィイメージングのための方法およびシステム
CN108430376B (zh) 提供投影数据集
CN113796960B (zh) 导管导航装置、设备和存储介质
US11317875B2 (en) Reconstruction of flow data
JP2016159116A (ja) 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム
JP6820805B2 (ja) 画像位置合わせ装置、その作動方法およびプログラム
JP2016159115A (ja) 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム
CN112790778A (zh) 采集错误对齐
JP2016159117A (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び、画像領域対応付け用プログラム
JP6034194B2 (ja) 医用画像処理装置の作動方法、医用画像処理装置及びコンピュータ可読ストレージ媒体