JP2016159116A - 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム - Google Patents

3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム Download PDF

Info

Publication number
JP2016159116A
JP2016159116A JP2015043983A JP2015043983A JP2016159116A JP 2016159116 A JP2016159116 A JP 2016159116A JP 2015043983 A JP2015043983 A JP 2015043983A JP 2015043983 A JP2015043983 A JP 2015043983A JP 2016159116 A JP2016159116 A JP 2016159116A
Authority
JP
Japan
Prior art keywords
image
dimensional model
blood vessel
region
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015043983A
Other languages
English (en)
Inventor
太一 佐藤
Taichi Sato
太一 佐藤
透 中田
Toru Nakada
透 中田
浩彦 木村
Hirohiko Kimura
浩彦 木村
豊彦 坂井
Toyohiko Sakai
豊彦 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015043983A priority Critical patent/JP2016159116A/ja
Publication of JP2016159116A publication Critical patent/JP2016159116A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成できる3次元モデル生成装置及び方法及び3次元モデル生成用プログラムを提供する。【解決手段】血管1201の3次元モデルを生成する3次元モデル生成装置の制御方法であって、造影剤が存在する血管を交差する2方向から撮像して第1及び第2投影画像1101,1102を取得し、第1投影画像中の第1画像領域Pkと、第2投影画像の中の第1画像領域に対応する候補である第2画像領域Qkとに基づいて第1合成画像領域を合成して3次元モデルを生成し、第2画像領域が第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて第1合成画像領域の表示方法を変更して3次元モデルを表示装置に表示し、確率が閾値未満の場合、3次元モデルを再生成して、先の3次元モデルと置き換えて表示装置に表示する。【選択図】図1

Description

本発明は、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けを行って3次元モデルを生成する3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラムに関する。
血管の狭窄又は閉塞による疾患を調べる検査として、カテーテル造影検査がある。カテーテル造影検査では、X線不透過物質である造影剤を使用する。造影剤を血管内に注入してX線撮影することにより、血管とそれ以外の部分とを明瞭に区別することができる。
1方向からX線撮影した場合、冠状動脈のように多数の分岐を有する血管について、人が血管の形状を把握することは困難である。
そこで、2方向からX線撮影した2枚のX線画像より、血管の対応付けを行なって3次元モデルを生成する技術が研究開発されている(例えば、特許文献1及び2及び非特許文献1参照)。これにより、人は血管の形状を把握することが容易となる。
特開平8−131429号公報 特開2004−201730号公報
吉田忠弘、見崎元秀、佐藤浩康、斎藤恒雄、「心血管造影像からの冠状動脈の3次元抽出」、電子情報通信学会論文誌 ‘89/3 Vol.J72−D−II No.3、P433−441
しかしながら、上記従来の技術では、血管の3次元モデルを生成するために十分ではなかった。すなわち、生成される血管の3次元モデルの一部で、誤った対応付けがなされることがあった。
そこで、本発明の目的は、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラムを提供することにある。
上記課題を解決するため、本発明の一態様によれば、血管の3次元モデルを生成する3次元モデル生成装置の制御方法であって、
造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する第1工程と、
前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する第2工程と、
前記第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更して、前記生成された3次元モデルを表示装置に表示する第3工程と、
前記確率が前記所定の閾値未満の場合、前記確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、第3及び第4の投影画像をそれぞれ取得する第4工程と、
前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である第4画像領域とに基づいて第2合成画像領域が合成され、前記第2合成画像領域と前記第4画像領域が前記第3画像領域に対応する候補である確率に基づいて、前記血管の3次元モデルを再生成して、前記第2工程で生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換える第5工程と、
前記再生成された3次元モデルを前記表示装置に表示する第6工程と、
を有する3次元モデル生成装置の制御方法を提供する。
本発明の前記態様によれば、2方向から撮影した血管のX線画像の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる。
血管の3次元モデルを生成する説明図 対応点の候補点が1点の場合の図 対応点の候補点が2点の場合の図 本発明の基本原理の説明図 第1実施形態における3次元モデル生成装置の機能構成を示すブロック図 前記3次元モデル生成装置で生成された3次元モデルを表示装置で表示するときの例の説明図 第1実施形態における3次元モデル生成装置の処理動作の一例を示すフローチャート 第2実施形態における形状復元装置の機能構成を示すブロック図 X線撮影システムの構成を示すブロック図 第2実施形態における撮影部情報保持部のデータ構造を示す図 第2実施形態におけるX線画像保持部のデータ構造を示す図 第2実施形態における被撮像物領域取得部の構成を示す図 第2実施形態における二値画像の一例を示す図 第2実施形態における細線画像の一例を示す図 第2実施形態における被撮像物領域取得部のフローチャート 第2実施形態における被撮像物細線化画像保持部のデータ構造を示す図 第2実施形態における細線画像を示す図 第2実施形態における分割細線の領域を示す図 第2実施形態における分割細線の一例を示す図 第2実施形態における分割細線時刻情報を示す図 第2実施形態における細線接続情報を示す図 第2実施形態における後続細線情報を示す図 第2実施形態における対応付け部の構成を示すブロック図 第2実施形態におけるエピポーラ線L2を示す図 第2実施形態におけるエピポーラ平面を示す図 第2実施形態における第2画像投影領域取得部のフローチャート 第2実施形態における第2画像投影領域Qk(k=1、2)を示す図 第2実施形態における第2画像投影領域保持部が保持するデータの一例を示す図 第2実施形態における第1画像投影領域保持部が保持するデータの一例を示す図 第2実施形態におけるエピポーラ平面を示す図 第2実施形態の変形例2におけるエピポーラ平面を示す図 第2実施形態における第1画像投影点Pk、第2画像投影領域Qk_1〜Qk_2の吸収特性を示すグラフ 第2実施形態における吸収特性保持部のデータ構造を示す図 第2実施形態における第2画像投影領域Qk_1に対する評価値を示すグラフ 第2実施形態における第2画像投影領域Qk_2に対する評価値を示すグラフ 第2実施形態における吸収特性評価保持部が保持する評価情報を示す図 第2実施形態における選択情報保持部が保持する選択情報を示す図 第2実施形態における対応付け制御部のフローチャート 第2実施形態における第2画像投影領域保持部のデータ構造を示す図 第2実施形態における三次元位置保持部のデータ構造を示す図 第2実施形態における表示画面生成部が生成する表示画面を示す図 第2実施形態における再対応付け部が行なう処理の流れを示すフローチャート 第2実施形態における形状復元装置のフローチャート 第2実施形態における三次元点J1に流れる吸収特性の変化を示すグラフ 第2実施形態の変形例1におけるエピポーラ平面を示す図 第2実施形態の変形例1におけるエピポーラ平面を示す図 第2実施形態の変形例4におけるエピポーラ平面を示す図
本発明の記述を続ける前に、添付図面において同じ部品については同じ参照符号を付している。
以下、図面を参照して本発明における実施形態を詳細に説明する前に、本発明の基礎となった知見について説明する。
(本発明の基礎となった知見)
図1に、血管の3次元モデルを生成する説明図を示す。
X線発生部202A及びX線発生部202Bより、2つの異なる方向から血管1201に向けてX線を照射することにより、第1X線画像1101及び第2X線画像1102を得る。
血管1201上の点Jkは、第1X線画像1101上において点Pkに相当する。
ここで、点Jkが、第2X線画像1102上において何れの箇所であるか特定できれば、三角測量の原理を用いて、点Jkの3次元位置を特定することができる。同様に、血管1201上の複数の点について、3次元位置をそれぞれ特定することにより、血管1201の3次元モデルを生成することができる。
点Jkに対応する第2X線画像1102上の点の求める方法について説明する。
始めに、第1X線画像1101の点Pkに対して、第2X線画像1102におけるエピポーラ線L2を求める。エピポーラ線L2とは、点Pkの対応点が第2X線画像1102上に出現し得る直線状の範囲である。エピポーラ線L2は、点Pkと、第1X線画像1101及び第2X線画像1102の幾何学的な位置関係より決定される。図1において、点Pkに対応する候補点は点Qkのみであるので、点Pkの対応点は点Qkとなる。
図2に、対応点の候補点が1点の場合の図を示す。
図2に示すように、第2X線画像1102において、血管1201の端点と、エピポーラ線L2との交点が1点である場合には、点Qkが点Pkの対応点と決定される。
しかし、図3Aに示すように、血管1201の端点と、エピポーラ線L2との交点が2点である場合には、点Qk_1又は点Qk_2のいずれを点Pkの対応点とすべきかを決定することができない。
以上の知見に基づき、本願発明者らは、以下の発明の各態様を想到するに至った。
本発明の第1態様によれば、血管の3次元モデルを生成する3次元モデル生成装置の制御方法(作動方法)であって、
造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する第1工程と、
前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する第2工程と、
前記第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更して、前記生成された3次元モデルを表示装置に表示する第3工程と、
前記確率が前記所定の閾値未満の場合、前記確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、第3及び第4の投影画像をそれぞれ取得する第4工程と、
前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である第4画像領域とに基づいて第2合成画像領域が合成され、前記第2合成画像領域と前記第4画像領域が前記第3画像領域に対応する候補である確率に基づいて、前記血管の3次元モデルを再生成して、前記第2工程で生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換える第5工程と、
前記再生成された3次元モデルを前記表示装置に表示する第6工程と、
を有する3次元モデル生成装置の制御方法(作動方法)を提供する。
本態様によれば、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる。
すなわち、本態様によると、造影剤が存在する血管を異なる2方向から撮像して投影画像を取得し、撮像された2つの投影画像から前記血管の3次元モデルが適切に生成できる。また、生成される3次元モデルは、第1画像領域と第2画像領域との対応する確率に応じて表示方法が変更されて、表示装置に表示される。具体的には、例えば、第1画像領域と第2画像領域とが対応する確率が所定の閾値(例えば80%)以上の場合は3次元モデルが白色で表示され、所定の閾値未満の場合は3次元モデルが黄色で表示される。つまり、表示装置に表示される3次元モデルの全体の内、実際に血管の3次元モデルが適切に生成できている部分については確率すなわち信頼度が高いとして例えば白色で表示され、適切に生成できていない恐れがある部分については信頼度が低いとして例えば黄色で表示される。すると、ユーザは、表示された3次元モデルの全体の内、どの部分が信頼度が高く3次元モデルが生成されているのかを直感的に知ることができる。
また、本態様によると、3次元モデルの全体の内、第1画像領域と第2画像領域とが対応する確率が所定の閾値未満の部分でかつ造影剤が存在する血管部分を再び撮像し、再度、当該部分について3次元モデルが再生成され、表示装置に表示される。具体的には、例えば、3次元モデルの全体の内、黄色で表示されている部分でかつ造影剤が存在する血管部分を再び撮像し、当該黄色で表示されている部分について3次元モデルが再生成される。一般的に、再生成された3次元モデルは、始めに生成された3次元モデルよりもより適切に実際の血管のモデルを生成できていることが多い。これは、カテーテルの先端近傍は造影剤の濃度が高いため、2つの投影画像から対応する画像領域を求めるために必要な情報をより多く得ることができるからである。つまり、本態様によると、信頼度が低い部分について、より信頼度の高い3次元モデルが再生成されることとなる。
従って、本態様によると、信頼度が低い部分を再度撮影して3次元モデルの再生成をユーザに促すことより、より信頼度の高い3次元モデルが再生成できる。その結果、不必要な造影剤の噴射が抑制できるため、患者への身体的な負担が軽減される。
本発明の第2態様によれば、前記第2工程では、前記第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域が複数存在し、前記複数の第2画像領域のそれぞれの確率である第1の確率と第2の確率とが互いに異なっており、
前記第3工程では、前記第1の確率は前記閾値未満であり、前記第2の確率は前記閾値以上であるとき、前記3次元モデルにおいて、前記第1の確率を有する第2画像領域と前記第1画像領域との合成画像領域と、前記第2の確率を有する第2画像領域と前記第1画像領域との合成画像領域とがそれぞれ合成され、両者の合成画像領域の表示方法は互いに異なっており、
前記第4工程では、前記第1の確率を有する第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像して、前記第3及び第4の投影画像を取得し、
前記第5工程では、前記第2工程で生成された先の3次元モデルのうちの前記第1の確率を有する前記第2画像領域に対応する前記血管の部分を、再生成された前記血管の3次元モデルに置き換える、
第1の態様に記載の3次元モデル生成装置の制御方法を提供する。
本発明の第3態様によれば、前記第1工程での前記互いに交差する第1及び第2の方向は、前記3次元モデルの生成対象である前記血管の部分で交差する第1の撮影角度及び第2の撮影角度である、
第1又は2の態様に記載の3次元モデル生成装置の制御方法を提供する。
本発明の第4態様によれば、前記第1工程は、
前記血管に、互いに異なる前記第1の方向と前記第2の方向とからX線を照射することにより、前記第1の方向より得られる前記第1の投影画像の第1X線画像と前記第2の方向より得られる前記第2の投影画像の第2X線画像とで構成されるX線画像セットを取得し、
前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得し、
前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得し、
前記第3工程は、前記第2の画像領域の複数の吸収特性のそれぞれが、前記第1の画像領域の吸収特性と同じような変化をしているか、異なる変化をしているかの評価値を前記確率とする、
第1〜3のいずれか1つの態様に記載の3次元モデル生成装置の制御方法を提供する。
本発明の第5態様によれば、前記第1合成画像領域の前記表示方法を変更するとき、画像の色又は線の太さ又は種類を変更する、
第1〜4のいずれか1つの態様に記載の3次元モデル生成装置の制御方法を提供する。
本発明の第6態様によれば、前記第1工程で前記第1及び第2の投影画像をそれぞれ取得するとき、所定間隔毎に取得する、
第1〜5のいずれか1つの態様に記載の3次元モデル生成装置の制御方法を提供する。
本発明の第7態様によれば、血管の3次元モデルを生成する3次元モデル生成装置であって、
造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する画像取得部と、
前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する3次元モデル生成部と、
前記第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更した状態で、前記生成された3次元モデルを表示する表示装置とを備えて、
前記確率が前記所定の閾値未満の場合、前記確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、前記画像取得部で、第3及び第4の投影画像をそれぞれ取得し、
前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である第4画像領域とに基づいて第2合成画像領域が合成され、前記第2合成画像領域と前記第4画像領域が前記第3画像領域に対応する候補である確率に基づいて、前記血管の3次元モデルを前記3次元モデル生成部で再生成して、前記3次元モデル生成部で生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換え、
前記表示装置は、前記再生成された3次元モデルを前記表示装置に表示する、
3次元モデル生成装置を提供する。
本態様によれば、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる。
本発明の第8態様によれば、血管の3次元モデルを生成する3次元モデル生成装置の制御用プログラムであって、
コンピュータを
造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する第1ステップと、
前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する第2ステップと、
前記第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更して、前記生成された3次元モデルを表示装置に表示する第3ステップと、
前記確率が前記所定の閾値未満の場合、前記確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、第3及び第4の投影画像をそれぞれ取得する第4ステップと、
前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である第4画像領域とに基づいて第2合成画像領域が合成され、前記第2合成画像領域と前記第4画像領域が前記第3画像領域に対応する候補である確率とに基づいて、前記血管の3次元モデルを再生成して、前記第2ステップで生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換える第5ステップと、
前記再生成された3次元モデルを前記表示装置に表示する第6ステップと、
として機能させるための3次元モデル生成装置の制御用プログラムを提供する。
本態様によれば、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる。
(本発明の基本原理)
図3Bに、本発明の基本原理の説明図を示す。
図3Bに示すように、本明細書中においては、血管1201の断面形状は楕円形状である。なお、以下の説明において画像領域を対応付けるときに使用する血管1201の部分には、分岐部分が存在してもよいし、分岐部分が存在し無くてもよい。
第1X線画像(第1の投影画像)1101は、第1X線撮像装置(以下、X線発生部202Aとも言う)が第1の撮影角度より血管1201にX線を照射することにより得られる。第1の画像領域Pkは、第1X線画像1101上の領域であり、かつ、X線発生部202Aから血管1201に向けた方向より撮像した血管1201に相当する領域である。第1の画像領域Pkは、血管1201中の造影剤によりX線が吸収されるため、第1X線画像1101上において他の領域より輝度が低くなる。
第2X線画像(第2の投影画像)1102は、第2X線撮像装置(以下、X線発生部202Bとも言う)が第2の撮影角度より血管1201にX線を照射することにより得られる。第2の画像領域Qkは、第2X線画像1102上の領域であり、かつ、X線発生部202Bから血管1201に向けた方向より撮像した血管1201に相当する領域である。第2の画像領域Pkは、血管1201中の造影剤によりX線が吸収されるため、第2X線画像1102上において他の領域より輝度が低くなる。第1の撮影角度と第2の撮影角度とは、図示では一例として90度異ならせているが、これに限られるものではなく、角度が異なればよい。
ここで、X線発生部202A及びX線発生部202Bがそれぞれ照射するX線の強度が同一である場合、第1の画像領域Pkは、第2の画像領域Qk_2と比較して輝度が低くなる。これは、X線発生部202Aより照射されたX線が血管1201の幅d2を通過するのに対し、X線発生部202Bより照射されたX線が血管1201の幅d1(ただし、d1<d2)を通過するため、血管1201中の造影剤にて吸収されるX線の吸収量が少ないからである。
しかし、第1の画像領域Pkにおける輝度の総和と、第2の画像領域Qkにおける輝度の総和は等しい。換言すれば、X線発生部202Aより血管1201に照射されたX線が血管1201中の造影剤に吸収された吸収量と、X線発生部202Bより血管1201に照射されたX線が血管1201中の造影剤に吸収された吸収量とは等しい。なぜならば、X線の吸収量は造影剤の量に依存するため、血管1201のある部分におけるX線の吸収量は、X線の入射方向に関わらず一定となるからである。
以下、上記内容について数式を用いて説明する。
強度IのX線は、厚さdのX線吸収体を通過すると強度Iに減衰する。ここで、減衰の程度を示す線減弱係数をμとすると、式1が成立する。
Figure 2016159116
..........(式1)
また、式1の両辺について対数をとると、式2となる。
Figure 2016159116
..........(式2)
ここで、X線発生部202Aより発生するX線が血管1201中の造影剤に吸収される吸収量は、第1の画像領域Pkを構成する各画素の輝度、つまり、各画素におけるX線の強度を用いて求めることができる。具体的には、以下のように求められる。
第1の画像領域Pkを構成する各画素の強度Ipk_n(n=1,2,…,N)の総和は、式3より求められる。ただし、Nは2以上の整数であって、第1の画像領域Pkを構成する最大画素数である。
Figure 2016159116
..........(式3)
なお、X線発生部202Aの方向から見た血管1201の厚さd2は、第1の画像領域Pkを構成する各画素において厚みが異なる。そのため、式3において、厚さd2は、厚さd2pk_n(n=1,2,…,N)としている。
式3より、X線発生部202Aより発生するX線が血管1201中の造影剤に吸収される吸収量は、式4のように示される。
Figure 2016159116
..........(式4)
同様に、X線発生部202Bより発生するX線が血管1201中の造影剤に吸収される吸収量は、式5のように示される。
Figure 2016159116
..........(式5)
なお、第2の画像領域Qkを構成する各画素の強度をIqk_m(m=1,2,…,M)とし、X線発生部202Bの方向から見た血管1201の厚さをd1qk_m(m=1,2,…,M)とする。ただし、Mは2以上の整数であって、第2の画像領域Qkを構成する最大画素数である。
したがって、前述の通り、X線発生部202Aより照射されたX線が血管1201中の造影剤に吸収された吸収量と、X線発生部202Bより照射されたX線が血管1201中の造影剤に吸収された吸収量とは等しいため、式4と式5とは等しくなる。
本発明は、上記原理を利用することにより、第1X線画像1101上の第1の領域と、第2X線画像1102上の第2の領域との対応関係を決定することができる。これにより、本発明は、第1X線画像1101上の第1の領域と、第2X線画像1102上の第2の領域とに基づいて合成画像領域を合成して、血管1201の3次元モデルを生成できる。
(第1実施形態)
<装置構成>
図4Aに、本発明の第1実施形態における、3次元モデル生成装置10の機能ブロック図を示す。
3次元モデル生成装置10は、画像取得部の一例としてのX線画像取得部11と、第1画像領域取得部12と、第2画像領域取得部13と、対応領域決定部14と、信頼度情報取得部15と、表示方法決定部17と、3次元モデル生成部16とを備える。また、第1画像領域画像領域取得部12と、第2画像領域画像領域取得部13と、対応領域決定部14とにより対応付け部107を構成している。
<X線画像取得部11>
X線画像取得部11は、造影剤が通過する際の血管1201(造影剤が存在する血管1201)を第1の撮影角度(第1の方向)と第2の撮影角度(第2の方向)とからX線をそれぞれ照射することにより、第1の撮影角度より得られる第1X線画像(第1の投影画像)1101と第2の撮影角度より得られる第2X線画像(第2の投影画像)1102とで構成されるX線画像セットを、入力IF114で指示された撮影開始のタイミングから撮影終了のタイミングまで(例えば所定時間毎に)取得する。画像セットの取得は、入力IF114で指示されたタイミング1回だけでもよいし、入力IF114で指示された開始時刻から、指示された終了時間までであっても構わない。第1及び第2の方向は、3次元モデルの生成対象である血管1201の部分が撮像画面に投影されるように納める第1の撮影角度及び第2の撮影角度である。
<第1画像領域取得部12>
第1画像領域取得部12は、X線画像取得部11で取得した第1X線画像1101における血管1201部分に相当する第1の画像領域Pkを取得する。
第1の画像領域Pkは、血管1201の分岐先の一部分の領域である。
なお、第1の画像領域Pkは、分岐先の血管1201を含む領域でも良いが、好ましくは、分岐先の血管1201に含まれる領域である。
なお、第1の画像領域Pkは、第1X線画像1101上の任意の点であっても良い。
<第2画像領域取得部13>
第2画像領域取得部13は、X線画像取得部11で取得しかつ第1の画像領域Pkに対応する候補(対応点の候補点)の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)をそれぞれ取得する。ただし、Nは1以上の整数であって、第1の画像領域Pkに対応する候補(対応点の候補点)の画像領域を構成する画素数である。
なお、第2の画像領域Qk_nは、分岐先の血管1201を含む領域でも良いが、好ましくは、分岐先の血管1201に含まれる領域である。
なお、第2の画像領域Qk_nは、第2X線画像1102上の任意の点であっても良い。
<対応領域決定部14>
対応領域決定部14は、第2画像領域取得部13が取得した第2の画像領域Qk_nの中から、一部を選択し、第1の画像領域Pkと対応する対応領域Qkであると決定する。
<信頼度情報取得部15>
信頼度情報取得部15は、前記対応領域Qkが前記第1の画像領域Pkの対応点であることの信頼度情報を、対応領域決定部14と第2画像領域取得部13とから取得する。例えば、信頼度情報は、前記第2画像領域取得部13が取得した第2画像領域Qkの数Kが少ないときには、高い信頼度となり、また、例えば、前記第1の画像領域Pkと前記対応領域Qkとの類似度が高いときには、高い信頼度となるような信頼度情報を信頼度情報取得部15で取得する。信頼度情報は、言わば、前記第2画像領域取得部13が取得した第2画像領域Qkが第1画像領域Pkに対応する候補である確率とも言えるものである。
第2画像領域Qkの数Nが少ないか否かは、例えば、第2画像領域Qkの数Kが1のときは、第1の画像領域Pkの対応候補は1つしかないので、(領域抽出の失敗等の特別の場合を除いて)ほぼ確実に、第2画像領域Qk(k=1)は第1画像領域Pkの対応点と考えられる。Kが2のときは、対応候補が2つなので、第2画像領域Qk(k=1、2)それぞれはほぼ1/2の確率で第1画像領域Pkの対応点と考えられる。第2画像領域Qkの数Kが1のとき、第2画像領域Qk(k=1、、、K)それぞれは(1/K)の確率で第1画像領域Pkの対応点と考えられる。
前記第1の画像領域Pkと前記対応領域Qkとの類似度は、例えば、画像領域に対応する血管領域に含まれる封入剤の量を示す吸収特性の値が近い領域同士を類似度が高いと評価する。具体的には、第1画像領域Pkの吸収特性Xと、対応領域Qkの吸収特性Yk(k=1、、、K)としたとき、類似度を
式X:−|X−Yk|
とする。このとき、吸収特性Xの値と吸収特性Ykの値が近いときに類似度は0になり、値が異なるときに小さな値と(負の値)となる。
<表示方法決定部17>
表示方法決定部17は、信頼度情報取得部15が取得した信頼度情報を用いて表示する表示方法を決定する。すなわち、表示方法決定部17は、信頼度情報が所定の閾値以上か否かに応じて、3次元モデルにおける第1合成画像領域の表示方法が異なるように変更することを決定し、決定した表示方法で表示する。表示方法は、例えば、血管を表示する色、表示モデルの選択(ワイヤーモデルにするか、ポリゴンモデルにするか)、血管のポリゴンモデルに貼り付けるテクスチャ画像の選択、又は、線の太さ又は種類(実線にするか、破線にするかなど)の選択などである。より具体的には例えば、信頼度情報が所定の閾値以上であり、信頼度が高い部分(例えばK=1のとき、又は、式Xが−3以上のとき)をポリゴンで黒色で表示し、信頼度情報が所定の閾値未満であり、信頼度が低い部分(例えば、Kが2以上のとき、又は、式Xが−3未満のとき)をワイヤーフレームで表示する。また、別の例としては、信頼度が高い部分を黒色又は白色で表示し、信頼度が低い部分を黄色で表示する。
<3次元モデル生成部16>
3次元モデル生成部16は、第1X線画像1101上の第1の領域と、第2X線画像1102上の第2の領域とに基づいて合成画像領域を合成し、表示方法決定部17より決定された表示方法を用いて、血管1201の3次元モデル61(図4B参照)を生成する。具体的には、図4Bに示すように、3次元モデル生成部16は、第1画像領域Pkと第2画像領域Qk_nとに基づいて、第1合成画像領域を合成したのち、表示方法決定部17より決定された表示方法を用いて、血管の3次元モデルを生成する。
生成された3次元モデルは、例えば、表示装置112へ出力されて、表示装置112で表示される。表示装置112は、表示画面生成部111が生成した画面を表示する。具体的には、ディスプレイ装置、又は、プロジェクター投影装置等の表示装置である。
図4Bは、3次元モデル生成装置で生成された3次元モデル61を表示装置112で表示するときの例の説明図である。図4Bでは、信頼度の高い部分は実線で表示し、信頼度の低い部分は点線で表示している。具体的には、図4Bの左図(A)に示すように、実線部分60aは信頼度が高い血管の部分であり、二重線の点線部分60bは信頼度が低い血管の部分を示す。図4Bの中央図(B)は、再生成の対象となる血管部分を点線60cで示している。すなわち、信頼度が低い血管の部分の一部に対して、二重線で示すカテーテル60dから、再度、造影剤を噴射して、撮像等を行って再生成を行う部分を点線60cで示している。図4Bの右図(C)は、再生成後の3次元モデル62を表示している。図4Bの中央図(B)で点線60cで示していた血管の部分のうち、一部が信頼度が高まって実線60eでの表示となり、残りの部分は信頼度が低いため、二重線の点線60fで示されている。なお、図4Bにおいて、カテーテル60dは、本来は、血管内に重ねて表示すべきであるが、理解しやすくするため、血管から位置をずらせて図示している。
<装置動作>
図5に、第1実施形態における、3次元モデル生成装置10の処理動作フローを示す。
始めに、3次元モデル生成装置10は処理を開始する(ステップS601)。
次いで、X線画像取得部11は、術者(ユーザ)が血管に所定濃度の造影剤を注入した際に、X線撮影装置によって前記血管を第1の撮影角度から撮影した第1画像(第1X線画像又は第1の投影画像)1101と、第2の撮影角度から撮影した第2画像(第2X線画像又は第2の投影画像)1102とを取得する(ステップS602)。
次に、第1画像領域取得部12は、X線画像取得部11で取得した第1X線画像1101における分岐先の血管1201の部分に相当する第1の画像領域Pkを取得する(ステップS603)。
次に、第2画像領域取得部13は、X線画像取得部11で取得した第2X線画像1102における血管1201の部分に相当する画像領域であり、かつ、第1の画像領域Pkに対応する候補の画像領域である複数の第2の画像領域Qk_n(n=1,2,…,N)をそれぞれ取得する(ステップS604)。なお、ステップS603とステップS604とは、同時に行ってもよい。
次に、対応領域決定部14は、第2の画像領域Qk_nの一部を、第1の画像領域Pkと対応する領域であると決定する(ステップS605)。対応領域決定部14は、例えば、n=1となる第2の画像領域Qk_1を、第1の画像領域Pkの対応領域に決定する。
次に、信頼度情報取得部15は、ステップS604とステップS605とからの情報を基に、ステップS605で決定した対応領域に対する信頼度情報を取得する。例えば、信頼度情報は、前記第2画像領域取得部13が取得した第2画像領域Qkの数Nが少ないときには、高い信頼度となり、また、例えば、前記第1の画像領域Pkと前記対応領域Qkとの類似度が高いときには、高いような信頼度となる信頼度情報を信頼度情報取得部15で取得する(ステップS606)。
次に、表示方法決定部17は、ステップS606で信頼度情報取得部15により取得した信頼度情報に基づいて血管の表示方法を決定する(ステップS607)。表示方法決定部17は、信頼度情報が所定の閾値以上か否かに応じて、3次元モデルにおける第1合成画像領域の表示方法が異なるように変更することを決定し、決定した表示方法で表示する。例えばK>=1か否かに応じて、表示方法が異なるように決定した表示方法で表示する。
次に、3次元モデル生成部16は、ステップS607で表示方法決定部17により決定した表示方法を用いて、第1画像領域Pkと第2画像領域Qk_nとに基づいて、血管1201の3次元モデルを生成する(ステップS608)。すなわち、3次元モデル生成部16は、第1画像領域Pkと第2画像領域Qk_nとに基づいて、第1合成画像領域を合成して、血管の3次元モデルを生成する。
その後、必要に応じて、ステップS608で生成された3次元モデルは、例えば、表示装置112へ出力されて、表示装置112で表示される(図4B(A)参照)。
また、ステップS607において信頼度情報が所定の閾値未満である場合(図4B(B)の点線部分参照)、信頼度が低い部分があるため、再度、前記閾値未満の信頼度情報を有する第2画像領域に対応する血管の部分に対して、ステップS602〜ステップS608の処理を再度行うこともできる。すなわち、再度所定濃度の造影剤を注入した後に、又は、造影剤を注入することなくそのまま、前記閾値未満の信頼度情報を有する第2画像領域に対応する血管の部分を、X線撮影装置によって第1の撮影角度から撮影した第3画像(第3X線画像又は第3の投影画像)(血管の場所は異なるが、第1画像1101に相当)と、第4の撮影角度から撮影した第4画像(第4X線画像又は第4の投影画像)(血管の場所は異なるが、第2画像1102に相当)とをX線画像取得部11で取得する(2回目のステップS602)。
次いで、第1画像領域取得部12は、X線画像取得部11で取得した第3X線画像1101における分岐先の血管1201の部分に相当する第3の画像領域(血管の場所は異なるが、第1画像領域に相当)Pkを取得する(2回目のステップS603)。
次に、第2画像領域取得部13は、X線画像取得部11で取得した第4X線画像1102における血管1201の部分に相当する画像領域であり、かつ、第3の画像領域Pkに対応する候補の画像領域である複数の第4の画像領域(血管の場所は異なるが、第2画像領域に相当)Qk_n(n=1,2,…,N)をそれぞれ取得する(2回目のステップS604)。
次に、対応領域決定部14は、第4の画像領域Qk_nの一部を、第3の画像領域Pkと対応する領域であると決定する(2回目のステップS605)。
次に、信頼度情報取得部15は、2回目のステップS604と2回目のステップS605とからの情報を基に、2回目のステップS605で決定した対応領域に対する信頼度情報を取得する。
次に、表示方法決定部17は、2回目のステップS606で信頼度情報取得部15により取得した信頼度情報に基づいて血管の表示方法を決定する(2回目のステップS607)。表示方法決定部17は、信頼度情報が所定の閾値以上か否かに応じて、3次元モデルにおける第1合成画像領域の表示方法が異なるように変更することを決定し、決定した表示方法で表示する。
次に、3次元モデル生成部16は、2回目のステップS607で表示方法決定部17により決定した表示方法を用いて、第3の画像領域Pkと第4画像領域Qk_nとに基づいて、第2合成画像領域を合成して、血管1201の3次元モデルを生成する(2回目のステップS608)。最初のステップS608で生成された先の3次元モデルを、2回目のステップS608で再生成された前記血管の3次元モデルに置き換える。
その後、必要に応じて、2回目のステップS608で生成された3次元モデルは、例えば、表示装置112へ出力されて、表示装置112で表示される(図4B(C)参照)。
<第1実施形態の効果>
第1実施形態における3次元モデル生成装置10によれば、生成される血管の3次元モデルの一部又は全部で対応付けがなされる際、信頼度情報に応じて、信頼度の高低に応じて表示方法が異なるように表示されることになる。この結果、表示された3次元モデルを見て、術者は誤った対応付けがほぼ無い部分(信頼度が高い部分)と、誤った対応付けが有りそうな部分(信頼度が低い部分)とを視覚的に把握することが出来る。よって、術者が観察/施術したい部分が、ほぼ誤った対応付けが無い部分(信頼度が高い部分)であれば、そのまま観察/施術を行い、そうでなければ(信頼度が低い部分であれば)、再度、造影剤を注入して再構成を行なうといった判断が適切に行うことができる。
また、第1実施形態によれば、生成される3次元モデルは、第1領域と第2領域との対応する信頼度に応じて表示方式(表示形態)が変更されて、表示装置112に表示される。具体的には、例えば、第1領域と第2領域とが対応する確率が所定の閾値(例えば80%)以上の場合は3次元モデルが白色で表示され、所定の閾値未満の場合は3次元モデルが黄色で表示される。つまり、表示装置112に表示される3次元モデルの全体の内、実際に血管の3次元モデルが適切に生成できている部分については、信頼度が高いとして白色で表示され、適切に生成できていない恐れがある部分については、信頼度が低いとして黄色で表示される。すると、術者は、表示された3次元モデルの全体の内、どの部分が信頼度が高く3次元モデルが生成されているのかを、直感的に知ることができる。
また、第1実施形態によると、3次元モデルの全体の内、第1領域と第2領域とが対応する確率が所定の閾値未満の部分にて造影剤が再び噴射された際には、再度、当該部分について3次元モデルが再生成され、表示装置112に表示することができる。具体的には、例えば、3次元モデルの全体の内、黄色で表示されている部分にて造影剤が噴射された際は、当該黄色で表示されている部分について3次元モデルが再生成される。一般的に、再生成された3次元モデルは、始めに生成された3次元モデルよりもより適切に実際の血管のモデルを生成できていることが多い。これは、造影剤が噴射された近傍は造影剤の濃度が高いため、2つの投影画像から対応する領域を求めるために必要な情報を、より多く得ることができるからである。つまり、第1実施形態によると、信頼度が低い部分について、より信頼度の高い3次元モデルを再生成することができる。
従って、第1実施形態によると、信頼度が低い部分に造影剤の噴射を術者に促すことより、より信頼度の高い3次元モデルが再生成できる。その結果、不必要な造影剤の噴射が抑制できるため、患者への身体的な負担が軽減される。
よって、第1実施形態によれば、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる。
なお、ここでは造影剤が注入された血管1201の対応付けについて述べたが、血管以外の一般的な物体に対しても同様に対応付けを行なうことが出来る。
(第2実施形態)
図6は、本発明の第2実施形態の3次元モデル生成装置1(以下、形状復元装置1とも言う)の構成を示す図である。形状復元装置1は、一例として、3次元モデル生成装置10Bを有する画像領域対応付け装置100Bと、表示装置112とを備える。
表示装置112は、表示画面生成部111が生成した画面を表示する。具体的には、ディスプレイ装置、又は、プロジェクター投影装置等の表示装置である。
さらに、画像領域対応付け装置100Bは、一例として、3次元モデル生成装置10Bと、X線発生部202A及びX線発生部202Bに対応するX線撮影部101〜102と、撮影部情報保持部104と、入力IF(インターフェース)114と、X線画像保持部103と、被撮像物領域取得部105と、被撮像物細線化画像保持部106と、被撮像物領域画像保持部1132と、細線分割部121と、分割細線保持部122と、分割細線時刻情報取得部123と、分割細線時刻情報保持部124と、細線接続情報取得部125と、細線接続情報保持部126と、後続細線情報取得部127と、後続細線情報保持部128と、指示部170と、再構成対応付け部171と、選択情報保持部150と、信頼度情報保持部10020と、表示方法保持部10040とを備える。
3次元モデル生成装置10Bは、第1実施形態の3次元モデル生成装置10に対応する。X線画像取得部113は、第1実施形態のX線画像取得部11に対応する。対応付け部107Cは、第1実施形態の3次元モデル生成装置10のうちの対応付け部107に対応し、具体的には、第1画像領域取得部12(第1画像領域取得部の一例)と第2画像領域取得部13(第2画像領域取得部の一例)と第1実施形態の対応領域決定部14との一例として対応する。信頼度情報取得部10010は、第1実施形態の3次元モデル生成装置10の信頼度情報取得部15の一例として対応する。表示方法決定部10030は、第1実施形態の3次元モデル生成装置10の表示方法決定部17の一例として対応する。対応情報保持部108と、三次元位置取得部109と、三次元位置保持部110と、表示画面生成部111とは、第1実施形態の3次元モデル生成装置10の3次元モデル生成部16の一例としての3次元モデル生成部16Bに対応する。
X線撮影部101〜102は、それぞれ、異なる角度から被験者の撮影対象部位に対して放射線を照射して、撮影されたX線透視像、又は、造影剤を注入した際に撮影された血管造影像を取得する手段であり、例えばX線血管造影装置又はアンギオグラフィと称される。第2実施形態におけるX線撮影部101〜102は、被撮像物である血管を撮影する。X線撮影部101〜102は、それぞれ同一構成であり、代表例として、X線撮影部101について構成を説明する。
図7にX線撮影部101の構成を示す。X線撮影部101は、X線発生部202と、X線検出部203と、機構部206と、機構制御部205とで構成されている。
X線発生部202は、高電圧を用いてX線を発生するX線管と、X線の一部を遮蔽することによって照射野を制御するX線絞り器とを有しており、寝台201上の患者200にX線を照射する。
X線検出部203は、患者200を透過したX線を受けて画像情報を記録し、記録した画像情報を出力するカメラである。X線検出部203は、例えば、X線観応層を配置し、X線をデジタルデータに変換して出力するFPD(Flat Panel Detector)として構成されている。X線検出部203は、X線発生部202から患者200にX線が照射されると、照射されたX線画像を示す画像情報を画像取得部113へ出力する。
機構部206は、術者の操作指示を受け付けた機構制御部205の指示に基づいて、アーム204及び寝台201を移動する。
また、機構制御部205は、X線発生部202又はX線検出部203の位置を撮影部情報保持部104に出力する。機構制御部205は、アーム204のみ、又は、寝台201のみを移動する構成であっても、又は、両方を移動する構成でも良い。
X線撮影部102についても、X線撮影部101と同様の各部を有する。ここでは、X線撮影部101のX線発生部202と、X線撮影部102のX線発生部202とを区別する場合には、前者をX線発生部202A、後者をX線発生部202Bとする。
X線画像取得部113は、X線撮影部101〜102よりX線画像(放射線画像)をそれぞれ取得し、取得したX線画像をX線画像保持部103にそれぞれ格納する部である。後述の入力IF114によって指示されたタイミングで、画像の取得を開始及び終了する。
X線画像取得部113は、具体的には、入力IF114の指示により画像の取得を開始し、例えばX線撮影部101より取得した画像をX線画像保持部115に格納する。以降、X線画像取得部113は、入力IF114より終了の指示があるまで、入力IF114で指示されたタイミングで(例えば所定時間毎に)X線撮影部101より画像を取得し、取得した画像をX線画像保持部115に格納する。X線画像取得部113は、X線撮影部102からも同様に、入力IF114で指示されたタイミングで(例えば所定時間毎に)画像を取得して、取得した画像をX線画像保持部103に格納する。
撮影部情報保持部104は、X線撮影部101、102に関する情報を保持する部である。具体的には、撮影部情報保持部104は、例えばCPUのレジスタ、キャッシュ、RAM、又は、ROM等の記憶装置によって実現する。以降、名称に保持部を有する部は、同様の方法で実現する。
撮影部情報保持部104は、具体的には、X線撮影部101、102の相対位置情報、及び、X線撮影部101、102のそれぞれのカメラの内部パラメータAを保持する。図8は、撮影部情報保持部104のデータ構造の例を示す図である。撮影部情報保持部104は、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2とを保持する。
並進ベクトルTは、X線撮影部101の位置を基準にして、X線撮影部102がどこに存在するかを示すベクトルであり、X線撮影部101、102のそれぞれの位置情報(第1X線撮像装置の位置情報と第2X線撮像装置の位置情報と)の相対位置情報の一例である。回転ベクトルRは、X線撮影部101の撮影方向に対する、X線撮影部102の撮影方向の向きを示す。
ラが備える撮影レンズと撮像素子の撮像面との位置関係を表すパラメータであり、X線撮影部101では、X線発生部202とX線検出部203との位置関係を表すパラメータである。内部パラメータA2は、X線撮影部102のカメラが備える撮影レンズと撮像素子の撮像面との位置関係を表すパラメータであり、X線撮影部102では、X線発生部202とX線検出部203との位置関係を表すパラメータである。ここでは、説明を簡単にするため、X線発生部202に対するX線検出部203の位置は固定であるものとし、内部パラメータA1、A2の値は予め用意して撮影部情報保持部104に格納しておくものとする。
また、ここでは、X線撮影装置101に対するX線撮影装置102の相対位置は常に一定であるとし、並進ベクトルT及び回転ベクトルRも、撮影部情報保持部104に予め保持するものとする。なお、撮影部情報保持部104は、X線撮影装置101とX線撮影装置102との位置をそれぞれ取得し、取得した位置より、並進ベクトルT及び回転ベクトルRを算出する構成であっても構わない。
入力IF114は、操作者(術者)が、形状復元装置1に対して指示を入力する装置である。例えば、入力IF114は、ボタン、スイッチ、コンピュータのキーボード、又は、マウスなどによって実現する。ここでは、入力IF114は、X線画像取得部113に対して画像取得の開始、及び、終了の指示を与えるために用いる。
X線画像保持部103は、X線画像取得部113が取得した画像を保持する部である。図9は、X線画像保持部103のデータ構造を示す図である。X線画像取得部が画像取得を開始した時刻を時刻0とし、画像取得を終了した時刻を時刻ENDとし、画像取得から開始までの各時刻に、X線撮影部101〜102で撮影された画像をそれぞれ保持する。以降の説明では、X線撮影部101で時刻nに撮影された画像を画像1_nとし、X線撮影部102で時刻nに撮影された画像を画像2_nとする。また、時刻0に撮影された画像1_0、画像2_0を背景画像と呼ぶ。
被撮像物領域取得部105は、画像1_END、及び、画像2_ENDから、造影剤が投入された血管1201の領域を取得する部である。図10は、被撮像物領域取得部105の構成を示す図である。被撮像物領域取得部105は、差分画像生成部1504と、差分画像保持部1505と、二値化部1501と、細線化部1503とを有する。
差分画像生成部1504は、X線画像保持部103より、画像n_ENDと画像n_0(背景画像)とを取得し、差分画像を生成し、生成した差分画像を差分画像保持部1505に格納する(n=1、2)。
差分画像保持部1505は、差分画像生成部1504が生成した差分画像を保持する。
二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、被撮像物領域画像保持部1132に格納する。ここでは、血管の領域の画素値を「1」とし、それ以外の領域の画素値を「0」とする。
細線化部1503は、被撮像物領域画像保持部1132が保持する二値画像を細線化して被撮像物細線化画像保持部106に格納する。図11に示す二値画像を、細線化して得られる細線画像を図12に示す。
<被撮像物領域取得部105が行う処理の流れ>
図13は、被撮像物領域取得部105によって画像1_ENDの被撮像物領域を取得する処理のフローチャートを示す図である。
被撮像物領域取得部105は、ステップS801で処理を開始する。
次に、ステップS802で、差分画像生成部1504は、前述の差分画像生成部1504の処理を行う。すなわち、差分画像生成部1504は、X線画像保持部103より、画像1_0と、画像1_ENDとをそれぞれ取得し、取得した画像の各画素の差分を算出して生成し、生成した差分画像を、差分画像保持部1505に格納する。
次に、ステップS803で、二値化部1501は、前述の二値化部1501の処理を行う。すなわち、二値化部1501は、差分画像保持部1505より、差分画像を取得し、取得した差分画像を二値化し、被撮像物領域画像保持部1132に格納する。
次に、細線化部1503は、ステップS804で前述の細線化部1503の処理を行う。すなわち、細線化部1503は、被撮像物領域画像保持部1132が保持する二値画像を細線化して被撮像物細線化画像保持部106に格納する。
次に、被撮像物領域取得部105は、ステップS805で処理を終了する。
被撮像物領域取得部105は、X線撮影部102で撮影された画像2_ENDに対しても、同様の処理を行う。なお、ここでは被撮像物領域を時刻ENDに取得された画像より決定する場合を説明したが、撮影開始から撮影終了までのいずれかの時間に造影剤が検出された領域を血管領域としても良い。具体的には、撮影開始時刻における画素の輝度との輝度差が閾値以上となる時刻を有する画素を被撮像物領域とし、いずれの時刻においても撮影開始時刻における画素の輝度との輝度差が閾値未満となる画素を、被撮像物領域外とする。
被撮像物細線化画像保持部106は、被撮像物領域取得部105が取得した被撮像物領域を保持する部である。図14は、被撮像物細線化画像保持部106のデータ構造を示す図である。被撮像物細線化画像保持部106は、画像1_ENDより生成した第1被撮像物細線化画像1101Tと、画像2_ENDより生成した第2被撮像物細線化画像1102Tとを保持する。
被撮像物領域画像保持部1132は、被撮像物領域取得部105が取得した被撮像物領域画像を保持する部である。被撮像物領域画像保持部1132は、画像1_ENDより生成した第1被撮像物領域画像と、画像2_ENDより生成した第2被撮像物領域画像とを保持する。
細線分割部121は、被撮像物細線化画像保持部106で保持された被撮像物細線化画像を分岐点ごとに分割する。一例として、図15に示す被撮像物細線化画像を細線分割部121で分割した場合を、図16に示す。図16において、楕円で囲んだ3つの領域のそれぞれが、分割後の細線画像である。分割後の各細線画像の一例を図17に示す。
分割細線保持部122は、細線分割部121が生成した分割後の各細線画像を保持する。例えば、分割細線保持部122は、図17の分割細線を細線画像として保持する。
分割細線時刻情報取得部123は、分割細線保持部122が保持する各細線について、その領域に最初に造影剤が到達した分割細線時刻を取得する。具体的には、分割細線時刻情報取得部123は、領域に含まれる各点の輝度が所定の閾値よりも暗くなる最初の時刻を、X線画像保持部103が保持する画像を用いて取得し、その中で最初の時刻を分割細線時刻とする。
分割細線時刻情報保持部124は、分割細線時刻取得部123が取得した分割細線時刻情報を保持する。分割前の細線画像が図15の場合には、7つの分割細線画像に対する分割細線時刻を分割細線時刻情報保持部124で保持する。図18は、分割細線時刻情報保持部124が保持する時刻情報の一例を示す図である。
細線接続情報取得部125は、分割細線保持部122が保持する各細線について、各分割細線と接触している他の細線を細線接続情報として取得する。
細線接続情報保持部126は、細線接続情報取得部125が取得した細線接続情報を保持する部である。図19は、図15に示す細線画像に対する細線接続情報の一例を示す図である。
後続細線情報取得部127は、細線接続情報保持部126に保持された細線接続情報に基づき、各分割細線と接続している他の分割線分のうち、当該分割線分より後に造影剤が流れる分割線分を抽出する部である。具体的には、後続細線情報取得部127は、分割細線Xに接続する分割細線のうち、分割細線Xより分割細線時刻情報が後(末端側)の分割細線Y_n(n=1、、、N)を取得する。より具体的には、後続細線情報取得部127は、分割細線Xに接続する分割細線のうち、分割細線Xより分割細線時刻情報が後の分割細線Y_n(n=1、、、N)と、更に、分割細線Y_nに接続する分割細線のうち、分割細線Y_nより分割細線時刻情報が後の分割細線Z_n_m(m=1、、、)などを取得する。図20は、図15に示す細線画像に対する後続細線情報の一例を示す図である。
後続細線情報保持部128は、後続細線情報保持部127が取得した後続細線情報を保持する。後続細線情報保持部128は、対応付け部107Cに接続されている。
対応付け部107Cは、分割細線保持部122が保持する各分割細線画像1101Tの黒色の点に対して、第2被撮像物領域画像上の対応点の位置を取得する。以降の説明では、分割細線画像の各点を第1画像投影点Pk(k=1,2,…,K。ただし、Kは分割細線画像1101Tにおける第1画像投影点の数。)と呼ぶ。分割細線画像1101Tが複数個ある場合には、分割細線時刻情報取得部123より分割細線時刻を取得し、分割細線時刻の値が小さい分割細線から順番に下記の処理を行う。
図21は、対応付け部107Cの構成を示す図である。対応付け部107Cは、第1画像投影領域取得部1702Cと、第1画像投影領域保持部1703Cと、第2画像投影領域取得部1705と、第2画像投影領域保持部1706と、第2画像投影領域絞込み部1727と、吸収特性取得部1707と、吸吸収特性保持部1708と、吸収特性評価部1709と、吸収特性評価保持部1710と、対応領域決定部1711と、対応付け制御部1701とを有する。対応領域決定部1711は、第1実施形態の3次元モデル生成装置10の対応領域決定部14に対応する。
まず、第2画像投影領域取得部1705を説明するのに先立って、第2画像投影領域取得部1705で算出して取得されるエピポーラ線とエピポーラ平面とについて図22を用いて説明する。
図22において、1201は、血管である。X線撮影部101のX線発生部202Aで発生し、三次元点Jkを通過したX線は、X線検出部203A上の第1画像1101上の第1画像投影点Pkに投影される。
第1画像投影点Pkの位置のみからでは、三次元点Jkの位置を知ることは出来ないが、三次元点Jkは、X線発生部202Aと第1画像投影点Pkとを結ぶ直線1231上のどこかに存在することになる。
さて、この直線1231上の点は、第2画像1102上では、図22のエピポーラ線L2に投影される。三次元点Jkは直線1231上の点なので、三次元点Jkの投影点もこのエピポーラ線L2上のどこかに出現する。よって、三次元点Jkの対応点の候補は、このエピポーラ線L2上に存在する投影点に絞り混む事が出来る。
次に、X線撮影部102のX線発生部202Bと、X線発生部202Aと、第1画像投影点Pkとを通る平面について説明する。この平面は(第1画像投影点Pkに対する)エピポーラ平面と呼ばれる。
この平面上の三次元点はJkに限らず、第2画像1102上では、全てエピポーラ線L2上に投影される。X線発生部202Bと、三次元点を結ぶ直線は、全てエピポーラL2に投影されるためである。
また、この平面上の三次元点は、第1画像1101上では、全てエピポーラ線L1上に投影される。X線発生部202Aと、三次元点を結ぶ直線は、全てエピポーラL1に投影されるためである。
さて、図23は、エピポーラ平面を示す図である。先述の説明では、血管1201上の一点を三次元点Jkとして説明しているが、詳細には、血管1201のエピポーラ平面による断面は、図23のように楕円等の面積を有する形状となる。よって、以降の説明では、面積があることを利用する場合には、三次元領域Jkと述べる。また、三次元領域Jkの投影点である第1画像投影点Pk、第2画像投影点Qkは、実際には線分であり、長さを有する形状となる。よって、以降の説明では、長さがあることを利用する場合には、第1画像投影領域Pk、第2画像投影領域Qkと記述する。
第2画像投影領域取得部1705は、後述の対応付け制御部1701により指定された第1画像投影点Pkに対する、対応点の候補となる第2画像投影領域Qk_n(n=1,2,…,N:ただし、Nは第2画像投影領域の数)の位置を取得する。具体的な方法を、図24の第2画像投影領域取得部1705が行う処理のフローチャートを用いて説明する。
ステップS1001で、第2画像投影領域取得部1705は処理を開始する。
次に、ステップS1003で、第2画像投影領域取得部1705は、撮影部情報保持部104より、並進ベクトルTと、回転ベクトルRと、内部パラメータA1、A2とを取得する。
次に、ステップS1004で、第2画像投影領域取得部1705は、取得した第1画像投影領域に対応するエピポーラ線L2を算出する。エピポーラ線L2は、第1画像投影点Pkの対応点が第2画面上に出現しうる直線状の範囲であり、第1画像投影点Pkの位置と、X線撮影部101とX線撮影部102の幾何学的な位置関係とに基づいて決定される。
エピポーラ線L2は、X線撮影部101(X線発生部202A)の位置とX線撮影部102(X線発生部202B)の位置との相対位置情報(並進ベクトルT、回転ベクトルR)と、どのようなカメラで撮影しているかの情報(内部パラメータA1、A2)とで算出される。具体的には、第2画像投影領域取得部1705は、以下の式6、式7の計算を行ってエピポーラ線L2のパラメータl2を算出する。
Figure 2016159116
..........(式6)
Figure 2016159116
..........(式7)
式6において、Fはファンダメンタル行列と呼ばれる行列であり、A1−Tは、内部パラメータA1の逆行列の転置行列を示し、[T]は、並進ベクトルTの歪対称行列を示す。mは造影点Pkの位置座標を示す。
算出されたエピポーラ線L2のパラメータl2を(a,b,c)Tとしたとき、エピポーラ線L2は、ax+by+c=0となる。
次に、ステップS1005で、第2画像投影領域取得部1705は、被撮像物領域画像保持部1132より第2被撮像物領域画像を取得する。
次に、ステップS1006で、第2画像投影領域取得部1705は、第2被撮像物領域画像で、エピポーラ線L2と交点となる第2画像投影領域Qk_n(n=1,2,…,N。ただし、Nは第2画像投影領域の数)の位置を取得する。図25は、第2画像投影領域Qk(k=1、2)の一例を示す図である。図25において、8001はエピポーラ線L2を示す。図25の太線の領域は、X線撮影部102が撮影した画像2_ENDにおいて血管1201が撮影された被撮像物領域を示す。図25において、被撮像物領域(太線の領域)と、エピポーラ線L2とが交差するそれぞれの領域が、第2画像投影領域Qk_n(n=1、2)である。図25の場合では、点8011と点8012とを結ぶ線分上の領域が、第2画像投影領域Qk_1であり、点8012と点8013とを結ぶ線分上の領域が、第2画像投影領域Qk_2である。第2画像投影領域取得部1705は、それぞれの領域に属する点の座標を第2画像投影領域保持部106に格納する。
次に、ステップS1008で、第2画像投影領域取得部1705は、処理を終了する。
第2画像投影領域保持部1706は、第2画像投影領域取得部1705が取得した第2画像投影領域Qk_n(n=1,2,…,N)の座標を保持する部である。図25の場合では、第2画像投影領域Qk_1、Qk_2の座標をそれぞれ取得する。図26は、第2画像投影領域保持部1706が保持するデータの一例を示す図である。1行目には、点8011〜点8012までの点の座標をそれぞれ保持し、2行目には、点8013〜点8014までの点の座標をそれぞれ保持する。以降の説明では、第2画像投影領域Qk_nを構成する各画素をqk_n_an(an=1,2,…,An:ただし、Anは、第2画像投影領域Qk_nを構成する画素数)と呼ぶ。
第2画像投影領域絞込み部1727は、第2画像投影領域保持部1706が保持する第2画像投影領域Qk_nのうち、血管構造的に第1画像投影領域Pkの対応点とはならない領域を削除する。
第1画像1101画像上において近くにある血管の2点は、3次元上においても近くに存在する。より厳密には、第1画像1101上の血管の点Xの近くに点Y1、、、Ypがあるとき、点Xに対応する3次元上の点V_xは、点Y1、、、Ypに対応する三次元上の点のいずれかの近くに存在する。
よって、第1画像1101の第1画像投影領域Pxの近くに第1画像投影領域Py(y=1、、、p)があるとき、第1画像投影領域Pxの対応点は第1画像投影領域Py(y=1、、、p)のいずれかの近くに存在する。
第2画像投影領域絞込み部1727は、第1画像投影領域Pxから所定距離以下の位置にある第1画像投影領域Py(y=1、、、p)を対応情報保持部108より取得し、第1画像投影領域Pxの対応領域候補のうち、第1画像投影領域Pyの対応領域からのいずれからも所定距離以上離れている対応候補領域を対応候補から除外する。
第1画像投影領域取得部1702Cは、後述の対応付け制御部1701により指定された第1画像投影点Pkに対する、第1の画像領域Pkの位置を取得する。
具体的な方法を説明する。まず、式8を用いてエピポーラ線L1のパラメータl1を算出する。
Figure 2016159116
..........(式8)
式8において、Fは式6で算出したFであり、FはFの転置行列を示す。mは、第2画像投影領域保持部1706より取得した任意の第2投影領域Qk_nの一点の座標である。
算出されたエピポーラ線L1のパラメータl1を(a,b,c)としたとき、エピポーラ線L1は、ax+by+c=0となる。算出したエピポーラ線L1と、第1被撮像物細線化画像1101Tとの交点の座標の取得の仕方は、第2画像投影領域取得部1705の場合と同様であり、説明を省略する。
第1画像投影領域保持部1703Cは、第1画像投影領域取得部1702Cが取得した第1画像投影領域Pkの座標を保持する部である。図27は、第1画像投影領域Pkの保持する座標の一例を図27に示す。以降の説明では、第1画像投影領域Pkを構成する各画素をpk_b(b=1,2,…,B:ただし、Bは、第1画像投影領域Pkを構成する画素数)と呼ぶ。
吸収特性取得部1707を説明するのに先立って吸収特性について説明する。
図23に示すエピポーラ平面において、第1画像投影点Pkの輝度と第2画像投影点Qk_2の輝度とは異なるため、輝度を用いて第1画像投影点Pkの対応点を決定することは出来ない。しかし、X線発生部202Aで発生して第1画像投影領域Pkに到達するX線が横切る三次元領域Jk_1の厚さの合計(図28における太線の長さの合計)と、X線発生部202Bで発生して第2画像投影領域Qk_2に到達するX線が横切る三次元領域Jkの厚さの合計(図29における太線の長さの合計)は等しくなる。また、X線発生部202Aで発生して第1画像投影領域Pkに到達するX線が横切る造影剤の量(X線を吸収する物質量)の合計(図29における太線上の造影剤の量の合計)と、X線発生部202Bで発生して第2画像投影領域Qk_2に到達するX線とが横切る造影剤の量(X線を吸収する物質量)の合計(図28における太線上の造影剤の量の合計)は等しくなる。より厳密には、X線発生部202Bを発生して第2画像投影領域Qk_2に到達するX線が横切る領域に存在する線減弱係数μの合計は等しくなる。本手法では、この関係を用いて、第1画像投影領域Pkの対応点を決定する。
まず、輝度による対応付けが出来ない理由を説明する。図23に示すエピポーラ平面において、X線発生部202Aを通過して三次元領域Jkを通過し、第1画像投影点Pkに到達するX線8201が、血管1201を通過する厚みは厚み8211である。一方、X線発生部202Bを通過して三次元領域Jkを通過し、第2画像投影点Qk_2に到達するX線8202が、血管1201を通過する厚みは厚み8212である。
厚み8211と、厚み8212とは、異なるので、第1画像投影点Pkの輝度と、第2画像投影点Qk_2の輝度は異なる値となる。よって、輝度によって、第1画像投影点Pkの対応点を決定することは困難である。
しかし、第1画像投領域Pkの範囲に到達するX線が、第2画像投領域Pkの範囲に到達するまでに横切る血管1201の面積と、第2画像投領域Qk_2に到達するX線が、第2画像投領域Qk_2の範囲に到達するまでに横切る血管1201の面積は等しい。
図28及び図29を用いてこの関係を説明する。図28は、第1画像投領域Pkの範囲に到達するX線が、第2画像投領域Pkの範囲に到達するまでに横切る血管1201の面積を示す図である。説明を分かりやすくするために、三次元領域Jkは、図23とは異なるサイズ及び位置に記載している。第1画像投領域Pkの範囲に到達するX線が、第2画像投領域Pkの範囲に到達するまでに横切る血管1201の面積は、図28中の太線の長さの合計で近似できる。
図29は、第2画像投領域Qk_2の範囲に到達するX線が、第2画像投領域Qk_2の範囲に到達するまでに横切る血管1201の面積を示す図である。第1画像投領域Pkの範囲に到達するX線が、第2画像投領域Pkの範囲に到達するまでに横切る血管1201の面積は、図29中の太線の長さの合計で近似できる。これらの面積は図28の場合も、図29の場合も等しくなる。また、上記の太線上に存在する造影剤の量(X線を吸収する物質量)も、図28の場合と、図29の場合とで等しくなる。また、上記の太線上に存在する造影剤の量が図28の場合と、図29の場合とで等しくなることより、上記の太線上でX線を吸収する物質量も、図28の場合と、図29の場合とで等しくなる。
本発明の第2実施形態では、X線画像における第1撮像物領域に属する点の輝度より、前記の面積、もしくは前記面積で物質によって吸収されるX線の総量の推定を吸収特性取得部1707で行う。
以下、その原理を説明する。強度IのX線は厚さd[cm]の物体を通過すると、強度Iに減衰する。減弱の程度を示す線減弱係数をμ[cm−1]とすると、式9が成り立つ。
Figure 2016159116
..........(式9)
第1画像投影領域Pkを構成する各画素pk_bに対しても、式8は成立する。画素pk_bが取得するX線の強度(画素pk_bの輝度)をI_bとし、画素pk_bに到達するX線が通過する三次元領域Jkの厚さをd_bとすると、式10が成立する。
Figure 2016159116
..........(式10)
両辺の対数を取り、b=1,2,…,B(ただし、Bは、前記したように、第1画像投影領域Pkを構成する画素数)の合計を吸収特性取得部1707で算出すると、式11が成立する。
Figure 2016159116
..........(式11)
式11を変形すると、式12が成立する。
Figure 2016159116
..........(式12)
また、第2画像投影領域Qk_nを構成する各画素qk_n_anに対しても、式8は成立し、画素qk_n_anの強度をI_anとし、画素qk_n_anに到達するX線が通過する三次元領域Jkの厚さをd_anとすると、同様に、式13が成立する。
Figure 2016159116
..........(式13)
式12において、Σd_bは、三次元領域Jkの断面積である。また、第2画像投影領域Qk_nが第1画像投影領域Pkの対応点であるとき、式13において、Σd_anも、三次元領域Jkの断面積となり、式12の値と式13の値とは等しくなる。三次元領域Jxは、エピポーラ平面と血管1201の断面における血管1201の領域を示すほぼ楕円、または楕円を複数並べたような領域である。
そこで、本発明の第2実施形態では、第2画像投影領域Qk_n(n=1,2,…,N)の中で、式13の値が式12の値に最も近い第2画像投影領域Qk_xを、第1画像投影領域Pkの対応点の対応点に、対応領域決定部1711で決定する。以降の説明では、式12の値を吸収特性λ_pkと呼び、式13の値を吸収特性λ_qk_nと呼ぶ。
なお、第2実施形態における吸収特性の一例としての第1の画像領域PkにおけるX線の吸収量は、投影領域(第1の画像領域Pk)の画素数と第1X線撮像装置のX線発生部より照射されたX線の強度との対数の積と、前記投影領域(第1の画像領域Pk)の各画素で取得したX線の強度の対数和との、差として、吸収特性取得部1707で算出する。また、第2実施形態における吸収特性の一例としての第2の画像領域QkにおけるX線の吸収量は、投影領域(第2の画像領域Qk)の画素数と第2X線撮像装置のX線発生部より照射されたX線の強度との対数の積と、前記投影領域(第2の画像領域Qk)の各画素で取得したX線の強度の対数和との、差として、吸収特性取得部1707で算出する。
なお、ここでは、三次元領域Jkの断面の、線減弱係数をμが一定の場合の説明を行っているが、断面内の微少領域毎に線減弱係数の値が異なる場合においても、線減弱係数の合計は、撮影方向によらず一定になるため、本手法によって対応付けを行うことが出来る。
吸収特性取得部1707は、対応付け制御部1701により指定された第1画像投影点Pkに対する吸収特性λ_Pkの各時刻における値を取得する。また、吸収特性取得部1707は、第2画像投影領域Qk_n(n=1,2,…,N)に対する吸収特性λ_Qk_nの各時刻の値を取得する。以降の説明では、時刻t(t=1,2,…,END)における吸収特性の値をそれぞれ、吸収特性λ_Pk_t、λ_Qk_n_tと記述する。
図30は、吸収特性取得部1707が取得する吸収特性の一例を示すグラフである。図30において、太線2301、実線2302、点線2303は、それぞれ、第1画像投影領域Pkの吸収特性の変化、第2画像投影領域Qk_1の吸収特性の変化、第2画像投影領域Qk_2の吸収特性の変化を示す。グラフの横軸は時刻であり、1メモリは33msecである。グラフの縦軸は、吸収特性である。このグラフでは、血管1201に造影剤が注入されて、時間が経過するにつれて(言い換えれば、所定時間内で)血管1201に含まれる造影剤の濃度が増えている段階の吸収特性の変化を示している。
図31は、吸収特性保持部1708が保持する吸収特性のデータ構造を示す図である。吸収特性取得部1707が取得する吸収特性のデータは、第1画像投影点Pkの吸収特性λ_Pk_(t)(t=0,2,…,END)及び、第2画像投影領域Qk_nの吸収特性λ_Qk_n_(t)(n=1,2,…,N、t=0,1,…,END)を有する。言い換えれば、吸収特性取得部1707は、第1の画像領域Pkについて、所定時間分の造影剤の輝度より第1の画像領域PkにおけるX線の吸収量変化を吸収特性として取得するとともに、複数の第2の画像領域Qkについて、所定時間分の造影剤の輝度より第2の画像領域QkにおけるX線の吸収量変化をそれぞれ吸収特性として取得する。
吸収特性保持部1708は、吸収特性取得部1707が取得した吸収特性(吸収特性の変化)を保持する。図31は、第2画像投影領域Qk_nが2つある場合に、吸収特性保持部1708が保持する吸収特性(吸収特性の変化)を示す図である。
吸収特性評価部1709は、吸収特性保持部1708が保持する各第2画像投影領域Qk_n(n=1,2,…,N)の評価を行う部である。
吸収特性評価部1709は、吸収特性保持部1708が保持する第2画像投影領域Qk_n(n=1,2,…,N)の複数の吸収特性のそれぞれが、第1画像投影点Pの吸収特性と同じような変化をしているか、異なる変化をしているかの評価値を第1実施形態の信頼度情報の一例として算出し、算出した評価値を吸収特性評価保持部1710に格納する。第2実施の形態では、式14に基づいてその評価を行う。言い換えれば、吸収特性評価部1709は、吸収特性保持部1708が保持する第2画像投影領域Qk_n(n=1,2,…,N)の複数の吸収特性の変化と、第1画像投影点Pの吸収特性の変化との類似度を評価値としてそれぞれ算出する。
Figure 2016159116
..........(式14)
ここで記号|X|は、Xの絶対値を示す。よって、式14での第2実施形態における評価値H_nは、各時刻t(t=0からt=ENDまでの時刻)における、第1画像投影点Pkの吸収特性λ_Pkと、第2画像投影領域Qk_nの吸収特性λ_Qk_nとの差分の絶対値の合計である。
図32は、第2画像投影領域Qk_1に対する評価値を示すグラフである。図32において、太線2301、及び実線2302は、それぞれ、第1画像投影領域Pkの吸収特性の変化及び第2画像投影領域Qk_1の吸収特性の変化を示す。第2画像投影領域Qk_1に対する評価値は、図32中の太線2301と実線2302との間の斜線の領域の面積である。図33は、第2画像投影領域Qk_2に対する評価値を示すグラフである。図33において、太線2301及び点線2303は、それぞれ、第1画像投影領域Pkの吸収特性の変化及び第2画像投影領域Qk_2の吸収特性の変化を示す。第2画像投影領域Qk_2に対する評価値は、図33中の太線2301と点線2303との間の斜線の領域の面積である。
吸収特性評価保持部1710は、吸収特性評価部1709が算出して取得した各第2画像投影領域Qk_n(n=1,2,…,N)の吸収特性の評価値H_n(n=1,2,…,N)を保持する部である。図34は、吸収特性評価保持部1710が保持する評価情報の一例を示す図である。図34において、1列目は、Pkの座標、2列目は第1画像投影領域Pkがどの分割細線に属するかを示す識別子、3列目は第2画像投影領域Qk_nの座標、4列目は各第2画像投影領域QK_nの評価値H_nをそれぞれ格納する。
対応領域決定部1711は、吸収特性評価保持部1710が保持する評価値H_n(n=1,2,…,N)のうち、最も小さい評価値を選択する。対応領域決定部1711は、選択した評価値がH_x(ただし、xは、n=1,2,…,Nのうち最も小さい評価値に該当する値。)のとき、第2画像投影領域Qk_n(ただし、このときのnは、n=x)を、第1画像投影領域Pkの対応領域Qkに決定する。対応領域決定部1711は、評価値H_1、H_2が、それぞれ図32及び図33で示される斜線の面積の場合には、面積が小さい方の第2画像投影領域Qk_1を第1画像投影領域Pkの対応点Qkに決定する。対応領域決定部1711は、決定した第2画像投影領域の識別子nを選択情報保持部150に格納する。吸収特性評価が図34に示す値の場合、(256、511)の第1画像投影領域Pkに対しては、第2画像投影領域が、ただ一つ、第2画像投影領域Qk_1しか存在せず、第2画像投影領域Qk_1を示す識別子「1」を選択情報保持部150に格納する。(256、510)の第1画像投影領域Pkに対しては、評価値H_nが320の第2画像投影領域Qk_1と、評価値H_nが20の第2画像投影領域Qk_2のうち、評価値H_nが低い(評価が良い)第2画像投影領域Qk_2を選択して、選択情報保持部150に格納する。
選択情報保持部150は、対応領域決定部1711が、複数の第2画像投影領域Qk_nの中からいずれを選択したかを示す選択情報を保持する。吸収特性評価が図34に示す値の場合に、選択情報保持部150が保持する情報を図35に示す。
対応付け制御部1701は、対応付け部107Cを構成する各部を用いて対応付けを行うように制御する部である。図36は、対応付け制御部1701が行う処理の流れを示すフローチャートである。以下の処理を行うため、対応付け制御部1701は、対応付け部107Cを構成する各部とそれぞれ接続されているが、図21では、図の複雑化を避けるため、接続線を一部省略している。
ステップS1401で、対応付け制御部1701は処理を開始する。
次に、ステップS1402で、対応付け制御部1701は、被撮像物細線化画像保持部113より第1被撮像物細線化画像1101Tを取得する。
次に、対応付け制御部1701は、ステップS1402で取得した第1被撮像物細線化画像1101Tで被撮像物領域の黒色の点に対して、ステップS1404からS1415の処理を行う。以下の説明では、黒色の点を第1画像投影点Pk(k=1,2,…,K:ただし、Kは黒色の点の数)と呼ぶ。
まず、ステップS1406で、対応付け制御部1701は、第2画像投影領域取得部1705を用いて、第1画像投影点Pkに対する第2画像投影領域Qk_n(n=1,2,…,N)を取得し、取得した第2画像投影領域Qk_n(n=1,2,…,N)の座標を第2画像投影領域保持部1706に格納する。
次に、ステップS14061で、対応付け制御部1701は、第1画像投影領域取得部1702Cを用いて、第1画像投影点Pkに対する第1画像投影領域Pkを取得し、取得した第1画像投影領域Pkの座標を第1画像投影領域保持部1703Cに格納する。
次に、ステップS1407で、対応付け制御部1701は、吸収特性取得部1707を用いて、第1画像投影領域Pkと第2画像投影領域Qk_n(n=1,2,…,N)との吸収特性をそれぞれ取得し、吸収特性保持部1708に格納する。
次に、ステップS1408で、吸収特性一定値を取得する。
次に、ステップS1409で、対応付け制御部1701は、吸収特性評価部1709を用いて、第2画像投影領域Qk_n(n=1,2,…,N)の評価値(すなわち差合計)を取得し、吸収特性評価保持部1710に格納する。
次に、ステップS1410で、対応付け制御部1701は、対応領域決定部1711を用いて、第1画像投影領域Pkの対応領域Qkを決定する。すなわち、対応領域決定部1711は、吸収特性評価保持部1710が保持する評価値H_nのうち、最も値が低い評価値となる第2画像投影領域Qk_xを選択する。また、対応領域決定部1711では、最も低い評価値Hkを対応領域Qkの評価値とする。
次に、ステップS1411で、対応付け制御部1701は、第1画像投影点Pkの座標と、対応領域Qkの座標と、対応領域Qkの評価値Hkとを対応情報保持部108に対応情報として格納して、ステップS1404から始まった処理を終了する(ステップS1415)。
次に、ステップS1499で、対応付け制御部1701は処理を終了する。
対応情報保持部108は、対応付け部107Cが取得した、第1画像投影領域Pk(k=1,2,…,K:Kは第1画像投影点の数)の重心の座標と、対応領域Qk(k=1,2,…,K)の重心の座標と、対応領域Qkの評価値Hk(k=1,2,…,K)とを格納する部である。図37は、対応情報保持部108のデータ構造を示す。初期状態では、対応情報保持部108が保持する組合せの数は0個であるが、対応付け制御部1701のステップS1411の処理が行われる度に、一行ずつデータが追加される。
信頼度情報取得部10010は、前記対応領域Qkが前記第1の画像領域Pkの対応点であることの信頼度情報を対応情報保持部108から取得する。例えば、信頼度情報は、前記第2画像領域取得部13が取得した第2画像領域Qkの数Nが少ないときには、高い信頼度となり、また、例えば、前記第1の画像領域Pkと前記対応領域Qkとの類似度が高いときには、高い信頼度となるような信頼度情報を信頼度情報取得部10010で取得する。ここでは、第1の画像領域Pk(K=1,,,)の信頼度情報は、対応情報保持部108が保持する評価値Hkとする。信頼度情報取得部10010は、前述の信頼度情報取得部15の処理を行う。すなわち、分割細線保持部122が保持する各分割細線の各第1画像投影領域Pk(k=1,2,…,K)の信頼度を取得し、信頼度情報保持部10020に格納する。
信頼度情報保持部10020は、信頼度情報取得部10010が取得した信頼度情報を保持する。
表示方法決定部10030は、信頼度情報取得部10010が取得して信頼度情報保持部10020に保持された信頼度情報に基づいて、表示方法を決定する。ここでは、一例として、第1の画像領域Pk(k=1、、、)の評価値Hkが閾値20未満であれば、血管を黒で表示し、評価値が閾値20以上40未満であれば濃いグレーで表示し、評価値が閾値40以上であれば薄いグレーで表示する決定を表示方法決定部10030で行なう。すなわち、対応付けの信頼度が高い第1の画像領域Pkを三次元再構成した点は、黒で表示し、以降、信頼度が低くなるに従って薄い色で表示する決定を、表示方法決定部10030で行なう。ここでは、表示方法が黒であることを示す識別子を「1」とし、濃いグレーであることを示す識別子を「2」とし、薄いグレーであることを示す識別子を「3」とし、表示方法決定部10030は、第1の画像領域Pk(k=1、、、)の評価値Hkが閾値20未満であれば、「1」を取得し、評価値が閾値20以上40未満であれば「2」を取得し、評価値が閾値40以上であれば「3」を取得する。
表示方法保持部10040は、表示方法決定部10030が取得した各第1の画像領域Pk(k=1、、)に対する表示方法の識別子DPk(k=1、、、)を保持する。
三次元位置取得部109は、対応情報保持部108が保持するそれぞれの行の第1画像投影領域Pkの重心の座標と、それぞれの行の対応領域Qkの重心の座標とを用いて、三角測量の原理を用いて、三次元上の三次元点Jkの座標を算出し、算出した三次元点Jk(k=1,2,…,K)の座標を、三次元位置保持部110に格納する。
三次元位置保持部110は、三次元位置取得部109が復元した三次元点Jk(k=1,2,…,K)の座標を保持する。図38は、三次元位置保持部110のデータ構造を示す図である。K行目(k=K)には、(JK_X、JK_Y、JK_Z)を保持する。JK_X、JK_Y、JK_Zは、それぞれ、三次元点JKのX座標、Y座標、Z座標を示す。
表示画面生成部111は、三次元位置保持部110が保持する三次元点Jk(k=1,2,…,K)を表示するCG(コンピュータグラフィックス)の画面を生成する。図39は、表示画面生成部111が生成する表示画面の一例を示す図である。表示方法保持部10040が保持する識別子DPkが「1」である三次元点Jkは、黒で表示し、識別子DPkが「2」である三次元点Jkは、濃いグレーで表示し、識別子DPkが「3」である三次元点Jkは、薄いグレーで表示する。
なお、ここでの三次元表示は表示方法の一例として、各三次元点を球として表示する場合を示すが、他の表示方法であっても構わない。たとえば、前後する3次元点を円柱で繋いでポリゴンとして表示するなどであっても構わない。
表示部112は、表示画面生成部111が生成した画面を表示する。具体的には、ディスプレイ装置、又は、プロジェクター投影装置等の表示装置である。
指示部170は、血管の位置を指示位置として指定して、指示位置での血管の部分の再構成のやり直しを指示する。例えば、術者が第1画像領域Pkの座標を指示部170で指定して再構成のやり直しを指示する。指示部170による位置(指示位置)の指定には、入力IF114のマウス又はキーボード等の装置を用いる。
再対応付け部171は、指示部170からの指示を受けて対応付けを行なう。図40は再対応付け部171が行なう処理の流れである。
まず、ステップS7801で指示部170からの指示により、再対応付け部171は処理を開始する。
次いで、ステップS7802で、再対応付け部171は、指示部170より指示位置を取得する。
次いで、ステップS7803で、再対応付け部171は、被撮像物細線化画像保持部106が保持する細線化画像のうち、指示位置に最も近い点を取得し、その点が属する分割細線画像を抽出して取得する(これを、以下、対応分割細線と呼ぶ。)。
次いで、ステップS7804で、再対応付け部171は、ステップS7803で取得した対応分割細線の一点に対する選択情報Xを取得する。
次いで、ステップS7805で、再対応付け部171は、対応分割細線上の点に対する対応付けを更新する。具体的には、再対応付け部171は、対応付け部107Cの吸収特性評価保持部1710が保持する評価情報のうち、対応分割細線の(後述の)一点についての、選択情報Xが示す識別子に対応する評価値の次に良い値となる評価値H_yを取得し、評価値H_yに対応する第2画像領域Qk_yを第1画像領域の対応領域に決定する。例えば、一点が図34の(256、510)で、選択情報Xが評価値H_2=20の場合、再対応付け部171は、評価値H_2=20の次に良い評価値であるH_1=310を取得し、第2画像領域Qk_1を第1画像領域Pkの対応領域に決定する。
もし、選択情報Xが示す評価値が、評価値の中で最も評価の悪い値である場合には、再対応付け部171は、評価が最も良い評価値H_yを取得し、評価値H_yに対応する第2画像領域Qk_yを第1画像領域Pkの対応領域に決定する。再対応付け部171Cは、決定した対応点の情報を対応情報保持部108に格納する。
前記の一点は、対応分割細線上、最も造影剤が流れた時刻が早い点から再対応付け部171Cで選択する。
次いで、ステップS7806で、再対応付け部171は、前記の一点を通って造影剤が流れた第1画像1101(又は第2画像1102)の各領域に対して、対応付け部170を用いて再度対応付けを行なう。具体的には、分割対応領域に対して前記一点以外の各点、及び、分割対応領域に後続する分割細線上の点について、対応点を一旦、消去して、それぞれの点に対して、再度、対応付け部170で対応付けを行い、分割対応領域に後続する分割細線上の点についても対応付け部170で対応付けを行ない、更に分割対応領域に後続する分割細線に後続する分割細線上の点についても対応付け部170で対応付けを行い、以降、それぞれに後続する分割細線に対して処理を繰り返す。
その後、ステップS7807で、ステップS7806で対応付けした部分について、再対応付け部171で対応付けを更新する。
<形状復元装置1の処理の流れ>
図41は、形状復元装置1が行う処理のフローチャートを示す。
まず、ステップS1901で、形状復元装置1は処理を開始する。
次に、ステップS1902で、X線画像取得部113は、前述のX線画像取得部113の処理を行う。すなわち、X線撮像部101〜102よりX線画像を取得し、X線画像保持部103に格納する。
次に、ステップS1903で、被撮像物領域取得部105は、前述した被撮像物領域取得部105の処理を行う。すなわち、被撮像物領域取得部105は、X線画像保持部103が保持する画像に基づいて、第1被撮像物細線化画像1101Tと、第2被撮像物細線化画像1102Tとを取得し、被撮像物細線化画像保持部106に格納する。
次に、ステップS19031で、細線分割部121は、前述の細線分割部121の処理を行う。すなわち、細線分割部121は、細線画像を分岐点で分割して、生成した分割後の各細線画像を分割細線保持部122で保持する。
次に、ステップS19032で、分割細線時刻情報取得部123は、前述の分割細線時刻情報取得部123の処理を行う。すなわち、分割細線時刻情報取得部123は、分割細線保持部122が保持する各分割細線について、その領域に造影剤が始めて流れた時刻をそれぞれ取得する。分割細線時刻取得部123が取得した分割細線時刻情報は、分割細線時刻情報保持部124に保持する。
次に、ステップS19033で、細線接続情報取得部125は、前述の細線接続情報取得部125の処理を行う。すなわち、細線接続情報取得部125は、分割細線保持部122が保持する各細線について、各分割細線同士の接続関係を取得する。
次に、ステップS19034で、後続細線情報取得部127で後続細線情報を取得する。
次に、ステップS1904で、対応付け部107Cは、前述の対応付け部107Cの処理を行う。すなわち、対応付け部107Cは、分割細線保持部122が保持する各分割細線の各第一画像投影領域Pk(k=1,2,…,K)の対応領域Qkを決定し、対応情報保持部108に対応情報を格納する。
次に、ステップS1905で、三次元位置取得部109は、前述の三次元位置取得部109の処理を行う。すなわち、三次元位置取得部109は、対応情報保持部108より、第一被撮像物細線化画像1101の各第一画像投影領域Pk(k=1,2,…,K)に対して、三次元点Jkの三次元位置を算出し、三次元位置保持部110に格納する。
次に、ステップS19051で、信頼度情報取得部10010は、前述の信頼度情報取得部10010の処理を行う。すなわち、分割細線保持部122が保持する各分割細線の各第1画像投影領域Pk(k=1,2,…,K)の信頼度を取得し、信頼度情報保持部10020に格納する。0
次に、ステップS19052で、表示方法決定部10030は、前述の表示方法決定部10030の処理を行う。すなわち、各分割細線の各第1画像投影領域Pk(k=1,2,…,K)の表示方法を決定する。
次に、ステップS1906で、表示画像生成部111は、三次元位置保持部110に保持された三次元点Jkの三次元位置を基に、各三次元点Jk(k=1,2,…,K)を表示するCGの画面を生成する。
次に、ステップS1907で、表示部112は、表示画像生成部111が生成した表示画面を表示する。
次に、ステップS1908で、指示部17は、指示を受け付ける。指示があるまで本ステップS1908を繰り返す。指示があれば、ステップS1908に進む。
ステップS1909で、再対応付け部171は、再対応付け部の処理を行う。処理後ステップS1905に分岐し、処理を終了する。
<形状復元装置1が行う処理の原理>
血管1201に造影剤を投入すると、血管1201上の三次元点Jkに存在する造影剤の量は、時間と共に変化する。そのとき、三次元点Jkを含む血管断面を撮影した第1画像投影点Pk、及び、対応領域Qkの吸収特性も変化する。
まず、血管1201上の三次元点Jkを含む血管断面の吸収特性の変化について説明する。
ある三次元点Jkを含む血管断面における吸収特性の変化を図42に示す。造影剤を投入する前(時刻T2より前の時間)は、造影剤は流れていない。造影剤を噴出を開始すると、時刻T2より徐々に造影剤が流れ始める。造影剤を噴出した位置に近い血管では、時刻T2が小さな値となり、造影剤を噴出した位置から遠い血管では、時刻T2が大きな値となる。やがて、時刻T3で吸収特性は一定値となる。造影剤の噴出を停止すると(又は徐々に減らしていくと)、時刻T4よりやがて吸収特性が徐々に減少していき、時刻T5で造影剤が流れていない状態になる。
カテーテルを同じ位置に固定し、同じ濃度の造影剤を一定時間注入する操作を複数回行なった場合、時刻T2〜T5の時間は操作ごとにずれが生じる。これは、血管に流体である血液が流れており、そこに流体である造影剤が混入していくため、毎回、同じ広がり方にはならないためである。また、脈動などの生体の作用によって変化が生じることが考えられる。しかし、吸収特性のV34の値、すなわち、吸収特性が一定となる値自体には大きな変化は生じない。そこで、形状復元装置1は、第1画像投影領域Pk、第2画像投影領域Qk_n(n=1,2,…,N)の吸収特性の変化を取得し、それぞれの吸収特性の変化で吸収特性が一定となる吸収特性一定値を取得し、吸収特性一定値の類似度を評価して、第2画像投影領域Qk_nの中から対応領域Qkを決定する。
<第2実施形態の効果>
よって、第2実施形態によれば、2方向から撮影した血管のX線画像の血管の複数の画像領域の対応付けの良否に応じて表示方法が異なる血管の3次元モデルを生成することができる。この結果、生成される血管の3次元モデルの一部又は全部で対応付けがなされる際、表示された3次元モデルを見て、術者は、誤った対応付けがほぼ無い部分と、誤った対応付けが有りそうな部分とを視覚的に把握することが出来る。
(第2実施形態の変形例1)
第2実施形態では、エピポーラ平面に血管1201のみが存在する場合を説明している。第2実施形態の変形例1では、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合を説明する。図43及び図44は、被撮像物体Γが存在するエピポーラ平面を示す。図43は、造影剤が注入される前の状態であり、図44は造影剤が注入された後の状態を示す。
図43の第1画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0とし、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_bとし、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、式15が成立する。
Figure 2016159116
..........(式15)
両辺の対数を取り、b=1,2,…,Bの合計を吸収特性取得部1707で算出すると、式16が成立する。
Figure 2016159116
..........(式16)
図44の第1画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_tとすると、式17が成立する。
Figure 2016159116
..........(式17)
両辺の対数を取り、b=1,2,…,Bの合計を吸収特性取得部1707で算出すると、式18が成立する。
Figure 2016159116
..........(式18)
式16を用いて、式18の右辺の第1項、第2項を置き換えて、式19が成立する。
Figure 2016159116
..........(式19)
式19を変形して、式20が成立する。
Figure 2016159116
..........(式20)
式20の左辺は、吸収特性の定義であり、式20を用いても吸収特性を吸収特性取得部1707で算出できることが分かる。右辺第1項は、第1画像投影領域Pkを構成する点の時刻0での輝度の対数の和として吸収特性取得部1707で算出する。第2画像投影領域Qkについても、同様に式21を用いて、吸収特性を吸収特性取得部1707で算出することが出来る。
Figure 2016159116
..........(式21)
なお、ここでは、時刻0には、三次元領域Jkに造影剤がまったくない場合を説明しているが、造影剤がある場合においても、時刻0からの吸収特性の増加量を式20及び式21を用いて、吸収特性取得部1707で算出することが出来る。
なお、変形例1における吸収特性取得部1707は、第1の時刻に前記投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素で取得したX線の強度の対数の値同士を加算した値(対数和)と、第1の時刻とは異なる第2の時刻に前記投影領域の各画素で取得したX線の強度の対数の値同士を加算した値(対数和)との、差を算出して、前記投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の前記吸収特性とする。変形例1の装置を用いれば、撮影画像中に骨などのX線画像中に輝度変化をもたらす物体が撮影される場合にも、血管を再構成することが出来る。
(第2実施形態の変形例2)
第2実施形態では、式12及び式13を吸収特性の定義としているが、第2実施形態の変形例2では、他の方法で吸収特性を定義する。
第2実施形態の式10の両辺を強度Iで割ると、式22が成り立つ。
Figure 2016159116
..........(式22)
式22は、b=1,2,…,Bの場合にも成立し、左辺同士の積、右辺同士の積が等しくなることより、式23が成立する。
Figure 2016159116
..........(式23)
更に式23を変形すると、式24が成立する。ここで、記号Πは、各要素の積を示す演算子である。
Figure 2016159116
..........(式24)
また、第2画像投影領域Qk_nを構成する各画素qk_n_anに対しても式21は成立し、画素qk_n_anの強度をI_anとし、画素qk_n_anに到達するX線が通過する三次元領域Jkの厚さをd_anとすると、同様に式25が成立する。
Figure 2016159116
..........(式25)
式24において、Σd_bは、三次元領域Jkの断面積である。また、第2画像投影領域Qk_nが第1画像投影領域Pkの対応点であるとき、式25において、Σd_anも、三次元領域Jxの断面積となり、式24の値と式25の値とは等しくなる。
変形例2では、式24の値を吸収特性λ_pkとし、式25の値をλ_qk_nとする。
吸収特性λ_pkは、第1投影画像領域Pkの各画素pk_b(b=1,2,…,B)における輝度I_bを強度Iで割った値の積として吸収特性取得部1707で算出する。
なお、変形例2における吸収特性取得部1707は、投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素で取得したX線の強度同士の積を、第1又は第2X線発生装置が発生したX線の強度を当該投影領域の画素数で乗じた値で、割った値を算出し、前記投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の吸収特性とする。
(第2実施形態の変形例3)
第2実施形態の変形例3では、変形例1と同様に、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合を説明する。
図43の第1画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_0とし、画素pk_bに到達するX線が通過する被撮像物体Γの厚さをdΓ_bとし、被撮像物体Γの線減弱係数をμΓ[cm−1]とすると、式26が成立する。
Figure 2016159116
..........(式26)
b=1,2,…,Bにおいて式26が成立し、左辺同士の積と、右辺同士の積を吸収特性取得部1707で算出すると、式27が成立する。
Figure 2016159116
..........(式27)
吸収特性取得部1707において、図44の第1画像投影領域Pkを構成する各画素pk_bにおいて、画素pk_bの強度をI_b_tとすると、式14が成立し、両辺を強度Iで割り、b=1,2,…,Bにおいて式14が成立し、左辺同士の積と、右辺同士の積を算出すると、式28が成立する。
Figure 2016159116
..........(式28)
式27及び式28より、式29が成立する。
Figure 2016159116
..........(式29)
式29の右辺は、変形例1における吸収特性の定義であり、式29を用いても吸収特性を吸収特性取得部1707で算出できることが分かる。左辺は、第1の画像領域Pkを構成する点pk_b(b=1,2,…,B)の「時刻tでの輝度を時刻0での輝度で割った値」の積として算出する。すなわち、吸収特性取得部は、第1の所定時刻において投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素にて取得した第1又は第2X線撮像装置より照射されたX線の強度同士の積を、第2の所定時刻において当該投影領域(第1の画像領域又は複数の第2の画像領域それぞれ)の各画素にて取得した第1又は第2X線撮像装置より照射されたX線の強度同士の積にて割った値より、前記投影領域におけるX線の吸収量を吸収特性として取得することができる。
なお、ここでは、時刻0には、三次元領域Jkに造影剤がまったくない場合を説明しているが、造影剤がある場合においても、時刻0からの吸収特性の増加量を式20及び式21を用いて、吸収特性取得部1707で算出することが出来る。
なお、変形例3における吸収特性取得部1707は、第1の時刻に投影領域の各画素で取得したX線の強度の値同士の積を、第2の時刻に投影領域の各画素で取得したX線の強度の値同士の積で、割った値を算出し、吸収特性とする。変形例3の装置を用いれば、撮影画像中に骨などのX線画像中に輝度変化をもたらす物体が撮影される場合にも、血管を再構成することが出来る。
(第2実施形態の変形例4)
変形例1、及び3では、血管以外にX線を吸収する物体がエピポーラ平面に存在する場合に、造影剤が投入される前の時刻0の画像と、造影剤が投入された後の時刻tの画像を用いて、吸収特性を吸収特性取得部1707で算出する方法を説明している。ここでは、一枚の画像を用いて、吸収特性を吸収特性取得部1707で算出する方法を説明する。
図45では、被撮像物Γと、血管1201の領域である三次元領域Jkを同じ程度の大きさで記載しているが、実際には図45に示すように、血管1201の領域である三次元領域Jkは非常に小さく、臓器等の領域である被撮像物Γの領域は非常に大きい。図45において、点qq1、点qq2は、第2画像投影領域Qk_2から、例えば5画素離れた位置の点である。点qq1、点qq2に到達するX線は、被撮像物Γのほぼ同じ場所を透過してそれぞれの点に到達するので、輝度は、ほぼ等しい。また、三次元領域Jk_1に造影剤が流れていないときには、第2の画像領域Qk_1の点の輝度も、点qq1、点qq2の輝度と、ほぼ等しい。そこで、点qq1の輝度(又は、点qq2の輝度、又は、点qq1と点qq2との輝度の平均)を式17におけるI_an_0(an=1,2,…,An)の近似値として用いて、吸収特性を吸収特性取得部1707で算出する。式16、式24、式25の場合も同様に、血管周辺の点の輝度を、I_an_0(an=1,2,…,An)、I_bn_0(bn=1,2,…,Bn)の近似値とする。
このような構成を用いれば、一枚の画像のみで吸収特性を吸収特性取得部1707で算出することができる。
(変形例)
第1及び第2実施形態の説明では、処理の流れの一例を示しているが、順序の入れ替えや、複数の処理の並列化(同時並行処理)をして実行しても構わない。
形状復元装置1を構成する要素の一部又は全部は、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムで実現することができる。そのRAM又はハードディスクユニットには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各部は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
形状復元装置1を構成する要素の一部又は全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、及びRAMなどを含んで構成されるコンピュータシステムである。そのRAMには、コンピュータプログラムが記憶されている。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
形状復元装置1を構成する要素の一部又は全部は、各装置に脱着可能なICカード又は単体のモジュールから構成されているとしてもよい。そのICカード又はモジュールは、マイクロプロセッサ、ROM、及びRAMなどから構成されるコンピュータシステムである。そのICカード又はモジュールは、前記の超多機能LSIを含むとしてもよい。つまり、マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、そのICカード又はモジュールは、その機能を達成する。このICカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
形状復元装置1を構成する要素の一部又は全部は、管の形状を取得する方法としても実現される。また、本発明は、これらの方法によりコンピュータに管の形状を取得させるコンピュータプログラム、又は、コンピュータプログラムで構成されるディジタル信号としても実現される。
形状復元装置1を構成する要素の一部又は全部は、上述のコンピュータプログラム又はディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、又は、半導体メモリなどに記録したものとしても実現される。また、これらの記録媒体に記録されているディジタル信号としても実現される。
形状復元装置1を構成する要素の一部又は全部は、電気通信回線、無線通信回線、有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送される、上述のコンピュータプログラム又はディジタル信号としても実現される。
形状復元装置1を構成する要素の一部又は全部は、マイクロプロセッサとメモリを備えたコンピュータシステムとしても実現される。この場合、そのメモリは、上述のコンピュータプログラムを記憶しており、マイクロプロセッサは、そのコンピュータプログラムにしたがって動作する。
また、そのコンピュータプログラム又はディジタル信号を記録媒体に記録して移送することにより、又はコンピュータプログラム又はディジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより本発明の処理を実施してもよい。
なお、上記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせ又は実施例同士の組み合わせ又は実施形態と実施例との組み合わせが可能であると共に、異なる実施形態又は実施例の中の特徴同士の組み合わせも可能である。
本発明の一態様に係る3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラムは、2方向から撮影した血管のX線画像の複数の画像領域の対応付けを適切に行って3次元モデルを高精度で生成することができるため、カテーテル治療の際などに有用である。
10,10B 3次元モデル生成装置
11 X線画像取得部
12 第1画像領域画像領域取得部
13 第2画像領域画像領域取得部
14 対応領域決定部
15 信頼度情報取得部
16,16B 3次元モデル生成部
17 表示方法決定部
60a 信頼度が高い血管の部分
60b 信頼度が低い血管の部分
60c 再生成の対象となる血管部分
60d カテーテル
60e 信頼度が高まった血管部分
60f 信頼度が低い血管部分
61,62 3次元モデル
100B 画像領域対応付け装置
101〜102 X線撮影部
103 X線画像保持部
104 撮影部情報保持部
105 被撮像物領域取得部
106 被撮像物細線化画像保持部
107,107C 対応付け部
112 表示装置
114 入力IF(インターフェース)
121 細線分割部
122 分割細線保持部
123 分割細線時刻情報取得部
124 分割細線時刻情報保持部
125 細線接続情報取得部
126 細線接続情報保持部
127 後続細線情報取得部
128 後続細線情報保持部
150 選択情報保持部
170 指示部
171 再構成対応付け部
200 患者
202A,202B X線発生部
1101 第1X線画像
1101T 分割細線画像
1102 第2X線画像
1132 被撮像物領域画像保持部
1201 血管
1231 直線
1501 二値化部
1503 細線化部
1504 差分画像生成部
1505 差分画像保持部
1701 対応付け制御部
1702C 第1画像投影領域取得部
1703C 第1画像投影領域保持部
1705 第2画像投影領域取得部
1706 第2画像投影領域保持部
1707 吸収特性取得部
1708 吸吸収特性保持部
1709 吸収特性評価部
1710 吸収特性評価保持部
1711 対応領域決定部
1727 第2画像投影領域絞込み部
10020 信頼度情報保持部
10040 表示方法保持部
Jk 三次元点
L2 エピポーラ線
Pk 第1の画像領域
Qk 第2の画像領域

Claims (8)

  1. 血管の3次元モデルを生成する3次元モデル生成装置の制御方法であって、
    造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する第1工程と、
    前記第1工程の後、前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の前記第1画像領域に対応する候補である複数の第2画像領域の中の1つの第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する第2工程と、
    前記第2工程の後、前記複数の第2画像領域の中の1つの第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更して、前記生成された3次元モデルを表示装置上に表示する第3工程と、
    前記第3工程の後、前記表示装置に表示された3次元モデルが前記所定の閾値未満の確率であり、かつ前記血管に造影剤が存在する場合、前記所定の閾値未満の確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、第3及び第4の投影画像をそれぞれ取得する第4工程と、
    前記第4工程の後、前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である複数の第4画像領域の中の1つの第4画像領域とに基づいて第2合成画像領域を合成して前記血管の3次元モデルを再生成する第5工程と、
    前記第5工程の後、前記第2工程で生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換えて前記表示装置に表示する第6工程と、
    を有する3次元モデル生成装置の制御方法。
  2. 前記第2工程では、前記第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域が複数存在し、前記複数の第2画像領域のそれぞれの確率である第1の確率と第2の確率とが互いに異なっており、
    前記第3工程では、前記第1の確率は前記閾値未満であり、前記第2の確率は前記閾値以上であるとき、前記3次元モデルにおいて、前記第1の確率を有する第2画像領域と前記第1画像領域との合成画像領域と、前記第2の確率を有する第2画像領域と前記第1画像領域との合成画像領域とがそれぞれ合成され、両者の合成画像領域の表示方法は互いに異なっており、
    前記第4工程では、前記第1の確率を有する第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像して、前記第3及び第4の投影画像を取得し、
    前記第5工程では、前記第2工程で生成された先の3次元モデルのうちの前記第1の確率を有する前記第2画像領域に対応する前記血管の部分を、再生成された前記血管の3次元モデルに置き換える、
    請求項1に記載の3次元モデル生成装置の制御方法。
  3. 前記第1工程での前記互いに交差する第1及び第2の方向は、前記3次元モデルの生成対象である前記血管の部分で交差する第1の撮影角度及び第2の撮影角度である、
    請求項1又は2に記載の3次元モデル生成装置の制御方法。
  4. 前記第1工程は、
    前記血管に、互いに異なる前記第1の方向と前記第2の方向とからX線を照射することにより、前記第1の方向より得られる前記第1の投影画像の第1X線画像と前記第2の方向より得られる前記第2の投影画像の第2X線画像とで構成されるX線画像セットを取得し、
    前記第1X線画像における前記血管の部分に相当する第1の画像領域について、前記造影剤の輝度より前記第1の画像領域におけるX線の吸収量を吸収特性として取得し、
    前記第2X線画像における前記血管の部分に相当する画像領域であり、かつ、前記第1の画像領域に対応する候補の画像領域である複数の第2の画像領域について、前記造影剤の輝度より前記複数の第2の画像領域におけるX線の吸収量を吸収特性としてそれぞれ取得し、
    前記第3工程は、前記第2の画像領域の複数の吸収特性のそれぞれが、前記第1の画像領域の吸収特性と同じような変化をしているか、異なる変化をしているかの評価値を前記確率とする、
    請求項1〜3のいずれか1つに記載の3次元モデル生成装置の制御方法。
  5. 前記第1合成画像領域の前記表示方法を変更するとき、画像の色又は線の太さ又は種類を変更する、
    請求項1〜4のいずれか1つに記載の3次元モデル生成装置の制御方法。
  6. 前記第1工程で前記第1及び第2の投影画像をそれぞれ取得するとき、所定間隔毎に取得する、
    請求項1〜5のいずれか1つに記載の3次元モデル生成装置の制御方法。
  7. 血管の3次元モデルを生成する3次元モデル生成装置であって、
    造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する画像取得部と、
    前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する3次元モデル生成部と、
    前記第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更した状態で、前記生成された3次元モデルを表示する表示装置とを備えて、
    前記確率が前記所定の閾値未満の場合、前記確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、前記画像取得部で、第3及び第4の投影画像をそれぞれ取得し、
    前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である第4画像領域とに基づいて第2合成画像領域が合成され、前記第2合成画像領域と前記第4画像領域が前記第3画像領域に対応する候補である確率に基づいて、前記血管の3次元モデルを前記3次元モデル生成部で再生成して、前記3次元モデル生成部で生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換え、
    前記表示装置は、前記再生成された3次元モデルを前記表示装置に表示する、
    3次元モデル生成装置。
  8. 血管の3次元モデルを生成する3次元モデル生成装置の制御用プログラムであって、
    コンピュータを
    造影剤が存在する前記血管を互いに交差する第1及び第2の方向から撮像することにより、第1及び第2の投影画像をそれぞれ取得する第1ステップと、
    前記第1の投影画像の中の第1画像領域と、前記第2の投影画像の中の、前記第1画像領域に対応する候補である第2画像領域とに基づいて、第1合成画像領域を合成して前記血管の3次元モデルを生成する第2ステップと、
    前記第2画像領域が前記第1画像領域に対応する候補である確率が所定の閾値以上か否かに応じて、前記3次元モデルにおける前記第1合成画像領域の表示方法を変更して、前記生成された3次元モデルを表示装置上に表示する第3ステップと、
    前記確率が前記所定の閾値未満の場合、前記確率を有する前記第2画像領域に対応する前記血管の部分を前記第1及び第2の方向から撮像することにより、第3及び第4の投影画像をそれぞれ取得する第4ステップと、
    前記第3の投影画像の中の第3画像領域と、前記第4の投影画像の中の、前記第3画像領域に対応する候補である第4画像領域とに基づいて第2合成画像領域が合成され、前記第2合成画像領域と前記第4画像領域が前記第3画像領域に対応する候補である確率とに基づいて、前記血管の3次元モデルを再生成して、前記第2ステップで生成された先の3次元モデルを、再生成された前記血管の3次元モデルに置き換える第5ステップと、
    前記再生成された3次元モデルを前記表示装置に表示する第6ステップと、
    として機能させるための3次元モデル生成装置の制御用プログラム。
JP2015043983A 2015-03-05 2015-03-05 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム Pending JP2016159116A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015043983A JP2016159116A (ja) 2015-03-05 2015-03-05 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015043983A JP2016159116A (ja) 2015-03-05 2015-03-05 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム

Publications (1)

Publication Number Publication Date
JP2016159116A true JP2016159116A (ja) 2016-09-05

Family

ID=56843730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015043983A Pending JP2016159116A (ja) 2015-03-05 2015-03-05 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム

Country Status (1)

Country Link
JP (1) JP2016159116A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210078577A (ko) * 2013-03-01 2021-06-28 하트플로우, 인크. 환자-특정 기하학적 모델들을 변경함으로써 치료들을 결정하기 위한 방법 및 시스템
JP2022505587A (ja) * 2019-01-30 2022-01-14 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
WO2022107525A1 (ja) * 2020-11-19 2022-05-27 富士フイルム株式会社 画像処理装置および画像処理装置の制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210078577A (ko) * 2013-03-01 2021-06-28 하트플로우, 인크. 환자-특정 기하학적 모델들을 변경함으로써 치료들을 결정하기 위한 방법 및 시스템
KR102336929B1 (ko) 2013-03-01 2021-12-08 하트플로우, 인크. 환자-특정 기하학적 모델들을 변경함으로써 치료들을 결정하기 위한 방법 및 시스템
US11869669B2 (en) 2013-03-01 2024-01-09 Heartflow, Inc. Method and system for image processing to model vasculasture
JP2022505587A (ja) * 2019-01-30 2022-01-14 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
JP7150166B2 (ja) 2019-01-30 2022-10-07 ▲騰▼▲訊▼科技(深▲セン▼)有限公司 Ct画像生成方法及びその装置、コンピュータ機器並びにコンピュータプログラム
US12016717B2 (en) 2019-01-30 2024-06-25 Tencent Technology (Shenzhen) Company Limited CT image generation method and apparatus, computer device, and computer-readable storage medium
WO2022107525A1 (ja) * 2020-11-19 2022-05-27 富士フイルム株式会社 画像処理装置および画像処理装置の制御方法

Similar Documents

Publication Publication Date Title
US7574026B2 (en) Method for the 3d modeling of a tubular structure
CN104783825B (zh) 用于产生血管系统的二维投影图像的方法和装置
JP6367026B2 (ja) 医用画像処理装置および医用画像処理方法
JP6214646B2 (ja) 血管造影図における時間的な解剖学的標的タグ付け
JP5830626B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び画像領域対応付け用プログラム
JP5830627B2 (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、画像領域対応付け用プログラム
CN112969412B (zh) 深谱团注剂跟踪
US8831323B2 (en) Method and apparatus for measuring activity of a tracer
JP2016116867A (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
JP4564387B2 (ja) 医用画像生成装置
JP2021133243A (ja) デジタルマンモグラフィイメージングのための方法およびシステム
JP2016159116A (ja) 3次元モデル生成装置及び方法、及び、3次元モデル生成用プログラム
JP7167564B2 (ja) X線撮影装置およびx線撮影装置の作動方法
JP7051595B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US11317875B2 (en) Reconstruction of flow data
JP6971598B2 (ja) X線診断装置、画像処理装置及び画像処理プログラム
JP2004188196A (ja) 心臓サイクルの検出の方法及び装置
JP6642048B2 (ja) 医療画像表示システム、医療画像表示プログラム及び医療画像表示方法
JP2016159117A (ja) 画像領域対応付け装置、3次元モデル生成装置、画像領域対応付け方法、及び、画像領域対応付け用プログラム
JP6034194B2 (ja) 医用画像処理装置の作動方法、医用画像処理装置及びコンピュータ可読ストレージ媒体
JP2016159115A (ja) 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成用プログラム
JP2006167448A (ja) 介入的放射線医学手順中にオペレータを支援するためのイメージング方法及び装置
US11666299B2 (en) Controlling a medical X-ray device
EP4160546A1 (en) Methods relating to survey scanning in diagnostic medical imaging
Ghassel Artificial Count Enhancement of Lung Scintigraphic Images Using Deep Learning Techniques