JP2021181029A - 画像処理装置および放射線撮影装置 - Google Patents

Abstract

【課題】正確に血管像を透視像に重畳することができる画像処理装置を提供する。【解決手段】本発明によれば、透視像のフレーム上で探索された各特徴点にとっての重心である重心点を基準に各特徴点の位置と方向を示すベクトル群を算出し、一連の画像に係るベクトル群と比較することでフレームの重ね合わせに適切な画像を一連の画像から選出する構成となっている。このベクトル群は、被検体の呼吸により像が平行移動しても変化しない特性を持っている。したがって、本発明によれば、正確に血管像を透視像に重畳することができる。【選択図】図４

Description

本発明は、血管像を透視像に重畳することができる画像処理装置および放射線撮影装置に関する。

医療機関には放射線で被検体の画像を取得する放射線撮影装置が備えられている。この様な従来装置の構成について説明する。従来構成によれば、図１８に示すように放射線を照射する放射線源５３と放射線を検出するＦＰＤ５４を有している。撮影対象の被検体は、放射線源５３とＦＰＤ５４とに挟まれる位置にある天板５２に載置される（例えば特許文献１参照）。

このような放射線撮影装置は、被検体の透視を連続して行い、動画となっている透視像を生成できるようになっている。術者はこの透視像を視認しながらカテーテルを被検体の血管に挿入することにより各種の治療を行うことができる。この様な透視像は、被検体の骨やカテーテル自体を写し込んでいる。

しかし、このような撮影方法は、被検体の血管を鮮明に写し出すのは不向きである。血管はカテーテルなどとは違い、放射線による画像化が難しいからである。被検体内で血管がどのように伸びているかが分からないと、術者のカテーテルの挿入操作に支障がでる。

この様な問題を解決する目的で、従来から血管の位置を示す血管像を透視像に重ね合わせる構成が考え出されている。すなわち、カテーテル挿入操作の前に血管造影剤を用いて被検体の血管像を撮影しておき、この血管像を透視像に重畳させて表示されるのである。すると、術者は、カテーテルが被検体の血管のどの部分に到達しているかが理解できるようになり、カテーテル挿入操作をスムーズに行えるようになる。血管像の撮影は、カテーテル挿入操作の前に行われ、装置に記憶されている。

血管像を透視像に重畳させるときに問題となるのが、心臓の拍動である。心臓が最も収縮したときに血管像が撮影されていたとする。一方、血管像を重ねる方の透視像は動画なので、心臓は収縮したり拡張したりを繰り返す。したがって血管像は、透視像において大きさが移り変わる心臓の最も収縮した状態のときの血管の走り方を表しているに過ぎない。透視像上の心臓が最も拡張しているときの血管の走り方は、血管像では分からない。つまり、透視像は、動画なので、重ね合わせる方の血管像も動画として撮影しておく必要がある。血管像の動画を血管像動画と呼ぶことにする。

動画同士を重ねる際には、動画をどのタイミングで重ね合わせるのかということが問題となる。血管像動画に写り込む心臓が最も収縮したときと透視像に写り込む心臓が最も収縮したときとが互いに重なるように同期をとって動画同士を重ねないと、透視像に写り込む心臓の血管を正確に表示できない。

そこで、従来、動画の位相を解析する方法が考え出されている（例えば特許文献１参照）。動画の位相の解析には、動画に写り込む特徴点が利用される。特徴点とは、動画を撮影していると写り込む粒状の影で、被検体内の何らかの構造に由来している。この特徴点は、心臓動きに合わせてある決まった動きで画像内を移動する。具体的な解析方法を図１９に示す。まず、撮影された血管像動画に写り込む特徴点を探索する。図１９においては、血管像１は、心臓が最も拡張した状態を示しており、血管像ｎは、一度収縮した心臓が再び最も拡張した状態を示している。したがって、血管像１と血管像ｎの位相が同じである。一方、血管像１〜ｎ−１の位相は互いに異なっている。

これら一連の血管像に特徴点解析を加えると、それぞれの血管像に写り込む特徴点の位置が明らかにされる。これら特徴点の位置は、それぞれの血管像に固有なものであり、血管像の間で異なる位相を区別することができる。血管像１，血管像２，血管像３に対応する位相をそれぞれ位相１，位相２，位相３とする。

続いて、カテーテル挿入操作をしようとして透視像が撮影される。透視像は、動画なので、透視像に写り込む心臓の様子は時々刻々と移りゆく。従って透視像は、最近に取得された透視像の１フレームを意味しており、現在の心臓の様子を表している。従来装置は、これに位相解析を行い、今の状態の心臓がどの位相にあるかを調べる。この位相解析には、透視像に写り込む特徴点が用いられる。特徴点は、心臓動きに合わせてある決まった動きで特徴点を移動しているはずである。従って、現在の透視像に写り込む特徴点と同じパターンが、過去の血管像の撮影のときに既に得られている。そして、図２０に示すように、位相解析の結果、現在の透視像は、位相３の状態にあることが分かったとする。従来装置は、この結果を踏まえ、図２１に示すように、位相３に対応する血管像３と現在の透視像とを重ね合わせる処理を行う。

この様な動作をするには、血管像動画や、透視像に写り込む特徴点を追跡する必要がある。画像上における特徴点の位置が分からないと特徴点解析や位相解析をすることができないからである。図２２は、従来技術における特徴点の動きの追跡方法を示している。従来装置では、まず、ある血管像に特徴点を見つけると、特徴点を中心とする範囲Ｒを画像上に設定する。そして、別の血管像にも範囲Ｒを設けてこの中から特徴点を探し出す。これを繰り返すことで、血管像動画において特徴点がどのように動くかを知ることができる。そして、この範囲Ｒのどこに特徴点が存在するかで各位相が区別される。

特開２０１４−０７９３１２号公報

しかしながら、従来構成によれば、次のような問題点がある。
すなわち、上述の実施例によれば、透視像の平行移動について考慮が不足している。

心臓は、同じ調子を保って一定の運動を繰り返すことで拍動するので、これを完全に追うことができれば、従来の方法で何ら問題は発生しない。しかし、被検体は、心臓を拍動させるのみならず、呼吸もしている。従って、血管像画像や透視像に写り込む特徴点は、たとえ心臓が拍動していなくても呼吸に合わせて画像内で上下する。実際には、心臓は拍動しているので、特徴点の動き方は、心臓の拍動による動きと呼吸による動きとが合成された複雑な動きとなる。

図２３は、被検体の呼吸によって画像上の特徴点がどのように動くのかについて説明している。呼吸は、横隔膜の上下運動によって実現されるので、画像上の被検体像は、呼吸により上下にスクロール移動するような動き方をする。これに伴い画像上の特徴点も上下に移動する。この呼吸による移動は、心臓の拍動による移動とは完全に独立しているから、心臓の拍動の度に特徴点の上下移動の様式は、常に変化する。従来技術においては、このような呼吸による特徴点の影響を無視した構成となっている。

従来方法においては、特徴点が理想通りに動かないという事実はないがしろにされているのが実情である。この様な実情のもとでは、現在の透視像の位相の認識に誤りが生じる可能性が出てきてしまう。

本発明は、この様な事情に鑑みてなされたものであって、その目的は、より正確に血管像を透視像に重畳することができる画像処理装置を提供することにある。

本発明は上述の課題を解決するために次のような構成をとる。
すなわち、本発明に係る画像処理装置は、周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の１周期分に亘って撮影することで得られた複数の過去画像を取得する過去画像取得手段と、前記複数の過去画像を取得した後に、前記被検体を撮影することで得られた現在画像を取得する現在画像取得手段と、前記複数の過去画像及び前記現在画像のそれぞれについて、複数の特徴点を探索する画像上特徴点探索手段と、前記現在画像における各特徴点と、前記過去画像のそれぞれにおける前記各特徴点とを対応付ける対応付け決定手段と、前記現在画像と前記各過去画像とにおける前記対応付けられた複数の特徴点の類似度をそれぞれ算出して、前記現在画像が、前記複数の過去画像のいずれに対応するかを特定することにより、前記現在画像が、前記周期性動作のいずれの位相に位置するかを推定する位相特定手段とを有することを特徴とする。

［作用・効果］本発明によれば、心拍・呼吸などの周期動作を伴う画像であっても、過去画像に基づいて、現在画像が周期性動作のどの位相に位置するかを精度よく推定することができる。特に、対応付けられた複数の特徴点の類似度を基にしているので、対象とする周期性動作とは異なる動きが重畳された場合でも、正確に周期性動作のどの位相に位置するかを推定することができる。

また、上述の画像処理装置において、前記過去画像は、前記被検体内に造影剤を導入した状態で撮影された放射線画像であり、前記現在画像は、前記被検体内に造影剤を導入しない状態で撮影された放射線画像であって、前記画像上特徴点探索手段は、前記過去画像中の造影剤の陰影が位置する部分を避けた領域を探索することがより望ましい。

［作用・効果］造影剤が導入される前後の画像は、画像の濃淡情報が大きく異なるため、位相合せが困難となる場合がある。特に、造影剤の陰影部分は画像の濃淡がなく、特徴点を定めることすらも困難となる。そのような領域を避ける処理を行うことで、造影剤を導入する前後の画像に基づく場合であっても、正確に周期性動作のどの位相に位置するかを推定することができる。

また、本発明に係る画像処理装置は、前記対応付け決定手段は、前記過去画像のそれぞれにおける各特徴点の周辺の区画画像と、前記現在画像における各特徴点の周辺領域の区画画像との類似度に基づいて、対応付けを決定することを特徴とするものである。

［作用・効果］ある画像上で特徴となる点の候補が多数となった場合、現在画像中の特徴点候補が、過去画像上のどの特徴点候補に対応するのかを対応付けることが困難な場合がある。特に周期影動作の動きに対してフレームレートが小さい場合には、ある対応する特徴点が近傍に存在しない可能性もある。この点、現在画像中のある特徴点候補が、ある過去画像中のどの特徴点候補に対応するかを調べる際、その特徴点の周辺画像の類似度が最も大きい特徴点候補を対応する特徴点とすれば、特徴点が大きく移動した場合であっても、高精度に特徴点の対応付けが可能となる。これは、対応する特徴点を示す構造物の周辺には、同じ構造物が写り込んでいるはずであるため、
周期的動作によってその構造物の画像に歪が生じることはあっても、他の構造物の画像に比べれば類似性が高いという性質を利用するものである。

ただし、直前に撮影された前記過去画像における各特徴点を基準として、その近傍の特徴点を対応する特徴点と決定してもよい。

［作用・効果］周期影動作の動きに対してフレームレートが大きい場合は、少ない演算量で対応付けを行うことができる点で有利である。

また、前記位相特定手段は、前記過去画像中における各特徴点の相対的な位置関係と、前記現在画像中における各特徴点の相対的な位置関係とを比較することにより前記類似度を算出することとすることができる。その際、各特徴点の相対的な位置関係は、各特徴点の重心位置からの相対距離であることを特徴としてもよいし、各特徴点の重心位置から各特徴点へのベクトルとしてもよい。

［作用・効果］上述の構成は、相対的な位置関係に基づけば、対象となる周期性動作(例えば心拍)に、異なる動作(例えば呼吸動作)が重畳したとしても、各画像中における各特徴点の相対的な位置関係を各特徴点の特徴量とすることで、異なる動作により画像が移動された影響がキャンセルされ、対象となる周期性動作の特徴に基づいて、位相の特定が可能となる。

更に、前記位相特定手段は、前記過去画像のそれぞれにおける各特徴点の周辺の区画画像と、前記現在画像における各特徴点の周辺領域の区画画像との類似度を前記類似度として算出することがより望ましい。

［作用・効果］対応する特徴点を示す構造物の周辺には、同じ構造物が写り込んでいるものの、周期的動作によってその構造物の画像に歪が生じる。従って、同一の構造物の画像でも、各画像には位相により歪み方が異なっている。また、被写体によって、特徴点と共に移動する構造体と、周期的動作によって移動しない構造体とが重畳して特徴点の周囲の区画画像に写り込む場合は、周期的動作によって移動しない構造体の重畳の仕方が異なる場合もありうる。従って、現在画像中の特定の特徴点における区画画像を、各過去画像の対応する特徴点の区画画像と比較することで、いずれの位相における特徴点の区画画像と近しいかが分かる。これにより、精度良く位相を推定することが可能となる。

本発明によれば、周期性動作以外の移動が加わった場合であっても、現在画像の位相を正確に推定することができる。そのため、造影剤を含む過去画像から選択した同位相の血管造影像を、現在画像に正確に重畳することができる画像処理装置を提供することができる。

実施例１に係る画像処理装置の動作の概要を示す模式図である。 実施例１に係る画像処理装置が必要となる場面を説明する模式図である。 実施例１に係る画像処理装置が必要となる場面を説明する模式図である。 実施例１に係る画像処理装置の全体構成を説明する機能ブロック図である。 実施例１に係る特徴点探索部の動作を説明する模式図である。 実施例１に係る重心算出部の動作を説明する模式図である。 実施例１に係るベクトル群算出部の動作を説明する模式図である。 実施例１に係る最新フレームに対する処理動作を説明する模式図である。 実施例１に係る選出部の動作を説明する模式図である。 実施例１に係る画像重合部の動作を説明する模式図である。 実施例１に係る構成の効果を説明する模式図である。 実施例２に係る画像処理装置の全体構成を説明する機能ブロック図である。 実施例２に係る特徴点探索部の動作を説明する模式図である。 実施例２に係るパターン認識部の動作を説明する模式図である。 実施例２に係るパターン認識部の動作を説明する模式図である。 実施例２に係る構成の効果を説明する模式図である。 実施例２に係る構成の効果を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成を説明する模式図である。 従来の装置構成の問題点を説明する模式図である。

実施例１に係る画像処理装置は、透視像動画の撮影中に動作する構成となっている。実施例１に係る画像処理装置は、図１に示すように撮影中の透視像動画に事前に撮影された血管像を重畳する構成である。血管像は、幾通りのものがあり、画像処理装置は、被検体の心臓の拡張収縮に合わせて適切な血管像を選んで重ね合わせを実行する。本発明に係る画像処理装置は、被検体において一定の運動を繰り返す部位について放射線透視をして得られる動画と、その同じ部位について事前に連続的に放射線撮影して得られた一連の画像（血管像）とをソースとして処理動作を行う画像処理装置となっている。血管像は、本発明の過去画像に相当する。

この様な画像処理装置の説明に先立ってある施術の説明が必要となる。その施術とは、血管造影の後カテーテル操作を行うというものである。この一連の操作のうち図２は、Ｘ線撮影装置で被検体の血管像を撮影する様子を示している。Ｘ線管撮影装置は天板２を備えており、被検体はこの天板２に仰臥される。Ｘ線管３は、被検体の心臓に向けてＸ線を照射する構成である。Ｘ線管３から発せられたＸ線は、被検体および天板２を透過しＦＰＤ（フラットパネルディテクタ）４により検出される。血管像を撮影するときには造影剤が被検体に注射される。血管像は、拡大縮小する心臓の一周期分の変化を捉える必要性から何度も撮影がなされる。こうして撮影された一連の血管像には、血管造影により、心臓の冠動脈がはっきりと写り込んでいる。そして、一連の血管像に写り込む冠動脈は、それぞれ形状が異なる。一連の血管像は、心臓が拡大してから収縮し、さらに拡大するまでの間連写されたものだからである。

血管造影の後、カテーテルによる冠動脈の施術が行われる。図３は、このときの様子を示している。このときＸ線管３およびＦＰＤ４は、連続的な撮影を実行しており、透視像を動画として撮影している。透視像とは、単なる撮影を意味するわけでなく、刻々と変わる被検体の様子を写し出す動画を意味している。そこで、この意味を強調する目的で本明細書では透視像のことを透視像動画と呼ぶことにする。術者は、この透視像動画をモニタで見ながらカテーテルを冠動脈まで這わせていく。

このカテーテルを用いた施術はかなりの時間を要する。したがって、この施術中常に血管造影を行うわけにはいかない。そこで、本発明に係る画像処理装置の出番となる。すなわち、画像処理装置は、透視像動画に予め撮影しておいた血管像を重ね合わせる構成となっている。これにより、透視像動画で本来ならはっきり見ることができない冠動脈の状況を確実に術者に伝えることができる。このときに重要となるのが、複数ある血管像のうちのどれを透視像動画に重ねるのかをどうやって決めるのかということになる。本発明に係る画像処理装置はこの選択を行うことができるような構成を有している。

図４は、画像処理装置の構成を説明する機能ブロック図である。本発明に係る画像処理装置は、画像および動画から特徴点を探索する特徴点探索部１１，２１と、複数の特徴点にとっての重心を算出する重心算出部１２，２２と、重心を基準に特徴点の相対的な位置を示すベクトル群を算出するベクトル群算出部１３，２３と、ベクトル群のうちから１つを選択する選出部３１と、選出されたベクトル群に対応する血管像を透視像動画に重畳させる画像重畳部３２とを備えている。特徴点探索部１１と特徴点探索部２１とは、説明の便宜上異なるものとして説明しているが、同じ構成で実現できる。この様な事情は、重心算出部１２，２２およびベクトル群算出部１３，２３でも同じである。以降、これら構成について説明する。なお、特徴点探索部１１，重心算出部１２，ベクトル群算出部１３は、一連の血管像の撮影後、カテーテルによる冠動脈の施術の開始前に前もって動作するものであり、特徴点探索部２１，重心算出部２２，ベクトル群算出部２３，選出部３１，画像重畳部３２は、カテーテルによる冠動脈の施術中に動作するものである。選出部３１は、本発明の位相特定手段に相当する。特徴点探索部１１，２１は、本発明の画像上特徴点探索手段に相当する。

図４における特徴点探索部１１は本発明の画像上探索手段に相当し、重心算出部１２は本発明の画像上重心算出手段に相当する。ベクトル群算出部１３は本発明の画像上ベクトル群算出手段に相当し、特徴点探索部２１は本発明のフレーム上探索手段に相当する。重心算出部２２は本発明のフレーム上重心算出手段に相当し、ベクトル群算出部２３は本発明のフレーム上ベクトル群算出手段に相当する。選出部３１は本発明の選出手段に相当し、画像重畳部３２は本発明の画像重畳手段に相当する。

＜＜一連の血管像の撮影後に行う動作＞＞
これより、一連の血管像の撮影後であって、カテーテルによる冠動脈の施術前に行う動作について説明する。

＜血管像取得部１０＞
Ｘ線撮影装置で生成された血管像は、血管像取得部１０に入力される。血管像取得部１０は、周期性動作を伴う構造体を含む被検体を周期性動作の１周期分に亘って撮影することで得られた複数の血管像を取得する構成であり、本発明の過去画像取得手段に相当する。血管画像取得部１０は、２周期分以上に亘った血管像を取得するようにしても良い。

＜特徴点探索部１１＞
撮影された一連の血管像は、いったんは図示しない記憶部に記憶され、特徴点探索部１１に送出される。血管像は、説明の便宜上、Ｘ線撮影装置の全視野のうち、心臓の周辺部に位置づけられた固定枠内の画像であるものとする。一連の血管像Ｐ１，Ｐ２，Ｐ３……は、心臓の拍動一周期分の冠動脈の形状の変動を造影剤ありの状態で撮影したものとなっている。したがって、血管像Ｐ１，Ｐ２，Ｐ３……には、造影された冠動脈が大きく目立って写り込んでいる。しかし、これら血管像Ｐ１，Ｐ２，Ｐ３……をよく見ると、小さな粒のような影が写り込んでいる。この影は、被検体内の何らかの構造に由来しており、特徴点と呼ばれる。特徴点は、安定的に存在しており、心臓の拍動に合わせて動く。より具体的には、特徴点は、心臓の拍動ごとに同じ軌跡を辿りながら動き、拍動一周期ごとに画像上の同じ位置まで戻る。したがって、特徴点は、心臓の拍動がどのような状態にあるかを区別するのに利用することができるわけである。

骨などの構造物は、画像上で心拍によってほとんど移動しないため、特徴点として抽出しないことが望ましい。そこで、各画像において特徴点を探索する際には、その画像より前に撮影された画像との差分をとった後に、特徴点の探索を行うことが望ましい。なお、前に撮影された画像は、直前に撮影された画像を用いることが望ましいが、動きの速度などを考慮して、どの程度前の時点の画像を用いるのかを、種々選択することができる。

血管像は、被検体内に造影剤を導入した状態で撮影された放射線画像を含んでいる。特徴点探索部１１は、血管像上の造影剤の陰影が位置する部分を避けた領域について探索を行う。

図５に示すように、特徴点探索部１１は、一連の血管像Ｐ１，Ｐ２，Ｐ３……について画像解析を施し、特徴点を探索する。一連の血管像Ｐ１，Ｐ２，Ｐ３……から特徴点は、それぞれ３つ見つけるものとする。特徴点探索部１１は、これら見つかった特徴点をそれぞれ区別することができる。具体的には、特徴点探索部１１は、血管像Ｐ１に３つの特徴点ａ，ｂ，ｃを見つけたとする。すると、血管像Ｐ２にも３つの特徴点が発見されることになる。血管像Ｐ１と血管像Ｐ２とは経時的に連続して撮影されたものなので、血管像Ｐ１に現れていた特徴点ａ，ｂ，ｃは、血管像Ｐ２が撮影されるまでの間にさほど動けない。したがって、血管像Ｐ２には、血管像Ｐ１の特徴点ａがあった場所の近くに特徴点が現れるはずで、それが特徴点ａに相当するはずである。この様な事情は、他の特徴点ｂ，ｃでも同様である。なお、特徴点探索部１１が発見する特徴点ａ，ｂ，ｃは、画像上において十分に離れており、互いを混同することもない。

特徴点探索部１１は、この様な原理に基づいて、血管像Ｐ１で見つかった特徴点ａ，ｂ，ｃが血管像Ｐ２のどこに位置するかを区別することができる。この様な特徴点の区別を撮影された順に続けていけば、血管像Ｐ１，Ｐ２，Ｐ３……の全てにおいて特徴点の区別を完了させることができる。このように、特徴点探索部１１は、一連の血管像に位置を変えながら共通して写り込んでいる特徴点を複数探索する。

＜重心算出部１２＞
特徴点探索部１１が探索した特徴点ａ，ｂ，ｃの位置情報は、重心算出部１２に送出される。重心算出部１２は、図６に示すように血管像Ｐ１で発見された特徴点ａ，ｂ，ｃを結んでできる三角形の重心Ｇの画像上の位置を算出する。重心算出部１２は、他の血管像Ｐ２，Ｐ３……についても重心Ｇを算出する。このように、重心算出部１２は、血管像上で探索された各特徴点にとっての重心（各特徴点を結んでできる図形の重心）である重心点の位置を一連の血管像Ｐ１，Ｐ２，Ｐ３……ごとに求める。

＜ベクトル群算出部１３＞
特徴点探索部１１が探索した特徴点ａ，ｂ，ｃの位置情報および重心算出部１２が算出した重心Ｇの位置情報は、ベクトル群算出部１３に送出される。ベクトル群算出部１３は、図７に示すように、血管像Ｐ１で発見された特徴点ａ１，ｂ１，ｃ１とこれらにとっての重心Ｇ１を用いて３つのベクトルからなるベクトル群を生成する。１つ目のベクトルは重心Ｇ１を始点とし、特徴点ａ１を終点とするベクトルＧ１ａ１である。２つ目のベクトルは重心Ｇ１を始点とし、特徴点ｂ１を終点とするベクトルＧ１ｂ１である。３つ目のベクトルは重心Ｇ１を始点とし、特徴点ｃ１を終点とするベクトルＧ１ｃ１である。これらを合わせたのが血管像Ｐ１についてのベクトル群である。このベクトル群は、重心Ｇ１を基準とした各特徴点の位置を相対的に表したものとなっている。ベクトル群算出部１３は、同様の動作を他の血管像Ｐ２，Ｐ３……にも行い、他の血管像Ｐ２，Ｐ３……についてのベクトル群も算出する。算出されたベクトル群は図示しない記憶部で記憶される。このように、ベクトル群算出部１３は、血管像上の重心点を基準に特徴点の位置と方向を示すベクトルの算出を各特徴点について行うことで実現されるベクトル群の算出を一連の血管像ごとに行う。

＜＜カテーテルによる冠動脈の施術中に行う動作＞＞
これより、カテーテルによる冠動脈の施術中に行う動作について説明する。

＜透視像動画取得部２０＞
Ｘ線撮影装置で生成された透視像動画は、透視像動画取得部２０に入力される。透視像動画取得部２０は、複数の血管像を取得した後に、被検体を撮影することで得られた透視像動画を取得する構成であり、本発明の現在画像取得手段に相当する。

＜特徴点探索部２１＞
透視像動画は、逐次的に特徴点探索部２１に送出される。透視像動画は、説明の便宜上、Ｘ線撮影装置の全視野のうち、心臓の周辺部に位置づけられるとともに、血管像撮影のときと共通の固定枠内の動画であるものとする。特徴点探索部２１は、透視像動画を構成する各フレームの一番新しく生成された最新フレームＬについて動作する。特徴点探索部２１は、上述の特徴点探索部１１と同様の動作を行う。最新フレームＬは、本発明の現在画像に相当する。最新フレームＬは、被検体内に造影剤を導入しない状態で撮影された放射線画像である。

すなわち、特徴点探索部２１は、透視像動画の最新フレームＬについて画像解析を施し、特徴点を探索する。特徴点探索部２１は、透視像動画の最新フレームＬから互いに十分に離間した特徴点をやはり３つ見つける。特徴点探索部２１は、これら見つかった特徴点をそれぞれ区別することができる。すなわち、特徴点探索部１１の解析により血管像Ｐ１，Ｐ２，Ｐ３……から３つの特徴点ａ，ｂ，ｃが見つかっている。したがって、透視像動画の最新フレームＬのどの当たりに特徴点ａ，ｂ，ｃが現れるか見当を付けることができる。特徴点探索部２１は、この様な原理に基づいて、血管像Ｐ１で見つかった特徴点ａ，ｂ，ｃが透視像動画の最新フレームＬのどこに位置するかを区別することができる。このように、特徴点探索部２１は、一連の血管像上で探索された各特徴点に相当する特徴点の各々を動画の１フレーム上で探索する。

＜重心算出部２２＞
特徴点探索部２１が探索した特徴点ａ，ｂ，ｃの位置情報は、重心算出部２２に送出される。重心算出部２２は、透視像動画の最新フレームＬで発見された特徴点ａ，ｂ，ｃを結んでできる三角形の重心Ｇの画像上の位置を算出する。このように、重心算出部２２は、上述の重心算出部１２と同様の動作を行う。このように、重心算出部２２は、フレーム上で探索された各特徴点にとっての重心（各特徴点を結んでできる図形の重心）である重心点の位置を求める。

＜ベクトル群算出部２３＞
特徴点探索部２１が探索した特徴点ａ，ｂ，ｃの位置情報および重心算出部２２が算出した重心Ｇの位置情報は、ベクトル群算出部２３に送出される。ベクトル群算出部２３は、血管像Ｐ１で発見された特徴点ａ，ｂ，ｃとこれらにとっての重心Ｇを用いて３つのベクトルからなるベクトル群を生成する。１つ目のベクトルは重心Ｇを始点とし、特徴点ａを終点とするベクトルＧａである。２つ目のベクトルは重心Ｇを始点とし、特徴点ａを終点とするベクトルＧｂである。３つ目のベクトルは重心Ｇを始点とし、特徴点ｃを終点とするベクトルＧｃである。これらを合わせたのが血管像Ｐ１についてのベクトル群である。このベクトル群は、重心Ｇを基準とした各特徴点の位置を相対的に表したものとなっている。このように、ベクトル群算出部２３は、上述のベクトル群算出部１３と同様の動作を行う。

図８は、上述の特徴点探索部２１，重心算出部２２，ベクトル群算出部２３の動作を図示したものとなっている。なお、これまでは、血管像をソースとして行った処理を最新フレームＬで繰り返すという動作だったが、ここからは、カテーテルによる冠動脈の施術中でしか行われない動作となる。このように、ベクトル群算出部２３は、フレーム上の重心点を基準に特徴点の位置と方向を示すベクトルの算出を各特徴点について行うことで実現されるベクトル群を算出する。

＜選出部３１＞
ベクトル群算出部２３が算出した透視像動画の最新フレームＬに係るベクトル群は、選出部３１に送出される。選出部３１は、図９に示すように図示しない記憶部に記憶されている血管像Ｐ１，Ｐ２，Ｐ３……に対応する各ベクトル群の中から最新フレームＬに係るベクトル群に最も近いものを選出する。選出方法としては、具体的には、最新フレームＬに係るベクトル群と血管像Ｐ１に係るベクトル群の類似度Ｋを算出し、以降、同じ動作を他の血管像Ｐ２，Ｐ３……に係るベクトル群についても行い、類似度Ｋの最も高いベクトル群を選出するというものである。このように、選出部３１は、一連の血管像に係るベクトル群の中からフレームに係るベクトル群に最も類似したベクトル群を選出する。

血管像Ｐ１についての類似度Ｋ１は、例えば次のように算出できる。

なお、選出部３１は、図９に示すように、血管像Ｐ２に対応するベクトル群を選出したものとして以降の説明を行う。

＜画像重畳部３２＞
選出部３１により選出されたベクトル群はどの血管像に対応するのかを示す情報は、画像重畳部３２に送出される。画像重畳部３２は、図１０に示すように、選出部３１により選出されたベクトル群に対応する血管像Ｐ２を透視像動画の最新フレームＬに重畳させる画像処理を実行する。この際、血管像Ｐ２の重心Ｇ２を最新フレームＬの重心Ｇに平行移動して位置を合わせた上で最新フレームＬに重畳させる。これで図１において説明した血管像の重畳動作が完了したことになる。このように、画像重畳部３２は、選出されたベクトル群に係る血管像をフレームに重畳させる。

各部１１，１２，１３，２１，２２，２３，３１，３２は、画像処理装置が有するＣＰＵが各種プログラムを実行することで実現される。また、これらの各部は、これらを担当する演算装置に分割されて実行してもよい。

＜本発明の効果＞
図１１は、本発明の効果について説明している。いま血管像Ｐｎと最新フレームＬがあったとする。血管像Ｐｎと最新フレームＬには、心臓が最も拡大したときに撮影されたものである。したがって、本来ならば画像重畳部３２により互いに重ねられるはずである。しかし、フレームに写り込む３つの特徴点を見比べるとそう簡単でないことが分かる。一方のフレームに写り込む像は、もう一方には上下左右に平行移動させたような関係となっているからである。この様な現象が起こるのは、被検体が呼吸しているからである。被検体が呼吸すると、全体が上下左右（特に上下）にスクロールするような像の変動が生じるのである。こうして、血管像Ｐｎと最新フレームＬとの間で特徴点の位置がずれてしまっている。であるにも関わらず、これらを一致しているものと判定するように画像処理装置に動作させるのは困難のように思われる。

しかし、本発明によれば、この平行移動の影響を受けずに正しく特徴点の一致の判定を行うことができるのでこの事情について説明する。像が平行移動したということは、特徴点が一挙に一方向に移動したということである。３つの特徴点ａ，ｂ，ｃにとっての重心Ｇもこの移動に伴って移動する。したがって、画像上において特徴点がどのように平行移動しようとも、同じベクトル群が算出されるわけである。ベクトル群は、重心を基準とした各特徴点の相対的な位置関係を意味するからである。本発明の構成によれば、最新フレームＬに対応する血管像の選出は、ベクトル群の類似性を基準に行われるから、血管像の選出に平行移動の影響が加味される余地はないのである。

以上のように、本発明によれば、正確に血管像を透視像に重畳することができる画像処理装置を提供することができる。すなわち、本発明によれば、透視像のフレーム上で探索された各特徴点にとっての重心である重心点を基準に各特徴点の位置と方向を示すベクトル群を算出し、一連の画像に係るベクトル群と比較することでフレームの重ね合わせに適切な画像を一連の画像から選出する構成となっている。このベクトル群は、被検体の呼吸により像が平行移動しても変化しない特性を持っている。したがって、本発明によれば、正確に血管像を透視像に重畳することができる。

続いて、実施例２に係る画像処理装置について説明する。この画像処理装置が行う処理は、大まかには実施例１と同様で図１で説明した通りである。実施例１に係る装置と実施例２に係る装置は構成もよく似ている。図１２は、実施例２に係る装置の構成を示す機能ブロック図である。図１２は実施例１に係る図４によく似ているが、特徴点探索部１１、２１によって特徴点が探索された後に、区画画像取得部１５，２５、パターン認識部２６を備えることが異なる。パターン認識部１５とパターン認識部２５とは、説明の便宜上異なるものとして説明しているが、同じ構成で実現できる。

本実施例の画像処理装置は、多くの特徴点を含む画像を想定している。図１３は、この様な多くの特徴点を含む血管像Ｐ１，Ｐ２，Ｐ３……に対する特徴点探索部１１の動作を説明している。この場合の特徴点探索部１１は、まずは、血管像Ｐ１から多くの特徴点を発見する。そして特徴点探索部１１は、血管像Ｐ２についても特徴点の探索を行い、数多くの特徴点が見つかる。

特徴点探索部１１が探索した特徴点の位置を示す情報は、区画画像取得部１５に送出される。区画画像取得部１５は、図１４に示すように血管像Ｐ１上における特徴点を中心とする矩形の区画を定め、その区画の内部の画素値パターンを抽出する（以下区画画像という）。図１４の血管像Ｐ１には、６つの特徴点ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆがあり、これら特徴点に対応する区画画像の画素値パターンは互いに異なっている。これらの特徴点には、互いに異なる構造体が映し出されているからである。

一方、区画画像取得部２５も、図１５に示すように最新フレームＬ上における特徴点を中心とする区画画像を抽出する。ちなみに、区画画像取得部２５が定める区画は、区画画像取得部１５が定める区画と同じ大きさをしており同じ形状をしている。図１５に示すように、最新フレームＬにも、特徴点探索部２１により発見された６つの特徴点ｐａ，ｐｂ，ｐｃ，ｐｄ，ｐｅ，ｐｆがあり、これら特徴点に対応する区画画像における画素値パターンは互いに異なっている。

ここで、血管像Ｐ１上における各特徴点と、最新フレームＬ上における各特徴点とは位置が異なっている。ただし、各特徴点には、同一の構造体が描出されているため、周期性動作に伴う歪があるものの、画像パターンが共通しているはずである。そこでパターン認識部２６は、最新フレームＬにおけるｐａに対応する区画画像と、血管像Ｐ１における各特徴点に対応する区画画像との類似度を算出することにより、血管像Ｐ１におけるどの特徴点がｐａであるかを特定する。

本実施例によれば、図１６，図１７に示すように、パターン認識部２６により、血管像Ｐ１および最新フレームＬで見つかった特徴点ｐａが、血管像Ｐ１における６つの特徴点のどれなのかを言い当てることができる。この様な事情は、他の特徴点ｐｂ〜ｐｆについても同じである。

特徴点は、例え数が多くても、安定的に存在しているので、血管像Ｐ１，Ｐ２，Ｐ３……に６つの特徴点が見つかれば、最新フレームＬにも特徴点は６つ見つかる。これらフレーム上で見つかった６つの特徴点のうちどれかは血管像Ｐ１で見つかった特徴点ｐａである。本実施例によれば、パターン認識部２５により、最新フレームＬで見つかった６つの特徴点のうちどれが特徴点ｐａなのかを言い当てることができる。この様な事情は、他の特徴点についても同じである。

なお、実施例１同様に、一連の血管像Ｐ１，Ｐ２，Ｐ３……について画像解析を施し、特徴点を探索した後、血管像Ｐ１，Ｐ２，Ｐ３間における特徴点の対応付けを、区画画像によって行ってもよい。

本発明は、上述の実施例に限られず、下記のような変形実施が可能である。

（１）本発明に係る画像処理装置は、放射線撮影装置に搭載することができる。

（２）実施例１における特徴点探索部１１，２１は、３点の特徴点を探索したが本発明はこの構成に限られない。特徴点探索部１１，２１が４点以上の特徴点を探索するように構成してもよい。この構成の場合、特徴点探索部１１，２１より下流の動作を行う各部も４点以上の特徴点に基づいて動作することになる。

（３）実施例１においては、透視像動画を構成する各フレームのうち一番新しく生成された最新フレームＬについて動作していたが、本発明はこの構成に限られない。透視像動画を構成する他のフレームについて動作するようにしてもよい。

（４）実施例２における重心算出部１２，２２は、３点の特徴点を探索したが本発明はこの構成に限られない。重心算出部１２，２２が４点以上の特徴点を探索するように構成してもよい。この構成の場合、重心算出部１２，２２より下流の動作を行う各部も４点以上の特徴点に基づいて動作することになる。

（５）実施例２のパターン認識部１５，２５が用いる区画は、矩形をしており、特徴点が中心に位置していたが、本発明はこの構成に限られない。特徴点が区画の中心になくてもよいし、区画が矩形をしていなくてもよい。

（６）上述の選出部３１は、ベクトル群に基づいて血管像の選出を行っていたが、本発明はこの構成に限られない。すなわち、選出部３１は、血管像のそれぞれにおける各特徴点ａ，ｂ，ｃの周辺の区画画像と、最新フレームにおける特徴点ａ，ｂ，ｃの周辺領域の区画画像との類似度を算出することにより各血管像と最新フレームＬの類似度を算出する構成としてもよい。実施例１，実施例２における血管像の選出は、図９で説明したようなベクトル群の比較によって行われる。一方、本変形例の構成によれば、最新フレームＬの特徴点ａに係る区画画像と、血管像Ｐ１上の特徴点ａに係る区画画像との類似性を判断して評価値を算出する。選出部３１は、この動作を他の特徴点ｂ，ｃについても行い、特徴点ａ，ｂ，ｃに係る評価値を加味して血管像Ｐ１全体についての類似度を算出する。選出部３１は、この動作を他の血管像Ｐ２，Ｐ３……についても行い、全ての血管像に対して類似度を算出する。続いて、選出部３１は、これら類似度に基づいて血管像Ｐ１，Ｐ２，Ｐ３……のうち、どの血管像が最も最新フレームＬに近いのかを判断して、最も近い血管像を選出する。

対応する特徴点を示す構造物の周辺には、同じ構造物が写り込んでいるものの、周期的動作によってその構造物の画像に歪が生じる。従って、同一の構造物の画像でも、各画像には位相により歪み方が異なっている。また、被写体によって、特徴点と共に移動する構造体と、周期的動作によって移動しない構造体とが重畳して特徴点の周囲の区画画像に写り込む場合は、周期的動作によって移動しない構造体の重畳の仕方が異なる場合もありうる。従って、血管像上の特徴点ａ，ｂ，ｃの位置は、図６のような理想通りとならない可能性もある。したがって、特徴点ａ，ｂ，ｃの位置情報に基づいて血管像の選出を行う実施例１の構成に比べ、特徴点ａ，ｂ，ｃの周囲の情報も含めて血管像の選出を行うようにすれば、より精度良く位相を推定することが可能となる。

（７）本発明の過去画像取得手段は、周期性動作を伴う構造体を含む被検体を少なくとも周期性動作の２周期分以上に亘って撮影することで得られた複数の過去画像を取得する構成とすることもできる。この場合の画像重畳部３２は、特定された位相と同位相の複数の過去画像から選択した画像と、前記現在画像とを重畳することになる。

１１ 特徴点探索部（画像上探索手段）
１２ 重心算出部（画像上重心算出手段）
１３ ベクトル群算出部（画像上ベクトル群算出手段）
２１ 特徴点探索部（フレーム上探索手段）
２２ 重心算出部（フレーム上重心算出手段）
２３ ベクトル群算出部（フレーム上ベクトル群算出手段）
３１ 選出部（選出手段）
３２ 画像重畳部（画像重畳手段）

Claims (9)

1. 周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の１周期分に亘って撮影することで得られた複数の過去画像を取得する過去画像取得手段と、
   前記複数の過去画像を取得した後に、前記被検体を撮影することで得られた現在画像を取得する現在画像取得手段と、
   前記複数の過去画像及び前記現在画像のそれぞれについて、複数の特徴点を探索する画像上特徴点探索手段と、
   特徴点群の画像上の位置を示す基準点から前記各特徴点までの距離と、前記基準点から前記各特徴点に向かう方向を前記現在画像と前記各過去画像との間で比較することで、前記現在画像が、前記複数の過去画像のいずれに対応するかを特定することにより、前記現在画像が、前記周期性動作のいずれの位相に位置するかを推定する位相特定手段と
   を有することを特徴とする、画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像上特徴点探索手段は、対象となる画像よりも前の画像との差分画像において前記複数の特徴点を探索することを特徴とする、画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記過去画像は、前記被検体内に造影剤を導入した状態で撮影された放射線画像を含み、
   前記現在画像は、前記被検体内に造影剤を導入しない状態で撮影された放射線画像であって、
   前記画像上特徴点探索手段は、前記過去画像中の造影剤の陰影が位置する部分を避けた領域を探索することを特徴とする、画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記距離は、各特徴点の重心位置から各特徴点までの相対距離であることを特徴とする、画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記位相特定手段は、各特徴点の重心位置から各特徴点へのベクトルにより前記距離および前記方向を比較することを特徴とする、画像処理装置。
6. 請求項１から請求項５の何れかに記載の画像処理装置であって、
   推定された位相に対応する前記過去画像と、前記現在画像とを重畳した画像を生成する画像重畳手段を更に有することを特徴とする、画像処理装置。
7. 請求項１から請求項６の何れかに記載の画像処理装置であって、
   前記過去画像取得手段は、周期性動作を伴う構造体を含む被検体を少なくとも前記周期性動作の２周期分以上に亘って撮影することで得られた複数の過去画像を取得するとともに、前記特定された位相と同位相の複数の過去画像から選択した画像と、前記現在画像とを重畳する画像重畳手段を更に有することを特徴とする、画像処理装置。
8. 請求項１から請求項７の何れかに記載の画像処理装置であって、
   前記複数の特徴点は、３点以上であることを特徴とする、画像処理装置。
9. 請求項１から請求項８の何れかに記載の画像処理装置を備えることを特徴とする、放射線撮影装置。

Images