JP2016507304A - 物体を検出及び追跡するとともに重ね合わせるシステム - Google Patents

Abstract

複数の撮像されるフレームを用いて内腔の線形化されたビューを作成する方法を使用する、物体を検出及び追跡するとともに重ね合わせるシステムが記載される。実際には、内腔は３Ｄの軌道を有するが、視認には２Ｄ投影図のみが利用可能である。線形化されたビューは３Ｄ軌道を明らかにし、したがって、２Ｄ表示で見られるような内腔の軌道上の全ての点の線形化マップを作成する。本発明の１つの形態では、軌道は１次元に沿う線形化された表示として表される。この線形化されたビューは、内腔測定データとも組み合わせられ、その結果が、単一の画像上に同時に表示される。本発明の別の形態では、治療装置の位置が線形化マップにリアルタイムで表示される。この形態の更なる延長では、内腔寸法のプロファイルもこの線形化マップに表示される。【選択図】図３０

Description

本発明は、包括的には血管内医用装置に関する。より詳細には、本発明は、経脈管的に導入されて種々の生理学的パラメータを得るとともに種々の内腔をマッピングするために生理学的パラメータを処理するのに使用される、ガイドワイヤ、カテーテル及び関連の装置に関する。

［関連出願の相互参照］
本願は、２０１３年２月１１日に出願された特許文献１；２０１３年９月１日に出願された特許文献２；及び、２０１３年１２月１１日に出願された特許文献３に対する優先権の利益を主張するものであり、これらの出願はそれぞれ、参照によりその全体が本明細書に援用される。

内腔の寸法を測定するＩＶＵＳ及びＯＣＴワイヤ又はカテーテル等の幾つかの装置がある。これらの装置は、内腔に、対象とする領域の端まで又はその領域を僅かに越えて挿入される。次いで、装置は、内腔の測定が行われる間に、ステッピングモータを用いて引き戻される。これは、内腔に沿う内腔の寸法の「線形」マップの作成を可能にする。通常の表現では、マップのＸ軸は、基準点からの測定点の距離であり、Ｙ軸は、対応する内腔の寸法（例えば断面積又は直径）である。これは、医師が、病変（血管の罹患部分）の長さ、断面積及びプロファイルを確かめることを可能にする。病変の長さ及び断面積はともに、病変の重症度及び可能性のある治療計画を決定するために望ましい。例えば、ステントが展開される場合、ステントの直径は、血管の隣接する非罹患部分の測定された直径によって決まる。ステントの長さは、血管のかなり罹患したセクションの長さによって決まる。

ＩＶＵＳ及びＯＣＴは、病変の長さ及び断面積の良好な推定値を与えるが、１つの問題は、治療が送達されるときに、位置を失うことである。測定がなされた後で、測定装置は後退され、治療装置が内腔に導入される。ステントが罹患部位に正確に位置決めされたか否かを判断する機構は存在しない。測定中に作成される「線形」マップが利用可能であるが、この線形マップではステントのその時点の位置は利用可能ではない。換言すると、得られる情報はＸ線画像と重ね合わせられない。

他の問題は、診断及び治療中にＸ線画像を見るために医師が用いる主な表示が、通常、特定の角度から特定のズーム比で撮った２Ｄ画像であることである。これらの画像は、本来は本質的に３Ｄである構造の投影であるため、見かけの長さ及び軌道は、真実の歪められたバージョンである。例えば、２０ｍｍである血管のセグメントは、そのセグメントの見かけの長さが視野角に依存する。セグメントは、画像平面にある場合、特定の長さであるように見える。セグメントは、画像平面に対して角度をなす場合、より短く見える。これが、Ｘ線画像から実際の長さを正確に判断することを困難にする。その上、動く器官の準周期的な動きにおいて、その動きの間の異なる位相が３Ｄの内腔の異なる構造に対応する。これは更に、準周期的な動きの各位相における異なる２Ｄ投影に対応する。したがって、内腔の線形化され重ね合わせされたマップの作成は、動きの各位相に関して別個に行うことができるか、又は、選択される代表的な位相について行うことができる。選択される代表的な位相の場合、各個々の位相から代表的な位相への内腔の２Ｄ投影のマッピングが必要である。この選択される代表的な位相の場合であっても、心臓の鼓動の選択された位相からの２Ｄ投影が用いられる場合でさえも、動き補償の必要性を回避することが実際には可能ではない。これには幾つかの理由がある。第１に、呼吸等の他の理由からも動きに寄与する。この動きも考慮する必要がある。第２に、画像は離散した時点（例えば１５フレーム／秒）で捕捉されるため、心臓の鼓動の特定の位相の正確な時点で利用可能なフレームがない可能性がある。最も近いフレームを選択すると、重要である可能性があり、補償する必要がある残りの動きを残してしまう。第３に、心臓の鼓動の１つの位相のみを選択すると、心臓の鼓動の特定の位相に関して選択される２つの連続的なフレーム間に大きい時間の空白が生じる。例えば、心拍数が６０拍／分である場合、１秒あたり１フレームのみが処理に用いられる（通常、画像は１５又は３０フレーム／秒で利用可能である）。これは、装置上の動くマーカの追跡を非常に困難にする。

米国仮特許出願第６１／７６３，２７５号 米国仮特許出願第６１／８７２，７４１号 米国仮特許出願第６１／９１４，４６３号 米国仮特許出願第６１／３８３，７４４号 米国特許出願第１３／１５９，２９８号 米国特許出願公開第２０１１／０３０６８６７号 米国特許出願第１３／３０５，６１０号 米国特許出願公開第２０１２／０１０１３５５号 米国特許出願第１３／３０５，６７４号 米国特許出願公開第２０１２／０１０１３６９号 米国特許出願第１３／３０５，６３０号 米国特許出願公開第２０１２／００７１７８２号 ＰＣＴ／ＵＳ２０１２／０３４５５７号 米国特許第８，３７４，６８９号 米国特許出願第６１／６４４，３２９号 ＰＣＴ／ＵＳ２０１３／０３９９９５号 国際公開第２０１３／１６９８１４号 米国特許出願第１３／７０９，３１１号 米国特許出願公開第２０１３／０１２３６９４号 米国特許出願第１３／７６４，４６２号 米国特許出願公開第２０１３−０２２６０２４号 米国特許出願第１３／９４６，８５５号 米国特許出願第１４／０７８，２３７号

したがって、測定される内腔の寸法と治療装置の位置とを重ね合わせることを可能にするシステム、線形マップを複数の撮像されるフレームで作成する方法についての詳細、及び、重ね合わせについての更なる詳細が望まれている。

開示されるのは、複数の画像フレームを用いて身体の内腔の線形化されたビューを作成する効率的な方法である。実際には、内腔は３Ｄの軌道を有するが、視認には２Ｄ投影されたビューのみが利用可能である。線形化されたビューは、この３Ｄ軌道を解明し、したがって、２Ｄ表示において見られるような内腔の軌道上の全ての点についての線形化マップを形成する。本発明の１つの形態では、軌道は、１次元に沿う線形化された表示として表される。この線形化されたビューは内腔測定データとも組み合わせられ、その結果が、分析モードと称される単一の画像に同時に表示される。この動作モードは、ある場合は、病変の境界を一意に定める上でインターベンショナリストを補助し、その位置を特定することができる。分析動作モードはまた、電動の引き戻しの一般的に用いられる技法とは対照的に、腔内装置が挿入されている（又は手動で引き戻される）間に血管を線形化する上で役立つ。本発明の別の形態では、治療装置の位置は、線形化マップにリアルタイムで表示され、これはガイドモードと称される。さらに、内腔寸法のプロファイルもこの線形化マップに表示される。

内腔の種々の寸法を得るための、本明細書において開示される装置、システム及び方法とともに用いることができる装置及び方法の例が、以下：２０１０年９月１７日に出願された特許文献４；２０１１年６月１３日に出願された特許文献５（特許文献６）；２０１１年１１月２８日に出願された特許文献７（特許文献８）；２０１１年１１月２８日に出願された特許文献９（特許文献１０）；２０１１年１１月２８日に出願された特許文献１１（特許文献１２）；及び、２０１２年４月２０日に出願された特許文献１３（米国を指定）において更に詳細に分かる。これらの出願のそれぞれは、その全体が任意の目的で参照により本明細書に援用される。

本発明の他の態様は、アルゴリズムのリアルタイムインプリメンテーションを可能にする、画像処理の複雑さを低減することに取り組む。一態様では、腔内装置の軌道が求められ、将来的なフレームは、捜索範囲を絞り込むように装置の予測位置を用いる。腔内装置の検出及び放射線不透過性マーカの検出を組み合わせて、構成要素のそれぞれのよりロバストな検出をもたらし、より正確な線形化マップを生じる。動きの異なる位相において腔内装置を特定することにより動く器官の動きを補償するのに用いられる方法は新規である。この動き補償はさらに、準周期的な動きの代表的な位相における内腔の線形化され重ね合わせられるマップを生成し、生成されたマップを動きの他の位相に更に伝播させる上で役立つ。最初に、腔内装置の目に見えるセグメントの２つの端、例えばガイドワイヤでは、ガイドカテーテルの先端部及びガイドワイヤの遠位コイルを検出する。次に、腔内装置の異なる部分を、腔内装置に取り付けることができる任意の放射線不透過性マーカとともに検出する。本発明の別の新規の態様は、後続のフレームにおいて装置を検出する上で複雑さを低減するように、以前のフレームのいずれか又は全てから、その時点のフレームに、検出された腔内セグメントをマッピングすることである。腔内装置自体の検出は、捜索領域における全ての可能性のある筒状構造を最初に検出すること、次に、腔内装置を再構成するように平滑度の制約に基づいてそのような構造のサブセットを選択して一緒に接続することに基づく。さらに、ガイドワイヤ上の顕著な構造がより確実に検出され、構造のサブセットを選択するときにより高い加重が与えられる。本発明の別の変形形態では、腔内セグメントのサブセットのみが検出される。これは増分式に行われ、治療に関連する領域のみを検出して線形化することができる。

本発明の別の態様は、心臓の鼓動及び呼吸、カメラ角度の変化又は患者若しくはプラットフォームの物理的な動きに起因する動きを補償することである。線形化されたビューは、上述した動きのいずれに対してもロバストである。これは、内腔の長手方向に沿う顕著な構造又は目印、例えば、ガイドカテーテルの先端部、深部に着座したガイドワイヤセクションの遠位コイル、縁取りされたガイドワイヤの静止部分、静止放射線不透過性マーカ、又は、検討中の内腔に沿う移動する放射線不透過性マーカの最も遠い位置、動脈に沿う分岐等の解剖学的な目印を用いて行われる。線形化マップはこれらの点を基準にして作成される。

本発明の他の態様は、アルゴリズムのリアルタイムインプリメンテーション及び器官の周期的な動きの補償を可能にする画像処理アルゴリズムの複雑さを低減することに取り組む。

本革新の画像処理の態様は、以下に取り組む：
１．撮像装置の出力からのライブ映像、ＥＣＧ及び他の生体信号のタッピング。
２．それらの対象とする領域とともに処理するためにフレームを自動的に選択すること。
３．撮像装置の向き、位置及び倍率が処置中に変えられる場合であっても、腔内装置を追跡すること。
４．脈管の整合性、例えば、心臓インターベンション中に心臓が鼓動する時点における動脈の種々の部分の移動、並びに、脈管のねじれ（脈管の捻転及び曲がり）等の脈管の生物学的特性の定量化。
５．病変視線誘導標の選択。
６．線形化マップを計算するとともに重ね合わせるための腔内装置の動き補償。
７．注入される色素によって動脈がハイライトされているフレームの選択、及び、これらのフレームを用いた動脈径の変化の分析。
８．ＱＣＡとしても知られている自動血管径測定、及び、重ね合わせるためのその使用。
９．互いに離れている装置のマーカ又は端点に基づく内腔軌道の線形化及び３Ｄ再構成。

２Ｄ曲線から線形表現へのマッピングを示す図である。 マーカ及び／又は電極を有するガイドワイヤ並びにカテーテルを示す図である。 湾曲した軌道に配置されているガイドワイヤ又はカテーテルを示す図である。 血管形成術において用いられるガイドカテーテル及びガイドワイヤを示す図である。 冠状動脈内のガイドワイヤに沿う放射線不透過性電極を示す図である。 動脈の線形マップの構成に関与する種々のステップを示すブロック図である。 心臓の鼓動に起因する電極の座標の変化を示す図である。 遠位コイルの検出を示す図である。 ガイドワイヤの検出した端を示す図である。 捜索スペースにおける相関スコアの変化を示す図である。 チューブ可能性の例を示す図である。 先行するフレームからマッピングしたガイドワイヤを示す図である。 ガイドワイヤの特定及び精緻化を示す図である。 スプライン適合後の検出されたガイドワイヤを示す図である。 マーカの固有の構造を考慮するチューブ可能性プロットにおける最高値の検出を示すグラフである。 検出された放射線不透過性マーカを示す図である。 狭窄付近で測定した内腔径及び断面積情報と重ね合わせられた線形化経路を示す図である。 線形マップにおけるカテーテルの位置の表示を示す図である。 エンドユーザに提供する出力とともに種々のモジュールを組み入れるブロック図である。 時間（又はフレーム）に対するＳＳＤの変化を示す図である。 ＳＳＤのヒストグラムを示す図である。 捕捉画像を示す図である。 元の画像にかぶせられる方向性のチューブ尤度メトリックを示す図である（５倍の倍率で示される）。 Ｃアームマシンの線形変換の時点で捕捉したＸ線血管造影処置中の連続的なフレームを示す図である。 変換の種々の可能性のある値のＳＳＤの変化を示す図である。 検出されたガイドワイヤを示す図である。 ガイドワイヤにおける自己ループの例を示す図である。 マーカ検出アルゴリズムのブロック図である。 線形化アルゴリズムのブロック図である。 線形マッピングに用いられる典型的なシステムを示すブロック図である。 心臓の拍動サイクルにわたる内腔軌道の変化の一例を示す図である。 心臓の拍動サイクルの２つの位相にわたってマッピングした内腔軌道の例を示す図である。 線形マッピングに用いられる特定のシステムを示すブロック図である。 ガイドワイヤの目に見える遠位セクションを示すＸ線画像である。 ガイドワイヤが、その最終位置に達する前に動脈の対象とする領域全体を横断することができる方法を示す図である。 ガイドワイヤが、その最終位置に達する前に動脈の対象とする領域全体を横断することができる方法を示す図である。 ガイドワイヤが、その最終位置に達する前に動脈の対象とする領域全体を横断することができる方法を示す図である。 ガイドワイヤが、その最終位置に達する前に動脈の対象とする領域全体を横断することができる方法を示す図である。 ガイドワイヤが、その最終位置に達する前に動脈の対象とする領域全体を横断することができる方法を示す図である。 ガイドワイヤが、その最終位置に達する前に動脈の対象とする領域全体を横断することができる方法を示す図である。 容易に特定されるその先端セクションを有するガイドワイヤのＸ線画像である。 既知の距離だけ離間した２つのマーカを有するバルーンカテーテルの例を示す図である。 血管の軌道に沿って平行移動するときの２つの連続的なフレームにわたるガイドワイヤを示す図である。 連続的なフレームにわたる、軌道上の異なる点を通って移動するときのガイドワイヤを示す図である。 ガイドワイヤの先端セクションが各フレーム間を移動する方法、及び、ピクセル距離とのその関係を示す図である。 ガイドワイヤの先端セクションが各フレーム間を移動する方法、及び、ピクセル距離とのその関係を示す図である。 心臓の鼓動の２つの異なる位相のうちの１つにおけるＣＡＢＧワイヤ及び介入ツールを有する画像を示す図である。 心臓の鼓動の２つの異なる位相のうちの１つにおけるＣＡＢＧワイヤ及び介入ツールを有する画像を示す図である。 Ｃアームマシンの５つの自由度を示す図である。 血管造影図、及び、対象とする動脈の特定されたハイライトされた骨格を示す図である。 血管造影図、及び、対象とする動脈の特定されたハイライトされた骨格を示す図である。 血管造影図、及び、対象とする動脈の特定されたハイライトされた骨格を示す図である。 色素の注入によって血管をハイライトするプロセスを示す図である。 血管経路の骨格化を示す図である。 対象とする動脈をハイライトする血管造影図である。 対象とする動脈をハイライトする血管造影図である。 自動ＱＣＡアルゴリズムのブロック図である。 フライスルービュー生成アルゴリズムのブロック図である。 動作の分析モードに関与する種々のアルゴリズムのブロック図である。 静止血管造影図及びライブ血管造影図に次に重畳される病変の境界を定める例を示す図である。 静止血管造影図及びライブ血管造影図に次に重畳される病変の境界を定める例を示す図である。

ここで、動く器官の内腔の線形化表現に到達するために２Ｄ画像を処理する方法を記載する。提案される方法の説明は、冠状動脈の介入について示される。線形マップは、内腔（又は内腔に挿入されるワイヤ）の湾曲した軌道上の点から、基準点から測定した実際の直線距離へのマッピングである。これは図１に図式１００で示されている。

多くの心臓処置は、ＩＶＵＳ、ＯＣＴ及びＬＦＲ等の内腔評価装置の挿入を伴う（例えば、その全体が任意の目的で参照により本明細書に援用される特許文献１４を参照のこと）。これらの場合のほとんどでは、評価装置の位置を、通常は同様に血管造影画像である、予め捕捉したＸ線画像に重ね合わせる必要がある。この基準画像はまた、通常、血管形成術及びステントの展開等の可能性のある後続の介入処置の間に医師によって用いられる。介入装置の正確な重ね合わせは、ステントの最適な留置に重要である。多くの場合、ステントの展開後に別の処置があり、この場合、拡張が行われる。この処置は、基準フレームにおいて装置の位置を正確に位置合わせすることも必要とする。全てのそのような場合、これらの種々のステップにわたって装置の位置の共通の基準を有する必要がある。このフレームには、全ての以前のステップに対応するパラメータ及び位置が重ねられる。さらに、処置におけるその時点のステップの位置及びパラメータも、リアルタイム又はほぼリアルタイムで正確にマッピング及び追跡される必要がある。これを達成するために、ライブのＸ線上で装置を検出し、次に、心臓の鼓動及び呼吸並びに被験者の他の僅かな動きに起因する動きを補償した後で、基準画像に対して検出した位置をマッピングすることができる方法が必要とされている。別の必要性は、Ｘ線カメラの視野角に対して内腔の軌道が呈する角度（例えば、患者に対するＣアームの動き）、又は、患者が位置決めされるプラットフォームの動き（例えば、患者が配置されるガーニー若しくは手術台の移動）に起因する遠近法効果を補償することである。そのようなステップは、それに従ってプログラミングされる１つ又は複数のプロセッサによって達成することができる。

内腔の線形マッピングのためにこれを達成する１つの方法が、２０１２年５月８日に出願された特許文献１５、及び、２０１３年５月７日に出願された特許文献１６（特許文献１７、米国を指定）に記載されており、これらはそれぞれその全体が任意の目的で参照により本明細書に援用される。典型的なシステムの例が、図２９に示されているブロック図２９００に示されている。Ｘ線マシンからのＸ線ライブ映像を、キャプチャカード等のＩｍａｇｅ Ｇｒａｂｂｅｒハードウェアによって捕捉し、検出、追跡及び重ね合わせするアルゴリズムを実行する画像処理モジュール（ＩＭ）に送ることができる。

なお、血管の幾つかのセクションでは、３Ｄにおける実際の内腔軌道は、画像内で湾曲している可能性がある（すなわち、視認場所に対して角度をなす）。これらの場合、２Ｄ湾曲軌道における内腔の見かけ上は小さいセクションを、線形マップにおいて長い長さにマッピングすることができる。線形マップは、物体が内腔を通って横断するときに内腔の長手方向軸に沿って横断する実際の物理的距離を表現する。

図式２９００に示されているように、Ｘ線マシンからの画像は、Ｉｍａｇｅ Ｇｒａｂｂｅｒによって捕捉されてＩＭに送られる。ＩＭは、アルゴリズムを実行し、ＩＭの結果を使用するクライアントと相互作用する。幾つかの場合、クライアントが一連のステップを制御することを可能にするようにクライアントとＩＭとの間に相互作用があり得る。ユーザは、１つの変形形態ではクライアントのみと相互作用し得る。

セッションの開始準備が整ったとき、ユーザは、相互作用を通じてセッションを開始するように要請され得る。これは通常、ＩＶＵＳを引き戻す前に撮影される血管造影図の直前に行われ、これは、ＩＶＵＳの引き戻しが行われる同じ角度で記録される。この時点で、ユーザの相互作用に２つの可能な選択肢が生じ得る。第１の選択肢では、ユーザは、ＩＭによって提供される画像からガイドカテーテル（ＧＣ）先端部に対して基準を与える。第２の選択肢では、ユーザは、ＧＣ先端部に対して基準を与える必要はない。ＩＭは、開始後に行われる最初の血管造影図を自動的に検出することによってＧＣの先端部を自動的に検出する。この自動的な検出は、一連の画像フレームから得られる幾つかの手掛かりを用いて行われる：
・放射線不透過性色素が一連の画像に迅速に現れる。そのシーケンスにおける以前の画像との比較によって、色素の存在が明らかに示される。特に、心臓の鼓動の同じか又は同様の位相において捕捉された以前のフレームが比較に用いられる場合、差異がよりはっきりと目立つ。
・画像フレームにおいて暗い筒状物体として現れる動脈網。これらは、何もないＸ線画像において通常は存在しない独特の特徴を有する。これらの特徴を選択的に探すことによって、動脈網における色素の存在を、任意の単一の画像フレームにおいて検出することができる。

この血管造影図は次に、ＧＣ先端部の位置を判断するために分析される。１つの方法は、色素が出てくる動脈網の本幹の端を特定することによるものである。この本幹は、次に、特に色素がなくなる将来的なフレームにおいて更に分析される。ＧＣ先端部は、Ｘ線下で見える物体として依然として残る。動脈を通る色素の広がりの時間発展は、ＧＣ先端部を特定するのに用いられる別の手掛かりである。ＧＣ先端部は次に全てのフレームにわたって自動的に追跡される。

代替的には、ＧＣ先端部は、血管造影図を使用することなく自動的に検出することもできる。ガイドカテーテルは独特の筒状構造を有する。筒状構造を強調するようになされる画像強調調整を用いて、類似する構造をハイライトすることができる。画像の背景における任意の筒状構造（例えば肋骨）もそのようなプロセスではハイライトされ得る。心臓の鼓動の異なる位相にわたる動きに関して全てのこれらのハイライトされる構造を分析することが、対象とする物体（ガイドカテーテル）から背景の構造を分離するのに役立つことができる。

次のステップは、ガイドワイヤの先端セクションを検出することである。このセクションは、画像において見える最も目立って見える特徴部であり、良好なロバスト性で検出される。ガイドワイヤの２つの端の位置が確実に見つかった後で、ガイドワイヤの中間セクションを検出して追跡する。ガイドワイヤを検出するのに用いられるアルゴリズムは本質的にロバストである。画像処理アルゴリズムは、ガイドワイヤ形状の物体を判別することができる特徴を選択的に抽出し、したがって、効果的な検出を可能にする。さらに、ガイドワイヤが完全には見えない困難な状況でさえもガイドワイヤ全体のロバストな検出を確実にするために組み込まれる他の機構がある。これらは、ＧＣ先端部及び検出された血管造影図を使用することによって分析されるフレームのセグメントを絞り込むこと、心臓の拍動サイクルの同じ位相において捕捉された過去の蛍光画像を使用すること、ガイドワイヤの軌道に適切なモデル及び物理的な制約を適用すること、並びに、心臓の鼓動に起因する周期的な移動に一致する物体を選択的に探すことを含む。

血管造影の時点で、動脈が明るくなると色素の注入が自動的に検出される。この検出は、動脈経路の分析に付随するアルゴリズムをトリガする。解剖学的な評価が血管造影図に対して行われ、動脈の分岐点及び内腔のプロファイルを含む独特な目印が心臓の鼓動の異なる位相にわたって特定される。これらの目印は、心臓の複数の位相にわたる動脈上の点間の対応が得られる固定点として働く。さらに、軌道の形状は、心臓の拍動サイクルにわたってかなりの程度まで保たれる湾曲、屈曲点等の特性を明らかにする。軌道の端点も既知であり、これらは、ガイドカテーテルの先端部、及び、ガイドワイヤの密な先端セクションの先端セクションの始点である。これらは全て、正確な点の対応を生じるように用いられる。屈曲点、湾曲又は他の独特な特徴（幾何学的な目印）等の解剖学的な目印、独特な幾何学的な特徴及び端点は、心臓の拍動サイクルの各位相について、内腔の軌道における対応する点に直接的にマッピングされる固定点である。他の点は、平滑な遷移を確実にしながら、これらの固定点の周りに内挿される。曲線の形状（例えば、平坦なセクションは平坦なセクションにマッピングされ、湾曲したセクションは湾曲したセクションにマッピングされる）、及び、独特な内腔のプロファイル（例えば、心臓の鼓動の１つの位相において特定された局所病変は他の位相ではその相手方にマッピングされる）も考慮される。これらの目印及び特徴の一例が、心臓の拍動サイクルにわたる内腔軌道の変化を示す図３０の図式３０００に示されている。

点のマッピングの精度は、内腔の軌道を線形化する上で役立つ将来的なステップにおいて装置が挿入される場合に更に高めることができる。この線形化は、動脈の軸に沿う実際の物理的距離に対する遠近法効果によって影響を受ける、観察されるピクセル距離をマッピングする。線形化が挿入される装置に基づいて可能ではない／行われない場合、装置の動きの方向、（分かっている場合）内腔の長手方向に沿う動きの速度に関する情報を、重ね合わせを改善するために更に用いることができる。例えば、引き戻しが既知の一定の速度である場合、これは、平滑度等の適切な制約を課すことによって重ね合わせにおける小さい誤差を補正するのに用いることができる先験的な情報である。さらに、遠近法角度の知識を、さらに厳しい制約に用いることができる。

心臓の拍動サイクルの２つの位相にわたる内腔の軌道上の点をマッピングする例が、図３１の図式３１００に示されている。マッピングされた点の任意の対が血管の生体構造における同じ物理的な位置に対応する。

同様に、心臓の拍動サイクルの隣接する位相に対応する全ての軌道のマップが作成される。マッピングされる点の密度は、用途の必要性によって決まる。

複数の血管造影画像から、動脈及び分岐を最も照明するものを選択し、基準血管造影図としてクライアントに通信する。心臓の拍動サイクルの全ての位相に対応する血管造影画像を、将来的な参照のためにＩＭ内に記憶する。

次のステップにおいて、内腔評価装置を動脈に挿入する。この装置は通常、Ｘ線下で特定可能であり、複数のフレームにわたって検出及び追跡される。多くの場合、検出及び追跡することができる装置上に１つ又は複数の独特なマーカ状特徴部がある。前回のステップにおけるガイドワイヤの検出は、ＩＶＵＳ／ＯＣＴマーカ検出のための捜索スペースを狭める上で大きく役立つ。Ｃアーム又は患者の台の移動及び画像のスケールの変化による何らかの結果として生じる平行移動が推定され、対象とする全ての物体を追跡する上で考慮される。挿入中の装置のマーカの位置の追跡は、動脈の異なる部分における遠近法効果を推定する上で役立ち、それによって、重ね合わせのロバスト性を更に高める。本明細書全体にわたって用いられる場合、「マーカ」とは、Ｘ線、Ｘ線蛍光透視法下等での可視性を高めるために、任意の数の腔内器具又は細長い器具等において通常用いられる放射線不透過性マーカ又はバンドを指すことができるだけではなく、細長い器具内、細長い器具上又は細長い器具に沿う任意のＸ線で観察可能な特徴（例えば、マーカ、バンド、ステント等）も指すことができる。

内腔評価装置の引き戻しを開始すると、ガイドワイヤ及びその上を進む装置が絶えず検出及び追跡される。各画像フレームが、基準血管造影フレームの以前に記録されたセットのうちの１つにマッピングされる。このマッピングは、心臓の拍動サイクルの位相に基づいて行われる。このマッピングは、画像のタイムスタンプと同じタイムスタンプに対応するＥＣＧを用いて行うことができ、このタイムスタンプは次に、その心臓の拍動サイクル内の心臓の鼓動の位相を特定するのに用いられる。マッピングは、ガイドワイヤ及び装置の検出された軌道と、記録されている血管造影基準画像のそれぞれの内腔軌道とを比較することによっても行うことができる。内腔軌道と、基準血管造影フレームのセットに対応する各内腔軌道とを相関させることによって、最も一致する位相が一致位相として選択される。心臓の鼓動のその位相と、クライアントに提供された位相との点の対応は、既に分かっている。これは、クライアントに提供される基準血管造影フレームに対する内腔評価装置の位置のマッピングに用いられる。このマッピングは、装置の引き戻し速度が分かっていること（一様であり、分かっている場合）、並びに、過去及び将来のフレームからの未加工の結果を使用することに基づいて更に精緻化される。装置の挿入中の推定される遠近法は、マッピングを改善するために考慮される付加的な因子である。最終的な精緻化されたマッピングは、評価装置の重ね合わせられた位置としてクライアントに送られる。

ここで、心臓の拍動サイクルの間の変化を捕捉するのに十分に高いフレームレート（例えば、１５ｆｐｓ又は３０ｆｐｓ）で記録する必要があるのは血管造影図のみであることに留意されたい。これは現行方式に一致する。しかし、内腔の評価を行う場合はより低いフレームレートで記録を行うことができる。例えば、フレームレートは１ｆｐｓであり得る。この低いフレームレートが、多くの場合に、基準血管造影図と比較して位相が非常に異なるフレームを生成するとしても、既に確立されている点の対応を使用して基準血管造影図に対して位置をマッピングすることが依然として可能である。この低いフレームレートは、患者が暴露される放射線の量を低減することを可能にし、これは非常に望ましい。代替的には、低いフレームレートはＥＣＧゲーティングすることができ、これは、心臓の拍動サイクルの特定の位相のみにおける捕捉を可能にする。基準血管造影図も同じ位相で記録され、基準血管造影図に位置を登録することを容易にする。

前述の節は、一定の引き戻しを用いるたいていの内腔評価装置の重ね合わせ方法に言及するものである。同じ原理を、引き戻しが一様ではない場合にも適用可能である。同じ原理を、ステントの展開等の治療手技にも適用可能である。

呼吸に起因する動きは、心臓の拍動サイクルに起因する動きと比較して大幅に小さい。これは、複数回の動物実験の際に観察された。呼吸に起因する動きは以下の成分から構成されると考えることができる；ａ）全体的な平行移動、ｂ）視認平面に対して垂直な軸の周りの全体的な回転、ｃ）視認平面にある軸の周りの全体的な回転、及びｄ）脈管の軌道における歪み。これらのうち、視認平面にある軸の周りの全体的な回転及び脈管の軌道における歪みは、重ね合わせにおける有意でない残余誤差を与え、本発明のアルゴリズムによって部分的にのみ対処される。アルゴリズムは、全体的な平行移動及び視認平面に対して垂直な軸の周りの全体的な回転を十分に考慮し、これらは、推定及び補正されるアフィン変換である。

図３２に示されているように、上述した方法を使用する１つの特定の実施態様が図３２の図式３２００に示されている。この例では、前述したように、Ｘ線ライブ映像が、キャプチャカード等の例えばＩｍａｇｅ ＧｒａｂｂｅｒＨＷによって捕捉され、重ね合わせアルゴリズムを実行する撮像モジュールに送られる。この場合、ガイドカテーテル及びガイドワイヤは既に配置されているものとすることができる。

線形マッピング及び重ね合わせ方法は、従来の（２Ｄ）冠状動脈血管造影における以下の腔内器具のいずれか１つを使用する処置において適用可能である：
１．本明細書において上記で開示したような放射線不透過性及び／又はマーカである活性電極を有するガイドワイヤ。
２．標準的なガイドワイヤとともに用いられる、本明細書において上記で開示したような放射線不透過性である電極を有するカテーテル。
３．標準的な血管形成術、前拡張又は放射線不透過性マーカを含むステント送達カテーテルとともに用いられる標準的なガイドワイヤ。
４．（Ｘ線画像において特定することができる）少なくとも１つの放射線不透過性要素を有する任意のカテーテル（ＩＶＵＳ、ＯＣＴ、ＥＰカテーテル）、ガイドワイヤ又は他の腔内装置。

上記で述べた装置とは別に、標準的なガイドワイヤのみを用いて、冠状動脈コンピュータ断層撮影（３Ｄ）血管造影画像及び二方向血管造影画像において線形マップを得るために同様の手法を使用することもできる。治療計画、ステント留置並びに前拡張及び後拡張中にリアルタイムで更なる心臓インターベンションをガイドするために線形マップの生成を後で使用することができる。線形マップの生成は、ＱＣＡを用いて若しくは多周波数電気的励起を使用して測定される内腔断面積測定の重ね合わせ、又は、任意の他の撮像（ＩＶＵＳ、ＯＣＴ、ＮＩＲ）、若しくは、パラメータをＸ線と重ね合わせる必要がある内腔パラメータ測定装置によって使用することもできる。標準的なガイドワイヤ及びカテーテル、並びに、付加的な電極及び／又はマーカを有するガイドワイヤ及びカテーテルは、本文書の残りでは腔内装置と称される。同様に前述したように、マーカは、腔内装置又は任意の細長い器具内、上又はそれらに沿う任意のＸ線で観察可能な特徴（例えばマーカ、バンド、ステント等）を指すことができる。

マーカ及び／又は電極を有するガイドワイヤ並びにカテーテルの構成
図２は、図示のような活性電極及びマーカを有するガイドワイヤ２００及びカテーテル２０２の構成を示している。間隔及びサイズは必ずしも一様ではない。マーカ及び電極は任意選択的な構成要素である。例えば、幾つかの実施形態では、活性電極のみが含まれることができる。他の実施形態では、マーカ又はマーカのサブセットのみが含まれることができる。ガイドワイヤ２００は、活性電極又はマーカを有しない場合、標準的なガイドワイヤと同様である。マーカ又は電極がなくても、ガイドワイヤは依然としてＸ線画像において見える。標準的なガイドワイヤの遠位端におけるコイル細片は、Ｘ線画像において更によりはっきりと見えるようにする材料から作られる。カテーテル２０２は、活性電極を有しない場合、バルーン内に２つの放射線不透過性マーカ（又は不活性電極）を有する標準的なバルーンカテーテルと同様である。

マーカ／電極の幾何学的形状、位置、数及びサイズ並びにそれらの間の間隔に関して、図示の構成に対して幾つかの変更及び変形が可能である。線形化に活性電極を使用することとは別に、ガイドワイヤ２００及びカテーテル２０２は、必ずしも電極ではない複数の放射線不透過性マーカを有して構成することができる。ガイドワイヤの放射線不透過性マーカが図２に示されている。放射線不透過性マーカは、活性電極の近位側又は遠位側に配置することができる。放射線不透過性マーカは、活性電極の双方の側に配置することもできるか、又は、動脈経路の線形化のために活性電極に取って代わることができる。電極の近位側にあるマーカがガイドカテーテル先端部の位置からガイドワイヤが深部に着座する点までの領域全体にわたる場合、線形化は、準周期的な動きの各位相に関して独立して行うことができる。しかし、そのような構成は、他の装置又は対象とする領域に多くの場合に視覚的に干渉するため、介入中には多くの場合に望ましくない。したがって、低減されたセットのマーカが多くの場合に望ましい。これらとは別に、可能なガイドワイヤの別の構成は、本質的に放射線不透過性及び非放射線不透過性であり、必ずしも一様である必要はない正確な長さの交互のストリップで縞模様にされるガイドワイヤの遠位コイルセクションを作ることである。これらの提案される変更は、独立して、又は、動脈経路線形化のために任意の組み合わせで一緒に用いることができる。標準的なガイドワイヤの遠位放射線不透過性コイルセクション（縞模様にされることなく）も、動脈の線形化マップの概算の推定を得るために使用することができる。この推定は、入力ビデオのフレームレートが増大するにつれてより正確になる。これらの変形は全て予見され、本発明の範囲内にある。

腔内装置は、動脈に挿入されると、動脈の輪郭に追従する。この状況においてワイヤの２Ｄスナップショットが撮影される場合、見る視点に応じて電極の間隔、サイズ及び形状が変化する。例えば、ワイヤが視認者から離れるように曲がる場合、マーカ間の間隔は狭まるように見える。これは、図３に示されている湾曲したワイヤ３００によって示されている。

種々の使用事例の説明
このサブセクションは、線形化マップの生成が臨床的に重要である種々の使用事例について記載する。

線形化を、マーカ及び電極を有するガイドワイヤを使用して又は標準的なガイドワイヤを使用して行う場合、線形化マップを、（病変、分岐等といった）解剖学的な目印と内腔の測定値との重ね合わせに使用することができる。

そのような重ね合わせは幾つかの目的を果たすことができる：
１．病変等の対象とする地点を次に血管造影図に再び重畳することができる。
２．（ステントカテーテル、バルーンカテーテル等の）他の治療装置を対象とする領域までガイドすることができる。
３．代替的には、重ね合わせられる動脈に沿う任意の装置の前進を、治療をガイドするように線形の図に表示することができる。

標準的なガイドワイヤが、マーカ／電極からなるカテーテルとともに使用され、カテーテル内のマーカ又は電極が前拡張中に線形化に使用される場合、全ての更なる介入にコンピュータ支援介入補助を提供することができる。これは、線形化マップが放射線不透過性バルーンマーカを含む標準的なカテーテルを使用して生成される場合であっても適用される。線形化されると、患者に固有の動脈マップを、その動脈における患者の他の将来的な介入にも使用することができる。

医用撮像装置からライブビデオ出力、ＥＣＧ及び他の生体信号を得ること
図１８は、エンドユーザに提供される出力とともに、本発明の種々のモジュールの細部のブロック図１８００を提示する。種々のモジュールのそれぞれは本明細書において更に詳細に記載する。ＤＩＣＯＭ（医療におけるデジタル撮像及び通信）は、医用撮像において情報を取り扱い、記憶し、送信する規格である。しかし、ＤＩＣＯＭは一般的にオフライン処理に利用可能である。本発明において提案されるシステムの場合、インターベンショナリストが使用する表示装置上で見えるようなライブビデオデータが必要とされる。このために、医用撮像装置の出力又は表示装置に入力される信号が複製される。表示装置へのビデオ入力はデジタル又はアナログであるものとすることができる。ビデオ入力は、ＮＴＳＣ、ＰＡＬ、順次複合ビデオ、ＶＧＡ（例えばＶＧＡ、スーパーＶＧＡ、ＷＵＸＧＡ、ＷＱＸＧＡ、ＱＸＧＡ）によってサポートされる幾つかの変化／解像度のうちの１つ、ＤＶＩ、インターレース方式の若しくは順次複合ビデオ等のような、インターレース方式の複合ビデオフォーマットであるものとすることができるか、又は、独自仕様であるものとすることができる。ビデオフォーマットは、標準的なフォーマットである場合、ＢＮＣ、ＲＣＡ、ＶＧＡ、ＤＶＩ、ｓビデオ等のような多種多様なコネクタを通じて送ることができる。そのような場合、ビデオスプリッタがコネクタに接続される。スプリッタの１つの出力は従来通り表示装置に接続され、他の出力は更なる処理に使用される。ビデオ出力が独自仕様のフォーマットである場合、表示装置の出力を捕捉するために専用の外部カメラが設定され、その出力は上述したタイプのコネクタのうちの１つを使用して送られる。次に、フレーム取り込みハードウェアを使用して、カメラの出力又はビデオスプリッタの第２の出力を一連の画像として捕捉する。フレーム取り込み器は、ビデオ入力を捕捉し、（必要であれば）デジタル化し、そのデータのデジタルバージョンを、ＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）、シリアルポート等のような利用可能なポートのうちの１つを通じてコンピュータに送る。

医用撮像装置を用いた画像捕捉中の２つの連続するフレーム間の時間間隔（及びしたがってビデオのフレームレート）は、必ずしもディスプレイに送られる時間間隔と同じである必要はない。例えば、心臓インターベンションのカテーテル検査室で使用されるＣアームマシンの幾つかは、１５及び３０フレーム／秒で画像を取得する機能を有するが、ＶＧＡ出力で利用可能なビデオのフレームレートは７５Ｈｚもの高さであり得る。そのような場合、更なる処理のために全てのフレームをコンピュータに送ることが不必要であるだけではなく非効率的でもある。複製フレームの検出は、アナログビデオ信号（利用可能である場合）又はデジタル化信号に対して行うことができる。

アナログ領域における複製フレームを検出するために、以前のフレームとその時点のフレームとを比較することを、遅延線を使用して行うことができる。アナログ遅延線は、直列に接続される電気部品のネットワークであり、この場合、各個々の素子は、その入力信号とその出力信号との間に時間差又は相変化を生じる。遅延線は、対象とする周波数帯域における単一ゲインに近いように設計しなければならず、単一のフレームの持続時間の群遅延に等しい群遅延を有する。アナログ信号は、遅延線を通過すると、コンパレータを使用してその時点のフレームと比較することができる。コンパレータは、２つの信号を比較する装置であり、その出力を切り換え、より大きい方を示す。コンパレータの双極出力は、タンク回路等の累算器に送る前に、二乗回路を通じて又は（単極信号に変換するために）整流器を通じて送ることができる。タンク回路は、異なる出力を蓄積する。フレーム間の差は、閾値よりも小さい場合、複製フレームとしてマークし、破棄することができる。そうでなければ、デジタル化してコンピュータに送ることができる。

本発明の実施態様では、デジタル複製フレーム検出器を使用した。以前のフレームを、その時点のフレームと、２つのフレーム間の差の二乗和（ＳＳＤ）を計算することによって比較する。代替的には、差の絶対和（ＳＡＤ）も使用することができる。フレームを選択及び拒絶するための閾値の選択も、適合させる必要がある。閾値は、異なるＸ線マシンでは異なり得る。閾値は、異なる時点では同じＸ線マシンであっても異なり得る。閾値に基づいてフレームを選択及び拒絶することは、２クラス分類問題である。任意の２クラス分類器をこの目的で使用することができる。本発明の実施態様では、ＳＳＤ又はＳＡＤのヒストグラムが通常は二峰性ヒストグラムであるという所見を利用することを選択する。１つのモードは元のフレームのセットに対応する。他方のモードは複製フレームのセットに対応する。選択された閾値は、級内分散と級間分散との比を最小化した。

実験目的で、１５フレーム／秒のビデオを、６０フレーム／秒で表示した。図１９は、表示装置のアナログビデオ出力をデジタル化した後で計算した平均ＳＳＤ値の変化のプロット１９００を示している。図１９から、ＳＳＤ値が４フレーム毎に極大値を有することが分かる。図２０は、２つのモード間に明らかなギャップを有するＳＳＤの二峰性ヒストグラム２０００を示している。

提案されるシステムの本発明の実施態様では、複製フレームの検出後のビデオは、ハードウェア捕捉ボックスからの出力として送られる。これは図１８において見られるような出力番号７である。

他方で、生体信号は利用しやすい。ＥＣＧ出力は例えば通常はフォノジャックコネクタから来る。この信号は次いで、適切なアナログ−デジタル変換器を使用してデジタルフォーマットに変換され、処理システムに送られる。

自動フレーム及び対象とする選択の領域
画像のライブ映像を処理する間、全てのフレームが有用というわけではない。効果的なデータ選択アルゴリズムが、対象とする画像及び領域を自動的に選択させる。ＤＩＣＯＭ画像とは異なり、ライブ映像データは多くの場合に幾つかのタグが埋め込まれている。例えば、図２１は、心臓インターベンションカテーテル法検査室から捕捉された典型的なライブ映像データ２１００を示している。強度に基づく対象とする領域の選択が、更なる処理のための適切な領域を選択するのに用いられる。

同様に、介入中に、医用撮像装置は全ての時点において必ずしも必要ではない。実際には、ＣアームＸ線マシンを使用する心臓インターベンション中、放射線は断続的にしかオンにされない。そのような場合、ライブ映像コネクタにおける出力は、ブランク画像であるか又は極めてノイズが多い画像である。自動フレーム選択アルゴリズムは、ソフトウェアが、更なる分析のために入って来るフレームを処理することを自動的に切り換えること又は全く処理することなくフレームを捨てることを可能にする。

腔内装置の追跡は、図１８において述べたように、また本明細書において上記で援用した共有される多くの特許及び特許出願にも開示されているように、初期化、ガイドワイヤ検出及び放射線不透過性マーカ検出をカバーする。

アルゴリズムの説明
血管造影検査において使用されるガイドワイヤ、ガイドカテーテル及びカテーテルが図４の蛍光透視像４００に示されている。ガイドワイヤ及びガイドカテーテル４００は、ガイドワイヤをカテーテルから前進させることができる方法を示して更に示されている。冠状動脈内のガイドワイヤ上の放射線不透過性マーカの図５００が図５に示されている。

本明細書において記載するアルゴリズムは、低減されたマーカのセットによって内腔を線形化するためのものである。動脈の全長にわたるマーカは、このシナリオの特別なケースとみなすことができる。動脈経路の線形化という目的を達成するために、本発明では腔内装置の放射線不透過性マーカ（ガイドワイヤ及びカテーテル内の活性電極又はバルーンマーカ）を検出し、心臓の鼓動の異なる位相を通じて複数のフレームにわたって追跡する。次に、動脈内を電極が進む距離を測定するために、遡及的動き補償アルゴリズムを使用して、心臓の鼓動及び呼吸の影響を排除する。測定された距離（ピクセル）は、冠状動脈の幾何学的形状の線形化マップを生成するために物理的距離（例えばｍｍ）に変換される。図６は、関与するステップの概略のブロック図６００を示している。

これらのタスクのそれぞれを達成する上での課題を以下で記載する。マーカの放射線不透過性によって、マーカは血管造影画像において際立って見えるようになる。エッジ検出器、対象点検出器、テンプレートマッチング、ハフ変換ベースの方法等の幾つかの方法を使用して電極を個々に検出することができる。しかし、ペースメーカのリード線及び冠状動脈バイパスグラフトワイヤ等のような他の放射線不透過性物体の存在におけるロバスト性を維持することが困難なタスクである。

撮像されたフレームにおいて観察される動きに起因して、画像における電極の座標は、腔内装置が静止したままに保たれる場合であっても、必ずしも一定のままである必要はない。撮像されたフレームにおいて観察される動きは、以下の：撮像装置における平行移動、ズーム又は回転変化；心臓の鼓動及び呼吸に起因する動き；被験者又は被験者が位置決めされる台の物理的な動きである、同時に生じるものの１つ又は複数の結果であり得ることに留意されたい。図７は、ガイドワイヤが静止しているときの心臓の鼓動の異なる位相における２つのマーカの位置の変化を示すチャート７００を示している。

電極の動きを補償するために、遡及的動き補正又は動き予測戦略を使用することができる。しかし、画像ベースの動き補正アルゴリズムは通常、計算上高価であり、リアルタイム用途では好適ではない可能性がある。本発明の実施態様では、ガイドワイヤを特定するために画像をセグメント化する。１つの実施形態では、動き補正にガイドワイヤ全体が使用され、一方で、別の実施形態では、対象とする領域におけるガイドワイヤの一部のみが動き補正に使用される。

このプロセスにおいて、ガイドワイヤは、この項で後述するように全てのフレームにおいて検出される。マーカ及び電極も、ある場合にはこのプロセスにおいて検出される。ガイドワイヤがロバストに検出されると、ガイドワイヤシステム（ガイドワイヤ及びガイドワイヤが運び得る任意のカテーテル）上の既知の基準点が隣接する画像フレーム間で照合され、それによって、フレーム間の心臓の鼓動に起因する動きを判断して補正する。これらの基準点は、ガイドワイヤ上の端点、ガイドカテーテルの先端部、又は、ガイドワイヤの遠位の放射線不透過性セクション、又は、腔内器具の手動の挿入若しくは後退に起因して長手方向に大きくは移動しなかった任意のマーカ、又は、動脈における分岐等の任意の解剖学的な目印であり得る。ガイドワイヤマーカが線形化に使用される場合、これらのマーカは定義によると内腔の長手方向に沿って静止しておらず、したがって目印点として使用されるべきではない。

カテーテルの軌道はガイドワイヤの軌道と同等であるため、ガイドワイヤに適用可能な動き補償はカテーテルにも同様に適用可能である。なお、カテーテルは実際には、手動の挿入又は後退の手技に起因してガイドワイヤにわたって移動する可能性がある。したがって、カテーテルマーカは、カテーテルが静止していないときには動き補償には使用されるべきではない。実際には、動き補償の後で、非静止腔内装置上のマーカの移動を追跡して内腔内の装置の位置を判断する。

１つのフレーム内のガイドワイヤのセグメント化は、後続のフレームにおける捜索領域を絞り込むことを可能にする。これは、マーカを局所化し、ペースメーカのリード線等の異物の存在における局所化をロバストにするために捜索スペースを縮小することを可能にする。しかし、ガイドワイヤ全体の検出自体は、困難なタスクであり、マーカは通常、ガイドワイヤにおいて最も目立つ構造である。したがって、本発明の手法は、電極の検出及びガイドワイヤのセグメント化を２つのインターリーブプロセスとみなす。マーカ及びガイドワイヤは一緒に又は繰り返し検出され、更なる改善を達成することができなくなるまで、各繰り返しによって検出及び特定の精度を高める。

ガイドワイヤ推定によって達成される動き補償は、計算量を低減し、そのような用途のリアルタイムの必要性を考慮するために使用することができる。しかし、この項において前述したように、画像ベースの動き補償又は動き予測戦略を使用して、専用の高速計算装置を使用することによって同じ目的を達成することができる。結果として生じる動き補償されたデータ（ガイドワイヤベースの動き補償の場合の腔内装置の位置；画像ベースの動き補償の場合の画像（複数の場合もあり））を使用して、内腔の長手方向軸に沿う腔内装置／マーカの平行移動を計算することができる。この計算された情報を、腔内装置に明確なマークを付けるか又は付けることなく、アニメーション又は一連の動き補償された撮像フレームとしてインターベンショナリストに更に視覚的に提示することができる。マーカ及び他の腔内装置の位置情報も静止画像に重畳することができる。

ガイドワイヤセグメント化のアルゴリズム及び全てのフレームにわたる電極検出のアルゴリズムを本明細書において更に詳細に記載する。さらに、隣接するフレームにおけるガイドワイヤ間の点対応を見つけることによる動き補償のアルゴリズムを、線形マップ生成の前に説明する。

ガイドワイヤセグメント化及び電極の局所化
１つの方法では、ガイドワイヤセグメント化のための本発明の手法は４つの主な部分を含む：
１．ガイドワイヤの端点の確実な検出。
２．画像における筒状物体の強調。
３．２つの端点間の最適経路の検出。この場合、最適性は、曲線の連続性及び筒状構造を通したその横断に基づく。
４．ガイドワイヤ近傍におけるマーカの局所化、及び、検出されたマーカに基づくガイドワイヤセグメント化の再推定。

ガイドワイヤの端点の検出
ガイドワイヤの端点の検出は、ガイドカテーテル先端部及び放射線不透過性ガイドワイヤ細片等の、画像内の既知の実質的な物体を検出することを含む。これらの基準物体はガイドワイヤの端点を画定する。パターンマッチングに基づく物体局所化アルゴリズム（ＯＬＡ）を使用して、フレームにおけるそのような物体の位置を特定する。本発明の１つの実施形態では、ユーザは、ガイドカテーテルの先端部又は先端部の近傍にある位置で画像をクリックすることによりガイドカテーテルの先端部を手動で特定することによって介入する。これは、ガイドカテーテル先端部の特定の２Ｄ投影を検出するようにＯＬＡを訓練するために行われる。他の実施形態では、ガイドカテーテルの先端部は手動の介入なく検出される。ここで、ＯＬＡは、ガイドカテーテルの先端部と類似する形状を探すようにプログラミングされる。ＯＬＡは、ガイドカテーテルの先端部のサンプルを使用して訓練することができるか、又は、形状パラメータをパラメータとしてアルゴリズムにプログラミングすることができる。また別の実施形態では、ガイドカテーテルの先端部は、ガイドカテーテルが適所に近づくにつれて一連の画像を分析することによって検出される。ガイドカテーテルは、一連の画像において内腔を通して長手方向に移動する最も重要な部分である。ガイドカテーテルはまた、画像において容易に検出される独特の構造を有する。移動するガイドカテーテルは特定され、ガイドカテーテルの放射線不透過性先端部は、カテーテルの前端として特定される。また別の実施形態では、ガイドカテーテルの先端部は、前述したように内腔周波数測定において使用される電極がガイドカテーテルから血管に移動するときに検出される。電極によって測定されるインピーダンスの変化は、大きく変化し、これがガイドカテーテルの検出を助ける。ガイドカテーテルは、介入中の色素の注入に基づいて検出することもできる。

ガイドカテーテルの放射線不透過性先端部は、ガイドワイヤの一端をマークする位置を表す。ガイドカテーテルの先端部は画像フレーム毎に検出する必要がある。心臓の鼓動に起因して画像において観察される動きに起因して、異なるフレームにおける対応する位置の場所が大幅に変化する。強度相関に基づくテンプレートマッチング手法は、後続のフレームにおける訓練されたガイドカテーテル先端部と最も類似する構造を検出するのに使用される。検出する手順は、ガイドカテーテル先端部の種々の２Ｄ投影を局所化するように物体局所化アルゴリズムを訓練することによっても自動化することができる。自動化された検出及びユーザとの相互作用に基づく検出の双方は、Ｃアームマシンによる取得角度が変化するか、又はズーム比（台からのＣアームの高さ）が変化する場合であっても、ガイドカテーテルを検出するように訓練することができる。線形化のプロセスを通じて、ガイドカテーテル先端部は物理的に動かないものと仮定される。この仮定は、血管の分岐の位置等の全ての解剖学的な目印によってガイドカテーテル先端部の距離を計算することによって周期的に検証される。心臓の鼓動に起因する動きを考慮した後であっても変化が大きい場合は、移動距離を推定し、更なる処理において補償する。対象とする血管の分岐の位置を特定することを、本明細書において更に記載する。

放射線不透過性であるガイドワイヤの先端部は、そのグレーレベル値に基づいてセグメント化される。ガイドカテーテルの放射線不透過性先端部は、特定することができるガイドワイヤセクションの一端を表す位置を表す。

ガイドカテーテルの先端部を特定した後で、次のステップは、特定する必要があるガイドワイヤの他端を表すガイドワイヤの放射線不透過性コイル細片を特定することである。幾つかの状況では、ガイドカテーテルは、ガイドワイヤがガイドカテーテルの遠位端を通して挿入される前に検出される。そのような状況では、ガイドワイヤの遠位端における放射線不透過性コイル細片は、フレーム毎にガイドカテーテル先端部の周りの窓を連続的に分析することによって、ガイドカテーテル先端部から出るときに自動的に検出される。他の状況（他の実施形態）では、ガイドワイヤの遠位放射線不透過性コイル細片はユーザの介入によって特定される。ユーザは、ガイドワイヤのコイル細片の近位端（ガイドワイヤのコアに接続される端）の近傍における点を（例えばマウスのクリックによって）選択することが要求される。また別の実施形態では、ガイドワイヤの遠位端は、その際立って見える筒状構造及び低いグレーレベル強度に基づいて検出される。

ガイドワイヤの放射線不透過性コイル細片はＸ線においてしっかりと見えるため、放射線不透過性遠位端を検出するのは比較的容易である。画像のグレーレベルヒストグラムが作成される。構成されたヒストグラムに基づいて閾値が自動的に選択される。選択された閾値未満の値を有するピクセルが、潜在的なコイル細片領域としてマークされる。マークされたピクセルは、次に、互いの接続性に関して分析される。マークされたピクセルの島（完全に接続された領域）が、ガイドワイヤコイルセクションの潜在的なセグメント化結果を表す。島のそれぞれは、（構成するピクセルの接続性に基づいて）特徴的な形状を有する。潜在的なセグメント化領域は、固有の形状の面積、偏心度、外周等のような種々の形状をベースとする基準に基づいて幾つかの領域を排除することによって縮小され、潜在的なセグメント化領域のリストが更新される。最も高い筒尤度メトリックを有する領域が、ガイドワイヤコイルセクションとして選択される。コイルセクションが特定されると、コイルセクション上の任意の点から開始して、全ての方向における捜索を行い、コイル細片の２つの端点を検出する。以前のフレームにおいて対応する点のものに又はガイドカテーテル先端部のものから最も近い端点を選択する。これは、ガイドワイヤセグメント化のために特定する必要があるガイドワイヤの第２の端点を表す。遠位コイルの検出結果が図８の画像８００に示されている。２つの端点が検出されている。これらのうち、ユーザによって選択された点に近い方の点が第１の画像フレームにおいて選択される。

心臓の鼓動に起因して画像において観察される動きに起因して、異なるフレームにおける対応する位置の場所は大きく変化する。したがって、ガイドカテーテル先端部及びガイドワイヤコイル細片の近位端の位置はフレーム毎に大きく変わる。全ての後続のフレームにおけるガイドワイヤの端点を検出するために、最初のフレームにおいて検出された点の周りの領域を選択する。選択された領域のグレーレベル強度をテンプレートとみなす。後続のフレームにおいて検出される座標の周りの比較的大きい領域において２Ｄ相関を行う。相関スコアが極大値に達する位置を、後続のフレームにおけるガイドワイヤの端点として選択する。全体の極大値が十分に「有意」ではない場合、幾つかの候補点を選択する。以前のフレームと、同一の位相内のその時点のフレームからフレームのガイドカテーテル点の距離である、全ての候補点であるが、幾つかの以前の心臓の鼓動との間の動きを計算する。結果として生じる最適な点は、これらの距離関数の組み合わせを最小限に抑える。ガイドワイヤをセグメント化するアルゴリズムは、ガイドワイヤに構造的に似る筒状のアーチファクトを拒絶するために初期推定値として検出された端点を使用する。ガイドワイヤセグメント化手順は、端点の位置の推定値も精緻化する。

ガイドカテーテルの先端部の検出結果が、ガイドワイヤの一端におけるテンプレートマッチングに基づく先端部、及び、他端におけるガイドワイヤ放射線不透過性コイルのマークされた先端部を有する、局所化されたガイドカテーテル９００を示す図９（ａ）に示されている。図９（ｂ）は、相関スコアの変化、及び、ガイドカテーテルの先端部の局所化に使用される一意の全体の極大値の存在をグラフに描くチャート９０２を示している。

ガイドワイヤ９００の端点の位置は、Ｃアームマシンによる取得角度が変化するか、又は、ズーム比（台からのＣアームの高さ）が変化すると大きく変化する。そのような状況では、以前のフレームからの端点情報は再推定に使用することができない。ユーザに、対応する位置における点を再び尋ねることができるか、又は、この項で前述したように以前のフレームからの入力を必要とすることなく端点を検出するように設計されている自動アルゴリズムを使用することができる。Ｃアームの角度変化の検出は、相関ベースの検出等の任意の場面変化検出アルゴリズムに基づいて行うことができる。これは、以前のフレームに対するその時点のフレームの相関を測定することによって行う。相関が閾値よりも小さい場合、その画像は、更に角度の変化によって生じるものと大幅に異なると言える。角度の変化は、（図２１において見られるような）捕捉されたライブ映像画像の角のうちの１つにおいて利用可能な角度情報を追跡することによっても検出することができる。

対象とする物体の強調
対象とする特定の物体を強調するための幾つかの手法を文献において見出すことができる。対象とする物体が筒状構造に似ている１つの実施形態では、筒状構造をハイライトすることに固有の画像強調技法が使用される。一般的に使用されるメトリックのうちの幾つかはフランジの血管性メトリック及び筒検出フィルタである。介入ツールが筒状構造に似ていない別の実施形態では、対象とする物体の幾何学的形状に特有の画像強調技法が使用される。インプリメンテーションを実証するために、本発明では、画像における筒状物体を強調するようにフランジの血管性測定基準を使用する。しかし、同様の目的を果たす任意の代替的な方法をその代わりとして使用することができる。フランジの筒尤度の式では、Ｔ（ｘ）は：

として規定され、式中、λ_１及びλ_２は、

であって、

であるように検討中の画像のヘッセ行列の固有値である。

ヘッセ行列は、画像の二次導関数行列である。画像における各ピクセルＰ（ｘ，ｙ）に関して、２×２行列

によって定義されるような４つの二次導関数がある。

値α及びβは、加重係数であり、最適な結果を生じるように実験的に選択される。

筒状物体の強調１０００の結果が図１０に示されている（より白い値が筒状構造の一部である可能性がより高いピクセルに対応し；より暗い値が、より低い可能性を示す）。このように得られる筒尤度メトリックは方向性のないメトリックである。腔内装置の経路を検出するために、筒尤度メトリックの主方向が場合によっては有益な情報である。主方向の情報を得るために、ヘッセ行列の固有ベクトルを使用する。図２２は、画像のピクセルに重ねられた固有ベクトルを表す元の画像に重ねられた方向性の筒尤度メトリック２２００を示している。

最適経路の検出
Ｃアーム位置の線形平行移動が生じるか又はズーム比（台からのＣアームの高さ）が変化する場合、その動きを推定することができる。この推定は、その時点のフレームに対して以前のフレームを分析すること、及び、画像のピクセル間の差の二乗和（ＳＳＤ）又は差の絶対和（ＳＡＤ）等のメトリックを計算することに基づく。ＳＳＤ又はＳＡＤは、連続するフレーム間の平行移動及びズーム変化の幾つかの可能な組み合わせに関して計算され、最小のＳＳＤ／ＳＡＤを有するフレームが、平行移動及びズームの正確な解として選択される。例えば、図２３は、２つの連続するフレーム２３００、２３０２を示しており、２つのフレーム２３００、２３０２間では僅かな平行移動がある（ズーム比の変化はない）。ＳＳＤ値は、双方の方向に−４０〜＋４０ピクセル変化する、広範な可能性のある平行移動に関して計算される。図２４は、様々な可能性のある平行移動に関するＳＳＤ値の変化を示すグラフ２４００を示している。極小値は、１つの方向（Ｘ軸）に４ピクセル及び他の方向（Ｙ軸）に沿って１２ピクセルの平行移動の場合に得られる。

少量のＣアーム角度の変化は、場合によっては、平行移動及びズーム変化の組み合わせによって近似化することができる。このために、平行移動からの回転とズーム変化とを区別することが必須になる。画像のライブ映像を処理する間、平行移動は通常、途切れなく見えるが、一方で、小さくはあるが或る角度だけ回転することは、目的角度に達するまでライブ映像を幾らかの時間「フリーズ」させる。事実上、ライブ映像ビデオは、平行移動の遷移状態も含み、一方で、回転中には最初及び最後の視野角のみが見える。遷移状態が回転においても利用可能である稀な場合、ライブ映像ビデオ２１００（図２１における左下の角）において見えるようなＣアームの角度の検出を使用してこの区別を行うことができる。

ガイドワイヤ検出
ガイドワイヤの端点が分かり、筒尤度を画像の各ピクセルに関して計算した後で、ガイドワイヤの描写は、非負加重のグラフ理論最短経路問題になる。より具体的には、画像における画像ピクセルがノードであり、２つのピクセルを接続するエッジが頂点であり、各頂点の加重はその点において筒尤度に反比例すると考えると、ガイドワイヤセグメント化アルゴリズムは、最小経路距離を有する経路を見つけるものと書き換えることができる。検討中の加重が負ではないため、コンピュータ視覚の分野において非常に良く知られているダイクストラ法又はライブワイヤセグメント化をこの目的で使用することができる。

代替的には、セグメント化問題は、部分的に検出されるガイドワイヤのエッジ及び筒尤度を使用するガイドワイヤの端点間のエッジ連結とみなすこともできる。同様の結果を得るためにアクティブ形状モデル、アクティブ輪郭又は勾配ベクトルフローも使用することができる。

本発明の実施態様では、ガイドワイヤをセグメント化及び追跡するためにダイクストラ法の変更バージョンを使用する。インプリメントされるダイクストラ法は、始点から検討中のピクセルまでの経路において以前のピクセルに対して幾らかの加重を与えることによって、検出される曲線の平滑度に対処する。最適経路の捜索は、（初期化ステップにおいて検出されるような）双方の端点が処理されると停止される。図２５は、そのようなアルゴリズムによって検出されたガイドワイヤ２５００をハイライトしている。このアルゴリズムは、異なる血管に同時に挿入される複数の腔内装置を追跡するのにも使用することができる。代替的には、通常のダイクストラ法を使用してガイドワイヤを検出及び追跡することができ、ガイドワイヤが検出された後で、別個の平滑化関数を適用して平滑なガイドワイヤを得ることができる。

幾つかの実際のシナリオでは、ガイドカテーテル先端部及びガイドワイヤ先端部は、心臓の鼓動に起因してフレームの内外に動く可能性がある。そのような場合（端点のうちの少なくとも一方が見える）、変更されたダイクストラ法が端点のうちの一方から開始される。端点のうちの一方はフレーム外にあるため、最適経路検出アルゴリズムに対する疑似端点が画像内の境界ピクセルのうちの１つである。最適経路の捜索は、画像内の全ての境界ピクセルが処理されるまで続けられる。（心臓の鼓動の同じ位相において）以前に検出したガイドワイヤに最も近い経路が最適経路として選択される。

双方の端点が見える間にガイドワイヤのセクションがフレームの外側に出る可能性もある。そのような場合、一方の端点のみが見えると仮定して（上述した戦略に基づいて）、変更ダイクストラ法を双方の端点から開始する。双方の端点の結果が組み合わせられ、部分的に欠如したガイドワイヤ経路を、ガイドワイヤの連続性が欠如領域において変化しないと仮定して再構成することができる。

ガイドワイヤの３Ｄ経路の２Ｄ投影が自己ループを形成するまた別の場合、変更ダイクストラ法を使用して、ループが存在しない経路を検出する。ガイドワイヤの経路の変化が急である点では、別個の領域ベースのセグメント化技法を用いてガイドワイヤにおけるループを検出する。例えば、本発明の実施態様では、高速マーチングベースのレベル設定アルゴリズムを使用して、ガイドワイヤにおけるループを検出する。アルゴリズムのこの部分は、ガイドワイヤ方向の目に見える急激な変化がある場合にのみ始動される。図２６は、自己ループ２６００がガイドワイヤに形成されて示されているそのような使用例のシナリオの例を示している。

ダイクストラ法の捜索スペースはまた、幾つかの前回の心臓の鼓動において同じ位相で検出されたガイドワイヤに対するピクセルの近さに基づいて制限される。心臓の鼓動の位相は、ＥＣＧ、又は、患者から得られる血圧、血流、冠血流予備量比、生体インピーダンス等の電気刺激に対する反応の測定等の、心臓の鼓動と連携する他の測定パラメータを分析することによって得ることができる。

本発明の実施態様では、心臓の鼓動の位相のＥＣＧベースの検出を使用した。これは、Ｐ波及びＴ波の開始及び終了、Ｐ波及びＴ波の極大値、ＰＱセグメント及びＳＴセグメントにおける等しい間隔、ＱＲＳ群における極大値及び極小値等の、ＥＣＧにおける有意な構造を検出することによって行われる。処理中のフレームがＥＣＧ信号においてＰ波が開始する時点に対応する場合、ガイドワイヤ検出の捜索スペースを制限するために、Ｐ波の幾つかの以前の開始からのフレームを選択し、それらの対応するガイドワイヤ検出結果を使用する。心臓の鼓動の同じ位相に対応するフレームは常にガイドワイヤの類似する形状に対応する必要はない。これは、心臓の鼓動に起因する動きとは別に、ビデオにおいて見える被験者の呼吸の影響もあることに起因する。呼吸に起因する動きは通常、心臓の鼓動に起因する動きと比較して極めて遅い。この理由から、選択されたフレームに対して画像処理ベースの検証を行う。ガイドワイヤの地理的な位置（初期化中に検出される端点を位置合わせした後）がその時点のフレームにおける有意に高い筒尤度メトリックに対応する、全てのフレームが、捜索スペースの縮小に有効なフレームとして選択され、（心臓の鼓動の同じ位相に属するが、筒尤度基準をパスしない。段落の残りでは「無効な」フレームと称される）他のフレームは破棄される。別の実施形態では、上記で定義したような全ての「無効な」フレームに対して呼吸の補償が行われる。「有効な」フレームにおいて検出されたガイドワイヤの平均が計算され、基準ガイドワイヤとしてマークされる。「無効な」フレームにおける検出されたガイドワイヤと基準ガイドワイヤとの点対応は、本明細書において更に説明するように計算される。この点対応は事実上、心臓の鼓動の幾つかの位相における呼吸に起因する動きを無効化する。このプロセスは、呼吸に起因する動きから心臓の鼓動に起因する動きを分離するため、これを更に使用して被験者の呼吸パターンを調べることができる：
・以前のフレームにおけるガイドワイヤの位置及び形状の情報は、その時点のフレームにおけるガイドワイヤの捜索範囲を絞り込むことを可能にする。
・対象とする領域におけるピクセルに関してその時点のフレームで計算される筒尤度メトリック。
・ガイドカテーテル先端部及びガイドワイヤの放射線不透過性遠位部分に基づいて検出される、その時点のフレームにおけるガイドワイヤの端点。

ガイドワイヤを検出する捜索範囲を狭めるために、以前のフレームにおいて検出されたガイドワイヤが、その時点のフレームにマッピングされる。ガイドワイヤの端点はその時点のフレームについては分かっているため、以前のフレームのガイドワイヤは、端点が一致するように回転、スケーリング及び平行移動される（ＲＳＴ）。したがって、以前のフレームからのガイドワイヤの位置合わせされた画像１１００が、図１１に示されているようにその時点のフレームにマッピングされる。

存在するガイドワイヤを見つける捜索スペースは、以前のフレームからの初期化を考慮すると大きく縮小されることに留意することができる。ガイドワイヤの位置の予測は、心臓の鼓動に起因する軌道の変化の周期性を考慮する場合により良好にすることができる。しかしこれは必須のステップではなく、各フレームは、以前のフレームのガイドワイヤのいかなる知識も用いることなく個々に検出することができる。心臓の鼓動の１つの完全な位相の後のガイドワイヤの検出は、心臓の鼓動の以前のサイクルの対応する位相において検出されたガイドワイヤを考慮することができる。心臓の鼓動は周期的であり、呼吸サイクルは通常ははるかに少ない頻度で観察されるため、捜索スペースをまた更に縮小することができる。心臓の鼓動の同じ位相は、介入中に患者から得られるＥＣＧ又は他の生体信号を使用して検出することができる。分析にバイタルサインが利用可能ではない場合、捜索スペースを大幅に縮小するために画像処理技法を使用することができる。相当な時間量にわたる腔内装置の経路の分析は、移動がかなり周期的であることを示す。その時点のフレームにおける高い筒尤度メトリックの領域に近いガイドワイヤを有するフレームを選択することによって、捜索スペースを選ぶために正確なフレームを選択する可能性が高くなる。かなりの程度まで、カルマンフィルタリング等の予測フィルタによっても正確なフレームを選択することができる。これは、ガイドワイヤの２Ｄ形状を観察するとともに経時にわたるガイドワイヤの類似する形状の反復を監視することによって行われる。より正確な結果のためにこれらの２つの手法の組み合わせを使用することができる。

図１０において明らかなように、複数の不連続なエッジが実際のガイドワイヤに沿って存在する。検出されたガイドワイヤの連続的な精緻化の結果が図１２に示されている一連の画像に示されている。示されている精緻化は、曲線の連続性を維持することに基づく。この図では、図１２（Ａ）の画像１２００は、処理される未加工画像である。図１２（Ｂ）の画像１２０２は、画像に関して計算された筒尤度メトリックである。１〜６の番号が付されている図１２の画像１２０４は、連続的な精緻化によるガイドワイヤ上の点の特定を表す。最終的な画像（画像６）は、ガイドワイヤ上の点の最終的な特定を表す。次に、３次スプライン適合を使用して、図１３に示されているように外れ値を削除して平滑な曲線１３００に適合する。ノイズが多いデータにおける直接スプライン適合の結果として不所望の発振が生じる。したがって、本発明の実施態様では、自由度が低下したスプライン適合を使用した。

放射線不透過性マーカ検出及びガイドワイヤの再推定
本質的に筒状であるマーカが多くの場合に高い筒尤度メトリックに関連付けられる。したがって、電極を局所化するために、ガイドワイヤに沿うＴ（ｘ）値を考慮し、Ｔ（ｘ）値における多数の極大値を検出する。コンテキスト情報も使用してマーカを検出することができる。本発明の目的が、既知のバルーン寸法、例えば１６ｍｍ長のバルーンのバルーンマーカを検出することである場合、検出されるガイドワイヤ上のマーカの捜索は、近似距離（ピクセル）を組み込むことができる。したがって、マーカの検出はもはや個々のマーカの独立した検出のままではない。内腔周波数反応に使用される放射線不透過性電極等の近くに配置されるマーカの検出も、電極の固有の構造に基づいて一緒に行うことができる。図１４は、ガイドワイヤ上の点の筒尤度値のプロット１４００を示している。そのようなプロットにおける有意な極大値は通常、潜在的な放射線不透過性マーカの位置である。このプロット１４００は、検討中のマーカの固有の構造を検出する手順も示している。

マーカは腔内装置において極めて目立つ構造であるため、推定されるマーカの位置は、ガイドワイヤの検出された経路が検出されたマーカの中心と一致しない場合により信頼性が高いと考えられる。そのような場合、加重スプライン適合アルゴリズムを用いてガイドワイヤのより良い推定値に至るが、この場合、マーカには、ガイドワイヤにおける他の点と比較して有意により高い加重が与えられる。これは、強い特徴を有するマーカがガイドワイヤのコアよりも確実に検出されるためである。図１５は、画像において検出されたマーカ１５００を示している。図２７は、マーカ検出アルゴリズムの様々なブロックを示すブロック図２７００を示している。マーカの位置は、種々のモジュールを、エンドユーザに提供する出力とともに組み入れるブロック図の例を示す図１８において見られるように出力番号５である。

これまでの説明では、ガイドワイヤ全体がＸ線画像において見えると仮定した。しかし、幾つかの状況では、ガイドワイヤはＸ線画像でははっきりと見えない。これは、Ｘ線画像の質が悪いこと、低強度の放射線レベルが使用されることに起因するか、又は、ガイドワイヤ自体の材料に起因し得る。これらの場合、ガイドワイヤ上の（腔内装置におけるマーカの位置に対応する）非常に僅かな点が筒尤度メトリックマップに現れる。ガイドカテーテル先端部は付加的な基準点として使用することができる。そのような状況では、確実に検出される点（マーカ及びガイドカテーテル先端部）間の経路のみがその時点のフレームを使用して推定される。前述の項において説明したような動き補償アルゴリズムを次に部分的なガイドワイヤセクションに適用する。マーカが動脈に沿って長手方向に移動すると、ガイドワイヤのより多くのセグメントが推定される。推定されるガイドワイヤセグメントの情報は、後続のフレーム及び以前のフレームの双方に伝搬される。これは、ガイドワイヤの経路を形成するためにマーカが移動してマーカの軌道の情報を使用するときに、ガイドワイヤのより大きいセグメントを漸進的に検出する上で役立つ。このプロセスは、専らマーカが進む点までガイドワイヤ経路を形成する（したがって後に線形マップを作成する）上で役立つ。しかし、マーカ（カテーテルの活性電極／バルーンマーカ）が通常は少なくとも狭窄が生じる点まで占めるため、線形経路の部分的な生成が、治療計画及び他の介入の補助には十分である。

自動的なセグメント化／局所化のための捜索スペースの縮小
介入ツール（例えば、ガイドカテーテル先端部、ガイドワイヤ先端部、ガイドワイヤ）の自動的なセグメント化／局所化のための捜索スペースの縮小は、将来的な又は過去の血管造影図に基づくものとすることができる。ガイドワイヤ、又は、ステントカテーテル、ＩＶＵＳカテーテル等の介入器具のセグメント化及び検出は、連続的に必要とされる。これには、Ｘ線のより低い質、画像における他の同様の特徴の存在、器具の特定のセクションの消失、及び、画像の広いエリアを探すという計算上の複雑さを含む多くの課題がある。これらの課題の幾つか又は全てを軽減するために、血管造影図を使用することができる。

血管造影図の画像処理分析は、種々の動脈経路をもたらし、そこから、対象とする動脈経路が求められる。対象とする動脈経路を囲む小さい局所化された領域が、対象とする器具の捜索領域として選択される。この縮小された捜索領域は、過った検出につながる可能性がある他の目立った特徴を排除するため、精度を高める。この縮小された捜索領域は、より小さい捜索スペースのため、効率も高める。

ガイドワイヤ等の介入ツールの形状は、被験者の心臓の鼓動及び呼吸とともに変化する。捜索スペースの縮小は、選択された血管造影図が同じ心臓の鼓動及び呼吸の位相に属する場合に最良である。しかし、他の呼吸及び心臓の鼓動の位相からの血管造影図も、検出目的で捜索スペースを縮小するために使用することができる。さらに、心臓の拍動サイクルに起因する動きを補償する必要がある。このために、心臓の拍動サイクルの同じ位相に対応する血管造影画像が検討される。呼吸を補償する必要もある。これは、血管造影図を用いることなく通常は確実に検出される２つの端点、すなわち、ガイドカテーテルの先端部及びガイドワイヤの遠位放射線不透過性セクションを、これらの端点が血管造影図の特定された動脈経路上にあるように平行移動及び回転変換することによって血管造影図と合致させることにより達成される。

なお、幾つかの場合、血管造影図は器具が挿入された後で記録される。そのような場合、器具の検出は、血管造影図を記録した後で行うことができる。一連の事象に対する制限はない。

時間にわたる同時最適化を用いたガイドワイヤセグメント化
ガイドワイヤ又は同様の腔内器具のセグメント化は、Ｘ線におけるコントラストが十分に高くない状況では困難である。幾つかの場合、器具はほとんど見えず、器具の幾つかのセクションは完全に見えない可能性がある。心臓の拍動サイクル中に、器具は移動して形状を変え、これが多くの場合に、ガイドワイヤの異なるセクションが異なる画像フレームにおいて見えることにつながる。したがって、単一のＸ線画像においてガイドワイヤについての十分な検出可能な情報がない可能性があるとしても、ロバストな検出を行うために一連の画像にわたって利用可能な十分な情報があり得る。これは、例えば、ガイドワイヤの形状の平滑さ、及び、血管造影図によって示される位置からの逸脱、並びに／又は、連続的な画像フレーム間の変化に対する制約があるガイドワイヤのモデルを使用して行うことができる。時間にわたってガイドワイヤモデルに結合して適合する最適化プログラムは、以下の基準を使用し、時間にわたって最適な検出されるガイドワイヤを選択する前に適切に加重する：
・各フレームにおいてガイドワイヤの一部である可能性が高いセグメントとの適合。
・フレーム内のモデルの平滑度。これはパラメトリック（例えばスプライン適合）又はノンパラメトリックであるものとすることができ、この場合、その一次導関数、二次導関数及びより高次の導関数に関してモデルの局所的な平滑度に対して制約がある。
・フレームにわたるモデルガイドワイヤの逸脱に対する制約。
・心臓の拍動サイクルの同じ位相における対応する血管造影図からの各フレームにおけるモデルワイヤの逸脱に対する制約。

制約は、加重ペナルティとして課すことができ、各画像フレームの全体的な最適なモデルが選択される。この結果、ガイドワイヤを各画像フレームにおいて独立して検出することと比較して、全てのフレームにおけるガイドワイヤの検出はより正確になる。

色素の注入の検出
注入される色素は通常、ガイドカテーテル先端部を通して対象とする血管に入る。先端部がアルゴリズムによって自動的に追跡される場合、検出されないまま進む場合の色素の存在によって、ガイドカテーテル検出の完全に異様な結果となる。図４４は、画像４４００において、心臓インターベンション中に動脈に注入される色素を示している。ガイドカテーテル先端部における特徴的なパターンが、画像４４０２に示されているように色素が注入されると完全に失われることが分かる。

色素が注入されたか否かを画像分析によって検出するために、ガイドカテーテル先端部の周りの領域を選択し、平均グレーレベル強度の急激な降下に関して連続的に監視する。降下は、検出されると、大きい筒状構造をハイライトするために、同じ領域の周りの筒尤度メトリックを計算することによって確認される。その領域の周りの筒尤度メトリックの高い値の存在は、色素を検出するための確認として捉えられる。

ガイドカテーテル先端部は、明るくされる脈管のセグメント化のための良好な始点も提供する。文献においては、種々の複合種子点選択アルゴリズムが存在する。ガイドカテーテル先端部を追跡することによって、色素の注入の自動的な検出及び明るくされた脈管のセグメント化が可能となる。理論上は、検出されたガイドワイヤ、放射線不透過性マーカ、検出された病変、又は、対象とする脈管において検出された任意の有意な構造を、脈管の自動的なセグメント化又は色素注入の自動的な検出のための種子点として使用することができる。流体を圧送するために使用される器具にセンサを接続することによっても自動的に検出することができる。そのようなセンサは、色素が注入されたことを示す信号を送信することができる。そのような信号の送信の時間に基づいて、またその時間を受信したビデオフレームのタイムスタンプと比較することによって、色素の検出を行うことができる。

血管経路の骨格
動脈経路の骨格化を、色素を注入した後で複数の方法で行うことができる。領域拡張法、形態操作の前のウォーターシェッドセグメント化、中間軸変換の前の血管度メトリックベースのセグメント化は、適用することができるアルゴリズムのうちの幾つかである。本発明の実施態様では、色素によってハイライトされる領域を更に強調するために血管度メトリックを使用する。血管経路の骨格化を示す図４５の隣接する画像４５００において見られるように、単純な閾値化ベースの操作を使用して、高い筒状値のピクセルを白に変換し、残りを黒に変換する。閾値の選択は、更なる処理のために対象とする領域を選択することを可能にする重要なステップである。本発明では適合閾値選択戦略を使用する。この後に、接続された構成要素のラベリングが続き、これは、ガイドカテーテル先端部付近の領域を接続する白いピクセルの最大の島を選択することを可能にする。中間軸変換は単一ピクセルの幅の血管経路出力を与える。分岐も、ある場合には、この操作を使用してハイライトされる。かなり大きい分岐が分離される任意の点が、検出された骨格における各点の近傍を分析することによって検出される。分岐の位置は、図１８において見られるように出力番号４であり、ガイドカテーテルの有意な移動を補償するために解剖学的な目印として使用される。

ガイドワイヤ／ガイドワイヤ先端部の検出に基づく対象とする動脈の選択
介入中に撮影される心臓領域の蛍光透視像では、ガイドカテーテルの先端部及びガイドワイヤの遠位の放射線不透過性セクションがはっきりと見える。これらは、自動的に、又は、或る程度のユーザの補助によって検出することができる。いずれの場合も、検出された位置の対は、医師が対象とする冠状動脈経路の端点を示す。これらの端点を血管造影図の静止画像と併せて使用することで、対象とする動脈経路の全範囲を、ユーザによる補助を全く用いることなく自動的に特定することができる。代替的には、ガイドワイヤの付加的なセクションを特定する場合、ガイドカテーテルの先端部を検出することさえもなく、動脈経路を自動的に検出するのに利用可能な十分な情報がある。これらのステップは以下のように要約することができる：
１．ガイドワイヤが挿入されている蛍光透視像において、ガイドカテーテル先端部、ガイドワイヤの遠位の放射線不透過性セクションを、既に開示されている方法を使用して特定する。代替的には、ガイドワイヤの少なくともサブセットを検出する。
２．医師が使用するために基準血管造影図を選択する。これは、本開示において後に開示される方法を使用して自動的に、手動で又は当該技術分野において既知の他の手段によって選択することができる。
３．既に開示した画像処理アルゴリズムを使用して、注入される色素によって明るくされる種々の分岐網をセグメント化するために血管造影画像を処理する。これは、対象とし得る全ての可能性のある動脈経路（候補経路）ももたらす。
４．ステップ１において特定した位置のサブセットを、以前のステップにおいて特定した候補経路に合致させ、最も合致する経路を対象とする動脈経路として選択する。
５．任意選択的に、アルゴリズムの精度及びロバスト性を高めるために、検出された血管造影図又はガイドワイヤ／ガイドカテーテルセクションに対して、心臓の鼓動及び呼吸に起因する動きの補償を行う。

図４３Ａは、血管造影中の未加工のフレーム４３００を示しており、一方で、図４３Ｂは、特定されたハイライトされた領域／動脈の骨格４３０２を示している。図４３Ｃは、動脈におけるガイドワイヤ先端部の検出に基づく、対象とする動脈の選択された骨格４３０４を示している。これを用いて、ＱＣＡアルゴリズムとして既知の任意の画像ベースの内腔推定アルゴリズムをトリガすることができる。

静止基準血管造影図の選択
静止血管造影図の選択は、ｉ）Ｘ線の質、ｉｉ）ハイライトされる対象とする動脈のパーセンテージ、ｉｉｉ）分岐の長さに基づくことができる。色素を注入した後でＸ線を記録するときに、結果として生じる血管造影図は、色素が消える前に画像の幾つかのフレームにわたって続く。通常、医師は、基準血管造影図として用いる１つの特定の画像を決定する前に全ての候補の画像フレームをレビューする。この方法は、アルゴリズムを用いて自動化することができる。最適な画像を決定するときに検討すべき要因は以下である：
１．Ｘ線の質：これは、画像に存在するコントラストを分析することによって判断される。画像の平坦なセクションにおけるノイズ分析も行う。より高いコントラスト及びより低いノイズを有する画像が好ましい。代替的に、Ｘ線の質は、ライブビデオ又はＤＩＣＯＭタグにおいて示されるような放射線強度に基づいて測定することもできる。
２．Ｘ線画像においてハイライトされる対象とする動脈経路の範囲：対象とする動脈経路は、各候補の画像フレームにおいて手動で又は自動的に特定することができる。各候補画像は、動脈経路の様々な範囲をハイライトし、様々な程度のコントラストによる放射線不透過性色素を有することができる。対象とする動脈経路をより強くかつ十分にハイライトする画像フレームが好ましい。
３．分岐の長さ：念のため、対象とする動脈を十分にハイライトする複数のフレームがあり、分岐を含む全体的な動脈樹構造を十分にハイライトするフレームを選択する。

図４６Ａ及び図４６Ｂの双方は、対象とする動脈をハイライトする血管造影図を示している。図４６Ａは、対象とする動脈を部分的にハイライトしており（４６００）、一方で、図４６Ｂは動脈を全体的にハイライトしている（４６０２）。前述したパラメータに関して一連の画像を分析することによって、４６０２の画像を静止血管造影図として選択する。これとは別に、電動の引き戻し又はステントの展開中の介入ツールの重ね合わせ等の特定の目的で静止血管造影図が選択される場合、他の要因も静止血管造影図の選択に影響を与える可能性がある。例えば、ＩＶＵＳカテーテルの電動の引き戻し中のＥＣＧゲーティングＸ線モードでは、Ｘ線をオンにする段階が、静止血管造影図の選択に影響を与え得る。

放射線不透過性色素は腎臓に有害であることが分かっているため、処置中に注入される色素の量を最小限に抑えることが望ましい。動脈全体がハイライトされる選択された候補フレームに基づいて、少量のその時点で注入される量に関して、対象とする動脈をハイライトするのに必要とされる色素の最小の量を評価することができる。これは、注入される色素の量を、患者の動脈において行われるその時点及び将来的な介入を含む全ての更なる注入に関して最小限に抑えることができるように、インターベンショナリストに連絡し戻すことができる。さらに、病変が、過去の血管造影図を分析することによって血管造影図において手動でマークされる場合、動脈全体ではなく、対象とする動脈における病変をハイライトするのに必要な色素の最小の量に関する決定を行うことができる。これは、注入される色素の量を更に減らすことができる。

血管径の測定
検出された骨格の両側において、（その位置における接線の方向に対して垂直に）法線を引く。法線の方向に沿って、グレーレベル強度の導関数を計算する。骨格の両側における高い値の導関数を有する点を、血管境界の「可能性が高い」候補点として選択する。骨格に単一の点の場合、輪郭の両側において複数の「可能性が高い」点を選択する。次に、同時最適化アルゴリズムを用いて、輪郭の連続性を中断することなく、検出された境界の輪郭を、可能な限りの高可能性点を通過させることができる。代替的に、最大確率点のみを境界点として選択し、検出された輪郭において「急激な」不所望の変化がないように、２Ｄ平滑化曲線適合アルゴリズムを検出された境界に適用することもできる。これは、セグメント化手順において外れ値を除くために行われる。

通常の使用例のシナリオでは、注入される色素は脈管内を徐々に進む。Ｘ線において漸進的により多くの脈管が明るくされる。そのような場合、脈管の幾つかの部分をビデオの異なるフレームにおいて明るくすることができる。同じフレームにおいて脈管全体を明るくすることは必須ではない。そのような場合、上述した同時最適化アルゴリズムを、複数のフレームに容易に拡大することができる。動脈の類似する部分が複数のフレームにおいて明るくされる場合、同時最適化及び推定の結果として、直径がよりロバストに推定される。本明細書において前述した点ベースの対応アルゴリズムに基づいて、解剖学的な目印を用いて動脈の類似する部分を検出することができる。図４７には自動ＱＣＡアルゴリズムを示すブロック図４７００が同様に示されている。

骨格における特定の点の法線に沿う２つの対応する点間の距離によって、血管の直径が与えられる。法線の両側に沿う半径の差は、骨格の両側における何らかの異常に小さい半径に対する着想を与える。これはさらに、どちらの側に病変が存在するかを検出する上で役立つ。血管に沿う異なる場所におけるマーカの位置は、存在する場合、ピクセルからミリメートルに自動ＱＣＡ結果を変換することを助ける上で用いることができる。これらが存在しない場合、ガイドカテーテル先端部の直径を変換の基準として用いることができる。血管のＱＣＡ結果は、単一の２Ｄ投影において有効であるため、専ら直径の近似推定値として働く。血管のＱＣＡ結果は、ＯＣＴ、ＩＶＵＳ又は本明細書において説明するもののような任意の内腔径推定アルゴリズムの良好な開始点として作用することができる。これは、図１８において見られるような出力番号１である。ＱＣＡ推定は、後述するように、良好な点対応を得るための特徴として用いることもできる。

内腔径の推定は、血管の線形化されたビューと重ね合わせられると、血管の長手方向に沿う病変の位置に関する着想を与える。しかし、直径のみを有する歪曲した病変の表現は、場合によっては誤解を招く可能性がある。内腔に沿う左右の半径の推定は、重ね合わせられる内腔の断面積／直径のデータを視覚的に正確に表す上で役立つ。代替的に、線形化技法で生成されるような均等目盛りを、正確に描出された血管と画像上で重ね合わせ、ＱＣＡ及び線形化されたビューを一緒に表すことができる。

複数の２Ｄ投影において自動ＱＣＡを計算する場合、（本明細書において説明するように）血管内腔の軌道の３Ｄ再構成と組み合わせることができる。これらの２つの組み合わせは、血管のフライスルービューを作成する上でも役立つ。フライスルーデータは、（本明細書において説明するような）３Ｄ再構成の曖昧さを解決することなく計算することもできる。これは、図１８において見られ、フライスルービュー生成アルゴリズムを示す図４８のブロック図４８００にも示されているような出力番号３である。３Ｄ再構成を内腔径情報とともに用いて、血管をより良好に視覚的に表現することができ、介入中の診断ツールとしても用いることができる。

自動ＱＣＡとは別に、本明細書において言及するように、ガイドカテーテル先端部を自動的に検出する上で色素の注入も極めて有用である。ガイドカテーテル先端部の検出は線形化の全ての更なるステップにほぼ必須であるため、Ｃアームマシンの角度が変更されるときはいつでもＸ線流体の注入が極めて有用になる。これがインターベンショナリストにとって負担になり過ぎる場合、ステントを留置する前に、最後のビュー（ガイドワイヤ等の腔内装置を配置した後）においてのみ色素を注入することができる。これは、アルゴリズムを、本明細書において記載するように途切れなく「ガイド」モードにすることを可能にする。

点対応（動き補償）、重ね合わせ及び線形マップ生成
蛍光透視像において検出される物体を基準血管造影図に重ね合わせる場合、心臓の鼓動に起因する動き、呼吸に起因する動き、患者の平行移動、カメラのズーム等の、補償する必要がある幾つかの動きアーチファクトがある。これらの全ての補償は２段階プロセスで行われる。
１．重ね合わせられるその時点の蛍光透視像と同じ位相の心臓の拍動サイクルに対応する血管造影画像を選択する。これらの２つの画像は、心臓の拍動サイクル以外の動き（呼吸、平行移動、ズーム）に起因して見える内容が異なる。この動きは、画像平面に対して垂直な軸の周りの平行移動、ズーム及び回転の量を推定することによって補償される（前述の開示において記載した方法）。補償後に、その時点の蛍光透視像における物体を選択した血管造影画像に重ね合わせる。
２．選択した血管造影画像は、心臓の拍動サイクルの全ての位相に関して重ね合わせるように選択される単一の基準血管造影画像と同じである必要はない。この基準血管造影画像に重ね合わせるために、単純に心臓の拍動サイクルに起因する動きが補償される。この補償方法は、解剖学的な目印及び幾何学的な目印を用いて既に記載した。

線形マップ生成の一例が、狭窄付近で測定した内腔径及び断面積の情報１６００と重ね合わせられた線形化経路１６０２を示す図１６に示されている。腔内装置上の放射線不透過性マーカを検出した後で、放射線不透過性マーカ間の距離を腔内装置に沿って測定することができる（ピクセル単位）。これらのマーカ間の物理的距離が分かっていることは、腔内装置の部分を線形経路にマッピングする上で役立つ。腔内装置にわたって近接して配置される放射線不透過性マーカが存在する場合、（腔内装置によってカバーされる）血管経路全体を線形化するには単一のフレームで十分である。放射線不透過性マーカは、任意の２つの連続したマーカ間の経路が線形であり、腔内装置全体を区分的線形装置として近似化することができると仮定するのに十分に近くに配置される必要がある。

なお、ピクセルと実際の物理的距離との間のマッピングは一意ではない。これは、腔内装置が必ずしも同じ平面にないためである。腔内装置は、異なる場所では、画像平面と異なる角度をなす。幾つかの場所では、腔内装置は画像平面にある場合がある。他の場所では、腔内装置は画像平面に入る（又は出る）可能性がある。各場合に、ピクセルから実際の物理的距離へのマッピングは異なる。例えば、画像平面にある場合、マッピングは１ミリメートルの物理的距離あたり３ピクセルであり、画像平面に入る（又は出る）場合、１ミリメートルあたり２ピクセルであり得る。この得られる物理的距離は、その局所的な領域における血管経路の長さの着想を与える。

実際の使用例のシナリオでは、腔内装置に多くの放射線不透過性マーカを配置することは、経路、及び、経路に存在する可能性のある病変の視界を妨げる可能性があるため、インターベンショナリストにとって有用ではない可能性がある。したがって、腔内装置に配置されるマーカの数を最小限に抑える必要がある。他の極端な場合は、単一のマーカを腔内装置に配置することである。これは、マーカを全てのフレームにおいて追跡することを可能にする。マーカの長さが分かっている場合、内腔に沿う異なる場所におけるマーカの長さの変化を用いて、線形化マップを作成することができる。大幅に小さい長さの単一のマーカが用いられる（この場合、マーカは画像において線としてはもはや近似化することができず、単一の点として近似化される）場合、電動の引き戻しの校正ステップが必要である。これは、血管内の異なる点を線形化マップにおける異なる点にマッピングすることを可能にする。これは、インターベンショナリストの視界を妨げる制約を最小限に抑えるが、同時に、同じ結果を得るために（電動の引き戻しという）付加的なステップを加える。したがって、本発明者らの分析により、腔内装置の遠位端付近の、２つ〜５つの近接して配置されるマーカが、線形化経路を形成することにより介入を補助するための最適な設計である。そのような腔内装置を挿入する場合、複数のフレームを分析することにより、腔内装置が押し込まれる限り、血管の線形化されたビューを作成することができる。本明細書において記載する本発明の場合、隣接するマーカ間の距離は、マーカが同じ平面にあるという仮定が当てはまるほど十分に小さい必要はないことに留意されたい。バルーンマーカにおけるように距離が大きい場合、動き補償後に、連続するフレームにおける対応するマーカ間の距離を測定し、この距離を線形化に更に用いる。

撮像されるフレームにおいて観察される動きは、以下の：撮像装置における平行移動、ズーム又は回転変化；心臓の鼓動及び呼吸に起因する動き；被験者又は被験者が位置決めされる台の物理的な動きである、同時に生じるものの１つ又は複数の結果であり得る。血管の形状又は位置は、上述した動きの各段階においては異なることになる。したがって、血管の線形化はもはや単一の解決策ではなく、動きの全てのあり得る形態において血管を線形化する解決策のセットである。しかし、そのような複雑な解決策は、血管の様々な形態が点対応を通じて互いにマッピングされる場合には必要ではない。

対応する構造間の対応を見つけることは、広範に研究されたトピックである。画像ベースの点対応は、目立った点間の対応を見つけることに基づいて、又は、強度ベースのワーピング関数を見つけることによって見つけることができる。形状ベースの対応は、多くの場合に、検討中の１つの形状を別の形状に対してワーピングさせるワーピング関数を見つけること、したがって、その点のそれぞれの間のマッピング関数を固有に見つけること（内因性点対応アルゴリズム）に基づいて見つけられる。形状の点対応も、形状の各点を他の形状の対応する点に外的にマッピングすることによって見つけることができる。これは、幾何学的若しくは解剖学的な目印に基づくか、又は、端点及び解剖学的な目印が互いに重なるときに、形状における点の他の点に対する近接度に基づくものとすることができる。この目的で用いられる解剖学的な目印は、本明細書において記載したような血管における分岐の位置である。ガイドカテーテルの先端部、静止マーカ等の２Ｄ投影において見える装置（単数又は複数）上の固定点である目印、及び、身体外の固定物体も用いることができる。心臓の鼓動の異なる位相における（同様に本明細書において記載したＱＣＡによって検出されるような）脈管径間の相関も、点対応を得るためのパラメータとして用いることができる。本発明の実施態様では、各形状におけるマーカの対応する位置を見つけるために外因性点対応アルゴリズムを用いた。心臓の鼓動の異なる位相における腔内装置の異なる部分間の点対応を見つけることによって、１つの位相で推定される遠近法効果を他の位相に変換することができ、したがって、遠近法効果を統合する上で役立つ。これは、腔内装置が横断する経路全体の線形化マップを作成する上で用いられる。図２８は、線形化アルゴリズムに関与する異なるブロックのブロック図２８００を示している。

外因性点対応によって達成される動き補償は、上述したシナリオの全てを補償するために用いることができる。動き補償は、画像ベースの動き補償技法に比して動き補償に必要とされる計算の量も低下させる。しかし、本項において前述したように、画像ベースの動き補償又は動き予測戦略を用いて、専用の高速計算装置を用いることによって同じ目的を達成することができる。結果として生じる動き補償データ（ガイドワイヤベースの動き補償の場合の腔内装置の位置；画像ベースの動き補償の場合の画像（複数の場合もあり））を用いて、内腔の長手方向軸に沿う腔内装置／マーカの平行移動を計算することができる。この計算した情報は、腔内装置がはっきりとマークされて又はマークされることなく、アニメーション又は一連の動き補償された撮像フレームとしてインターベンショナリストに更に視覚的に提示することができる。マーカ及び他の腔内装置の位置情報も静止画像に重畳することができる。

重ね合わせは、例えば、幾何学的な目印の使用により、（心臓の鼓動の同じ位相における）血管造影図内のガイドワイヤ及び動脈間の呼吸の補償に起因して、マーカの移動に関して補償を必要とし得る。心臓の鼓動の異なる位相における（血管造影中の）ハイライトされた動脈間の心臓の鼓動の補償は、例えば、脈管の分岐等の解剖学的な目印の使用によって達成することもできる。

この重ね合わせアルゴリズムの特徴を、以下の特許及び特許出願（それらの全体が任意の目的で参照により本明細書に援用される）において開示されているような装置及び方法のいずれかと任意の可能な組み合わせで用いることができる：
・２０１１年６月１３日に出願された特許文献５（特許文献６）
・２０１２年１２月１０日に出願された特許文献１８（特許文献１９）
・２０１１年１１月２８日に出願された特許文献７（特許文献８）
・２０１１年１１月２８日に出願された特許文献１１（特許文献１２）
・２０１１年１１月２８日に出願された特許文献９（特許文献１０）
・２０１３年２月１１日に出願された特許文献２０（特許文献２１）
・２０１３年７月１９日に出願された特許文献２２
・２０１３年１１月１２日に出願された特許文献２３
・２０１３年２月１１日に出願された特許文献１
・２０１３年９月１日に出願された特許文献２

なお、幾つかの回転移動は平行移動として十分に近似化される。例えば、患者が少量だけ回る場合。全てのそのような場合、同じ方法を使用することができる。

線形化が挿入される装置に基づいて可能ではないか／行われない場合、装置の動きの方向、（分かっている場合に）内腔の長手方向に沿う動きの速度に関する情報を、重ね合わせを精緻化するために更に用いることができる。例えば、引き戻しが既知の一定の速度である場合、この先験的な情報を用いて、平滑度等の適切な制約を課すことによって重ね合わせにおける小さい誤差を補正することができる。さらに、遠近法角度の知識を、更に厳しい制約に用いることができる。

互いから或る距離に位置付けられるマーカに基づく線形化
互いに近いマーカに基づく線形化が参考文献に記載されている。ここで、マーカ間のセグメントは、直線的な線分によって十分に近似化されると仮定する。これは、遠近法効果が、２つのマーカ間のセグメントにおける全ての点に関して同じであることを示唆する。しかし、この仮定は、マーカが更に離れている場合には不適切である。そのような場合、端点間のセグメントは、セグメントの異なる部分における異なる遠近法を有する３Ｄの曲線であるものとすることができる。セグメントは、横断する内腔の軌道の形状をとる。これは、前述したような異なる方法によって解決される。

線形化及び３Ｄ再構成は、例えばバルーンマーカ、ＩＶＵＳマーカに基づく線形化等、互いから幾らかの距離に位置付けられる少なくとも２つのマーカに基づくものとすることができる。ガイドワイヤでは、図３３に示されているように、長さが数ｃｍであるガイドワイヤの遠位セクションが、Ｘ線画像３３００において非常にはっきりと見える。このセクションは、先験的に既知である長さを有する。図３４−１〜図３４−６の例に示されているように、先端部セクションを有するガイドワイヤ３４０２を、動脈３４００に挿入することができる。この遠位セクションは、その全体が動脈内の対象とする領域を横断し、その後でその最終的な位置に達する。前述した技法を用いて、図３５に示されているガイドワイヤ３５００の先端部セクション３５０２を検出することができ、先端部セクション３５０２の端点がはっきりと特定される。これらの端点は、明瞭に特定することができる２つのマーカと均等である。

この遠位セクションが血管の軌道を横断すると、セクションの曲がりくねった軌道に沿って測定したセクションの見かけの長さは、血管の異なる位置に沿って移動するにつれて変化する。連続的な画像フレーム間で、遠位の先端部セクションが少量だけ移動している。このセクションの近位端及びセクションの遠位端は、ピクセル単位で異なる量だけ移動する可能性がある。これは、異なる位置では、軌道が画像平面と異なる遠近法角度をとるためである。セクションの２つの端のこれらの変位は、それぞれの端において軌道が画像平面となす遠近法角度に関連する。ガイドワイヤの先端部は対象とする軌道を移動するにつれて連続的に追跡されるため、ガイドワイヤの先端部セクションの実際の長さの知識を用いた軌道の各点における相対的な遠近法、及び、対象とする軌道の各点における相対的な遠近法角度、軌道における各点の実際の距離へのピクセルのマッピングが決まる。

ガイドワイヤの先端部セクションと同様に、装置の長手方向軸に沿って間に一定の距離を維持する、装置上に見える２つ以上の異なる点がある他の状況がある。これらの例は、図３６に示されているような、既知の距離だけ離間する２つのマーカを有するバルーンマーカ３６００を含む。マーカは、ＩＶＵＳ等の装置における独特の特徴部からなることもできる。マーカは、少なくともその端点に関してはっきりと検出可能な形状であることもできる。

以下の記載は、ガイドワイヤの先端部に関して記載する。しかし、この記載は、先端部セクションの２つの端点の位置のみが計算に使用されるため、検出可能であるとともに装置の軸に沿って間に既知の距離を有する、図３６のバルーンカテーテル等の、少なくとも２つの点を有する任意の装置に同様に適用可能である。

図３７の図式３７００に示されているような２つの連続的なフレーム「Ｎ」及び「Ｎ＋１」では、ガイドワイヤは、血管の軌道に沿って平行移動する。ガイドワイヤの遠位端は、少量ｄ_１だけ平行移動し、近位端は量ｄ_２だけ平行移動し、これらはともにピクセル単位で測定した。これらの２つの測定値は等しくない可能性があり、それぞれの遠近法角度θ_１及びθ_２が関連する。血管の軌道に沿う２つの端点の実際の線形変位Ｌは、遠位セクションの実際の長さが変化しないため、両端において同じである（遠位セクションはその軸に沿って剛性であり、伸張又は圧縮することができない）。線形変位Ｄは、以下の式により、観察される変位及び遠近法角度に関連する：

式中、Ｋは、ピクセルを距離にマッピングする定数であり、カメラのピクセル密度及びズーム比によって決まる。したがって：

となる。

ガイドワイヤの先端部セクションが内腔の軌道を移動すると、ガイドワイヤの先端部は、連続的なフレームにわたって軌道上の異なる点を通って移動する。ガイドワイヤの先端部が通って移動する「Ｎ」点のセットが図３８に示されている。

同様に、ガイドワイヤ先端部セクションの近位端は、連続的なフレームにわたって幾つかの点を通って横断する。これらの点は、遠位端が通って横断する点と一致する必要はない。簡単にするために、最初に、ガイドワイヤ先端部が通って横断する点が軌道を表すセグメントの区分的な線形セットを画定するほど十分に近い点のセットであるほど、ガイドワイヤ先端部が十分にゆっくり移動すると仮定する。Ｎ−１個のセグメントがあり、それぞれが、観察される長さｄ_ｉ及び対応する遠近法角度ｃｏｓ（θ_ｉ）を有する。先端部セクションの遠位端が点ｉからｉ＋１まで移動すると、近位端も少量だけ移動する。概して、各フレームの遠位端は２つの点間にある。近位端の点の移動がセグメントｊ、すなわち、点ｊ＆ｊ＋１間に全体的に含まれる場合、ｉ＆ｊにおける遠近法角度には、

が関連し、式中、ｐ_ｊは、ピクセル単位で近位端の点が移動する距離である（これはｄ_ｊと同じではない）。この場合が図３９に示されている。

近位端の点の移動がセグメントｊ_１において開始し、ｊ_２において終端する場合、近位端の点の物理的な移動は、近位端の点が通って横断する個々のセグメントにおける物理的な移動の和である。例えば、セグメントｊにおいて開始し、セグメントｊ＋１において終端する場合：

となり、式中、ｐ_ｊ及びｐ_ｊ＋１は、近位端の点が移動したピクセル距離である。この場合が図４０に示されている。

近位端の点が２つより多いセグメントを通って横断する場合、式の右辺における項の数は対応して増える。

遠近法角度間の第１の関係を確立するために、先端部セクション全体が見える必要がある。この状況では、遠位端の点は位置Ｍにあり、近位端の点は、第１のセグメントの（位置１と２との間の）どこかにある。遠近法角度間の関係はこの点から開始することができる。したがって、遠位端の点が位置Ｎに達するまで追跡することによって、遠近法角度間の（Ｎ−Ｍ−１）の独立した関係が分かる。これらは、対象とする領域における全ての未知の遠近法角度（Ｎ個の未知数）を含む（代替的には、ガイドワイヤ先端部を検出し、関係のＮ個のセットを得るために軌道のより大きいセクションにわたって追跡することができる）。方程式の数よりも多くの未知数があるため、未知数を解くことは依然として可能ではない。

方程式の付加的なセットが、先端部セクションの長さが一定であり、すなわち、先端部セクションが物理的に伸張も物理的に圧縮もされないことを利用して得られる。任意の所与のフレームでは、ガイドワイヤ先端部セクションの全長は、遠近法の補正後のセグメント化された部分の和によって与えられる：

式中、
ｎはフレーム番号であり、
ｌ_ｉはｉ番目のセグメントを占めるガイドワイヤ先端部セクションの部分のピクセルあたりの長さであり、
Ｍ（ｎ）はガイドワイヤ先端部が（完全に又は部分的に）占めるセグメントの数であり、
ｋ（ｎ）は開始セグメント番号であり、
θ_ｉは遠近法角度であり、
Ｑはピクセルを物理的な測定単位に変換するためのスケール係数（例えばピクセルからｍｍ）である。

定義によると、第１の（ｉ＝ｋ（ｎ））を除いて、全てのセグメントについてｌ_ｉ＝ｄ_ｉである。これは、第１のセグメントが近位端の点を含み、セグメント内のいずれの場所にも位置付けることができるためである。Ｍ（ｎ）の値は、内腔の軌道の異なる部分における遠近法効果の差のために、フレーム毎に変わり得る。各フレームに上記方程式を適用することによって、更なるＮ−Ｍ（１）方程式が得られ、式中、Ｍ（１）は、先端部が完全に見える第１のフレームにおいてガイドワイヤ先端部が占めるセグメントの数である。また、全てのこれらの方程式は独立することに留意されたい。

したがって、全体で、（Ｎ−Ｍ−１）＋（Ｎ−Ｍ）＝２×Ｎ−２×Ｍ−１の方程式及びＮ−１個の未知数を有する。ＮがＭよりも十分に大きい場合、少なくとも未知数ほどの独立した方程式を有する。しかし、これは、全ての未知数を解くのに十分ではない。１つの曖昧さが依然として残されている。スケール係数Ｑは常に、ｃｏｓ（θ_ｉ）との比、すなわちγ（ｉ）＝Ｑ／ｃｏｓ（θ_ｉ）として現れる。したがって、双方を結果に影響を与えることなくスケーリングすることができる。しかし、一方のみが線形化において対象とされる場合はこの曖昧さは問題ではない。これは、観察されるピクセルの長さから、遠近法を補償される実際の物理的距離への変換である線形化の表現のために、比γ（ｉ）として２つの曖昧な量を常に有し、計算される線形化される値には曖昧さはない。

それにもかかわらず、ほとんどの心臓インターベンション手技において満たされる可能性が高い条件を利用することによってこの曖昧さを解決する方法が依然としてある。ほとんどの手技において、Ｘ線画像を捕捉するＣアームの角度は、最適な視認体験のために調整される。この最適な視野角では、Ｘ線に最も近い内腔の軌道の中間におけるどこかに点が存在し、この点の両側において、点は更に離れると仮定するのが妥当である。この点はまたゼロ遠近法に対応し、すなわちθ_ｉ＝０である。ｃｏｓ（θ_ｉ）は１よりも大きい値をとることができないため、Ｑ／ｃｏｓ（θ_ｉ）の最大値に対応するθ_ｉの値がゼロであると仮定することができ、したがって曖昧さを解決する。

よりロバストな推定値を得るために、多数のフレームを有することが重要である。ＮがＭよりも有意に大きい場合、決まった方程式のセットよりもかなり多くを有する。最小二乗推定値を用いて未知の変数を計算することができる。これは、端点を特定するといった誤差の種々の原因に対してロバスト性を与える。

図示ではガイドワイヤが一方向に移動することを示唆しているが、これは必須ではない。繰り返しの前後移動があり得る。これらは実際に、対象とする領域における端点のサンプルの密なセットを得るために好ましく、よりロバストな推定値につながる。

なお、本明細書では、ガイドワイヤ先端部セクションを装置として選択した。同じ方法を用いて、マーカ間のガイドワイヤ又はカテーテルのセクションが見え、直線のセグメントによってもはや良好に近似化されないように十分に離れている２つのバルーンマーカ間のセグメントを線形化することができる。さらに、装置上に２つよりも多くの検出可能な点がある場合、同様の手法に従うことができる。例えば、点の異なる対を一度に選択することができ、各選択した対に同じ分析を行うことができる。これらの結果を組み合わせて、より正確な最終的な推定値を与えることができる。点の全て又はサブセットを同時に検討することも可能である。

遠近法角度が分かれば、マーカが互いに近い場合には本明細書において後述する方法を用いて３Ｄ再構成を行うことができることに更に留意されたい。

Ｘ線における、顕著に目に見える異質な物体／特徴部からの介入器具の区別
ガイドワイヤ先端部等の介入器具及び他の介入ツールを、顕著に目に見える異質な物体、例えば肋骨、ＣＡＢＧワイヤ等から区別することは、心臓の鼓動の異なる位相にわたるそれらの移動を調べることによって達成することができる。蛍光透視像には、通常は見える幾つかの特徴部及び物体がある。これらのうちの幾つかは、介入手技の観点から重要である。例としては、ガイドワイヤ、ガイドカテーテル、ステントカテーテル、ステント、ＩＶＵＳカテーテル及び関連するマーカである。重要ではない物体／特徴部は、患者の肋骨、ペースメーカ、ＣＡＢＧ（バイパス）手技後に挿入されるワイヤ、Ｘ線の視界内で患者付近にある器具又は物体である。関連する物体及び特徴部を選択的に検出する必要がある任意の自動化される画像処理アルゴリズムのロバスト性を達成するために、これらの２つの部類の物体／特徴部を識別可能であることが重要である。これは以下のプロセスによって達成することができる：
・心臓の拍動サイクルの異なる位相にわたって複数のフレームにおいてＸ線で見える任意の物体／特徴部を検出する。
・検出した物体／特徴部の位置と心臓の拍動サイクルとの相関を求める。
・全て心臓とともに動き、心臓の拍動サイクルに追従するガイドワイヤ又はそのセクション、ガイドカテーテルの先端部、バルーンマーカ、ステント及びＩＶＵＳカテーテル等の心臓の動脈に存在する物体。したがって、これらの物体は、より高度の振動運動を示し、その周期性は心臓の拍動サイクルと相関する。他方で、肋骨、ＣＡＢＧワイヤ及び外部の物体等の、心臓から更に離れた他の物体は、心臓の拍動サイクルとより低い相関を示す。この相関の差を用いて、２つの部類の物体／特徴部を識別する。

図４１Ａ及び図４１Ｂは、心臓の鼓動の２つの異なる位相における、ＣＡＢＧワイヤ、及び、ガイドワイヤ等の介入ツールを有する画像を示している。複数のフレーム４１００、４１０２におけるこれらの構造の形状及び位置を分析することによって、介入ツールが他の顕著な構造から区別される。

３Ｄ再構成
腔内装置の一部が線形化されるたびに、２Ｄ投影平面に対する角度を、見かけの遠近法効果に基づいて測定することができる。しかし、腔内装置の一部が平面から出てＸ線受信機に向かっているか又はそこから離れるかに関して曖昧さがある。この曖昧さは、この技法によって解決することができない。したがって、腔内装置全体の線形化が血管内腔の軌道の異なる部分における遠近法効果の「ｎ」個の別個の推定に基づいて行われる場合、各部分は、血管内腔の軌道の３Ｄ再構成に関して２値の曖昧さを与える。「ｎ」個の別個の推定は、腔内装置にわたる複数のマーカに基づいて又はその任意のサブサンプルによって又は上記の項で述べた任意の技法又は本明細書において述べる方法によって行うことができる。したがって、「ｎ」個のステップの線形化手順は、３Ｄ再構成の２^ｎ個の一貫性のある解を有する。しかし、全ての解が、血管内腔の軌道に存在する自然の平滑度を物理的に考慮することが可能であるわけではない。２^ｎ個の解のうちの幾つかを、平滑度基準に基づいて破棄することができる。さらに、心臓壁が凸状であること等の他の情報を用いて、この曖昧さに対する一意の解が可能である。

介入中に、結論に達する前に複数の角度から血管を見ることが一般的な方法である。複数の角度（少なくとも２つの角度）における線形化は、３Ｄ再構成される経路の可能性を１つに絞り込む上で役立つ。これは、腔内装置及び放射線不透過性マーカの検出並びに追跡、動き補償、それに続く少なくとも２つの角度における線形化を含む。

別の実施形態では、Ｃアームの投影角度が変更されると、全てのあり得る３Ｄ再構成される経路が新たな投影角度に投影される。各再構成される経路は、新たな投影角度では別個の投影経路を有する。腔内装置は新たな角度でも検出され、検出された腔内装置の経路に合致しない全ての予測された投影は拒絶される。複数の角度における投影を使用することによって、３Ｄ再構成される経路を検証すること及び絞り込むことを行うことができる。この手順は、血管内腔の軌道の３Ｄ再構成される経路を見つける上で役立つ。

軌道の３Ｄ再構成されるビューを得るために、Ｃアームの投影角度を一意に求めなければならない。Ｃアームは６自由度を有する。３回転自由度並びに１平行移動及び１倍率（ズーム比）。図４２は、Ｃアームマシン２９００の５自由度を示している。正確な３Ｄ再構成には５つのパラメータのそれぞれを一意に求めることが必要とされる。平行移動及びズーム比は、回転自由度を（図２１において見られるような）ライブ映像ビデオデータからの角度情報を分析することによって一意に求めることができる、本明細書において説明する方法によって得ることができる。代替的には、平行移動及びズーム比は、Ｃアーム２９００の動きを追跡する光学又は磁気センサを用いて測定することもできる。Ｃアームマシン２９００の位置に関する情報は、Ｃアームマシン２９００に取り付けられるモータ内から得ることもでき、これは、Ｃアームマシン２９００がモータに送られる電気信号へのアクセスを有していた場合である。

分析動作モードの全体的な要約の例が、本明細書において記載する関連する種々のアルゴリズムを示す、図４９のブロック図４９００に示されている。

ガイド動作モード
重ね合わせられて線形化されたマップが既に存在すると仮定すると、ガイド動作モードは、治療装置を病変位置にガイドする上で役立つ。１つの実施形態では、ガイド動作モード中の画像は、線形化マップの作成時点と同じＣアーム投影角度にある。そのような場合、画像座標から線形化マップ座標へのマッピングは、簡単であり、前述の項において説明したようなマーカ検出及び動き補償技法を伴う。別の実施形態では、投影角度の変化は重要である。そのような場合、脈管経路の３Ｄ再構成されたビューは、以前の角度から生成された線形化マップをその時点の角度にマッピングするのに用いられる。変換後に、前述の実施形態に関わった全てのステップをこの実施形態でも用いる。また別の実施形態では、正確な３Ｄ再構成が利用可能ではない場合のガイド動作モードは、治療装置に存在するマーカを用いて行われる。そのような場合、これらのマーカは、新たな投影角度における脈管の線形化に用いられる。新たな角度における線形化は、そのマップと、以前に生成された線形化マップとを自動的に重ね合わせ、したがって、治療装置を病変まで正確にガイドすることができる。電極及びバルーンマーカを有するカテーテル１７００の位置をマッピングする例が、図１７の線形マップ１７０２に沿って位置決めされて示されている。

この表示はリアルタイムで示される。医師がカテーテルを挿入又は後退させると、画像処理アルゴリズムはリアルタイムで実行し、カテーテル上の基準点を特定するとともにカテーテルの位置を線形表示にマッピングする。同じ線形表示が、内腔のプロファイルも示す。１つの実施形態では、内腔寸法のプロファイルが、カテーテルを挿入する前に推定される。別の実施形態では、内腔寸法は、カテーテルの遠位端にある活性電極を用いて同じカテーテルで測定される。カテーテルが前進されると、内腔寸法が測定され、プロファイルがオンザフライで作成される。

開示される発明はＸ線画像とともに働くように示されているが、同じ概念を、内腔に挿入される器具の幾つかの特徴部がはっきりと見えるＭＲ、ＰＥＴ、ＳＰＥＣＴ、超音波、赤外線、内視鏡検査等の他の撮像方法に拡張することもできる。

病変視線誘導標
病変視線誘導標は、病変を表す画像における医学的に関連する位置に対応する、生成された線形化マップに沿う点である。（図１６に示されているような）点Ａ及びＢは、病変の近位端及び遠位端をそれぞれ表す点である。線形化されたビューは、内腔径の測定値を重ね合わせられると、これを自動的に検出することが可能である。しかし、介入中にこれらの点の選択をインタラクティブに決定することは、インターベンショナリストの判断に委ねられる。Ｍは、内腔径が最小である点に対応する重ね合わせられたプロットの点である。Ｒは、直径が適切なステント直径を選択するための基準とみなされることができる、重ね合わせられたプロット上の点である。ＡとＢとの間の距離は、ステントの適切な長さを選択する上でも役立つ。点Ａ、Ｂ、Ｍ及びＲはまとめて病変視線誘導標として既知である。これは、図１８において見られるような出力番号２である。

生体吸収性ステントの留置及び後拡張方法
ステントの留置は、血管造影ガイドによって達成される。この方法では、ユーザは、ロードマップとしての同じ脈管の（血管造影図と称される）静止画像に結合される１つの表示における装置（ステントカテーテル）上の放射線不透過性マーカのライブＸ線画像に依拠する。静止画像又は血管造影図は、コントラスト強調され、ステントを留置する必要がある病変（閉塞）を示す。ステント送達カテーテルは、対象とする点まで前進され、以前に得られた静止血管造影画像上の狭窄領域を視覚的に推定することによって適所に位置決めされる。血管造影画像は２Ｄであり、遠近法効果を被り、曲がりくねった脈管の場合には大きな誤差を受ける。これは非常に良く知られた現象であり、医師は、自身の経験及び技能にのみ依拠しなければならない。この技法は、ステントを地理的に長手方向に置き間違える可能性がある（すなわち、拡張したステントが閉塞全体をカバーしない）。例えば、ＳＴＬＬＲの研究（１５５７人の患者）は、ステントの約４８％が長手方向に置き間違えられたことを示している。

この課題を軽減するために、治療装置を対象とする領域までガイドする方法及びシステムが特許文献１４（参照によりその全体が本明細書に援用される）に開示されている。生体吸収性ステントは、ＰＬＡ／ＰＧＡ等の放射線透過性高分子材料から構成される。ステントはＸ線下では見えないため、ステントの境界を定めるためにステントの縁に配置される小さいプラチナ（Ｐｔ）のドットがある。しかし、ステントの縁の可視性は、Ｐｔドットがほとんど見えないため乏しく、さらに面外にある。これに起因して、確認される「ステント着地ゾーン」を有することが重要である。

第２に、ステントの展開後に後拡張させなければならない場合、ステント及びその縁が見えない。これは、後拡張バルーンが不適切に位置決めされる場合に、縁の解体につながる可能性がある。ポリマーステントに起因して、「後拡張」がほとんどの場合に必要であり、したがって、後続の装置の配置を着地ゾーンまでガイドする技術が必要となる。

特許文献１４に記載されている技法を使用して、ユーザが、図５０Ａ及び図５０Ｂに示されているように、静止血管造影図及びライブ血管造影図に次に重畳される病変の境界を定めることが可能である。生体吸収性ステントカテーテルが展開されるにつれて、放射線不透過性マーカが各画像フレームにおいて追跡され、画像５０００に示されているように位置が静止血管造影図に重畳され、したがって、ステントの展開に役立つ。さらに、位置Ａ及びＢは、画像５００２に示されているようにライブ血管造影図及び静止血管造影図の双方に重畳されたままであるため、ユーザが後拡張バルーンカテーテルを入れ、正確な位置に位置決めすることが比較的容易であり、したがって、ステントの縁の解体等の処置の複雑さを回避する。

上記で説明した装置及び方法の用途は、本明細書において記載される例及び説明に限定されず、任意の数の更なる治療用途を含むことができる。さらに、そのような装置及び方法は、身体内の種々の他の治療部位に適用することができる。本発明を実行するための上述したアセンブリ及び方法の変更、実施可能なものとしての様々な変形形態間の組み合わせ、並びに、当業者に自明である本発明の態様の変形形態が、特許請求の範囲内にあることが意図される。

ＩＶＵＳ重ね合わせのためのワークフローの例
第１の臨床ステップでは、ユーザは重ね合わせセッションを開始する。この時点で、ユーザの相互作用のための２つの可能な選択肢が生じることができ、第１の選択肢では、ユーザは、撮像モジュールによって提供される画像からＧＣ先端部に基準を提供する。第２の選択肢では、ユーザは基準をＧＣ先端部に提供する必要はない。撮像モジュールは、開始後に行われる最初の血管造影図を自動的に検出することによってＧＣの先端部を自動的に検出する。次に、この血管造影図を分析し、ＧＣ先端部の位置を求める。次に、ＧＣ先端部を、全てのフレームにわたって自動的に追跡する。

アルゴリズムは、ガイドワイヤの先端部セクションを検出する。このセクションは、画像において見える最も目立つ可視特徴部であり、良好なロバスト性で検出される。ガイドワイヤの２つの端の位置が確実に見つかった後で、ガイドワイヤの中間セクションを検出して追跡する。ガイドワイヤを検出するのに用いられるアルゴリズムは本質的にロバストである。画像処理アルゴリズムは、ガイドワイヤ形状の物体を判別することができる特徴を選択的に抽出し、したがって効果的な検出を可能にする。さらに、ガイドワイヤが完全には見えない困難な状況であってもガイドワイヤ全体のロバストな検出を確実にするように組み込まれる他の機構がある。これらは、ＧＣ先端部及び検出された血管造影図を用い、心臓の拍動サイクルの同じ位相で捕捉された過去の蛍光画像を用い、ガイドワイヤの軌道に適切なモデル及び物理的な制約を適用し、心臓の鼓動に起因する周期的な動きに一致する物体を選択的に探すことによって、分析されるフレームのセグメントを絞り込むことを含む。

第２の臨床ステップでは、ユーザは血管造影を行うことができる。血管造影の時点で、動脈が明るくなると色素の注入が自動的に検出される。この検出は、動脈経路の分析に関連するアルゴリズムをトリガする。解剖学的な評価を血管造影図に対して行い、動脈における分岐点及び内腔のプロファイルを含む明らかな目印を、心臓の鼓動の異なる位相にわたって特定する。これらの目印は、その周りで心臓の複数の位相にわたる動脈上の点間の対応が得られる、固定点として働く。複数の血管造影画像から、動脈及び分岐を最も良く照明する血管造影画像を選択し、基準血管造影図（ＲＸＩと称される）として、マスタークライアント、例えばｉＬａｂ（登録商標）超音波撮像システム（Ｂｏｓｔｏｎ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｒｐ．， ＭＡ）に通信する。心臓の拍動サイクルの全ての位相に対応する血管造影画像を、将来的な参照のために撮像モジュールの内部に記憶する。

第３の臨床ステップでは、ＩＶＵＳカテーテルを動脈に挿入することができる。ＩＶＵＳカテーテルが動脈に挿入されると、ＩＶＵＳの放射線不透過性トランスデューサ及びカテーテルシースマーカ（ともにＩＶＵＳマーカと称される）をフレームにわたって検出及び追跡する。ガイドワイヤの検出は、ＩＶＵＳマーカ検出の捜索スペースを縮小する上で大いに役立つ。Ｃアーム又は患者の台の移動及び画像のスケールの変化に起因する任意の結果として生じる平行移動を推定し、全ての対象とする物体を追跡するときに考慮する。

第４の臨床ステップでは、ＩＶＵＳカテーテルを動脈に挿入することができる。ＩＶＵＳの引き戻しを開始すると、各記録したフレームを、心臓の鼓動の位相に基づいて対応する基準血管造影フレーム（ＲＸＩ）にマッピングする。心臓の鼓動の位相とｉＬＡＢに提供された位相との点対応は既知である。これを用いて、ＩＶＵＳトランスデューサの位置をＲＸＩにマッピングする。このマッピングは、ＩＶＵＳの速度の知識に基づいて、また過去及び将来的なフレームからの未加工の結果を用いて更に精緻化される。ＩＶＵＳ挿入中に遠近法を推定する処理中の作業が完了すると、これは、マッピングを精緻化するために考慮される付加的な因子となる。最終的な精緻化されたマッピングを、ＩＶＵＳトランスデューサの重ね合わせられる位置として用いる。時間領域で得られたＩＶＵＳ画像は、重ね合わせられるＲＸＩ上の時間が対応する時間領域トランスデューサ位置と合致される。

Claims (43)

1. 重ね合わせ中の身体の内腔の動きを補償する方法であって：
   １つ又は複数のマーカを有する細長い器具を、マッピングされる前記身体の内腔内に位置決めすること：
   前記細長い器具、及び、該細長い器具に沿う前記１つ又は複数のマーカを前記身体の内腔内で撮像すること；
   複数の撮像されたフレームにわたって前記１つ又は複数のマーカを追跡すること；
   前記細長い器具とは別個の少なくとも１つの基準点に対して、前記複数の撮像されたフレームにわたって前記１つ又は複数のマーカを参照すること；
   前記複数の撮像されたフレーム間で前記細長い器具に沿う所定の基準点を合致させること；
   前記複数の撮像されたフレーム間で合致する、前記細長い器具に沿う前記基準点に基づいて前記１つ又は複数のマーカの動きを補償すること；並びに
   基準画像フレームにおける前記１つ又は複数のマーカの対応する位置を求めること
   を含む、方法。
2. 前記複数の撮像されたフレームから前記身体の内腔の線形マップを作成することを更に含む、請求項１に記載の方法。
3. 参照することは、少なくとも１つの解剖学的な基準点に対して前記１つ又は複数のマーカを参照することを含む、請求項１に記載の方法。
4. 参照することは、少なくとも１つの分岐点又は内腔のプロファイルを特定することを含む、請求項３に記載の方法。
5. 特定することは、前記複数の撮像されたフレームにわたって前記少なくとも１つの分岐点又は内腔のプロファイルを特定することを含む、請求項４に記載の方法。
6. 参照することは、少なくとも１つの幾何学的な目印に対して前記１つ又は複数のマーカを参照することを含む、請求項１に記載の方法。
7. 参照することは、前記細長い器具とは別個であり、患者に位置決めされる少なくとも１つの基準点に対して前記１つ又は複数のマーカを参照することを含む、請求項１に記載の方法。
8. 対応する位置を求めることは、前記細長い器具の移動パターンの先験的な知識を用いる、請求項１に記載の方法。
9. 前記細長い器具はガイドワイヤ又はカテーテルを含む、請求項１に記載の方法。
10. 追跡することは、心臓の拍動サイクルの隣接する位相に対応する複数の撮像されたフレームにわたって前記１つ又は複数のマーカを追跡することを含む、請求項１に記載の方法。
11. 追跡することは、呼吸から生じる移動に対応する複数の撮像されるフレームにわたって前記１つ又は複数のマーカを追跡することを含む、請求項１に記載の方法。
12. 前記身体の内腔の動きは、患者の鼓動する心臓又は呼吸による移動に関連する、請求項１に記載の方法。
13. 前記身体の内腔の動きは、患者の移動、該患者が位置決めされるプラットフォームの動き、又は、前記患者に対するＣアームの動きに関連する、請求項１に記載の方法。
14. 求めることは、前記基準画像フレームにおける前記対応する位置を精緻化するために過去のフレーム及び／又は将来的なフレームを選択することを更に含む、請求項１に記載の方法。
15. 重ね合わせられるその時点の蛍光透視像と、該蛍光透視像と同じ心臓の拍動サイクルの位相に対応する血管造影画像との間の動きを補償することによって、動きアーチファクトを補償すること、及び
    前記同じ位相の前記血管造影画像と基準血管造影画像との間の動きを補償すること
    を更に含む、請求項１に記載の方法。
16. 前記細長い器具及び前記１つ又は複数のマーカを撮像した後で、前記複数の撮像されたフレームにおける前記細長い器具の各ピクセルに関して画像を強調することを更に含む、請求項１に記載の方法。
17. 前記１つ又は複数のマーカは、任意の単一のフレームにおける対象とする領域のサブセットを含む、請求項１に記載の方法。
18. 前記１つ又は複数のマーカは、電極、放射線不透過性マーカ又は１つ又は複数のステントを含む、請求項１に記載の方法。
19. 前記複数のマーカは互いから既知の距離だけ離間している、請求項１に記載の方法。
20. 撮像中に色素を前記身体の内腔に注入することを更に含む、請求項１に記載の方法。
21. 前記身体の内腔は血管を含む、請求項１に記載の方法。
22. 移動する身体の内腔の複数の２次元画像から、細長い器具の平行移動を求める方法であって：
    １つ又は複数のマーカを有する細長い器具を、マッピングされる前記身体の内腔内に位置決めすること；
    前記細長い器具、及び、該細長い器具に沿う前記１つ又は複数のマーカを前記身体の内腔内で撮像すること；
    複数の撮像されたフレームにわたって前記１つ又は複数のマーカを追跡すること；
    前記複数の撮像されたフレーム間で前記細長い器具に沿う所定の基準点を合致させること；
    前記複数の撮像されたフレーム間で合致する、前記細長い器具に沿う前記基準点に基づいて前記１つ又は複数のマーカの動きを補償することであって、前記動きは、前記細長い器具に対する前記身体の内腔の移動の影響から生じる、補償すること；並びに
    基準画像フレームにおける前記１つ又は複数のマーカの対応する位置を求めること
    を含む、方法。
23. 前記身体の内腔の移動は、患者の鼓動する心臓又は呼吸による移動に関連する、請求項２２に記載の方法。
24. 前記身体の内腔の移動は、患者の移動、該患者が位置決めされるプラットフォームの動き、又は、前記患者に対するＣアームの動きに関連する、請求項２２に記載の方法。
25. 求めることは、前記細長い器具及び前記１つ又は複数のマーカの平行移動を前記身体の内腔の静止画像に重畳することを含む、請求項２２に記載の方法。
26. 前記複数の撮像されたフレームから前記身体の内腔の線形マップを作成することを更に含む、請求項２２に記載の方法。
27. 前記細長い器具及び前記１つ又は複数のマーカを撮像した後で、前記複数の撮像されたフレームにおいて前記細長い器具の画像を強調することを更に含む、請求項２２に記載の方法。
28. 前記細長い器具を撮像することは、撮像する間に前記身体の内腔を通して前記細長い器具を移動させることを含む、請求項２２に記載の方法。
29. 前記１つ又は複数のマーカを追跡することは、前記複数の撮像されたフレームにわたって前記細長い器具を検出及び追跡することを更に含む、請求項２１に記載の方法。
30. 前記細長い器具はガイドワイヤ又はカテーテルを含む、請求項２２に記載の方法。
31. 前記複数のマーカは、電極、放射線不透過性マーカ又は１つ又は複数のステントを含む、請求項２２に記載の方法。
32. 前記線形マップに沿う１つ又は複数の位置と１つ又は複数の対応する目印とを重ね合わせることを更に含む、請求項２２に記載の方法。
33. 前記身体の内腔は血管を含む、請求項２２に記載の方法。
34. 対象とする脈管を選択する方法であって：
    細長い器具を対象とする脈管内に位置決めすること；
    前記細長い器具の少なくともサブセットの位置を追跡すること；
    色素を前記対象とする脈管内に注入すること；
    少なくとも１つの血管造影画像を選択すること；
    前記色素によって照明される分岐網をセグメント化するために前記少なくとも１つの基準血管造影画像を処理すること；
    前記細長い器具の前記少なくともサブセットの前記追跡した位置を前記少なくとも１つの処理した血管造影画像に合致させること；及び
    前記分岐網の最良に合致するセグメント化部分に対応する脈管を選択すること
    を含む、方法。
35. 選択することは、前記少なくとも１つの血管造影画像を自動的に選択することを含む、請求項３４に記載の方法。
36. 選択することは、前記少なくとも１つの血管造影画像を手動で選択することを含む、請求項３４に記載の方法。
37. 前記細長い器具は、ガイドワイヤ、カテーテル又は少なくとも１つのステントを含む、請求項３４に記載の方法。
38. 合致させることは、前記細長い器具の形状及び／又はプロファイルを厳密に表す脈管の分岐を選択することを含む、請求項３４に記載の方法。
39. 前記対象とする脈管は血管を含む、請求項３４に記載の方法。
40. 基準血管造影図を選択する方法であって：
    複数の画像フレームにわたって脈管網を撮像する間に該脈管網に色素を注入すること；
    前記画像フレームのそれぞれに存在するコントラストの程度；
    前記画像フレームのそれぞれにおいてハイライトされる脈管経路の範囲；
    前記画像フレームのそれぞれにおける前記脈管網においてハイライトされる各分岐の長さ
    のうちの少なくとも１つを測定すること；並びに
    コントラストの程度、前記脈管経路の範囲及び各分岐の長さのうちの少なくとも１つに基づいて最適な画像フレームを判断すること
    を含む、方法。
41. 画像の平行移動又はズーム比を推定する方法であって：
    患者の対象とする脈管の複数の画像フレームを記録すること；
    その時点のフレームに対して以前の画像フレームを分析すること；
    各画像フレームのピクセル間のメトリック値を計算すること；及び
    最小のメトリック値を有する画像フレームを選択すること
    を含み、
    前記平行移動又はズームは、前記患者の心臓の鼓動、前記患者の呼吸、前記患者に対するカメラ位置の変化、前記患者が位置決めされる台の移動又は前記患者の移動のうちの少なくとも１つによって生じる、方法。
42. メトリック値を計算することは、各画像フレームの前記ピクセル間の差の二乗和又は差の絶対和を計算することを含む、請求項４１に記載の方法。
43. 回転と平行移動又はズーム比とを区別することを更に含む、請求項４１に記載の方法。

Images