JP7356714B2 - 画像処理装置と画像処理プログラムと画像処理方法 - Google Patents

画像処理装置と画像処理プログラムと画像処理方法 Download PDF

Info

Publication number
JP7356714B2
JP7356714B2 JP2020090902A JP2020090902A JP7356714B2 JP 7356714 B2 JP7356714 B2 JP 7356714B2 JP 2020090902 A JP2020090902 A JP 2020090902A JP 2020090902 A JP2020090902 A JP 2020090902A JP 7356714 B2 JP7356714 B2 JP 7356714B2
Authority
JP
Japan
Prior art keywords
shape
tube
image
moving body
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020090902A
Other languages
English (en)
Other versions
JP2021185973A (ja
Inventor
浩二 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaguchi University NUC
Original Assignee
Yamaguchi University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaguchi University NUC filed Critical Yamaguchi University NUC
Priority to JP2020090902A priority Critical patent/JP7356714B2/ja
Publication of JP2021185973A publication Critical patent/JP2021185973A/ja
Application granted granted Critical
Publication of JP7356714B2 publication Critical patent/JP7356714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置と画像処理プログラムと画像処理方法とに関する。
血管内治療は、血管内に挿入された治療器具(以下「血管内治療器具」という。)による血管の病変部に対する治療である。通常、血管内治療は、手術を行う医師(術者)がX線を使用して得られる透過画像(以下「X線透視画像」という。)を見ながら血管内治療器具を操作することにより行われる。
術者は、血管内治療器具を押す(進める)、引く(戻す)、左に回転させる、右に回転させる、という4種類の操作を組み合わせることにより、血管内治療器具を操作する。そのため、血管内における血管内治療器具の挿入部から病変部までの距離や、血管内治療器具の進行先の血管の曲がる角度・半径などの位置情報は、術者が血管内治療器具を操作するために必須の情報である。
ここで、X線透視画像は2次元画像であるため、術者は、X線透視画像から奥行方向の情報を直接的に得ることができない。そのため、術者は、自らの脳内において血管の仮想的な3次元構造を構築することにより、前述した位置情報を想像しながら血管内治療器具を操作する。しかしながら、一般的に、血管は複雑な構造を有しているため、手術中の血管内治療器具は、複雑な形状に変形している。したがって、術者が血管内を移動する血管内治療器具の位置や形状を推定することは困難であり、術者には、豊富な経験と高い技術が求められる。
一般的に、複数方向から撮像された画像を用いれば、3次元空間における物体の形状と位置とは、把握できる。しかしながら、血管内治療においては、1日に数回の手術を行う術者の被爆量が増えるため、複数の方向からのX線透視画像の撮像は、好ましくない。そのため、多くの手術現場では、X線透視画像は、一方向から撮像される。したがって、1枚のX線透視画像から奥行方向の情報を得ることは、医療現場のニーズに合致する。
これまでにも、本発明の発明者により、X線源とスクリーンと血管の3次元モデルとの位置関係が予め既知である条件下において、X線透過画像に撮像された血管内治療器具の3次元位置を推定する方法が提案されている(例えば、特許文献1参照)。
特許文献1に開示された方法は、1枚のX線透視画像に基づいて、血管内治療器具の先端の3次元位置を高精度で推定する。しかしながら、同方法では、血管内治療器具の先端の位置の推定に用いられる投影直線が血管の中心線近傍を通過すると、投影直線上において同先端が存在し得る範囲が長くなるため、同先端の位置決め精度が低下し得る。
また、血管内治療で生じる事故の大半は、ガイドワイヤなどのワイヤ状の血管内治療器具の先端による血管の損傷(穿孔、傷など)に起因する。そのため、血管内治療器具の先端の姿勢(向き)は、事故防止に対して重要な情報となり得る。しかしながら、特許文献1に開示された方法は、血管内治療器具の先端の位置を高精度で推定できるが、血管内における血管内治療器具の先端の向きや血管内治療器具の形状を推定できない。
このような問題を解決する方法として、X線源とスクリーンと血管の3次元モデルとの位置関係が予め既知である条件下において、ワイヤ状の血管内治療器具の形状を推測する方法が提案されている(例えば、非特許文献2,3参照)。
非特許文献2に開示された方法は、仮想の平面(2D Feature Image)上でワイヤ状の血管内治療器具の形状を展開し、推測する。同方法は、半経験的に決定されたコスト関数が最小になる血管内治療器具の形状を求め、同形状を3次元空間に戻すことにより、血管内の血管内治療器具の3次元的な形状を推測する。しかしながら、同方法は、仮想の平面内で血管内治療器具の形状を求めるため、最終的に得られる3次元的な血管内治療器具の形状の信頼性は十分ではない。
非特許文献3に開示された方法は、血管の3次元モデルの中心線の形状や、X線透過画像に撮像された血管内治療器具の曲率などの多数の情報を複雑に組み合わせることにより半経験的に決定されたコスト関数(以下「第1コスト関数」という。)を用いて、血管内のワイヤ状の血管内治療器具の形状を推定する。しかしながら、同方法は、最初に推定する1,2点目の位置の決定には別のコスト関数を用い、3点目以降は位置が既知の2点と、位置が未知の1点とに関して第1コスト関数を計算し、その算出結果が最も小さくなるように3点目以降の位置を決定する。したがって、最初の2点の推定位置が、最終的に推定される血管内の血管内治療器具の形状に大きく影響する。
特開2019-150358号広報
Theo van Walsum et al., "Guide wire reconstruction and visualization in 3DRA using monoplane fluoroscopic imaging", IEEE Transaction on Medical Imaging, 24(5), 612-623, 2005 T. Petkovic et al., "Real-time 3D position reconstruction of guidewire for monoplane X-ray", Computerized Medical Imaging and Graphics, 38, 211-223, 2014
このように、非特許文献2,3に開示された方法は、血管内のワイヤ状の血管内治療器具の形状を推測するが、両方法は、3次元空間内において、必ずしも血管内治療器具の実際の形状を反映しているとは限らない。
本発明は、1枚の2次元画像から、血管内のワイヤ状の血管内治療器具の3次元形状を得ることを目的とする。
本発明にかかる画像処理装置は、線源からの放射線が管体に照射されて形成される管体の2次元画像と、2次元画像に対応する管体の3次元画像と、を記憶する記憶部と、線源からの放射線が管体の内部を移動する移動体に照射されて形成される管体と移動体との2次元画像を処理画像として取得する取得部と、処理画像における移動体の位置を特定する位置特定部と、位置が特定された移動体のうち、複数の部分それぞれを移動体部分として特定する移動体部分特定部と、線源と、複数の移動体部分それぞれと、を結ぶ複数の投影直線を特定する投影直線特定部と、投影直線ごとに、3次元画像内の管体を通過する管体通過部分を特定する通過部分特定部と、管体通過部分ごとに、管体通過部分上の任意の位置を選択位置として選択し、隣り合う管体通過部分の選択位置同士を連結して移動体の仮想形状を生成する仮想形状生成部と、仮想形状に基づいて、3次元画像における管体内の移動体の形状を推定する形状推定部と、を有してなる、ことを特徴とする。
本発明によれば、1枚の2次元画像から、血管内のワイヤ状の血管内治療器具の3次元形状が得られる。
本発明にかかる画像処理装置の実施の形態を示すシステム構成図である。 図1の画像処理装置の機能ブロック図である。 本発明にかかる画像処理方法の実施の形態を示すフローチャートである。 図3の画像処理方法に含まれる形状推定処理のフローチャートである。 図4の形状推定処理において、基準画像と3次元画像との位置合わせがされた状態を示す模式図である。 図4の形状推定処理において、特定された投影直線の模式図である。 図4の形状推定処理において、特定された管体通過部分の拡大模式図である。 図4の形状推定処理において、生成された仮想形状の例を示す模式図である。 図4の形状推定処理において、ひずみエネルギーを算出する式に用いられる偏角の定義を示す模式図である。 図3の画像処理方法に含まれる精度特定処理の概要を示す模式図である。 図10の精度特定処理のフローチャートである。 図10の精度特定処理において、実行されるカウントの方法の例を示す模式図である。 本発明の実施例において、正解値を算出するための仮想的な血管の形状の例を示す模式図である。 本発明の実施例において、正解値と第1候補と第2候補それぞれの形状を示す模式図である。
以下、図面を参照しながら、本発明にかかる画像処理装置と画像処理プログラムと画像処理方法との実施の形態について説明する。各図において、同一の部材と要素とについては同一の符号が付され、重複する説明は省略される。
本発明は、線源と2次元画像内の位置が特定された移動体とを結ぶ複数の投影直線ごとに、3次元画像内の管体を通過する部分の任意の位置を選択し、選択された位置同士を連結して移動体の仮想形状を生成し、仮想形状に基づいて3次元画像における管体内の移動体の形状を推定する。
以下に説明する実施の形態は、X線照射装置と血管内治療器具(例えば、ガイドワイヤ)とを用いる血管内治療の現場において、本発明にかかる画像処理装置により血管内を移動するガイドワイヤの形状を推定する場合を例にして、本発明の内容を説明する。すなわち、血管は本発明における管体の例であり、ガイドワイヤは本発明における移動体の例であり、X線は本発明における放射線の例である。
●画像処理装置●
先ず、本発明にかかる画像処理装置について説明する。
図1は、本発明にかかる画像処理装置(以下「本装置」という。)の実施の形態を示すシステム構成図である。
同図は、本装置1とX線照射装置2と3次元画像取得装置3とが通信ネットワーク4を介して、画像記憶装置5に接続されていることを示す。また、同図は、本装置1が画像記憶装置5に記憶されているX線透視画像を取得して、本装置1が同X線透視画像をディスプレイ6に表示している状態を示す。さらに、同図は、被検体の血管BVと血管BV内を移動するガイドワイヤ7とがディスプレイ6に表示され、術者がディスプレイ6を見ながらガイドワイヤ7を操作している様子を示す。
本装置1は、血管BV内のガイドワイヤ7の形状を推定する。本装置1の具体的な構成と動作とについては、後述する。
X線照射装置2は、被検体の血管BVのX線透視画像を撮像する。X線照射装置2は、X線源21とスクリーン(X線検出部)22とを備える。X線源21は、スクリーン22に向けてX線を照射する。スクリーン22は、被検体の血管BVに向けて照射されたX線が投影されるスクリーンである。本発明において、X線源21とスクリーン22それぞれの位置関係は、例えば、既知な情報としてX線透視画像に関連付けられて画像記憶装置5に記憶されている。
「X線透視画像」は、X線源21からX線が被検体(血管BV)に照射されてスクリーン22上に形成される。X線透視画像は、本発明における2次元画像の例である。X線透視画像は、例えば、通信ネットワーク4を介して画像記憶装置5に記憶される。
3次元画像取得装置3は、被検体の血管BVの3次元画像を取得する。3次元画像取得装置3は、例えば、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)などの被検体の内部の情報を画像として取得する装置である。3次元画像取得装置3は、取得した被検体の内部の情報から、被検体の血管BVの3次元画像を取得する。被検体の血管BVの3次元画像は、本発明における管体の3次元画像の例である。
通信ネットワーク4は、本装置1とX線照射装置2と3次元画像取得装置3のそれぞれと、画像記憶装置5と、を接続して、これらの間のX線透視画像や3次元画像の送受信を実現する。通信ネットワーク4は、例えば、LAN(Local Area Network)である。
画像記憶装置5は、X線照射装置2からのX線透視画像と、3次元画像取得装置3からの3次元画像と、を記憶する。画像記憶装置5は、例えば、サーバやNAS(Network Attached Storage)である。
ディスプレイ6は、本装置1に接続されて、X線透視画像を表示する。
ガイドワイヤ7は、血管BV内に挿入されて、血管BV内におけるカテーテル(不図示)の移動をガイドする。
なお、本発明における移動体は、血管内に挿入され、血管の形状に沿って変形可能な血管内治療器具であればよく、ガイドワイヤに限定されない。すなわち、例えば、本発明における移動体は、カテーテルでもよい。
●本装置の構成
図2は、本装置1の機能ブロック図である。
本装置1は、通信部11と、記憶部12と、取得部13と、レジストレーション部14と、位置特定部15と、移動体部分特定部16と、投影直線特定部17と、通過部分特定部18と、仮想形状生成部19と、形状推定部20と、を有してなる。
本装置1は、パーソナルコンピュータなどで実現される。本装置1では、本発明にかかる画像処理プログラム(以下「本プログラム」という。)が動作して、本プログラムが本装置1のハードウェア資源と協働して、後述する本発明にかかる画像処理方法(以下「本方法」という。)を実現する。
ここで、図示しないコンピュータに本プログラムを実行させることで、同コンピュータを本装置1と同様に機能させて、同コンピュータに本方法を実行させることができる。
通信部11は、通信ネットワーク4を介して、画像記憶装置5からX線透視画像と3次元画像とを受信(取得)する。また、通信部11は、ディスプレイ6に接続されて、例えば、(3次元画像と位置合わせをされた)X線透視画像をディスプレイ6に送信する。通信部11は、例えば、LANコネクタや、DVI(Digital Visual Interface)コネクタなどを備えるインターフェースである。
記憶部12は、本装置1が後述する本方法を実行するために必要な情報を記憶する。記憶部12は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録装置、および/または、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
「X線透視画像の位置情報」は、例えば、画像を構成するピクセル(画素)に割り当てられる座標や、輝度、明度などの情報である。
「3次元画像の位置情報」は、例えば、画像を構成するいわゆるボクセルに割り当てられる座標や、輝度、明度などの情報である。
取得部13は、通信部11を介して、画像記憶装置5からX線透視画像や3次元画像を取得する。取得部13が取得するX線透視画像は、レジストレーション部14による位置合わせに用いられるX線透視画像と、後述する処理画像と、を含む。取得部13の具体的な動作は、後述する。
「処理画像」は、X線源21(図1参照。以下同じ。)からのX線が血管BV(図1参照。以下同じ。)の内部を移動するガイドワイヤ7(図1参照。以下同じ。)に照射されて形成される、血管BVとガイドワイヤ7とが撮像されたX線透視画像である。
レジストレーション部14は、X線透視画像の位置情報と、3次元画像の位置情報と、に基づいて、X線透視画像と3次元画像との位置合わせ(レジストレーション)をする。レジストレーション部14の具体的な動作は、後述する。
位置特定部15は、処理画像におけるガイドワイヤ7の位置を特定する。位置特定部15の具体的な動作は、後述する。
移動体部分特定部16は、位置特定部15により位置が特定されたガイドワイヤ7のうち、複数の部分それぞれを移動体部分P1-Pn(図6参照。以下同じ。)(nは整数)として特定する。移動体部分特定部16の具体的な動作は、後述する。
「移動体部分P1-Pn」は、例えば、X線透過画像に撮像されたガイドワイヤ7を構成する画素のうち、移動体部分特定部16により特定される画素である。
なお、移動体部分は、単一の画素でもよく、あるいは、複数の画素により構成される画素群でもよい。
投影直線特定部17は、複数の投影直線C1-Cn(図6参照。以下同じ。)を特定する。投影直線特定部17の具体的な動作は、後述する。
「投影直線C1-Cn」は、X線源21と、処理画像(X線透視画像)において特定された移動体部分P1-Pn(すなわち、スクリーン22(図1参照。以下同じ。)に投影されたガイドワイヤ7の一部)それぞれと、を結ぶ仮想的な直線である。
通過部分特定部18は、投影直線C1-Cnごとに、管体通過部分Cp1-Cpn(図7参照。以下同じ。)を特定する。通過部分特定部18の具体的な動作は、後述する。
「管体通過部分Cp1-Cpn」は、レジストレーション部14によりX線透視画像と位置合わせされた3次元画像において、血管BVを通過する(横断する)投影直線C1-Cnの一部である。すなわち、管体通過部分Cp1-Cpnは、投影直線C1-Cnのうち、3次元画像における血管BVを通過する(横断する)線分である。
仮想形状生成部19は、3次元画像における血管BV内のガイドワイヤ7の仮想形状を生成する。仮想形状生成部19の具体的な動作と仮想形状とは、後述する。
「仮想形状」は、3次元画像において、ガイドワイヤ7が血管BV内で取り得る形状のうち、1の形状に近似する形状を仮想的に示す形状である。仮想形状の具体的な生成方法と構成とは、後述する。
形状推定部20は、仮想形状に基づいて、3次元画像における血管BV内のガイドワイヤ7の形状を推定する。形状推定部20の具体的な動作は、後述する。
取得部13と、レジストレーション部14と、位置特定部15と、移動体部分特定部16と、投影直線特定部17と、通過部分特定部18と、仮想形状生成部19と、形状推定部20とは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などのプロセッサや、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路により構成される。
なお、本発明におけるレジストレーション部と、取得部と、位置特定部と、移動体部分特定部と、投影直線特定部と、通過部分特定部と、仮想形状生成部と、形状推定部とは、共通するプロセッサや集積回路により構成されてもよく、あるいは、個別のプロセッサや集積回路により構成されてもよい。
●画像処理方法●
次に、図1,2も参照しながら、本装置1が実行する本方法の実施の形態について説明する。
図3は、本方法の実施の形態を示すフローチャートである。
本方法は、形状推定処理(S1)と精度特定処理(S2)とを含む。本装置1は、形状推定処理(S1)により、3次元画像における血管BV内のガイドワイヤ7の形状を推定し、精度特定処理(S2)により、生成した仮想形状の精度を特定する。
●形状推定処理
先ず、形状推定処理(S1)について、説明する。
「形状推定処理(S1)」は、各投影直線C1-Cn上の管体通過部分Cp1-Cpnに基づいて血管BVの仮想形状を生成し、仮想形状のひずみエネルギーに基づいて血管BV内のガイドワイヤ7の形状を推定する処理である。
図4は、形状推定処理(S1)のフローチャートである。
先ず、取得部13は、通信部11を介して、被検体の基準画像と、同基準画像に対応する3次元画像と、を画像記憶装置5から取得する(S101)。取得された基準画像と3次元画像とは、例えば、それぞれの位置情報と関連付けられて記憶部12に記憶される。このとき、取得部13は、基準画像を撮像した時のX線源21とスクリーン22それぞれの位置情報も併せて取得する。X線源21とスクリーン22それぞれの位置情報は、例えば、基準画像と関連付けられて記憶部12に記憶される。
「基準画像」は、3次元画像との位置合わせに用いられる被検体の血管BVのX線透視画像である。基準画像には、血管BVが撮像され、ガイドワイヤ7は撮像されていない。基準画像は、例えば、予めX線照射装置2により取得され、画像記憶装置5に記憶されている。
「基準画像に対応する3次元画像」は、基準画像との位置合わせに用いられる被検体の血管BVの3次元画像である。3次元画像には、基準画像に撮像されている血管BVと共通する血管BVが撮像されている。血管BVの3次元画像は、例えば、予め3次元画像取得装置3により取得されて、基準画像に関連付けられて画像記憶装置5に記憶されている。
「基準画像の位置情報」は、例えば、画像を構成するピクセル(画素)に割り当てられる座標や、輝度、明度などの情報である。
「3次元画像の位置情報」は、例えば、画像を構成するいわゆるボクセルに割り当てられる座標や、輝度、明度などの情報である。
次いで、レジストレーション部14は、基準画像の位置情報と、基準画像に対応する3次元画像の位置情報と、に基づいて、基準画像と3次元画像との位置合わせ(レジストレーション)をする(S102)。具体的には、レジストレーション部14は、例えば、公知の2D/3Dレジストレーションアルゴリズムを用いて、基準画像と3次元画像との位置合わせをする。すなわち、例えば、レジストレーション部14は、基準画像内の血管BVの輪郭線の位置情報と、3次元画像内の血管BVの輪郭線の位置情報と、を抽出し、抽出された輪郭線の位置情報に基づいて、基準画像と3次元画像との位置合わせをする。このとき、レジストレーション部14は、例えば、3次元画像内の血管BVがスクリーン22に投影された場合、3次元画像内の血管BVの像が基準画像内の血管BVに重なるように、基準画像と3次元画像との位置合わせをする。基準画像と位置合わせをされた3次元画像の位置情報は、基準画像に関連付けられて記憶部12に記憶される。
なお、本発明におけるレジストレーション部は、基準画像における血管の中心線と、3次元画像における血管の中心線と、を取得(算出)し、同中心線を用いて基準画像と3次元画像との位置合わせをしてもよい。
図5は、レジストレーション部14により、基準画像と3次元画像との位置合わせがされた状態を示す模式図である。
同図は、3次元画像における血管BVの位置(向き)が基準画像における血管BVの位置と合っていることを示す。
図4に戻る。
次いで、取得部13は、通信部11を介して、画像記憶装置5から処理画像を取得する(S103)。処理画像は、記憶部12に記憶される。このとき、本装置1は、処理画像が撮像された時のX線源21とスクリーン22それぞれの位置情報も取得する。X線源21とスクリーン22それぞれの位置情報は、処理画像と関連付けられて記憶部12に記憶される。
「処理画像」は、血管BV内のガイドワイヤ7の形状を推定するためのX線透視画像である。すなわち、処理画像は、X線源21からのX線が血管BVの内部を移動するガイドワイヤ7に照射されて形成されるX線透視画像である。すなわち、処理画像には、血管BVとガイドワイヤ7とが撮像されている。ここで、処理画像は、基準画像と同条件、すなわち、基準画像が撮像されたときのX線源21とスクリーン22と血管BVそれぞれの位置関係が保たれた状態、で撮像される。
次いで、位置特定部15は、血管BVの内部を移動するガイドワイヤ7の処理画像における位置(すなわち、位置情報)を特定する(S104)。具体的には、位置特定部15は、例えば、テンプレートマッチングなどの公知の画像処理アルゴリズムを用いて、処理画像におけるガイドワイヤ7を識別し、識別されたガイドワイヤ7の位置情報を特定する。特定されたガイドワイヤ7の位置(すなわち、処理画像におけるガイドワイヤ7の位置情報)は、例えば、処理画像に関連付けられて記憶部12に記憶される。
次いで、移動体部分特定部16は、位置特定部15により位置が特定されたガイドワイヤ7のうち、複数の部分それぞれを移動体部分P1-Pnとして特定する(S105)。具体的には、移動体部分特定部16は、例えば、処理画像において、ガイドワイヤ7を複数の線分および/または曲線に分割し、各線分および/または曲線の端点を移動体部分P1-Pnとして特定する。ここで、移動体部分P1-Pnは、ガイドワイヤ7の進行方向側(病変部側)の端部(すなわち、先端部)を含む。その結果、後述する本方法において、本装置1は、ガイドワイヤ7の先端部の位置・向きを推定できる。線分および/または曲線の数は、例えば、予め本装置1の使用者などにより定められ、記憶部12に記憶されている。特定された移動体部分P1-Pn(処理画像における移動体部分P1-Pnの位置情報)は、記憶部12に記憶される。
なお、本発明における移動体部分特定部は、処理画像において、各線分(曲線)の長さが同じになるように移動体部分を特定してもよく、あるいは、各線分(曲線)の長さが異なるように移動体部分を特定してもよい。すなわち、例えば、移動体部分特定部は、各曲線が1つの曲率半径を有するように移動体部分を特定してもよい。
また、本発明における移動体部分特定部は、ガイドワイヤの中心線を取得(算出)し、同中心線上に移動体部分を特定してもよい。
次いで、移動体部分特定部16は、スクリーン22における各移動体部分P1-Pnの位置情報を特定する(S106)。具体的には、移動体部分特定部16は、例えば、処理画像に関連付けられているスクリーン22の位置情報と、処理画像における移動体部分P1-Pnそれぞれの位置情報と、に基づいて、スクリーン22における移動体部分P1-Pnの位置情報を特定する。特定されたスクリーン22における移動体部分P1-Pnの位置情報は、例えば、処理画像に関連付けられて記憶部12に記憶される。
次いで、投影直線特定部17は、X線源21と、移動体部分特定部16により特定された各移動体部分P1-Pnと、を結ぶ複数の投影直線C1-Cnを特定する(S107)。具体的には、投影直線特定部17は、処理画像に関連付けられているX線源21とスクリーン22それぞれの位置情報と、スクリーン22における移動体部分P1-Pnの位置情報と、に基づいて、X線源21と移動体部分P1-Pn(スクリーン22上における移動体部分P1-Pn)それぞれとを結ぶ投影直線C1-Cnを特定する。特定された投影直線C1-Cnは、例えば、処理画像に関連付けられて記憶部12に記憶される。
図6は、投影直線特定部17により特定された投影直線C1-Cnの模式図である。
同図は、説明の便宜上、X線源21と、スクリーン22上での処理画像と、を投影直線C1-Cnと共に図示する。同図の破線は、投影直線C1-Cnを示す。同図は、1つのX線源21と、複数の移動体部分P1-Pnそれぞれと、が複数の投影直線C1-Cnにより結ばれている状態を示す。
図4に戻る。
次いで、通過部分特定部18は、投影直線C1-Cnごとに、管体通過部分Cp1-Cpnを特定する(S108)。具体的には、通過部分特定部18は、例えば、基準画像と位置合わせをされた3次元画像の位置情報を記憶部12から読み出し、投影直線C1-Cnと3次元画像とを仮想的に重複させる。その結果、通過部分特定部18は、投影直線C1-Cnそれぞれにおいて、3次元画像内の血管BVを通過する(横断する)投影直線C1-Cnの一部を管体通過部分Cp1-Cpnとして特定する。特定された管体通過部分Cp1-Cpn(3次元画像における管体通過部分Cp1-Cpnの位置情報)は、例えば、3次元画像と処理画像それぞれに関連付けられて記憶部12に記憶される。
次いで、通過部分特定部18は、管体通過部分Cp1-Cpnごとに、管体通過部分Cp1-Cpnを複数の微小な線分に分割して、各線分の端点を、線分同士を接続する節点として特定する(S109)。線分の長さ(すなわち、管体通過部分Cp1-Cpnの長さに対する節点の数)は、例えば、予め本装置1の使用者などにより定められ、記憶部12に記憶されている。管体通過部分Cp1-Cpnそれぞれの節点(3次元画像における節点の位置情報)は、例えば、対応する管体通過部分Cp1-Cpnに関連付けられて記憶部12に記憶される。
図7は、通過部分特定部18により特定された管体通過部分Cp1-Cpnの拡大模式図である。
同図は、説明の便宜上、3次元画像と一部の投影直線C1-Cnとを拡大して示す。同図の破線は投影直線C1-Cnを示し、同図の太い実線は管体通過部分Cp1-Cpnを示し、同図の「◆」は節点を示す。
図4に戻る。
次いで、仮想形状生成部19は、管体通過部分Cp1-Cpnごとに、管体通過部分Cp1-Cpnの複数の節点のうち、任意の1の節点を選択位置として選択する(S110)。
次いで、仮想形状生成部19は、隣り合う選択位置同士を(例えば、直線で)連結して、3次元画像における血管BV内のガイドワイヤ7の仮想形状を生成する(S111)。ここで、前述のとおり、仮想形状は、隣り合う選択位置同士が連結されて生成される。選択位置は、3次元画像において血管BVの内部に位置する節点から選択される。そのため、選択位置同士が連結されることにより生成される仮想形状は、3次元画像において血管BV内のガイドワイヤ7が取り得る1の形状に近似する。
ここで、ある投影直線Ci(「i」は投影直線C1-Cnの番号)における管体通過部分Cp1-Cpnの節点の数を「Ki」としたとき、各管体通過部分Cp1-Cpnを通るガイドワイヤ7の仮想形状は、要素数がn個のベクトル(j_1,j_2,・・・,j_n)で表現できる。ここで、「j_i」は、1以上Ki以下の整数である。すなわち、例えば、(3,1,2,1,・・・,3,3,3)というベクトルで表現されるガイドワイヤ7の仮想形状は、図8に模式的に示される形状となる。
図8は、仮想形状の例を示す模式図である。
同図において、紙面右方は、ガイドワイヤ7の前方(ガイドワイヤ7の先端部が位置する方向)を示す。紙面下方は、X線源21が位置する方向を示す。同図は、説明の便宜上、各管体通過部分Cp1-Cpnを平行に示す。同図において、「◆」は管体通過部分Cp1-Cpnの節点を示し、「◇」は選択位置を示し、「i」は前述のとおり投影直線C1-Cnの番号を示し、「j」はX線源21側からの節点の番号を示す。同図は、(3,1,2,1,・・・,3,3,3)というベクトルで表現されるガイドワイヤ7の仮想形状を示す。
図4に戻る。
次いで、形状推定部20は、仮想形状のひずみエネルギーを算出する(S112)。ひずみエネルギーとその算出方法とは、後述する。
次いで、形状推定部20は、ひずみエネルギーと所定の閾値V1とを比較する(S113)。「閾値V1」は、ひずみエネルギーが最小であると取り扱うことができる閾値である。すなわち、本実施の形態において、ひずみエネルギーが閾値V1未満のとき、同ひずみエネルギーは最小である。閾値V1の詳細は、後述する。閾値V1は、予め記憶部12に記憶されている。
ひずみエネルギーが閾値V1以上のとき(S113の「N」)、形状推定部20は、新たな仮想形状(以下「変形形状」という。)を構成する節点(選択位置)を特定する(S114)。このとき、形状推定部20は、例えば、処理(S111)においてひずみエネルギーが算出された仮想形状との形状差が最小となるようにベクトルの移動量(すなわち、変形形状を構成する選択位置)を算出して、同ベクトルに対応する節点を特定する。次いで、仮想形状生成部19は、算出された節点に基づいて、変形形状を生成する(S115)。すなわち、仮想形状生成部19は、形状推定部20の算出結果に基づいて、管体通過部分Cp1-Cpnそれぞれの選択位置のうち、少なくとも1の管体通過部分Cp1-Cpnの選択位置を同管体通過部分Cp1-Cpnの別の位置に変更して、仮想形状を変形させる。次いで、本装置1の処理は、処理(S112)に戻る。つまり、ひずみエネルギーが閾値V1以上のとき、仮想形状生成部19と形状推定部20とは、ひずみエネルギーに基づいて変形形状を生成し(S115)、変形形状のひずみエネルギーを算出し(S112)、同ひずみエネルギーと閾値V1とを比較する(S113)。
一方、ひずみエネルギーが閾値未満のとき(S113の「Y」)、形状推定部20は、仮想形状または変形形状(後述する最小変形形状)を血管BV内のガイドワイヤ7の形状として推定する(S116)。
このように、本方法は、X線透視画像と3次元画像との位置合わせをするステップ(S102)と、血管BVとガイドワイヤ7とが撮像されたX線透視画像を処理画像として取得するステップ(S103)と、処理画像におけるガイドワイヤ7の位置を特定するステップ(S104)と、ガイドワイヤ7の移動体部分P1-Pnを特定するステップ(S105)と、X線源21と移動体部分P1-Pnそれぞれとを結ぶ複数の投影直線C1-Cnを特定するステップ(S107)と、投影直線C1-Cnごとに管体通過部分Cp1-Cpnを特定するステップ(S108)と、管体通過部分Cp1-Cpnごとに選択位置を選択し、隣り合う選択位置同士を連結してガイドワイヤ7の仮想形状を生成するステップ(S111)と、仮想形状(変形形状)に基づいて3次元画像における血管BV内のガイドワイヤ7の形状を推定するステップ(S116)と、を含む。その結果、本装置1は、本方法を実行することにより、管体通過部分Cp1-Cpnの節点を連結して仮想形状を生成し、仮想形状のひずみエネルギーに基づいて仮想形状を変形させて、ひずみエネルギーが最小となる(ひずみエネルギーが最小と取り扱われる)変形形状(以下「最小変形形状」という。)を特定し、最小変形形状を血管BV内のガイドワイヤ7の形状として推定する。換言すれば、形状推定部20は、仮想形状とそのひずみエネルギーとに基づいて、血管BV内のガイドワイヤ7の形状を推定する。最小変形形状は、例えば、処理画像に関連付けられて記憶部12に記憶される。
●ひずみエネルギー
ここで、図8のように表現されるガイドワイヤ7の仮想形状は、隣り合う2つの選択された節点(選択位置)同士を連結したn-1個の直線の組み合わせにより表現される。すなわち、理論上、制約条件が無い場合において、仮想形状は、各管体通過部分Cp1-Cpnの節点の数「Ki」を掛け合わせた数、すなわち、K1×K2×・・・×Kn個、存在する。
しかしながら、実際には、物体(特にワイヤ状の物体)は、ひずみエネルギーが最小となるような形状に変形するという特性を有する。そのため、同特性を満たすベクトルのみが、血管BV内に存在を許される。ここで、ワイヤ状のガイドワイヤ7が血管BVのような細長い管体に挿入された場合、ガイドワイヤ7は、主として曲げモーメントにより変形する。そのひずみエネルギー「F」は、例えば、次の(式1)で表される。
(式1)
Figure 0007356714000001
ここで、「i」は投影直線C1-Cnの番号、「EI」はガイドワイヤ7の材料特性を示す。「L」は、前述のベクトルで表現されたガイドワイヤ7(仮想形状)の先端(投影直線C1)から投影直線Ciまでの長さを示す。「ΔL」は、隣り合う投影直線Ci-1,Ciにおける節点間を結んだガイドワイヤ7(仮想形状)の一部分の長さを示す。すなわち、Lは、ΔLからΔLi-1までの長さの総和である。「θ」は、投影直線Ciにおける偏角を示す。「θ(L)」は、無負荷状態、すなわち、変形していない状態(ひずみエネルギーが「0」の状態)の仮想形状において、先端からの距離Lの位置における偏角を示す。(式1)に示されるとおり、無負荷状態の形状の或る位置の偏角「θ(L)」が外力などにより「θ」に変化すると、その位置のひずみエネルギーは、2つの偏角の差(θ-θ(L))の2乗で増加する。つまり、ひずみエネルギーは、ガイドワイヤ7の無負荷状態の形状と、仮想形状と、に基づいて、算出される。
図9は、偏角の定義を示す模式図である。
同図は、投影直線Ciにおける偏角「θ」が、投影直線Ci,Ci+1の選択位置(位置Aと位置Ai+1)同士を結ぶ線分と、投影直線Ci-1,Ciの選択位置(位置Aと位置Ai-1)同士を結ぶ線分の位置Ai+1側への延長線(すなわち、先端からの距離Lと距離Li+1との間における仮想形状が変形していない状態(無負荷状態))と、の間の角度であること、を示す。
偏角「θ」は、前述のベクトルの「i-1」「i」「i+1」番目の要素を用いて表現できる。各要素は、投影直線Ci-1,Ci,Ci+1における選択位置の3次元画像中の位置を示す。3つの選択位置それぞれの位置情報は既知であるため、偏角「θ」は、例えば、次の(式2)により求められる。
(式2)
Figure 0007356714000002

ここで、
Figure 0007356714000003
は、それぞれの対応する選択位置の3次元画像における位置を示す。
このひずみエネルギー「F」は、前述したベクトルに関する非線形関数であり、ひずみエネルギー「F」を最小にするベクトルを算出することにより、血管BV内のガイドワイヤ7が最も取り得る変形形状(最小変形形状)が得られる。ひずみエネルギー「F」を最小にするベクトルは、公知の様々な最適化手法により、算出できる。すなわち、例えば、変数「q」(複数の変数からなるベクトル)の非線形な関数「F(q)」の最小値は、例えば、次の(式3),(式4)により求められる。
(式3)
Figure 0007356714000004
(式4)
Figure 0007356714000005
ここで、「Δq」は探索方向と呼称される。「q」はk回繰り返し計算された後の「q」の値である。(式3)により探索方向が定められ、(式4)により「q」の更新幅が決定される。「α」はステップ幅と呼称され、1から0の間の数である。「α」は、例えば、アルミホ条件やウルフ条件により適切な値を選択できる。「α」はスカラーでもよく、あるいは、ベクトル「q」の要素ごとに変更される値でもよい。
(式3),(式4)による計算が繰り返されると、正味の増分量「αΔq」が、「q」に対して十分に小さくなる。この繰り返しの収束計算を終了する条件は、計算する者(例えば、使用者)が必要とする計算精度を考慮して決定される。すなわち、例えば、変化率「|αΔq|/q」が閾値V1未満になったとき、ひずみエネルギーが最小になったものと取り扱われて、収束計算は終了する。閾値V1は、例えば、「10-3」から「10-6」であり、予め定められている。本実施の形態において、閾値V1は、「10-6」である。
このように、本装置1は、例えば、(式1)-(式4)を用いて、仮想形状のひずみエネルギーが最小となる(ひずみエネルギーが最小となったものと取り扱われる)ベクトルを算出することにより最小変形形状を特定し、最小変形形状に基づいて血管BV内のガイドワイヤ7の形状を推定する。
●精度特定処理
次に、精度特定処理(S2)について説明する。
「精度特定処理(S2)」は、形状推定処理(S1)において、形状推定部20が推定した血管BV内のガイドワイヤ7の形状(最小変形形状)の精度を特定する処理である。本方法において、精度特定処理(S2)は、後述する特定最小変形形状と、他の最小変形形状と、を比較することにより、特定最小変形形状の精度を特定する。すなわち、精度特定処理(S2)の前提として、本装置1(仮想形状生成部19)は、前述の形状推定処理(S1)において、共通する処理画像において相互に異なる形状の複数の仮想形状を生成し、同複数の仮想形状ごとに複数の最小変形形状を生成しているものとする。
一般的に、非線形関数「F(q)」を最小化する場合、「F」を最小化する「q」は、初期値「q」(すなわち、処理(S111)において生成された仮想形状)により異なり得る。このような状況は、非線形関数「F(q)」自体が複数の最小値(より正確には極小値)を有している場合に発生する。これら複数の極小値は局所的最適解と呼称され、収束計算は局所的最適解で終了する場合もある。したがって、非線形関数の特徴が既知でない場合(非線形関数が1つの最小値を有していることが自明でない場合)、様々な初期値「q」から収束計算を実行することにより算出される複数の「q」に基づいて、大域的最適解を実現する「q」が求められる。
例えば、様々な初期値「q」から収束計算を実行した結果、収束した解「q」が全て同じである場合、その解「q」は、非線形関数の唯一の大域的最適解である。一方、収束した解「q」が一定の範囲内に分布しており、かつ、その非線形関数の関数値が近い値である場合、収束した解「q」のうち、最小値を実現する唯一の「q」が大域的最適解であるという考えは、必ずしも現実的ではない。むしろ、最適解が一定の範囲内に分布しているという考えが、役立つ考えとなり得る。
図10は、精度特定処理(S2)の概要を示す模式図である。
同図は、ある管体通過部分Cpiにおいて、複数の最小変形形状それぞれを構成する節点の位置(選択位置)、すなわち、複数の最小変形形状それぞれが通過する位置、の分布状態を示す。同図の横軸は管体通過部分Cpi上の位置を示し、「0」はX線源21側の端部を示し、「1」はスクリーン22側の端部を示す。同図の縦軸は、各位置における最小変形形状の頻度を示す。同図は、複数の最小変形形状の大半が、約0.3の位置と、約0.7の位置と、の2つの位置(すなわち、局所的最適解)の近傍を通過することを示す。このように、複数の最小変形形状の分布において、特定最小変形形状がどの位置を通過するかを特定することにより、特定最小変形形状の精度が特定できる。
図11は、精度特定処理(S2)のフローチャートである。
先ず、形状推定部20は、共通の処理画像に対して生成された複数の最小変形形状を記憶部12から読み出す(S201)。
次いで、形状推定部20は、複数の最小変形形状のうち、1の最小変形形状を特定最小変形形状として選択する(S202)。
次いで、形状推定部20は、管体通過部分Cp1-Cpnごとに、特定最小変形形状を構成する位置(節点)、すなわち、特定最小変形形状が通過する位置、を注目位置として特定する(S203)。
次いで、形状推定部20は、管体通過部分Cp1-Cpnごとに、管体通過部分Cp1-Cpnにおける注目位置を中心とする所定の範囲を近接範囲として特定する(S204)。所定の範囲の大きさ(幅)は、例えば、予め使用者により定められ、記憶部12に記憶されている。
次いで、形状推定部20は、管体通過部分Cp1-Cpnごとに近接範囲内を通過する最小変形形状(近接範囲内の節点により構成される最小変形形状)の数をカウントする(S205)。このとき、形状推定部20は、特定最小変形形状も含めた最小変形形状の数をカウントする。
なお、本発明における形状推定部は、特定最小形状をカウントに含めなくてもよい。
次いで、形状推定部20は、近接範囲ごとのカウントの総和を算出する(S206)。管体通過部分Cp1-Cpnごとのカウントと、カウントの総和とは、例えば、特定最小変形形状に関連付けられて記憶部12に記憶される。
図12は、精度特定処理(S2)におけるカウントの方法の例を示す模式図である。
同図は、説明の便宜上、4つの管体通過部分Cp1-Cp4における注目位置と、その近接範囲と、近接範囲のカウントと、を示す。同図の横軸は、管体通過部分Cp1-Cp4における位置を示し、同図の縦軸は最小変形形状の頻度(数)を示す。同図の「●」は注目位置を示し、同図の破線は注目範囲を示す。同図は、符号「X1」で示される特定最小変形形状のカウントが図の上から順に「80」「65」「15」「55」であること、および、カウントの総和が「215」であること、を示す。
図11に戻る。
次いで、形状推定部20は、カウントの総和に基づいて、特定最小変形形状に対するスコアを算出する(S207)。
「スコア」は、例えば、カウントの総和の値である。スコアが大きい特定最小変形形状は、その近接範囲に多くの最小変形形状が集まっている最小変形形状であり、血管BV内のガイドワイヤ7の形状に近いと推定される最小変形形状である。スコアは、例えば、特定最小変形形状に関連付けられて記憶部12に記憶される。
次いで、形状推定部20は、近接範囲の特定と、カウントと、が実行されていない未処理の最小変形形状が有るか否かを判定する(S208)。
未処理の最小変形形状が有るとき(S208の「Y」)、形状推定部20は、同未処理の最小変形形状において、処理(S202-S207)を繰り返し実行する。
一方、未処理の最小変形形状が無いとき(S208の「N」)、形状推定部20は、最小変形形状ごとに算出されたスコアに基づいて、各最小変形形状の精度を特定する(S209)。すなわち、全ての最小変形形状のうち、スコアが相対的に大きい最小変形形状は、血管BV内のガイドワイヤ7の形状を表す精度が高い最小変形形状として特定される。一方、スコアが相対的に小さい最小変形形状は、血管BV内のガイドワイヤ7の形状を表す精度が低い最小変形形状として特定される。このように、本装置1は、最小変形形状ごとに算出されるスコアに基づいて、最小変形形状の精度を特定できる。
次いで、形状推定部20は、スコアが最大の最小変形形状を、血管BV内のガイドワイヤ7の形状の第1候補として推定する(S210)。すなわち、形状推定部20は、スコアが最大の最小変形形状を血管BV内のガイドワイヤ7の形状として推定する。換言すれば、形状推定部20は、複数の最小変形形状に基づいて、血管BV内のガイドワイヤ7の形状を推定する。
「第1候補」は、複数の最小変形形状のうち、血管BV内のガイドワイヤ7の形状を最も精度よく推定する(表す)最小変形形状である。すなわち、第1候補は、複数の最小変形形状のうち、最も確からしいと推定される(確度が高い)最小変形形状である。第1候補は、例えば、処理画像に関連付けられて記憶部12に記憶される。
次いで、形状推定部20は、スコアが上位n(nは整数)位の最小変形形状のうち、管体通過部分の長さが最も長く、かつ、ガイドワイヤ7の進行方向側の端部(先端部)に最も近い投影直線Cnにおいて、第1候補を構成する位置から所定の長さ離れた位置を通る変形形状を、血管BV内のガイドワイヤ7の形状の第2候補として推定する(S211)。「n」の値と所定の長さとは、例えば、予め使用者により定められ、記憶部12に記憶されている。
「第2候補」は、第1候補とは異なるが的外れでもない血管BV内のガイドワイヤ7の形状を、本装置1の使用者に提供する(使用者の思い込みを防ぐ)ものである。第2候補は、特に、先端の向き(X線透視画像の奥行方向)の選択肢を本装置1の使用者に提供し得る。第2候補は、例えば、処理画像に関連付けられて記憶部12に記憶される。
このように、本装置1は、本方法を実行することにより、近接範囲内を通る他の最小変形形状(すなわち、スコア)に基づいて、処理(S116)で血管BV内のガイドワイヤ7の形状として推定された最小変形形状の精度を特定できる。また、本装置1は、本方法を実行することにより、血管BV内のガイドワイヤ7の形状の第1候補と第2候補とを推定できる。その結果、本装置1は、1枚の2次元画像(処理画像)から、血管BV内のガイドワイヤ7の3次元形状を精度よく推定できる。
●実施例●
次に、以上説明した本装置1(本方法)の具体的な実施例について、後述する計算により算出された血管BV内のガイドワイヤ7の形状を正解値とする場合を例に、説明する。以下の説明において、各管体通過部分Cp1-Cpnにおける節点(選択位置)は、図6のように固定された位置を有さず、投影直線C1-Cnにおける管体通過部分Cp1-Cpn内を連続的に移動できると解釈されるものとする。すなわち、以下の説明において、選択位置そのものが変数として取り扱われる。
図13は、正解値を算出するための仮想的な血管BVの形状の例を示す模式図である。
同図は、(a),(b),(c),(d)の順に、ガイドワイヤ7が血管BVの壁に接触して変形しながら病変部である瘤まで進行する様子を示す。
ガイドワイヤ7が血管BVに挿入されると、ガイドワイヤ7の種々の部位は、血管BVの壁に接触し、その接触力による外力(例えば、曲げモーメント、ねじりモーメント)を受ける。その結果、ガイドワイヤ7は血管BVの形状に沿って変形し、ガイドワイヤ7にひずみエネルギーが生じる。このとき、ガイドワイヤ7は、このひずみエネルギーが最小となる形状に変形して、血管BV内に留まる。
本実施例において、ガイドワイヤ7は、複数の細長い剛体(以下「セグメント」という。)をばねで連結したモデルでモデル化される。ガイドワイヤ7の形状を示すパラメータを「q」とすると、「q」は、第1セグメントの重心位置(X座標,Y座標,Z座標)と、全てのセグメントの姿勢角(X軸方向の回転角,Y軸方向の回転角,Z軸方向の回転角)と、から構成される。また、ガイドワイヤ7をN個のセグメントで離散化した場合、ガイドワイヤ7の形状は、3+3N個の要素から構成されるベクトルで表現できる。このベクトルを用いて、ガイドワイヤ7のひずみエネルギー「U(q)」が算出できる。外部からガイドワイヤ7に加えられる力を「W(q)」とし拘束条件を「C(q)」としたときの汎関数を「Π」とすると、汎関数「Π」は、「q」に関する非線形関数で表される。この汎関数「Π」を最小化するために、例えば、次の(式5),(式6),(式7)が用いられる。
(式5)
Figure 0007356714000006
(式6)
Figure 0007356714000007
(式7)
Figure 0007356714000008
ここで、拘束条件「C(q)」は、例えば、ガイドワイヤ7に加えられる強制変位(ガイドワイヤ7を血管BVに挿入する変位や回転量)や、血管BVの壁とガイドワイヤ7の或る部分との間の距離が常にゼロ(血管BVの壁とガイドワイヤ7の或る部分とが接触している状態)、などの条件である。添え字の「k」は、計算の繰り返し数を示す。添え字の「p」は、拘束条件の番号を示す。「J」は、「C」のヤコビ行列である。「λ」は、拘束条件に対するラグランジュの未定乗数である。本実施の形態において、血管BVの壁とガイドワイヤ7の或る部分との間の距離が常にゼロよりも小さくならない、すなわち、血管BVの壁の外側にガイドワイヤ7が出ないという拘束条件が採用されているため、「λ」は接触力を示す。
本実施例では、ステップ幅「α」が10-4になるまで計算が繰り返された。最終的に得られる「q」により表現されるガイドワイヤ7の形状が、物理的観点から最も生じ得る形状である。
本願発明者は、この計算式を用いてガイドワイヤ7を挿入・回転させることにより、ガイドワイヤ7の先端部を病変部である瘤まで誘導したときに算出されるガイドワイヤ7の3次元形状を、本実施例における正解値とした。同計算において、セグメントの長さは、約0.2mmに設定されている。本願発明者は、算出された正解値と、本方法により推定されたガイドワイヤ7の形状と、を比較することにより、本方法による推定の精度を検証した。
先ず、本願発明者は、図13に示される血管BVの瘤までガイドワイヤ7を誘導する過程の20か所において、ガイドワイヤ7の3次元形状の疑似的なX線透視画像を生成した。次いで、本願発明者は、各X線透視画像に撮像されたガイドワイヤ7において、手動により20か所の点を移動体部分(本実施例において不図示。以下同じ。)として特定した。次いで、本願発明者は、それぞれの移動体部分に対応する投影直線(本実施例において不図示。以下同じ。)を求め、前述した本方法によりガイドワイヤ7の形状を推定した。
次に、1枚の疑似的なX線透視画像からガイドワイヤ7の形状を推定する手順について、説明する。
先ず、本願発明者は、それぞれの管体通過部分上の位置について、始点位置を「0」、終点位置を「1」と設定し、乱数により100の初期ベクトル(仮想形状)を生成した。次いで、本願発明者は、前述のひずみエネルギーの最小化手法を用いて、ひずみエネルギーが最小になるベクトル(最小変形形状)を算出した。このとき、100の最小変形形状のひずみエネルギーの平均と標準偏差とは、0.594416±0.074591Nmm(max:0.910193Nmm、min:0.540135Nmm)であった。
次いで、本願発明者は、100の最小変形形状の中から、第1候補と第2候補とを選択した。ここで、第2候補は、スコアの上位20位までの最小変形形状から選択された。
図14は、正解値と第1候補と第2候補それぞれの形状を示す模式図である。
同図において、X線は、Z軸の正の方向から負の方向へ向けて照射されているものとする。図14に示されるとおり、正解値において、先端部は、+Z方向に大きく屈曲している。このようなZ方向への屈曲は、X線透視画像からは見出すことができない情報である。しかしながら、本実施例において、第1候補と第2候補それぞれは、Z方向に屈曲するガイドワイヤ7の先端部を再現できている。特に、第1候補は、屈曲の方向を正しく推定できている。
ここで、正解値のガイドワイヤ7の先端部の位置を基準としたとき、20か所のX線透視画像全てにおける本方法により推定された先端位置の誤差は、弧長パラメータ:0.047322±0.072339mm、半径:0.109854±0.142214mm、位相:20.89395°であった。また、20か所のX線透視画像のうち、15か所のX線透視画像において、第1候補が正解値と近い形状を示した。
「弧長パラメータ」は、血管BVの中心線における基準点から所定の節点までの距離を示すパラメータである。すなわち、弧長パラメータは、中心線における基準点から所定の節点までの距離である。「半径」は、中心線の節点における曲率中心点までの距離である。「位相」は、中心線の曲がる角度を示す。
このように、本装置1は、本方法を実行することにより、X線透視画像では見出すことができない方向(X線照射方向)におけるガイドワイヤ7の屈曲について正しく推定できると共に、ガイドワイヤ7の先端部の位置・姿勢についても精度よく推定できる。
●まとめ
以上説明した実施の形態によれば、本装置1は、移動体部分特定部16と、投影直線特定部17と、通過部分特定部18と、仮想形状生成部19と、形状推定部20と、を有してなる。移動体部分特定部16は、X線透視画像において位置が特定されたガイドワイヤ7のうち、複数の部分それぞれを移動体部分P1-Pnとして特定する。投影直線特定部17は、X線源21と複数の移動体部分P1-Pnそれぞれとを結ぶ複数の投影直線C1-Cnを特定する。通過部分特定部18は、投影直線C1-Cnごとに3次元画像内の血管BVを通過する管体通過部分Cp1-Cpnを特定する。仮想形状生成部19は、管体通過部分Cp1-Cpnごとに管体通過部分Cp1-Cpnにおける任意の位置を選択位置として選択し、隣り合う管体通過部分Cp1-Cpnの選択位置同士を連結して仮想形状を生成する。形状推定部20は、仮想形状に基づいて、3次元画像における血管BV内のガイドワイヤ7の形状を推定する。この構成によれば、仮想形状を構成する各選択位置は3次元画像における血管BV内に配置されるため、仮想形状は、3次元画像における血管BV内のガイドワイヤ7が取り得る形状の1つを仮想的に示し得る。すなわち、本装置1は、1枚の2次元画像から、血管BV内のワイヤ状の血管内治療器具(ガイドワイヤ7)の3次元形状を得ることができる。
また、以上説明した実施の形態によれば、形状推定部20は、仮想形状のひずみエネルギーを算出し、同ひずみエネルギーに基づいて、血管BV内のガイドワイヤ7の形状を推定する。すなわち、本装置1は、物体はひずみエネルギーが最小となるような形状に変形するという特性に基づいて、1枚の2次元画像から、血管BV内のワイヤ状の血管内治療器具の3次元形状を得ることができる。
さらに、以上説明した実施の形態によれば、仮想形状生成部19は、ひずみエネルギーに基づいて仮想形状を変形させることにより、変形形状を生成する。形状推定部20は、変形形状のひずみエネルギーを算出し、変形形状のひずみエネルギーに基づいて、血管BV内のガイドワイヤ7の形状を推定する。この構成によれば、本装置1は、ひずみエネルギーが小さくなるように仮想形状を変形させることにより変形形状を生成し、ひずみエネルギーが小さい変形形状を血管BV内のガイドワイヤ7の形状として推定できる。つまり、本装置1により得られる血管BV内のワイヤ状の血管内治療器具の3次元形状の精度は、向上する。
さらにまた、以上説明した実施の形態によれば、形状推定部20は、変形形状ごとに算出されるひずみエネルギーが最小、または、所定の閾値よりも小さくなる最小変形形状を特定し、最小変形形状に基づいて、血管BV内のガイドワイヤ7の形状を推定する。この構成によれば、1つの仮想形状をひずみエネルギーが最小になるように変形させることにより得られる最小変形形状を、血管BV内のガイドワイヤ7の形状として推定できる。その結果、本装置1により得られる血管BV内のワイヤ状の血管内治療器具の3次元形状の精度は、向上する。
さらにまた、以上説明した実施の形態によれば、仮想形状生成部19は、相互に異なる形状の複数の仮想形状を生成する。形状推定部20は、複数の仮想形状ごとに最小変形形状を特定し、複数の最小変形形状に基づいて、血管BV内のガイドワイヤ7の形状を推定する。この構成によれば、本装置1は、複数の最小変形形状の中から、相対的に精度の高い血管BV内のワイヤ状の血管内治療器具の3次元形状を得ることができる。
さらにまた、以上説明した実施の形態によれば、形状推定部20は、管体通過部分Cp1-Cpnごとに近接範囲内を通過する他の最小変形形状の数をカウントし、カウントの総和に基づいて特定最小変形形状に対するスコアを算出し、スコアに基づいて血管BV内のガイドワイヤ7の形状を推定する。この構成によれば、本装置1は、スコアに基づいて、血管BV内のワイヤ状の血管内治療器具の3次元形状の精度を客観的に示すことができる。
さらにまた、以上説明した実施の形態によれば、形状推定部20は、スコアが最大の最小変形形状を血管BV内のガイドワイヤ7の形状として推定する。この構成によれば、本装置1は、最も精度の高い血管BV内のワイヤ状の血管内治療器具の3次元形状を得ることができる。
さらにまた、以上説明した実施の形態によれば、形状推定部20は、複数の最小変形形状の中から、第2候補を推定する。この構成によれば、本装置1は、第1候補とは異なるが的外れでもない血管BV内のガイドワイヤ7の形状を、本装置1の使用者に提供できる(使用者の思い込みを防ぐ)。
なお、以上説明した実施の形態では、画像記憶装置5がX線透視画像と3次元画像を記憶する。これに代えて、本発明における記憶部が、X線透視画像と3次元画像とを記憶してもよい。この場合、本発明における取得部は、本装置の記憶部からX線透視画像と3次元画像とを取得する。
また、以上説明した実施の形態では、本装置1は、レジストレーション部14を備える。これに代えて、本装置は、レジストレーション部を備えなくてもよい。すなわち、例えば、X線透視画像と3次元画像との位置合わせは、本装置とは異なる外部装置で実行されてもよい。この構成では、本装置は、外部装置から位置合わせされたX線透視画像と3次元画像とを取得する。
さらに、以上説明した実施の形態では、本装置1が実行する本方法は、精度特定処理(S2)を含む。これに代えて、本装置は、精度特定処理を実行しなくてもよい。
さらにまた、本方法における精度特定処理は、スコアに基づいて各最小変形形状の精度を特定すればよく、第1候補と第2候補それぞれを特定しなくてもよい。
さらにまた、以上説明した実施の形態では、処理(S109)において、通過部分特定部18は、各管体通過部分Cp1-Cpnを複数の微小な線分に分割して、各線分の端点を、線分同士を接続する節点として特定する。これに代えて、本発明における通過部分特定部は、処理(S109)を実行しなくてもよい。この構成では、本発明における仮想形状生成部は、管体通過部分それぞれにおいて、任意の位置を選択位置として選択してもよい。すなわち、本装置は、管体通過部分において固定された節点から選択位置を選択するのではなく、管体通過部分における変数として管体通過部分の任意の1点を選択位置として選択してもよい。
さらにまた、以上説明した実施の形態では、処理(S110)において、仮想形状生成部19は、管体通過部分Cp1-Cpnそれぞれにおいて、管体通過部分Cp1-Cpnの複数の節点のうち、任意の1の節点を選択位置として選択する。これに代えて、処理画像の前のX線透視画像(前の処理画像)においてガイドワイヤの形状が既知となっているとき、仮想形状生成部19は、管体通過部分における既知の位置を選択位置として選択してもよい。
さらにまた、以上説明した実施の形態では、処理(S114)において形状推定部20がベクトルを算出し、仮想形状生成部19が変形形状を生成する。これに代えて、仮想形状生成部がベクトルの算出から変形形状の生成までの処理を実行してもよい。
さらにまた、本発明における形状推定部は、第1候補のみを特定してもよい。すなわち、例えば、本発明における形状推定部は、第2候補を特定しなくてもよい。
さらにまた、本発明における仮想形状生成部は形状推定部として機能してもよく、あるいは、本発明における形状推定部は仮想形状生成部として機能してもよい。
さらにまた、本装置は、ガイドワイヤの第1候補の形状、先端部の向き、などの情報をディスプレイに表示することにより、これらの情報を術者に提供してもよい。この場合、本装置は、ガイドワイヤの第2候補の形状、先端部の向き、などの情報もディスプレイに表示して、これらの情報も術者に提供してもよい。その結果、本装置は、術者への注意喚起や術者の血管内治療器具の操作の支援を行うことができる。
さらにまた、以上説明した実施の形態によれば、本装置1は、1つのコンピュータにより構成されていた。これに代えて、本装置は、複数のコンピュータにより構成されてもよい。すなわち、例えば、本装置は、本装置として機能する複数のコンピュータ群で構成されてもよい。具体的には、例えば、本装置(コンピュータ群)は、記憶部を備えるコンピュータと、本方法を実行する制御部を備えるコンピュータと、により構成されてもよい。
1 画像処理装置
12 記憶部
13 取得部
14 レジストレーション部
15 位置特定部
16 移動体部分特定部
17 投影直線特定部
18 通過部分特定部
19 仮想形状生成部
20 形状推定部

Claims (8)

  1. 線源からの放射線が管体に照射されて形成される前記管体の2次元画像と、前記2次元画像に対応する前記管体の3次元画像と、を記憶する記憶部と、
    前記線源からの放射線が前記管体の内部を移動する移動体に照射されて形成される前記管体と前記移動体との2次元画像を処理画像として取得する取得部と、
    前記処理画像における前記移動体の位置を特定する位置特定部と、
    位置が特定された前記移動体のうち、複数の部分それぞれを移動体部分として特定する移動体部分特定部と、
    前記線源と、複数の前記移動体部分それぞれと、を結ぶ複数の投影直線を特定する投影直線特定部と、
    前記投影直線ごとに、前記3次元画像内の前記管体を通過する管体通過部分を特定する通過部分特定部と、
    前記管体通過部分ごとに、前記管体通過部分上の任意の位置を選択位置として選択し、隣り合う前記管体通過部分の前記選択位置同士を連結して前記移動体の仮想形状を生成する仮想形状生成部と、
    前記仮想形状に基づいて、前記3次元画像における前記管体内の前記移動体の形状を推定する形状推定部と、
    を有してなる、
    ことを特徴とする画像処理装置。
  2. 前記形状推定部は、前記移動体の無負荷状態の形状と、前記仮想形状と、に基づいて、前記管体内の前記移動体の形状を推定する、
    請求項1記載の画像処理装置。
  3. 前記形状推定部は、
    前記仮想形状のひずみエネルギーを算出し、
    前記ひずみエネルギーに基づいて、前記管体内の前記移動体の形状を推定する、
    請求項1または2記載の画像処理装置。
  4. 前記仮想形状生成部は、
    前記ひずみエネルギーに基づいて前記仮想形状を変形させることにより、変形形状を生成し、
    前記形状推定部は、
    前記変形形状の前記ひずみエネルギーを算出し、
    前記変形形状の前記ひずみエネルギーに基づいて、前記管体内の前記移動体の形状を推定する、
    請求項3記載の画像処理装置。
  5. 前記仮想形状生成部は、
    相互に異なる形状の複数の前記仮想形状を生成し、
    前記ひずみエネルギーに基づいて、複数の前記仮想形状それぞれを変形させることにより、複数の前記仮想形状ごとに変形形状を生成し、
    複数の前記変形形状ごとに、前記変形形状の前記ひずみエネルギーが最小、または、所定の閾値よりも小さくなる最小変形形状を生成し、
    前記形状推定部は、
    前記変形形状ごとに、前記変形形状の前記ひずみエネルギーを算出し、
    複数の前記最小変形形状に基づいて、前記管体内の前記移動体の形状を推定する、
    請求項3記載の画像処理装置。
  6. 前記形状推定部は、
    複数の前記最小変形形状のうち、1の前記最小変形形状を特定最小変形形状として選択し、
    前記管体通過部分ごとに、前記特定最小変形形状を構成する位置を注目位置として特定し、
    前記管体通過部分ごとに、前記管体通過部分における前記注目位置を中心とする近接範囲を特定し、
    前記管体通過部分ごとに、前記近接範囲内を通る他の前記最小変形形状の数をカウントし、
    前記カウントの総和に基づいて、前記特定最小変形形状に対するスコアを算出し、
    前記スコアが最大の前記最小変形形状を前記管体内の前記移動体の形状として推定し、
    前記スコアが上位n(nは整数)位の前記最小変形形状のうち、前記管体通過部分の長さが最も長く、かつ、前記移動体の進行方向側の端部に最も近い前記投影直線において、前記スコアが最大の前記最小変形形状の前記注目位置から所定の長さ離れた位置を通る前記最小変形形状を、前記管体内の前記移動体の形状の第2候補として推定する、
    請求項5記載の画像処理装置。
  7. コンピュータを、請求項1記載の画像処理装置として機能させる、
    ことを特徴とする画像処理プログラム。
  8. 線源からの放射線が管体に照射されて形成される前記管体の2次元画像と、前記2次元画像に対応する前記管体の3次元画像と、を記憶する記憶部、
    を備える画像処理装置により実行される画像処理方法であって、
    前記画像処理装置が、
    前記線源からの放射線が前記管体の内部を移動する移動体に照射されて形成される前記管体と前記移動体との2次元画像を処理画像として取得するステップと、
    前記処理画像における前記移動体の位置を特定するステップと、
    位置が特定された前記移動体のうち、複数の部分を移動体部分として特定するステップと、
    前記線源と、複数の前記移動体部分それぞれと、を結ぶ複数の投影直線を特定するステップと、
    前記投影直線ごとに、前記3次元画像内の前記管体を通過する管体通過部分を特定するステップと、
    前記管体通過部分ごとに、前記管体通過部分上の任意の位置を選択位置として選択し、隣り合う前記管体通過部分の前記選択位置同士を連結して前記移動体の仮想形状を生成するステップと、
    前記仮想形状に基づいて、前記3次元画像における前記管体内の前記移動体の形状を推定するステップと、
    を含む、
    ことを特徴とする画像処理方法。
JP2020090902A 2020-05-25 2020-05-25 画像処理装置と画像処理プログラムと画像処理方法 Active JP7356714B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020090902A JP7356714B2 (ja) 2020-05-25 2020-05-25 画像処理装置と画像処理プログラムと画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020090902A JP7356714B2 (ja) 2020-05-25 2020-05-25 画像処理装置と画像処理プログラムと画像処理方法

Publications (2)

Publication Number Publication Date
JP2021185973A JP2021185973A (ja) 2021-12-13
JP7356714B2 true JP7356714B2 (ja) 2023-10-05

Family

ID=78850087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020090902A Active JP7356714B2 (ja) 2020-05-25 2020-05-25 画像処理装置と画像処理プログラムと画像処理方法

Country Status (1)

Country Link
JP (1) JP7356714B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082468A (ja) 2007-09-28 2009-04-23 Toshiba Corp 画像表示装置及びx線診断治療装置
JP2010172350A (ja) 2009-01-27 2010-08-12 Sendai City Medical Center 術具挿入支援システム
US20120289825A1 (en) 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
JP2014237021A (ja) 2009-09-23 2014-12-18 ライトラボ・イメージング・インコーポレーテッド 管腔形態および血管抵抗測定データ収集のシステム、装置および方法
JP2019150358A (ja) 2018-03-05 2019-09-12 国立大学法人山口大学 画像処理装置と画像処理プログラムと画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009082468A (ja) 2007-09-28 2009-04-23 Toshiba Corp 画像表示装置及びx線診断治療装置
JP2010172350A (ja) 2009-01-27 2010-08-12 Sendai City Medical Center 術具挿入支援システム
JP2014237021A (ja) 2009-09-23 2014-12-18 ライトラボ・イメージング・インコーポレーテッド 管腔形態および血管抵抗測定データ収集のシステム、装置および方法
US20120289825A1 (en) 2011-05-11 2012-11-15 Broncus, Technologies, Inc. Fluoroscopy-based surgical device tracking method and system
JP2019150358A (ja) 2018-03-05 2019-09-12 国立大学法人山口大学 画像処理装置と画像処理プログラムと画像処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
David KUGLER et al.,"i3PosNet: instrument pose estimation from X-ray in temporal bone surgery",International Journal of Computer Assisted Radiology and Surgery,2020年05月21日,Vol. 15,No. 7,,p.1137-1145,DOI: 10.1007/s11548-020-02157-4
Raffaella Trivisonne et al.,"Constrained Stochastic State Estimation for 3D Shape Reconstruction of Catheters and guidewires in Fluoroscopic Images",[online],[令和5年9月6日検索]、インターネット<URL:https://hal.science/hal-02072386/document.pdf>
T. VAN WALSUM et al.,"Guide wire reconstruction and visualization in 3DRA using monoplane fluoroscopic imaging",IEEE Transactions on Medical Imaging,2005年05月,Vol. 24,No. 5,p.612-623,DOI: 10.1109/TMI.2005.844073
Tomislav PETKOVIC et al.,"Guidewire tracking with projected thickness estimation",2010 IEEE International Symposium on Biomedical Imaging: From Nano to Macro,2010年04月,DOI: 10.1109/ISBI.2010.5490223

Also Published As

Publication number Publication date
JP2021185973A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
US11707242B2 (en) Methods and systems for dynamic coronary roadmapping
US8730237B2 (en) Coupling the viewing direction of a blood vessel's CPR view with the viewing angle on the 3D tubular structure's rendered voxel volume and/or with the C-arm geometry of a 3D rotational angiography device's C-arm system
JP6511050B2 (ja) イメージング装置を追跡装置と位置合わせする位置合わせシステム、イメージングシステム、介入システム、位置合わせ方法、イメージングシステムの作動方法、位置合わせコンピュータプログラム、及びイメージングコンピュータプログラム
JP6246718B2 (ja) 画像表示方法及び画像処理装置
EP2800516B1 (en) Real-time display of vasculature views for optimal device navigation
US8743118B2 (en) Medical image display device and medical image display method
JP2017217510A (ja) 手術中の位置調整および誘導を容易にするシステム
US20070167784A1 (en) Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
EP2940657B1 (en) Regression for periodic phase-dependent modeling in angiography
EP3025303B1 (en) Multi-modal segmentation of image data
EP3224804B1 (en) Apparatus for determining positions of an interventional instrument in a projection image
US10362943B2 (en) Dynamic overlay of anatomy from angiography to fluoroscopy
CN110301883B (zh) 用于导航管状网络的基于图像的向导
JP6493877B2 (ja) 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
CN108430376B (zh) 提供投影数据集
CN113796960B (zh) 导管导航装置、设备和存储介质
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
IL293957A (en) Visualization of route finding in two dimensions
JP7356714B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
US10453184B2 (en) Image processing apparatus and X-ray diagnosis apparatus
JP2011182946A (ja) 医用画像表示装置及び医用画像表示方法
JP6703470B2 (ja) データ処理装置及びデータ処理方法
US20210145372A1 (en) Image acquisition based on treatment device position
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
US20220096165A1 (en) Interventional device tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230915

R150 Certificate of patent or registration of utility model

Ref document number: 7356714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150