JP2019150358A - 画像処理装置と画像処理プログラムと画像処理方法 - Google Patents

画像処理装置と画像処理プログラムと画像処理方法 Download PDF

Info

Publication number
JP2019150358A
JP2019150358A JP2018038545A JP2018038545A JP2019150358A JP 2019150358 A JP2019150358 A JP 2019150358A JP 2018038545 A JP2018038545 A JP 2018038545A JP 2018038545 A JP2018038545 A JP 2018038545A JP 2019150358 A JP2019150358 A JP 2019150358A
Authority
JP
Japan
Prior art keywords
image
shortest
point
image processing
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018038545A
Other languages
English (en)
Other versions
JP7037810B2 (ja
Inventor
浩二 森
Koji Mori
浩二 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaguchi University NUC
Original Assignee
Yamaguchi University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaguchi University NUC filed Critical Yamaguchi University NUC
Priority to JP2018038545A priority Critical patent/JP7037810B2/ja
Publication of JP2019150358A publication Critical patent/JP2019150358A/ja
Application granted granted Critical
Publication of JP7037810B2 publication Critical patent/JP7037810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

【課題】血管内の血管内治療器具の位置の推定の計算に掛かる処理負担を軽減することができる画像処理装置を提供する。【解決手段】画像処理装置1は、線源から照射された放射線が管体を透過して形成される管体の平面画像の位置情報、管体の立体画像の位置情報、が記憶される記憶部11、立体画像に基づいて管体の形状を示す形状線を取得する形状線取得部12、平面画像の位置情報と立体画像の位置情報に基づいて平面画像と立体画像との位置合わせをするレジストレーション部13、管体の内部を移動する移動体の平面画像内の位置を特定する平面位置特定部14、線源と平面画像内の位置が特定された移動体とを結ぶ投影直線を特定する投影直線特定部15、投影直線に含まれる複数の点のうち形状線との距離が最短である最短点の位置を、移動体の立体画像内の位置として推定する立体位置推定部16、を有していることを特徴とする。【選択図】図2

Description

本発明は、画像処理装置と画像処理プログラムと画像処理方法とに関する。
血管内治療は、血管内に挿入した治療器具(以下「血管内治療器具」という。)を用いて血管の病変部を治療する治療である。通常、血管内治療は、手術を行う医師(術者)がX線を使用して得られる透過画像(以下「X線透視画像」という。)を見ながら血管内治療器具を操作することにより行われる。
術者は、血管内治療器具を押す(進める)、引く(戻す)、左に回転させる、右に回転させる、という4種類の操作を組み合わせることにより、血管内治療器具を操作する。そのため、血管内における血管内治療器具の挿入部から病変部までの距離や、血管内治療器具の進行先の血管の曲がる角度・半径などの位置情報は、術者が血管内治療器具を操作するために必須の情報である。
ここで、X線透視画像は2次元の画像であるため、術者は、X線透視画像から奥行方向の情報を直接的に得ることができない。そのため、術者は、自らの脳内において血管の仮想的な3次元構造を構築することにより、前述した位置情報を想像しながら血管内治療器具を操作する。しかしながら、一般的に、血管は複雑な構造を有しているため、術者は、血管内治療器具を病変部まで進行させる間に、血管内における血管内治療器具の位置を見誤る場合がある。この場合、血管内治療器具により血管を傷つけるなどの問題が、発生し易い。
このような問題の発生を防止するために、血管内治療器具に磁気センサを取り付けることにより、血管内の血管内治療器具の位置や姿勢を把握する技術が提案されている(例えば、特許文献1参照)。また、予め取得した血管内治療器具の形状の3次元データと、X線画像に撮像された血管内治療器具の姿勢などの情報と、から、血管内の血管内治療器具の位置を把握する技術が提案されている(例えば、特許文献2参照)。
特許文献1に開示された技術は、血管内治療器具に磁気センサを取り付けるため、狭小な血管の病変部に対応することができない。また、同技術は、手術室内に磁気センサの位置を読み取る特別な装置を必要とする。
特許文献2に開示された技術は、特許文献1記載の技術とは異なり、狭小な血管の病変部に対応することはできる。しかし、血管内治療の現場では、血管内治療器具の形状は、血管の形状などに応じて、手術中に適宜修正されることがある。そのため、手術中に血管内治療器具の形状の3次元データを取得することができるように、手術室内に特別な装置を必要とする。
これまでにも、血管内治療器具へのセンサの取り付けや、特別な装置の手術室内への追加配置を必要とすることなく、血管内の血管内治療器具の位置を把握する技術が提案されている(例えば、特許文献3、特許文献4参照)。
特開2007−54246号公報 特表2017−507685号公報 特開2011−50621号公報 特開2006−167448号公報
特許文献3に開示された技術は、X線透視画像から術具(血管内治療器具)の2次元位置を抽出し、抽出した術具と、3次元画像から抽出した血管と、が重なる位置を、3次元画像における術具の位置と推定する。この推定は、抽出された術具の位置を3次元画像上で術者の視線方向に平行移動させて、術具の位置と血管の位置とが最も一致した位置、換言すれば、血管の3次元モデルの内部に術具が最も多く含まれる位置、を3次元画像上の術具の位置と推定することにより、実現される。
同技術は、X線透視画像の撮像方向の算出、術者の視線方向からのX線透視画像の算出、3次元画像における術具の位置の推定、など膨大な計算を必要とする。特に、3次元画像における術具の位置の推定は、3次元画像上の1以上の点において、血管の3次元モデルの内部に術具が含まれるか否かを判定する。そのため、計算に掛かる処理負担は、大きい。
特許文献4に開示された技術は、X線透視画像が撮像された方向を算出することにより同方向における血管内治療器具の2つの座標(例えば、X,Y座標)を特定する。次いで、同技術は、時系列に取得した複数の画像から、同座標に垂直な軸(X線の照射軸)上における、血管内治療器具が位置する血管の候補を絞り込むことにより、3次元モデルの内部における血管内治療器具の位置を推定する。
同技術は、3次元モデルの内部における現在の血管内治療器具の位置を正確に推定するために、時系列に沿って推定した過去の血管内治療器具の位置を必要とする。そのため、計算に掛かる処理負担は、大きい。
本発明は、以上のような従来技術の問題点を解消するためになされたもので、血管内の血管内治療器具の位置の推定の計算に掛かる処理負担を軽減することを目的とする。
本発明にかかる画像処理装置は、線源から照射された放射線が管体を透過して形成される管体の平面画像の位置情報と、管体の立体画像の位置情報と、が記憶される記憶部と、立体画像に基づいて、管体の形状を示す形状線を取得する形状線取得部と、平面画像の位置情報と、立体画像の位置情報と、に基づいて、平面画像と立体画像との位置合わせをするレジストレーション部と、管体の内部を移動する移動体の平面画像内の位置を特定する平面位置特定部と、線源と、平面画像内の位置が特定された移動体と、を結ぶ投影直線を特定する投影直線特定部と、投影直線に含まれる複数の点のうち、形状線との距離が最短である最短点の位置を、移動体の立体画像内の位置として推定する立体位置推定部と、を有してなる、ことを特徴とする。
本発明によれば、血管内の血管内治療器具の位置の推定の計算に掛かる処理負担を軽減することができる。
本発明にかかる画像処理装置の実施の形態を示すシステム構成図である。 図1の画像処理装置の機能ブロック図である。 図1の画像処理装置が備える形状線取得部により取得される血管の中心線を示す模式図である。 図1の画像処理装置が備えるレジストレーション部により、血管の立体画像の位置と血管の平面画像の位置とが合わせられた状態を示す模式図である。 図1の画像処理装置が備える投影直線特定部により特定される投影直線の模式図である。 中心線と投影直線との関係を示す模式図である。 本発明にかかる画像処理方法の実施の形態を示すフローチャートである。 図7の画像処理方法が有する位置決定処理のフローチャートである。 図8の位置決定処理において実行される推定処理の内容を示す模式図である。 最短中心点における、局所座標系と血管の断面と最短点との関係を示す模式図である。 図7の画像処理方法が有する信頼性判定処理のフローチャートである。 図11の信頼性判定処理における血管と投影直線との関係を示す模式図である。 図1の画像処理装置により制御される外部装置の例を示す模式図である。 図1の画像処理装置により制御される外部装置の別の例を示す模式図である。
以下、図面を参照しながら、本発明にかかる画像処理装置と画像処理プログラムと画像処理方法との実施の形態について説明する。
本発明は、管体の立体画像から取得される管体の形状線と、線源と平面画像内の位置が特定された移動体とを結ぶ投影直線と、の距離に基づいて、管体内における移動体の位置を推定するものである。
以下に説明する実施の形態は、X線照射装置と血管内治療器具(例えば、ガイドワイヤ)とを用いる血管内治療の現場において、本発明にかかる画像処理装置により血管内を移動するガイドワイヤの位置を推定して、同位置を決定する場合を例にして、本発明の内容を説明する。すなわち、血管は本発明における管体の例であり、ガイドワイヤは本発明における移動体の例であり、X線は本発明における放射線の例である。
●画像処理装置●
先ず、本発明にかかる画像処理装置について説明する。
図1は、本発明にかかる画像処理装置(以下「本装置」という。)の実施の形態を示すシステム構成図である。
同図は、本装置1とX線照射装置2と立体画像取得装置3とが通信ネットワーク4を介して、画像記憶装置5に接続されていることを示す。また、同図は、本装置1が画像記憶装置5に記憶されているX線照射装置2からのX線透視画像を取得して、同X線透視画像をディスプレイ6に表示している状態を示す。さらに、同図は、被検体の血管BVと血管BV内を移動するガイドワイヤ7とがディスプレイ6に表示され、術者がディスプレイ6を見ながらガイドワイヤ7を操作している様子を示す。
本装置1は、血管BV内のガイドワイヤ7の位置を推定して、同位置を決定する。本装置1の構成と動作とについては、後述する。
X線照射装置2は、被検体の血管BVのX線透視画像を撮像する。X線照射装置2は、X線源21とスクリーン22とを備える。X線源21は、X線を照射する。スクリーン22は、被検体の血管BVを透過したX線が投影されるスクリーンである。X線透視画像は、X線源21から照射されたX線が血管BVを透過してスクリーン22上に形成される、本発明における平面画像の例である。X線透視画像は、通信ネットワーク4を介して画像記憶装置5に記憶される。
立体画像取得装置3は、被検体の血管BVの立体画像を取得する。立体画像取得装置3は、例えば、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)などの被検体の内部の情報を画像として取得する装置である。立体画像取得装置3は、取得した被検体の内部の情報から、被検体の血管BVの立体画像を取得する。被検体の血管BVの立体画像は、本発明における管体の立体画像の例である。
通信ネットワーク4は、本装置1とX線照射装置2と立体画像取得装置3と、画像記憶装置5と、を接続して、これらの間のX線透視画像や立体画像の送受信を実現する。通信ネットワーク4は、例えば、LAN(Local Area Network)である。
画像記憶装置5は、X線照射装置2からのX線透視画像と、立体画像取得装置3からの立体画像と、を記憶する。画像記憶装置5は、例えば、サーバやNAS(Network Attached Storage)である。
ディスプレイ6は、本装置1に接続されて、X線透視画像や、本装置1からの制御情報に基づく情報などを表示する。ディスプレイ6は、本発明における外部装置の例である。制御情報については、後述する。
ガイドワイヤ7は、血管BV内に挿入されて、血管BV内におけるカテーテル(不図示)の移動をガイドする。
なお、本発明における移動体は、血管内に挿入される血管内治療器具であればよく、ガイドワイヤに限定されない。すなわち、例えば、本発明における移動体は、カテーテルや、ステント、コイルでもよい。
●本装置の構成
図2は、本装置1の機能ブロック図である。
本装置1は、記憶部11と、形状線取得部12と、レジストレーション部13と、平面位置特定部14と、投影直線特定部15と、立体位置推定部16と、判定部17と、通信部18と、を有してなる。
本装置1は、パーソナルコンピュータなどで実現される。本装置1では、本発明にかかる情報処理プログラム(以下「本プログラム」という。)が動作して、本プログラムが本装置1のハードウェア資源と協働して、後述する本発明にかかる情報処理方法(以下「本方法」という。)を実現する。
なお、図示しないコンピュータに本プログラムを実行させることで、同コンピュータを本装置1と同様に機能させて、同コンピュータに本方法を実行させることができる。
記憶部11は、本装置1が後述する本方法を実行するために必要な情報を記憶する。記憶部11は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録装置や、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、などにより構成される。
形状線取得部12は、血管BVの立体画像に基づいて、血管BVの中心線C1を取得する。血管BVの中心線C1は、本発明における管体の形状を示す形状線の例である。形状線取得部12は、例えば、細線化アルゴリズムなど公知の細線化手段を用いて、血管BVの立体画像から血管BVの中心線C1を取得する。
形状線取得部12は、取得した血管BVの中心線C1を複数の微小な線分(曲線)に分割し、各線分の端点を線分同士を接続する節点として特定する。その結果、中心線C1は、複数の微小な線分と、線分同士を接続する複数の節点と、を含む。
「微小な線分」は、例えば、1つの曲率半径を有する円弧状の線分である。
なお、微小な線分は、中心線を均等に分割した線分でもよい。すなわち、例えば、微小な線分は、複数の曲率半径を有する曲線状の線分でもよい。
図3は、形状線取得部12により取得される血管BVの中心線C1を示す模式図である。
図中、黒塗りの丸「●」は中心線C1に含まれる節点を示し、二点鎖線は血管BVの立体画像の輪郭線を示す。同図は、中心線C1が複数の微小な線分(曲線)に分割されていて、同線分同士が複数の節点で接続されていることを示す。
このように、中心線C1を複数の微小な線分に分割することにより、本装置1は、各線分の端点(節点)において、局所座標系を特定し、弧長パラメータを算出することができる。局所座標系と弧長パラメータとについては、後述する
図2に戻る。
レジストレーション部13は、X線透視画像の位置情報と、立体画像の位置情報と、に基づいて、X線透視画像と立体画像との位置合わせ(レジストレーション)をする。レジストレーション部13は、例えば、X線透視画像内の血管BVの輪郭線の位置情報と、立体画像内の血管BVの輪郭線の位置情報と、を抽出し、抽出した輪郭線の位置情報に基づいて、X線透視画像と立体画像との位置合わせをする。このとき、レジストレーション部13は、例えば、公知の2D/3Dレジストレーションアルゴリズムを用いて、X線透視画像と立体画像との位置合わせをする。
「X線透視画像の位置情報」や「立体画像の位置情報」は、例えば、画像を構成するピクセル(画素)に割り当てられる座標や、輝度、明度などの情報である。「立体画像の位置情報」は、例えば、画像を構成するいわゆるボクセルに割り当てられる座標や、輝度、明度などの情報である。
図4は、レジストレーション部13により、立体画像の位置とX線透視画像との位置が合わされた状態を示す模式図である。
同図は、立体画像内の血管BVの位置(向き)がX線透視画像内の血管BVの位置に合わされた状態を示す。
図2に戻る。
平面位置特定部14は、血管BVの内部を移動するガイドワイヤ7のX線透視画像内の位置を取得する。平面位置特定部14は、例えば、テンプレートマッチングなどの公知の画像処理アルゴリズムを用いて、ガイドワイヤ7のX線透視画像内の位置を取得する。
投影直線特定部15は、X線照射装置2のX線源21と、X線透視画像内の位置が特定されたガイドワイヤ7の一部(すなわち、スクリーン22に投影されたガイドワイヤ7の一部)と、を結ぶ直線(以下「投影直線」という。)C2を特定する。本実施の形態では、投影直線特定部15は、X線源21と、ガイドワイヤ7の進行方向におけるガイドワイヤ7の先端部71と、を結ぶ投影直線C2を特定する。
投影直線特定部15は、特定した投影直線C2を複数の微小な線分(直線)に分割し、各線分の端点を、線分同士を接続する節点として設定する。その結果、投影直線C2は、複数の微小な線分と、線分同士を接続する複数の節点と、を含む。
なお、本発明における投影直線特定部は、血管内治療器具の種類や形状などに応じて、投影直線を特定してもよい。すなわち、例えば、本発明における投影直線特定部は、線源と、血管内治療器具の形状に特徴ある部分(凹凸や孔など)と、を結ぶ直線を投影直線として特定してもよい。
図5は、投影直線特定部15により特定される投影直線C2の模式図である。
図中、黒塗りの四角「■」は、投影直線C2に含まれる節点を示す。同図は、投影直線C2が複数の微小な線分(直線)に分割されていて、同線分同士が複数の節点で接続されていることを示す。
図2に戻る。
立体位置推定部16は、血管内治療器具(先端部71)の立体画像内の位置を推定する。先端部71の立体画像内の位置の推定方法については、後述する。
判定部17は、立体位置推定部16が推定した位置が血管内治療器具(先端部71)の立体画像内(血管BVの内部)の位置であるか否かを判定する。先端部71の位置の判定方法については、後述する。
形状線取得部12と、レジストレーション部13と、平面位置特定部14と、投影直線特定部15と、立体位置推定部16と、判定部17とは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)などのプロセッサや、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などの集積回路により構成される。
なお、本発明における形状線取得部と、レジストレーション部と、平面位置特定部と、投影直線特定部と、立体位置推定部と、判定部とは、共通するプロセッサや集積回路により構成されてもよく、あるいは、個別のプロセッサや集積回路により構成されてもよい。
通信部18は、通信ネットワーク4を介して画像記憶装置5に接続されて、画像記憶装置5からX線透視画像と立体画像とを受信(取得)する。通信部18は、ディスプレイ6に接続されて、後述する制御情報や、(立体画像と位置合わせをされた)X線透視画像をディスプレイ6に送信する。通信部18は、例えば、LANコネクタや、DVI(Digital Visual Interface)コネクタなどを備えるインターフェースである。
●局所座標系と弧長パラメータ
次に、局所座標系と弧長パラメータとについて説明する。
図6は、中心線C1と、弧長パラメータと局所座標系と、の関係を示す模式図である。
「弧長パラメータ」は、中心線C1における基準点から所定の節点までの距離を示すパラメータであり、中心線C1や中心線C1を構成する微小な線分に微分幾何学を適用することにより算出される。すなわち、本装置1は、弧長パラメータを算出することにより、中心線C1における基準点から所定の節点までの距離を算出することができる。「基準点」は、中心線C1における、ガイドワイヤ7が挿入された血管BVの位置に対応する点である。
「局所座標系」は、中心線C1に含まれる所定の節点を原点とする座標系である。局所座標系は、第1軸e1と第2軸e2と第3軸e3とを含む。「第1軸e1」は、中心線C1の節点における接線方向を示す軸である。「第2軸e2」は、中心線C1の節点における曲率中心点に向かう方向を示す軸である。「第3軸e3」は、第1軸e1と第2軸e2とに直交する軸であり、中心線C1の曲がる角度(位相)を示す軸である。すなわち、局所座標系における第2軸e2と第3軸e3とからなる座標平面は、原点となる節点を含む血管BVの長さ方向に直交する断面が属する平面である。各軸e1−e3の大きさは、中心線C1や中心線C1を構成する微小な線分に微分幾何学を適用することにより算出される。
同図は、基準点P1から所定の節点P4までの中心線C1に沿った長さ、すなわち、基準点P1から節点P4までの血管BVの長さ、が節点P4の弧長パラメータSであることを示す。
●画像処理方法●
次に、本装置1が実行する本方法の実施の形態について説明する。
図7は、本方法の実施の形態を示すフローチャートである。
本方法は、位置決定処理(S1)と信頼性判定処理(S2)とを有してなる。本装置1は、位置決定処理(S1)により、ガイドワイヤ7の先端部71の立体画像内の位置を決定し、信頼性判定処理(S2)により、決定した位置の信頼性(精度)を判定する。
●位置決定処理
先ず、本装置1は、位置決定処理(S1)を実行して、ガイドワイヤ7の先端部71の立体画像内の位置を決定する。
図8は、位置決定処理(S1)のフローチャートである。
本装置1は、通信部18を用いて、被検体の血管BVの立体画像を画像記憶装置5から取得する(S101)。血管BVの立体画像は、予め立体画像取得装置3により取得されて、画像記憶装置5に記憶されている。取得された血管BVの立体画像は、同立体画像の位置情報と共に記憶部11に記憶される。
次いで、本装置1は、形状線取得部12を用いて、血管BVの中心線C1を取得する(S102)。形状線取得部12は、血管BVの立体画像に基づいて中心線C1を取得すると共に、中心線C1を複数の微小な線分に分割し、線分同士を接続する複数の節点を特定する。中心線C1は、中心線C1の基となる立体画像の位置情報や、線分・節点の情報と関連付けられて、記憶部11に記憶される。
次いで、本装置1は、通信部18を用いて、血管BVの立体画像の位置合わせをするためのX線透視画像(以下「第1画像」という。)を画像記憶装置5から取得する(S103)。第1画像は、同第1画像の位置情報と共に記憶部11に記憶される。このとき、本装置1は、第1画像を撮像した時のX線源21とスクリーン22それぞれの位置情報も取得して、同位置情報を第1画像と関連付けて記憶部11に記憶する。
次いで、本装置1は、レジストレーション部13を用いて、立体画像と第1画像との位置合わせをする(S104)。レジストレーション部13は、前述のとおり、公知の2D/3Dレジストレーションアルゴリズムを用いて、第1画像と立体画像との位置合わせをする。第1画像と位置合わせをされた立体画像の位置情報は、記憶部11に記憶される。
次いで、本装置1は、通信部18を用いて、画像記憶装置5から先端部71のX線透視画像内の位置を特定するためのX線透視画像(以下「第2画像」という。)を画像記憶装置5から取得する(S105)。第2画像は、第1画像と同条件、すなわち、第1画像が撮像されたときのX線源21とスクリーン22それぞれの位置が保たれた状態、で撮像される。第2画像は、記憶部11に記憶される。このとき、本装置1は、第2画像を撮像した時のX線源21とスクリーン22それぞれの位置情報も取得して、同位置情報を第2画像と関連付けて記憶部11に記憶する。
なお、本装置は、既に取得した第1画像を第2画像として用いてもよい。
次いで、本装置1は、平面位置特定部14を用いて、血管BVの内部を移動する先端部71の第2画像内の位置を特定する(S106)。平面位置特定部14は、前述のとおり、公知の画像処理アルゴリズムを用いて、先端部71の第2画像内の位置を特定する。特定された先端部71の第2画像内の位置は、記憶部11に記憶される。
なお、平面位置特定部は、X線透視画像の経時変化に基づいて、先端部のX線透視画像内の位置を特定してもよい。すなわち、例えば、平面位置特定部は、時系列に沿って撮像された2つのX線透視画像の差分を検知して、同差分がある位置を先端部の位置として特定する。
次いで、本装置1は、平面位置特定部14を用いて、先端部71が移動したか否かを判定する(S107)。
先端部71が移動していないとき(S107の「No」)、本装置1は、処理105−107を繰り返す。
先端部71が移動したとき(S107の「Yes」)、本装置1は、投影直線特定部15を用いて、投影直線C2を特定する(S108)。投影直線特定部15は、第2画像と関連付けて記憶部11に記憶されているX線源21とスクリーン22それぞれの位置情報と、平面位置特定部14が特定した先端部71の第2画像内の位置と、に基づいて、X線源21と、第2画像内の先端部71(すなわち、スクリーン22に投影された先端部71)と、を結ぶ投影直線C2を特定する。投影直線特定部15は、投影直線C2を複数の微小な線分に分割し、線分同士を接続する複数の節点を特定する。投影直線C2は、線分・節点の情報と関連付けられて、記憶部11に記憶される。
次いで、本装置1は、立体位置推定部16を用いて、先端部71の立体画像内の位置を推定する(S109)。立体位置推定部16は、投影直線C2に含まれる複数の節点のうち、中心線C1との距離が最短である節点(以下「最短点」という。)k(図8参照)を特定する。最短点kは、投影直線C2上において、先端部71が存在する可能性が最も高い位置である。立体位置推定部16は、最短点kの位置を、先端部71の立体画像内の位置として推定する。特定された最短点kの位置情報は、記憶部11に記憶される。
次いで、本装置1は、判定部17を用いて、中心線C1に含まれる節点のうち、最短点kとの距離が最短である節点(以下「最短中心点」という。)i(図8参照)を特定する(S110)。特定された最短中心点iの位置情報は、記憶部11に記憶される。
図9は、立体位置推定部16による先端部71の立体画像内の位置の推定処理の内容を示す模式図である。
同図は、中心線C1に含まれる複数の節点のうち最短中心点iを白抜きの丸で示し、投影直線C2に含まれる複数の節点のうち最短点kを白抜きの四角で示す。
図8に戻る。
次いで、本装置1は、判定部17を用いて、最短中心点iにおける血管BVの断面を特定する(S111)。本装置1は、前述のとおり、形状線取得部12を用いて中心線C1を取得した際に、各節点の情報と、中心線C1の基となる立体画像の位置情報と、を関連付けて記憶部11に記憶する。すなわち、判定部17は、最短中心点iにおける血管BVの断面が属する座標平面を特定することにより、最短中心点iにおける血管BVの断面を特定することができる。血管BVの断面は、前述のとおり、節点を原点とする局所座標系の第2軸e2と第3軸e3とからなる座標平面上に位置する。そのため、判定部17は、最短中心点iを原点とする局所座標系を特定することにより、最短中心点iにおける血管BVの断面を特定することができる。特定された血管BVの断面の情報は、最短中心点iや局所座標系の情報に関連付けられて、記憶部11に記憶される。
次いで、本装置1は、判定部17を用いて、最短点kが最短中心点iにおける血管BVの断面に含まれるか否かを判定する(S112)。中心線C1を分割した線分が十分に小さいとき、最短点kは、最短中心点iを原点とする局所座標系において、第2軸e2と第3軸e3とからなる座標平面上に位置する。すなわち、最短点kの位置は、e2ベクトルとe3ベクトルとを用いて表現される。換言すれば、局所座標系における断面内の最短点kの位置は、第2軸e2の方向における最短中心点iから最短点kまでの距離と、第3軸e3の方向における最短中心点iから最短点kまでの距離と、を含む。判定部17は、最短中心点iを原点とする局所座標系における最短点kの座標(極座標)を算出することにより、最短点kが最短中心点iにおける血管BVの断面に含まれるか否かを判定する。判定結果は、記憶部11に記憶される。
図10は、最短中心点iにおける、局所座標系と、血管BVの断面と、最短点kと、の関係を示す模式図である。
図中、二点鎖線は、血管BVの断面の輪郭線を示す。同図は、血管BVの断面が局所座標系の第2軸e2と第3軸e3とからなる座標平面上に位置し、最短点kが第2軸e2と第3軸e3とからなる座標平面上に位置する、ことを示す。
図8に戻る。
最短点kが最短中心点iにおける血管BVの断面に含まれるとき(S112の「Yes」)、判定部17は、最短点kが立体画像内(血管BVの内部)における先端部71の位置であると判定し、最短点kを先端部71の立体画像内の位置として決定する(S113)。すなわち、最短点kが血管BVの断面に含まれるとき、最短点kは、最短中心点iにおける血管BVの内部における先端部71の位置である。
最短点kは、前述のとおり、最短中心点iを原点とする局所座標系の第2軸e2と第3軸e3とからなる座標平面上、かつ、血管BVの断面内に位置する。すなわち、最短点kは、最短中心点iを中心とする血管BVの断面内に、最短中心点iと並んで配置される。そのため、判定部17は、基準点から最短中心点iまでの弧長パラメータ(すなわち、中心線C1上における基準点から最短中心点iまでの距離)を、先端部71が血管BVの内部を進行した距離とみなす。
このように、判定部17は、中心線C1の基準点から最短中心点iまでの中心線C1上の位置(弧長パラメータ)と、最短中心点iを原点とする局所座標系における断面内の最短点kの位置(e2ベクトル:半径、e3ベクトル:角度(位相))と、を特定し、中心線C1上の位置と、局所座標系における最短点kの位置と、を先端部71の位置として決定する。最短点kの位置情報(弧長パラメータ、半径、角度)は、先端部71の立体画像内の位置を示す情報として記憶部11に記憶される。
一方、最短点kが最短中心点iにおける血管BVの断面に含まれないとき(S112の「No」)、判定部17は、最短点kが先端部71の立体画像内の位置ではないと決定する(S114)。
このように、本装置1は、中心線C1の局所座標系を用いて、先端部71の位置を推定する。前述のとおり、局所座標系の第2軸e2は中心線C1(血管BV)の曲がる部分の曲率中心点に向かう方向を示す軸であり、第3軸e3は中心線C1(血管BV)の曲がる角度(方向)を示す軸である。そのため、本装置1は、本方法により算出される第2軸e2と第3軸e3とを、術者に対して報知することにより、術者の血管内治療器具の操作の支援や、血管形状の把握の支援を行うことができる。また、本装置1は、第2軸e2や第3軸e3の方向を計算する過程において中心線C1の曲率や曲率半径(最短中心点iから曲率中心点までの距離)、捩率(第2軸e2を微分して算出された値を、第3軸e3と内積することにより得られる値)を算出することができる。そのため、本装置1は、中心線C1の曲率や曲率半径、捩率を術者に対して報知することにより、術者への注意喚起や術者の血管内治療器具の操作の支援などを行うことができる。この場合、算出された曲率や曲率半径、捩率などの情報は、中心線C1の情報に関連付けられて記憶部11に記憶される。
●信頼性判定処理
次いで、本装置1は、信頼性判定処理(S2)を実行して、位置決定処理(S1)により決定された先端部71の立体画像内の位置の信頼性を判定する。
図11は、信頼性判定処理(S2)のフローチャートである。
図12は、信頼性判定処理(S2)における血管BVと投影直線C2との関係を示す模式図である。
先ず、本装置1は、判定部17を用いて、投影直線C2に含まれる複数の節点のうち、最短中心点iにおける血管BVの断面の輪郭線に位置する複数(本実施の形態では2つ)の節点(以下「輪郭点」という。)を特定する(S201)。
「血管BVの断面の輪郭線に位置する節点」は、輪郭線上に位置する節点、または、輪郭線に最も近い節点である。すなわち、例えば、輪郭線上に位置する節点がないとき、判定部17は、輪郭線に最も近い節点を輪郭点として特定する。
次いで、本装置1は、判定部17を用いて、複数の輪郭点のうち、X線源21から近位の輪郭点を近位点pとして特定し、X線源21から遠位の輪郭点を遠位点qとして特定する(S202)。特定された近位点pと遠位点qそれぞれの位置情報は、記憶部11に記憶される。
次いで、本装置1は、判定部17を用いて、近位点pと遠位点qとの間の投影直線C2上の距離(以下「輪郭距離」という。)L1を算出する(S203)。算出された輪郭距離L1は、記憶部11に記憶される。
次いで、本装置1は、判定部17を用いて、輪郭距離L1に基づく先端部71の位置の信頼性を判定する(S204)。
ここで、処理S109で推定されて処理S113で決定された最短点kは、前述のとおり、投影直線C2上で先端部71が存在する可能性が最も高い位置である。一方、投影直線C2上における近位点pと遠位点qとの間は、投影直線C2上で先端部71が存在する可能性のある位置である。すなわち、輪郭距離L1が長くなると、先端部71が存在する可能性のある範囲が広くなる。換言すれば、判定部17が決定した先端部71の位置の信頼性は、輪郭距離L1が長くなると下がり、輪郭距離L1が短くなると上がる。
輪郭距離L1に基づく先端部71の位置の信頼性の判定は、種々の方法で実行される。すなわち、例えば、判定部17は、輪郭距離L1の絶対値に基づいて、最短点kが先端部71の立体画像内の位置であることの信頼性を判定する。
なお、本発明における判定部は、輪郭距離の絶対値を所定の閾値と比較して、その大小により先端部の位置の信頼性を判定してもよい。この場合、所定の閾値は、予め記憶部に記憶される。また、例えば、同判定部は、血管の断面の径に対する輪郭距離の相対比により先端部の位置の信頼性を判定してもよい。さらに、例えば、同判定部は、輪郭距離内に存在する節点の数により先端部の信頼性を判定してもよい。
次いで、本装置1は、算出した輪郭距離L1と、同輪郭距離L1に基づく先端部71の位置の信頼性の判定結果と、を最短点kの位置に関連付けて記憶部11に記憶する(S205)。
●実施例●
次に、以上説明した本装置1の実施の形態に基づく具体的な実施例について、ガイドワイヤモデルを血管モデルに挿入したときの数値解析を例に説明する。
本実施例において、数値解析に用いられる各条件は、以下のとおりである。
ガイドワイヤの直径は0.3mmであり、ガイドワイヤのヤング率は20GPaである。血管モデルはYZ平面上に展開されるため、血管モデルの中心線は、YZ平面上に存在する。X線源はX軸上に存在し、その位置座標はX=400mm、Y,Z=0mmである。すなわち、X線は、血管モデルが展開されるYZ平面に対して、垂直方向から照射される。このときのX線照射角度は、理想的なX線照射角度である。スクリーンはX軸上に存在し、その位置座標は、X=−400mm、Y,Z=0mmである。すなわち、スクリーンは、X軸上においてX線源から800mm離れた位置に配置される。
ここで、スクリーンのX軸上の位置と、スクリーンが取得するX線透視画像と、の関係は、相似関係である。そのため、スクリーンの位置がX線源の位置から単位距離(1mm)離れていると仮定すると、3次元空間中のガイドワイヤの先端部の位置(x、y、z)と、スクリーンに投影された同先端部の位置(u,v)の間には、以下の式1の関係が成立する。
(式1)
Figure 2019150358
式1において、λは任意の定数であり、Pは3行4列の行列である。
式1のP行列の各要素は、3次元位置が既知の点について、3次元位置と、スクリーン上に投影された位置と、の関係を求めることにより算出される。
本実施例では、X線源はX=400mm、Y,Z=0mmに存在し、スクリーンはX=−400mm、Y,Z=0mmに存在していると仮定する。そのため、P行列は、以下の式2のように表される。
(式2)
Figure 2019150358
式2で表されるP行列は、3次元空間中の点をスクリーン上の点に投影する変換を意味する。そのため、数値計算により得られたガイドワイヤの先端部の3次元位置に基づいて、仮想のX線透視画像が得られる。
本実施例は、仮想のX線透視画像上のガイドワイヤの先端部の位置に基づいて、本方法を用いて推定した先端部の3次元空間中での位置(以下「仮想位置」という。)を、正解値として定めた先端部の3次元位置と比較して、仮想位置と正解値との誤差と、仮想位置の信頼性と、を評価する。評価結果を表1に示す。
Figure 2019150358
表中の角度は、理想的なX線照射角度(0度)からY軸とZ軸それぞれを回転軸としてX線照射角度を回転させた角度を示す。表中、半径は局所座標系の第2軸e2を示し、角度は第3軸e3を示す。表中の信頼性の指標は、輪郭距離L1の長さを示す。
一般的に、ガイドワイヤの直径は0.3mm程度であり、術者はガイドワイヤを約1mm単位で操作する。表1に示されるように、弧長パラメータと半径とは、理想的なX線照射角度(0度)においては十分な精度で推定されており、1つの軸に対して50度回転したX線照射角度においても同様である。一方、角度は、理想的なX線照射角度においては十分な精度で推定されているが、1つの軸に対して50度回転したX線照射角度においては約30度ずれている。しかし、360度に対して30度のずれは、実用上、許容される誤差である。信頼性の指標は、表1に示されるように、理想的なX線照射角度から回転軸が増えるごとに大きくなる。すなわち、本方法により推定される仮想位置の信頼性は、X線照射角度が理想的なX線照射角度からずれる角度に応じて、低下する。
●まとめ
以上説明した実施の形態によれば、本装置1は、血管BVを3次元空間中の曲線(中心線C1)として捉え、血管BV内の先端部71の位置を中心線C1と投影直線C2との幾何学的な関係に置き換ることにより、先端部71の立体画像内の位置を推定する。換言すれば、本装置1は、3次元空間中に存在する曲線(中心線C1)と直線(投影直線C2)との間で最小距離となる2点(最短点k、最短中心点i)を決定することにより、先端部71の立体画像内の位置を推定する。その結果、本装置1は、血管を3次元形状を有するモデルとして捉える従来の技術と比較して、血管BV内の血管内治療器具(ガイドワイヤ7の先端部71)の位置の推定の計算に掛かる処理負担を軽減することができる。
また、以上説明した実施の形態によれば、本装置1は、輪郭距離L1に基づいて、最短点kが先端部71の立体画像内の位置であることの信頼性を判定する。すなわち、本装置1は、血管BV内の血管内治療器具(ガイドワイヤ7の先端部71)の位置の推定の計算に掛かる処理負担を軽減すると共に、推定結果の信頼性を判定することができる。
さらに、以上説明した実施の形態によれば、本装置1は、先端部71の立体画像内の位置を推定する過程で局所座標系の第2軸e2と第3軸e3とを特定する。そのため、本装置1は、第2軸e2と第3軸e3とを、術者に対して報知することにより、術者の血管内治療器具の操作の支援(例えば、ナビゲーション)や、血管形状の把握の支援を行うことができる。
さらにまた、本装置1は、第2軸e2や第3軸e3の方向を計算する過程において中心線C1の曲率や曲率半径(最短中心点iから曲率中心点までの距離)、捩率を算出することができる。そのため、本装置1は、中心線C1の曲率や曲率半径、捩率を術者に対して報知することにより、術者への注意喚起や術者の血管内治療器具の操作の支援などを行うことができる。
なお、以上説明した実施の形態では、本装置1が実行する本方法は、信頼性判定処理(S2)を含む。これに代えて、本装置は、信頼性判定処理を実行しなくてもよい。
また、本装置は、判定部を用いて、外部装置の動作を制御する制御情報を生成してもよい。すなわち、例えば、判定部は、中心線の所定の節点を原点とする局所座標系の第2軸の方向における同節点から曲率中心点までの距離(曲率半径)に基づいて、ディスプレイに報知情報を表示させる制御情報を生成する。報知情報は、例えば、血管の曲率の小さい部分(すなわち、血管が急角度で曲がる部分)を術者に対して報知する情報である。本装置は、通信部を用いて、同制御情報をディスプレイに送信し、ディスプレイに報知情報を表示させる。術者は、ディスプレイに表示された報知情報を確認することで、例えば、血管を傷つけないように、血管内治療器具の血管内の移動速度を下げる。
さらに、判定部は、最短中心点を原点とする局所座標系の第2軸の方向における最短中心点から曲率中心点までの距離の経時変化に基づいて、ディスプレイに報知情報を表示させる制御情報を生成してもよい。換言すれば、判定部は、血管内治療器具の現在位置における血管の曲率の程度に応じて、制御情報を生成してもよい。この場合、報知情報は、例えば、術者に対して血管内治療器具の操作に対する注意を喚起する情報である。判定部は、例えば、血管の曲率が所定の閾値以下のとき制御情報を生成し、血管の曲率が所定の閾値より大きいとき制御情報を生成しない。その結果、本装置は、血管の曲率が所定の閾値以下のときのみディスプレイに報知情報を表示させ、術者に対して血管内治療器具の操作に対する注意を喚起することができる。所定の閾値は、予め記憶部に記憶される。
図13は、本装置により制御されるディスプレイの表示の例を示す模式図である。
同図は、血管の曲率が所定の閾値より大きく、本装置からディスプレイに制御情報が送信されていないことを示す。
図14は、本装置により制御されるディスプレイの表示の別の例を示す模式図である。
同図は、血管の曲率が所定の閾値以下であり、本装置からディスプレイに制御情報が送信され、術者に対して血管内治療器具の操作に対する注意を喚起する情報として「!」が表示されていることを示す。
さらにまた、判定部は、最短中心点を原点とする局所座標系において算出される、中心線の捩率や、捩率の経時変化、に基づいて、制御情報を生成してもよい。換言すれば、判定部は、血管内治療器具の現在位置(最短点)における血管(最短中心点)の捩率の程度に応じて、制御情報を生成してもよい。この場合、本装置は、前述した血管の曲率を利用する場合と同様に、血管の捩率の程度に応じて、術者に対して血管内治療器具の操作に対する注意を喚起することができる。
さらにまた、本装置は、血管内治療器具を血管の内部で移動させる移動装置(例えば、手術ロボット)に接続されて、同移動装置の移動動作を変更させる制御情報を生成してもよい。移動装置は、本発明における外部装置の例である。すなわち、例えば、判定部は、血管の曲率が所定の閾値以下のとき移動装置が血管内治療器具を移動させる速度(移動速度)を下げる制御情報を生成し、血管の曲率が所定の閾値より大きいとき移動速度を戻す(上げる)制御情報を生成する。その結果、移動装置は、血管が急角度で曲がる部分など、血管内治療器具を慎重に移動させる必要がある部分において、血管内治療器具をゆっくり移動させることができる。所定の閾値は、予め記憶部に記憶される。
さらにまた、形状線取得部は、外部の装置により特定された血管の中心線の位置情報を、通信ネットワークを介して取得してもよい。
●本実施の形態にかかる画像処理装置のまとめ●
以上説明した本実施の形態にかかる画像処理装置の特徴について、以下にまとめて記載しておく。
(特徴1)
線源(X線源21)から照射された放射線(X線)が管体(血管BV)を透過して形成される前記管体の平面画像(X線透視画像)の位置情報と、
前記管体の立体画像の位置情報と、
が記憶される記憶部(記憶部11)と、
前記立体画像に基づいて、前記管体の形状を示す形状線(中心線C1)を取得する形状線取得部(形状線取得部12)と、
前記平面画像の位置情報と、前記立体画像の位置情報と、に基づいて、前記平面画像と前記立体画像との位置合わせをするレジストレーション部(レジストレーション部13)と、
前記管体の内部を移動する移動体(ガイドワイヤ7の先端部71)の前記平面画像内の位置を特定する平面位置特定部(平面位置特定部14)と、
前記線源と、前記平面画像内の位置が特定された前記移動体と、を結ぶ投影直線(投影直線C2)を特定する投影直線特定部(投影直線特定部15)と、
前記投影直線に含まれる複数の点(節点)のうち、前記形状線との距離が最短である最短点(最短点k)の位置を、前記移動体の前記立体画像内の位置として推定する立体位置推定部(立体位置推定部16)と、
を有してなる、
ことを特徴とする画像処理装置(本装置1)。
(特徴2)
前記最短点が前記移動体の前記立体画像内の位置であることを判定する判定部(判定部17)、
を備え、
前記判定部は、
前記形状線に含まれる複数の点のうち、前記最短点との距離が最短である最短中心点(最短中心点i)を特定し、
前記最短中心点における前記管体の断面を特定し、
前記最短点が前記断面に含まれるか否かを判定し、
前記最短点が前記断面に含まれるとき、前記最短点を前記移動体の前記立体画像内の位置として決定する、
特徴1記載の画像処理装置。
(特徴3)
前記判定部は、
前記投影直線に含まれる複数の点のうち、前記断面の輪郭線に位置する複数の輪郭点を特定し、
前記複数の輪郭点のうち、前記線源から近位の輪郭点を近位点(近位点p)として特定し、
前記複数の輪郭点のうち、前記線源から遠位の輪郭点を遠位点(遠位点q)として特定し、
前記近位点と前記遠位点との間の前記投影直線上の輪郭距離(輪郭距離L1)を算出し、
前記輪郭距離に基づいて、前記最短点が前記移動体の前記立体画像内の位置であることの信頼性を判定する、
特徴2記載の画像処理装置。
(特徴4)
前記判定部は、
前記形状線の基準点から前記最短中心点までの前記形状線上の位置と、
前記最短中心点を原点とする局所座標系における前記断面内の前記最短点の位置と、
を特定し、
前記形状線上の位置と、前記局所座標系における前記断面内の前記最短点の位置と、を前記移動体の位置として決定する、
特徴2記載の画像処理装置。
(特徴5)
前記局所座標系は、
前記形状線の前記最短中心点における接線方向を示す第1軸(第1軸e1)と、
前記形状線の前記最短中心点における曲率中心点に向かう方向を示す第2軸(第2軸e2)と、
前記第1軸と前記第2軸とに直交する第3軸(第3軸e3)と、
を含む、
特徴4記載の画像処理装置。
(特徴6)
前記局所座標系における前記断面内の前記最短点の位置は、
前記第2軸の方向における前記最短中心点から前記最短点までの距離と、
前記第3軸の方向における前記最短中心点から前記最短点までの距離と、
を含む、
特徴5記載の画像処理装置。
(特徴7)
外部装置(ディスプレイ6、移動装置)と接続し、
前記判定部は、少なくとも、前記第2軸の方向における前記最短中心点から前記曲率中心点までの距離、または、前記最短中心点における捩率、のいずれか一方に基づいて、前記外部装置の動作を制御する制御情報を生成する、
特徴6記載の画像処理装置。
(特徴8)
前記制御情報は、少なくとも、前記第2軸の方向における前記最短中心点から前記曲率中心点までの距離、または、前記最短中心点における捩率、のいずれか一方の経時変化に基づいて生成される、
特徴7記載の画像処理装置。
(特徴9)
前記外部装置は、前記立体画像と位置合わせをされた前記平面画像が表示されるディスプレイであり、
前記制御情報は、前記ディスプレイに報知情報を表示させる情報である、
特徴7記載の画像処理装置。
(特徴10)
前記外部装置は、前記移動体を前記管体の内部で移動させる移動装置であり、
前記制御情報は、前記移動装置に前記移動体の移動動作を変更させる情報である、
特徴7記載の画像処理装置。
(特徴11)
前記平面位置特定部は、前記平面画像の経時変化に基づいて、前記移動体の前記平面画像内の位置を特定する、
特徴1記載の画像処理装置。
(特徴12)
前記投影直線特定部は、前記線源の位置情報と、前記平面画像内の位置が特定された前記移動体の位置情報と、に基づいて、前記投影直線を特定する、
特徴1記載の画像処理装置。
(特徴13)
前記レジストレーション部は、
前記平面画像の位置情報に基づいて、前記管体の輪郭線の位置情報を抽出し、
前記輪郭線の位置情報に基づいて、前記平面画像と前記立体画像との位置合わせをする、
特徴1記載の画像処理装置。
(特徴14)
前記放射線は、X線であり、
前記管体は、血管であり、
前記形状線は、前記管体の中心線である、
特徴1記載の画像処理装置。
(特徴15)
前記平面位置特定部は、前記移動体の一部の位置を前記移動体の前記平面画像内の位置として特定する、
特徴1記載の画像処理装置。
1 画像処理装置
11 記憶部
12 形状線取得部
13 レジストレーション部
14 平面位置特定部
15 投影直線特定部
16 立体位置推定部
17 判定部
18 通信部
2 X線照射装置
21 X線源(線源)
22 スクリーン
3 立体画像取得装置
4 通信ネットワーク
5 画像記憶装置
6 ディスプレイ(外部装置)
7 ガイドワイヤ
71 先端部
BV 血管
C1 中心線
C2 投影直線
i 最短中心点
k 最短点
p 近位点
q 遠位点

Claims (17)

  1. 線源から照射された放射線が管体を透過して形成される前記管体の平面画像の位置情報と、
    前記管体の立体画像の位置情報と、
    が記憶される記憶部と、
    前記立体画像に基づいて、前記管体の形状を示す形状線を取得する形状線取得部と、
    前記平面画像の位置情報と、前記立体画像の位置情報と、に基づいて、前記平面画像と前記立体画像との位置合わせをするレジストレーション部と、
    前記管体の内部を移動する移動体の前記平面画像内の位置を特定する平面位置特定部と、
    前記線源と、前記平面画像内の位置が特定された前記移動体と、を結ぶ投影直線を特定する投影直線特定部と、
    前記投影直線に含まれる複数の点のうち、前記形状線との距離が最短である最短点の位置を、前記移動体の前記立体画像内の位置として推定する立体位置推定部と、
    を有してなる、
    ことを特徴とする画像処理装置。
  2. 前記最短点が前記移動体の前記立体画像内の位置であることを判定する判定部、
    を備え、
    前記判定部は、
    前記形状線に含まれる複数の点のうち、前記最短点との距離が最短である最短中心点を特定し、
    前記最短中心点における前記管体の断面を特定し、
    前記最短点が前記断面に含まれるか否かを判定し、
    前記最短点が前記断面に含まれるとき、前記最短点を前記移動体の前記立体画像内の位置として決定する、
    請求項1記載の画像処理装置。
  3. 前記判定部は、
    前記投影直線に含まれる複数の点のうち、前記断面の輪郭線に位置する複数の輪郭点を特定し、
    前記複数の輪郭点のうち、前記線源から近位の輪郭点を近位点として特定し、
    前記複数の輪郭点のうち、前記線源から遠位の輪郭点を遠位点として特定し、
    前記近位点と前記遠位点との間の前記投影直線上の輪郭距離を算出し、
    前記輪郭距離に基づいて、前記最短点が前記移動体の前記立体画像内の位置であることの信頼性を判定する、
    請求項2記載の画像処理装置。
  4. 前記判定部は、
    前記形状線の基準点から前記最短中心点までの前記形状線上の位置と、
    前記最短中心点を原点とする局所座標系における前記断面内の前記最短点の位置と、
    を特定し、
    前記形状線上の位置と、前記局所座標系における前記断面内の前記最短点の位置と、を前記移動体の位置として決定する、
    請求項2記載の画像処理装置。
  5. 前記局所座標系は、
    前記形状線の前記最短中心点における接線方向を示す第1軸と、
    前記形状線の前記最短中心点における曲率中心点に向かう方向を示す第2軸と、
    前記第1軸と前記第2軸とに直交する第3軸と、
    を含む、
    請求項4記載の画像処理装置。
  6. 前記局所座標系における前記断面内の前記最短点の位置は、
    前記第2軸の方向における前記最短中心点から前記最短点までの距離と、
    前記第3軸の方向における前記最短中心点から前記最短点までの距離と、
    を含む、
    請求項5記載の画像処理装置。
  7. 外部装置と接続し、
    前記判定部は、少なくとも、前記第2軸の方向における前記最短中心点から前記曲率中心点までの距離、または、前記最短中心点における捩率、のいずれか一方に基づいて、前記外部装置の動作を制御する制御情報を生成する、
    請求項6記載の画像処理装置。
  8. 前記制御情報は、少なくとも、前記第2軸の方向における前記最短中心点から前記曲率中心点までの距離、または、前記最短中心点における捩率、のいずれか一方の経時変化に基づいて生成される、
    請求項7記載の画像処理装置。
  9. 前記外部装置は、前記立体画像と位置合わせをされた前記平面画像が表示されるディスプレイであり、
    前記制御情報は、前記ディスプレイに報知情報を表示させる情報である、
    請求項7記載の画像処理装置。
  10. 前記外部装置は、前記移動体を前記管体の内部で移動させる移動装置であり、
    前記制御情報は、前記移動装置に前記移動体の移動動作を変更させる情報である、
    請求項7記載の画像処理装置。
  11. 前記平面位置特定部は、前記平面画像の経時変化に基づいて、前記移動体の前記平面画像内の位置を特定する、
    請求項1記載の画像処理装置。
  12. 前記投影直線特定部は、前記線源の位置情報と、前記平面画像内の位置が特定された前記移動体の位置情報と、に基づいて、前記投影直線を特定する、
    請求項1記載の画像処理装置。
  13. 前記レジストレーション部は、
    前記平面画像の位置情報に基づいて、前記管体の輪郭線の位置情報を抽出し、
    前記輪郭線の位置情報に基づいて、前記平面画像と前記立体画像との位置合わせをする、
    請求項1記載の画像処理装置。
  14. 前記放射線は、X線であり、
    前記管体は、血管であり、
    前記形状線は、前記管体の中心線である、
    請求項1記載の画像処理装置。
  15. 前記平面位置特定部は、前記移動体の一部の位置を前記移動体の前記平面画像内の位置として特定する、
    請求項1記載の画像処理装置。
  16. コンピュータを、請求項1乃至15のいずれかに記載の画像処理装置として機能させる、
    ことを特徴とする画像処理プログラム。
  17. 線源から照射された放射線が管体を透過して形成される前記管体の平面画像の位置情報と、
    前記管体の立体画像の位置情報と、
    が記憶される記憶部、
    を備える画像処理装置により実行される画像処理方法であって、
    前記画像処理装置が、
    前記平面画像の位置情報と、前記立体画像の位置情報と、に基づいて、前記平面画像と前記立体画像との位置合わせをするステップと、
    前記平面画像と位置合わせをされた前記立体画像に基づいて、前記管体の形状を示す形状線を特定するステップと、
    前記管体の内部を移動する移動体の前記平面画像内の位置を特定するステップと、
    前記線源と、前記平面画像内の位置が特定された前記移動体と、を結ぶ投影直線を特定するステップと、
    前記投影直線に含まれる複数の点のうち、前記形状線との距離が最短である最短点の位置を、前記移動体の前記立体画像内の位置として推定するステップと、
    を有してなる、
    ことを特徴とする画像処理方法。

JP2018038545A 2018-03-05 2018-03-05 画像処理装置と画像処理プログラムと画像処理方法 Active JP7037810B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018038545A JP7037810B2 (ja) 2018-03-05 2018-03-05 画像処理装置と画像処理プログラムと画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018038545A JP7037810B2 (ja) 2018-03-05 2018-03-05 画像処理装置と画像処理プログラムと画像処理方法

Publications (2)

Publication Number Publication Date
JP2019150358A true JP2019150358A (ja) 2019-09-12
JP7037810B2 JP7037810B2 (ja) 2022-03-17

Family

ID=67947160

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018038545A Active JP7037810B2 (ja) 2018-03-05 2018-03-05 画像処理装置と画像処理プログラムと画像処理方法

Country Status (1)

Country Link
JP (1) JP7037810B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112614094A (zh) * 2020-12-15 2021-04-06 郑州金惠计算机系统工程有限公司 基于序列状态编码的绝缘子串异常定位识别方法
JP7356714B2 (ja) 2020-05-25 2023-10-05 国立大学法人山口大学 画像処理装置と画像処理プログラムと画像処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
US20070189457A1 (en) * 2005-08-22 2007-08-16 Frank Deinzer Method for displaying a devise in a 3-D image of a volumetric data set
JP2009082468A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 画像表示装置及びx線診断治療装置
US20090279767A1 (en) * 2008-05-12 2009-11-12 Siemens Medical Solutions Usa, Inc. System for three-dimensional medical instrument navigation
JP2009268693A (ja) * 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
JP2016087139A (ja) * 2014-11-06 2016-05-23 パナソニックIpマネジメント株式会社 血管三次元モデル表示装置、方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
US20070189457A1 (en) * 2005-08-22 2007-08-16 Frank Deinzer Method for displaying a devise in a 3-D image of a volumetric data set
JP2009082468A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 画像表示装置及びx線診断治療装置
JP2009268693A (ja) * 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
US20090279767A1 (en) * 2008-05-12 2009-11-12 Siemens Medical Solutions Usa, Inc. System for three-dimensional medical instrument navigation
JP2016087139A (ja) * 2014-11-06 2016-05-23 パナソニックIpマネジメント株式会社 血管三次元モデル表示装置、方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7356714B2 (ja) 2020-05-25 2023-10-05 国立大学法人山口大学 画像処理装置と画像処理プログラムと画像処理方法
CN112614094A (zh) * 2020-12-15 2021-04-06 郑州金惠计算机系统工程有限公司 基于序列状态编码的绝缘子串异常定位识别方法
CN112614094B (zh) * 2020-12-15 2023-04-18 郑州金惠计算机系统工程有限公司 基于序列状态编码的绝缘子串异常定位识别方法

Also Published As

Publication number Publication date
JP7037810B2 (ja) 2022-03-17

Similar Documents

Publication Publication Date Title
JP6334052B2 (ja) 術中追跡方法
US9436993B1 (en) System and method for fused image based navigation with late marker placement
US10762380B2 (en) Registration system for registering an imaging device with a tracking device
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US9918798B2 (en) Accurate three-dimensional instrument positioning
JP2016513540A (ja) 手術中の位置調整および誘導を容易にするシステム
US10786309B2 (en) Radiation-free registration of an optical shape sensing system to an imaging system
EP3224804B1 (en) Apparatus for determining positions of an interventional instrument in a projection image
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
EP4070283A1 (en) Registration of an image with a tracking system
CN108430376B (zh) 提供投影数据集
JP7037810B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
US20230316550A1 (en) Image processing device, method, and program
US20220000442A1 (en) Image orientation setting apparatus, image orientation setting method, and image orientation setting program
WO2023011924A1 (en) 2d/3d image registration using 2d raw images of 3d scan
US20230138666A1 (en) Intraoperative 2d/3d imaging platform
KR20160031794A (ko) 병변 검출 장치 및 그 방법
EP3703012A1 (en) Map of body cavity
Yano et al. Accuracy verification of knife tip positioning with position and orientation estimation of the actual liver for liver surgery support system
JP7356714B2 (ja) 画像処理装置と画像処理プログラムと画像処理方法
US20210145372A1 (en) Image acquisition based on treatment device position
JP6703470B2 (ja) データ処理装置及びデータ処理方法
EP4128145B1 (en) Combining angiographic information with fluoroscopic images
US20230237711A1 (en) Augmenting a medical image with an intelligent ruler
WO2023227200A1 (en) Robotic calibration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R150 Certificate of patent or registration of utility model

Ref document number: 7037810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150