JP2023130133A - プログラム、情報処理方法、情報処理装置及びモデル生成方法 - Google Patents

プログラム、情報処理方法、情報処理装置及びモデル生成方法 Download PDF

Info

Publication number
JP2023130133A
JP2023130133A JP2022034629A JP2022034629A JP2023130133A JP 2023130133 A JP2023130133 A JP 2023130133A JP 2022034629 A JP2022034629 A JP 2022034629A JP 2022034629 A JP2022034629 A JP 2022034629A JP 2023130133 A JP2023130133 A JP 2023130133A
Authority
JP
Japan
Prior art keywords
guidewire
fluoroscopic image
guide wire
tip
hardness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022034629A
Other languages
English (en)
Inventor
朋香 栗田
Tomoka Kurita
彩加 吉本
Ayaka Yoshimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terumo Corp
Original Assignee
Terumo Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terumo Corp filed Critical Terumo Corp
Priority to JP2022034629A priority Critical patent/JP2023130133A/ja
Publication of JP2023130133A publication Critical patent/JP2023130133A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Media Introduction/Drainage Providing Device (AREA)

Abstract

【課題】血管内の閉塞部位におけるガイドワイヤの挿入位置を提示することが可能なプログラム等を提供する。【解決手段】コンピュータは、血管内の閉塞部位に先端を当接させたガイドワイヤを、患者の体外から撮影した透視画像を取得する。そして、コンピュータは、血管内の閉塞部位に先端を当接させたガイドワイヤの透視画像を入力した場合に、前記ガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力するように学習済みの学習モデルに、取得した透視画像を入力して、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力する。【選択図】図1

Description

本発明は、プログラム、情報処理方法、情報処理装置及びモデル生成方法に関する。
血管に生じた狭窄や閉塞等の病変に対する治療法として、バルーンカテーテルやステント等の治療用デバイスを経皮的に血管内に挿入し、病変を拡張する血管内治療が行われている。血管内治療において、術者は、まず、治療用デバイスを病変まで案内するガイドワイヤを血管内に挿入し、病変に通過させる。続いて、術者は、先行するガイドワイヤに沿わせて治療用デバイスを病変に通過させ、病変の治療を行う。
病変が慢性完全閉塞病変である場合、血管は、完全に閉塞している。そのため、術者は、血管内の閉塞部位に対してガイドワイヤが通過可能な部分を探し出す必要がある。慢性完全閉塞病変は、石灰化の進行が高度な硬い部分と石灰化の進行が低度な柔らかい部分とを含むことが多い。したがって、術者は、ガイドワイヤの先端を閉塞部位に押し当てて、閉塞部位の柔らかい部分を探し出し、ガイドワイヤを閉塞部位に通過させる。特許文献1では、血管内の狭窄部位において線状体が通過可能な部分を探し出すことができるデバイスが開示されている。
特開2016-163668号公報
術者は、閉塞部位に対するガイドワイヤの適切な挿入位置を探し出す操作を、ガイドワイヤの先端を閉塞部位に押し当てた際に得られる触感に基づいて行っている。そのため、術者は、高い熟練度を必要とする。熟練度が高い術者であっても、ガイドワイヤの適切な挿入位置を探し出すのに時間を要する場合があり、手技時間の短縮や患者負担の軽減が難しい。また、ガイドワイヤの閉塞部位への挿入位置が不適切であると、術者は、ガイドワイヤに過剰に押し込み力を加えてしまったり、必要以上に先端剛性の高いガイドワイヤを使用してしまったりすることがある。この場合、ガイドワイヤの先端が意図した進行方向から逸れ、血管穿孔を生じるリスクが高まる。閉塞部位が存在する血管径が小さい場合には、特許文献1に開示されるような補助デバイスを血管に挿入することは難しい。また、特許文献1に開示される補助デバイスを用いても、任意の位置の閉塞部位の硬さを把握することは難しい。したがって、閉塞部位に対するガイドワイヤの適切な挿入位置を探し出すことは、術者にとって容易ではない。
一つの側面では、血管内の閉塞部位に対するガイドワイヤの挿入位置を提示することが可能なプログラム等を提供することを目的とする。
一つの側面に係るプログラムは、血管内の閉塞部位に先端を当接させたガイドワイヤを、患者の体外から撮影した透視画像を取得し、血管内の閉塞部位に先端を当接させたガイドワイヤの透視画像を入力した場合に、前記ガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力するように学習済みの学習モデルに、取得した透視画像を入力して、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力する処理をコンピュータに実行させる。
一つの側面では、血管内の閉塞部位に対するガイドワイヤの挿入位置を提示することができる。
情報処理装置の構成例を示すブロック図である。 学習モデルの構成例を示す説明図である。 訓練データ用のX線透視画像の例を示す説明図である。 訓練データ用のX線透視画像の例を示す説明図である。 学習モデルの生成処理手順の一例を示すフローチャートである。 ガイドワイヤの挿入位置の判定処理手順の一例を示すフローチャートである。 画面例を示す説明図である。 実施形態2の学習モデルの構成例を示す説明図である。 実施形態3の学習モデルの構成例を示す説明図である。 実施形態4のガイドワイヤの挿入位置の判定処理手順の一例を示すフローチャートである。 実施形態4のガイドワイヤの挿入位置の判定処理手順の他の例を示すフローチャートである。
以下、本開示のプログラム、情報処理方法、情報処理装置及びモデル生成方法について、その実施形態を示す図面に基づいて詳述する。以下の各実施形態では、血管内治療として、冠動脈に生じた慢性完全閉塞病変の閉塞部位に対する経皮的冠動脈形成術を一例に説明する。なお、各実施形態において治療の対象とする管腔器官は、血管に限定されず、胆管、膵管、気管支、腸等の他の管腔器官であってもよい。また、各実施形態において治療の対象とする閉塞部位は、慢性完全閉塞病変の閉塞部位に限定されず、血栓によって生じた塞栓や、血管が完全に閉塞してない狭窄であってもよい。
(実施形態1)
血管内の閉塞部位に先端を当接させたガイドワイヤを撮影した画像に基づいて、ガイドワイヤの先端の当接位置での閉塞部位の硬さに関する情報を推定してユーザ(医療従事者等)に提示する情報処理装置について説明する。血管内治療では、術者は、血管造影により得られた透視画像で血管の走行や血管の状態を確認しながら、手技を行う。血管造影では、患者の血管内に造影剤を注入した後、透視画像撮影装置(血管撮影装置)を用いて患者の体外からX線を照射し、血管の走行や血管の状態が描出されたX線透視画像を得る。血管内治療において血管内に挿入されるガイドワイヤは、長軸に沿って延びるコアと、コアの少なくとも一部を覆う被覆層を備えている。コアは、ニッケル・チタン合金等の超弾性合金、ステンレス鋼等の金属で形成される。被覆層は、タングステン粉末等のX線不透過性材料を含む樹脂で形成される。また、ガイドワイヤは、先端部のコアと被覆層との間に、X線不透過性材料を含むマーカが装着されてもよい。マーカは、金、白金等のX線不透過性の金属及びそれらを含む合金で形成されたコイルやパイプで形成される。ガイドワイヤは、X線不透過性材料を含むことにより、透視画像撮影装置20によって撮影されるX線透視画像上に描出される。
図1は、情報処理装置の構成例を示すブロック図である。情報処理装置10は、種々の情報処理及び情報の送受信が可能な装置であり、例えば、サーバコンピュータ、パーソナルコンピュータ等である。情報処理装置10は、複数台設けられて分散処理する構成でもよく、1台の装置内に設けられた複数の仮想マシンによって実現されてもよい。情報処理装置10は、血管内治療を行う医療機関内に設置されて利用される。情報処理装置10をサーバコンピュータで構成する場合、情報処理装置10は、血管内治療を行う医療機関内に設置されたローカルサーバであってもよく、インターネット等のネットワークを介して通信接続されたクラウドサーバであってもよい。
情報処理装置10は、手技中に撮影されたX線透視画像に基づいて、X線透視画像中でガイドワイヤの先端の当接位置での閉塞部位の硬さを予測して提示する処理を行う。後述のように、情報処理装置10は、所定の訓練データを学習する機械学習を行い、血管内の閉塞部位にガイドワイヤの先端を当接させた状態で透視画像撮影装置20によって撮影されたX線透視画像を入力として、ガイドワイヤの先端の当接位置での閉塞部位の硬さに関する情報を出力する学習モデル12M(図2参照)を予め用意してある。そして、情報処理装置10は、手技中に透視画像撮影装置20によって撮影したX線透視画像を学習モデル12Mに入力し、入力画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さに関する情報を学習モデル12Mから取得する。ガイドワイヤは、ガイドワイヤの先端が血管内の閉塞部位に当接した際に、ガイドワイヤに付与される外力の大きさに応じてガイドワイヤの先端部の形状が変化する。ガイドワイヤの先端が血管内の閉塞部位に当接した際にガイドワイヤに付与される外力の大きさは、当接位置の硬さと相関する。したがって、本実施形態の情報処理装置10は、画像認識を行う学習モデル12Mを用いて、ガイドワイヤの先端が血管の閉塞部位に当接していない状態のガイドワイヤの先端部の形状と、ガイドワイヤの先端が閉塞部位に当接した状態のガイドワイヤの先端部の形状とを比較することにより、ガイドワイヤの先端の当接位置での閉塞部位の硬さを推定する。本実施形態において、ガイドワイヤの先端部は、ガイドワイヤの先端が血管の閉塞部位に当接していない状態(ガイドワイヤに外力が付与されていない状態)では直線形状であり、ガイドワイヤの先端が血管の閉塞部位に当接した際(ガイドワイヤに外力が付与された際)に湾曲形状となる。ガイドワイヤの先端部は、ニッケル・チタン合金等の超弾性合金で形成されており、先端を閉塞部位に当接することによって湾曲した場合であっても、先端を閉塞部位から離すと元の直線形状に戻るように構成されている。なお、ガイドワイヤの先端部は、ガイドワイヤの先端が血管の閉塞部位に当接していない状態で、アングル形状等の任意の先端形状が予め付与されていてもよい。学習モデル12Mは、先端形状が付与されたガイドワイヤであっても、閉塞部位に当接する前後のガイドワイヤの先端部の形状を比較することにより、ガイドワイヤの先端の当接位置での閉塞部位の硬さを推定できる。
情報処理装置10は、制御部11、記憶部12、通信部13、入力部14、表示部15、読み取り部16、入出力I/F17等を含み、これらの各部はバスを介して相互に接続されている。制御部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又はAIチップ(AI用半導体)等の1又は複数のプロセッサを有する。制御部11は、記憶部12に記憶してあるプログラム12Pを適宜実行することにより、情報処理装置10が行うべき種々の情報処理、制御処理等を行う。
記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク、SSD(Solid State Drive)等を含む。記憶部12は、制御部11が実行するプログラム12P(プログラム製品)及びプログラム12Pの実行に必要な各種のデータ等を予め記憶している。記憶部12は、制御部11がプログラム12Pを実行する際に発生するデータ等を一時的に記憶する。記憶部12は、例えば、機械学習によって訓練データを学習済みの学習モデル12Mを記憶している。学習モデル12Mは、X線透視画像が入力された場合に、画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さに関する情報を出力するように学習された学習済みモデルである。学習モデル12Mは、人工知能ソフトウェアを構成するプログラムモジュールとしての利用が想定される。学習モデル12Mは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部12には、学習モデル12Mが備える層の情報、各層を構成するノードの情報、ノード間の重み(結合係数)等の情報が、学習モデル12Mを定義する情報として記憶される。また、記憶部12は、学習モデル12Mの学習処理に用いる訓練データが蓄積された訓練DB12aを記憶している。学習モデル12M及び訓練DB12aは、情報処理装置10に接続された他の記憶装置に記憶されてもよく、情報処理装置10が通信可能な他の記憶装置に記憶されてもよい。また、記憶部12は、情報処理装置10が設置された医療機関を利用する患者の電子カルテデータ(診療記録)を格納するデータベースである電子カルテDB(図示せず)を記憶する構成でもよい。
通信部13は、有線通信又は無線通信によって、インターネット又はLAN(Local Area Network)等のネットワークに接続するための通信モジュールであり、ネットワークを介して他の装置との間で情報の送受信を行う。入力部14は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部11へ送出する。表示部15は、液晶ディスプレイ又は有機ELディスプレイ等であり、制御部11からの指示に従って各種の情報を表示する。入力部14及び表示部15は、一体として構成されたタッチパネルであってもよい。なお、入力部14及び表示部15は必須ではなく、情報処理装置10は、接続された端末装置を通じて操作を受け付け、表示すべき情報を外部の表示装置へ出力する構成でもよい。
読み取り部16は、CD(Compact Disc)-ROM、DVD(Digital Versatile Disc)-ROM、USB(Universal Serial Bus)メモリ、SD(Secure Digital)カード等を含む可搬型記憶媒体10aに記憶された情報を読み取る。記憶部12に記憶されるプログラム12P及び各種のデータは、制御部11が読み取り部16を介して可搬型記憶媒体10aから読み取って記憶部12に記憶してもよい。また、記憶部12に記憶されるプログラム12P及び各種のデータは、制御部11が通信部13を介して他の装置からダウンロードして記憶部12に記憶してもよい。
入出力I/F17は、透視画像撮影装置20が接続されるインタフェースである。制御部11は、入出力I/F17を介して、透視画像撮影装置20からX線透視画像を取得する。入出力I/F17は、透視画像撮影装置20のほかに、血管内に挿入されたカテーテルによって血管内部から血管の断層像を得る血管内検査装置(図示せず)が接続されていてもよい。この場合、制御部11は、入出力I/F17を介して、血管内検査装置から血管の断層像を取得する。
図2は、学習モデル12Mの構成例を示す説明図である。学習モデル12Mは、血管V内に挿入されたガイドワイヤGWが血管V内の閉塞部位Cに当接した状態で撮影されたX線透視画像を入力とし、入力されたX線透視画像に基づいて、当該画像中のガイドワイヤGW先端の当接位置での閉塞部位Cの硬さの程度を推定する演算を行い、演算した結果(硬さに関する情報)を出力するモデルである。学習モデル12Mは、例えば、深層学習によって生成されるニューラルネットワークであるCNN(Convolutional Neural Network)を用いて構成される。なお、学習モデル12Mは、CNNのほかに、決定木、ランダムフォレスト、SVM(Support Vector Machine)、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)、Transformer等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。
学習モデル12Mは、入力層、中間層及び出力層を有する。入力層には、処理対象のX線透視画像が入力される。中間層は、畳み込み層、プーリング層及び全結合層を有する。入力層を介して中間層に入力されたX線透視画像は、畳み込み層でフィルタ処理等によって画像の特徴量が抽出されて特徴マップが生成され、生成された特徴量マップがプーリング層で圧縮される。畳み込み層及びプーリング層は複数層繰り返し設けられており、複数の畳み込み層及びプーリング層によって生成された特徴マップは全結合層へ出力される。全結合層は複数層設けられており、入力された特徴マップに基づいて、各種の関数や閾値等を用いて各層のノードの出力値を算出し、算出した出力値を順次後の層のノードに入力する。全結合層は、各層のノードの出力値を順次後の層のノードに入力することにより、最終的に後段の出力層に出力値を出力する。
出力層は、全結合層からの出力値を入力(引数)とし、所定の関数を用いて出力値を算出し、算出した出力値を各出力ノードから出力する。図2に示す学習モデル12Mでは、出力層は複数の出力ノードを有しており、例えば、出力ノード0は、入力画面中のガイドワイヤGWの先端の当接位置での閉塞部位Cの硬さが第1硬さであると判別すべき判別確率を出力し、出力ノード1は、第2硬さ(第1硬さ<第2硬さ)であると判別すべき判別確率を出力し、出力ノード2は、第3硬さ(第2硬さ<第3硬さ)であると判別すべき判別確率を出力する。なお、各出力ノードに対応付けられる硬さは、学習モデル12Mによって判別させたい硬さであり、出力層には、学習モデル12Mによって判別させたい硬さの数だけ出力ノードが設けられる。複数の出力ノードのそれぞれは、0~1.0の出力値を出力し、それぞれの出力ノードから出力される出力値(判別確率)の合計は、1.0(100%)となる。
上述した構成により、学習モデル12Mは、X線透視画像が入力された場合に、画像中のガイドワイヤGWの形状(湾曲形状)に応じて、ガイドワイヤGWの先端の当接位置での閉塞部位Cの硬さに関する情報(各硬さに対する判別確率)を出力する。情報処理装置10は、上述した学習モデル12Mにおいて、出力層からの出力値のうちで最大の出力値(判別確率)を出力した出力ノードに対応付けられている硬さを、予測すべき閉塞部位Cの硬さに特定する。なお、学習モデル12Mの出力層は、それぞれの硬さに対する判別確率を出力する複数の出力ノードを有する代わりに、判別確率が最も高い硬さを出力する1個の出力ノードを有する構成でもよい。
学習モデル12Mは、訓練用のX線透視画像と、このX線透視画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さを示す情報(正解ラベル)とを含む訓練データを用いて機械学習することにより生成される。訓練データは、X線透視画像に対して、各硬さ(例えば第1硬さ、第2硬さ、第3硬さ等)を示すラベルが付与されて生成される。訓練用のX線透視画像は、訓練データ用に作成された模擬血管内の模擬閉塞部位にガイドワイヤを当接させて撮影した画像であってもよく、実際の手技中に血管内の閉塞部位にガイドワイヤを当接させた状態で撮影された画像であってもよい。なお、ガイドワイヤは市販のものが使用され、ガイドワイヤの種類は特に限定されない。
学習モデル12Mの学習処理に用いる訓練データについて説明する。図3及び図4は、訓練データ用のX線透視画像の例を示す説明図であり、図3は、模擬血管SVと模擬閉塞部位SCとを含む血管モデルVMを用いて撮影されたX線透視画像の例を示し、図4は、手技中に撮影されたX線透視画像の例を示す。図3は、模擬血管SV内に設けられた模擬閉塞部位SCにガイドワイヤGWの先端が当接した状態で撮影されたX線透視画像の例を示す。模擬血管SVは、実際の血管を模して形成された管腔体である。模擬血管SVは、管腔体の直径、壁の厚さ及び硬さ、形成材料を任意に選択できる。模擬血管SVの内径、外径、形状は、治療しようとする血管の形状に合わせて形成してもよい。模擬血管SVを形成する材料は、シリコーン樹脂を用いることが好ましい。模擬閉塞部位SCは、模擬血管SVの内腔に、実際の血管内の閉塞部位を模して形成されたハイドロゲルである。模擬閉塞部位SCは、ハイドロゲルを形成する材料や組成を任意に選択することにより、種々の硬さとすることができる。模擬閉塞部位SCを形成する材料は、アガロース、寒天、ゼラチン、ポリアクリルアミド等を用いることができる。したがって、血管モデルVMは、模擬血管SVを形成する管腔体の直径、壁の厚さ及び硬さ、模擬閉塞部位SCの硬さを適宜変更することにより、様々な閉塞部位を模すことができる。
訓練データを生成するユーザは、学習モデル12Mで判別させたい閉塞部位の硬さの範囲に応じて、複数の血管モデルVMを作成する。そして、ユーザは、作成した模擬血管SV内にガイドワイヤGWを挿入して、ガイドワイヤGWの先端を模擬閉塞部位SCに当接させた状態でX線透視画像を撮影する。ガイドワイヤGWは、ガイドワイヤGWの基端部に接続された補助装置により、あらかじめ設定した荷重で閉塞部位(模擬閉塞部位SC)に当接される。補助装置は、ガイドワイヤGWの先端を予め設定した荷重で当接させるためのフォースゲージを備えている。また、補助装置は、ガイドワイヤGW及びカテーテルの動作を制御する駆動装置を備えており、ガイドワイヤGWの長軸方向への移動と、ガイドワイヤGWの長軸周りの回転を行う機能を有する。ガイドワイヤGWの先端を模擬閉塞部位SCに当接させた状態で撮影したX線透視画像は、模擬閉塞部位SCの硬さを示す正解ラベルが割り当てられて、訓練データとして訓練DB12aに記憶される。模擬閉塞部位SCの硬さは、JISK6503や日本薬局方等に記載の方法によって測定したハイドロゲルのゼリー強度(ブルーム値)を用いることができる。なお、模擬閉塞部位SCの硬さは、ガイドワイヤGWの先端があらかじめ設定した速度と移動距離で模擬閉塞部位SCに当接した際の荷重を補助装置により計測することによって得られた計測値を用いてもよい。
ユーザは、作成した複数の血管モデルVMに対して本操作を実施することで、学習モデル12Mで判別させたい閉塞部位Cの硬さの範囲の訓練データを取得する。ガイドワイヤGWの先端を模擬閉塞部位SCに当接させた状態で撮影したX線透視画像は、ガイドワイヤGWの先端が模擬閉塞部位SCに当接する荷重を示す正解ラベルが割り当てられて、訓練データとして訓練DB12aに記憶される。このように、ユーザは、様々な硬さで形成された複数の血管モデルVMを用いて訓練データ用のX線透視画像を撮影することにより、多種類の訓練データを生成することができる。また、ユーザは、市販されている各種のガイドワイヤGWを使用して訓練データ用のX線透視画像を撮影することにより、より多種類の訓練データを生成することができる。ユーザは、このような訓練データを用いて学習モデル12Mを学習させることにより、より精度の高い学習モデル12Mの生成が可能となる。
血管モデルVMのX線透視画像を用いて生成された訓練データは、X線透視画像及び正解ラベル(ガイドワイヤGWに加わる荷重)に加えて、図3に示すように、模擬血管SVの血管径、血管壁の厚さ及び硬さ、模擬閉塞部位SCの硬さ、ガイドワイヤGWの当接位置等が訓練DB12aに記憶されていてもよい。ガイドワイヤGWの当接位置は、図3に示すX線透視画像において、模擬閉塞部位SCの端面(図3では右端面)の上端を原点として下方向をX軸とするX座標によって示される。また、ユーザは、血管モデルVMのX線透視画像を撮影する際に使用したガイドワイヤの情報を訓練データに対応付けて訓練DB12aに記憶してもよい。
図4は、訓練データ用のX線透視画像の例を示す。図4上側は、手技中に、血管V内に挿入されたガイドワイヤGWの先端が閉塞部位Cに当接している状態で、閉塞部位Cが生じた血管Vを広範に撮影したX線透視画像の例を示す。図4下側は、図4上側のX線透視画像から、ガイドワイヤGWの先端部を含む閉塞部位Cの近傍を関心領域として抽出したX線透視画像を示す。学習モデル12Mは、図4下側に示すような、抽出された関心領域のX線透視画像を訓練データとして用いる。手技中にガイドワイヤGWの先端を閉塞部位Cに当接させた状態で撮影したX線透視画像は、閉塞部位Cの硬さを示す正解ラベルが割り当てられて、訓練データとして訓練DB12aに記憶される。手技中に撮影されたX線透視画像を訓練データに用いる場合、訓練用の正解ラベルに用いる閉塞部位Cの当接位置での硬さは、ガイドワイヤGWの先端があらかじめ設定された速度と移動距離で閉塞部位Cに当接する際のガイドワイヤGWの先端の荷重とする。ガイドワイヤGWの先端の荷重は、ガイドワイヤGWの基端部に接続された補助装置により計測した計測値を用いることができる。
学習モデル12Mは、訓練データに含まれるX線透視画像が入力された場合に、訓練データに含まれる正解ラベル(正解の硬さ)に対応する出力ノードからの出力値が1に近づき、他の出力ノードからの出力値が0に近づくように学習する。学習処理において学習モデル12Mは、入力されたX線透視画像に基づいて中間層及び出力層での演算を行い、各出力ノードからの出力値を算出する。そして、学習モデル12Mは、算出した各出力ノードの出力値と正解ラベルに応じた値(正解ラベルに対応する出力ノードに対しては1、他の出力ノードに対しては0)とを比較し、両者が近似するように、中間層及び出力層での演算処理に用いるパラメータを最適化する。当該パラメータは、中間層及び出力層におけるノード間の重み(結合係数)等である。パラメータの最適化の方法は特に限定されないが、誤差逆伝播法、最急降下法等を用いることができる。これにより、X線透視画像が入力された場合に、入力画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さを予測し、予測結果を出力する学習モデル12Mが得られる。
学習モデル12Mの学習は、他の学習装置で行われてもよい。他の学習装置で学習が行われて生成された学習済みの学習モデル12Mは、例えば、ネットワーク経由又は可搬型記憶媒体10a経由で学習装置から情報処理装置10にダウンロードされて記憶部12に記憶される。学習モデル12Mは、図2に示す構成に限定されない。例えば、学習モデル12Mによって判別する閉塞部位の硬さが小さい順(柔らかい順)に出力ノード0,1,2…に割り当てられる構成のほかに、閉塞部位の硬さが大きい順(硬い順)に出力ノード0,1,2…に割り当てられてもよい。また、学習モデル12Mにおいて、出力ノードからの出力値は、入力画像中のガイドワイヤの先端部の形状(湾曲形状)から推定される当接位置での閉塞部位の硬さを示す情報であれば、どのような情報でもよい。例えば、入力画像中の血管の内径、外径、血管壁の厚さに応じて閉塞部位の硬さの情報が出力されるように、学習モデル12Mが構成されてもよい。
以下に、上述したような訓練データを学習して学習モデル12Mを生成する処理について説明する。図5は、学習モデル12Mの生成処理手順の一例を示すフローチャートである。以下の処理は、情報処理装置10の制御部11が、記憶部12に記憶してあるプログラム12Pに従って実行するが、他の学習装置で行われてもよい。以下の処理では、上述したように、訓練用のX線透視画像に対して当該画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さを示すラベルが割り当てられた訓練データが、訓練DB12aに蓄積されているものとする。
情報処理装置10の制御部11は、訓練DB12aから訓練データを1つ取得する(S11)。具体的には、制御部11は、正解ラベルが付与されているX線透視画像を訓練DB12aから1つ読み出す。そして、制御部11は、取得した訓練データを用いて学習モデル12Mの学習処理を行う(S12)。ここでは、制御部11は、訓練データに含まれるX線透視画像を学習モデル12Mに入力し、X線透視画像が入力されることによって学習モデル12Mから出力される出力値を取得する。学習モデル12Mは、入力されたX線透視画像に基づく演算を行い、各出力ノードからの出力値を算出する。制御部11は、学習モデル12Mから出力された各出力ノードの出力値と、訓練データに含まれる正解ラベルに応じた値(正解ラベルに対応する出力ノードに対しては1、他の出力ノードに対しては0)とを比較し、両者が近似するように学習モデル12Mを学習させる。学習処理において、学習モデル12Mは、中間層及び出力層での演算処理に用いるパラメータを最適化する。例えば、制御部11は、中間層及び出力層におけるノード間の重み(結合係数)等のパラメータを、学習モデル12Mの出力層から入力層に向かって順次更新する誤差逆伝播法を用いて最適化する。
制御部11は、訓練DB12aに記憶してある訓練データのうちで、学習処理が行われていない未処理の訓練データがあるか否かを判断する(S13)。未処理の訓練データがあると判断した場合(S13:YES)、制御部11は、ステップS11の処理に戻り、学習処理が未処理の訓練データについてステップS11~S12の処理を行う。未処理の訓練データがないと判断した場合(S13:NO)、制御部11は、一連の処理を終了する。
上述した学習処理により、X線透視画像が入力された場合に、当該画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さを示す情報(各硬さである可能性)を出力する学習モデル12Mが生成される。学習モデル12Mは、上述したような訓練データを用いた学習処理を繰り返し行うことにより、さらに最適化することが可能である。また、既に学習済みの学習モデル12Mについても、上述した学習処理で再学習させることにより、閉塞部位の硬さの推定精度がさらに向上した学習モデル12Mを生成できる。また、学習モデル12Mは、医療機関ごとに訓練データを学習させて生成してもよい。血管内治療に使用されるガイドワイヤの種類や頻度は、医療機関ごとに異なる。したがって、各医療機関に応じた学習モデル12Mを生成することにより、ガイドワイヤ先端の当接位置での閉塞部位の硬さの推定精度が向上する。
以下に、上述した処理によって生成した学習モデル12Mを用いて、閉塞部位に対するガイドワイヤの適切な挿入位置を判定する処理について説明する。図6は、ガイドワイヤの挿入位置の判定処理手順の一例を示すフローチャート、図7は画面例を示す説明図である。以下の処理は、情報処理装置10の制御部11が、記憶部12に記憶してあるプログラム12Pに従って行う。
血管内治療を実施する術者は、患者の血管内に挿入したガイドワイヤを血管内の閉塞部位に通過させる際、ガイドワイヤの先端を血管内の閉塞部位に当接させた状態で透視画像撮影装置20を用いて患者の体外からX線透視画像を撮影する。このとき、ガイドワイヤの先端部は、当接位置での閉塞部位の硬さに応じた形状に湾曲する。術者は、閉塞部位へのガイドワイヤの当接位置を変えながらX線透視画像を撮影する操作を繰り返し、ガイドワイヤの先端の閉塞部位に対する当接位置が異なる複数のX線透視画像を取得する。情報処理装置10は、閉塞部位の各当接位置で撮影されたX線透視画像に基づいて、ガイドワイヤの先端の各当接位置での閉塞部位の硬さを推定し、閉塞部位に対するガイドワイヤの適切な挿入位置を特定して術者に提示する。
情報処理装置10の制御部11(取得部)は、上述したように、手技中に透視画像撮影装置20によって撮影されたX線透視画像を取得する(S21)。ここでは、制御部11は、閉塞部位の任意の1箇所にガイドワイヤの先端が当接した状態で撮影されたX線透視画像を取得する。なお、透視画像撮影装置20が撮影したX線透視画像が、図4上側に示すような、閉塞部位を含む領域を広範に撮影した画像である場合、制御部11は、撮影したX線透視画像から、閉塞部位に当接したガイドワイヤの先端部を含む閉塞部位近傍の領域を関心領域として抽出する(S22)。ここでは、制御部11は、閉塞部位に当接しているガイドワイヤの先端部を含む閉塞部位近傍の領域を抽出して拡大処理を行うことにより、図4下側に示すような関心領域を取得する。以下では、透視画像撮影装置20が撮影したX線透視画像から抽出した関心領域をX線透視画像と称することがある。なお、透視画像撮影装置20が、図4下側に示すような画像を撮影する場合、制御部11は、透視画像撮影装置20が撮影したX線透視画像をそのまま以降の処理に用いてもよい。
制御部11は、取得したX線透視画像を学習モデル12Mに入力し、学習モデル12Mからの出力値に基づいて、当該画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さを推定する(S23)。具体的には、制御部11は、学習モデル12Mの出力ノードのうちで最大の出力値(判別確率)を出力した出力ノードを特定し、特定した出力ノードに対応付けられている硬さを、ガイドワイヤの先端の当接位置での閉塞部位の硬さに特定する。これにより、制御部11は、X線透視画像を学習モデル12Mに入力して、ガイドワイヤの先端の当接位置での閉塞部位の硬さに関する情報を出力する出力部として動作する。
制御部11は、取得したX線透視画像における閉塞部位に対するガイドワイヤの当接位置と、推定した閉塞部位の硬さとを対応付けて記憶部12に記憶する(S24)。ガイドワイヤの当接位置は、ガイドワイヤが当接する閉塞部位の端面において、一方の端部を原点として他方の端部へ向かう方向をX軸とするX座標によって示される。図2に示す学習モデル12Mの入力データであるX線透視画像では、閉塞部位Cの端面(右端面)の上端を原点として下方向をX軸とするX座標によってガイドワイヤの当接位置が示される。
術者は、閉塞部位の複数の位置でガイドワイヤを当接させてX線透視画像を撮影することによって、情報処理装置10で各当接位置での閉塞部位の硬さを推定する。術者は、閉塞部位の硬さの推定処理を終了する場合、入力部14を介した操作によって終了指示を入力する。制御部11は、入力部14を介して閉塞部位の硬さの推定処理の終了指示を受け付けたか否かを判断しており(S25)、終了指示を受け付けていないと判断した場合(S25:NO)、ステップS21の処理に戻る。そして、制御部11は、閉塞部位の異なる位置にガイドワイヤの先端が当接した状態で撮影されたX線透視画像を取得し(S21)、取得したX線透視画像に基づいて、ステップS22~S24の処理を行う。これにより、異なる当接位置での閉塞部位の硬さが推定され、推定された閉塞部位の硬さが、取得したX線透視画像におけるガイドワイヤの当接位置と対応付けられて記憶部12に記憶される。なお、制御部11は、ステップS23でガイドワイヤの各当接位置での閉塞部位の硬さを推定した場合に、推定した閉塞部位の硬さを表示部15に表示して術者に通知するように構成されていてもよい。この場合、術者は、通知された閉塞部位の硬さがガイドワイヤの挿入に適するか否かを判断し、適すると判断した場合に、閉塞部位の硬さの推定処理の終了指示を行うことができる。これにより、術者は、ガイドワイヤを閉塞部位に当接させる回数を最小限にすることができ、患者の負担を軽減できる。
制御部11は、閉塞部位の硬さの推定処理の終了指示を受け付けたと判断した場合(S25:YES)、ステップS24で記憶部12に記憶した各当接位置での閉塞部位の硬さに基づいて、閉塞部位に対するガイドワイヤの挿入位置を特定する(S26)。ここでは、制御部11は、閉塞部位の硬さの推定処理を行った複数の当接位置の中から、推定した閉塞部位の硬さが最小の当接位置(即ち、柔らかい当接位置)を特定し、特定した当接位置をガイドワイヤの挿入位置に決定する。制御部11は、特定した挿入位置をX線透視画像上に重畳表示する(S27)。なお、挿入位置を重畳表示するX線透視画像は、ステップS21で取得したX線透視画像のいずれかであってもよく、改めて撮影されたX線透視画像であってもよい。制御部11は、図7Aに示すような画面を表示部15に表示する。図7Aに示す画面では、閉塞部位を含む領域が広範に撮影されたX線透視画像と、広範に撮影されたX線透視画像から抽出されて拡大された閉塞部位の関心領域とが表示されており、閉塞部位の関心領域には、ガイドワイヤの挿入位置を示す矢符が表示されている。
なお、図7Aに示す画面では、2次元のX線透視画像上に挿入位置が提示されるが、この構成に限定されない。手技中に撮影される各種の医用画像に基づいて、閉塞部位に対するガイドワイヤの当接位置を3次元座標で特定できる場合、制御部11は、図7Bに示すように、X線透視画像における2次元座標での位置に加えて、血管の横断面における2次元座標での位置を提示してもよい。閉塞部位に対するガイドワイヤの挿入位置が3次元座標で提示されることにより、術者は、閉塞部位へのガイドワイヤの通過をより正確に行うことができる。
上述した処理により、本実施形態の情報処理装置10は、術者がガイドワイヤの先端を当接させた閉塞部位の各当接位置のうちで、ガイドワイヤを閉塞部位に通過させるのに適した位置をガイドワイヤの挿入位置として術者に提示できる。これにより、術者は、閉塞部位に対するガイドワイヤの適切な挿入位置を容易に探し出すことができる。
本実施形態では、訓練データを学習させた学習モデル12Mを用いることによって、X線透視画像中のガイドワイヤの先端部の形状から、ガイドワイヤの先端の当接位置での閉塞部位の硬さが推定される。学習モデル12Mは、X線透視画像中のガイドワイヤの形状の特徴を自動抽出してガイドワイヤ先端の当接位置での閉塞部位の硬さを推定する。したがって、術者は、閉塞部位の複数の位置に対してガイドワイヤの先端を当接させてX線透視画像を撮影すればよく、ガイドワイヤの先端を閉塞部位(病変)に押し当てた際に得られる触感に基づいて挿入位置を探し出す必要がない。そのため、熟練度が低い術者でも、閉塞部位に対するガイドワイヤの適切な挿入位置を容易に探し出すことができる。術者は、触感に基づいてガイドワイヤの挿入位置を探し出す場合と比較して、短時間で挿入位置を特定できるので、手技時間が短縮でき、患者の負担が軽減できる。また、術者は、ガイドワイヤに過剰な押し込み力を加えたり、先端の剛性が必要以上に高いガイドワイヤを使用したりすることがないため、血管穿孔を生じるリスクを低減できる。これにより、手技の安全性が向上する。さらに、本実施形態では、術者は、ガイドワイヤの挿入位置を探し出すために、ガイドワイヤとは別の補助的なデバイスを使用する必要がない。そのため、術者は、閉塞部位が存在する血管径が小さい場合でも、ガイドワイヤの当接位置を任意に選択でき、閉塞部位に対するガイドワイヤの適切な挿入位置を探し出すことができる。
本実施形態において、訓練データを用いた学習モデル12Mの学習処理、及び、学習モデル12Mを用いたガイドワイヤの先端の当接位置での閉塞部位の硬さの推定処理は、情報処理装置10がローカルで行う構成に限定されない。例えば、上述した各処理を実行する情報処理装置をそれぞれ設けてもよい。また、学習モデル12Mの学習処理を実行するサーバを設けてもよい。この場合、情報処理装置10は、訓練データをサーバへ送信し、サーバが、情報処理装置10から受信した訓練データを用いた学習処理によって学習モデル12Mを生成して情報処理装置10へ送信するように構成される。この場合にも、情報処理装置10は、サーバで生成された学習モデル12Mを用いてガイドワイヤの先端の当接位置での閉塞部位の硬さの推定処理を実現できる。また、学習モデル12Mを用いたガイドワイヤの先端の当接位置での閉塞部位の硬さの推定処理を実行するサーバを設けてもよい。この場合、情報処理装置10は、処理対象のX線透視画像をサーバへ送信し、サーバで学習モデル12Mを用いて推定された硬さの情報が情報処理装置10へ送信されるように構成される。このような構成とした場合であっても、上述した本実施形態と同様の処理が可能であり、同様の効果が得られる。
(実施形態2)
手技中に撮影したX線透視画像に加えて、当該手技に使用中のガイドワイヤの情報に基づいて、ガイドワイヤの先端の当接位置での閉塞部位の硬さを推定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態1の情報処理装置10と同様の構成を有するので、構成についての詳細な説明は省略する。なお、本実施形態の情報処理装置10において、記憶部12に記憶してある学習モデルは、図2に示す実施形態1の学習モデル12Mと若干異なる。
図8は実施形態2の学習モデルの構成例を示す説明図である。本実施形態の学習モデル12Maは、血管内に挿入されたガイドワイヤが血管内の閉塞部位に当接した状態で撮影されたX線透視画像と、当該手技で使用中のガイドワイヤの情報とを入力とし、入力された情報に基づいて、当該ガイドワイヤ先端の当接位置での閉塞部位の硬さを推定する演算を行い、演算した結果(硬さに関する情報)を出力する。学習モデル12Maは、入力データとしてガイドワイヤの情報が入力されるほかは、実施形態1の学習モデル12Mと同様の構成を有する。ガイドワイヤの情報は、各種のガイドワイヤを識別できる情報であればよく、各ガイドワイヤに割り当てられたID、品番、商品名等を用いることができる。また、ガイドワイヤの情報は、各メーカが開示している医療機器取扱説明書(IFU:Instruction for Use)から抽出された情報や、ガイドワイヤの先端部の剛性等の物性に関する情報を用いてもよい。
学習モデル12Maは、例えば、中間層の畳み込み層及びプーリング層によって、入力されたX線透視画像に基づいて特徴マップを生成し、生成した特徴マップと、入力されたガイドワイヤの情報とに基づく演算を全結合層及び出力層で行い、出力層の各出力ノードから演算結果を出力する。上述した構成により、本実施形態の学習モデル12Maは、X線透視画像及びガイドワイヤの情報が入力された場合に、画像中のガイドワイヤの形状(湾曲形状)に応じてガイドワイヤの先端の当接位置での閉塞部位の硬さに関する情報(各硬さに対する判別確率)を出力する。
学習モデル12Maは、訓練用のX線透視画像及びガイドワイヤの情報と、このX線透視画像中のガイドワイヤの先端の当接位置での閉塞部位の硬さを示す情報(正解ラベル)とを含む訓練データを用いて機械学習することにより生成される。本実施形態の学習モデル12Maにおける訓練データも、訓練データ用に作成された模擬血管及び模擬閉塞部位を含む血管モデルを用いて撮影したX線透視画像を用いてもよく、手技中に撮影されたX線透視画像を用いてもよい。
本実施形態の情報処理装置10において、訓練データを用いて学習モデル12Maを学習する処理は、実施形態1と同様である。情報処理装置10の制御部11は、図5に示す学習モデル12Mの生成処理と同様の処理の実行が可能である。なお、本実施形態では、ステップS11で取得する訓練データは、X線透視画像及びガイドワイヤの情報に正解ラベルが付与されたデータである。また、本実施形態では、制御部11は、ステップS12で、訓練データに含まれるX線透視画像及びガイドワイヤの情報を学習モデル12Maに入力し、学習モデル12Maから出力される出力値に基づいて学習モデル12Maの学習を行う。本実施形態の学習モデル12Maは、入力されたX線透視画像及びガイドワイヤの情報に基づく演算を行い、各出力ノードからの出力値を算出し、各出力ノードの出力値と、訓練データに含まれる正解ラベルに応じた値(正解ラベルに対応する出力ノードに対しては1、他の出力ノードに対しては0)とを比較し、両者が近似するように学習を行う。なお、制御部11は、学習モデル12Mの中間層及び出力層での演算処理に用いるパラメータを、例えば、誤差逆伝播法を用いて最適化する。これにより、X線透視画像及びガイドワイヤの情報が入力された場合に、当該画像中のガイドワイヤ先端の当接位置での閉塞部位の硬さを示す情報を出力する学習モデル12Maが生成される。
本実施形態の情報処理装置10において、学習モデル12Maを用いて血管内の閉塞部位に対するガイドワイヤの挿入位置を判定する処理は、実施形態1と同様である。情報処理装置10の制御部11は、図6に示す挿入位置の判定処理と同様の処理の実行が可能である。なお、本実施形態では、ステップS21で制御部11は、手技中に透視画像撮影装置20によって撮影されたX線透視画像に加えて、当該手技で使用中のガイドワイヤに関する情報を取得する。また本実施形態では、制御部11は、ステップS23で、X線透視画像及びガイドワイヤの情報を学習モデル12Maに入力し、学習モデル12Maからの出力値に基づいて、当該画像中のガイドワイヤ先端の当接位置での閉塞部位の硬さを推定する。その他の処理は、実施形態1と同様である。したがって、本実施形態においても、情報処理装置10は、術者がガイドワイヤの先端を当接させた閉塞部位の各当接位置のうちで、ガイドワイヤを閉塞部位に通過させるのに適した挿入位置を術者に提示できる。
本実施形態の構成は、上述した実施形態1と同様の効果が得られる。また、本実施形態の情報処理装置10では、手技中に撮影したX線透視画像に加えて、当該手技で使用中のガイドワイヤの情報も加味して閉塞部位の硬さが推定され、閉塞部位に対するガイドワイヤの適切な挿入位置が提示される。したがって、情報処理装置10は、ガイドワイヤの閉塞部位への挿入位置決定の精度が向上するため、手技の安全性をさらに向上できる。本実施形態においても、上述した実施形態1で適宜説明した変形例の適用が可能である。
(実施形態3)
血管内治療において、術者は、ガイドワイヤをマイクロカテーテル内に挿入した状態で血管内に挿入する場合がある。術者は、図9中のX線透視画像に示すように、マイクロカテーテルの先端からガイドワイヤの先端部を突出させた状態で、ガイドワイヤを閉塞部位に通過させる。
本実施形態では、上述のように、マイクロカテーテルの先端から突出したガイドワイヤの先端を閉塞部位に当接させた状態で撮影したX線透視画像に基づいて、ガイドワイヤの先端の当接位置での閉塞部位の硬さを推定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態1の情報処理装置10と同様の構成を有するので、構成についての詳細な説明は省略する。
図9は、実施形態3の学習モデルの構成例を示す説明図である。本実施形態の学習モデルは、図2に示す実施形態1の学習モデル12Mと同様の構成を有する。なお、本実施形態の学習モデル12Mでは、入力されるX線透視画像が、図9に示すように、マイクロカテーテルの先端から突出したガイドワイヤの先端を閉塞部位に当接させた状態で撮影したX線透視画像である。
本実施形態の情報処理装置10において、訓練データを用いて学習モデル12Maを学習する処理は、実施形態1と同様である。制御部11は、図5に示す学習モデル12Mの生成処理と同様の処理の実行が可能である。また、本実施形態の学習モデル12Mにおける訓練データも、訓練データ用に作成された模擬血管及び模擬閉塞部位を含む血管モデルを用いて撮影したX線透視画像を用いてもよく、手技中に撮影されたX線透視画像を用いてもよい。なお、本実施形態では、市販されている各種のガイドワイヤと各種のマイクロカテーテルとの組合せを変えて訓練データ用のX線透視画像を撮影することにより、より多種類の訓練データを生成することができる。このような訓練データを用いて学習モデル12Mを学習させることにより、情報処理装置10は、より精度の高い学習モデル12Mの生成が可能となる。
本実施形態の情報処理装置10において、学習モデル12Mを用いて閉塞部位に対するガイドワイヤの挿入位置を判定する処理は、実施形態1と同様である。制御部11は、図6に示す挿入位置の判定処理と同様の処理の実行が可能である。本実施形態において、処理対象のX線透視画像が、マイクロカテーテルの先端から突出したガイドワイヤの先端を閉塞部位に当接させた状態で撮影したX線透視画像であること以外は、実施形態1の情報処理装置10が行う処理と同様である。よって、本実施形態においても、情報処理装置10は、術者がガイドワイヤの先端を当接させた閉塞部位の各当接位置のうちで、ガイドワイヤを閉塞部位に通過させるのに適した挿入位置を術者に提示できる。
本実施形態の構成は、上述した各実施形態と同様の効果が得られる。また、本実施形態では、ガイドワイヤをマイクロカテーテル内に挿入した状態で使用する場合であっても、ガイドワイヤ先端の当接位置での閉塞部位の硬さが推定され、推定結果から、閉塞部位に対するガイドワイヤの適切な挿入位置が提示できる。これにより、術者は、閉塞部位に対するガイドワイヤの適切な挿入位置を容易に探し出すことができる。
本実施形態の構成は、実施形態1~2の情報処理装置10に適用可能であり、実施形態1~2の情報処理装置10に適用した場合であっても同様の効果が得られる。本実施形態の構成を実施形態2の情報処理装置10に適用した場合、図9中に示すような手技中のX線透視画像に加えて、当該手技で使用中のガイドワイヤの情報に基づいて、閉塞部位の硬さの推定を行うことが可能となる。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態4)
上述した実施形態1~3では、情報処理装置10が、手技中に撮影したX線透視画像に基づいて、閉塞部位に対するガイドワイヤの適切な挿入位置を特定する処理について説明した。本実施形態では、閉塞部位に対するガイドワイヤの適切な挿入位置を特定すると共に、その際に推定した閉塞部位の硬さに基づいて、閉塞部位の通過に適したガイドワイヤの種類を特定する情報処理装置について説明する。本実施形態の情報処理装置は、実施形態1の情報処理装置10と同様の構成を有するので、構成についての詳細な説明は省略する。
本実施形態の情報処理装置10において、訓練データを用いて学習モデル12Mを学習する処理は、実施形態1と同様である。制御部11は、図5に示す学習モデル12Mの生成処理と同様の処理の実行が可能である。本実施形態においても、学習モデル12Mに学習させる訓練データに、訓練データ用に作成された模擬血管及び模擬閉塞部位を含む血管モデルを用いて撮影したX線透視画像を用いてもよく、手技中に撮影されたX線透視画像を用いてもよい。
図10は、実施形態4のガイドワイヤの挿入位置の判定処理手順の一例を示すフローチャートである。図10に示す処理は、図6に示す処理においてステップS27の後にステップS31~S32を追加したものである。図6と同じステップについては説明を省略する。本実施形態の情報処理装置10の制御部11は、図6中のステップS21~S27と同様の処理を行う。本実施形態においても、情報処理装置10の制御部11は、閉塞部位の各位置で撮影されたX線透視画像に基づいて、ガイドワイヤの先端の各当接位置での閉塞部位の硬さを推定し、閉塞部位へのガイドワイヤの通過に最適な位置を特定して術者に提示する。
本実施形態では、情報処理装置10の制御部11は、ステップS27の処理後、ステップS26で特定した挿入位置に対して推定した閉塞部位の硬さに基づいて、閉塞部位の通過に適した推奨ガイドワイヤを特定する(S31)。ユーザは、学習モデル12Mによって推定される閉塞部位の硬さ毎に、市販のガイドワイヤのうちで当該閉塞部位の通過に適したガイドワイヤの情報を、推奨ガイドワイヤの情報として記憶部12に登録しておく。これにより、制御部11は、特定した挿入位置に対して推定した閉塞部位の硬さに対応するガイドワイヤを推奨ガイドワイヤに特定することができる。制御部11は、特定した推奨ガイドワイヤの情報を表示部15に表示し(S32)、術者に推奨ガイドワイヤを提示する。
上述した処理により、本実施形態の情報処理装置10は、閉塞部位に対するガイドワイヤの適切な挿入位置を術者に提示できると共に、閉塞部位の通過に適した推奨ガイドワイヤを術者に提示できる。術者は、閉塞部位にガイドワイヤを通過させるのに適した挿入位置と推奨ガイドワイヤとを把握でき、提示された推奨ガイドワイヤを、提示された挿入位置から閉塞部位に挿入することにより、ガイドワイヤを閉塞部位に適切に通過させることができる。なお、ガイドワイヤの閉塞部位への通過手技において、情報処理装置10によって提示された推奨ガイドワイヤが使用中のガイドワイヤと異なる種類である場合、術者は、使用中のガイドワイヤを推奨ガイドワイヤに交換する。情報処理装置10によって提示された推奨ガイドワイヤと使用中のガイドワイヤとが同じ種類である場合、術者は、使用中のガイドワイヤの使用を継続する。
なお、本実施形態の構成は、実施形態3の情報処理装置10に適用可能である。実施形態3のように、ガイドワイヤをマイクロカテーテル内に挿入して使用する構成において、使用中のガイドワイヤを推奨ガイドワイヤに交換する際、術者は、マイクロカテーテルの先端を情報処理装置10が提示した挿入位置の近傍に配置した状態で、使用中のガイドワイヤの抜去と推奨ガイドワイヤの挿入を行う。これにより、術者は、推奨ガイドワイヤの先端を情報処理装置10が提示した挿入位置に容易に配置できる。
(変形例1)
本実施形態の情報処理装置10は、情報処理装置10が設置された医療機関内におけるガイドワイヤの在庫状況に応じて推奨ガイドワイヤを決定するように構成されていてもよい。図11は、実施形態4のガイドワイヤの挿入位置の判定処理手順の他の例を示すフローチャートである。図11に示す処理は、図10に示す処理においてステップS31,S32の間にステップS41~S42を追加したものである。図10と同じステップについては、説明を省略する。本変形例の情報処理装置10の制御部11は、図10中のステップS21~S27及びステップS31と同様の処理を行う。これにより、本実施形態においても、情報処理装置10の制御部11は、閉塞部位に対するガイドワイヤの適切な挿入位置を術者に提示できると共に、閉塞部位の通過に適した推奨ガイドワイヤを術者に提示できる。
本実施形態では、情報処理装置10の制御部11は、ステップS31の処理後、情報処理装置10が設置されている医療機関等におけるガイドワイヤの在庫状況を示す在庫情報を取得する(S41)。情報処理装置10の制御部11は、医療機関に設けられるガイドワイヤ等のデバイスの在庫状況を管理するサーバにネットワーク経由でアクセスすることにより、ガイドワイヤの在庫情報を取得することができる。なお、ガイドワイヤの在庫情報を取得するタイミングは、ステップS31の処理後に限定されない。ガイドワイヤの在庫情報を手技開始前に取得した場合、制御部11は、ステップS41の処理を行わずに、ステップS42の処理を行ってもよい。
制御部11は、取得したガイドワイヤの在庫情報に基づいて、ステップS31で特定した推奨ガイドワイヤの在庫があるか否かを判断し(S42)、在庫がないと判断した場合(S42:NO)、ステップS31の処理に戻る。そして、制御部11は、推奨ガイドワイヤに特定したガイドワイヤを除くガイドワイヤの中から、推奨ガイドワイヤを再度特定する(S31)。ここで、特定した挿入位置に対して推定した閉塞部位の硬さに対応するガイドワイヤがない場合には、制御部11は、推定した閉塞部位の硬さと同程度の閉塞部位の硬さに対応するガイドワイヤを推奨ガイドワイヤに特定する。
制御部11は、新たに特定した推奨ガイドワイヤについて、ステップS41~S42の処理を行う。なお、在庫情報は1度取得すればよく、この場合、制御部11は、前回のステップS41で取得した在庫情報に基づいて、新たに特定した推奨ガイドワイヤの在庫があるか否かを判断してもよい。ステップS31で特定した推奨ガイドワイヤの在庫があると判断した場合(S42:YES)、制御部11は、ステップS32の処理に移行する。なお、制御部11は、ステップS31の処理後、特定した推奨ガイドワイヤが現在の手技で使用中のガイドワイヤと同じ種類であるか否かを判断し、同じ種類ではないと判断した場合にステップS41~S42の処理を行うように構成されていてもよい。推奨ガイドワイヤが使用中のガイドワイヤと同じ種類であると判断した場合には、制御部11は、ステップS41~S42の処理をスキップしてステップS32に移行してもよい。
上述した処理により、本変形例の情報処理装置10では、医療機関等でのガイドワイヤの在庫状況を考慮し、即時使用が可能であるガイドワイヤを推奨ガイドワイヤとして提示できる。ガイドワイヤ等のデバイスは、医療機関によって採用(使用)されているメーカ及び種類が異なる。したがって、各医療機関は、ガイドワイヤの在庫状況を考慮して推奨ガイドワイヤを決定することにより、手技を中断させることなく、推奨ガイドワイヤを使用した血管内治療を継続することができる。
本実施形態の構成は、上述した各実施形態と同様の効果が得られる。また、本実施形態の構成は、ガイドワイヤの先端の当接位置での閉塞部位の硬さに応じた推奨ガイドワイヤを提示できる。術者は、提示された推奨ガイドワイヤを使用することにより、ガイドワイヤに過剰な押し込み力を加えなくとも、閉塞部位へのガイドワイヤの通過が可能なため、血管穿孔を生じるリスクを低減できる。
本実施形態の構成は、実施形態1~3の情報処理装置10に適用可能であり、実施形態1~3の情報処理装置10に適用した場合であっても同様の効果が得られる。なお、本実施形態においても、実施形態2の情報処理装置10に適用した場合、手技中に撮影されたX線透視画像に加えて、当該手技で使用中のガイドワイヤの情報に基づいて、閉塞部位の硬さの推定を行うことが可能となる。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
(実施形態5)
上述した実施形態1~4は、市販のガイドワイヤを使用して、訓練データ用のX線透視画像の撮影、及び血管内治療を行う構成である。本実施形態では、先端部が所定の剛性特性を有するように形成された基準ガイドワイヤを使用して、訓練データ用のX線透視画像の撮影と手技中のガイドワイヤの先端の当接位置での閉塞部位の硬さの推定を行う。本実施形態の情報処理装置は、実施形態1の情報処理装置10と同様の構成を有するので、構成についての詳細な説明は省略する。
基準ガイドワイヤは、先端部が、ニッケル・チタン合金等の超弾性合金、ステンレス鋼等の金属線で形成される。基準ガイドワイヤは、市販のガイドワイヤと比較して、先端が当接した対象物の硬さが先端部の形状(湾曲形状)に反映されやすくなるように形成されている。基準ガイドワイヤの先端部は、ガイドワイヤの先端から基端に向かって外径が一定の割合で増加するテーパ形状を有する。これにより、基準ガイドワイヤは、先端部の剛性がガイドワイヤの長軸に沿って一定の割合で連続的に変化する。なお、基準ガイドワイヤの先端部は、ガイドワイヤの先端から基端に向かって外径を段階的に増加させることにより、先端部の剛性がガイドワイヤの長軸に沿って段階的に変化するように形成されてもよい。また、基準ガイドワイヤは、先端部に1つ以上のX線不透過性のマーカを装着してもよい。マーカは、基準ガイドワイヤの先端から所定の長さの位置、剛性が変化する位置等に装着される。基準ガイドワイヤにマーカを装着することにより、情報処理装置10によるX線透視画像上に描出された基準ガイドワイヤの先端部の形状の読み取りが容易となる。
本実施形態では、基準ガイドワイヤを用いて、学習モデル12Mに学習させる訓練データが生成される。なお、訓練データ用のX線透視画像を撮影する際に使用する血管モデルは、実施形態1と同様のものを使用できる。本実施形態の訓練データの生成は、実施形態1のガイドワイヤの代わりに基準ガイドワイヤを用いる以外は、実施形態1と同様である。訓練データを生成するユーザは、血管モデルの模擬血管内に基準ガイドワイヤを挿入して、基準ガイドワイヤの先端を模擬閉塞部位に当接させた状態でX線透視画像を撮影する。基準ガイドワイヤの先端を模擬閉塞部位に当接させた状態で撮影したX線透視画像は、模擬閉塞部位の硬さを示す正解ラベルが割り当てられて、訓練データとして訓練DB12aに記憶される。模擬閉塞部位の硬さは、ハイドロゲルのゼリー強度を用いることができる。また、模擬閉塞部位の硬さは、ガイドワイヤの先端をあらかじめ設定された速度と移動距離で模擬閉塞部位に当接させた際の荷重の計測値としてもよい。ガイドワイヤの先端を模擬閉塞部位に当接させた状態で撮影したX線透視画像は、ガイドワイヤの先端が模擬閉塞部位に当接する荷重を示す正解ラベルが割り当てられて、訓練データとして訓練DB12aに記憶される。
本実施形態の情報処理装置10において、訓練データを用いて学習モデル12Mを学習する処理は、実施形態1と同様である。制御部11は、図5に示す処理と同様の処理の実行が可能である。なお、本実施形態では、上述したように基準ガイドワイヤを使用して撮影したX線透視画像によって生成された訓練データを用いて学習モデル12Mの学習処理を行う。これにより、基準ガイドワイヤを閉塞部位に当接させた状態で撮影されたX線透視画像が入力された場合に、基準ガイドワイヤの先端の当接位置での閉塞部位の硬さを予測し、予測結果を出力する学習モデル12Mが得られる。
本実施形態の情報処理装置10において、学習モデル12Mを用いて閉塞部位に対するガイドワイヤの挿入位置を判定する処理は、実施形態1と同様である。制御部11は、図6に示す処理と同様の処理の実行が可能である。なお、本実施形態では、術者は、閉塞部位に対するガイドワイヤの挿入位置を判定する際に、基準ガイドワイヤを使用する。即ち、血管内治療において、術者は、まず、血管内の閉塞部位まで基準ガイドワイヤを挿入し、基準ガイドワイヤの先端を閉塞部位に当接させてX線透視画像を撮影する。情報処理装置10は、撮影されたX線透視画像に基づいて、図6に示す処理を実行し、基準ガイドワイヤの先端の当接位置での閉塞部位の硬さを推定する。また、情報処理装置10は、閉塞部位の複数の当接位置に対して同様の処理を行い、閉塞部位の各当接位置での硬さを推定し、各当接位置での閉塞部位の硬さに基づいて、閉塞部位へのガイドワイヤの通過に最適な挿入位置を特定する。情報処理装置10によって挿入位置が特定された後、術者は、基準ガイドワイヤを血管内治療に使用するガイドワイヤと交換し、特定された挿入位置から閉塞部位にガイドワイヤを通過させる。
本実施形態は、訓練データ用のX線透視画像の撮影と、手技中におけるガイドワイヤの先端の当接位置での閉塞部位の硬さの推定とに基準ガイドワイヤを使用すること以外は、実施形態1の情報処理装置10が行う処理と同様である。したがって、本実施形態においても、ガイドワイヤを閉塞部位に通過させるための適切な挿入位置を術者に提示できる。また、本実施形態では、訓練データ用のX線透視画像の撮影と、手技中におけるガイドワイヤの先端の当接位置での閉塞部位の硬さの推定とに基準ガイドワイヤを使用することにより、学習モデル12Mによるガイドワイヤの先端の当接位置での閉塞部位の硬さの推定をより高精度に行うことができる。本実施形態は、ガイドワイヤの先端の当接位置での閉塞部位の硬さを高精度で推定できることにより、閉塞部位にガイドワイヤを通過させるのに適した挿入位置をより正確に判定できる。
本実施形態は、上述した各実施形態と同様の効果が得られる。また、本実施形態では、閉塞部位に対するガイドワイヤの適切な挿入位置をより正確に特定できる。これにより、術者は、より適した挿入位置からガイドワイヤを閉塞部位に通過させることができ、手技の安全性をさらに向上できる。
本実施形態の構成は、実施形態1~4の情報処理装置10に適用可能である。実施形態1~4の情報処理装置10において、訓練データ用のX線透視画像に、基準ガイドワイヤを使用して撮影した画像を用いることができ、血管内治療の手技中に学習モデル12Mを用いたガイドワイヤの先端の当接位置での閉塞部位の硬さの推定に、基準ガイドワイヤを使用して撮影した画像を用いることができる。本実施形態の構成を実施形態1~4の情報処理装置10に適用した場合も、実施形態1~4の情報処理装置10で得られる効果と同様の効果が得られる。また、本実施形態においても、上述した各実施形態で適宜説明した変形例の適用が可能である。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
10 情報処理装置
11 制御部
12 記憶部
13 通信部
14 入力部
15 表示部
20 透視画像撮影装置
12a 訓練DB
12M 学習モデル
12Ma 学習モデル

Claims (13)

  1. 血管内の閉塞部位に先端を当接させたガイドワイヤを、患者の体外から撮影した透視画像を取得し、
    血管内の閉塞部位に先端を当接させたガイドワイヤの透視画像を入力した場合に、前記ガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力するように学習済みの学習モデルに、取得した透視画像を入力して、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力する
    処理をコンピュータに実行させるプログラム。
  2. 前記透視画像を複数取得し、
    前記透視画像のそれぞれを前記学習モデルに入力して、それぞれの透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を取得し、
    それぞれの当接位置での前記閉塞部位の硬さに関する情報に基づいて、前記閉塞部位に対するガイドワイヤの挿入位置を特定する
    処理を前記コンピュータに実行させる請求項1に記載のプログラム。
  3. 前記学習モデルは、血管内の閉塞部位に先端を当接させたガイドワイヤの透視画像と、前記ガイドワイヤの情報とを入力した場合に、前記ガイドワイヤの先端の前記当接位置での前記閉塞部位の硬さに関する情報を出力するように学習している
    請求項1又は2に記載のプログラム。
  4. 出力した前記当接位置での前記閉塞部位の硬さに関する情報に基づいて、前記閉塞部位に対するガイドワイヤの挿入位置を特定し、
    取得した前記透視画像上に、特定した前記ガイドワイヤの挿入位置を表示する
    処理を前記コンピュータに実行させる請求項1から3までのいずれかひとつに記載のプログラム。
  5. 前記透視画像は、前記血管内に挿入されたマイクロカテーテルに挿入されたガイドワイヤを撮影した透視画像である
    請求項1から4までのいずれかひとつに記載のプログラム。
  6. 出力した前記閉塞部位の硬さに関する情報に基づいて、前記透視画像中の閉塞部位の通過に適したガイドワイヤの情報を出力する
    処理を前記コンピュータに実行させる請求項1から5までのいずれかひとつに記載のプログラム。
  7. 複数種類のガイドワイヤの在庫情報を取得し、
    出力したガイドワイヤの情報が示すガイドワイヤの在庫があるか否かを判断し、
    在庫があると判断した場合、出力したガイドワイヤの情報を提示する
    処理を前記コンピュータに実行させる請求項6に記載のプログラム。
  8. 血管内の閉塞部位に先端を当接させたガイドワイヤを、患者の体外から撮影した透視画像を取得し、
    血管内の閉塞部位に先端を当接させたガイドワイヤの透視画像を入力した場合に、前記ガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力するように学習済みの学習モデルに、取得した透視画像を入力して、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力する
    処理をコンピュータが実行する情報処理方法。
  9. 血管内の閉塞部位に先端を当接させたガイドワイヤを、患者の体外から撮影した透視画像を取得する取得部と、
    血管内の閉塞部位に先端を当接させたガイドワイヤの透視画像を入力した場合に、前記ガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力するように学習済みの学習モデルに、取得した透視画像を入力して、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力する出力部と
    を備える情報処理装置。
  10. 血管の閉塞部位に先端を当接させたガイドワイヤの透視画像と、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報とを含む訓練データを取得し、
    取得した訓練データを用いて、前記透視画像を入力した場合に、前記透視画像中のガイドワイヤの先端の当接位置での前記閉塞部位の硬さに関する情報を出力する学習モデルを生成する
    処理をコンピュータが実行するモデル生成方法。
  11. 前記訓練データに含まれる透視画像は、前記血管内に挿入されたマイクロカテーテルに挿入されたガイドワイヤを撮影した透視画像である
    請求項10に記載のモデル生成方法。
  12. 前記訓練データは、血管を模した模擬血管内に閉塞部位を模して形成された模擬閉塞部位に先端を当接させたガイドワイヤを撮影した透視画像に、前記ガイドワイヤの先端の当接位置での前記模擬閉塞部位の硬さに関する情報が対応付けられた訓練データを含む
    請求項10又は11に記載のモデル生成方法。
  13. 前記訓練データに含まれる透視画像は、先端部が所定の剛性特性を有するように形成された基準ガイドワイヤを撮影した透視画像である
    請求項10から12までのいずれかひとつに記載のモデル生成方法。
JP2022034629A 2022-03-07 2022-03-07 プログラム、情報処理方法、情報処理装置及びモデル生成方法 Pending JP2023130133A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022034629A JP2023130133A (ja) 2022-03-07 2022-03-07 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022034629A JP2023130133A (ja) 2022-03-07 2022-03-07 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Publications (1)

Publication Number Publication Date
JP2023130133A true JP2023130133A (ja) 2023-09-20

Family

ID=88024774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022034629A Pending JP2023130133A (ja) 2022-03-07 2022-03-07 プログラム、情報処理方法、情報処理装置及びモデル生成方法

Country Status (1)

Country Link
JP (1) JP2023130133A (ja)

Similar Documents

Publication Publication Date Title
JP7486626B2 (ja) 脈管内においてカテーテルのような導管ラインをルーティングするためのシステムおよび方法
US11490963B2 (en) Route selection assistance system, recording medium on which route selection assistance program is recorded, route selection assistance method, and diagnosis method
JP4842511B2 (ja) ノイズの多い画像において構造物を検出し、強調させるための医療観察装置及び方法
JP4988557B2 (ja) Ptca血管造影図の制御に対するビューイング装置
JP2008534109A (ja) 管状器官内の機器を位置決めする装置および方法
JP2021525587A (ja) ステント拡張ディスプレイ、システム及び方法
FR3037785A1 (fr) Procede et systeme d'aide au guidage d'un outil endovasculaire dans des structures vasculaires
WO2021193019A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
JP2023130133A (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
US20240020877A1 (en) Determining interventional device position
JP7490045B2 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
WO2021193024A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
CN113506270B (zh) 一种处理下腔静脉图像的方法、系统及存储介质
JP2023130134A (ja) プログラム、情報処理方法及び情報処理装置
WO2021193018A1 (ja) プログラム、情報処理方法、情報処理装置及びモデル生成方法
CN113539516B (zh) 治疗方案的应用后效果的获取方法及装置
JP7405258B2 (ja) X線撮影装置、学習済みモデルの生成方法、および、x線撮影装置の作動方法
WO2021199960A1 (ja) プログラム、情報処理方法、および情報処理システム
CN117958965A (zh) 一种血管介入手术的术前路径规划方法及装置
WO2024074309A1 (en) Systems and methods for planning coronary interventions
JP2022142607A (ja) プログラム、画像処理方法、画像処理装置及びモデル生成方法
KR20240022024A (ko) 가이드와이어 팁의 형상 결정 방법 및 장치
WO2024126112A1 (en) Flexible device length estimation from moving fluoroscopy images
JP2023136947A (ja) 学習モデル生成方法、情報処理方法、情報処理装置及びコンピュータプログラム
JP2024515068A (ja) 介入装置のナビゲート