JP2023174411A - 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム - Google Patents

診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム Download PDF

Info

Publication number
JP2023174411A
JP2023174411A JP2022087270A JP2022087270A JP2023174411A JP 2023174411 A JP2023174411 A JP 2023174411A JP 2022087270 A JP2022087270 A JP 2022087270A JP 2022087270 A JP2022087270 A JP 2022087270A JP 2023174411 A JP2023174411 A JP 2023174411A
Authority
JP
Japan
Prior art keywords
spect
image group
tomographic image
diagnosed
diagnosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022087270A
Other languages
English (en)
Inventor
大 楠本
Dai Kusumoto
恵一 福田
Keiichi Fukuda
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keio University
Original Assignee
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keio University filed Critical Keio University
Priority to JP2022087270A priority Critical patent/JP2023174411A/ja
Publication of JP2023174411A publication Critical patent/JP2023174411A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Nuclear Medicine (AREA)
  • Image Analysis (AREA)

Abstract

【課題】心筋シンチグラフィを用いた診断を補助するための技術の性能を向上させる。【解決手段】診断支援方法は、心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う。コンピュータは、SPECT画像に基づいて作成されるSPECT断層画像群であって、診断済みのSPECT断層画像群と、当該診断済みのSPECT断層画像群の対象患者について取得された疾患情報との関係を機械学習して作成された学習済みモデル、及び診断対象のSPECT断層画像群を読み出し、学習済みモデルに診断対象のSPECT断層画像群に応じた値を入力して得られる出力値又は当該出力値に応じた情報を表示装置に表示させる。【選択図】図6

Description

本技術は、診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システムに関する。
心筋に血液を供給する冠動脈の疾患に、狭心症や心筋梗塞等の虚血性心疾患がある。冠動脈造影や冠動脈CTにより冠動脈の形状を確認することはできるが、心筋に血液が十分に供給されているか判断することは難しい。虚血性心疾患診断のゴールドスタンダードとして、心筋シンチグラフィが利用されている。
従来、二次元の畳み込みニューラルネットワークを用いた機械学習により、SPECT(Single Photon Emission Computed Tomography)の画像から冠状動脈疾患(CAD:Coronary Artery Disease)の可能性を算出する技術(例えば非特許文献1、非特許文献2
)が提案されていた。
Yuka Otaki, Ananya Singh, Paul Kavanagh, Robert J.H. Miller, Tejas Parekh, Balaji K. Tamarappoo, Tali Sharir, Andrew J. Einstein, Mathews B. Fish, Terrence D. Ruddy, Philipp A. Kaufmann, Albert J. Sinusas, Edward J. Miller, Timothy M. Bateman, Sharmila Dorbala, Marcelo Di Carli, Sebastien Cadet, Joanna X. Liang, Damini Dey, Daniel S. Berman, Piotr J. Slomka, "Clinical Deployment of Explainable Artificial Intelligence of SPECT for Diagnosis of Coronary Artery Disease", JACC Cardiovascular imaging, 2021 Hui Liu, Jing Wu, Edward J. Miller, Chi Liu, Yaqiang Liu, Yi-Hwa Liu, "Diagnostic accuracy of stress-only myocardial perfusion SPECT improved by deep learning", European Journal of Nuclear Medicine and Molecular Imaging, 2021
本技術は、心筋シンチグラフィを用いた診断を補助するための技術を改良することを目的とする。
本技術に係る診断支援方法は、心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う。コンピュータは、SPECT画像に基づいて作成されるSPECT断層画像群であって、診断済みのSPECT断層画像群と、当該診断済みのSPECT断層画像群の対象患者について取得された疾患情報との関係を機械学習して作成された学習済みモデル、及び診断対象のSPECT断層画像群を読み出し、学習済みモデルに診断対象のSPECT断層画像群に応じた値を入力して得られる出力値又は当該出力値に応じた情報を表示装置に表示させる。
本発明によれば、心筋シンチグラフィを用いた診断を補助するための技術を改良するこ
とができる。
図1は、実施形態に係るシステム1の一例を示す概要図である。 図2は、AI装置の一例を示す機能ブロック図である。 図3は、学習・検証処理の一例を示す処理フロー図である。 図4は、SPECT画像を説明するための図である。 図5は、画像処理を説明するための図である。 図6は、ニューラルネットワークの構成の一例を示す図である。 図7は、テストデータを用いた予測結果のヒストグラムの一例である。 図8は、診断支援処理の一例を示す処理フロー図である。 図9は、例えば医師であるユーザ装置のディスプレイに表示される情報の一例を示す図である。 図10は、Grad-CAMの出力の一例を示す図である。 図11は、主成分分析の結果の一例を示す図である。 図12は、実施例に係るROC曲線、PR曲線、予測結果のヒストグラムを示す図である。 図13は、アーチファクトを含まないテストデータを対象とした結果についてのROC曲線、PR曲線、予測結果のヒストグラムを示す図である。 図14は、アーチファクトを含むテストデータを対象とした結果についてのROC曲線、PR曲線、予測結果のヒストグラムを示す図である。 図15は、3つの断面を用いた場合、長軸水平像のみを用いた場合、長軸垂直像のみを用いた場合、短軸像のみを用いた場合の診断精度を示す図である。
以下、本発明の実施形態について図面を用いて説明する。
<システム構成>
図1は、実施形態に係るシステム1の一例を示す概要図である。システム1は、電子カルテサーバ2と、AI(Artificial Intelligence)装置3と、ユーザ装置4を含み、こ
れらがネットワーク5を介して接続されている。
電子カルテサーバ2は、患者に関する情報や診療経過等を保持するデータベースを保持する。本実施形態においては、電子カルテサーバ2は、心筋シンチグラフィにおいて作成されるSPECT(Single Photon Emission Computed Tomography)画像やこれを用いて作成される心臓の断層画像群(本実施形態では、これらを総称して「SPECT画像」とも呼ぶものとする)のような医療用画像や、当該画像に基づいて放射線科医等が作成した診断レポート、当該画像の被写体である対象患者の臨床情報が記載された電子カルテ等を記憶するものとする。なお、例えばSPECT画像やその断層画像群は、撮影装置から図示していないPACS(Picture Archiving and Communication Systems)へ伝送され、
PACS上に蓄積されると共に、ネットワーク5を介して電子カルテサーバ2又はAI装置3によって読み出せるものであってもよい。電子カルテサーバ2は、病院のローカルネットワーク内に設けられる(オンプレミスの)1以上の装置であってもよいし、少なくとも一部の機能についてクラウド上に設けられる1以上の装置であってもよい。
AI装置3は、学習処理、検証処理、及び運用処理(たとえば診断支援処理)を行う。学習処理においては、AI装置3は、SPECT画像の特徴と、診断レポート又は電子カルテに記載された疾患の情報に基づいて付与された正解ラベルとの関係を機械学習する。例えば、ニューラルネットワーク(NN:Neural Network)を利用して教師あり学習を行い、重みやバイアス等のパラメータを調整した学習済みモデルを構築する。疾患の情報は
、疾患の有無やその程度を示す情報であってもよい。また、疾患は、心臓における部位や冠動脈と対応付けられていてもよい。検証処理においては、AI装置3は、テストデータを用いて学習済みモデルの出力を評価する。また、運用処理においては、AI装置3は、診断結果が未知である患者のSPECT画像を入力として学習済みモデルが出力する値又は当該値に応じた情報を出力する。なお、例えば運用処理と、学習処理等とは、異なる装置が行うようにしてもよい。例えば、図示していないPACSが運用処理を行うAI装置3として機能し、撮影装置から取得したSPECT画像を医師が使用するユーザ装置4に閲覧させるときに、SPECT画像と共に、AI装置3が学習済みモデルを用いて疾患の情報を推定した結果等も出力するようにしてもよい。なお、ユーザ装置4は、例えば一般的なコンピュータであり、SPECT画像のビューアがインストールされていてもよい。また、AI装置3も、病院のローカルネットワーク内に設けられる1以上の装置であってもよいし、少なくとも一部の機能についてクラウド上に設けられる1以上の装置であってもよい。
図2は、AI装置3の一例を示す機能ブロック図である。AI装置3はコンピュータであり、通信インターフェース(I/F)31と、記憶装置32と、プロセッサ33とを備え、これらの構成要素がバス等を介して接続されている。通信I/F31は、例えばネットワークカードや通信モジュールであり、所定のプロトコルに基づき他のコンピュータと通信を行う。記憶装置32は、例えばRAM(Random Access Memory)やROM(Read Only Memory)等の主記憶装置、及びHDD(Hard-Disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置(二次記憶装置)を含む。主記憶装置は、プロセッサ33が読み出すプログラムや当該プログラムが処理する情報を一時的に記憶する。補助記憶装置は、プロセッサ33が実行するプログラムや当該プログラムが処理する情報等を記憶する。本実施形態では、電子カルテサーバ2からネットワークI/F31を介して取得したSPECT画像や、診断レポート等に基づいてSPECT画像に対応付けられるラベルの情報等が、一時的に又は永続的に記憶装置32に記憶される。プロセッサ33は、CPU(Central Processing Unit)等の演算処理装置であり、プログラムを実行
することにより後述する各処理を行う。図2の例では、プロセッサ33内に機能ブロックを示している。すなわち、プロセッサ33は、所定のプログラムを実行することにより、前処理部331、学習部332、及び診断支援部333として機能する。なお、AI装置3は、例えばキーボード、ポインティングデバイス等の入力装置、モニタ等の出力装置、タッチパネルのような入出力装置等のユーザインターフェースである入出力装置をさらに備えていてもよい。
前処理部331は、記憶装置32から読み出したSPECT画像から、複数の断層画像を抽出し、複数の断層画像に対し奥行方向に沿った順序を示す情報を関連付けた疑似的な三次元画像を生成する。学習部3は、上述した学習処理及び検証処理を行う。すなわち、学習部3は、所定の構造のNNを用いた機械学習を行い、パラメータを調整した学習済みモデルを作成する。本実施形態で利用するNNのモデルは、疑似的な三次元画像に対し、3次元のカーネル(フィルタ)を所定のストライド量ずつ移動させながら畳み込み演算を行う3DCNN(3D畳み込みニューラルネットワーク)層を含む。また、診断支援部333は、上述した運用処理を行う。すなわち、診断支援部333は、患者のSPECT画像を入力として学習済みモデルが出力する値又は当該値に応じた情報を出力する。
<学習・検証処理>
図3は学習・検証処理の一例を示す処理フロー図である。なお、電子カルテサーバ2のストレージには、患者の属性等に関する情報や、心筋シンチグラフィの検査を含む診療経過等の情報、撮影されたSPECT画像等が予め格納されているものとする。
AI装置3の前処理部331は、電子カルテサーバ2からSPECT画像を取得すると
共に、SPECT画像と関連付けて診断結果を示すラベルを記憶させる(図3:S1)。本ステップでは、前処理部331は、電子カルテサーバ2に格納されている診断レポート等に対してキーワード検索を行い、心筋シンチグラフィの診断結果として正常と判断された症例、冠動脈疾患(CAD:Coronary Artery Disease)と判断された症例を抽出する
。このとき、画像に表れるノイズであるアーチファクトを含むか否かを示す情報をさらに取得するようにしてもよい。例えば診断レポートに「No evidence of ischemia」という
記載があれば、医師が正常と判断した正常群として抽出する。また、診断レポートに「LAD虚血」という記載があれば、医師が冠動脈疾患と判断した冠動脈疾患群として抽出する。また、これらのキーワードに限らず同義語又は類語を用いた検索を行い、診断レポート等における表記に揺れがあっても抽出できるようにすることが望ましい。また、前処理部331は、抽出された症例に対応するSPECT画像を診断レポート等に含まれる情報に基づいて特定し、特定された画像を電子カルテサーバ2から取得する。そして、前処理部331は、取得した画像と疾患の有無を示すラベルとを関連付けて記憶装置31に記憶させる。また、前処理部331は、例えば電子カルテに含まれる他の情報をさらに取得して機械学習に用いるようにしてもよい。本実施形態では、患者の属性を示す情報のうち、年齢及び性別を取得するものとする。取得したデータは、モデルを構築するための訓練データ、モデルを評価するためのテストデータに分けて利用する。さらにハイパーパラメータを決定するためのバリデーションデータも確保するようにしてもよいし、クロスバリデーションを行うようにしてもよい。
図4は、SPECT画像を説明するための図である。心筋シンチグラフィにおいて撮影されるSPECT画像は、静脈に放射性同位元素を注射し、血液から放出される放射線を撮影して、放射線量に基づき心筋の血流を視覚化したデータ(例えばボクセルデータ)である。断層画像群10は、SPECT画像を所定の軸上の複数の異なる位置において切断した平行な又は略平行な断面を複数表示する画像である。すなわち、断層画像群10は、心臓の一端側から他端側に向かって所定のスライス間隔で作成される複数の断層画像を含む。図4の例では、心臓の長軸に沿った水平断面を表す長軸水平像(図4:HL)、心臓の長軸に沿った垂直断面を表す長軸垂直像(図4:VL)、及び心臓の短軸に沿った断面を表す短軸像(図4:S)を含む。また、これらの3つの方向の断層画像は、それぞれ運動又は薬剤により心筋に負荷をかけた状態で撮影される負荷時の画像(図4:STRESS)と、安静時の画像(図4:REST)とを含む。なお、断層画像群10はは、負荷時の長軸水平像、負荷時の長軸垂直像、負荷時の短軸像、安静時の長軸水平像、安静時の長軸垂直像、及び安静時の短軸像の少なくとも一部を含むものであってもよい。図3のS1においては、このような断層画像群10と正解ラベルとが対応付けられて記憶される。
また、前処理部331は、断層画像群10に含まれる複数の断層画像を切り出し、画像における奥行方向の順序を示す情報を付した疑似的な三次元画像を作成する(図3:S2)。図5は、画像処理を説明するための図である。図5の上段に示す(1)においては、図4に示した断層画像群10に含まれる負荷時の短軸像が、23個の断層画像11として抽出されている。断層画像11の各々は、断層画像群10において各断層画像の境界を示す格子状の枠に基づいて機械的に切り出すことができる。断層画像群10から等倍で断層画像11を切り出す場合、断層画像11の各々は、例えば一辺が79ピクセルの正方形になる。また、SPECT画像は256階調のグレースケールであり、画素の各々は8ビットの値で表される。本実施形態では、解像度や階調を変更せずに断層画像11を切り出すものとする。
図5の中段に示す(2)は、断層画像11を撮像対象の奥行方向の順に並べた疑似的な三次元画像の一例を表す。断層画像11の各々は、断層画像群10における位置に基づいて、奥行方向の順序を示す情報が対応付けられる。なお、ここでは、例えばボクセル等の規格に沿ったデータを生成するようにしてもよい。図5の下段に示す(3)は、負荷時の
疑似的な三次元画像と、安静時の疑似的な三次元画像とを示す。このように、長軸水平像、長軸垂直像、及び短軸像の各々について、縦、横、奥行の3次元に加え、負荷時か安静時かを示す要素数が2の次元を備え、疑似的な三次元画像は、例えば各要素に対して8ビットの値が格納される4次元配列で表すことができる。なお、疑似的な三次元画像は、断層画像群10に含まれる複数の断層画像の一部を用いて作成してもよい。このとき、心臓が撮影された軸方向中央付近の画像を用いることが好ましい。また、順序付けられた一連の画像を1枚おき、2枚おき等のように間隔を空けて抽出するようにしてもよい。
AI装置3の学習部332は、ディープラーニングによりSPECT画像(具体的には断層画像群10)の特徴と疾患の情報との関係を学習して重みやバイアスといったパラメータを調整したモデルを作成する(図3:S3)。例えば、図5の(3)に示したような情報を訓練データとし、疾患の情報を示すラベルを教師値として、学習部332は、ディープニューラルネットワークによる教師あり学習を行う。
図6は、ニューラルネットワークの構成の一例を示す図である。図6の例では、負荷時及び安静時の長軸水平像(断層画像群)15、負荷時及び安静時の長軸垂直像(断層画像群)14、並びに負荷時及び安静時の短軸像(断層画像群)13が、それぞれ個別の3D畳み込み層(3DCNN)16に入力される。このとき、負荷時及び安静時の断層画像群は、例えば異なるチャンネルにそれぞれ3次元のデータとして入力するようにしてもよい。
3D畳み込み層16においては、3次元のカーネル(フィルタ)を3次元のカーネルを所定のストライド量ずつ移動させながら畳み込み演算を行い、中間的な特徴量である特徴マップを出力する。また、複数の3D畳み込み層16が繰り返し接続される。複数の3D畳み込み層16の間には、バッチノーマライゼーション(Batch Normalization)層や活
性化関数層等が適宜接続されていてもよい(図示せず)。活性化関数には、例えばランプ関数(ReLU:Rectified Linear Unit)を利用できる。また、繰り返される層の数や
、各層に含まれるユニット(ノード)の数は、適宜設計することができる。
3D畳み込み層16を経て出力される長軸水平像15、長軸垂直像14及び短軸像13の特徴マップは、それぞれ多次元配列を1次元配列に変換する層(FLATTEN)17、及びテンソルを結合する層(CONCATENATE)20に順次入力される。
また、診断対象である患者の属性を表す情報もNNに入力するようにしてもよい。図6の例では、年齢及び性別(AGE,SEX)18を全結合層(DENSE)19に入力し、全結合層19が出力する特徴量を、上述したテンソルを結合する層20において長軸水平像15、長軸垂直像14及び短軸像13の特徴マップと結合している。全結合層19は、例えば入力側のノード数よりも出力側のノード数の方が多い構造にすることで、後の処理における患者の属性を表す情報の影響を大きくするように調整してもよい。
層20において結合された特徴量(特徴マップ)は、全結合層(DENSE)21に入力される。全結合層21は入力側のノードと出力側のノードとが全て結合された構造であり、入力される特徴量の行列と所定の重みの行列との内積に所定のバイアス項を加えた行列を特徴量(特徴マップ)として出力する。全結合層21は、直列に複数接続されると共に、後段の全結合層21ほどノード数が減少するようになっている。また、1つの全結合層21は、入力側のノード数よりも出力側のノード数の方が少なくなっている。また、重みやバイアスといったパラメータは、NNの最終的な出力が教師値に近づくように図3のS3において更新される。
出力層(OUTPUT)22は、全結合層21の出力側のノードであってもよいし、ソ
フトマックスのような活性化関数であってもよい。本実施形態では、最終的に0から1の値を出力するものとする。すなわち、最終的な出力値は、冠動脈疾患の可能性を表す値である。
また、学習部332は、テストデータによるモデルの検証を行う(図3:S4)。本ステップでは、指標として例えばAUC(Area Under Curve)、AUPRC(Area Under Precision-Recall Curve)等を算出して機械学習モデルの性能を評価する。混同行列にお
けるTP(True Positive)、FP(False Positive)、FN(False Negative)、TN
(True Negative)を用いて、正確さ(Accuracy=(TP+FN)/(TP+FP+FN+TN))、適合率(Precision=TP/(TP+FP))、感度(検出率,Recall=TP/(TP+FN))、特異度(真陰性率,True Negative Rate=TN/(FP+TN))、偽陰性率(False Negative Rate=FN/(TP+FN))、偽陽性率
(False Positive Rate=FP/(FP+TN))等の指標を算出するようにしてもよい。
図7は、テストデータを用いた予測結果のヒストグラムの一例である。図7のグラフは、縦軸が件数、横軸が冠動脈疾患の可能性を表す出力値である。例えば上述した指標に基づき、出力値の信頼度を複数の段階に分類するための閾値を定めるようにしてもよい。例えば、出力値の両端から全データの62%が含まれる区間を高信頼度エリア、さらに全データの22%が含まれる区間を中信頼度エリア、出力値の中央に位置する全データの16%が含まれる区間を低信頼度エリアと定義する。信頼度エリアの境界は、出力値に対する閾値によって定義することができ、出力値と閾値との大小関係に基づいて信頼度を特定できるようになる。後述する診断支援処理においては、冠動脈疾患の可能性を表す出力値のほか、例えば段階的に表される信頼度を出力し、医師による診断を支援するようにしてもよい。
<診断支援処理>
図8は診断支援処理の一例を示す処理フロー図である。なお、AI装置3の記憶装置32には、学習・検証処理において作成された学習済みモデルが保持されているものとする。診断支援処理においては、診断結果が未知である判断対象のSPECT画像(具体的には、断層画像群10)を取得し、学習済みモデルに入力して冠動脈疾患の可能性を表す出力値を得る。
AI装置3の診断支援部333は、判断対象のSPECT画像を取得する(図8:S11)。本ステップでは、例えば通信I/F31を介して電子カルテサーバ2から患者のSPECT画像を取得する。
また、前処理部331は、取得したSPECT画像に含まれる複数の断層画像を抽出し、撮影対象の奥行方向の順序付けを行って、疑似的な三次元画像を作成する(図8:S12)。本ステップの処理は、図3のS2と同様である。
また、診断支援部333は、S12で作成された疑似的な三次元画像を、学習・検証処理において作成された学習済みモデルに入力し、出力値を算出する(図8:S13)。例えば図6に示した機械学習モデルに従い、入力データと、学習済みモデルに含まれるパラメータとを用いて所定の演算を行うことで、0から1までの値である出力値が算出される。
また、診断支援部333は、患者のSPECT画像と、S13において算出された冠動脈疾患の可能性を表す出力値とを、ユーザ装置4へ出力する(図8:S14)。なお、出力値と予め定められた閾値との大小関係に基づき、出力値の信頼度を表す段階を決定し、ユーザ装置4へ出力するようにしてもよい。
図9は、例えば医師であるユーザ装置4のディスプレイに表示される情報の一例を示す図である。図9の例では、SPECT画像のほか、右上の一点鎖線の長方形内に示すように、機械学習モデルによる判定結果(AI-Judge)、冠動脈疾患の可能性(Possibility for CAD)、信頼度の段階が表示されている。信頼度の段階は、対応する色を表示するよう
にしてもよい。このような表示は、ユーザが診断を行う上で参考にすることができ、診断の精度を向上させると共に診断に要する時間を短縮させることができる。
<病変部位の特定支援>
冠動脈疾患の可能性が高い場合、例えば図9に示したSPECT画像(具体的には、断層画像群10)において、判断の根拠となった箇所を強調表示できるようにしてもよい。例えば、図6のNNにおいて、中間の3D畳み込み層16が出力する特徴マップを用いて、Grad-CAMにより入力画像中の位置を出力することができる。図10は、Grad-CAMの出力の一例を示す図である。図10においては、ハッチングを施した領域が、Grad-CAMにおいては、特徴量マップの座標について変動が比較的小さいにもかかわらず、出力値の変動が比較的大きくなるような座標が特定される。すなわち、出力値の判断の根拠となる、SPECT画像中の部位を可視化することができる。なお、疾患の可能性等を表示せずに、SPECT画像(具体的には、断層画像群10)中の領域のみをユーザに提示するようにしてもよい。
また、中間層の特徴マップを用いて次元削減、又はクラスタリングを行い、冠動脈の病変部位の候補を特定するようにしてもよい。例えば図6のNNにおいて、中間の全結合層21が出力する特徴マップに対して、主成分分析による次元削減を行う。図11は、主成分分析の結果の一例を示す図である。主成分分析を行うと、第一主成分は正常及び異常(冠動脈疾患)を分離すると共に、第二主成分には病変部位が反映される傾向(例えば一点鎖線の領域内のプロット)が表れている。なお、T-SNE、UMAPなどの次元削減法、k-meansクラスタリングなどのクラスタリング手法を用いても同様の傾向が表れる。したがって、次元削減やクラスタリングの結果に表れる傾向と、病変部位との対応関係を予め記憶装置に記憶させておけば、病変部位の候補を提示できるようになる。このようにしても、ユーザによる虚血部位の特定を支援することができる。なお、疾患の可能性等を表示せずに、次元削減若しくはクラスタリングの結果、又は病変部位の候補のみをユーザに提示するようにしてもよい。
<実施例1>
大学病院において、201TICIを用いた負荷心筋シンチグラフィ検査を受けた症例7128件を抽出し、分類不能とされた1631件を除外した。また、正常と判断された症例は3829件あり、そのうち確定診断は3385件、アーチファクトを含むものは444件存在した。冠動脈疾患と判断された症例は、1658件あり、そのうち確定診断は1284件、アーチファクトを含むものは374件存在した。
また、データ数を充実させるため、データ拡張を行った。データ拡張は、(1)-5度から+5度の回転、(2)0.8倍から1.2倍の拡大又は縮小、(3)拡大又は縮小後の画像の平行移動、(4)0.9から1.1倍の輝度の変更のうち少なくとも一部を既存のSPECT画像に対して適用した。なお、このような処理は、SPECT画像に含まれる複数の断層画像の各々に対して行われた。データ拡張後のデータ数は、正常例、冠動脈疾患例ともに12000例であり、そのうちアーチファクトを含むものはそれぞれ2000例とした。そして、これらを無作為に訓練データ、バリデーションデータ、テストデータに分類した。
そして、訓練データ及びバリデーションデータ、並びに図6に示すNNを用いて機械学習を行った。入力値のうち、長軸水平像15は縦79ピクセル、横79ピクセル、スライ
ス数23であった。長軸垂直像14は縦79ピクセル、横79ピクセル、スライス数16であった。短軸像13は縦79ピクセル、横79ピクセル、スライス数23であった。また、3D畳み込み層16の数は34層、中間的に作成される1次元配列(FLATTEN
17)のノード数は4608、全結合層21の数は6層とし、最後段の全結合層21の出力ノードの数は1とした。なお、年齢及び性別は、全結合層19の出力が256ノードになるように拡張した。
また、テストデータ及び作成した学習済みモデルを用いて、性能を評価した。図12は、実施例に係るROC曲線、PR曲線、予測結果のヒストグラムを示す図である。実施例に係る学習済みモデルは、AUCが0.91、AUPRCが0.87という高精度で冠動脈疾患の有無を分類することができた。また、感度は75%、特異度は93%の分類性能を有していた。
図13は、アーチファクトを含まないテストデータを対象とした結果についてのROC曲線、PR曲線、予測結果のヒストグラムを示す図である。図14は、アーチファクトを含むテストデータを対象とした結果についてのROC曲線、PR曲線、予測結果のヒストグラムを示す図である。特にアーチファクトを含む場合は、核医学の非専門医には診断が困難である。学習済みモデルによる判断も、アーチファクトを含まない画像を対象とした場合と比較すると、アーチファクトを含む画像に対しては精度が低下した。
<実施例2>
長軸水平像15、長軸垂直像14、短軸像13のうち、1つ又は2つの断面を用いて機械学習モデルを作成してもよい。図15は、3つの断面を用いた場合、長軸水平像のみを用いた場合、長軸垂直像のみを用いた場合、短軸像のみを用いた場合の診断精度を示す図である。実施例1のように3つの断面を用いた場合の精度が最も良く、1つの断面を用いる場合においては短軸像のみを用いた場合の精度が良かった。これは、実際の読影における医師の認識とも合致した結果といえる。
<効果>
図9に示したように疾患の可能性を表示することで、ユーザが診断を行う上で参考にすることができ、診断の精度を向上させると共に診断に要する時間を短縮させることができる。同様に信頼度の表示も、ユーザが参考にする上で有用である。このように、上述した実施形態によれば、心筋シンチグラフィを用いた診断を補助するための技術を改良することができる。また、心筋シンチグラフィのSPECT画像を用いて疑似的な三次元画像を作成し、3D畳み込み層を含むニューラルネットワークを用いて機械学習を行うことで、判定の精度を向上させることができた。
<その他の変形>
NNの構造は、図6に示した例には限定されない。層の種別や数、各層に含まれるノードの数等は、適宜変更することができる。また、図6に示した患者の属性を表す情報18に代えて、又は患者の属性を表す情報18に加えて、患者の臨床情報をNNへ入力するようにしてもよい。臨床情報は、心電図、レントゲン、CT画像、血液検査結果、内服薬、現病歴などのカルテ情報などのうち、少なくとも一部の情報を用いることができる。
また、図2に示したAI装置3は、一部の機能部を有しないものであってもよい。例えば、予め作成された学習済みモデルを記憶装置32に保持し、プロセッサ33は前処理部331及び学習部332としては機能しない装置であってもよい。この場合、AI装置3は診断支援部333を有する診断支援装置として機能する。
教師値は、診断済みのSPECT画像に基づいての対象患者について診断された疾患の
情報であってもよい。また、教師値は、疾患の有無を示す診断結果であってもよいし、これ以外の情報を用いてもよい。例えば、狭窄や閉塞がある領域を示す冠動脈CTや冠動脈造影などで得られた冠動脈の形態情報を教師値としてもよい。この場合、最終的な出力は、冠動脈の形態を表す複数のノードにそれぞれ出力値が出力される。また、現在の画像から診断された疾患の有無のほか、過去のカルテ(画像)を取得して、過去の画像と将来的に罹患する疾患との関係を学習するようにしてもよい。また、疾患の情報は、疾患の重症度を含むものであってもよい。
また、負荷時の画像及び安静時の画像は、1つの3D畳み込み層の異なるチャンネルに入力するのでなく、並列に設けられる別個の3D畳み込み層に入力してもよい。それぞれの特徴マップは、後段の層(例えば図6のCONCATENATE 20)において結合するようにしてもよい。また、負荷時の画像及び安静時の画像のうちいずれかのみを用いるようにしてもよい。
本発明は、上述した処理を実行するコンピュータプログラムや、当該プログラムを記録した、コンピュータ読み取り可能な記録媒体を含む。当該プログラムが記録された記録媒体は、プログラムをコンピュータに実行させることにより、上述の処理が可能となる。
ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としては、HDDやSSD(Solid State Drive)、ROM等がある。
本技術の要旨は以下の通りである。
(1)
心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う診断支援方法であって、
前記コンピュータは、
前記SPECT画像に基づいて作成されるSPECT断層画像群であって、診断済みのSPECT断層画像群と、当該診断済みのSPECT断層画像群の対象患者について取得された疾患情報との関係を機械学習して作成された学習済みモデル、及び前記診断対象のSPECT断層画像群を読み出し、
前記学習済みモデルに前記診断対象のSPECT断層画像群に応じた値を入力して得られる出力値又は当該出力値に応じた情報を表示装置に表示させる
診断支援方法。
(2)
前記出力値は、疾患の可能性の大きさを示し、
前記出力値に応じた情報は、前記出力値と所定の閾値との大小関係によって決定される、前記疾患の可能性の大きさの信頼度を示す情報を含む
(1)に記載の診断支援方法。
(3)
前記学習済みモデルは、前記診断済みのSPECT断層画像群に対し所定の順序で奥行方向の順序付けがなされた疑似的な三次元画像を、3D畳み込み層を含むニューラルネットワークに入力し、前記診断済みのSPECT断層画像群の特徴と当該診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習して作成される
(1)又は(2)に記載の診断支援方法。
(4)
心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emissi
on Computed Tomography)画像を利用して、コンピュータが行う診断支援方法であって、
前記SPECT画像に基づいて作成されるSPECT断層画像群であって、前記診断対象のSPECT断層画像群に含まれる画素のうちニューラルネットワークの出力値の変化に対して比較的影響が大きい箇所をモデル注目部位の可視化手法により特定し、前記診断対象のSPECT断層画像群の画像上に示す
診断支援方法。
(5)
心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う診断支援方法であって、
前記SPECT画像に基づいて作成されるSPECT断層画像群であって、前記診断対象のSPECT断層画像群に応じた値を入力した場合に前記学習済みモデルの中間層において算出される特徴マップに対して、次元削減、又はクラスタリングを行い、結果の傾向に応じて病変部位の候補を特定する
診断支援方法。
(6)
前記診断済みのSPECT断層画像群が、異なる2つ以上の軸に基づいて取得されたものであり、
前記学習済みモデルは、各SPECT断層画像群に対し所定の順序で奥行方向の順序付けがなされた疑似的三次元画像を作成し、当該疑似的三次元画像を、それぞれ個別の3D畳み込み層へ入力し、前記3D畳み込み層の各々が出力する特徴値を統合し、前記診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習して作成される
(1)から(5)の何れかに記載の診断支援方法。
(7)
前記診断済みのSPECT断層画像群は、心臓の短軸に基づいて取得されたものを少なくとも含む
(1)から(6)の何れかに記載の診断支援方法。
(8)
前記診断済みのSPECT断層画像群、及び前記診断対象のSPECT断層画像群が、それぞれ心臓に負荷を加えた状態で撮像された負荷時の画像群と、心臓に負荷を加えない状態で撮像された安静時の画像群とを含む
(1)から(7)の何れかに記載の診断支援方法。
(9)
前記学習済みモデルは、前記診断対象の属性を示す情報、及び/又は前記診断対象の臨床情報に応じた値を、中間層において統合し、前記診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習して作成される
(1)から(8)の何れかに記載の診断支援方法。
(10)
(1)から(9)のいずれかに記載の診断支援方法をコンピュータに実行させるための診断支援プログラム。
(11)
1以上のコンピュータを含み、
(1)から(9)のいずれかに記載の診断支援方法を前記1以上のコンピュータが実行するように構成された診断支援システム。
(12)
心筋シンチグラフィにおいて作成される診断済みのSPECT(Single Photon Emission Computed Tomography)断層画像群及び当該SPECT断層画像群の対象患者に関する疾患情報を記憶する記憶装置から、前記SPECT断層画像群及び前記疾患情報を読み出し、前記SPECT断層画像群と前記疾患情報との関係を機械学習するプロセッサが実行する機械学習方法であって、
前記プロセッサが、
前記診断済みのSPECT断層画像群から複数のSPECT断層画像を抽出し、当該複数のSPECT断層画像に対し所定の順序で奥行方向の順序付けがなされた疑似的三次元画像を作成し、
前記疑似的三次元画像を入力する3D畳み込み層を含むニューラルネットワークを用いて、前記診断済みのSPECT断層画像群の特徴と当該診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習した学習済みモデルを作成する
機械学習方法。
(13)
(12)に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
(14)
1以上のコンピュータを含み、
(12)に記載の機械学習方法を前記1以上のコンピュータが実行するように構成された機械学習システム。
1:システム
2:電子カルテサーバ
3:AI装置
31:記憶装置
32:記憶装置
33:プロセッサ
331:前処理部
332:学習部
333:診断支援部
4:ユーザ装置
5:ネットワーク

Claims (14)

  1. 心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う診断支援方法であって、
    前記コンピュータは、
    前記SPECT画像に基づいて作成されるSPECT断層画像群であって、診断済みのSPECT断層画像群と、当該診断済みのSPECT断層画像群の対象患者について取得された疾患情報との関係を機械学習して作成された学習済みモデル、及び前記診断対象のSPECT断層画像群を読み出し、
    前記学習済みモデルに前記診断対象のSPECT断層画像群に応じた値を入力して得られる出力値又は当該出力値に応じた情報を表示装置に表示させる
    診断支援方法。
  2. 前記出力値は、疾患の可能性の大きさを示し、
    前記出力値に応じた情報は、前記出力値と所定の閾値との大小関係によって決定される、前記疾患の可能性の大きさの信頼度を示す情報を含む
    請求項1に記載の診断支援方法。
  3. 前記学習済みモデルは、前記診断済みのSPECT断層画像群に対し所定の順序で奥行方向の順序付けがなされた疑似的な三次元画像を、3D畳み込み層を含むニューラルネットワークに入力し、前記診断済みのSPECT断層画像群の特徴と当該診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習して作成される
    請求項1又は2に記載の診断支援方法。
  4. 心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う診断支援方法であって、
    前記SPECT画像に基づいて作成されるSPECT断層画像群であって、前記診断対象のSPECT断層画像群に含まれる画素のうちニューラルネットワークの出力値の変化に対して比較的影響が大きい箇所をモデル注目部位の可視化手法により特定し、前記診断対象のSPECT断層画像群の画像上に示す
    診断支援方法。
  5. 心筋シンチグラフィにおいて作成される診断対象のSPECT(Single Photon Emission Computed Tomography)画像を利用して、コンピュータが行う診断支援方法であって、
    前記SPECT画像に基づいて作成されるSPECT断層画像群であって、前記診断対象のSPECT断層画像群に応じた値を入力した場合に前記学習済みモデルの中間層において算出される特徴マップに対して、次元削減、又はクラスタリングを行い、結果の傾向に応じて病変部位の候補を特定する
    診断支援方法。
  6. 前記診断済みのSPECT断層画像群が、異なる2つ以上の軸に基づいて取得されたものであり、
    前記学習済みモデルは、各SPECT断層画像群に対し所定の順序で奥行方向の順序付けがなされた疑似的三次元画像を作成し、当該疑似的三次元画像を、それぞれ個別の3D畳み込み層へ入力し、前記3D畳み込み層の各々が出力する特徴値を統合し、前記診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習して作成される
    請求項1から5の何れか一項に記載の診断支援方法。
  7. 前記診断済みのSPECT断層画像群は、心臓の短軸に基づいて取得されたものを少なくとも含む
    請求項1から6の何れか一項に記載の診断支援方法。
  8. 前記診断済みのSPECT断層画像群、及び前記診断対象のSPECT断層画像群が、それぞれ心臓に負荷を加えた状態で撮像された負荷時の画像群と、心臓に負荷を加えない状態で撮像された安静時の画像群とを含む
    請求項1から7の何れか一項に記載の診断支援方法。
  9. 前記学習済みモデルは、前記診断対象の属性を示す情報、及び/又は前記診断対象の臨床情報に応じた値を、中間層において統合し、前記診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習して作成される
    請求項1から8の何れか一項に記載の診断支援方法。
  10. 請求項1から請求項9のいずれか一項に記載の診断支援方法をコンピュータに実行させるための診断支援プログラム。
  11. 1以上のコンピュータを含み、
    請求項1から請求項9のいずれか一項に記載の診断支援方法を前記1以上のコンピュータが実行するように構成された診断支援システム。
  12. 心筋シンチグラフィにおいて作成される診断済みのSPECT(Single Photon Emission Computed Tomography)断層画像群及び当該SPECT断層画像群の対象患者に関する疾患情報を記憶する記憶装置から、前記SPECT断層画像群及び前記疾患情報を読み出し、前記SPECT断層画像群と前記疾患情報との関係を機械学習するプロセッサが実行する機械学習方法であって、
    前記プロセッサが、
    前記診断済みのSPECT断層画像群から複数のSPECT断層画像を抽出し、当該複数のSPECT断層画像に対し所定の順序で奥行方向の順序付けがなされた疑似的三次元画像を作成し、
    前記疑似的三次元画像を入力する3D畳み込み層を含むニューラルネットワークを用いて、前記診断済みのSPECT断層画像群の特徴と当該診断済みのSPECT断層画像群に対応付けられた前記疾患情報との関係を学習した学習済みモデルを作成する
    機械学習方法。
  13. 請求項12に記載の機械学習方法をコンピュータに実行させるための機械学習プログラム。
  14. 1以上のコンピュータを含み、
    請求項12に記載の機械学習方法を前記1以上のコンピュータが実行するように構成された機械学習システム。
JP2022087270A 2022-05-27 2022-05-27 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム Pending JP2023174411A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022087270A JP2023174411A (ja) 2022-05-27 2022-05-27 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022087270A JP2023174411A (ja) 2022-05-27 2022-05-27 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム

Publications (1)

Publication Number Publication Date
JP2023174411A true JP2023174411A (ja) 2023-12-07

Family

ID=89030411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022087270A Pending JP2023174411A (ja) 2022-05-27 2022-05-27 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム

Country Status (1)

Country Link
JP (1) JP2023174411A (ja)

Similar Documents

Publication Publication Date Title
CN108784655B (zh) 针对医疗患者的快速评估和后果分析
US10825167B2 (en) Rapid assessment and outcome analysis for medical patients
US10475182B1 (en) Application of deep learning for medical imaging evaluation
CN112868020A (zh) 用于医学成像报告的改进的分析和生成的系统和方法
JP6053749B2 (ja) 画像捕捉及び/又は画像関連パラメータの推薦装置
US10950019B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
JP2018206082A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
EP3939003B1 (en) Systems and methods for assessing a likelihood of cteph and identifying characteristics indicative thereof
EP3975199A1 (en) Method and system for determining a significance score as-sociated with a medical imaging dataset of a patient
WO2019102917A1 (ja) 読影医決定装置、方法およびプログラム
CN111226287B (zh) 用于分析医学成像数据集的方法、系统、程序产品和介质
JP2024507684A (ja) 大動脈組織のセグメント化および特徴付けのための方法およびシステム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP7222882B2 (ja) 医用画像評価のためのディープラーニングの応用
Wang et al. An interpretable deep learning system for automatic intracranial hemorrhage diagnosis with CT image
JP5348998B2 (ja) 画像検索装置及びその方法
JP2023174411A (ja) 診断支援方法、診断支援プログラム、診断支援システム、機械学習方法、機械学習プログラム及び機械学習システム
JP2008217426A (ja) 症例登録システム
US11328414B2 (en) Priority judgement device, method, and program
JP2021175454A (ja) 医用画像処理装置、方法およびプログラム
Bhushan Liver cancer detection using hybrid approach-based convolutional neural network (HABCNN)
Sukumar et al. Deep Learning based Pulmonary Embolism Detection using Convolutional Feature Maps of CT Pulmonary Angiography Images
US20230070906A1 (en) Information processing apparatus, method, and program
EP4379672A1 (en) Methods and systems for classifying a medical image dataset
JP2018175695A (ja) 位置合せ装置および位置合せ方法並びに位置合せプログラム