JP2023131733A - 画像診断支援装置、方法、及びプログラム - Google Patents
画像診断支援装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2023131733A JP2023131733A JP2022036642A JP2022036642A JP2023131733A JP 2023131733 A JP2023131733 A JP 2023131733A JP 2022036642 A JP2022036642 A JP 2022036642A JP 2022036642 A JP2022036642 A JP 2022036642A JP 2023131733 A JP2023131733 A JP 2023131733A
- Authority
- JP
- Japan
- Prior art keywords
- score
- common
- image
- diagnosis support
- inflammation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 29
- 206010061218 Inflammation Diseases 0.000 claims abstract description 41
- 230000004054 inflammatory process Effects 0.000 claims abstract description 41
- 210000004798 organs belonging to the digestive system Anatomy 0.000 claims abstract description 31
- 238000004364 calculation method Methods 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 27
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 22
- 210000002429 large intestine Anatomy 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 206010009900 Colitis ulcerative Diseases 0.000 claims description 9
- 201000006704 Ulcerative Colitis Diseases 0.000 claims description 9
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 20
- 238000011156 evaluation Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 208000022559 Inflammatory bowel disease Diseases 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000000664 rectum Anatomy 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 206010067671 Disease complication Diseases 0.000 description 2
- 206010028116 Mucosal inflammation Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000001815 ascending colon Anatomy 0.000 description 2
- 210000001731 descending colon Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000001599 sigmoid colon Anatomy 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000012321 colectomy Methods 0.000 description 1
- 238000002052 colonoscopy Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000009266 disease activity Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011309 routine diagnosis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 210000003384 transverse colon Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】被検体の消化器官に関する画像診断を行う際に、より有用な情報を医療従事者に提示可能な画像診断支援装置、方法、及びプログラムを提供する。【解決手段】画像診断支援装置(10)は、内視鏡ユニット(12)を用いて撮影された被検体の消化器官の内部を示す画像信号(54)を消化器官の部位毎に取得する取得手段(40)と、取得された部位毎の画像信号(54)に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出手段(42)と、部位毎に算出された共通のスコアを用いて、消化器官内における炎症の度合いの位置分布を示すスコアマップ(74)を作成する作成手段(44)を備える。【選択図】図2
Description
本発明は、画像診断支援装置、方法、及びプログラムに関する。
従来から、医療分野において、コンピュータ支援診断/検出(以下、CAD:Computer-Assisted Diagnosis/Detection)に関する技術が知られている。この種の技術は、被検体の様々な部位、例えば、大腸を含む消化器官の診断又は検出にも適用することができる(非特許文献1,2参照)。
"Development and Validation of a Deep Neural Network for Accurate Evaluation of Endoscopic Images From Patients With Ulcerative Colitis", K.Takenaka et al., Gastroenterology, Volume 158, p2150-2157, 2020
"Novel computer-assisted diagnosis system for endoscopic disease activity in patients with ulcerative colitis", T.Ozawa et al., Gastrointestinal Endoscopy, Volume 89, No.2, p416-421, 2019
ところで、潰瘍性大腸炎(UC:Ulcerative Colitis)は、再燃と寛解を繰り返す原因不明の慢性、持続性の炎症性腸疾患である。一般的には、直腸の軽度の炎症から始まり大腸の広範な炎症へと進行する。炎症の持続は、病状の進行に伴う疾患合併症の発症や将来的な大腸全摘術の必要性を高めることになる。これらの疾患合併症を予防するためには、炎症の活動性評価が非常に重要である。そのゴールドスタンダードの検査法は、大腸内視鏡による粘膜炎症の評価である。
従来の評価手法によれば、炎症の最重症部をその症例の重症度と扱うとともに、同部の粘膜所見をMES(Mayo Endoscopic Subscore)やUCEIS(Ulcerative Colitis Endoscopic Index of Severity)に代表される炎症に対する内視鏡スコアリングシステムに準じた項目のみで評価する。
しかしながら、MESやUCEISを含む既存のスコアでは、専門医が考える内視鏡的重症度、すなわち、大腸全体における粘膜炎症の重症度を十分に表現できていない可能性がある。その理由として、[1]MESは評価結果にバラツキが生じる傾向がある点、[2]UCEISは煩雑な評価手法であって専門医以外の医師が通常診断として用いることが難しい点、[3]実臨床において規定されている評価項目以外にも様々な因子を潜在的に考慮した評価を行っている点、[4]既存のスコアでは最重症部位における「点」での評価が行われており、大腸全体の重症度を「面」として評価されていない点などが挙げられる。
本発明はこのような問題に鑑みてなされたものであり、その目的は、被検体の消化器官に関する画像診断を行う際に、より有用な情報を医療従事者に提示可能な画像診断支援装置、方法、及びプログラムを提供することにある。
本発明の第一態様における画像診断支援装置は、内視鏡ユニットを用いて撮影された被検体の消化器官の内部を示す画像信号を前記消化器官の部位毎に取得する取得手段と、前記取得手段により取得された前記部位毎の画像信号に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出手段と、前記算出手段により前記部位毎に算出された前記共通のスコアを用いて、前記消化器官内における炎症の度合いの位置分布を示すスコアマップを作成する作成手段と、を備える。
本発明の第二態様における画像診断支援装置は、前記作成手段により作成された前記スコアマップを表示するように表示手段に対して制御を行う表示制御手段をさらに備える。
本発明の第三態様における画像診断支援装置では、前記スコアマップは、前記消化器官の冠状断面を模擬し、前記共通のスコアの大きさに応じて色分けしたマップである。
本発明の第四態様における画像診断支援装置では、前記消化器官は、大腸であり、前記共通のスコアは、潰瘍性大腸炎の重症度を示す値である。
本発明の第五態様における画像診断支援装置では、前記算出手段は、ランキング学習を用いて機械学習がなされた回帰演算器を含む。
本発明の第六態様における画像診断支援方法では、1つ又は複数のコンピュータが、内視鏡ユニットを用いて撮影された消化器官の内部を示す画像信号を前記消化器官の部位毎に取得する取得ステップと、取得された前記部位毎の画像信号に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出ステップと、前記部位毎に算出された前記共通のスコアを用いて、前記消化器官内における炎症の度合いの位置分布を示すスコアマップを作成する作成ステップと、を実行する。
本発明の第七態様における画像診断支援プログラムでは、1つ又は複数のコンピュータに、内視鏡ユニットを用いて撮影された消化器官の内部を示す画像信号を前記消化器官の部位毎に取得する取得ステップと、取得された前記部位毎の画像信号に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出ステップと、前記部位毎に算出された前記共通のスコアを用いて、前記消化器官内における炎症の度合いの位置分布を示すスコアマップを作成する作成ステップと、を実行させる。
本発明によれば、被検体の消化器官に関する画像診断を行う際に、より有用な情報を医療従事者に提示することができる。
以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。
[画像診断支援装置10の構成]
<全体構成>
図1は、本発明の一実施形態における画像診断支援装置10の全体構成図である。画像診断支援装置10は、被検体の消化器官(ここでは、人間の大腸)の内部にて内視鏡画像60(図3)を撮影し、この内視鏡画像60の解析結果を医療従事者(例えば、医師や検査技師)に提示するための装置である。具体的には、画像診断支援装置10は、内視鏡ユニット12と、表示ユニット14(「表示手段」に相当)と、制御ユニット16と、含んで構成される。
<全体構成>
図1は、本発明の一実施形態における画像診断支援装置10の全体構成図である。画像診断支援装置10は、被検体の消化器官(ここでは、人間の大腸)の内部にて内視鏡画像60(図3)を撮影し、この内視鏡画像60の解析結果を医療従事者(例えば、医師や検査技師)に提示するための装置である。具体的には、画像診断支援装置10は、内視鏡ユニット12と、表示ユニット14(「表示手段」に相当)と、制御ユニット16と、含んで構成される。
内視鏡ユニット12は、例えばビデオスコープ又はファイバースコープから構成されており、スコープ本体20と、カメラ22と、操作部24と、光源装置26と、を含んで構成される。
スコープ本体20は、可撓性を有する概略筒状の部材である。スコープ本体20の内部には、挿入された処置具、光源装置26からの照明光、又は送り出された水や空気などを案内するための様々な案内孔が形成されている。スコープ本体20の先端側には、その近傍空間を撮影するためのカメラ22が取り付けられている。
カメラ22は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮影素子と、レンズなどの光学要素を組み合わせた撮影光学系と、を含んで構成される。カメラ22は、制御ユニット16に電気的に接続され、かつ、スコープ本体20の先端部に配置されている。これにより、カメラ22は、スコープ本体20の先端部周辺を示す画像信号54(図2)を出力して制御ユニット16に供給する。
操作部24は、スコープ本体20を操作するための様々な操作子を備える。操作子の一例として、スコープ本体20の湾曲を上下左右に制御するアングルノブ、送気又は送水の開始/停止を切り替えるための送気・送水ボタン、処置具を挿入する鉗子口などが挙げられる。
光源装置26は、照明光を発する機器であり、スコープ本体20と光学的に接続される。光源装置26からの発光は、スコープ本体20の案内孔(不図示)を通じて、カメラ22の周辺に供給される。
表示ユニット14は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイから構成され、制御ユニット16による表示制御を通じて、様々な画像又は映像を表示する。また、表示ユニット14は、例えば、静電容量方式タッチセンサを内部に組み込むことで、タッチパネルディスプレイとして実装されてもよい。
制御ユニット16は、内視鏡ユニット12及び表示ユニット14に対する様々な制御を司るコンピュータである。制御ユニット16は、具体的には、1つ又は複数のプロセッサ30と、1つ又は複数のメモリ32と、を含んで構成される。
プロセッサ30は、CPU(Central Processing Unit)を含む汎用プロセッサであってもよいし、GPU(Graphics Processing Unit)やFPGA(Field Programmable Gate Array)を含む専用プロセッサであってもよい。
メモリ32は、非一過性であり、かつコンピュータ読み取り可能な記憶媒体で構成されている。メモリ32は、プロセッサ30が各構成要素を制御するのに必要なプログラム及びデータを記憶している。ここで、コンピュータ読み取り可能な記憶媒体は、[1]ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SSD:Solid State Drive)を含む記憶装置、あるいは[2]光磁気ディスク、CD-ROM、フラッシュメモリ等の可搬媒体である。
図2は、図1に示す制御ユニット16の機能ブロック図である。制御ユニット16は、プロセッサ30が、メモリ32に格納された画像診断支援プログラムを読み出して実行することで、取得手段40、算出手段42、作成手段44、表示制御手段46、及び記憶手段48として機能する。
取得手段40は、内視鏡ユニット12を用いて撮影された被検者の消化器官の内部を示す画像信号54を消化器官の部位毎に取得する。取得手段40は、一連の撮影がすべて終了した時点で複数の画像信号54を一括して取得してもよいし、部位毎の撮影が終了する度に画像信号54を逐次取得してもよい。
算出手段42は、取得手段40により取得された部位毎の画像信号54に対して共通する解析処理を施し、消化器官内における炎症の有無又は度合いを示す共通のスコア(以下、単に「共通スコア」ともいう)をそれぞれ算出する。この解析処理は、例えば、算出手段42の一部を構成する回帰演算器50により行われる。
回帰演算器50は、画像信号54を入力とし、共通スコアを出力とする回帰型の機械学習器からなる。機械学習器の種類は、例えば、階層型ニューラルネットワーク、サポートベクターマシン、ディシジョンツリー(一例として、ランダムフォレスト)、ブースティング法(一例として、勾配ブースティング法)を含む様々な手法を採用してもよい。機械学習の手法は、教師あり学習、半教師あり学習、又は強化学習のいずれであってもよい。
共通スコアの線形性は、専門医による相対的アノテーションを用いたランキング学習(例えば、「Ranking-CNN」など)により実現される。具体的には、このランキング学習は、学習データセットを構成する複数の内視鏡画像60(図3)同士の順序関係を定める「工程1」と、定められた順序関係を満たす場合に値が小さくなる損失関数を設定する「工程2」と、学習データセットの中から内視鏡画像60のペアを無作為に選択する「工程3」と、損失関数が小さくなるように学習パラメータ群52を更新する「工程4」と、を含む。そして、所与の収束条件を満たすまでの間、工程3及び工程4を交互に繰り返す。これにより、学習済みの回帰演算器50を通じて、画像信号54に対応する共通スコアが算出される。
作成手段44は、取得手段40により取得された画像信号54又は算出手段42により算出された部位毎の共通スコアを用いて、診断を支援するための表示画面(以下、「診断支援画面」という)を含む表示信号を作成する。診断支援画面には、[1]スコアマップ74を可視化した解析結果画面70(図7)や、[2]画像信号54を可視化した画像一覧画面80(図8)などが含まれる。
ここで、スコアマップ74とは、消化器官内における炎症の度合いの位置分布を意味する。スコアマップ74は、具体的には、消化器官の冠状断面図を模擬し、共通スコアの大きさに応じて色分けしたマップであってもよい。「色分け」とは、明度、彩度、及び色相のうち少なくとも1つを変化させて表現することに相当する。特に、炎症の度合いが高い部位ほど目立つ色が、炎症の度合いが低い部位ほど目立たない色がそれぞれ選択されてもよい。また、スコアマップ74と重なる位置又はその周辺の位置に、共通スコアの数値(例えば、部位毎の値、すべての部位にわたる合計値など)が設けられてもよい。
表示制御手段46は、作成手段44により作成された表示信号に基づいて、表示ユニット14に対する表示制御を行う。これにより、表示ユニット14には、解析結果画面70(図7)や画像一覧画面80(図8)を含む診断支援画面が表示される。
記憶手段48は、画像信号54の解析処理に必要な様々なデータを記憶する。本図の例では、記憶手段48には、学習パラメータ群52、複数の画像信号54、検査情報56、及び結果情報58が記憶されている。
学習パラメータ群52は、回帰演算器50の演算に用いられる学習パラメータの集合体である。学習パラメータ群52は、学習時の更新対象である「可変パラメータ」と、学習時の更新対象でない「固定パラメータ」(いわゆるハイパーパラメータ)から構成される。可変パラメータの一例として、演算ユニットの活性化関数を記述する係数、演算ユニット間の結合強度などが挙げられる。固定パラメータの一例として、演算ユニットの個数、中間層の数、畳み込み演算のカーネルサイズなどが挙げられる。
画像信号54は、内視鏡ユニット12(より詳しくは、カメラ22)を用いて撮影された被検体の消化器官の内部を示す。各々の画像信号54は、消化器官内の部位又は撮影順番と対応付けて記憶される。
検査情報56は、被検者の検査に関する情報であり、例えば、検査ID、被検者の身体的情報(例えば、年齢・性別・身長・体重等)、検査の器官名、検査の種類、表示ユニット14の種類、医師による読影の熟練度、検査の実施地域などが含まれる。
結果情報58は、算出手段42による共通スコアの算出結果を示す情報であり、例えば、部位毎の共通スコア、複数の部位にわたる共通スコアの統計量(例えば、合計値、平均値、最大値など)又は医師による所見などが含まれる。
図3は、図2の画像信号54を可視化した内視鏡画像60の一例を示す図である。内視鏡画像60は、矩形状(本図例では、正方形)の画像領域を有し、3つのカラーチャンネル(RGB)からなる二次元画像である。例えば、小腸側から肛門側に向かって大腸の内部が撮影される場合、複数の内視鏡画像60は、[1]上行結腸(近位・遠位)、[2]横行結腸(右位・左位)、[3]下行結腸(近位・遠位)、[4]S状結腸(近位・遠位)、及び[5]直腸(上部・下部)にそれぞれ対応する。
図4は、図2に示す回帰演算器50の機能ブロック図である。回帰演算器50は、1つ又は複数の学習器から構成されるとともに、機械学習を通じて、画像の種類を認識する「物体認識モデル」や、画像中の物体を検出する「物体検出モデル」を構築可能に構成される。物体検出モデルの種類は、関心領域(ROI:Region Of Interest)の抽出器が物体の検出器とは別に設けられている「two-stage detector」(例えば、Faster R-CNNやその派生モデル等)であってもよいし、抽出器と検出器とが一体的に構成されている「one-stage detector」(例えば、YOLO、SSD、M2Detやこれらの派生モデル等)であってもよい。
回帰演算器50は、上流側から下流側にわたって順に、特徴マップ生成部62と、スコア変換部64と、を含んで構成される。本図の例では、特徴マップ生成部62及びスコア変換部64が学習処理の対象である。
特徴マップ生成部62は、画像信号54に対して畳み込み演算及びプーリング演算(いわゆるCNN演算)を繰り返して実行することで、内視鏡画像60の形態的特徴を示す特徴マップをチャンネル毎に生成する。上記したCNN演算は、VGG16、ResNet、DensNetを含む様々なネットワーク構造により実行され得る。
スコア変換部64は、チャンネル毎の特徴マップから、内視鏡画像60の全体領域内における炎症の有無及び度合いを示す共通スコアに変換する。消化器官が大腸である場合、この共通スコアは潰瘍性大腸炎の重症度を示す値である。例えば、値が大きくなるにつれて重症度が高くなる一方、値が小さくなるにつれて重症度が低くなるように、共通スコアが定義されている。
図5は、共通スコアの定義の一例を示す模式図である。本図の例では、共通スコアは、大腸内の部位にかかわらず、[0,10]の範囲内にある任意の連続値又は離散値をとり得る。値が「0」(下限値)である場合には「寛解」の状態、値が「10」(上限値)である場合には「劇症」の状態をそれぞれ示している。また、0と10の中間値は、典型的な炎症性腸疾患(IBD)専門医による評価スコアとの間で正の相関性(線形性)があるように定義されている。例えば、「寛解」と「軽症」の境界線が「1」、「軽症」と「中等症」の境界線が「3」、「中等症」と「重症」の境界線が「7」、「重症」と「劇症」の境界線が「9」になるように設計されている。
[画像診断支援装置10の動作]
<動作の説明>
この実施形態における画像診断支援装置10は、以上のように構成される。続いて、この画像診断支援装置10、特に制御ユニット16による解析動作について、図6のフローチャート、図7及び図8を参照しながら説明する。
<動作の説明>
この実施形態における画像診断支援装置10は、以上のように構成される。続いて、この画像診断支援装置10、特に制御ユニット16による解析動作について、図6のフローチャート、図7及び図8を参照しながら説明する。
図6のステップSP10において、取得手段40は、内視鏡ユニット12を用いて撮影された被検者の大腸の内部を示す画像信号54(図3)を大腸の部位毎に取得する。
ステップSP12において、算出手段42は、ステップSP10で取得された複数の画像信号54のうち、まだ選択されていない1つの画像信号54を選んで指定する。1回目の処理では、例えば、大腸の最も奥側にある部位(上行結腸の近位)の画像信号54が指定される。
ステップSP14において、算出手段42は、ステップSP12で指定された画像信号54に対して、複数の部位に共通する解析処理を行うことで、炎症の度合いを示す共通スコアを算出する。具体的には、単一の回帰演算器50に画像信号54を入力することで、部位に応じた共通スコアが算出される。
ステップSP16において、算出手段42は、すべての画像信号54に関してステップSP14での共通スコアの計算が終了したか否かを確認する。1回目の処理では、まだ計算していない画像信号54が存在するので(ステップSP16:NO)、ステップSP12に戻る。
2回目のステップSP12において、算出手段42は、ステップSP10で取得された複数の画像信号54のうち、まだ選択されていない1つの画像信号54を選んで指定する。2回目の処理では、例えば、1回目に指定された画像信号54の次に撮影された画像信号54が指定される。以下、算出手段42は、ステップSP12~SP16を順次繰り返して実行し、すべての画像信号54に関して共通スコアの計算が終了した場合(ステップSP16:YES)、次のステップSP18に進む。
ステップSP18において、作成手段44は、ステップSP14で算出された部位毎の共通スコアを用いて、炎症の度合いの位置分布を示すスコアマップ74(図7)を含む表示信号を作成する。
ステップSP20において、表示制御手段46は、ステップSP18で作成されたスコアマップ74を表示するように表示ユニット14に対して表示制御を行う。具体的には、表示制御手段46は、スコアマップ74を含む表示信号を表示ユニット14に供給する。これにより、表示ユニット14が有する表示領域内に、所望の診断支援画面(解析結果画面70及び画像一覧画面80のうちの少なくとも一方)が表示される。
図7は、図1の表示ユニット14に表示される解析結果画面70の一例を示す図である。解析結果画面70上には、検査情報欄72と、スコアマップ74と、カラースケール76と、解析情報欄78と、が設けられている。検査情報欄72には、被検者名や画像IDを含む検査情報56が表示されている。スコアマップ74は、大腸の冠状断面図を模擬し、共通スコアの大きさに応じて色分けしたシェーマである。カラースケール76は、スコアマップ74の色分け規則を表現している。解析情報欄78には、共通スコアの合計を含む結果情報58が表示されている。
ここでは、スコアマップ74は、色が濃くなるにつれて共通スコアが高くなる一方、色が薄くなるにつれて共通スコアが低くなるように色分けされている。つまり、直腸が最重症部位であり、S状結腸及び下行結腸の範囲まで炎症が拡大していることが把握される。医療従事者は、このスコアマップ74を視認することで、炎症の進行状態を大局的に把握しやすくなる。
図8は、図1の表示ユニット14に表示される画像一覧画面80の一例を示す図である。画像一覧画面80上には、検査情報欄82と、サムネイル欄84と、が設けられている。検査情報欄82には、被検者名や画像IDを含む検査情報56が表示されている。サムネイル欄84を構成する10個の個別欄86は、大腸のシェーマの形状に対応する位置にそれぞれ配置されている。
個別欄86には、部位の名称を示す文字列88と、過去の検査で得られた内視鏡画像60のサムネイル90と、今回の検査で得られた内視鏡画像60のサムネイル92と、診断の進捗を確認するためのチェックボックス94と、が配置されている。サムネイル90,92を指示する入力操作に応じて、内視鏡画像60の診断を行うための診断画面(不図示)がポップアップ表示される。その後、チェックボックス94を選択する入力操作に応じて、個別欄86(より詳しくは、サムネイル90,92及びチェックボックス94)の表示形態が変化する。これにより、医療従事者は、該当する部位の診断が終了したことを把握することができる。
このようにして、画像診断支援装置10は、図6に示すフローチャートの実行を終了する。解析結果画面70又は画像一覧画面80の表示を通じて、医療従事者(特に、医師や技師)に対する診断支援が行われる。
<共通スコアの特徴>
図9は、この実施形態における共通スコアと専門医スコアとの間の相関関係を示す図である。より詳しくは、図9(a)は第1のIBD専門医による評価結果を示す散布図、図9(b)は第2のIBD専門医による評価結果を示す散布図にそれぞれ相当する。散布図中の各点は、評価対象である個々の内視鏡画像60における一対のスコアを示している。
図9は、この実施形態における共通スコアと専門医スコアとの間の相関関係を示す図である。より詳しくは、図9(a)は第1のIBD専門医による評価結果を示す散布図、図9(b)は第2のIBD専門医による評価結果を示す散布図にそれぞれ相当する。散布図中の各点は、評価対象である個々の内視鏡画像60における一対のスコアを示している。
具体的には、散布図の横軸は専門医スコアを示すとともに、散布図の縦軸は共通スコアを示している。ここで「専門医スコア」は、IBD専門医による炎症の評価結果(0~10の11段階)に相当する。また、「共通スコア」は、図2の回帰演算器50により算出された評価スコア([0,10]に正規化)に相当する。各点が(0,0)及び(10,10)を結ぶ直線(以下、「理想直線」という)上にある場合、理想的なスコアに該当する。回帰分析を行った結果、図9(a)における相関係数は0.987となり、図9(b)における相関係数が0.974となった。このように、共通スコアと専門医スコアとは非常に高い相関性を有することが確認された。
[実施形態のまとめ]
以上のように、この実施形態における画像診断支援装置10は、内視鏡ユニット12を用いて撮影された被検体の消化器官の内部を示す画像信号54を消化器官の部位毎に取得する取得手段40と、取得手段40により取得された部位毎の画像信号54に対して共通する解析処理を施し、炎症の度合いを示す共通スコアをそれぞれ算出する算出手段42と、算出手段42により部位毎に算出された共通スコアを用いて、消化器官内における炎症の度合いの位置分布を示すスコアマップ74を作成する作成手段44と、を備える。
以上のように、この実施形態における画像診断支援装置10は、内視鏡ユニット12を用いて撮影された被検体の消化器官の内部を示す画像信号54を消化器官の部位毎に取得する取得手段40と、取得手段40により取得された部位毎の画像信号54に対して共通する解析処理を施し、炎症の度合いを示す共通スコアをそれぞれ算出する算出手段42と、算出手段42により部位毎に算出された共通スコアを用いて、消化器官内における炎症の度合いの位置分布を示すスコアマップ74を作成する作成手段44と、を備える。
また、この実施形態における画像診断支援方法及びプログラムによれば、1つ又は複数のコンピュータ(ここでは、画像診断支援装置10)が、内視鏡ユニット12を用いて撮影された被検体の消化器官の内部を示す画像信号54を消化器官の部位毎に取得する取得ステップ(SP10)と、取得された部位毎の画像信号54に対して共通する解析処理を施し、炎症の度合いを示す共通スコアをそれぞれ算出する算出ステップ(SP14)と、部位毎に算出された共通スコアを用いて、消化器官内における炎症の度合いの位置分布を示すスコアマップ74を作成する作成ステップ(SP18)を実行する。
このように、炎症の度合いを示す共通スコアを消化器官の部位毎に算出し、消化器官内における炎症の度合いの位置分布を示すスコアマップ74を作成することで、隣り合う部位同士における炎症の関係性を表現可能となり、炎症の度合いを部位別に提示する場合と比べて、炎症の進行状態を大局的に把握しやすくなる。これにより、被検体の消化器官に関する画像診断を行う際に、より有用な情報を医療従事者に提示することができる。
また、画像診断支援装置10は、作成手段44により作成されたスコアマップ74を表示するように表示手段(ここでは、表示ユニット14)に対して制御を行う表示制御手段46をさらに備えてもよい。これにより、スコアマップ74を可視化した状態にて医療従事者に提示することができる。
また、スコアマップ74は、消化器官の冠状断面図を模擬し、前記共通のスコアの大きさに応じて色分けしたマップであってもよい。消化器官の冠状断面図を模擬し、炎症の位置分布を色分けで表現することで、医療従事者は炎症の進行状態を一見して把握することができる。
また、消化器官が大腸である場合、共通スコアは、潰瘍性大腸炎の重症度を示す値であってもよい。また、算出手段42は、ランキング学習を用いて機械学習がなされた回帰演算器50を含んでもよい。
[変形例]
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。
上記した実施形態では、診断対象の器官が「大腸」である場合を例に挙げて説明したが、消化器官の種類はこれに限られない。具体的には、炎症が起こり得る小腸や食道などにも適用され得る。また、被検体は人間に限られず、消化器官を有する様々な動物であってもよい。
上記した実施形態では、内視鏡ユニット12と制御ユニット16とが一体である画像診断支援装置10が解析処理を行う場合を例に挙げて説明したが、システム構成はこれに限られない。例えば、内視鏡ユニット12と制御ユニット16とが別体に設けられ、かつ有線通信又は無線通信により、画像信号54をやり取り可能に構成されてもよい。この場合、クラウド型あるいはオンプレミス型のサーバ装置が解析処理を行ってもよい。特にサーバ装置がクラウド型である場合、当該サーバ装置は、分散システムを構築するコンピュータ群であってもよい。
上記した実施形態では、画像診断支援装置10が備える表示ユニット14が診断支援画面を表示する場合を例に挙げて説明したが、システム構成はこれに限られない。例えば、画像診断支援装置10とは別に設けられる表示手段に表示させてもよい。具体的には、画像診断支援装置10と通信可能に構成されるコンピュータが、表示に必要な各種情報を画像診断支援装置10から受信し、自身が備える表示装置に診断支援画面を表示させてもよい。
上記した実施形態では、独自の「共通スコア」に関する診断支援表示を行う場合を例に挙げて説明したが、表示の態様はこれに限られない。例えば、図7の解析結果画面70上に、共通スコアと併せて又はこれとは別に、MESやUCEISを含む既存のスコアを表示させてもよい。この場合、算出手段42は、[1]共通スコアとMESとの対応関係、又は[2]共通スコアとUCEISとの対応関係を示す変換特性曲線を用いて、自身が算出した共通スコアをMES又はUCEISに変換すればよい。
10…画像診断支援装置、12…内視鏡ユニット、14…制御ユニット、16…表示ユニット(表示手段)、30…プロセッサ、32…メモリ、40…取得手段、42…算出手段、44…作成手段、46…表示制御手段、48…記憶手段、50…回帰演算器、54…画像信号、60…内視鏡画像、70…解析結果画面、74…スコアマップ、80…画像一覧画面
Claims (7)
- 内視鏡ユニットを用いて撮影された被検体の消化器官の内部を示す画像信号を前記消化器官の部位毎に取得する取得手段と、
前記取得手段により取得された前記部位毎の画像信号に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出手段と、
前記算出手段により前記部位毎に算出された前記共通のスコアを用いて、前記消化器官内における炎症の度合いの位置分布を示すスコアマップを作成する作成手段と、
を備える画像診断支援装置。 - 前記作成手段により作成された前記スコアマップを表示するように表示手段に対して制御を行う表示制御手段をさらに備える、
請求項1に記載の画像診断支援装置。 - 前記スコアマップは、前記消化器官の冠状断面図を模擬し、前記共通のスコアの大きさに応じて色分けしたマップである、
請求項2に記載の画像診断支援装置。 - 前記消化器官は、大腸であり、
前記共通のスコアは、潰瘍性大腸炎の重症度を示す値である、
請求項1に記載の画像診断支援装置。 - 前記算出手段は、ランキング学習を用いて機械学習がなされた回帰演算器を含む、
請求項1に記載の画像診断支援装置。 - 1つ又は複数のコンピュータが、
内視鏡ユニットを用いて撮影された被検体の消化器官の内部を示す画像信号を前記消化器官の部位毎に取得する取得ステップと、
取得された前記部位毎の画像信号に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出ステップと、
前記部位毎に算出された前記共通のスコアを用いて、前記消化器官内における炎症の度合いの位置分布を示すスコアマップを作成する作成ステップと、
を実行する画像診断支援方法。 - 1つ又は複数のコンピュータに、
内視鏡ユニットを用いて撮影された被検体の消化器官の内部を示す画像信号を前記消化器官の部位毎に取得する取得ステップと、
取得された前記部位毎の画像信号に対して共通する解析処理を施し、炎症の度合いを示す共通のスコアをそれぞれ算出する算出ステップと、
前記部位毎に算出された前記共通のスコアを用いて、前記消化器官内における炎症の度合いの位置分布を示すスコアマップを作成する作成ステップと、
を実行させる画像診断支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022036642A JP2023131733A (ja) | 2022-03-09 | 2022-03-09 | 画像診断支援装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022036642A JP2023131733A (ja) | 2022-03-09 | 2022-03-09 | 画像診断支援装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023131733A true JP2023131733A (ja) | 2023-09-22 |
Family
ID=88064693
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022036642A Pending JP2023131733A (ja) | 2022-03-09 | 2022-03-09 | 画像診断支援装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023131733A (ja) |
-
2022
- 2022-03-09 JP JP2022036642A patent/JP2023131733A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022505154A (ja) | 生体内画像ストリームの精査用情報を生成及び表示するためのシステム並びに方法 | |
JP7034102B2 (ja) | 対象の消化管における粘膜疾患の評価及び監視のためのシステム及び方法 | |
TW202018586A (zh) | 訓練生成對抗網路之系統及方法以及經訓練之生成對抗網路之使用 | |
CN1663530B (zh) | 用于处理图像数据以帮助检测疾病的方法和装置 | |
CN106999052A (zh) | 交互式心脏测试数据和相关联的设备、系统和方法 | |
CN107847289A (zh) | 现实增强的形态学手术 | |
CN101273916B (zh) | 评估患者状况的系统和方法 | |
DE112021001951T5 (de) | Programm, Informationsverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Diagnoseunterstützungssystem | |
US20230105799A1 (en) | Program, information processing method, and information processing device | |
US10943504B2 (en) | Interactive intravascular procedure training and associated devices, systems, and methods | |
JP7441452B2 (ja) | 教師データ生成方法、学習済みモデル生成方法、および発病予測方法 | |
KR20230118054A (ko) | 의료 영상으로부터 바이오마커 발현을 예측하는 방법및 시스템 | |
JP2023131733A (ja) | 画像診断支援装置、方法、及びプログラム | |
US20220157467A1 (en) | System and method for predicting wellness metrics | |
JP2021074095A (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
KR102648922B1 (ko) | 인공지능 기반의 혈관 학습을 통한 대장 용종 검출 방법 및 장치 | |
JP7465409B2 (ja) | 人工知能基盤の血管学習による大腸ポリープ検出方法及び装置 | |
JP5857367B2 (ja) | 医用画像表示制御装置、方法およびプログラム | |
WO2021220990A1 (ja) | 画像認識装置および画像認識プログラム | |
Kopczynska et al. | Assessment of technical parameters and skills training to inform a simulation-based training program for semi-automated robotic colonoscopy | |
US20240021103A1 (en) | Endoscopic training system | |
WO2023026538A1 (ja) | 医療支援システム、医療支援方法及び評価支援装置 | |
Madhavi et al. | Detection of Pneumonia Using Deep Transfer Learning | |
Zammit et al. | Artificial intelligence within the small bowel: are we lagging behind? | |
WO2023218523A1 (ja) | 第2の内視鏡システム、第1の内視鏡システム、および内視鏡検査方法 |