JP2022054814A - 画像診断支援装置および画像処理方法 - Google Patents

画像診断支援装置および画像処理方法 Download PDF

Info

Publication number
JP2022054814A
JP2022054814A JP2020162039A JP2020162039A JP2022054814A JP 2022054814 A JP2022054814 A JP 2022054814A JP 2020162039 A JP2020162039 A JP 2020162039A JP 2020162039 A JP2020162039 A JP 2020162039A JP 2022054814 A JP2022054814 A JP 2022054814A
Authority
JP
Japan
Prior art keywords
image
diagnostic
facility
support device
diagnostic imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020162039A
Other languages
English (en)
Other versions
JP7440388B2 (ja
Inventor
幸生 金子
Yukio Kaneko
云 李
Yun Li
子盛 黎
Zisheng Li
彩 岸本
Aya Kishimoto
和喜 松崎
Kazuyoshi Matsuzaki
佩菲 朱
Peifei ZHU
昌宏 荻野
Masahiro Ogino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020162039A priority Critical patent/JP7440388B2/ja
Priority to CN202110216335.7A priority patent/CN114271837A/zh
Priority to US17/197,445 priority patent/US11923072B2/en
Publication of JP2022054814A publication Critical patent/JP2022054814A/ja
Application granted granted Critical
Publication of JP7440388B2 publication Critical patent/JP7440388B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】既存の画像診断モデルを用いて各施設に適した診断結果を取得可能な画像診断支援装置および画像処理方法を提供する。【解決手段】入力される医用画像である診断画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込部と、施設が保有する診断結果と対応付けられた複数の医用画像である施設データを記憶する記憶部と、前記施設データに基づいて、前記画像診断モデルに入力される診断画像又は前記画像診断モデルを調整する調整部を備えることを特徴とする。【選択図】図3

Description

本発明は医用画像撮像装置で取得される医用画像に含まれる病変部位を人工知能等により診断支援する画像診断支援装置および画像処理方法に関し、特に診断精度を向上させる技術に係る。
X線CT(Computed Tomography)装置等に代表される医用画像撮像装置は、病変部位等の形態を画像化する装置であり、医用画像に含まれる病変部位は読影医によって診断される。医用画像撮像装置の高性能化にともなう読影医の負担増を軽減するため、人工知能いわゆるAI(Artificial Intelligence)によって病変部位を診断する画像診断支援装置が近年開発されている。多くの画像診断支援装置では、医用画像の特徴を示す値である多数の画像特徴量に基づいて医用画像から導かれる診断名を推論するのに留まっており、推論の結果が診断に有用であるか否かを医師が判断できなかった。
特許文献1には、医用画像から診断名を推論するように機械学習した画像診断モデルを用いて医用画像から診断名を推論するとともに、診断名の推論結果への影響度が高い画像所見を参考情報として提示できる情報処理装置が開示されている。具体的には、医用画像の各画像特徴量に基づいて、診断名と、医用画像の特徴を表現する画像所見とが推論され、診断名の推論結果に影響を与えた画像特徴量と共通する画像特徴量が影響を与えて推論される画像所見が参考情報として提示される。
特開2019-97805号公報
しかしながら特許文献1では、既存の画像診断モデルを用いて画像診断をしているため、各施設に適した診断結果にならない場合がある。すなわち、患者の性質の違いや画像診断装置の種類の違い等の施設の性質の違いによって、十分な診断精度が得られない場合がある。
そこで本発明は、既存の画像診断モデルを用いて各施設に適した診断結果を取得可能な画像診断支援装置および画像処理方法を提供することを目的とする。
上記目的を達成するために本発明は、入力される医用画像である診断画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込部と、施設が保有する診断結果と対応付けられた複数の医用画像である施設データを記憶する記憶部と、前記施設データに基づいて、前記画像診断モデルに入力される診断画像又は前記画像診断モデルを調整する調整部を備えることを特徴とする画像診断支援装置である。
また本発明は、入力される医用画像である診断画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込ステップと、施設が保有する診断結果と対応付けられた複数の医用画像である施設データに基づいて、前記画像診断モデルに入力される診断画像又は前記画像診断モデルを調整する調整ステップと、をコンピュータに実行させることを特徴とする画像処理方法である。
本発明によれば、既存の画像診断モデルを用いて各施設に適した診断結果を取得可能な画像診断支援装置および画像処理方法を提供することができる。
実施例1の画像診断支援装置のハードウェア構成図である。 実施例1の機能ブロック図である。 実施例1の処理の流れの一例を示す図である。 評価領域毎の重要度の算出について説明する図である。 診断結果と重要度の表示画面の一例を示す図である。 施設データの統計処理の結果の一例を示す図である。 統計処理に用いられる項目を選択する画面の一例を示す図である。 診断画像の調整の一例を示す図である。 実施例2の処理の流れの一例を示す図である。
以下、添付図面に従って本発明に係る画像診断支援装置および画像処理方法の好ましい実施例について説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
図1を用いて実施例1の画像診断支援装置100のハードウェア構成について説明する。画像診断支援装置100は、いわゆるコンピュータである。具体的には、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、記憶部104、ネットワークアダプタ105、入力部106、表示部107がバス108によって信号送受可能に接続されて構成される。また画像診断支援装置100は、ネットワークアダプタ105及びネットワーク109を介して医用画像撮像装置110や医用画像データベース111と信号送受可能に接続される。ここで、「信号送受可能に」とは、電気的または光学的に、有線と無線を問わず、相互にあるいは一方から他方へ信号を受け渡しできる状態である。
CPU101は、ROM102に記憶されるシステムプログラム等を読み出し、各構成要素の動作を制御する装置である。CPU101は、記憶部104に格納されるプログラムやプログラム実行に必要なデータをRAM103にロードして実行する。記憶部104は、CPU101が実行するプログラムやプログラム実行に必要なデータを格納する装置であり、具体的にはHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記録装置や、ICカード、SDカード、DVD等の記録媒体に読み書きする装置である。プログラム実行に必要なデータを含む各種データはLAN(Local Area Network)等のネットワーク109からも送受信される。RAM103には、CPU101が実行するプログラムや演算処理の途中経過等が記憶される。
表示部107は、プログラム実行の結果等が表示される装置であり、具体的には液晶ディスプレイやタッチパネル等である。入力部106は、操作者が画像診断支援装置100に対して操作指示を行う操作デバイスであり、具体的にはキーボードやマウス等である。マウスはトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。また表示部107がタッチパネルである場合には、タッチパネルが入力部106としても機能する。ネットワークアダプタ105は、画像診断支援装置100をLAN、電話回線、インターネット等のネットワーク109に接続するためのものである。
医用画像撮像装置110は、病変部位等の形態を画像化した断層画像等の医用画像を取得する装置であり、具体的には、レントゲン装置や、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、超音波診断装置等である。また複数の断層画像が積み上げられることにより、三次元の医用画像が作成されても良い。医用画像データベース111は、医用画像撮像装置110によって取得された医用画像を保管するデータベースシステムである。
図2を用いて実施例1の機能ブロック図について説明する。なおこれらの機能は、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等を用いた専用のハードウェアで構成されても良いし、CPU101上で動作するソフトウェアで構成されても良い。以降の説明では各機能がソフトウェアで構成された場合について説明する。実施例1は、モデル読込部201と判定部202と調整部203を備える。以下、各部について説明する。
モデル読込部201は、入力される医用画像に対して診断結果を出力する画像診断モデルを記憶部104から、またはネットワークアダプタ105を介してインターネット等から読み込む。画像診断モデルは、Random forestやSVM (Support Vector Machine)、階層型ニューラルネットワーク等で構築される既存のプログラムであり、処理アルゴリズムがブラックボックス化された任意のプログラムである。画像診断モデルに入力される医用画像は、任意の画像で良く、例えば二次元や三次元の医用画像であったり、医用画像の一部の領域であったりする。また画像診断モデルから出力される診断結果は、例えば、病変部位の良悪判定の結果であり、病変部位が悪性である確率等である。
判定部202は、画像診断モデルから出力される診断結果が診断精度として十分か否かを判定する。判定部202による判定には、施設ごとに定められた閾値が用いられる。診断結果が診断精度として不十分と判定されると、調整部203が動作する。なお判定部202は必須の機能ではなく、判定部202による判定を経ることなく調整部203が動作しても良い。
調整部203は、施設が保有する診断結果と対応付けられた複数の医用画像である施設データに基づいて、画像診断モデルに入力される診断画像を調整する。すなわち、画像診断モデルから出力される診断結果の精度を向上させるために、診断画像のサイズを拡大・縮小したり、診断画像に含まれる任意の領域を削除したりする。具体的な調整は、図8を用いながら後述される。
図3を用いて、実施例1の処理の流れの一例について説明する。
(S301)
モデル読込部201が、記憶部104またはネットワークアダプタ105を介してインターネット等から画像診断モデルを読み込む。
(S302)
診断対象の医用画像である診断画像が画像診断モデルに入力される。診断画像は、施設が保有するRIS(Radiology Information System)等から読み出される。
(S303)
画像診断モデルは、S302にて入力された診断画像に対する診断結果として、例えば診断画像に含まれる腫瘍が悪性である確率を出力する。また診断結果とともに、評価領域毎の重要度が出力されても良い。評価領域とは診断結果に関与する領域として診断画像から抽出される領域であり、評価領域の重要度とは複数の評価領域のそれぞれが診断結果に与える影響の程度を示す値である。評価領域毎の重要度が示されることにより、操作者は診断結果により影響を与える評価領域、すなわち診断の根拠となる評価領域を確認できる。
図4を用いて、評価領域毎の重要度の算出例について説明する。診断結果に関与する領域である評価領域は、診療の根拠や手順が記載されている診療ガイドライン等に基づいて抽出される。例えば肺腫瘍の良悪判定の場合には肺がん診療ガイドライン等に基づいて、肺腫瘍領域や含気領域、胸壁領域、血管領域等が評価領域として抽出される。
抽出された評価領域は、輝度値の分布情報を表す画像として画像診断モデルに入力され、評価領域毎に重要度が算出される。具体的には、評価領域の様々な組み合わせを画像診断モデルに入力することによって取得される各診断結果と評価領域の組み合わせとに基づいて、評価領域毎の重要度が算出される。なお評価領域の組み合わせは、例えばサンプリングテーブル401によって表される。
サンプリングテーブル401は、抽出されたn個の評価領域が並ぶ項目行とサンプリング行列とから構成されるテーブルであり、各行に対応する画像に各評価領域が含まれるか否かがサンプリング行列の行列要素の値で示される。すなわち、各行の中の値が1であれば対応する評価領域は当該行の画像に含まれ、値が0である列の評価領域は当該行の画像に含まれない。当該行の画像に含まれない評価領域は輝度値0とされたり黒で埋められたりする。例えば、1行目の画像は領域1の値が1であって領域2から領域nまでの値が0であるので、領域1だけが含まれる画像となる。領域1が肺腫瘍領域である場合、当該画像は肺腫瘍領域だけが含まれる肺腫瘍領域画像402となる。また2行目の画像は領域1の値が0であって領域2から領域nまでの値が1であるので、領域1だけが含まれない画像となる。
サンプリング行列のサイズは、評価領域の数nと評価領域の組み合わせの数mとに応じて定められる。すなわちサンプリング行列はm行n列の行列となる。評価領域の組み合わせの数mは、重要度の算出精度を向上させるために、n個の評価領域の全ての組み合わせ数である2にすることが好ましいが、必ずしもその限りではない。例えばn個の評価領域の各々のみが含まれる組み合わせを表すようにm=nとされても良い。
サンプリング行列等によって表される評価領域の組み合わせ毎の画像が画像診断モデルに入力されると、組み合わせ毎の診断結果が出力される。図4には、肺腫瘍領域や含気領域、胸壁領域、血管領域の各々のみが含まれる肺腫瘍領域画像402や含気領域画像403、胸壁領域画像404、血管領域画像405が画像診断モデルに入力されることによって出力される診断結果406が例示される。図4の診断結果406によれば、評価領域毎の重要度として、肺腫瘍領域画像402では0.95、含気領域画像403では0.84、胸壁領域画像404では0.42、血管領域画像405では0.41が出力される。また図4に例示される結果から、操作者は胸壁領域や血管領域よりも肺腫瘍領域や含気領域が診断結果の根拠として重要であることを確認できる。
図5を用いて、S303にて表示される画面の一例について説明する。図5の画面には、診断画像表示部501、評価領域表示部502、重要度表示部503、診断結果表示部504が含まれる。診断画像表示部501には、診断画像の中の腫瘍を含む領域である腫瘍領域の画像が表示される。評価領域表示部502には、診断画像表示部501に表示された画像を複数の評価領域に分割した結果が表示される。重要度表示部503には、評価領域毎に算出された重要度が可視化された画像が表示される。診断結果表示部504には、診断結果である腫瘍が悪性である確率97%とともに、腫瘍のサイズや、腫瘍の辺縁の性状、含気の有無等が表示される。
(S304)
判定部202は、S303にて出力される診断結果に基づいて、画像診断モデルの診断精度が十分か否かを判定する。診断精度が不十分である場合にはS305を介してS303へ処理が戻され、十分である場合にはS306に処理が進められる。診断精度の判定には、施設毎に定められる閾値が用いられ、例えば診断結果である腫瘍が悪性である確率が閾値よりも低ければ診断精度は不十分であると判定される。施設毎に定められる閾値には、例えば診断結果が正しい確率の値が設定される。
(S305)
調整部203は、施設データに基づいて診断画像を調整する。診断画像が調整されるとS303に処理が戻り、画像診断モデルが調整後の診断画像に対して診断結果を出力する。診断画像は、例えば施設データを統計処理した結果に基づいて調整される。
図6を用いて、施設データを統計処理した結果の一例について説明する。図6には、施設ヒストグラム601と教師ヒストグラム602が示される。施設ヒストグラム601は、施設データの各医用画像を用いて作成されるヒストグラムであり、図6には各医用画像に含まれる腫瘍のサイズを横軸としたヒストグラムが示される。また教師ヒストグラム602は、画像診断モデルの生成に用いられた教師データを用いて作成されるヒストグラムであり、施設ヒストグラム601と同様に、横軸は各医用画像に含まれる腫瘍のサイズである。なお教師データは施設データとは異なる複数の医用画像であって、医用画像毎に診断結果が対応付けられる。また施設データの統計処理は、腫瘍のサイズを横軸としたヒストグラムの作成に限られず、操作者が選択する項目を用いて統計処理がなされても良い。
図7を用いて、施設データの統計処理に用いられる項目を選択する画面の一例について説明する。図7の画面には、図5を用いて説明した診断画像表示部501、評価領域表示部502、重要度表示部503、診断結果表示部504とともに、項目選択部701と統計結果表示部702が含まれる。項目選択部701は、統計処理に用いられる項目を操作者が選択するためのチェックボックスであり、選択されたチェックボックスに対応する項目が統計処理に用いられる。操作者が項目選択部701から所望の項目を選択することにより、操作者が重要視する観点で診断精度の向上を図ることができる。
統計結果表示部702には、項目選択部701で選択された項目を用いて統計処理された結果が表示される。統計結果表示部702には、施設データを統計処理した結果だけでなく、教師データを統計処理した結果が表示されても良い。両データが対比されて表示されることにより、施設の性質が画像診断モデルと合っているか否かが明確になる。例えば、図6の施設ヒストグラム601と教師ヒストグラム602との対比により、施設データと教師データには腫瘍のサイズの分布に差異があり、施設の性質が画像診断モデルと合っていないことがわかる。調整部203は、施設の性質を画像診断モデルに合わせられるために、施設データと教師データとの差異を軽減するように診断画像を調整しても良い。例えば、施設ヒストグラム601の最頻値と教師ヒストグラム602の最頻値との差異に基づいて診断画像の大きさが調整される。
図8を用いて、診断画像の調整の一例について説明する。図8には、第一調整例801と第二調整例802が示される。第一調整例801は、施設ヒストグラム601と教師ヒストグラム602との対比に基づいて診断画像の大きさが縮小された例である。すなわち施設ヒストグラム601の最頻値が30mmであるのに対して教師ヒストグラム602の最頻値が20mmであるときに、診断画像の一辺に2/3が乗じられて診断画像が縮小された例である。第二調整例802は、腫瘍の近傍に存在する高輝度領域が除去された例である。すなわち、腫瘍の下側に存在する高輝度領域である胸壁領域に黒が埋め込まれて高輝度領域が除去された例である。
(S306)
調整部203は、S305の診断画像の調整に係るパラメータである調整パラメータを記憶部104に保存する。例えば、診断画像の一辺に2/3が乗じられて診断画像が縮小された場合には、調整パラメータとして2/3が保存される。なお、S305の処理を経ることなくS306に達した場合には、調整パラメータは保存されなくても良い。またS306に至ったときには、S303において施設に適した診断結果が取得されている。
以上説明した処理の流れにより、画像診断モデルに施設の性質が合うように診断画像が調整されるので、既存の画像診断モデルを用いて各施設に適した診断結果を取得することができる。なお図3の処理の流れにおいて、S304の判定処理は必須ではない。S304の判定処理が無い場合は、画像診断モデルがS303において、S305の調整処理を施された診断画像に対する診断結果を出力すれば良い。
実施例1では、施設データに基づいて、画像診断モデルに入力される診断画像を調整することについて説明した。診断精度を向上させるには、画像診断モデルに入力される診断画像を調整するだけでなく、再学習によって画像診断モデルが調整されても良い。実施例2では、画像診断モデルの調整に用いられる再学習データを施設データに基づいて生成し、再学習データを用いて画像診断モデルを調整することについて説明する。なお、実施例2の全体構成は実施例1と同じであるので説明を省略する。また実施例2の機能ブロック図は実施例1と同じであるが、調整部203の動作が異なるので調整部203について説明する。
実施例2の調整部203は、施設が保有する診断結果と対応付けられた複数の医用画像である施設データに基づいて、画像診断モデルの調整に用いられる再学習データを生成する。画像診断モデルは、生成された再学習データを用いて再学習することにより、診断結果の精度が向上するように調整される。
図9を用いて、実施例2の処理の流れの一例について説明する。なおS301乃至S303は実施例1と同じ処理であるので説明を簡略化する。
(S301)
モデル読込部201は画像診断モデルを読み込む。
(S302)
診断画像が画像診断モデルに入力される。
(S303)
画像診断モデルは、診断画像に対する診断結果を出力する。
(S904)
判定部202は、S303にて出力される診断結果に基づいて、画像診断モデルの診断精度が十分か否かを判定する。診断精度が不十分である場合にはS905を介してS303へ処理が戻され、十分であれる場合にはS906に処理が進められる。
(S905)
調整部203は、施設データに基づいて再学習データを生成し、生成された再学習データを用いて画像診断モデルを調整する。画像診断モデルが調整されるとS303に処理が戻り、調整後の画像診断モデルが診断画像に対して診断結果を出力する。
再学習データのいくつかの例について説明する。施設に適した診断結果を取得可能にするため、再学習データには施設データの性質が反映されていることが望ましい。そこで、施設データをそのまま再学習データとして用いても良い。
なお、施設データの画像数が、画像診断モデルの生成に用いられた教師データの画像数に比べて著しく少ないと、学習量の不足により十分な診断精度を得ることができない場合がある。そのような場合は、施設データに教師データを追加することによって、学習量の不足を生じさせない再学習データが生成されても良い。
ただし、追加される教師データの性質と施設データの性質が大きく異なると、施設に適した診断結果を得ることが困難になる。そこで、教師データの中から施設データの性質に近いデータを抽出し、抽出されたデータを施設データに追加することによって再学習データが生成されても良い。例えば、図6に例示される施設ヒストグラム601から算出される確率関数を用いて、施設データに追加されるデータを教師データの中から抽出しても良い。確率関数は施設ヒストグラム601をフィッティングすることによって算出される。また確率関数を用いて教師データの中から抽出されるデータの分布は、施設ヒストグラム601に類似する分布となり、施設データの性質に近いデータとなる。そのため、生成される再学習データを再学習することによって調整された画像診断モデルは、施設に適した診断結果を出力できる。
(S906)
調整部203は、S905にて調整された画像診断モデル、すなわち再学習後の画像診断モデルを記憶部104に保存する。なお、S905の処理を経ることなくS906に達した場合には、再学習後の画像診断モデルは保存されなくても良い。またS906に至ったときには、S303において施設に適した診断結果が取得されている。
以上説明した処理の流れにより、施設の性質に合うように画像診断モデルが調整されるので、既存の画像診断モデルを用いて各施設に適した診断結果を取得することができる。なお図9の処理の流れにおいて、S904の判定処理は必須ではない。S904の判定処理が無い場合は、S905にて調整された画像診断モデルがS303において、診断画像に対する診断結果を出力すれば良い。
以上、本発明の複数の実施例について説明した。本発明はこれらの実施例に限定されるものではなく、さまざまな変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したのであり、説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100:画像診断支援装置、101:CPU、102:ROM、103:RAM、104:記憶部、105:ネットワークアダプタ、106:入力部、107:表示部、108:バス、109:ネットワーク、110:医用画像撮像装置、111:医用画像データベース、201:モデル読込部、202:判定部、203:調整部、401:サンプリングテーブル、402:肺腫瘍領域画像、403:含気領域画像、404:胸壁領域画像、405:血管領域画像、406:診断結果、501:診断画像表示部、502:評価領域表示部、503:重要度表示部、504:診断結果表示部、601:施設ヒストグラム、602:教師ヒストグラム、701:項目選択部、702:統計結果表示部、801:第一調整例、802:第二調整例

Claims (11)

  1. 入力される医用画像である診断画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込部と、
    施設が保有する診断結果と対応付けられた複数の医用画像である施設データを記憶する記憶部と、
    前記施設データに基づいて、前記画像診断モデルに入力される診断画像又は前記画像診断モデルを調整する調整部を備えることを特徴とする画像診断支援装置。
  2. 請求項1に記載の画像診断支援装置であって、
    前記調整部は、前記施設データの各医用画像に含まれる腫瘍のサイズのヒストグラムである施設ヒストグラムを生成し、前記施設ヒストグラムに基づいて前記診断画像の大きさを調整することを特徴とする画像診断支援装置。
  3. 請求項2に記載の画像診断支援装置であって、
    前記画像診断モデルは、前記施設データとは異なる複数の医用画像である教師データを学習することによって生成され、
    前記調整部は、前記教師データの各医用画像に含まれる腫瘍のサイズのヒストグラムである教師ヒストグラムを生成し、前記施設ヒストグラムの最頻値である施設最頻値と、前記教師ヒストグラムの最頻値である教師最頻値とに基づいて前記診断画像の大きさを調整することを特徴とする画像診断支援装置。
  4. 請求項3に記載の画像診断支援装置であって、
    前記調整部は、前記教師最頻値を前記施設最頻値で除した値を前記診断画像の大きさに乗じることを特徴とする画像診断支援装置。
  5. 請求項1に記載の画像診断支援装置であって、
    前記調整部は、前記施設データの各医用画像に含まれる腫瘍の近傍に高輝度領域が存在する場合には、前記高輝度領域を除去することにより前記診断画像を調整することを特徴とする画像診断支援装置。
  6. 請求項1に記載の画像診断支援装置であって、
    前記調整部は、前記施設データの各医用画像に含まれる腫瘍のサイズのヒストグラムである施設ヒストグラムを生成し、前記施設ヒストグラムに基づいて生成されるデータである再学習データを再学習させることによって前記画像診断モデルを調整することを特徴とする画像診断支援装置。
  7. 請求項6に記載の画像診断支援装置であって、
    前記画像診断モデルは、前記施設データとは異なる複数の医用画像である教師データを学習することによって生成され、
    前記調整部は、前記施設ヒストグラムに基づいて前記教師データから前記再学習データを抽出することを特徴とする画像診断支援装置。
  8. 請求項7に記載の画像診断支援装置であって、
    前記調整部は、前記施設ヒストグラムに基づいて前記教師データから医用画像を抽出する確率関数を算出し、前記確率関数を用いて前記再学習データを抽出することを特徴とする画像診断支援装置。
  9. 請求項1に記載の画像診断支援装置であって、
    前記画像診断モデルの診断結果に基づいて、前記調整部による調整の要否を判定する判定部をさらに備え、
    前記調整部は、前記判定部が前記調整を要すると判定したときに、前記画像診断モデルに入力される診断画像又は前記画像診断モデルを調整することを特徴とする画像診断支援装置。
  10. 請求項1に記載の画像診断支援装置であって、
    前記施設データの統計処理に用いられる項目を選択する画面を表示することを特徴とする画像診断支援装置。
  11. 入力される医用画像である診断画像に対して診断結果を出力する画像診断モデルを読み込むモデル読込ステップと、
    施設が保有する診断結果と対応付けられた複数の医用画像である施設データに基づいて、前記画像診断モデルに入力される診断画像又は前記画像診断モデルを調整する調整ステップと、をコンピュータに実行させることを特徴とする画像処理方法。
JP2020162039A 2020-09-28 2020-09-28 画像診断支援装置および画像処理方法 Active JP7440388B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020162039A JP7440388B2 (ja) 2020-09-28 2020-09-28 画像診断支援装置および画像処理方法
CN202110216335.7A CN114271837A (zh) 2020-09-28 2021-02-26 图像诊断辅助装置和图像处理方法
US17/197,445 US11923072B2 (en) 2020-09-28 2021-03-10 Image diagnosis supporting device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020162039A JP7440388B2 (ja) 2020-09-28 2020-09-28 画像診断支援装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2022054814A true JP2022054814A (ja) 2022-04-07
JP7440388B2 JP7440388B2 (ja) 2024-02-28

Family

ID=80822968

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020162039A Active JP7440388B2 (ja) 2020-09-28 2020-09-28 画像診断支援装置および画像処理方法

Country Status (3)

Country Link
US (1) US11923072B2 (ja)
JP (1) JP7440388B2 (ja)
CN (1) CN114271837A (ja)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003126045A (ja) 2001-10-22 2003-05-07 Olympus Optical Co Ltd 診断支援装置
US7430308B1 (en) * 2002-11-26 2008-09-30 University Of South Florida Computer aided diagnosis of mammographic microcalcification clusters
US6984211B2 (en) * 2003-01-03 2006-01-10 Mayo Foundation For Medical Education And Research Detection of tumor halos in ultrasound images
JP5408526B2 (ja) 2008-11-20 2014-02-05 株式会社リコー 画像処理装置、画像処理方法及びプログラム
CN106255462A (zh) 2014-05-16 2016-12-21 株式会社日立制作所 图像诊断装置及灰度信息设定方法
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
JP2019087012A (ja) 2017-11-07 2019-06-06 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
JP7058988B2 (ja) 2017-11-30 2022-04-25 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6877486B2 (ja) 2018-12-04 2021-05-26 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2020098444A (ja) 2018-12-18 2020-06-25 セイコーエプソン株式会社 学習装置、印刷制御装置及び学習済モデル
WO2020148797A1 (ja) 2019-01-15 2020-07-23 オリンパス株式会社 画像処理システム、学習済みモデル及び画像処理方法
JP7178910B2 (ja) 2019-01-16 2022-11-28 キヤノンメディカルシステムズ株式会社 情報処理装置、医用画像処理装置、およびプログラム

Also Published As

Publication number Publication date
US20220101983A1 (en) 2022-03-31
JP7440388B2 (ja) 2024-02-28
CN114271837A (zh) 2022-04-05
US11923072B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
JP5582707B2 (ja) 医療意志決定支援装置及びその制御方法
JP2019536132A (ja) 医療画像解釈用のシステムおよび方法
US10650282B2 (en) Medical image classification apparatus, method, and program
CN111401398A (zh) 用于根据人工智能检测输出确定疾病进展的系统和方法
JP2020515924A (ja) 医用画像の識別及び読影
Sharma et al. Artificial intelligence in diagnostic imaging: status quo, challenges, and future opportunities
CN106529117A (zh) 用于治疗规划的生理驱动决策支持
US11626209B2 (en) Diagnosis support apparatus, diagnosis support system, diagnosis support method, and non-transitory storage medium
US20070133851A1 (en) Method and apparatus for selecting computer-assisted algorithms based on protocol and/or parameters of an acquisistion system
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
US11969265B2 (en) Neural network classification of osteolysis and synovitis near metal implants
JP2019526869A (ja) Cadシステム推薦に関する確信レベル指標を提供するためのcadシステムパーソナライゼーションの方法及び手段
JP2019121390A (ja) 診断支援装置、診断支援システム、及び診断支援プログラム
JP2007151645A (ja) 医用画像診断支援システム
EP3748648A1 (en) Artificial intelligence dispatch in healthcare
JP2022054814A (ja) 画像診断支援装置および画像処理方法
JP7485512B2 (ja) 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
WO2020179234A1 (ja) 画像診断支援装置および画像処理方法
JP6193964B2 (ja) 情報処理装置、情報処理装置の作動方法および情報処理システム
US20230015156A1 (en) Analysis device, analysis method, and recording medium
WO2022209500A1 (ja) 機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム
JP2018014113A (ja) 医療意志決定支援装置及びその制御方法
JP7483502B2 (ja) 画像診断支援装置および画像診断支援方法
EP4356837A1 (en) Medical image diagnosis system, medical image diagnosis system evaluation method, and program
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240215

R150 Certificate of patent or registration of utility model

Ref document number: 7440388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150