JP2020103880A5 - - Google Patents

Description

本発明の一実施態様に係る画像処理装置は、
被検体の第１の医用画像を取得する取得部と、
学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果とを比較する比較部と、
前記比較部による比較結果を表示部に表示させる表示制御部と、を備える。

Claims (19)

1. 被検体の第１の医用画像を取得する取得部と、
   学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する生成部と、
   前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果とを比較する比較部と、
   前記比較部による比較結果を表示部に表示させる表示制御部と、
   を備える、画像処理装置。
2. 前記比較部は、前記取得された第１の医用画像の解析結果と前記生成された第２の医用画像の解析結果との差分を算出し、該差分に基づいて色分けされたカラーマップ画像を生成し、
   前記表示制御部は、前記カラーマップ画像を前記比較結果として前記表示部に表示させる、請求項１に記載の画像処理装置。
3. 前記表示制御部は、前記取得された第１の医用画像又は前記生成された第２の医用画像に前記カラーマップ画像を重畳して前記表示部に表示させる、請求項２に記載の画像処理装置。
4. 前記比較部は、前記取得された第１の医用画像の解析結果と前記生成された第２の医用画像の解析結果との差分を算出し、
   前記表示制御部は、前記差分が所定値よりも大きい場合に、又は前記差分が所定値よりも大きい画素の数が別の所定値よりも多い場合に、警告を前記比較結果として前記表示部に表示させる、請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記比較部は、前記取得された第１の医用画像の解析結果と前記生成された第２の医用画像の解析結果との差分を算出し、
   前記表示制御部は、前記差分が所定値よりも大きい領域に対して、前記差分が所定値以下である他の領域とは識別可能に前記表示部に表示させることにより、前記比較結果を前記表示部に表示させる、請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記解析結果は、血管に関する値、無血管領域に関する値、浮腫領域に関する値の少なくとも１つである、請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記取得部は、被検体の深さ方向の共通の範囲における情報に基づいて生成された正面画像である複数の第１の医用画像を取得し、
   前記生成部は、前記学習済モデルを用いて、前記取得された複数の第１の医用画像から、前記取得された複数の第１の医用画像の画質よりも高い画質を有する複数の第２の医用画像を生成し、
   前記比較部は、前記取得された複数の第１の医用画像と前記生成された複数の第２の医用画像とを比較する、請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記第１の医用画像は、被検眼の深さ方向の範囲における輝度の正面画像及びモーションコントラストの正面画像のいずれかである、請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記学習済モデルの学習データは、重ね合わせ処理、最大事後確率推定処理、平滑化フィルタ処理及び階調変換処理のうちの一つの処理により得られた画像と、被検体の第１の医用画像の撮影に用いられる撮影装置よりも高性能な撮影装置によって撮影された画像と、前記第１の医用画像の撮影工程よりも工数の多い撮影工程で取得された画像とのうちの少なくとも一つを含む、請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記表示制御部は、被検体の医用画像を学習して得た解析結果生成用の学習済モデルを用いて生成された解析結果であって、前記生成された第２の医用画像に関する解析結果と、被検体の医用画像を学習して得た診断結果生成用の学習済モデルを用いて生成された診断結果であって、前記生成された第２の医用画像に関する診断結果と、被検体の医用画像を学習して得た物体認識用の学習済モデルを用いて生成された物体検出結果であって、前記生成された第２の医用画像に関する物体検出結果と、被検体の医用画像を学習して得たセグメンテーション用の学習済モデルを用いて生成されたセグメンテーション結果であって、前記生成された第２の医用画像に関するセグメンテーション結果と、被検体の医用画像を学習して得た類似症例画像検索用の学習済モデルを用いて検索された類似症例画像であって、前記生成された第２の医用画像に関する類似症例とのうちの少なくとも一つを前記表示部に表示させる、請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記表示制御部は、前記生成された第２の医用画像と、前記生成された第２の医用画像が入力データとして入力された敵対的生成ネットワーク又はオートエンコーダを用いて生成された画像との差に関する情報を、異常部位に関する情報として前記表示部に表示させる、請求項１乃至１０のいずれか一項の記載の画像処理装置。
12. 前記第２の医用画像の生成の実行に関する検者からの指示又は前記比較結果に基づく表示の制御の実行に関する検者からの指示は、文字認識用の学習済モデルと音声認識用の学習済モデルとジェスチャー認識用の学習済モデルとのうちの少なくとも１つの学習済モデルを用いて得た情報である、請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 前記生成された第２の医用画像のファイル名は、前記第２の医用画像の生成に関する処理を行って生成された画像であることを示す情報を、検者からの指示に応じて編集可能な状態で含む、請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 第１の撮影部位を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する選択部と、
    操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する制御部と、
    を備える、画像処理装置。
15. 前記制御部は、前記追加学習の実行中である学習済モデルに対する学習データ以外の医用画像の入力を禁止し、前記追加学習の実行前の学習済モデルと同じ学習済モデルを予備の学習済モデルに対する学習データ以外の医用画像の入力を実行可能とする、請求項１４に記載の画像処理装置。
16. 前記制御部は、前記追加学習の実行後の学習済モデルを用いて得た画像と、前記追加学習の実行前の学習済モデルを用いて得た画像とを用いて得た比較結果、または該比較結果が所定の範囲であるか否かの判定結果を表示部に表示される、請求項１４または１５に記載の画像処理装置。
17. 被検体の第１の医用画像を取得する工程と、
    学習済モデルを用いて、前記取得された第１の医用画像から、前記取得された第１の医用画像の画質よりも高い画質を有する第２の医用画像を生成する工程と、
    前記取得された第１の医用画像を解析して得た解析結果と前記生成された第２の医用画像を解析して得た解析結果とを比較する工程と、
    前記比較する工程における比較結果を表示部に表示させる工程と、
    を含む、画像処理方法。
18. 第１の撮影部位を含む学習データを用いて得た第１の学習済モデルと、第１の撮影部位とは異なる第２の撮影部位を含む学習データを用いて得た第２の学習済モデルと、を含む複数の学習済モデルのいずれかを選択する工程と、
    操作者からの指示に応じて、選択された学習済モデルに対応する撮影部位と該撮影部位の撮影画像とがペアとなるデータを検索し、検索して得たデータを学習データとする学習を、選択された学習済モデルに対して追加学習として実行する工程と、
    を含む、画像処理方法。
19. プロセッサーによって実行されると、該プロセッサーに請求項１７または１８に記載の画像処理方法の各工程を実行させる、プログラム。