JP2021087729A - 医用画像処理装置及びプログラム - Google Patents

Abstract

【課題】医用画像に基づいて、ユーザーが本来確認したい病変情報を網羅的かつ選択的に提示できるようにする。【解決手段】医用画像処理装置によれば、制御部は、第１の医用画像から、機械学習により生成された機械学習モデルを用いて悪性度マップを生成するとともに、第１の医用画像と同一被写体を異なる時期に撮影することによって得られた第２の医用画像との経時的な変化を表す経時差分画像を生成する。そして、生成された悪性度マップと経時差分画像とを統合し、統合悪性度マップ及び悪性度の代表値を算出し、出力する。【選択図】図２

Description

本発明は、医用画像処理装置及びプログラムに関する。

近年、機械学習の目覚ましい発展により、医療分野において、人によってなされている画像診断が機械学習により支援されるようになってきている。
機械学習とは、大量のデータを使用して機械にデータのパターンや相関を学習させ、識別、認識、検出、予測等を行うものである。機械学習により精度の高い識別器を作成するためには、学習時のデータ量と質の高い正解データ(ラベル)が必要となってくる。

一方で、胸部Ｘ線画像は、医療機関における画像診断において最も撮影数が多く、早期発見のための診断として非常に重要な役割を担っている。しかしながら、胸部Ｘ線画像による診断は、対象とする病変の種類の数も多く、病変の見落としが多い検査とされており、診断精度の向上が課題となっている。

この課題を解決するために、近年、Deep Learning等の機械学習を用いた胸部Ｘ線画像における検出支援アプリケーションがいくつか提案されている(例えば、非特許文献１、２参照)。
機械学習を用いた病変検出では、対象病変に対する検出精度が高い傾向にあり、確信度の高いヒートマップや悪性度などの情報の提示が可能である。

Xiaosong Wang et al., "ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases", arXiv:1705.02315v5 [cs.CV] 14 Dec 2017. Ivo M. Baltruschat et al., "Comparison of Deep Learning Approaches for Multi-Label Chest X-Ray Classification", arXiv:1803.02315v2 [cs.CV] 29 Jan 2019.

しかしながら、Deep Learning技術を用いた病変検出では、全ての病変の種類に関するデータの入手が困難なため、病変を網羅的に学習させることが出来ず、検出可能な対象病変が限定される問題がある。
さらに、単純な検出のみでは、活動性病変と非活動性病変の区別がつかないため、医師等のユーザーが本来確認したい病変情報を提示できず、読影効率の低下に繋がる可能性がある。

本発明の課題は、医用画像に基づいて、ユーザーが本来確認したい病変情報を網羅的かつ選択的に提示できるようにすることである。

上記課題を解決するため、請求項１に記載の発明の医用画像処理装置は、
第１の医用画像から、機械学習により生成された機械学習モデルを用いて病変情報を生成する病変情報生成手段と、
前記第１の医用画像と同一被写体を異なる時期に撮影することによって得られた第２の医用画像との経時的な変化を表す経時差分画像を生成する経時差分処理手段と、
前記病変情報生成手段により生成された病変情報と前記経時差分処理手段により生成された経時差分画像とを統合する統合手段と、
前記統合手段による統合結果を出力する出力手段と、
を備える。

請求項２に記載の発明は、請求項１に記載の発明において、
前記病変情報生成手段は、前記第１の医用画像内の領域ごとに病変の悪性度を算出して悪性度マップを生成する。

請求項３に記載の発明は、請求項２に記載の発明において、
前記病変情報生成手段は、病変の種類ごとに前記悪性度マップを生成するか、又は、複数種類の病変の悪性度をマージした前記悪性度マップを生成する。

請求項４に記載の発明は、請求項２又は３に記載の発明において、
前記統合手段は、前記悪性度マップと前記経時差分画像を統合して統合悪性度マップを生成する。

請求項５に記載の発明は、請求項４に記載の発明において、
前記統合手段は、さらに、前記統合悪性度マップに基づいて悪性度の代表値を算出する。

請求項６に記載の発明は、請求項４又は５に記載の発明において、
前記統合手段は、予め設定された悪性度の閾値に基づいて、前記悪性度マップを正常領域と異常領域に分類し、予め設定された濃度値の閾値に基づいて、前記経時差分画像を正常領域と異常領域に分類し、前記悪性度マップと前記経時差分画像の正常領域と異常領域との分類結果の組み合わせに応じて、前記悪性度及び経時差分情報を表示又は非表示にした前記統合悪性度マップを生成する。

請求項７に記載の発明は、請求項４又は５に記載の発明において、
前記統合手段は、予め設定された悪性度の閾値に基づいて、前記悪性度マップを正常領域と異常領域に分類し、予め設定された濃度値の閾値に基づいて、前記経時差分画像を正常領域と異常領域に分類し、前記悪性度マップと前記経時差分画像の正常領域と異常領域との分類結果の組み合わせに応じた表示態様で前記悪性度及び経時差分情報を表示した前記統合悪性度マップを生成する。

請求項８に記載の発明は、請求項６又は７に記載の発明において、
前記統合手段において用いられる閾値、前記分類結果の組み合わせごとの前記統合悪性度マップにおける前記悪性度及び前記経時差分情報の表示の有無又は表示態様、の少なくとも一方をユーザーが設定するための操作手段を備える。

請求項９に記載の発明は、請求項４〜８のいずれか一項に記載の発明において、
前記統合手段は、病変の種類ごとに前記統合悪性度マップを生成するか、又は、複数種類の病変の悪性度をマージした前記統合悪性度マップを生成する。

請求項１０に記載の発明は、請求項５に記載の発明において、
前記統合手段により算出された悪性度の代表値に基づいて読影リストをソート可能な読影リスト画面を生成して前記出力手段に出力させる出力制御手段を備える。

請求項１１に記載の発明は、請求項１〜１０のいずれか一項に記載の発明において、
前記出力手段は、前記統合手段による統合結果を表示する表示手段を含む。

請求項１２に記載の発明は、請求項１〜１１のいずれか一項に記載の発明において、
前記第１の医用画像及び前記第２の医用画像は、胸部Ｘ線画像である。

請求項１３に記載の発明のプログラムは、
コンピューターを、
第１の医用画像から、機械学習により生成された機械学習モデルを用いて病変情報を生成する病変情報生成手段、
前記第１の医用画像と同一被写体を異なる時期に撮影することによって得られた第２の医用画像との経時的な変化を表す経時差分画像を生成する経時差分処理手段、
前記病変情報生成手段により生成された病変情報と前記経時差分処理手段により生成された経時差分画像とを統合する統合手段、
前記統合手段による統合結果を出力する出力手段、
として機能させる。

本発明によれば、医用画像に基づいて、ユーザーが本来確認したい病変情報を網羅的かつ選択的に提示することが可能となる。

本発明の実施形態における医用画像処理装置の機能的構成を示すブロック図である。 図１の制御部により実行される統合情報生成処理の流れを示すフローチャートである。 図２のステップＳ４において実行される統合処理の流れを示すフローチャートである。 悪性度マップと経時差分画像の統合条件を示す図である。 （ａ）は、悪性度マップの一例を示す図、（ｂ）は、経時差分画像の一例を示す図、（ｃ）は、（ａ）、（ｂ）を統合した統合悪性度マップの一例を示す図である。 悪性度でソート可能な読影リスト画面の一例を示す図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。

〔医用画像処理装置１の構成〕
まず、本実施形態の構成を説明する。

医用画像処理装置１は、モダリティーにより生成された医用画像（第１の医用画像）の領域ごとの病変情報として、領域ごとの悪性度の値を示す悪性度マップを生成するとともに、第１の医用画像と同一被写体を異なる時期に撮影することにより得られた過去画像（第２の医用画像）との経時差分画像を生成し、両者を統合した統合結果を出力する装置である。

図１に、医用画像処理装置１の機能構成例を示す。
図１に示すように、医用画像処理装置１は、制御部１１、操作部１２、表示部１３、記憶部１４、通信部１５を備えて構成され、各部はバス１６により接続されている。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部１１のＣＰＵは、記憶部１４に記憶されているシステムプログラムや処理プログラム等の各種プログラムを読み出してＲＡＭに展開し、展開されたプログラムに従って各種処理を実行する。

例えば、制御部１１は、通信部１５によりモダリティーから医用画像を受信すると、受信した医用画像を、医用画像の付帯情報に含まれる患者情報、検査情報、及び未読影であることを示すフラグと対応付けて画像ＤＢ１４４に記憶させる。また、制御部１１は、受信した医用画像に対し、統合情報生成プログラム１４３との協働により後述する統合情報生成処理を実行し、病変情報生成手段、経時差分処理手段、統合手段、出力制御手段として機能する。
また、医用画像の読影が終了すると、制御部１１は、画像ＤＢ１４４における読影が終了した医用画像に対応付けて記憶されている未読影であることを示すフラグを読影済みであることを示すフラグに変更する。

操作部１２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部１１に出力する。

表示部１３は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等のモニターを備えて構成されており、制御部１１から入力される表示信号の指示に従って、各種画面を表示する。

記憶部１４は、例えばＨＤＤ（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部１４には、前述のように各種プログラムや各種データが記憶されている。

例えば、記憶部１４には、病変情報生成プログラム１４１が記載されている。病変情報生成プログラム１４１は、大量の学習データ（医用画像と正解ラベル（その医用画像における病変領域の位置及び病変の診断名（病変の種類）等））を用いて機械学習（ディープラーニング等）により作成された機械学習モデルであり、入力された医用画像の領域ごとの各種病変の悪性度を算出し、病変の種類ごとの悪性度マップまたは複数種類の病変の悪性度をマージした悪性度マップを生成するプログラムである。

また、記憶部１４には、経時差分処理プログラム１４２が記憶されている。経時差分処理プログラム１４２は、異なる時期に撮影された２つの医用画像間の差分を算出して、２つの画像間の経時的な変化を表す経時差分画像を生成するプログラムである。

また、記憶部１４には、後述する統合情報生成処理を実行するための統合情報生成プログラム１４３が記憶されている。

また、記憶部１４には、画像ＤＢ（Data Base）１４４が設けられている。画像ＤＢ１４４は、モダリティーから送信された医用画像と、当該医用画像に基づいて生成された統合悪性度マップ及び悪性度の代表値と、当該医用画像の患者情報（患者ＩＤ、氏名、年齢、性別等）、検査情報（検査ＩＤ、検査部位、検査日時、モダリティー種等）、及び当該医用画像が読影済みであるか否かを示すフラグと、を対応付けて記憶する。
ここで、統合悪性度マップは、悪性度マップと経時差分画像を統合した画像である。

また、記憶部１４には、統合用設定情報１４５が記憶されている。統合用設定情報１４５には、後述する統合情報生成処理において統合悪性度マップを生成する際に参照される設定情報である。記憶部１４は、統合用設定情報１４５として、例えば、以下の項目の設定情報を記憶する。
・悪性度マップと経時差分画像の正常領域と異常領域の組み合わせごとの統合悪性度マップにおける表示の有無（表示／非表示等）
・正常領域と異常領域を分類するための悪性度（濃度値（濃度値に対応する画素値））及び面積の閾値（図４参照）
・悪性度マップを生成する病変の種類
・複数種類の病変ごとの悪性度マップを生成する場合、複数種類の病変の悪性度マップをマージするか否か、マージする場合はマージする病変の種類
・医用画像の悪性度の代表値とする病変の種類（マージした場合は、自動的に悪性度の最大値の病変に設定）

上述の統合用設定情報１４５の各項目の情報の一部又は全部は、操作部１２の操作によりユーザーが設定することができる。また、統合用設定情報１４５は、ユーザーごとに設定可能とし、ユーザーＩＤと対応付けて記憶しておくこととしてもよい。これにより、ユーザーの個々の目的に合った統合悪性度マップを生成したり、悪性度の代表値を算出したりすることが可能となる。

例えば、悪性度マップと経時差分画像の正常領域と異常領域の組み合わせごとの統合悪性度マップにおける表示の有無は、例えば、ユーザーが操作部１２の所定の操作により「活動性病変のみを表示する」ことを指定したか否かにより設定することができる。
ユーザーが「活動性病変のみを表示する」ことを指定した場合、制御部１１は、悪性度マップが異常領域で経時差分画像が異常領域に分類された領域、及び悪性度マップが正常領域で経時差分画像が異常領域に分類された領域を統合悪性度マップに表示する領域として設定し、悪性度マップが異常領域で経時差分画像が正常領域に分類された領域、及び悪性度マップと経時差分画像の双方で正常領域に分類された領域を非表示に設定する（図４の設定）。すなわち、「活動性病変のみを表示する」を指定すれば、例えば、悪性度マップで異常とされていない領域であっても、過去画像から変化のあった活動性病変の可能性のある異常領域を表示することができる。また、悪性度マップで異常とされる領域でも、過去から変化のない非活動性病変の領域は非表示とすることができる。
ユーザーが「活動性病変のみを表示する」を指定しない場合、制御部１１は、悪性度マップ及び経時差分画像の双方で異常領域に分類された領域、悪性度マップが正常領域で経時差分画像が異常領域に分類された領域、及び悪性度マップが異常領域で経時差分情報が正常領域に分類された領域を統合悪性度マップに表示する領域に設定し、悪性度マップと経時差分画像の双方で正常領域に分類された領域を非表示に設定する。すなわち、活動性病変及び非活動性病変の双方を表示することができる。

通信部１５は、ＬＡＮカード等により構成され、スイッチングハブを介して通信ネットワークＮに接続された外部機器との間でデータの送受信を行う。

〔医用画像処理装置１の動作〕
以下、医用画像処理装置１の動作について説明する。
従来、機械学習により領域ごとの病変の悪性度を算出し、悪性度の数値や悪性度を色で示すヒートマップ等を出力する技術が知られているが、全ての種類の病変に関する大量の画像データを入手することが困難であるため、全ての種類の病変を網羅的に学習させることができない。また、機械学習では、活動性病変と非活動性病変の区別がつかない。
一方、経時差分画像は、過去から変化のある部分を可視化するため、対象病変を絞ることなく、病変出現疑いのある領域や変化のある活動性病変のみを網羅的に表示することができる。しかし、変化のある領域が必ずしも病変でない可能性がある。

そこで、本実施形態の医用画像処理装置１では、後述する統合情報生成処理（図２参照）を実行することにより、入力された医用画像に対する機械学習と経時差分処理の結果を統合して出力することによって、医師が本来観察すべき病変の情報を網羅的にかつ選択的に提供する。

図２は、医用画像処理装置１の制御部１１により実行される統合情報生成処理の流れを示すフローチャートである。統合情報生成処理は、例えば、通信部１５によりモダリティーから医用画像を受信した際に、制御部１１と統合情報生成プログラム１４３との協働により実行される。
なお、本実施形態において、医用画像及び経時差分画像は、濃度値に対応する画素値からなる画像データであり、画像データの画素値は、黒が低く、白が高いものとする（濃度値は、黒が高く、白が低い）。また、本実施形態では、医用画像が胸部Ｘ線画像である場合を例として説明するが、ＣＴ画像やＭＲＩ画像等の他のモダリティーにより撮影された医用画像であってもよい。

まず、制御部１１は、通信部１５を介して入力された第１の医用画像と、第１の医用画像とは異なる時期に撮影された同一被写体の過去画像である第２の医用画像を取得する（ステップＳ１）。第２の医用画像は、画像ＤＢ１４４から第１の医用画像と同一患者かつ同一部位の医用画像を画像ＤＢ１４４から読み出すことにより取得する。

次いで、制御部１１は、病変情報生成プログラム１４１との協働により、第１の医用画像に対して領域ごと（画素ごと又はＭ画素×Ｎ画素（Ｍ、Ｎは正の整数）の画素ブロックごと）に病変の悪性度を算出し、悪性度マップを生成する（ステップＳ２）。
悪性度マップは、例えば、第１の医用画像の領域ごとの悪性度を、例えば、０．０〜１．０で出力する。０．０が最も悪性度が低く、１．０が最も悪性度が高い。ステップＳ２では、病変の種類ごとの複数の悪性度マップまたは複数種類の病変の悪性度をマージした悪性度マップを生成する。

次いで、制御部１１は、経時差分処理プログラム１４２との協働により、経時差分処理を行い、第１の医用画像と第２の医用画像との経時差分画像を生成する（ステップＳ３）。
本実施形態では、経時差分画像は、例えば８ビット２５６階調とし、差分なしの画素を１２７（グレー）、濃度が下降した画素を１２８〜２５５（白（低濃度））、濃度が上昇した画素を０〜１２６（黒（高濃度））の画素値で表した経時差分情報からなる画像とする。濃度下降があった領域が、病変の発生又は悪化を示す変化をしている異常領域であり、その他の領域は、変化がないか又は病変の良化を示す変化をしている正常領域である。

次いで、制御部１１は、統合処理を実行する（ステップＳ４）。
図３は、ステップＳ４により実行される統合処理の流れを示すフローチャートである。

まず、制御部１１は、記憶部１４に記憶されている統合用設定情報１４５に基づいて、悪性度マップと経時差分画像を、それぞれ正常領域と異常領域に分類する（ステップＳ４１）。

図４は、記憶部１４に記憶されている統合用設定情報１４５における、悪性度マップ及び経時差分画像を正常領域と異常領域を分類するための悪性度及び濃度値（濃度値に対応する画素値）の閾値、並びに悪性度マップと経時差分画像の正常領域と異常領域の組み合わせごとの統合悪性度マップにおける表示の有無（表示／非表示）の一例を示す図である。

ステップＳ４１において、制御部１１は、記憶部１４に記憶されている統合用設定情報１４５を参照して、悪性度が予め設定された閾値（図４では０．５）以上であって、面積が予め設定された閾値（例えば、１０ｍｍ^２）以上の領域を悪性度マップから抽出する。そして、抽出した各領域を異常領域として抽出し、それ以外の領域を正常領域として抽出する。また、濃度値が予め設定された閾値以下（図４では１２８以上）であって、面積が予め設定された閾値（例えば、１０ｍｍ^２）以上の領域を経時差分画像から抽出し、抽出した領域を異常領域、それ以外の領域を正常領域として抽出する。なお、面積による制限は、ノイズを異常領域として拾わないために行っているが、必須ではない。

次いで、制御部１１は、統合用設定情報１４５を参照し、悪性度マップと経時差分画像において統合悪性度マップに表示する領域を決定する(ステップＳ４２)。
ステップＳ４２においては、統合用設定情報１４５に含まれる、悪性度マップと経時差分画像の正常領域と異常領域の組み合わせごとの統合悪性度マップにおける表示の有無に基づいて、統合悪性度マップに悪性度及び経時差分情報を表示する領域、非表示とする領域を決定する。

次いで、制御部１１は、統合用設定情報１４５を参照し、複数種類の病変の悪性度マップをマージするか否かを判断する（ステップＳ４３）。
複数種類の病変の悪性度マップをマージすると判断した場合（ステップＳ４３；ＹＥＳ）、制御部１１は、複数種類の病変の悪性度マップをマージし（ステップＳ４４）、ステップＳ４５に移行する。
ステップＳ４４において、制御部１１は、例えば、複数種類の病変の悪性度マップの異常領域に重なりがあるか否かを判断し、重なりがない異常領域については、異常領域の悪性度の値を採用し、重なりがある場合は、その中で最も高い悪性度をもつ病変の悪性度の値を採用し、その他の領域は正常領域（値なし）として画像化することにより、複数種類の病変の悪性度マップをマージする。
複数の種類の病変の悪性度マップをマージしないと判断した場合（ステップＳ４３；ＮＯ）、ステップＳ４５に移行する。

ステップＳ４５において、制御部１１は、統合悪性度マップを生成する（ステップＳ４５）。
例えば、ステップＳ４２において、制御部１１は、悪性度マップと経時差分画像のそれぞれにおいて、表示すると決定された領域に、その領域の悪性度や経時差分情報（濃度値（濃度値に対応する画素値））に応じた色を付してオリジナルの第１の医用画像に重畳することにより、統合悪性度マップを生成する。なお、正常領域は、色なしとして生成される。

次いで、制御部１１は、悪性度の代表値を算出し（ステップＳ４６）、図２のステップＳ５に移行する。
例えば、病変ごとに統合悪性度マップを生成した場合は、統合悪性度マップの最大値をその病変の悪性度の代表値とする。また、統合用設定情報１４５に医用画像の悪性度の代表値として設定されている種類の病変の悪性度の代表値を、医用画像の悪性度の代表値とする。複数種類の病変をマージした統合悪性度マップを生成した場合は、統合悪性度マップの悪性度の最大値を医用画像の悪性度の代表値とする。統合用設定情報１４５に医用画像の悪性度の代表値とする病変の種類が設定されていない場合には、生成された全ての統合悪性度マップの悪性度のうちの最大値を医用画像の悪性度の代表値とする。

図２のステップＳ５において、制御部１１は、悪性度の代表値と統合悪性度マップを医用画像に対応付けて画像ＤＢ１４４に記憶させるとともに、悪性度の代表値及び／又は統合悪性度マップを出力し（ステップＳ５）、統合情報生成処理を終了する。
ステップＳ５において、制御部１１は、例えば、悪性度の代表値及び／又は統合悪性度マップを表示部１３に表示させる。あるいは、悪性度の代表値及び／又は統合悪性度マップを通信部１５により外部装置に出力することとしてもよい。

図５（ａ）は、医用画像から生成された悪性度マップ１３１の一例を示す図である。図５（ｂ）は、医用画像から生成された経時差分画像１３２の一例を示す図である。図５（ｃ）は、図５（ａ）に示す悪性度マップと図５（ｂ）に示す経時差分画像を統合した統合悪性度マップ１３３の一例を示す図である。
例えば、悪性度マップ１３１において、領域Ｒ１とＲ２が異常領域として抽出され、経時差分画像において、領域Ｒ１とＲ３が異常領域として抽出された場合、図４に示す統合用設定情報１４５に基づき生成された統合悪性度マップ１３３では、図５（ｃ）に示すように、悪性度マップで異常かつ経時差分画像で異常と判断された領域Ｒ１（活動性病変）、及び悪性度マップで正常、経時差分画像で異常とされた領域Ｒ３（活動性病変）が表示され、悪性度マップで異常と判断されたが経時差分画像で正常と判断された領域Ｒ２（非活動性病変）については非表示となる。

例えば、ユーザーが活動性病変のみを観察したい場合には、図４に示すように統合用設定情報１４５を設定しておけば、以前から変化のない非活動性病変の表示を抑えることができるため、ユーザー（医師）は、効率よく活動性病変を観察することができる。また、悪性度マップでは異常として判定されていない領域であっても、経時差分画像で何らかの変化のあった領域は表示されるので、活動性病変の可能性のある領域を網羅的に観察することができる。
また、例えば、ユーザーが活動性病変及び非活動性病変の双方を観察したい場合には、統合用設定情報１４５において、図４における悪性度マップの異常領域と経時差分画像の正常領域を表示とする設定に変更すれば、活動性病変及び非活動性病変の双方を表示することができる。
このように、統合情報生成処理では、悪性度マップと経時差分画像を統合した統合悪性度マップを生成して出力するため、網羅的かつ選択的に、精度の高い病変の検出結果を出力することができる。

なお、上記説明では、悪性度マップと経時差分画像における正常領域と異常領域の組み合わせに応じて、統合悪性度マップにおける悪性度及び経時差分情報の表示、非表示を制御することとしたが、これに限定されず、例えば、上記組み合わせに応じた表示態様で統合悪性度マップにおける悪性度及び経時差分情報を表示してもよい。例えば、上記組み合わせに応じて色や形状が異なるアノテーションを悪性度や経時差分情報に表示することとしてもよい。これにより、ユーザーは、効率的かつ選択的に、効率よく病変を観察することが可能となる。この場合、上記組み合わせごとの統合悪性度マップにおける表示態様を操作部１２によりユーザーが設定可能とすることが好ましい。

また、制御部１１は、画像ＤＢ１４４から未読影フラグに対応するレコードを読み出して読影リストを生成し、図６に示すように、医用画像の悪性度の代表値（図６の悪性度）に基づいて読影リストをソート可能な読影リスト画面を生成して表示部１３に表示させることとしてもよい。あるいは、外部の読影端末に上記読影リスト画面を通信部１５により送信して表示させることとしてもよい。悪性度の代表値を用いてソートした読影リストを表示することにより、悪性度の高い医用画像から優先的に読影を行うことが可能となる。また、ユーザーが医用画像の悪性度の代表値とする病変の種類を設定しておけば、設定した病変の悪性度の高い医用画像から優先的に読影を行うことが可能となる。

なお、施設ごとに統合用設定情報１４５が記憶されている場合は、上述のようにモダリティーから医用画像を受信した際に統合情報生成処理を行って画像ＤＢ１４４に統合悪性度マップや悪性度の代表値を記憶しておき、読影リスト画面に、設定に応じた医用画像の悪性度の代表値を表示することが好ましいが、ユーザーごとに統合用設定情報１４５が記憶されている場合は、全てのユーザーの設定に対する統合悪性度マップや悪性度の代表値を算出しなければならず、処理時間がかかる。また、メモリーの容量も圧迫する。そこで、ユーザーごとに統合用設定情報１４５が記憶されている場合には、モダリティーから医用画像を受信した際に、悪性度マップにおける悪性度の最大値を簡易的に医用画像の悪性度の代表値として画像ＤＢ１４４に記憶しておき、読影リスト画面に表示する際には、この簡易的な悪性度の代表値を表示することが好ましい。そして、読影リストから読影対象の検査（医用画像）が選択されて読影画面を表示する際に、ログインしているユーザーの統合用設定情報１４５に応じて統合情報生成処理を実行し、ユーザーに応じた態様で統合悪性度マップや悪性度の代表値を生成して表示することが好ましい。

以上説明したように、医用画像処理装置１によれば、制御部１１は、第１の医用画像から、機械学習により生成された機械学習モデルを用いて悪性度マップを生成するとともに、第１の医用画像と同一被写体を異なる時期に撮影することによって得られた第２の医用画像との経時的な変化を表す経時差分画像を生成する。そして、生成された悪性度マップと経時差分画像とを統合し、統合悪性度マップ及び悪性度の代表値を算出し、出力する。
したがって、ユーザーが本来観察すべき病変の情報を網羅的にかつ選択的に提供することができる。

なお、上記本実施形態における記述は、本発明に係る好適な医用画像処理装置の一例であり、これに限定されるものではない。

例えば、上記実施形態では、単体の医用画像処理装置１に病変情報生成手段、経時差分処理手段、統合手段、出力手段、出力制御手段を備えることとして説明したが、本発明の医用画像処理装置の各手段の機能は、複数の装置に分散して備えられていることとしてもよい。

また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。

その他、医用画像処理装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

１ 医用画像処理装置
１１ 制御部
１２ 操作部
１３ 表示部
１４ 記憶部
１４１ 病変情報生成プログラム
１４２ 経時差分処理プログラム
１４３ 統合情報生成プログラム
１４４ 画像ＤＢ
１４５ 統合用設定情報
１５ 通信部
１６ バス

Claims (13)

1. 第１の医用画像から、機械学習により生成された機械学習モデルを用いて病変情報を生成する病変情報生成手段と、
   前記第１の医用画像と同一被写体を異なる時期に撮影することによって得られた第２の医用画像との経時的な変化を表す経時差分画像を生成する経時差分処理手段と、
   前記病変情報生成手段により生成された病変情報と前記経時差分処理手段により生成された経時差分画像とを統合する統合手段と、
   前記統合手段による統合結果を出力する出力手段と、
   を備える医用画像処理装置。
2. 前記病変情報生成手段は、前記第１の医用画像内の領域ごとに病変の悪性度を算出して悪性度マップを生成する請求項１に記載の医用画像処理装置。
3. 前記病変情報生成手段は、病変の種類ごとに前記悪性度マップを生成するか、又は、複数種類の病変の悪性度をマージした前記悪性度マップを生成する請求項２に記載の医用画像処理装置。
4. 前記統合手段は、前記悪性度マップと前記経時差分画像を統合して統合悪性度マップを生成する請求項２又は３に記載の医用画像処理装置。
5. 前記統合手段は、さらに、前記統合悪性度マップに基づいて悪性度の代表値を算出する請求項４に記載の医用画像処理装置。
6. 前記統合手段は、予め設定された悪性度の閾値に基づいて、前記悪性度マップを正常領域と異常領域に分類し、予め設定された濃度値の閾値に基づいて、前記経時差分画像を正常領域と異常領域に分類し、前記悪性度マップと前記経時差分画像の正常領域と異常領域との分類結果の組み合わせに応じて、前記悪性度及び経時差分情報を表示又は非表示にした前記統合悪性度マップを生成する請求項４又は５に記載の医用画像処理装置。
7. 前記統合手段は、予め設定された悪性度の閾値に基づいて、前記悪性度マップを正常領域と異常領域に分類し、予め設定された濃度値の閾値に基づいて、前記経時差分画像を正常領域と異常領域に分類し、前記悪性度マップと前記経時差分画像の正常領域と異常領域との分類結果の組み合わせに応じた表示態様で前記悪性度及び経時差分情報を表示した前記統合悪性度マップを生成する請求項４又は５に記載の医用画像処理装置。
8. 前記統合手段において用いられる閾値、前記分類結果の組み合わせごとの前記統合悪性度マップにおける前記悪性度及び前記経時差分情報の表示の有無又は表示態様、の少なくとも一方をユーザーが設定するための操作手段を備える請求項６又は７に記載の医用画像処理装置。
9. 前記統合手段は、病変の種類ごとに前記統合悪性度マップを生成するか、又は、複数種類の病変の悪性度をマージした前記統合悪性度マップを生成する請求項４〜８のいずれか一項に記載の医用画像処理装置。
10. 前記統合手段により算出された悪性度の代表値に基づいて読影リストをソート可能な読影リスト画面を生成して前記出力手段に出力させる出力制御手段を備える請求項５に記載の医用画像処理装置。
11. 前記出力手段は、前記統合手段による統合結果を表示する表示手段を含む請求項１〜１０のいずれか一項に記載の医用画像処理装置。
12. 前記第１の医用画像及び前記第２の医用画像は、胸部Ｘ線画像である請求項１〜１１のいずれか一項に記載の医用画像処理装置。
13. コンピューターを、
    第１の医用画像から、機械学習により生成された機械学習モデルを用いて病変情報を生成する病変情報生成手段、
    前記第１の医用画像と同一被写体を異なる時期に撮影することによって得られた第２の医用画像との経時的な変化を表す経時差分画像を生成する経時差分処理手段、
    前記病変情報生成手段により生成された病変情報と前記経時差分処理手段により生成された経時差分画像とを統合する統合手段、
    前記統合手段による統合結果を出力する出力手段、
    として機能させるためのプログラム。

Images