JP2022068043A - 医用画像処理装置及び医用画像処理システム - Google Patents

Abstract

【課題】学習済みモデルを共有可能にすることである。【解決手段】医用画像処理装置は、第２装置が撮影した画像データを用いて学習した学習済みモデルに用いる画像データを、第１装置が撮影した画像データから生成する医用画像処理装置であって、第１取得部と、第１生成部とを備える。前記第１取得部は、前記第１装置が被検体を撮影した第１被検体画像データを取得する。前記第１生成部は、前記第１被検体画像データから、前記第１装置が撮影した第１画像データの特徴を削除した中間画像データを第１生成モデルにより生成し、当該中間画像データから、前記第２装置が撮影した第２画像データの特徴を有する第２被検体画像データを第２生成モデルにより生成する。【選択図】図５

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置及び医用画像処理システムに関する。

従来、病院などの施設は、施設のモダリティが撮影した画像データを解析させるために、学習済みモデルを生成している。学習済みモデルは、生成に多大なコストがかかるため、複数の施設で共有したいとの要望がある。

しかしながら、画像データは、施設やモダリティごとに異なる条件で撮影されているため、異なる特徴を有している。よって、学習済みモデルに、他の施設で撮影された画像データを使用すると、画像データの特徴が異なっているため解析精度が低下してしまうことがある。このように、学習済みモデルを提供するだけでは、学習済みモデルを共有することができない。そのため、学習済みモデルを共有可能とする技術が求められている。

特開２０２０－０６５９２０号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、学習済みモデルを共有可能にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用画像処理装置は、第２装置が撮影した画像データを用いて学習した学習済みモデルに用いる画像データを、第１装置が撮影した画像データから生成する医用画像処理装置であって、第１取得部と、第１生成部とを備える。前記第１取得部は、前記第１装置が被検体を撮影した第１被検体画像データを取得する。前記第１生成部は、前記第１被検体画像データから、前記第１装置が撮影した第１画像データの特徴を削除した中間画像データを第１生成モデルにより生成し、当該中間画像データから、前記第２装置が撮影した第２画像データの特徴を有する第２被検体画像データを第２生成モデルにより生成する。

図１は、本実施形態にかかるモデル共有システムの構成の一例を示すブロック図である。 図２は、本実施形態に係るモデル生成装置の構成の一例を示すブロック図である。 図３は、敵対的生成ネットワークによる第１生成モデルの生成方法の一例を示す図である。 図４は、敵対的生成ネットワークによる第２生成モデルの生成方法の一例を示す図である。 図５は、本実施形態に係る医用画像処理装置の構成の一例を示すブロック図である。 図６は、変換モデルの構成の一例を示すブロック図である。 図７は、学習済みモデルが解析処理を実行するまでの処理の一例を示す図である。 図８は、本実施形態に係る医用画像処理装置が実行する提供実行処理の一例を示すフローチャートである。

以下、図面を参照しながら、本実施形態に関する医用画像処理装置及び医用画像処理システムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

図１は、本実施形態にかかるモデル共有システム１の構成の一例を示すブロック図である。モデル共有システム１は、ある施設で生成された学習済みモデル２４６（図７参照）を、他の施設で使用可能にするシステムである。モデル共有システム１において、ネットワーク２を介して、学習済みモデル２４６を提供する病院などの提供施設の医用画像処理装置３０と、提供施設から学習済みモデル２４６の提供を受ける収受施設の医用画像処理装置３０とは通信可能に接続されている。モデル共有システム１は、医用画像システムの一例である。

提供施設は、モダリティ１０と、モデル生成装置２０とを有している。また、収受施設は、モダリティ１０と、モデル生成装置２０とを有している。図１に示すモデル共有システム１は、提供施設と収受施設とが接続されているが、３つ以上の施設が接続されていてもよい。また、各施設は、モダリティ１０、モデル生成装置２０、及び医用画像処理装置３０を複数台備えていてもよい。

モダリティ１０は、被検体を撮影して画像データを生成する。例えば、モダリティ１０は、Ｘ線ＣＴ（Computed Tomography）装置や、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線診断装置、超音波診断装置等の画像診断装置である。また、モダリティ１０は、第１装置及び第２装置の一例である。

提供施設のモダリティ１０と、収受施設のモダリティ１０とは、同一種類の装置であってもよいし、異なる種類の装置であってもよい。例えば、提供施設のモダリティ１０と、収受施設のモダリティ１０とは、両方ともＸ線ＣＴ装置であってもよいし、Ｘ線ＣＴ装置とＭＲＩ装置とであってもよい。また、提供施設のモダリティ１０と、収受施設のモダリティ１０とは、同一種類の装置である場合、メーカや、性能などが異なっている。例えば、提供施設のモダリティ１０と、収受施設のモダリティ１０とは、両方ともＸ線ＣＴ装置であるが、Ｘ線検出素子の列数が異なっている。

モデル生成装置２０は、生成モデルを生成する。モデル生成装置２０は、パーソナルコンピュータや、サーバ装置等のコンピュータ機器によって実現される。

医用画像処理装置３０は、モデル生成装置２０が生成した生成モデルにより画像データを生成する。更に詳しくは、医用画像処理装置３０は、第２装置が撮影した画像データを用いて学習した学習済みモデル２４６に用いる画像データを、第１装置が撮影した画像データから生成する。例えば、医用画像処理装置３０は、提供施設のモダリティ１０が撮影した画像データを用いて学習した学習済みモデル２４６に用いる画像データを、収受施設のモダリティ１０が撮影した画像データから生成する。そして、医用画像処理装置３０は、学習済みモデル２４６により画像データを解析する。医用画像処理装置３０は、パーソナルコンピュータや、サーバ装置等のコンピュータ機器によって実現される。ここで、学習済みモデル２４６とは、判定や推定等の各種処理を行う技術である。学習済みモデル２４６は、強化学習、教師あり学習、教師なし学習、深層学習（ディープラーニング）等の機械学習により生成される。なお、学習済みモデル２４６は、これら学習方法に限らず、他の方法により生成されてもよい。

このようなモデル共有システム１において、提供施設の学習済みモデル２４６を、収受施設のモダリティ１０が撮影した画像データで使用する場合を例に説明する。また、提供施設の学習済みモデル２４６は、提供施設のモダリティ１０が撮影した画像データを用いて学習することで生成されているものとする。提供施設のモダリティ１０が撮影した画像データと、収受施設のモダリティ１０が撮影した画像データとは、画像データにおける特徴が異なっている。ここで、画像データにおける特徴とは、画像データに含まれるノイズや、境界の明確さを示す明確度や、ＣＴ値などである。

このように、ノイズなどの画像データの特徴が異なっているため、提供施設の学習済みモデル２４６に、収受施設のモダリティ１０が撮影した画像データを解析させても意図した解析精度にならない場合がある。これに対して、複数の施設間で共同することで共通の学習済みモデル２４６を生成することにより解析精度の低下を抑制する方策も考えられる。しかしながら、この場合には、管理者などは、学習済みモデル２４６を生成するために、学習用のデータとして個人情報を施設の外部に持ち出さなければならない。そのため、管理者などは、個人情報を外部に持ち出すための各種手続きや情報漏洩の対策などを実施しなければならず煩雑である。そこで、医用画像処理装置３０は、収受施設のモダリティ１０が撮影した画像データから、提供施設のモダリティ１０が撮影した画像データの特徴を有する画像データを生成する。

具体的には、医用画像処理装置３０は、収受施設のモダリティ１０が撮影した画像データから、基準画像データの特徴を有する中間画像データを生成する。ここで、基準画像データとは、モデル共有システム１の各モダリティ１０が撮影した画像データにおいて、共通の特徴を有する画像データである。言い換えると、基準画像データとは、収受施設のモダリティ１０が撮影した第１画像データ及び提供施設のモダリティ１０が撮影した第２画像データのそれぞれの特徴がない画像データである。すなわち、基準画像データとは、特徴の一例であるノイズなどが含まれていない画像データである。例えば、基準画像データは、高線量で撮影された画像データや、画像処理によりノイズ等が除去された画像データである。また、基準画像データは、例えば、撮影する装置の性能を評価するための評価用ファントムの画像データである。さらに、モデル共有システム１において、基準画像データは、施設間で共有される同一の画像データである。また、学習済みモデル２４６が特定の臓器を解析対象にしている場合、評価用ファントムは、対象臓器を模したものであってもよい。この場合、基準画像データが対象臓器の画像データになるため、学習済みモデル２４６の解析精度をさらに向上させる場合がある。

また、中間画像データとは、モダリティ１０が撮影した画像データに対して、基準画像データの特徴が疑似的に再現された画像データである。言い換えると、中間画像データとは、画像データからノイズなどの特徴が削除された画像データである。医用画像処理装置３０は、収受施設のモダリティ１０が撮影した画像データから中間画像データを生成する。これにより、医用画像処理装置３０は、収受施設のモダリティ１０が撮影した画像データの特徴が削除された画像データを生成する。

また、医用画像処理装置３０は、中間画像データから、提供施設のモダリティ１０が撮影した画像データの特徴を有する疑似撮影画像データを生成する。疑似撮影画像データとは、中間画像データに対して、提供施設のモダリティ１０が撮影した画像データの特徴が疑似的に再現された画像データである。言い換えると、疑似撮影画像データとは、中間画像データに対してノイズなどの特徴が付加された画像データである。医用画像処理装置３０は、画像データにおけるノイズや、境界の明確さを示す明確度などの特徴を有する疑似撮影画像データを生成する。このようにして、医用画像処理装置３０は、提供施設のモダリティ１０が撮影した画像データの特徴が中間画像データに付加された疑似撮影画像データを生成する。

上述した処理により、医用画像処理装置３０は、収受施設のモダリティ１０が撮影した画像データの特徴が無く、提供施設のモダリティ１０が撮影した画像データの特徴を有する疑似撮影画像データを生成する。言い換えると、医用画像処理装置３０は、提供施設のモダリティ１０が撮影した画像データを再現した疑似撮影画像データを生成する。よって、医用画像処理装置３０は、疑似撮影画像データを提供施設の学習済みモデル２４６に解析させた場合に、解析精度の低下を抑制することができる。

次に、本実施形態に係るモデル生成装置２０の構成について説明する。

図２は、本実施形態に係るモデル生成装置２０の構成の一例を示すブロック図である。モデル生成装置２０は、通信インターフェース２１と、入力インターフェース２２と、ディスプレイ２３と、記憶回路２４と、処理回路２５とを有する。

通信インターフェース２１は、処理回路２５に接続され、ネットワーク２を介して接続された各装置との間で行われる各種データの伝送及び通信を制御する。例えば、通信インターフェース２１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

入力インターフェース２２は、処理回路２５に接続され、操作者（医療従事者）から受け付けた入力操作を電気信号に変換して処理回路２５に出力する。具体的には、入力インターフェース２２は、操作者から受け付けた入力操作を電気信号へ変換して処理回路２５に出力する。例えば、入力インターフェース２２は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インターフェース２２は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース２２の例に含まれる。

ディスプレイ２３は、処理回路２５に接続され、処理回路２５から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ２３は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。

記憶回路２４は、処理回路２５に接続され、各種データを記憶する。また、記憶回路２４は、処理回路２５が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路２４は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

処理回路２５は、モデル生成装置２０全体の動作を制御する。処理回路２５は、例えば、第１生成モデル生成機能２５１、及び第２生成モデル生成機能２５２を有する。実施形態では、構成要素である第１生成モデル生成機能２５１、及び第２生成モデル生成機能２５２にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路２４へ記憶されている。処理回路２５は、プログラムを記憶回路２４から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路２５は、図２の処理回路２５内に示された各機能を有することになる。

なお、図２においては単一のプロセッサにて、第１生成モデル生成機能２５１、及び第２生成モデル生成機能２５２を実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路２５を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図２においては、記憶回路２４等の単一の記憶回路が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路２５は、個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

第１生成モデル生成機能２５１は、敵対的生成ネットワーク（GAN：Generative Adversarial Network）により、収受施設のモダリティ１０が撮影した画像データから基準画像データの特徴を有する中間画像データを生成する第１生成モデル２４１を生成する。ここで、中間画像データとは、モダリティ１０が撮影した画像データに対して、基準画像データの特徴が疑似的に再現された画像データである。言い換えると、中間画像データとは、ノイズなどの特徴が削除された画像データである。

第１生成モデル生成機能２５１は、第１装置が撮影した第１撮影画像データと、第１撮影画像データ及び第２装置が撮影した第２撮影画像データの特徴がない基準画像データとを用いて敵対的生成ネットワークにより第１生成モデル２４１を生成する。例えば、第１生成モデル２４１は、収受施設のモダリティ１０が撮影した第１画像データと、収受施設のモダリティ１０が撮影した第１画像データ及び提供施設のモダリティ１０が撮影した第２画像データのそれぞれの特徴がない基準画像データとを用いて敵対的生成ネットワークにより生成される。第１生成モデル生成機能２５１は、第１モデル生成部の一例である。

図３は、敵対的生成ネットワークによる第１生成モデル２４１の生成方法の一例を示す図である。第１生成モデル２４１は、敵対的生成ネットワークにおける生成器である。すなわち、第１生成モデル２４１は、収受施設のモダリティ１０が撮影した画像データから、中間画像データを生成するニューラルネットワークである。第１識別モデル２４２は、敵対的生成ネットワークにおける識別器である。すなわち、第１識別モデル２４２は、基準画像データと、中間画像データとのうち、何れが本物の基準画像データであるかを識別するニューラルネットワークである。

学習時において、第１生成モデル生成機能２５１は、モダリティ１０が撮影した第１撮影画像データを第１生成モデル２４１に入力する。第１撮影画像データは、性能を評価するための評価用ファントムをモダリティ１０などの第１装置が撮影した画像データである。第１撮影画像データは、第１画像データの一例である。第１生成モデル２４１は、第１撮影画像データから中間画像データを生成する。第１識別モデル２４２は、基準画像データと、中間画像データとのうち、何れが本物の基準画像データであるかを識別する。

第１識別モデル２４２により基準画像データが本物の基準画像データであると識別された場合、第１生成モデル生成機能２５１は、第１生成モデル２４１のニューラルネットワークのパラメータを更新する。第１生成モデル２４１は、更新されたパラメータにより、中間画像データを生成する。また、第１識別モデル２４２は、基準画像データと、中間画像データとのうち、何れが本物の基準画像データであるかを識別する。第１生成モデル生成機能２５１は、第１識別モデル２４２による本物の基準画像データを識別する識別精度が閾値以下になるまで繰り返し実行する。これにより、第１生成モデル生成機能２５１は、第１生成モデル２４１を生成する。

第２生成モデル生成機能２５２は、敵対的生成ネットワークにより、基準画像データから提供施設のモダリティ１０が撮影した画像データの特徴を有する疑似撮影画像データを生成する第２生成モデル２４３を生成する。ここで、疑似撮影画像データとは、画像データに対して、提供施設のモダリティ１０が撮影した画像データの特徴が疑似的に再現された画像データである。言い換えると、疑似撮影画像データとは、ノイズなどの特徴が付加された画像データである。

更に詳しくは、第２生成モデル生成機能２５２は、第１撮影画像データ及び第２撮影画像データの特徴がない基準画像データと、第２撮影画像データとを用いて敵対的生成ネットワークにより第２生成モデル２４３を生成する。例えば、第２生成モデル２４３は、収受施設のモダリティ１０が撮影した第１画像データ及び提供施設のモダリティ１０が撮影した第２画像データのそれぞれの特徴がない基準画像データと、提供施設のモダリティ１０が撮影した第２画像データとを用いて敵対的生成ネットワークにより生成される。第２生成モデル生成機能２５２は、第２モデル生成部の一例である。

図４は、敵対的生成ネットワークによる第２生成モデル２４３の生成方法の一例を示す図である。第２生成モデル２４３は、敵対的生成ネットワークにおける生成器である。すなわち、第２生成モデル２４３は、基準画像データから、疑似撮影画像データを生成するニューラルネットワークである。第２識別モデル２４４は、敵対的生成ネットワークにおける識別器である。すなわち、第２識別モデル２４４は、提供施設のモダリティ１０が撮影した画像データと、疑似撮影画像データとのうち、何れがモダリティ１０により撮影された本物の画像データであるかを識別するニューラルネットワークである。

学習時において、第２生成モデル生成機能２５２は、基準画像データを第２生成モデル２４３に入力する。第２生成モデル２４３は、基準画像データから疑似撮影画像データを生成する。第２識別モデル２４４は、例えば評価用ファントムをモダリティ１０が撮影した第２撮影画像データと、疑似撮影画像データとのうち、何れが第２撮影画像データであるかを識別する。第２撮影画像データは、第１撮影画像データの評価用ファントムと同一の評価用ファントムをモダリティ１０などの第２装置が撮影した画像データである。ここで、学習時における疑似撮影画像データは、モダリティ１０が評価用ファントムを撮影した画像データを再現した画像データである。すなわち、第２識別モデル２４４は、第２撮影画像データと、疑似撮影画像データとのうち、何れが提供施設のモダリティ１０が撮影した撮影画像データであるかを識別する。

第２識別モデル２４４により第２撮影画像データが本物の撮影画像データであると識別された場合、第２生成モデル生成機能２５２は、第２生成モデル２４３のニューラルネットワークのパラメータを更新する。第２生成モデル２４３は、更新されたパラメータにより、疑似撮影画像データを生成する。また、第２識別モデル２４４は、第２撮影画像データと、疑似撮影画像データとのうち、何れが本物の撮影画像データであるかを識別する。第２生成モデル生成機能２５２は、第２識別モデル２４４による本物の撮影画像データを識別する識別精度が閾値以下になるまで繰り返し実行する。これにより、第２生成モデル生成機能２５２は、第２生成モデル２４３を生成する。

ここで、学習済みモデル２４６が特定の臓器を解析対象にしている場合、第１撮影画像データ及び第２撮影画像データの評価用ファントムは、対象臓器を模したファントムであってもよい。この場合、対象臓器を模したファントムの画像データで学習するため、学習済みモデル２４６の解析精度をさらに向上させる場合がある。

次に、本実施形態に係る医用画像処理装置３０の構成について説明する。

図５は、本実施形態に係る医用画像処理装置３０の構成の一例を示すブロック図である。医用画像処理装置３０は、通信インターフェース３１と、入力インターフェース３２と、ディスプレイ３３と、記憶回路３４と、処理回路３５とを有する。

通信インターフェース３１は、処理回路３５に接続され、ネットワーク２を介して接続された各装置との間で行われる各種データの伝送及び通信を制御する。例えば、通信インターフェース３１は、ネットワークカードやネットワークアダプタ、ＮＩＣ等によって実現される。

入力インターフェース３２は、処理回路３５に接続され、操作者（医療従事者）から受け付けた入力操作を電気信号に変換して処理回路３５に出力する。具体的には、入力インターフェース３２は、操作者から受け付けた入力操作を電気信号へ変換して処理回路３５に出力する。例えば、入力インターフェース３２は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インターフェース３２は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース３２の例に含まれる。

ディスプレイ３３は、処理回路３５に接続され、処理回路３５から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ３３は、液晶ディスプレイやＣＲＴディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、タッチパネル等によって実現される。

記憶回路３４は、処理回路３５に接続され、各種データを記憶する。また、記憶回路３４は、処理回路３５が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路３４は、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

処理回路３５は、医用画像処理装置３０全体の動作を制御する。処理回路３５は、例えば、生成モデル取得機能３５１、学習済みモデル取得機能３５２、画像データ取得機能３５３、画像データ生成機能３５４、学習済みモデル制御機能３５５、及び出力機能３５６を有する。実施形態では、構成要素である生成モデル取得機能３５１、学習済みモデル取得機能３５２、画像データ取得機能３５３、画像データ生成機能３５４、学習済みモデル制御機能３５５、及び出力機能３５６にて行われる各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３４へ記憶されている。処理回路３５は、プログラムを記憶回路３４から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５は、図５の処理回路３５内に示された各機能を有することになる。

なお、図５においては単一のプロセッサにて、生成モデル取得機能３５１、学習済みモデル取得機能３５２、画像データ取得機能３５３、画像データ生成機能３５４、学習済みモデル制御機能３５５、及び出力機能３５６を実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３５を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、図５においては、記憶回路３４等の単一の記憶回路が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路３５は、個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ），及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路２４、３４に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路２４、３４にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

生成モデル取得機能３５１は、第１生成モデル２４１、及び第２生成モデル２４３を取得する。更に詳しくは、生成モデル取得機能３５１は、収受施設のモデル生成装置２０から第１生成モデル２４１を取得する。また、生成モデル取得機能３５１は、提供施設のモデル生成装置２０から第２生成モデル２４３を取得する。

学習済みモデル取得機能３５２は、提供施設から学習済みモデル２４６を取得する。学習済みモデル取得機能３５２は、第２取得部の一例である。

画像データ取得機能３５３は、第１装置が被検体を撮影した第１被検体画像データを取得する。ここで、第１装置は、例えば、収受施設のモダリティ１０である。更に詳しくは、第１装置は、提供された学習済みモデル２４６の処理対象となる画像データを撮影したモダリティ１０である。また、画像データ取得機能３５３は、第１取得部の一例である。例えば、図１に示す提供施設の医用画像処理装置３０が収受施設の学習済みモデル２４６を使用して解析処理を実行する場合、画像データ取得機能３５３は、提供施設のモダリティ１０が被検体を撮影した画像データを取得する。

画像データ生成機能３５４は、変換モデル２４５により第１被検体画像データから、第２被検体画像データを生成する。すなわち、画像データ生成機能３５４は、第１被検体画像データから、第１装置が撮影した第１画像データの特徴を削除した中間画像データを第１生成モデル２４１により生成し、中間画像データから、第２装置が撮影した第２画像データの特徴を有する第２被検体画像データを第１生成モデル２４１により生成する。ここで、第２装置は、提供施設のモダリティ１０である。更に詳しくは、第２装置は、学習済みモデル２４６の学習に用いられた画像データを撮影したモダリティ１０である。また、画像データ生成機能３５４は、第１生成部の一例である。

ここで、図６は、変換モデル２４５の構成の一例を示すブロック図である。変換モデル２４５は、第１生成モデル２４１と、第２生成モデル２４３とを有している。変換モデル２４５は、変換対象の撮影画像データとして第１被検体画像データが入力された場合に、第１生成モデル２４１により第１被検体画像データから中間画像データを生成する。また、変換モデル２４５は、第２生成モデル２４３により中間画像データから疑似撮影画像データとして第２被検体画像データを生成する。言い換えると、変換モデル２４５は、撮影画像データに含まれるノイズなどの特徴が削除された中間画像データを生成し、中間画像データに対してノイズなどの特徴を付加した第２被検体画像データを生成する。

学習済みモデル制御機能３５５は、学習済みモデル２４６による解析処理を制御する。例えば、学習済みモデル制御機能３５５は、学習済みモデル取得機能３５２が取得した学習済みモデル２４６に第２被検体画像データを解析させる。学習済みモデル制御機能３５５は、解析制御部の一例である。

図７は、学習済みモデル２４６が解析処理を実行するまでの処理の一例を示す図である。画像データ生成機能３５４は、モダリティ１０が被検体を撮影した第１被検体画像データを変換モデル２４５の変換対象の撮影画像データとして指定する。変換モデル２４５は、第１被検体画像データから、疑似撮影画像データとして第２被検体画像データを生成する。学習済みモデル制御機能３５５は、変換モデル２４５が生成した第２被検体画像データを学習済みモデル２４６の解析対象に指定する。学習済みモデル２４６は、指定された第２被検体画像データに対して解析処理を実行する。

出力機能３５６は、学習済みモデル２４６による解析処理の実行結果を出力する。ここで、出力機能３５６は、第２被検体画像データに対する実行結果を加工せずに出力してもよいし、第１被検体画像データに戻して実行結果を出力してもよいし、第１被検体画像データに実行結果を重畳して出力してもよい。

ここで、学習済みモデル２４６は、他の施設のモダリティ１０が撮影した画像データを再現した第２被検体画像データに対して解析処理を実行する。よって、出力機能３５６が実行結果を加工せずに出力すると、実行結果を読影する医療従事者は、見慣れない第２被検体画像データについて読影しなければならない。そこで、出力機能３５６は、解析処理の実行結果を含む第２被検体画像データを、解析処理の実行結果を含む第１被検体画像データに変換する。そして、出力機能３５６は、解析処理の実行結果を含む第１被検体画像データを出力する。

これ以外には、例えば、学習済みモデル２４６が第２被検体画像データから病変がある位置を検出する解析処理を実行する場合に、出力機能３５６は、検出した病変の位置を示す実行結果を第１被検体画像データに重畳した画像データを生成する。そして、出力機能３５６は、生成した画像データを表示させることにより出力してもよい。

次に、医用画像処理装置３０が実行する提供実行処理について説明する。提供実行処理は、提供された学習済みモデル２４６を実行する処理である。図８は、本実施形態に係る医用画像処理装置３０が実行する提供実行処理の一例を示すフローチャートである。

生成モデル取得機能３５１は、第１生成モデル２４１、及び第２生成モデル２４３を取得する（ステップＳ１）。

学習済みモデル取得機能３５２は、学習済みモデル２４６を取得する（ステップＳ２）。

画像データ生成機能３５４は、第１生成モデル２４１、及び第２生成モデル２４３を有する変換モデル２４５の変更対象の第１被検体画像データを指定する（ステップＳ３）。言い換えると、画像データ生成機能３５４は、学習済みモデル２４６に解析させる解析対象の第１被検体画像データを指定する。

画像データ生成機能３５４は、変換モデル２４５に第１被検体画像データから第２被検体画像データを生成させる（ステップＳ４）。

学習済みモデル制御機能３５５は、学習済みモデル取得機能３５２が取得した学習済みモデル２４６に第２被検体画像データを解析させる（ステップＳ５）。

出力機能３５６は、学習済みモデル２４６による第２被検体画像データの解析結果を出力する（ステップＳ６）。

以上により、医用画像処理装置３０は、提供実行処理を終了する。

以上のように、本実施形態にかかる医用画像処理装置３０は、モダリティ１０が撮影した画像データから、ノイズなどの画像データの特徴を削除した中間画像データを生成する第１生成モデル２４１と、中間画像データから、別のモダリティ１０が撮影した画像データの特徴としてノイズなどの特徴を有する画像データを生成する第２生成モデル２４３とを取得する。そして、医用画像処理装置３０は、モダリティ１０が撮影した第１被検体画像データを第１生成モデル２４１に入力することにより、別のモダリティ１０が撮影した画像データの特徴を有する第２被検体画像データを生成する。よって、医用画像処理装置３０は、学習済みモデル２４６に適した画像データを生成することができる。従って、医用画像処理装置３０は、学習済みモデル２４６を共有可能にすることができる。

さらに、実施形態にかかるモデル共有システム１は、学習済みモデル２４６を新たに生成する必要はないため、学習用のデータとして個人情報を施設の外部に持ち出す必要がない。よって、システムの管理者などは、各種手続きや情報漏洩の対策などを実施する必要がない。

また、上記実施形態では、第１生成モデル２４１及び第２生成モデル２４３は、モデル生成装置２０が生成すると説明した。しかしながら、第１生成モデル２４１及び第２生成モデル２４３は、医用画像処理装置３０が生成してもよい。すなわち、医用画像処理装置３０は、第１生成モデル生成機能２５１及び第２生成モデル生成機能２５２をそなえていてもよい。

また、上記実施形態では、収受施設の医用画像処理装置３０が、第１被検体画像データから第２被検体画像データを生成すると説明した。しかしながら、変換モデル２４５の生成や、第２被検体画像データを生成するサービスを提供する第３者が有する医用画像処理装置３０により、変換モデル２４５されてもよい。そして、第３者が有する医用画像処理装置３０により、第１被検体画像データから第２被検体画像データが生成されてもよい。

また、上記実施形態では、モデル生成装置２０は、評価用ファントムの画像データを使用することにより、第１生成モデル２４１及び第２生成モデル２４３を生成すると説明した。しかしながら、モデル生成装置２０は、被検体などの人体の画像データを使用することにより、第１生成モデル２４１及び第２生成モデル２４３を生成してもよい。

すなわち、モデル生成装置２０は、人体をモダリティ１０などの第１装置が撮影した画像データである第１撮影画像データにより第１生成モデル２４１を生成する。また、モデル生成装置２０は、第１撮影画像データの人体と同一の人体をモダリティ１０などの第２装置が撮影した画像データである第２撮影画像データにより第１生成モデル２４１を生成する。また、ＭＲＩ装置により画像データを撮影する場合、人体は、Ｘ線ＣＴ装置などの曝射する装置による撮影とは異なり被曝しないため、より好適である。

また、上記実施形態では、変換モデル２４５は、中間画像データを１回生成することにより、第１被検体画像データから第２被検体画像データを生成すると説明した。しかしながら、変換モデル２４５は、中間画像データを複数回生成してもよい。例えば、変換モデル２４５は、第１被検体画像データから第１中間画像データを生成する。また、変換モデル２４５は、第１中間画像データから第２中間画像データを生成する。そして、変換モデル２４５は、第２中間画像データから第２被検体画像データを生成する。このように、変換モデル２４５は、複数の中間画像データを生成することにより、第１被検体画像データから第２被検体画像データを生成してもよい。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ モデル共有システム
１０ モダリティ
２０ モデル生成装置
３０ 医用画像処理装置
２５１ 第１生成モデル生成機能
２５２ 第２生成モデル生成機能
２４１ 第１生成モデル
２４２ 第１識別モデル
２４３ 第２生成モデル
２４４ 第２識別モデル
２４５ 変換モデル
２４６ 学習済みモデル
３５１ 生成モデル取得機能
３５２ 学習済みモデル取得機能
３５３ 画像データ取得機能
３５４ 画像データ生成機能
３５５ 学習済みモデル制御機能
３５６ 出力機能

Claims (10)

1. 第２装置が撮影した画像データを用いて学習した学習済みモデルに用いる画像データを、第１装置が撮影した画像データから生成する医用画像処理装置であって、
   前記第１装置が被検体を撮影した第１被検体画像データを取得する第１取得部と、
   前記第１被検体画像データから、前記第１装置が撮影した第１画像データの特徴を削除した中間画像データを第１生成モデルにより生成し、当該中間画像データから、前記第２装置が撮影した第２画像データの特徴を有する第２被検体画像データを第２生成モデルにより生成する第１生成部と、
   を備える医用画像処理装置。
2. 前記第１生成モデルは、前記第１画像データと、前記第１画像データ及び前記第２画像データのそれぞれの特徴がない基準画像データとを用いて敵対的生成ネットワークにより生成される、
   請求項１に記載の医用画像処理装置。
3. 前記第２生成モデルは、前記第１画像データ及び前記第２画像データのそれぞれの特徴がない基準画像データと、前記第２画像データとを用いて敵対的生成ネットワークにより生成される、
   請求項１に記載の医用画像処理装置。
4. 前記学習済みモデルに前記第２被検体画像データを解析させる解析制御部を更に備える、
   請求項１から請求項３の何れか一項に記載の医用画像処理装置。
5. 前記学習済みモデルを取得する第２取得部を更に備え、
   前記解析制御部は、前記第２取得部が取得した前記学習済みモデルに前記第２被検体画像データを解析させる、
   請求項４に記載の医用画像処理装置。
6. 前記第１画像データは、性能を評価するための評価用ファントムを前記第１装置が撮影した画像データである、
   請求項１から請求項５の何れか一項に記載の医用画像処理装置。
7. 前記第２画像データは、前記評価用ファントムを前記第２装置が撮影した画像データである、
   請求項６に記載の医用画像処理装置。
8. 前記第１画像データは、人体を前記第１装置が撮影した画像データである、
   請求項１から請求項５の何れか一項に記載の医用画像処理装置。
9. 前記第２画像データは、前記人体を前記第２装置が撮影した画像データである、
   請求項８に記載の医用画像処理装置。
10. 生成モデルを生成するモデル生成装置と、前記生成モデルにより画像データを生成する医用画像処理装置とを備える医用画像処理システムであって、
    前記モデル生成装置は、
    第１装置が撮影した第１画像データと、前記第１画像データ及び第２装置が撮影した第２画像データの特徴がない基準画像データとを用いて敵対的生成ネットワークにより第１生成モデルを生成する第１モデル生成部と、
    前記第１画像データ及び前記第２画像データの特徴がない基準画像データと、前記第２画像データとを用いて敵対的生成ネットワークにより第２生成モデルを生成する第２モデル生成部と、を備え、
    前記医用画像処理装置は、
    前記第１装置が被検体を撮影した第１被検体画像データを取得する第１取得部と、
    前記第１被検体画像データから、前記第１装置が撮影した前記第１画像データの特徴を削除した中間画像データを前記第１生成モデルにより生成し、当該中間画像データから、前記第２装置が撮影した前記第２画像データの特徴を有する第２被検体画像データを前記第２生成モデルにより生成する第１生成部と、
    を備える、
    医用画像処理システム。

Images