JP2021174394A - 推論装置、医用システム、およびプログラム - Google Patents

Abstract

【課題】ＣＴ画像などのグレースケール画像を取り扱う場合であっても、推論の精度を向上させる推論装置、当該推論装置を有する医用装置及び学習済みモデルを用いて推論を行うためのプログラムを提供する。【解決手段】医用情報管理システムにおいて、ワークステーションは、３つの１チャネル画像（原画像、ヒストグラム平坦化画像及び輪郭強調画像）の各々の画像情報を含むマルチチャネル画像と、正解データとを学習する学習処理によって生成されるものである学習済みモデルＴＭ用いて推論を実行する推論部と、被検体の３つの１チャネル画像（原画像ＩＭ１０、ヒストグラム平坦化画像ＩＭ２０及び輪郭強調画像ＩＭ３０）の各々の画像情報を含むマルチチャネル画像ＩＭｂを生成するマルチチャネル画像生成部と、を含む。推論部は、マルチチャネル画像ＩＭｂを学習済みモデルＴＭに入力して推論を実行し、出力画像ＩＭｏｕｔを出力データとして出力する。【選択図】図１３

Description

本発明は、学習済みモデルを用いて推論を行う推論装置、当該推論装置を有する医用装置、および学習済みモデルを用いて推論を行うためのプログラムに関する。

被検体の体内の画像を非侵襲的に撮影する医用装置として、Ｘ線ＣＴ装置が知られている。Ｘ線ＣＴ装置は、撮影部位を短時間で撮影することができるので、病院等の医療施設に普及している。

Ｘ線ＣＴ装置を用いて被検体を撮影する場合、様々なスキャン条件で被検体をスキャンすることにより、臨床目的に応じた様々なＣＴ画像を取得することができる。読影医などの医師は、取得されたＣＴ画像の読影を行い、読影の結果に基づいて、診断を行う。

また、近年、ＡＩ（Artificial Intelligence）を利用して画像処理を行い、臨床に適した画像を生成することが行われている。ＡＩの一例として、機械学習を使用した画像処理の一例が特許文献１に開示されている。

特開２０１９−１１８６７０号公報

ＡＩのうち、特に、ディープランニング（DEEP LEARNING、以下、「ＤＬ」と表記する）を利用した画像処理は盛んに行われている。

ＤＬを用いた画像処理の研究は自然画像に対する画像分類などの研究からスタートし発展してきた。自然画像に対するＤＬの画像処理の代表的な成功例はカメラ画像に対する画像分類や防犯カメラなどの動画における人検出などが上げられる。

一方、医用画像に対するＤＬの画像処理の成功例としては、眼底カメラの画像や内視鏡画像のようなカラー画像の画像処理があり、ＤＬを利用した眼底カメラの画像や内視鏡画像の画像処理は実用化が進んでいる傾向がみられる。

しかし、ＣＴ画像など、グレースケールで表示される医用画像の画像処理については、上記のカラー画像と比較すると、ＤＬを利用した画像処理の実用化に遅れがみられる。この理由としては以下のようなことが考えられる。

テンソルフローなどに代表されるＤＬプラットフォームは、３チャンネルの情報を取り扱うことができる。ここで、眼底カメラの画像や内視鏡画像などのカラー画像について考えると、カラー画像は、１枚の画像から３つの情報（ＲＧＢに対応した３チャネルの情報）が得られる。したがって、カラー画像を取り扱う場合、ＤＬプラットフォームが取り扱う３チャンネルを活用することができる。

次に、ＣＴ画像、ＭＲ画像などのグレースケール画像について考えてみる。グレースケール画像の場合、１枚の画像から1つの情報（つまり、１チャネルの情報）しか得られない。したがって、グレースケール画像は、カラー画像よりも、画像１枚当たりの情報量が少ない。このため、グレースケール画像を取り扱う場合、ＤＬプラットフォームが取扱い可能な３チャネルのうちの１チャネルしか活用されていない。

したがって、グレースケール画像では、ＤＬプラットフォームの取扱い可能な全チャネルを活用できておらず、推論の精度を向上させることが難しい場合がある。これが、ＤＬによるＣＴ画像などのグレースケール画像の画像処理の実用化に遅れがみられている原因の一つであると考えられる。

したがって、ＣＴ画像などのグレースケール画像を取り扱う場合であっても、推論の精度を向上させることができる技術が望まれている。

本発明の第１の観点は、学習済みモデルを用いて推論を実行する推論部であって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論部と、
被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成するマルチチャネル画像生成部と
を含み、
前記推論部は、
前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行する、推論装置である。

本発明の第２の観点は、学習済みモデルを用いて推論を実行する推論部であって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論部と、
被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成するマルチチャネル画像生成部と
を含み、
前記推論部は、
前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行する、医用システムである。

本発明の第３の観点は、学習済みモデルを用いて推論を実行する処理であって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論を実行する処理と、
被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成する処理と
をプロセッサに実行させるためのプログラムであって、
前記推論を実行する処理は、
前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行する、プログラムである。

本発明の第４の観点は、プロセッサによる実行が可能な１つ以上のインストラクションが格納された、非一時的でコンピュータ読取可能な記録媒体であって、一つ以上のインストラクションは、プロセッサによって実行されたときに、
（１）学習済みモデルを用いて推論を実行することであって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論を実行すること、
（２）被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成すること
を含む動作を実行させるものであり、
（１）の学習済みモデルを用いて推論を実行することは、前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行することを含むものである、非一時的でコンピュータ読取可能な記録媒体である。

本発明では、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像を用いて、推論を実行するための学習済みモデルが生成される。そして、推論を行う場合、第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成し、第２のマルチチャンネル画像を学習済みモデルの入力画像として推論を行う。したがって、１チャネル画像のみで学習済みモデルを生成したり、１チャネル画像のみを学習済みモデルの入力画像とする場合よりも、より多くの情報を含む画像で学習および推論が行われるので、推論の精度を向上させることができる。

本発明の一形態の推論装置を含む医用情報管理システム１０を示す図である。 ワークステーションＷ２の機能ブロック図である。 学習ステップのフローチャートを示す図である。 原画像ＩＭ１を概略的に示す図である。 原画像ＩＭ１から生成された他のグレースケール画像を示す図である。 正解データＣＤを概略的に示す図である。 マルチチャネル画像ＩＭａを概略的に示す図である。 学習済みモデルの生成方法の説明図である。 学習済みモデルＴＭを用いて被検体の画像から金属部材を抽出する推論ステップの一例を示すフローである。 スキャンにより取得された複数のＣＴ画像ＩＭ１０を概略的に示す図である。 他のグレースケール画像を示す図である。 マルチチャネル画像ＩＭｂを概略的に示す図である。 金属部材を抽出する処理の説明図である。 使用可能な画像の組合せの一例を示す表である。

以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。

図１は、本発明の一形態の推論装置を含む医用情報管理システム１０を示す図である。
システム１０は、複数のモダリティＱ１〜Ｑａを含んでいる。複数のモダリティＱ１〜Ｑａの各々は、被検体の診断や治療などを行うモダリティである。

各モダリティは、医用装置と操作コンソールとを有する医用システムである。医用装置は被検体からデータを収集する装置であり、操作コンソールは、医用装置に接続されており、医用装置の操作に使用されるものである。医用装置は、被検体からデータを収集する装置であり、医用装置としては、例えば、単純Ｘ線撮影装置、Ｘ線ＣＴ装置、ＰＥＴ−ＣＴ装置、ＭＲＩ装置、ＭＲＩ−ＰＥＴ装置、マンモグイラフィ装置など、様々な装置を使用することができる。

更に、システム１０は、複数のワークステーションＷ１〜Ｗｂを有している。これらのワークステーションＷ１〜Ｗｂには、例えば、病院情報システム（ＨＩＳ）、放射線科情報システム（ＲＩＳ）、臨床情報システム（ＣＩＳ）、心血管情報システ ム（ＣＶＩＳ）、図書館情報システム（ＬＩＳ）、電子カルテ（ＥＭＲ）システム、および／又は他の画像及び情報管理システム等で使用されるワークステーション、読影医の検像作業に使用されるワークステーションが含まれている。

また、ワークステーションＷ１〜Ｗｂには、各モダリティから送信された画像データに対して学習済みモデルを用いた推論処理を実行するワークステーションも含まれている。ここでは、ワークステーションＷ２が、推論処理を実行するワークステーションであるとする。

ワークステーションＷ２は、プロセッサ２１および記憶部２２を含んでいる。以下に、ワークステーションＷ２の機能について説明する。

図２は、ワークステーションＷ２の機能ブロック図である。
ワークステーションＷ２は、以下の機能５１〜５３を実行するように構成されている。

画像処理部５１は、１チャネル画像（例えば、図１０に示すＣＴ画像ＩＭ１０）に基づいて、他の１チャネル画像（例えば、図１１に示すヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０）を生成する。１チャネル画像とは、１チャネルの情報を有する画像であり、例えば、グレースケール画像を表している。１チャネル画像の具体例については、後述する。

マルチチャネル画像生成部５２は、３つの１チャネル画像（ＣＴ画像ＩＭ１０、ヒストグラム平坦化画像ＩＭ２０、および輪郭強調画像ＩＭ３０）の各々の画像情報を含むマルチチャネル画像ＩＭｂ（図１２参照）を生成する。マルチチャネル画像ＩＭｂについては後述する。

推論部５３は、学習済みモデルを用いて推論を実行する。具体的には、推論部５３は、マルチチャネル画像ＩＭｂを学習済みモデルに入力して推論を実行し、推論の結果に応じた出力画像ＩＭｏｕｔを出力データとして生成する（図１３参照）。学習済みモデルの生成方法については後述する。

記憶部２２には、上記の機能ブロックの処理を表すプログラムが記憶されている。記憶部２２は、プロセッサによる実行が可能な１つ以上のインストラクションが格納された、非一時的でコンピュータ読取可能な記録媒体とすることができる。一つ以上のインストラクションは、プロセッサによって実行されたときに、以下の（ａ）−（ｃ）を含む動作の実行を生じさせるものである。

（ａ）１チャネル画像（例えば、図１０に示すＣＴ画像ＩＭ１０）に基づいて、他の１チャネル画像（例えば、図１１に示すヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０）を生成すること（画像処理部５１）。
（ｂ）学習済みモデルを用いて推論を実行すること（推論部５３）。
（ｃ）３つの１チャネル画像（ＣＴ画像ＩＭ１０、ヒストグラム平坦化画像ＩＭ２０、および輪郭強調画像ＩＭ３０）の各々の画像情報を含むマルチチャネル画像ＩＭｂを生成すること（マルチチャネル画像生成部５２）。
尚、（ｂ）の学習済みモデルを用いて推論を実行することは、マルチチャネル画像ＩＭｂを学習済みモデルに入力して推論を実行し、推論の結果に応じた出力画像ＩＭｏｕｔを出力データとして生成することを含むものである。

ワークステーションＷ２は、動作（ａ）−（ｃ）を実行させるための一つ以上のインストラクションが格納された非一時的でコンピュータ読取可能な記憶部２２（記憶媒体）と、この記憶部２２（記憶媒体）に格納されたインストラクションを実行するプロセッサ２１とを備えている。プロセッサ２１は本発明における推論装置の一例である。尚、本形態では、プロセッサ２１および記憶部２２はワークステーションＷ２に設けられているが、プロセッサ２１および記憶部２２を各モダリティ（Ｑ１〜Ｑａ）に設けてもよい。

本形態では、ワークステーションＷ２には学習済みモデルが格納されている。この学習済みモデルは、学習データを学習することにより生成されたものである。本形態では、各モダリティで被検体を撮影した後、学習済みモデルを使用して、被検体の画像に基づいて抽出対象物を抽出するための推論を実行する。抽出対象物とは、診断の目的に応じて抽出することが望まれる対象物であり、例えば、臓器、腫瘍、体内に埋め込まれている金属部材などである。ワークステーションＷ２は、画像に抽出対象物が含まれている場合、抽出対象物を含む出力画像を出力し、必要に応じて、モダリティに送信する。

近年、ＤＬ（ディープランニング）で学習済みモデルを生成し、学習済みモデルを用いて画像処理を行うことが盛んに行われている。ＤＬの学習済みモデルを使用した画像処理の成功例としては、眼底カメラの画像や内視鏡画像のようなカラー画像の画像処理があり、ＤＬを利用した眼底カメラの画像や内視鏡画像の画像処理は実用化が進んでいる傾向がみられる。

一方、ＣＴ画像など、グレースケールで表示される医用画像の画像処理については、上記のカラー画像と比較すると、ＤＬを利用した画像処理の実用化に遅れがみられる。この理由としては以下のようなことが考えられる。

テンソルフローなどに代表されるＤＬプラットフォームは、３チャンネルの情報を取り扱うことができる。ここで、眼底カメラの画像や内視鏡画像などのカラー画像について考えると、カラー画像は、１枚の画像から３つの情報（ＲＧＢに対応した３チャネルの情報）が得られる。したがって、カラー画像を取り扱う場合、ＤＬプラットフォームが取り扱い可能な３チャンネル全部が活用されている。

一方、ＣＴ画像などのグレースケール画像の場合、１枚の画像から1つの情報（つまり、１チャネルの情報）しか得られない。したがって、グレースケール画像は、１チャネルの情報を有する１チャネル画像であるので、グレースケール画像を取り扱う場合、ＤＬプラットフォームが取扱い可能な３チャネルのうちの１チャネルしか活用されておらず、診断に有効な画像を生成するための学習および推論をすることが難しいという問題がある。そこで、本形態では、ＣＴ画像などのグレースケール画像を取り扱う場合であっても、ＤＬによる画像処理に適した学習済みモデルを生成することが可能な方法を実現している。以下に、本形態における学習済みモデルを生成するための学習ステップについて説明する。尚、以下の例では、ＣＴ画像に基づいて学習済みモデルを生成する例について説明するが、本発明は、ＣＴ画像以外の他のグレースケール画像（例えば、ＭＲ画像、マンモグラフィ画像）を用いた学習済みモデルの生成にも適用可能である。

図３は学習ステップのフローチャートを示す図である。
ステップＳＴ１では、学習ステップで使用される複数の原画像を用意する。図４は、用意された複数の原画像ＩＭ１を概略的に示す図である。各原画像ＩＭ１はグレースケール画像である。尚、図４では、画像ＩＭ１に描出されている体内の臓器等を簡略化して示してある。

本形態における学習ステップでは、人体に埋め込まれた金属部材を抽出するための学習済みモデルを生成するものとする。したがって、ステップＳＴ１では、金属部材が埋め込まれている人間をＣＴスキャンすることにより得られた複数のＣＴ画像ＩＭ１を、学習済みモデルを生成するために使用される複数の原画像ＩＭ１として用意する。

尚、金属部材は人体の様々な部位に埋め込まれるものである。また、金属部材が部位に対して埋め込まれる角度、金属部材の寸法、金属部材の材質、金属部材の形状は、患者ごとに決められるものであるので、画一的に決まるものではなく、多岐にわたる。そこで、金属部材が埋め込まれる部位、金属部材が部位に対して埋め込まれる角度、金属部材の寸法、金属部材の材質、金属部材の形状の組み合わせとして考えられる各パターンが描出された複数のＣＴ画像を用意し、この複数のＣＴ画像を、学習済みモデルの生成に使用される複数の原画像ＩＭ１として用意する。

尚、複数の原画像（ＣＴ画像）ＩＭ１の撮影条件はできるだけ近いことが望ましいが、異なる撮影条件で撮影された複数の画像を、複数の原画像ＩＭ１として用意することも可能である。

ステップＳＴ２では、原画像ＩＭ１とは別に、学習済みモデルを生成するために使用される他のグレースケール画像を生成する。図５は、生成された他のグレースケール画像を概略的に示す図である。

学習済みモデルの生成に使用されるＤＬプラットフォームは３チャネルの情報が取扱い可能である。一方、原画像ＩＭ１はグレースケール画像であるので、１チャネルの情報を有する１チャネル画像である。したがって、上記の原画像ＩＭ１は、ＤＬプラットフォームが取扱い可能な３チャネルのうちの１チャネルに割り当てられることになる。しかし、原画像ＩＭ１をＤＬプラットフォームの１チャネルに割り当てても、まだ、２チャネルが残ることになる。そこで、この２チャネルを有効活用するため、原画像ＩＭ１に基づいて他のグレースケール画像ＩＭ２およびＩＭ３を生成する。尚、図５では、画像ＩＭ１、ＩＭ２、およびＩＭ３に描出されている体内の臓器等を簡略化して示してある。

グレースケール画像ＩＭ２は、原画像ＩＭ１にヒストグラム平坦化処理を施すことにより得られた画像（以下、ヒストグラム平坦化処理を施すことにより得られた画像を「ヒストグラム平坦化画像」と呼ぶ）である。一方、グレースケール画像ＩＭ３は、原画像ＩＭ１に輪郭強調処理を施すことにより得られた画像（以下、輪郭強調処理を施すことにより得られた画像を「輪郭強調画像」と呼ぶ）である。これらの画像ＩＭ２およびＩＭ３は、既知の画像処理アルゴリズムを使用して生成することができる。

したがって、ステップＳＴ２を実行することにより、１チャネルの情報を有する１チャネル画像として、ヒストグラム平坦化画像ＩＭ２および輪郭強調画像ＩＭ３を生成することができる。ヒストグラム平坦化画像ＩＭ２および輪郭強調画像ＩＭ３を生成した後、ステップＳＴ３に進む。

ステップＳＴ３では、正解データを生成する。本形態では、金属部材を抽出することを考えているので、金属部材を含む画像を正解データとして生成する。

図６に正解データＣＤを概略的に示す。正解データＣＤは、例えば、原画像ＩＭ１から用意することができる。具体的には、各原画像から、この原画像に描出されている金属部材を含む領域を取り出し、この取り出された領域を表す画像を、正解データとして用意することができる。尚、原画像ＩＭ１から金属部材を含む領域を取り出す代わりに、ヒストグラム平坦化画像ＩＭ２又は輪郭強調画像ＩＭ３から金属部材を含む領域を取り出し、この取り出された領域を表す画像を、正解データとして用意してもよい。

ステップＳＴ４では、３つの１チャネル画像（原画像ＩＭ１、ヒストグラム平坦化画像ＩＭ２、および輪郭強調画像ＩＭ３）の各々の画像情報を含むマルチチャネル画像を生成する。図７は、マルチチャネル画像ＩＭａを概略的に示す図である。図７では、マルチチャネル画像ＩＭａに描出されている体内の臓器等を簡略化して示してある。マルチチャネル画像ＩＭａは、原画像ＩＭ１、ヒストグラム平坦化画像ＩＭ２、および輪郭強調画像ＩＭ３の情報を含む３チャネル画像である。

ステップＳＴ５では、金属部材を抽出するための学習済みモデルを生成する。図８は学習済みモデルの生成方法の説明図である。

学習済みモデルＴＭは、例えば、ＤＬプラットフォームを用いて生成することができる。ＤＬプラットフォームに、３チャネル画像ＩＭａと正解データＣＤとを入力して、３チャネル画像ＩＭａと正解データＣＤとを学習させることにより、学習済みモデルＴＭを生成することができる。ここでは、金属部材を抽出するのに適した学習済みモデルＴＭが生成される。学習済みモデルＴＭは、病院などの医療機関がアクセス可能なワークステーション（例えば、図１に示すワークステーションＷ２）に記憶される。
このようにして、学習ステップのフロー（図３参照）が終了する。

上記の学習ステップにより得られた学習済みモデルＴＭは、被検体の画像から金属部材を抽出するための推論を実行するときに使用される。以下に、学習済みモデルＴＭを用いて金属部材を抽出する推論ステップの一例について、図９〜図１３を参照しながら説明する。

図９は、学習済みモデルＴＭを用いて被検体の画像から金属部材を抽出する推論ステップの一例を示すフローである。尚、以下では、被検体の脊椎に金属部材が埋め込まれている例を取り上げて、金属部材を抽出する方法を説明するが、金属部材の埋め込まれている部位は、脊椎に限定されることはなく、本発明を使用することにより、被検体の任意の部位に埋め込まれている金属部材を特定することが可能である。

ステップＳＴ１１では、ＣＴ装置を有するモダリティを用いて被検体をスキャンし、被検体のＣＴ画像を取得する。モダリティの操作コンソールに設けられているプロセッサは、ＣＴ装置のスキャンにより収集されたデータに基づいて、被検体のＣＴ画像を再構成する。この再構成は、操作コンソールのプロセッサの再構成部によって実行される。図１０は、スキャンにより取得された複数のＣＴ画像ＩＭ１０の概略図である。各ＣＴ画像ＩＭ１０はグレースケール画像である。図１０では、画像ＩＭ１０に描出されている体内の臓器等を簡略化して示してある。また、図１０では、ＣＴ画像の例として、脊椎に金属部材が埋め込まれている被検体の脊椎部分のアキシャル画像が示されている。

ステップＳＴ１２では、ステップＳＴ１１で取得されたＣＴ画像に基づいて、被検体に埋め込まれている金属部材を抽出するための推論を実行するために、モダリティは、取得したＣＴ画像を、ワークステーションＷ２（図１参照）に送信する。

ステップＳＴ１３では、ワークステーションＷ２は、モダリティから受け取ったＣＴ画像ＩＭ１０に基づいて、推論に必要となる他のグレースケール画像を生成する。図１１は、生成された他のグレースケール画像を示す図である。

先に説明したように、ＤＬプラットフォームは３チャネルの情報が取扱い可能である。一方、ＣＴ画像ＩＭ１０はグレースケール画像であるので、１チャネルの情報を有する１チャネル画像である。したがって、ＣＴ画像ＩＭ１０は、ＤＬプラットフォームが取扱い可能な３チャネルのうちの１チャネルに割り当てられるが、ＣＴ画像ＩＭ１０をＤＬプラットフォームの１チャネルに割り当てても、まだ、２チャンネルが残る。そこで、この２チャンネルを有効活用するため、ワークステーションＷ２は、ＣＴ画像ＩＭ１０に基づいて他のグレースケール画像ＩＭ２０およびＩＭ３０を生成する。尚、図１１では、画像ＩＭ１０、ＩＭ２０、およびＩＭ３０に描出されている体内の臓器等を簡略化して示してある。

本形態では、学習ステップ（図８参照）でヒストグラム平坦化画像と輪郭強調画像とを生成しているので、推論ステップでも、グレースケール画像ＩＭ２０としてヒストグラム平坦化画像を生成し、グレースケール画像ＩＭ３０として輪郭強調画像ＩＭ３０を生成する。

ワークステーションＷ２は、ヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０を生成する処理をプロセッサ２１で実行する。プロセッサ２１は、原画像（ＣＴ画像）ＩＭ１０を受け取ると、原画像ＩＭ１０にヒストグラム平坦化処理を施すことによりヒストグラム平坦化画像ＩＭ２０を生成し、また、原画像ＩＭ１０に輪郭強調処理を施すことにより輪郭強調画像ＩＭ３０を生成する。尚、プロセッサ２１は、画像処理部５１（図２参照）によってヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０を生成する処理を実行する。これらの画像ＩＭ２０およびＩＭ３０は、既知の画像処理アルゴリズムを使用して生成することができる。

したがって、ステップＳＴ１３を実行することにより、１チャネルの情報を有する１チャネル画像として、ヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０を生成することができる。ヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０を生成した後、ステップＳＴ１４に進む。

ステップＳＴ１４では、ワークステーションＷ２のプロセッサ２１が、３つの１チャネル画像（原画像ＩＭ１０、ヒストグラム平坦化画像ＩＭ２０、および輪郭強調画像ＩＭ３０）の各々の画像情報を含むマルチチャネル画像を生成する。図１２に生成されたマルチチャネル画像ＩＭｂを概略的に示す。尚、図１２では、画像ＩＭｂに描出されている体内の臓器等を簡略化して示してある。マルチチャネル画像ＩＭｂは、原画像ＩＭ１０、ヒストグラム平坦化画像ＩＭ２０、および輪郭強調画像ＩＭ３０の情報を含む３チャネル画像である。ワークステーションＷ２のプロセッサ２１は、マルチチャネル画像生成部５２（図２参照）によってマルチチャネル画像ＩＭｂを生成する処理を実行する。

ステップＳＴ１５では、マルチチャネル画像ＩＭｂを学習済みモデルＴＭに入力して、金属部材を抽出するための推論を行う。図１３は、金属部材を抽出する処理の説明図である。

ワークステーションＷ２のプロセッサ２１は、３チャネル画像ＩＭｂを学習済みモデルＴＭの入力画像として受け取り、３チャネル画像ＩＭｂから金属部材を抽出するための推論を行い、出力データとして、抽出された金属部材を含む出力画像ＩＭｏｕｔを出力する。尚、プロセッサ２１は、推論部５３（図２参照）によって上記の推論を実行する。

出力画像ＩＭｏｕｔを生成した後、ワークステーションＷ２は、出力画像ＩＭｃをモダリティに送信する。モダリティは、受け取った出力画像ＩＭｏｕｔを、操作コンソールの表示装置に表示する。

このようにして、図９のフローが終了する。

本形態では、学習ステップ（図８参照）において、ＤＬプラットフォームを使用して金属部材を抽出するための学習済みモデルＴＭを生成する。しかし、テンソルフローなどに代表されるＤＬプラットフォームは、３チャンネルの情報を取り扱うことができるのに対し、学習済みモデルＴＭの生成に使用される原画像ＩＭ１はグレースケール画像であるので、原画像ＩＭ１からは１チャネルの情報しか得られない。したがって、原画像ＩＭ１のみを学習するだけでは、ＤＬプラットフォームが取り扱い可能な３チャネルのうちの１チャネルしか活用することができず、推論の精度を低下させる恐れがある。

そこで、本形態では、ＤＬプラットフォームが取扱い可能な全チャネルを活用できるように、原画像ＩＭ１を用意し（ステップＳＴ１、図４参照）、原画像ＩＭ１を用いて、ヒストグラム平坦化画像ＩＭ２および輪郭強調画像ＩＭ３を生成し（ステップＳＴ２、図５参照）、原画像ＩＭ１、ヒストグラム平坦化画像ＩＭ２、および輪郭強調画像ＩＭ３の情報を含む３チャネル画像ＩＭａを生成する（ステップＳＴ４、図７参照）。更に、本形態では、正解データＣＤを生成する（ステップＳＴ３、図６参照）。そして、３チャネル画像ＩＭａと正解データＣＤとを学習することにより学習済みモデルＴＭを生成する（ステップＳＴ５、図８参照）。３チャネル画像ＩＭａは、原画像ＩＭ１の情報だけでなく、ヒストグラム平坦化画像ＩＭ２および輪郭強調画像ＩＭ３の情報も含んでいるので３チャネルの情報を含んでいる。したがって、ＤＬプラットフォームが取扱い可能な３チャネル全部を利用した学習済みモデルＴＭを生成することができる。

尚、学習済みモデルＴＭは、例えば、ステップＳＴ１〜ＳＴ５を実行するための学習装置によって生成することができる。このような学習装置は、プロセッサと、当該プロセッサによる実行が可能な１つ以上のインストラクションが格納された非一時的でコンピュータ読取可能な記録媒体とにより構成することができる。この記録媒体に格納された一つ以上のインストラクションは、プロセッサによって実行されたときに、ステップＳＴ１〜ＳＴ５の動作を実行させるものである。尚、ステップＳＴ１〜ＳＴ５の動作は、一つのプロセッサによって実行させてもよいし、複数のプロセッサによって実行させてもよい。

また、本形態では、学習ステップにより生成された学習済みモデルＴＭを用いて、推論ステップが実行される。推論ステップでは、学習ステップにおいて原画像ＩＭ１からヒストグラム平坦化画像ＩＭ２および輪郭強調画像ＩＭ３を生成したことに対応させて、原画像ＩＭ１０からヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０を生成する（図１１参照）。そして、原画像ＩＭ１０、ヒストグラム平坦化画像ＩＭ２０、および輪郭強調画像ＩＭ３０の各々の画像情報を含む３チャネル画像ＩＭｂを生成する（図１２参照）。この３チャネル画像ＩＭｂは、学習済みモデルＣＤに入力され、金属部材を抽出するための推論が実行される。上記のように、学習済みモデルＣＤは、ＤＬプラットフォームが取扱い可能な３チャネル全部を利用して生成されている。したがって、学習済みモデルＣＤを使用することにより、１チャネルのみを利用して生成された学習済みモデルを使用するよりも、金属部材を抽出するための推論の精度を向上させることができる。

本形態では、ワークステーションＷ２（図１参照）で推論を実行しているが、モダリティで推論を行ってもよいし、推論の処理をモダリティとワークステーションとで分けて実行してもよい。

本形態では、ＣＴ画像を原画像として、ヒストグラム平坦化画像および輪郭強調画像を生成し、原画像、ヒストグラム平坦化画像、および輪郭強調画像の組合せを用いて、学習ステップおよび推論ステップを実行している。しかし、ヒストグラム平坦化画像および輪郭強調画像のうちの一方の画像のみを生成し、原画像およびヒストグラム平坦化画像の組合せ、又は原画像および輪郭強調画像の組合せを用いて、学習ステップおよび推論ステップを実行してもよい。この場合、ＤＬプラットフォームで取扱い可能な３チャネルの情報のうちの１チャネルの情報は活用されないが、２つの画像の組合せを使用することにより２チャネルの情報が得られる。したがって、２つの画像の組合せを使用することにより、原画像しか使用しない場合と比較して、推論の精度を向上させることができる。

尚、本形態では、学習ステップにおいて、図８に示すように、３チャネル画像ＩＭａの生成に使用される原画像ＩＭ１を用いて、３チャネル画像ＩＭａの生成に使用される他の１チャネル画像（ヒストグラム平坦化画像ＩＭ２および輪郭強調画像ＩＭ３）を用意している。しかし、３チャネル画像ＩＭａの生成には使用されない初期画像を生成し、この初期画像から、３チャネル画像ＩＭａの生成に使用される３つの１チャネル画像を用意してもよい。

また、本形態では、推論ステップにおいて、図１３に示すように、３チャネル画像ＩＭｂの生成に使用される原画像ＩＭ１０を用いて、３チャネル画像ＩＭｂの生成に使用される他の１チャネル画像（ヒストグラム平坦化画像ＩＭ２０および輪郭強調画像ＩＭ３０）を用意している。しかし、３チャネル画像ＩＭｂの生成には使用されない初期画像を生成し、この初期画像から、３チャネル画像ＩＭｂの生成に使用される３つの１チャネル画像を用意してもよい。

また、本形態では、学習ステップおよび推論ステップにおいて、１チャネル画像の組合せとして、ＣＴ画像（原画像）、ヒストグラム平坦化画像、および輪郭強調画像の組合せを用いている。しかし、臨床の目的に応じて、その他の組合せを使用することもできる（図１４参照）。

図１４は、使用可能な画像の組合せの一例を示す表である。
図１４には、臨床の目的（ａ）−（ｅ）に応じた画像の組合せの一例が示されている。

（ａについて）
（ａ）には、肝細胞癌のステージ分類をすることが目的の例が示されている。この場合、１チャネル画像の組合せとして、単純ＣＴ画像、造影−動脈相画像（造影剤を使用して撮影された動脈相のＣＴ画像）、造影−門脈相画像（造影剤を使用して撮影された門脈相のＣＴ画像）の組合せを使用することができる。

また、（ａ）では、学習ステップで使用される正解データとして、例えば、単純ＣＴ画像、造影−動脈相画像、および造影−門脈相画像の組合せに対応付けられた、肝細胞癌のステージを表すインデックスを使用することができる。インデックスは、肝細胞癌のステージに応じた値が割り当てられる。例えば、肝細胞癌のステージを４段階に分ける場合、インデックスは、肝細胞癌のステージに応じて、１、２、３、および４のうちのいずれかの値が割り当てられる。したがって、肝細胞癌のステージを分類するための学習済みモデルを生成することができる。この学習済みモデルは、肝細胞癌のステージを推論し、肝細胞癌のステージを表すインデックスを出力データとして出力する。

（ｂについて）
（ｂ）には、虚血領域を特定する例が示されている。この場合、１チャネル画像の組合せとして、ＭＲ−Ｔ２画像、ＭＲ−ＤＷＩ画像、ＭＲ−ＡＤＣ画像（又はＭＲ−ＦＬＡＩＲ画像）の組合せを使用することができる。ＭＲ−Ｔ２画像はＭＲＩで撮影されたＴ２画像を表し、ＭＲ−ＤＷＩ画像はＭＲＩで撮影されたＤＷＩ（拡散強調）画像を表し、ＭＲ−ＡＤＣ画像はＭＲＩで撮影されたＡＤＣ（Apparent Diffusion Coefficient：見かけの拡散係数）画像を表し、ＭＲ−ＦＬＡＩＲ画像はＭＲＩで撮影されたＦＬＡＩＲ（fluid-attenuated inversion recovery）画像を表している。

また、（ｂ）では、学習ステップで使用される正解データとして、虚血領域を表す画像を使用することができる。この画像は、例えば、ＭＲ−Ｔ２画像から用意することができる。具体的には、各ＭＲ−Ｔ２画像から、この画像に描出されている虚血領域を取り出し、この取り出された虚血領域を表す画像を、正解データとして用意することができる。したがって、虚血領域を特定するための学習済みモデルを生成することができる。この学習済みモデルは、虚血領域を特定するための推論を実行し、虚血領域を含む画像を出力データとして出力する。

尚、ＭＲ−Ｔ２画像から虚血領域を取り出す代わりに、ＭＲ−ＤＷＩ画像又はＭＲ−ＡＤＣ画像（若しくはＭＲ−ＦＬＡＩＲ画像）から虚血領域を取り出し、ＭＲ−ＤＷＩ画像又はＭＲ−ＡＤＣ画像（若しくはＭＲ−ＦＬＡＩＲ画像）からから取り出された虚血領域を表す画像を、正解データとして用意してもよい。

（ｃについて）
（ｃ）には、腫瘍検出を目的とする例が示されている。この場合、１チャネル画像の組合せとして、ＭＲ−Ｔ１画像、ＭＲ−Ｔ２画像、ＭＲ−ＤＷＩ画像の組合せを使用することができる。ＭＲ−Ｔ１画像はＭＲＩで撮影されたＴ１画像を表し、ＭＲ−Ｔ２画像はＭＲＩで撮影されたＴ２画像を表し、ＭＲ−ＤＷＩ画像はＭＲＩで撮影されたＤＷＩ（拡散強調）画像を表している。

また、（ｃ）では、学習ステップで使用される正解データとして、腫瘍領域の位置情報を表す位置データを使用することができる。この位置データは、例えば、ＭＲ−Ｔ１画像から用意することができる。具体的には、ＭＲ−Ｔ１画像ごとに、腫瘍領域が描出されている位置を表す位置データを求め、ＭＲ−Ｔ１画像ごとに求められた位置データを、正解データとして用意することができる。したがって、腫瘍領域を検出するための学習済みモデルを生成することができる。この学習済みモデルは、腫瘍領域を検出するための推論を実行し、腫瘍領域の位置情報を表す位置データを出力データとして出力する。

尚、ＭＲ−Ｔ１画像の代わりに、ＭＲ−Ｔ２画像又はＭＲ−ＤＷＩ画像を用いて、腫瘍領域の位置を表す位置データを求め、この位置データを正解データとして用意してもよい。

（ｄについて）
（ｄ）では、病変検出又はステージ分類を目的とする例が示されている。この場合、１チャネル画像の組合せとして、CT-Mono 40kev画像、CT-Mono 55kev画像、CT-Mono 70kev画像の組合せを使用することができる。CT-Mono 40kev画像は、40kevの仮想単色Ｘ線ＣＴ画像を表し、CT-Mono 55kev画像は、55kevの仮想単色Ｘ線ＣＴ画像を表し、CT-Mono 70kev画像は、70kevの仮想単色Ｘ線ＣＴ画像を表している。

また、（ｄ）では、病変のステージ分類が目的の場合、学習ステップで使用される正解データとして、例えば、CT-Mono 40kev画像とCT-Mono 55kev画像とCT-Mono 70kev画像との組合せに対して対応付けられた、病変のステージを表すインデックスを使用することができる。インデックスは、病変のステージに応じた値が割り当てられる。例えば、病変のステージを４段階に分ける場合、インデックスは、病変のステージに応じて、１、２、３、および４のうちのいずれかの値が割り当てられる。したがって、病変のステージを分類するための学習済みモデルを生成することができる。この学習済みモデルは、病変のステージを推論し、病変のステージを表すインデックスを出力データとして出力する。

一方、病変検出が目的の場合、学習ステップで使用される正解データとして、
病変領域の位置情報を表す位置データを使用することができる。この位置データは、例えば、CT-Mono 40kev画像から用意することができる。具体的には、CT-Mono 40kev画像ごとに、病変領域が描出されている位置を表す位置データを求め、CT-Mono 40kev画像ごとに求められた位置データを、正解データとして用意することができる。したがって、病変領域を検出するための学習済みモデルを生成することができる。この学習済みモデルは、病変領域を検出するための推論を実行し、病変領域の位置情報を表す位置データを出力データとして出力する。

尚、CT-Mono 40kev画像の代わりに、CT-Mono 55kev画像又はCT-Mono 70kev画像を用いて、病変領域の位置を表す位置データを求め、この位置データを正解データとして用意してもよい。

また、（ｄ）では、画像のエネルギーの組合せとして、40kev、55kev、および70kevの組合せの例が示されている。しかし、画像のエネルギーの組合せは、40kev、55kev、および70kevの組合せに限定されることはなく、任意のkevの組合せが可能である。

（ｅについて）
（ａ）〜（ｄ）は、３つの１チャネル画像の組合せを使用する例であるが、３つの１チャネル画像の組合せの代わりに、２つの１チャネル画像の組合せを使用することも可能である。（ｅ）では、腫瘍検出を目的とする例が示されており、１チャネル画像の組合せとして、２つの１チャネル画像の組合せ、すなわち、Mammography低電圧ヨード造影画像と、Mammography高電圧単純撮影画像との組合せを使用することができる。Mammography低電圧ヨード造影画像は、低電圧ヨード造影により得られたマンモグイラフィ画像を表しており、Mammography高電圧単純撮影画像は、高電圧単純撮影により得られたマンモグイラフィ画像を表しいている。

また、（ｅ）では、学習ステップで使用される正解データとして、腫瘍領域の位置情報を表す位置データを正解データとして使用することができる。この位置データは、例えば、Mammography低電圧ヨード造影画像から用意することができる。具体的には、Mammography低電圧ヨード造影画像ごとに、腫瘍領域が描出されている位置を表す位置データを求め、Mammography低電圧ヨード造影画像ごとに求められた位置データを、正解データとして用意することができる。したがって、腫瘍領域を検出するための学習済みモデルを生成することができる。この学習済みモデルは、腫瘍領域を検出するための推論を実行し、腫瘍領域の位置情報を表す位置データを出力データとして出力する。

尚、Mammography低電圧ヨード造影画像の代わりに、Mammography高電圧単純撮影画像を用いて、腫瘍領域の位置を表す位置データを求め、この位置データを正解データとして用意してもよい。

（ｅ）では、ＤＬプラットフォームで取扱い可能な３チャネルの情報のうちの１チャネルの情報は活用されないが、２つのマンモグラフィ画像を使用することにより２チャネルの情報が得られる。したがって、２つのマンモグラフィ画像を使用することにより、単純に１つのマンモグラフィ画像しか使用しない場合と比較して、推論の精度を向上させることが期待できる。

上記のように、本発明では、ＣＴ画像に限定されることはなく、ＭＲ画像、マンモグラフィ画像など、ＣＴ画像以外の画像を含む画像の組合せを用いて、学習ステップおよび推論ステップを実行することができる。

尚、本形態では、ＤＬプラットフォームで取扱い可能なチャネル数が３チャネルの場合について説明されている。しかし、本発明は、ＤＬプラットフォームで取扱い可能なチャネル数が２チャネルの場合にも適用することができ、更に、４チャネル以上の場合にも適用することができる。ＤＬプラットフォームで取扱い可能なチャネル数が２チャネルの場合には、学習ステップおよび推論ステップにおいて、マルチチャネル画像として、２チャネル画像を生成することができる。一方、ＤＬプラットフォームで取扱い可能なチャネル数が４チャネル以上の場合には、学習ステップおよび推論ステップにおいて、マルチチャネル画像として、ｋ（≧４）チャネル画像を生成することができる。

１０ 医用情報管理システム
２１ プロセッサ
２２ 記憶部
５１ 画像処理部
５２ マルチチャネル画像生成部
５３ 推論部

Claims (12)

1. 学習済みモデルを用いて推論を実行する推論部であって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論部と、
   被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成するマルチチャネル画像生成部と
   を含み、
   前記推論部は、
   前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行する、推論装置。
2. 前記正解データが、抽出対象物を含む画像であり、
   前記推論部が、前記推論を実行して前記抽出対象物を含む出力画像を出力する、請求項１に記載の推論装置。
3. 前記第１の複数の１チャネル画像が、第１のＣＴ画像と、前記第１のＣＴ画像に基づいて生成された第１の一つ以上の他の画像とを含み、
   前記第２の複数の１チャネル画像が、第２のＣＴ画像と、前記第２のＣＴ画像に基づいて生成された第２の一つ以上の他の画像とを含む、請求項１に記載の推論装置。
4. 前記第１の一つ以上の他の画像が、前記第１のＣＴ画像にヒストグラム平坦化処理を施すことにより生成された第１のヒストグラム平坦化画像と、前記第１のＣＴ画像に輪郭強調処理を施すことにより生成された第２の輪郭強調画像とを含み、
   前記第２の一つ以上の他の画像が、前記第２のＣＴ画像にヒストグラム平坦化処理を施すことにより生成された第２のヒストグラム平坦化画像と、前記第２のＣＴ画像に輪郭強調処理を施すことにより生成された第３の輪郭強調画像とを含み、
   前記正解データが、金属部材を含む画像である、請求項３に記載の推論装置。
5. 前記第１の複数の1チャネル画像が、第１の単純ＣＴ画像、造影剤を用いて撮影された動脈相のＣＴ画像を表す第１の動脈相画像、および造影剤を用いて撮影された門脈相のＣＴ画像を表す第１の門脈相画像を含み、
   前記第２の複数の1チャネル画像が、第２の単純ＣＴ画像、造影剤を用いて撮影された動脈相のＣＴ画像を表す第２の動脈相画像、および造影剤を用いて撮影された門脈相のＣＴ画像を表す第２の門脈相画像を含み、
   前記正解データが、肝細胞癌のステージを表すインデックスである、請求項１に記載の推論装置。
6. 前記第１の複数の1チャネル画像が、エネルギーが異なる複数の第１の単色Ｘ線画像を含み、
   前記第２の複数の1チャネル画像が、エネルギーが異なる複数の第２の単色Ｘ線画像を含み、
   前記正解データが、病変領域の位置情報を表す位置データ、又は病変のステージを表すインデックスである、請求項１に記載の推論装置。
7. 前記第１の複数の１チャネル画像が第１の複数のＭＲ画像を含み、
   前記第２の複数の１チャネル画像が第２の複数のＭＲ画像を含む、請求項１に記載の推論装置。
8. 前記第１の複数のＭＲ画像が、第１のＴ２画像と、第１のＤＷＩ画像と、第１のＡＤＣ画像又は第１のＦＬＡＩＲ画像とを含み、
   前記第２の複数のＭＲ画像が、第２のＴ２画像と、第２のＤＷＩ画像と、第２のＡＤＣ画像又は第２のＦＬＡＩＲ画像とを含み、
   前記正解データは、虚血領域を含む画像である、請求項７に記載の推論装置。
9. 前記第１の複数のＭＲ画像が、第１のＴ１画像と、第１のＴ２画像と、第１のＤＷＩ画像とを含み、
   前記第２の複数のＭＲ画像が、第２のＴ１画像と、第２のＴ２画像と、第２のＤＷＩ画像とを含み、
   前記正解データが、腫瘍領域の位置情報を表す位置データである、請求項７に記載の推論装置。
10. 前記第１の複数の１チャネル画像が、第１の複数のマンモグラフィ画像を含み、
    前記第２の複数の１チャネル画像が、第２の複数のマンモグラフィ画像を含み、
    前記正解データが、腫瘍領域の位置情報を表す位置データである、請求項１に記載の推論装置。
11. 学習済みモデルを用いて推論を実行する推論部であって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論部と、
    被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成するマルチチャネル画像生成部と
    を含み、
    前記推論部は、
    前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行する、医用システム。
12. 学習済みモデルを用いて推論を実行する処理であって、前記学習済みモデルが、第１の複数の１チャネル画像の各々の画像情報を含む第１のマルチチャネル画像と正解データとを学習する学習処理により生成されるものである、推論を実行する処理と、
    被検体の第２の複数の１チャネル画像の各々の画像情報を含む第２のマルチチャネル画像を生成する処理と
    をプロセッサに実行させるためのプログラムであって、
    前記推論を実行する処理は、
    前記第２のマルチチャネル画像を前記学習済みモデルに入力して前記推論を実行する、プログラム。

Images