JP2019198376A - 医用画像処理装置、医用画像処理方法、及び医用画像処理システム - Google Patents

Abstract

【課題】機械学習用の医用画像を効率的かつ数多く生成する医用画像処理装置を提供する。【解決手段】医用画像処理装置１０は、仮想画像生成部と、学習画像送信部と、を備える。仮想画像生成部は、第１のモダリティによって取得された複数の断層画像を基に、第２のモダリティによって取得される医用画像に対応する仮想的な医用画像を生成する。学習画像送信部は、仮想的な医用画像を機械学習用装置に送信する。また、仮想画像生成部は、複数の断層画像を、当該断層画像に交差する切り出し面の位置および方向の少なくとも一方を変えて切り出すことで仮想的な医用画像を複数生成する。学習画像送信部は、複数の仮想的な医用画像を機械学習用装置に送信する。【選択図】図１

Description

本発明の実施形態は、医用画像処理装置、医用画像処理方法、及び医用画像処理システムに関する。

画像認識や音声認識の分野において、深層学習などの機械学習が利用されることが増えてきた。深層学習は、多層のニューラルネットワークを用いた機械学習である。例えば、画像認識の分野では、深層学習の１つである畳込みニューラルネットワーク（Convolutional Neural Network、以下CNNという）を用いた学習方法が従来の方法に比べて非常に高い性能を示すことが知られている。ＣＮＮ（ConvNetとも呼ばれる）は、学習用の画像データを学習することにより、自動で特徴構造を抽出し、入力された画像が学習用の画像データと同じ特徴を持った画像かどうかを判定することができる。

ところで、深層学習で高精度の判定結果を得るためには、膨大な数の学習用の画像データが必要である。例えば、８０％程度の精度を達成するためには１千枚程度、９０％の精度を達成するためには１万枚程度の画像データが必要であるといわれている。例えば、学習対象が動物や自動車などの容易に入手可能な画像であれば、インターネット網などの公衆の電子ネットワークを介して大量の画像を容易に収集することができる。

ここで、医用画像に含まれる患部（例えば、肺の腫瘍や炎症）の検出のために深層学習を利用することを考える。この場合、患部が含まれた医用画像を数多く収集してＣＮＮに学習させることになる。しかし、患部の有無にかかわらず、そもそも医用画像はネットワーク上にありふれた画像ではない。

多くの医用画像を収集する方法として、集団検診などにおいて複数人に対して実施されるＸ線撮像の医用画像を利用することが考えられるが、集団検診時のＸ線画像は、その多くが所見無し（患部を有していない）と医師により判断された画像となり、全体の撮像枚数に対して所見有り（患部を含む可能性がある）とされた医用画像の割合は非常に少ない。

このため、特徴構造を抽出するために必要となる患部が含まれた医用画像を、深層学習で高精度の判定結果を得るために十分な数収集することは困難であった。

特開２００７−３０７２０５号公報

本発明が解決しようとする課題は、機械学習用の医用画像を効率的かつ数多く生成することである。

実施形態に係る医用画像処理装置は、仮想画像生成部と、学習画像送信部と、を備える。仮想画像生成部は、第１のモダリティによって取得された複数の断層画像を基に、第２のモダリティによって取得される医用画像に対応する仮想的な医用画像を生成する。学習画像送信部は、仮想的な医用画像を機械学習用装置に送信する。また、仮想画像生成部は、複数の断層画像を、当該断層画像に交差する切り出し面の位置および方向の少なくとも一方を変えて切り出すことで仮想的な医用画像を複数生成する。学習画像送信部は、複数の仮想的な医用画像を機械学習用装置に送信する。

図１は、第１実施形態に係る医用画像処理装置が適用された医用画像処理システムの一構成例を示す構成図。 図２は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）タグおよびＲＩＳ情報の一例を示す説明図。 図３は、Ｘ線ＣＴによる肺部位のボリュームデータから仮想透視画像を生成する一例を示す図。 図４は、切り出し面の位置を変えて、複数の仮想透視画像を生成する場合の一例を示す説明図。 図５は、処理回路のプロセッサにより、Ｘ線ＣＴによる医用画像から機械学習用の仮想透視画像を生成する手順の一例を示すフローチャート。 図６は、第１実施形態に係る医用画像処理システムにおいて、仮想透視画像を機械学習することで生成された人工知能（ＡＩ）によりＣＲ画像の異常判定を行う場合の一例を示す説明図。 図７は、第２実施形態に係る医用画像処理装置が適用された医用画像処理システムの一構成例を示す構成図。 図８（Ａ）は、撮影体位の変化に応じた、脂肪量・筋肉量に対応する肺の各部位の補正量を示すテーブル、図８（Ｂ）は、患者の検査ＩＤに対応する脂肪量・筋肉量の関係を示す表、（Ｃ）性別・年齢に対応する脂肪量・筋肉量の関係を示す表。 図９は、仮想透視画像内の臓器の形状を補正する場合の一例を示す図。 図１０（Ａ）は、生成された仮想透視画像のそれぞれに対応するコントラスト値を示す表、図１０（Ｂ）は、ＣＲ撮影のシチュエーション別のコントラスト値を示す表。 図１１は、仮想透視画像の視覚特徴を補正する場合の一例を示す図。 図１２（Ａ）は、ＣＲ画像のコントラスト値を示す表、図１２（Ｂ）は、ＡＩ生成に用いた仮想透視画像のコントラストの平均値を示す表。 図１３は、処理回路のプロセッサにより、Ｘ線ＣＴによる医用画像から機械学習用の仮想透視画像を生成する手順の一例を示すフローチャート。 図１４は、第２実施形態に係る医用画像処理システムにおいて、仮想透視画像を機械学習することで生成されたＡＩによりＣＲ画像の異常判定を行う場合の一例を示す説明図。

以下、実施形態に係る医用画像処理装置について添付図面を参照して説明する。

（第１実施形態）
実施形態に係る医用画像処理装置は、一方のモダリティで撮像された医用画像に基づき、他方のモダリティでの医用画像に対応する仮想的な医用画像を生成し、この仮想的な医用画像を機械学習用のデータとして機械学習用装置に送信するものである。

図１は、第１実施形態に係る医用画像処理装置１０が適用された医用画像処理システム５０を示している。医用画像処理システム５０は、医用画像処理装置１０、第１のモダリティ１１、第２のモダリティ１２、医用画像保管装置１３、医用画像観察装置１４、機械学習用装置１５を有している。

なお、医用画像処理システム５０を構成する各装置は、ネットワークを介して医用画像などのデータを相互に送受信可能に接続されている。ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、病院基幹ＬＡＮ（Local Area Network）などの無線／有線ＬＡＮやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

第１のモダリティ１１は、被検体（患者）の撮像により得られた複数の断層画像を取得可能な装置である。第１のモダリティ１１として、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置などの医用画像診断装置が例示される。

第２のモダリティ１２は、被検体の撮像により得られた、被検体の透視画像を取得可能な装置である。第２のモダリティ１２として、ＣＲ装置（Computed radiography）などのＸ線撮像装置が例示される。

本実施形態では、第１のモダリティ１１としてＸ線ＣＴを適用し、第２のモダリティ１２としてＣＲ装置を適用する例について説明する。

モダリティのそれぞれで撮像された医用画像は、医用画像保管装置１３に送信されて保存される。

医用画像保管装置１３は、例えばＰＡＣＳ（Picture Archiving and Communication System：医用画像保管通信システム）に備えられる画像保管用のサーバである。医用画像保管装置１３は、各モダリティで取得された医用画像と、医用画像に紐付けられた撮像条件や患者情報などの情報とを保存している。

モダリティから送信される医用画像がＤＩＣＯＭ規格に準じている場合、ＤＩＣＯＭ付帯データには、図２に示すように、医用画像を生成したモダリティの情報、モダリティのメーカ情報のほか、造影剤の使用有無や撮像プロトコルや撮像体位などの撮像条件の情報、身長、体重、筋肉量、脂肪量などの被検体の情報など、様々な文字情報が含まれる。なお、撮像条件の情報や患者の情報は、放射線科情報システム（RIS: Radiology Information System）が扱うＲＩＳ情報として医用画像保管装置１３に保存されていてもよい

医用画像観察装置１４は、例えば読影医により、ＰＡＣＳ、病院情報システム（HIS: Hospital Information System）、ＲＩＳなどの種々のシステムのビューワとして用いられる。読影医などは、医用画像保管装置１３から医用画像を呼び出して、当該医用画像に対して読影の結果として読影レポートを作成する。読影レポートには、読影により発見された患部の解剖学的部位とその患部の態様とが所見として記録される。

医用画像処理装置１０は、インターフェース１７、ディスプレイ１８、記憶回路１９、処理回路２１を有する。

インターフェース１７は、例えばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路２１に出力する。ディスプレイ１８は、例えば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成される。

記憶回路１９は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。例えば、記憶回路１９は、医用画像保管装置１３から送信された医用画像などを記憶する。

次に、処理回路２１の構成および動作の一例を説明する。処理回路２１は、記憶回路１９に記憶されたプログラムを読み出して実行するプロセッサである。

処理回路２１は、記憶回路１９に記憶されたプログラムを読み出して実行することによって、画像データ取得機能２１１、仮想画像生成機能２１２、学習画像送信機能２１３を実現する。

画像データ取得機能２１１は、ＤＩＣＯＭタグに付与された、撮像を実施したモダリティに関する情報を用いて、Ｘ線ＣＴで撮像された複数の断層画像を医用画像保管装置１３から取得する。画像データ取得機能２１１は、Ｘ線ＣＴで撮像された断層画像群を、複数の患者それぞれについて取得する。

仮想画像生成機能２１２は、Ｘ線ＣＴで撮像された断層画像群から３次元のボリュームデータを再構成する。

そして、仮想画像生成機能２１２は、ボリュームデータに基に、ＣＲ装置で撮像される医用画像に対応する仮想的な透視画像（以下、「仮想透視画像」とする）を生成する。

ＣＲ装置では、被検体を挟むようにしてＸ線管とＸ線検出器とが配置されて、Ｘ線撮像時に、被検体の前方（または後方）からＸ線が照射されて透視画像が取得される。仮想画像生成機能２１２は、ＣＲ装置によるＸ線撮像と同様の条件でＸ線を照射した場合の透視画像を、Ｘ線ＣＴによるボリュームデータに基づき仮想的に生成する。仮想的に生成する方法として、例えば３次元データを任意方向の平面に垂直な方向から見たＸ線の透視画像を生成するＭＰＲ（Multi-Planner Reconstruction）処理などを用いる。

図３は、Ｘ線ＣＴによる肺部位のボリュームデータから仮想透視画像を生成する一例を示す図である。ボリュームデータ３０における体軸方向（図中ｚ方向）に直交する方向からＸ線を照射した場合の仮想透視画像４０を、ボリュームデータ３０に基づき生成する。このように、Ｘ線ＣＴによるボリュームデータ３０から、ＣＲ装置でのＸ線撮像に対応する仮想的な透視画像が生成できる。

仮想透視画像４０が生成されることで、実際にＣＲ装置で撮像されたような患者の透視画像上での、腫瘍や出血点などの特徴的な患部の位置が判別可能となる。

また、Ｘ線ＣＴで取得された断層画像に交差する切り出し面を設定して、この切り出し面の位置および方向の少なくとも一方を変えて切り出して仮想透視画像４０を生成することで、ボリュームデータから複数の仮想透視画像４０を生成してもよい。

図４は、断層画像に交差する切り出し面の位置を変えて、複数の仮想透視画像を生成する場合の一例を示す説明図である。図４に示すように、切り出し面の位置を変えて仮想的なＸ線透視することで、１つのボリュームデータから複数の仮想透視画像４０が生成される。

図１に戻って説明を続ける。
学習画像送信機能２１３は、仮想画像生成機能２１２によって生成された仮想透視画像のそれぞれを、機械学習用の画像データとして機械学習用装置１５に送信する。

機械学習用装置１５は、学習用画像保存部２２、機械学習部２３を有している。学習用画像保存部２２は、医用画像処理装置１０から送信された機械学習用の画像データを保存する。機械学習部２３は、保存された機械学習用の画像データに基づいて機械学習を行う。

なお、機械学習用装置１５では、医用画像処理装置１０から送信された学習用の医用画像データを、例えばＣＮＮ（畳み込みニューラルネットワーク）、畳み込み深層信念ネットワーク（CDBN: Convolutional Deep Belief Network）、再構成型トポグラフィック独立成分分析（TICA: Topographic Independent Component Analysis）などの機械学習を行う。

図５は、処理回路２１のプロセッサにより、Ｘ線ＣＴによる医用画像から機械学習用の仮想透視画像を生成する手順の一例を示すフローチャートである（適宜、図１参照）。

画像データ取得機能２１１は、ＤＩＣＯＭタグなどに付与された、撮像を実施したモダリティに関する情報を用いて、Ｘ線ＣＴで撮像された複数の断層画像を医用画像保管装置１３から取得する（Ｓ１０）。

仮想画像生成機能２１２は、Ｘ線ＣＴで撮像された複数の断層画像から３次元のボリュームデータを再構成する（Ｓ１１）。そして、仮想画像生成機能２１２は、ボリュームデータに基づいてＣＲ装置で撮像される医用画像に対応する仮想透視画像を生成する（Ｓ１２）。

学習画像送信機能２１３は、仮想画像生成機能２１２によって生成された仮想透視画像のそれぞれを、機械学習用の画像データとして機械学習用装置１５に送信する（Ｓ１３）。

Ｘ線ＣＴによる撮像は、患部を有する疑いがある患者に対して実施される場合が多いため、その撮像画像には患部を含む割合が高くなる。この性質を利用して、Ｘ線ＣＴで撮像された医用画像に基づきＣＲ装置に対応する仮想透視画像を機械学習用のデータとして生成することで、機械学習用の医用画像を効率的かつ数多く生成できる。

図６は、仮想透視画像を学習用データとして機械学習により生成されたＡＩによりＣＲ画像の異常判定を行う場合の一例を示す図である。

機械学習用装置１５の機械学習部２３は、医用画像処理装置１０で生成された仮想透視画像を用いて機械学習を行ってＣＲ画像を異常判定するためのＡＩを作成する。このＡＩを用いて、実際にＣＲ装置で撮像されたＣＲ画像の異常判定を自動で行う。

ところで、ＣＲ装置によるＸ線撮像は集団診断などで実施されるため、画像サンプル数は多い一方で、所見ありとなる医用画像の数は少ない。このため、ＣＲ装置で撮像された医用画像を用いて機械学習をした場合には、その判定精度は低下する。機械学習の判定精度を上げようとした場合には、多くの医用画像を取得する必要がある。

加えて、画像内の特徴構造をより高精度に抽出させるためには、医用画像の部位、被検体の体格や年齢などにもとづいて学習対象の医用画像データを細かく分類し、分類ごとに学習させることが好ましい。学習対象の医用画像を分類する場合には、分類ごとに大量の学習用の医用画像を収集しなければならない。

第１実施形態のように、患部を有する医用画像の割合が多いＣＴ画像に基づいてＣＲ撮像に対応するＸ線画像を仮想的に生成することで、機械学習に必要な学習データを効率的かつ数多く生成でき、機械学習の判定精度を向上させることができる。したがって、集団健診などで撮像されたＸ線画像の異常の有無を、仮想透視画像を基に機械学習したＡＩによって高い精度で自動判定することが可能となる。

（第２実施形態）
図７は、第２実施形態に係る医用画像処理装置１０が適用された医用画像処理システム５０を示している。

Ｘ線ＣＴ、ＣＲ装置では、撮像時における被検体の撮像体位（姿勢）が異なる場合がある。例えば、Ｘ線ＣＴでは通常臥位の状態で撮像が実施され、ＣＲ装置では立位または臥位の状態で撮像が実施される。

撮像された画像内における臓器の形状やその位置は、撮像体位に応じて異なることがある。このため、Ｘ線ＣＴとＣＲ装置との間で撮像体位が異なった場合、Ｘ線ＣＴの医用画像から生成された仮想透視画像内の臓器形状は、ＣＲ装置により取得されたＣＲ画像内の臓器形状と異なってしまう場合がある。このような仮想透視画像は、機械学習における特徴構造の抽出に影響を与えてしまうため、学習用データとして適さない画像データとなるおそれがある。

そこで、仮想画像生成機能２１２は、ＣＲ装置における撮像体位の種類に応じて、Ｘ線ＣＴの医用画像から生成された仮想透視画像に含まれる臓器の形状を補正する。なお、撮像体位としては、立位、仰臥位、伏臥位、側臥位、座位などがある。

臓器の形状を補正する方法として、例えば仰臥位で撮像されたＸ線ＣＴの医用画像から立位の医用画像に補正する場合、Ｘ線ＣＴの医用画像に対応する患者情報から患者の筋肉量及び脂肪量を取得して、その筋肉量及び脂肪量に基づいて立位時における臓器の形状や位置に補正する。

なお、Ｘ線ＣＴでの撮像において、臥位の状態での臓器の形状を基準にして撮像体位が変わった場合に、患者の筋肉量及び脂肪量に応じた臓器の形状や位置の変化量を実際の撮像結果などから予め求めおく。例えば、臥位から立位に変わった場合、患者の筋肉量及び脂肪量に応じて臓器が鉛直方向に落ちる変化量を求めておく。

図８（Ａ）は、臥位から撮影体位が変化した場合の、脂肪量・筋肉量と肺の各部位に対する補正量との関係を示すテーブルである。そして、図８（Ｂ）は、患者の検査ＩＤに関連付けられた脂肪量・筋肉量との関係を示す表である。患者の検査ＩＤに関連付けられた脂肪量・筋肉量に基づいて肺の各部位に対する補正量が決定され、Ｘ線ＣＴの医用画像から生成された仮想透視画像に含まれる臓器の形状が補正される。

なお、患者の脂肪量・筋肉量が不明の場合には、図８（Ｃ）に示すような性別・年齢に対応する脂肪量・筋肉量の表を用いて、患者の脂肪量・筋肉量を推定してもよい。

仮想画像生成機能２１２は、ＣＲ装置において想定される複数の撮像体位のそれぞれについて、仮想透視画像に含まれる臓器の形状を補正してもよい。

図９は、仮想透視画像内の臓器の形状を補正する場合の一例を示す図である。
図９では、仰臥位で撮像されたＸ線ＣＴの医用画像から立位の医用画像に補正する場合を示しており、患者の筋肉量及び脂肪量に基づいて仮想透視画像内の臓器の形状が補正されている。

学習画像送信機能２１３（図７）は、仮想画像生成機能２１２によって臓器の形状が補正された仮想医用画像を、撮像体位の種類を表す情報とともに機械学習用装置１５に送信する。なお、Ｘ線ＣＴとＣＲ装置との間で撮像体位が同じとなる場合は、臓器の形状を補正する必要はないため、仮想透視画像を補正せずに機械学習用装置１５に送信する。

機械学習用装置１５の学習用保存部では、図７に示すように撮像体位に応じて仮想透視画像を区別して保存する。例えば、立位用に臓器の形状が補正された仮想透視画像と臥位用の仮想透視画像とを区別して保存する。機械学習部２３は、撮像体位に応じて保存された機械学習用の画像データのそれぞれについて機械学習を行う。したがって、撮像体位に応じて複数のＡＩが作成される。

なお、図７では、機械学習用装置１５を１つで構成しているが、機械学習用装置１５を撮像体位に応じて複数設けて、学習画像送信機能２１３が撮像体位に対応する機械学習用装置１５に仮想透視画像を送信する構成としてもよい。この場合、機械学習用装置１５のそれぞれにおいて、撮像体位に対応する機械学習用の画像データに基づいて機械学習が行われる。

このように、ＣＲ装置における撮像体位に応じて、仮想透視画像に含まれる臓器の形状を補正することで、仮想透視画像をＣＲ装置による医用画像により近づけることができ、機械学習の精度を向上させることができる。

なお、仮想透視画像の臓器の形状をＣＲ画像に合わせて補正するのでは無く、逆にＣＲ画像の臓器の形状を、撮影体位に応じて仮想透視画像に合わせるように補正してもよい。例えば、ＣＲ画像が立位、仮想透視画像が生成されるＸ線ＣＴの医用画像が臥位の状態で撮影されている場合、ＣＲ画像の臓器の形状を上方に上げて、仮想透視画像に合せるように補正する。

また、Ｘ線ＣＴ、ＣＲ装置の撮像時の検査室の照度や操作者による読影時のコントラストなどが異なる場合がある。コントラストなどの操作者が観察する表示画面上の視覚特徴が異なると、Ｘ線ＣＴの医用画像からＣＲ撮像に対応する仮想透視画像を生成した場合に、実際のＣＲ画像内での視覚特徴と異なってしまう場合がある。このような仮想透視画像は、機械学習における特徴構造の抽出に影響を与えてしまうため、学習用データとして適さない画像データとなるおそれがある。なお、視覚特徴とは、輝度やコントラスト、色温度などの視覚的な特徴を意味する。

仮想画像生成機能２１２は、仮想透視画像の視覚特徴を、ＣＲ装置の撮像画像の視覚特徴に応じて補正する。視覚特徴を補正する方法として、例えば仮想透視画像の視覚特徴を、設定された基準値に基づいて調整して仮想透視画像を補正する。設定された基準値とは、ＣＲ装置での実際の撮像時において操作者がＣＲ画像を同じ視覚特徴で観察すると仮定した場合の、このＣＲ画像の視覚特徴に合わせるために必要な視覚特徴の値を意味する。

仮想透視画像の視覚特徴を、ＣＲ装置の撮像画像の視覚特徴に応じて補正する方法について具体的に説明する。図１０（Ａ）は、Ｘ線ＣＴの医用画像が生成される仮想透視画像のそれぞれに対応するコントラスト値係を示す表である。仮想画像生成機能２１２は、仮想透視画像におけると最明値と最暗値とを取得する。コントラストの最明値としては、例えば骨の部分のコントラスト値を取得する一方、最暗値としては、例えば画像上で患者の体が写っていない部分のコントラスト値を取得する。

図１０（Ｂ）は、ＣＲ撮影のシチュエーション別のコントラスト値の関係を示す表である。ＣＲ撮影のシチュエーション別のコントラスト値を基準値として、各仮想透視画像のコントラスト値をＣＲ撮影に合うように補正する。

図１１は、仮想透視画像の視覚特徴を補正する場合の一例を示す図である。仮想透視画像の視覚特徴を、ＣＲ装置の撮像時の視覚特徴に合うように補正する。

仮想透視画像の視覚特徴をＣＲ装置撮像時の視覚特徴に合わせることで、仮想透視画像は実際のＣＲ画像の視覚特徴に似せることができる。

学習画像送信機能２１３は、補正された仮想透視画像を機械学習用装置１５に送信する。

また、仮想透視画像の視覚特徴を複数の段階に変えて補正して、視覚特徴が異なる複数の仮想透視画像を生成してもよい。学習画像送信機能２１３は、補正された仮想透視画像を、視覚特徴を表す情報（例えば、コントラスト値）とともに機械学習用装置１５に送信する。

視覚特徴を変化させて仮想透視画像を複数生成した場合には、機械学習用装置１５の学習用保存部では、仮想透視画像の視覚特徴に応じて区別して保存する。機械学習部２３は、視覚特徴に応じて保存された機械学習用の画像データのそれぞれについて機械学習を行う。したがって、視覚特徴に応じて複数のＡＩが作成される。

また、機械学習用装置１５を視覚特徴に応じて複数設けて、学習画像送信機能２１３が視覚特徴に対応する機械学習用装置１５に仮想透視画像を送信する構成としてもよい。この場合、機械学習用装置１５のそれぞれにおいて、視覚特徴に対応する機械学習用の画像データに基づいて機械学習が行われる。

このように、ＣＲ装置における視覚特徴に応じて、Ｘ線ＣＴの医用画像から生成される仮想透視画像の視覚特徴を補正することで、仮想透視画像をＣＲ装置における撮像により近づけることができ、機械学習の精度を向上させることができる。

なお、仮想透視画像をＣＲ画像の視覚特徴に合わせて補正するのでは無く、逆にＣＲ画像を仮想透視画像の視覚特徴に合わせるように補正してもよい。例えば、図１２（Ａ）は、ＣＲ画像のコントラスト値を示す表であり、図１２（Ｂ）はＡＩ生成に用いる仮想透視画像のコントラストの平均値を示す表である。この場合、ＣＲ画像のコントラスト値を、ＡＩ生成に用いる仮想透視画像のコントラストの平均値に合うように補正する。

図１３は、図７に示す処理回路２１のプロセッサにより、Ｘ線ＣＴによる医用画像から機械学習用の仮想透視画像を生成する手順の一例を示すフローチャートである。なお、Ｓ２０〜Ｓ２２は、図６（第１実施形態）に示すＳ１０〜Ｓ１２と同じとなるため説明を省略して、Ｓ２２において仮想透視画像が生成された後から説明をする。

仮想画像生成機能２１２は、ＣＲ装置における撮像体位の種類に応じて、Ｘ線ＣＴの医用画像から生成される仮想透視画像に含まれる臓器の形状を補正する（Ｓ２３）。

仮想画像生成機能２１２は、仮想透視画像の視覚特徴を、ＣＲ装置の撮像画像の視覚特徴に応じて補正する（Ｓ２４）。

学習画像送信機能２１３は、仮想画像生成機能２１２によって生成された仮想透視画像のそれぞれを、機械学習用の画像データとして機械学習用装置１５に送信する（Ｓ２５）。

図１４は、仮想透視画像を学習用データとして機械学習により生成されたＡＩによりＣＲ画像の異常判定を行う場合の一例を示す図である。

まず、Ｘ線ＣＴで撮像された医用画像に基づいて生成された仮想透視画像内の臓器の形状を補正する。さらに仮想透視画像をＣＲ装置の視覚特徴（コントラスト）に対応するように補正する。補正された仮想透視画像を用いて機械学習を行ってＣＲ画像の異常判定するためのＡＩを作成する。

このように、第２実施形態に係る医用画像処理装置では、Ｘ線ＣＴで撮像された医用画像に基づいてＣＲ撮像に対応する仮想透視画像を生成して、ＣＲ画像の実際の撮像条件に合わせて仮想透視画像を補正することで、機械学習の精度をより向上させることができる。

以上説明した少なくとも１つの実施形態によれば、機械学習用の医用画像を効率的かつ数多く生成することができる。

なお、実施形態における処理回路の仮想画像生成機能、学習画像送信機能は、それぞれ特許請求の範囲における仮想画像生成部、学習画像送信部の一例である。

また、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）などの回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均などの範囲に含まれるものである。

１０ 医用画像処理装置
１１ 第１のモダリティ（Ｘ線ＣＴ）
１２ 第２のモダリティ（ＣＲ装置）
１５ 機械学習用装置
２１ 処理回路
２１１ 画像データ取得機能
２１２ 仮想画像生成機能
２１３ 学習画像送信機能
３０ ボリュームデータ
４０ 仮想透視画像
５０ 医用画像処理システム

Claims (13)

1. 第１のモダリティによって取得された複数の断層画像を基に、第２のモダリティによって取得される医用画像に対応する仮想的な医用画像を生成する仮想画像生成部と、
   前記仮想的な医用画像を機械学習用装置に送信する学習画像送信部と、
   を備え、
   前記仮想画像生成部は、前記複数の断層画像を、当該断層画像に交差する切り出し面の位置および方向の少なくとも一方を変えて切り出すことで前記仮想的な医用画像を複数生成し、
   前記学習画像送信部は、前記複数の仮想的な医用画像を前記機械学習用装置に送信する、
   医用画像処理装置。
2. 前記仮想画像生成部は、前記第２のモダリティにおける撮像体位の種類に応じて前記仮想的な医用画像に含まれる臓器の形状を補正し、
   前記学習画像送信部は、前記仮想画像生成部によって補正された前記臓器が含まれる前記仮想的な医用画像を前記機械学習用装置に送信する、
   請求項１に記載の医用画像処理装置。
3. 前記学習画像送信部は、前記仮想画像生成部によって補正された前記臓器が含まれる前記仮想的な医用画像を、前記撮像体位の種類を表す情報とともに前記機械学習用装置に送信する、
   請求項２に記載の医用画像処理装置。
4. 前記機械学習用装置は、前記撮像体位に応じて複数設けられて、
   前記学習画像送信部は、前記仮想画像生成部によって補正された前記臓器が含まれる前記仮想的な医用画像を、前記撮像体位に対応する前記機械学習用装置に送信する、
   請求項２または３に記載の医用画像処理装置。
5. 前記仮想画像生成部は、撮像体位の種類を変えて前記臓器が含まれる前記仮想的な医用画像を複数生成し、
   前記学習画像送信部は、前記仮想画像生成部によって生成された前記臓器が含まれる前記仮想的な医用画像を前記機械学習用装置に送信する、
   請求項２から４のいずれか一項に記載の医用画像処理装置。
6. 前記第２のモダリティにおける撮像体位は、立位、仰臥位、伏臥位、及び側臥位の少なくとも１つである、
   請求項２から５のいずれか一項に記載の医用画像処理装置。
7. 前記学習画像送信部は、前記第２のモダリティにおける撮像画像の視覚特徴に応じて前記仮想的な医用画像を補正し、
   前記学習画像送信部は、前記仮想画像生成部によって補正された前記仮想的な医用画像を前記機械学習用装置に送信する、
   請求項１から６のいずれか一項に記載の医用画像処理装置。
8. 前記学習画像送信部は、前記仮想画像生成部によって補正された前記仮想的な医用画像を、前記視覚特徴を表す情報とともに前記機械学習用装置に送信する、
   請求項７に記載の医用画像処理装置。
9. 前記機械学習用装置は、前記視覚特徴に応じて複数設けられて、
   前記学習画像送信部は、前記仮想画像生成部によって補正された前記仮想的な医用画像を、前記視覚特徴に対応する前記機械学習用装置に送信する、
   請求項７または８に記載の医用画像処理装置。
10. 前記仮想画像生成部は、前記視覚特徴を変えて前記仮想的な医用画像を複数補正し、
    前記学習画像送信部は、前記仮想画像生成部によって補正された前記複数の仮想的な医用画像を前記機械学習用装置に送信する、
    請求項７から９のいずれか一項に記載の医用画像処理装置。
11. 前記第２のモダリティにおける前記視覚特徴は、撮像画像の輝度、コントラスト、色温度の少なくとも１つを含む、
    請求項７から１０のいずれか一項に記載の医用画像処理装置。
12. 第１のモダリティによって取得された複数の断層画像を基に、第２のモダリティによって取得される医用画像に対応する仮想的な医用画像を生成する生成ステップと、
    前記仮想的な医用画像を機械学習用装置に送信する送信ステップと、
    を含み、
    前記生成ステップは、前記複数の断層画像を、当該断層画像に交差する切り出し面の位置および方向の少なくとも一方を変えて切り出すことで前記仮想的な医用画像を複数生成し、
    前記送信ステップは、前記複数の仮想的な医用画像を前記機械学習用装置に送信する、
    医用画像処理方法。
13. 第１のモダリティ及び第２のモダリティを含む複数のモダリティで撮像された医用画像を保管する医用画像保管装置と、
    前記第１のモダリティによって取得された複数の断層画像を基に、前記第２のモダリティによって取得される医用画像に対応する仮想的な医用画像を生成する医用画像処理装置と、
    前記仮想的な医用画像を機械学習用の学習データとして保存する機械学習用装置と、
    を備え、
    前記医用画像処理装置は、前記複数の断層画像を、当該断層画像に交差する切り出し面の位置および方向の少なくとも一方を変えて切り出すことで前記仮想的な医用画像を複数生成し、
    前記機械学習用装置は、前記複数の仮想的な医用画像を前記機械学習用の学習データとして保存する、
    医用画像処理システム。

Images