JP2023088665A

JP2023088665A - 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム

Info

Publication number: JP2023088665A
Application number: JP2021203548A
Authority: JP
Inventors: 裕行近江; Hiroyuki Omi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-12-15
Filing date: 2021-12-15
Publication date: 2023-06-27

Abstract

【課題】画像の解像度を向上しつつ、偽像による画質の低下を防ぐ。【解決手段】そこで本開示に係る学習装置は、第１の放射線画像を取得する取得手段と、前記第１の放射線画像を前記第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段と、前記変換手段により変換された前記解像度の低い放射線画像を前記第１の放射線画像の解像度に拡大する拡大処理を行う処理手段と、前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第２の放射線画像を生成する生成手段と、前記第１の放射線画像と前記第２の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段と、を備えることを特徴とする。【選択図】図１

Description

本発明は、学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラムに関する発明である。

医療現場ではＸ線を用いた撮影に基づく診断や治療が盛んに行われており、フラットパネルセンサ（以下センサ）を用いて撮影されたＸ線撮影画像によるデジタル画像診断が世界的に普及している。センサは出力を直ちに画像化できるため静止画像のみならず動画像も撮影することができる。さらにセンサの高解像度化がすすみ、より詳細な情報を取得する撮影が可能となっている。

その一方で、被検体への被曝量を抑えるため、解像度を落としてＸ線画像を得る場合がある。例えば、動画像のようにＸ線を長く照射するようなユースケースである。このとき、センサからの出力データを複数画素分まとめて１つの画素として扱うことで１画素あたりのＸ線量を多くする。それにより全体のＸ線照射量を抑え、被検体への被曝量を抑えることができる。

しかし、解像度を落とすことで、病変の情報や撮影装置のより正確なポジショニングのための情報といったＸ線画像の詳細な情報は失われる。

低解像度の画像の詳細な情報を復元（高解像度化）させるための処理として超解像処理がある。超解像処理は、複数枚の低解像度画像から高解像度化を行ったり、低解像度画像と高解像度画像の特徴を関連付け、その情報を基に高解像度化を行ったりする方法が古くから知られている（特許文献１）。近年は特徴を関連付ける方法として機械学習が利用されるようになってきた。特に畳み込みニューラルネットワーク（以下ＣＮＮ）を用いて教師あり学習を行う構成のものが、その性能の高さから急速に普及している（特許文献２）。ＣＮＮを利用した超解像処理は、教師あり学習により作成された学習パラメータを用い、入力された低解像度画像の詳細情報を復元する。超解像処理は医療画像への適用も行われている。

ＣＮＮを利用した超解像処理は、低解像度画像を入力として推論し、推論結果として超解像画像を出力する。そして学習時の正解画像となるのが高解像度画像である。そのため、教師データとして複数の高解像度画像と低解像度画像とをセットで用意する。低解像度画像から高解像度画像を復元していく際、低解像度画像には高解像度画像に存在する高周波成分がほとんど存在しないため、高周波成分を復元することは困難である。そのため、超解像画像と高解像度画像との間のＰＳＮＲ（ＰｅａｋＳｉｇｎａｌｔｏＮｏｉｓｅＲａｔｉｏ）やＳＳＩＭ（ＳｔｒｕｃｔｕａｌＳＩＭｉｌａｒｉｔｙ）を計算すると類似度が高い値が算出される一方で、知覚的には類似していない結果となることが多く、画質の低下を招いていた。そのような課題に対し、教師データを生成するＣＮＮを含めて学習させるＧＡＮ（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）といった手法（特許文献３）や、ＣＮＮの構造をより複雑にし、表現能力を向上させる手法がとられてきた。

特許４５２９８０４公報特許６２７６９０１公報特開２０２１－１６６０４９公報

しかしながら、ＧＡＮのように教師データを生成すると、教師データが人工的な画像であるために、推論結果である超解像画像にアーチファクトの出現リスクが増大するという課題が発生していた。アーチファクトは医療画像用の処理としては特に適切ではない。また、ＣＮＮの構造を複雑にすればするほど高周波成分の復元はされていくが、その分、処理時間の増大を招いていた。

本開示は、上記の課題に鑑みてなされたものであり、画像の解像度を向上しつつ、偽像による画質の低下を防ぐことのできる学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラムを提供することを目的の一つとする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本開示の他の目的の１つとして位置付けることができる。

そこで本開示に係る学習装置は、第１の放射線画像を取得する取得手段と、前記第１の放射線画像を前記第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段と、前記変換手段により変換された前記解像度の低い放射線画像を前記第１の放射線画像の解像度に拡大する拡大処理を行う処理手段と、前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第２の放射線画像を生成する生成手段と、前記第１の放射線画像と前記第２の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段と、を備えることを特徴とする。

本開示によれば、画像の解像度を向上しつつ、偽像による画質の低下を防ぐことができる。

本実施形態に係る機械学習装置の構成の一例を示す図。本実施形態に係る放射線撮影システムのハードウェア構成の一例を示す図。本実施形態に係る全体の処理の一例を示すフローチャート。本実施形態に係る高周波成分抽出処理の一例を示すフローチャート。本実施形態に係る学習処理の一例を示すフローチャート。本実施形態に係る機械学習装置の構成の一例を示す図。本実施形態に係る学習処理の一例を示すフローチャート。本実施形態に係る学習データの生成処理の一例を示すフローチャート。本実施形態に係る推論処理の一例を示すフローチャート

以下、添付図面に従って本明細書に開示の放射線撮影システムの好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の放射線撮影システムの技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施形態及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。

なお、以下に記載する本開示の実施形態においてはＸ線を用いた撮影を例示しているが、一例であってこれに限定されない。すなわち、Ｘ線を含む放射線を用いた撮影（放射線を用いた撮影により得られる放射線画像）に適用できる。放射線は、放射線崩壊によって放出される粒子（光子を含む）が作るビームであるα線やβ線、γ線、さらには、同程度以上のエネルギーを有するビームである、例えばＸ線や粒子線、宇宙線等も含む。

本発明における機械学習装置の構成図を図１に示す。機械学習装置は、入力部１０１、第一解像度変換部１０２、第二解像変換部１０３、画像生成部１０４、機械学習部１０５から構成される。

入力部１０１は、外部装置からＸ線画像を取得し、高解像度画像として出力する。すなわち、入力部１０１は、第１の放射線画像を取得する取得手段の一例に相当する。第一解像度変換部１０２は、高解像度画像を入力とし縮小処理することで、低解像度画像を出力する。すなわち、第一解像度変換部１０２は、第１の放射線画像を第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段の一例に相当する。第二解像度変換部１０３は、低解像度画像を入力とし拡大処理することで、拡大画像を出力する。すなわち、第二解像度変換部１０３は、変換手段により変換された解像度の低い放射線画像を第１の放射線画像の解像度に拡大する拡大処理を行う処理手段の一例に相当する。画像生成部１０４は、拡大画像を入力とし、特定の周波数成分を付加した高周波付加拡大画像を出力する。すなわち、生成部１０４は、処理手段により拡大処理された放射線画像に特定の周波数成分を付加することにより第２の放射線画像を生成する生成手段の一例に相当する。機械学習部１０５は、高解像度画像と高周波付加拡大画像を入力とし、超解像処理ＣＮＮの学習を行い、ＣＮＮのパラメータを更新する。すなわち、機械学習部１０５は、第１の放射線画像と第２の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段の一例に相当する。

図１の構成を、ハードウェアを使って実現する場合、図２のようになる。まず図２（ａ）の構成例にて学習に必要なＸ線画像が取得される。コントロールＰＣ２０１とＸ線センサ２０２（放射線検出器）がギガビットイーサ２０４でつながっている。信号線はギガビットイーサでなくてもＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）や光ファイバーなどでもよい。ギガビットイーサ２０４には、Ｘ線発生装置２０３、表示部２０５、記憶部２０６、ネットワークインタフェース部２０７、イオンチャンバー２１０、Ｘ線制御部２１１が接続されている。コントロールＰＣ２０１には例えば、バス２０１１に対して、ＣＰＵ（中央演算装置）２０１２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０１３、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０１４、記憶部２０１５が接続された構成になる。そしてコントロールＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２０８が接続され、ＤｉｓｐｌａｙＰｏｒｔやＤＶＩで表示部２０９が接続される。このコントロールＰＣ２０１を介して、Ｘ線センサ２０２や表示部２０５などにコマンドを送る。コントロールＰＣ２０１では、撮影モード毎の処理内容がソフトウェアモジュールとして記憶部２０１５に格納され、不図示の指示手段によりＲＡＭ２０１３に読み込まれ、実行される。処理された画像はコントロールＰＣ内の記憶部２０１５もしくはコントロールＰＣ外の記憶部２０６へと送られ、保存される。

次に図２（ｂ）の構成例にてＣＮＮの学習がされる。学習用ＰＣ２２１には例えば、バス２２１１に対して、ＣＰＵ（中央演算装置）２２１２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２２１３、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２２１４、記憶部２２１５が接続された構成になる。そして学習用ＰＣ２０１には、ＵＳＢやＰＳ／２で入力部２２２、ＤｉｓｐｌａｙＰｏｒｔやＤＶＩで表示部２２３、ＵＳＢで記憶部２２４が接続される。図１に示した１０１、１０２、１０３、１０４、１０５は、ソフトウェアモジュールとして記憶部２２１５に格納されている。もちろん本発明は図１に示した１０１、１０２、１０３、１０４、１０５を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。図２（ａ）にて取得した学習画像は、記憶部２２４から入力するか、もしくはネットワークＩ／Ｆを介した不図示の記憶部などから入力してもよい。

以上のような構成を備えた機械学習装置において、本実施形態の特徴である図１に示した構成１０１から１０５の動作について、その詳細を以下３つの実施形態にそって説明する。

［実施形態１］
図１の構成図と図３の全体フローを使い、処理の流れにそって説明する。まず入力部１０１は、Ｘ線画像を取得する（Ｓ３０１）。入力部１０１は取得したＸ線画像のデータ拡張を行う（Ｓ３０２）。データ拡張とは、１つの画像を回転や反転することで、異なる特徴の画像として扱うことである。ＣＮＮに入力する高解像度画像サイズが入力部１０１で取得したＸ線画像サイズ以下である場合は、切り出しも含める。切り出し、回転、反転の組み合わせによってデータ拡張を行う。入力部１０１はデータ拡張した画像を高解像度画像として出力する（Ｓ３０３）。高解像度画像とは、ＣＮＮが出力する超解像画像に対する正解画像に相当する。

次に、第一解像度変換部１０２は、高解像度画像を入力とし、縮小処理によって低解像度画像を出力する（Ｓ３０４）。縮小処理の方法は、超解像処理を適用する低解像度画像と高解像度画像との関係に依存する。例えば、適用する系における低解像度画像は、高解像度画像を加算平均することで得られる関係であれば、縮小処理は加算平均にて行う。すなわち、ＣＮＮを学習させる内容に合った縮小の方法を選択する。縮小率も同様で、解像度を２倍にするＣＮＮを学習させるのであれば、縮小率は２分の１とする。

次に、第二解像度変換部１０３は、低解像度画像を入力とし、拡大処理によって拡大画像を出力する（Ｓ３０５）。拡大処理の方法は、例えばバイリニア補間やバイキュービック補間を用いる。拡大率は高解像度画像と同じ解像度になるように設定する。

次に、画像生成部１０４は、拡大画像を入力とし、高周波の付加処理を行う（Ｓ３０６）。拡大画像と正解画像の解像度は同じであるが、拡大画像には高周波成分が少ない。拡大画像をそのまま機械学習の入力として使用しても、高周波成分の復元は困難である。そこで、図４のフローに従って、拡大画像にノイズの高周波成分を付与することを行う。すなわち、画像生成部１０４は、拡大処理された放射線画像に特定の帯域成分を付加する処理を行う。Ｘ線画像のノイズは、Ｘ線の物理特性から算出することができる。Ｘ線のノイズはＸ線量に依存するランダム量子ノイズとＸ線量に非依存のランダムシステムノイズに大きく分けられる。具体的には、Ｘ線センサ２０２は、蛍光体によってＸ線を可視光に変換する構成を取ることから、Ｘ線の信号は蛍光体の解像度によって規定される変調伝達関数（ＭＴＦ：ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）に応じて高周波の減衰が生じることが知られている。Ｘ線量子の揺らぎによって発生する量子ノイズも同様の変調伝達関数によって高周波の減衰が発生する。すなわち、量子ノイズは高周波成分が減衰したノイズの一例に相当する。一方で、検出器及び回路等から発生する暗電流や電気的なノイズ等のシステムノイズは蛍光体の影響を受けない。つまり、放射線画像に含まれるノイズは、撮影時の線量に拠らないシステムノイズと、撮影時の線量によって変化する量子ノイズを加算したものとなる。つまり、画像生成部１０４は、放射線画像を検出する放射線検出器のシステムノイズのノイズ量と、放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量とを用いて算出される特定の帯域成分を拡大処理された放射線画像に付加する。また、画像生成部１０４は、拡大処理された放射線画像の画素値に基づいて得られる量子ノイズのノイズ量を用いて算出される特定の帯域成分を拡大処理された放射線画像に付加することができる。具体的には、Ｘ線画像の画素値からランダム量子ノイズ量を計算する際の変換係数Ｋｑとランダムシステムノイズの量Ｓｎをあらかじめ求めておくと、拡大画像の画素値Ｘのノイズｎは例えば式１のようにあらわすことができる。

式１のＬＰＦ（）は蛍光体によるボケを表している。上述のように高解像度画像を取得するＸ線センサ２０２が蛍光体を用いた間接変換方式のセンサの場合、高解像度画像には蛍光体によるボケが加わる。そのため、ランダム量子ノイズの成分に対して、蛍光体によるボケを再現するローパスフィルタ処理を行っている。不要な場合は省略してもよい（Ｓ４０１）。得られたノイズ画像に対し、拡大画像の生成過程と同様の処理を行う。まず縮小処理を行う（Ｓ４０２）。Ｓ４０２の処理はＳ３０４と同じ処理を行う。次に拡大処理を行い、拡大ノイズ画像を得る（Ｓ４０３）。Ｓ４０３の処理は、Ｓ３０５と同じ処理を行う。同じ処理過程をたどることで、拡大ノイズ画像は、拡大画像と同じ帯域の周波数成分を失うことになる。そのため、元のノイズ画像から拡大ノイズ画像を引くことで、正解画像に存在するノイズの高周波成分を取得することができる（Ｓ４０４）。

上記の一連の処理により取得されたノイズの高周波成分を拡大画像に付加する処理は、第一解像度変換部１０２による解像度変換によって失われた帯域成分を拡大画像に付加する処理に相当する。すなわち、換言すると拡大処理された放射線画像において高解像度画像に比べて減衰したノイズの高周波成分を拡大処理された放射線画像に付加することに相当する。

さらに、システムノイズと量子ノイズとを含むノイズ画像と、ノイズ画像に第一解像度変換部１０２による解像度変換と第二解像度変換部１０３による拡大処理とを施すことにより得られる拡大ノイズ画像との差分から算出される特定の帯域成分を拡大画像に付加する処理に相当する。

ノイズ画像をＮ、拡大ノイズ画像をＮＥｘ、拡大画像をＩｍｇＥｘとすると、高周波付加拡大画像ＩｎＨは式２のように表される。

高周波付加拡大画像には、高解像度画像に含まれる高周波成分のうち、ノイズの高周波成分が含まれることになる。ｗはノイズの高周波成分を付加する際の重みである。学習の収束状況や出力画像の一致度に合わせ、調整することが可能である。すなわち、画像生成部１０４は、ノイズ画像と拡大ノイズ画像との差分に重みづけを行った特定の帯域成分を拡大画像に付加することができる。

次に、機械学習部１０５は、高解像度画像および高周波付加拡大画像に対し、前処理を行い、前処理済高解像度画像および前処理済拡大画像を出力する（Ｓ３０７）。前処理とは、ＣＮＮのロバスト性を向上させるための処理である。例えば画像の最大値と最小値の範囲で正規化をしたり、画像の平均値を０、標準偏差を１にした正則化をしたりする。機械学習部１０５は、前処理済高解像度画像および前処理済拡大画像を用いてＣＮＮの学習を行う（Ｓ３０８）。

学習フローを図５（ａ）に示す。学習は、教師データを使用して図５（ｂ）のように学習をする。教師データは、入力データとして拡大画像５１１と、それに対応した正解データとして高解像度画像５１５の組である。拡大画像５１１は本実施形態における前処理済み拡大画像を、高解像度画像５１５は本実施形態における前処理済み高解像度画像を指す。機械学習部１０５は、拡大画像５１１に対して、学習途中のＣＮＮ５１２のパラメータによる推論処理が行われ、推論結果として超解像画像５１４が出力される（Ｓ５０１）。ここで、ＣＮＮ５１２は、多数の処理ユニット５１３が任意に接続された構造を取る。処理ユニット５１３の例としては、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数、のように順番に処理を行う組が３～数百程度の層状に接続され、さまざまな構造を取ることができる。

次に、推論結果である超解像画像５１４と高解像度画像５１５から、損失関数を算出する（Ｓ５０２）。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。Ｓ４０２で算出した損失関数を起点とした誤差逆伝搬を行い、ＣＮＮ５１２のパラメータ群を更新する（Ｓ５０３）。

最後に、学習の終了判定が行われ、学習を継続する場合はＳ５０１に進む（Ｓ５０４）。Ｓ５０１～５０３の処理を、拡大画像５１１と高解像度画像５１５を変えながら繰り返すことで、損失関数が低下するようにＣＮＮ５１２のパラメータ更新が繰り返され、機械学習部１０５の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。

本実施形態では、ＣＮＮのパラメータは、前処理済拡大画像を入力しＣＮＮが出力した超解像画像と、前処理済高解像度画像との比較結果から更新される。前処理済拡大画像にはノイズの高周波成分が付加されている。従来は信号とノイズの低周波成分から信号とノイズの高周波成分を推定する必要があったが、本実施形態では、信号とノイズの低周波成分及びノイズの高周波成分から、信号の高周波成分を推定することになる。ＣＮＮが利用できる情報は増えた上、信号の高周波成分のみを復元することになり、精度よく推定することができる。Ｘ線画像のランダム量子ノイズ量を計算する際の変換係数やランダムシステムノイズの量が不明の場合は、適切なガウシアンノイズを付加する形でも構わない。

このようにノイズの高周波成分を付加した画像で学習を行ったことにより、ＣＮＮの構造を複雑にすることなく、超解像画像の画質を向上することができ、処理速度の増大も防げる。また、付加する高周波成分がＸ線の物理特性に基づいたノイズ成分であるため、アーチファクトを発生させるリスクを非常に小さくすることができる。

［実施形態２］
図６の構成図と図３の全体フローを使い、処理の流れにそって説明する。図６における６０１から６０５は図１の１０１～１０５と同様である。

Ｓ３０１からＳ３０６は実施形態１と同様のため省略する。

機械学習部６０５は、高解像度画像に前処理を行い、前処理済高解像度画像を出力する。さらに、拡大画像と高周波付加拡大画像に対し、前処理を行い、第一の前処理済拡大画像と第二の前処理済拡大画像を出力する（Ｓ３０７）。前処理とは、ＣＮＮのロバスト性を向上させるための処理である。例えば画像の最大値と最小値の範囲で正規化をしたり、画像の平均値を０、標準偏差を１にした正則化をしたりする。機械学習部６０５は、前処理済高解像度画像、第一の前処理済拡大画像および第二の前処理済拡大画像を用いてＣＮＮの学習を行う（Ｓ３０８）。すなわち、実施形態１の構成に比べ、機械学習部６０５は、拡大処理された放射線画像をさらに含む学習データを用いて学習器の学習を行うことができる。

学習フローを図７（ａ）に示す。学習は、教師データを使用して図７（ｂ）のように学習をする。教師データは、入力データとして拡大画像７１１および拡大画像７１２と、それに対応した正解データとして高解像度画像７１６の組である。拡大画像７１１は本実施形態における第一の前処理済拡大画像を、拡大画像７１２は本実施形態における第二の前処理済拡大画像を、高解像度画像７１７は本実施形態における前処理済高解像度画像を指す。機械学習部６０５は、ＣＮＮ７１３へ複数画像を入力する。拡大画像７１１と拡大画像７１２を入力とし、学習途中のＣＮＮ７１３のパラメータによる推論処理が行われ、推論結果として超解像画像７１５が出力される（Ｓ７０１）。ここで、ＣＮＮ７１３は、多数の処理ユニット７１４が任意に接続された構造を取る。処理ユニット７１３の例としては、畳み込み演算や、正規化処理、あるいは、ＲｅＬＵやＳｉｇｍｏｉｄ等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。さらにダウンサンプリングやアップサンプリングといった処理を図７（ｃ）のように組み合わせた処理ユニット７１７の構造をとることによって、より複雑な表現を軽量なモデルで表現することができる。図７（ｃ）のようなＣＮＮ７１３に対し、例えば、拡大画像７１１と拡大画像７１２の両方を初段の畳み込み演算層に入力してもよい。また、拡大画像７１１のみを初段の畳み込み演算層に入力し、拡大画像７１２を別の畳み込み演算層に入力するように、それぞれを異なる層へ入力してもよい。すなわち、機械学習部６０５は、第１の放射線画像と第２の放射線画像と前記拡大処理された放射線画像を含む学習データを用いてニューラルネットワークの学習を行い、第２の放射線画像と拡大処理された放射線画像とを、前記ニューラルネットワークにおける異なる層に入力する学習手段の一例に相当する。なお、異なる層へ入力する場合、ＣＮＮ７１３の出力に近い層へノイズの高周波成分が付加されている拡大画像７１２を入力すると、高周波成分に対する拘束が強まり、高周波成分の復元に効果的である。すなわち、機械学習部６０５は、拡大処理された放射線画像を入力する層に比べて出力層に近い層に第２の放射線画像を入力する学習手段の一例に相当する。さらに拘束を高めるために、ＣＮＮ７１３のデータパス７１８をカットし、高解像度の成分を拡大画像７１２のみにしてもよい。

次に、ＣＮＮ７１３の推論結果である超解像画像７１５と高解像度画像７１６から、損失関数を算出する（Ｓ７０２）。なお、損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。より知覚的な復元をするために、超解像画像７１５と高解像度画像７１６の低周波成分での誤差を使用してもよい。高周波成分はランダムなノイズ成分の影響が強く表れるため、高周波成分を含んだ状態で画素値の誤差を計算すると誤差が大きくなる。それに従ってＣＮＮ７１３のパラメータを更新すると、ランダムノイズの影響を受けないようにノイズをぼかした画像を生成するパラメータになりやすい。したがって、低周波成分での誤差をブレンドした形の損失関数を使ってもよい。超解像画像ＳＲ、高解像度画像ＨＲとしたとき、損失関数Ｅを式（３）として表せる。

ｋは学習時に使用する教師データセットの番号、Ｌ（）はローパスフィルタ、αは加算重みである。Ｌ（）は例えばガウシアンフィルタでよい。もしくは、Ｓ３０４の縮小処理で低解像度画像を作成し、Ｓ３０５の拡大処理で拡大した画像を利用してもよい。すなわち、第１の放射線画像（高解像度画像）の解像度を第一解像度変換部１０２により変換した解像度の低い放射線画像と、拡大処理された放射線画像を入力としてＣＮＮが出力する超解像画像に第一解像度変換部１０２による変換を行うことにより生成される放射線画像との誤差を算出してもよい。あるいは、第１の放射線画像の解像度を第一解像度変換部１０２により変換した解像度の低い放射線画像に第二解像度変換部１０３により拡大処理を行った放射線画像と、拡大処理された放射線画像を入力としてＣＮＮが出力する超解像画像に前記変換手段による第一解像度変換部１０２による変換と、第二解像度変換部１０３による拡大処理を行うことにより生成される放射線画像との誤差を算出してもよい。なお、式（３）では二乗誤差の重みづけという形になっているが、絶対値誤差など任意の誤差の重みづけでよい。

Ｓ７０２で算出した損失関数を起点とした誤差逆伝搬を行い、ＣＮＮ７１３のパラメータ群を更新する（Ｓ７０３）。

最後に、学習の終了判定が行われ、学習を継続する場合はＳ７０１に進む（Ｓ７０４）。Ｓ７０１～７０３の処理を、拡大画像７１１、拡大画像７１２と高解像度画像７１６を変えながら繰り返すことで、損失関数が低下するようにＣＮＮ７１３のパラメータ更新が繰り返され、機械学習部６０５の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。

［実施形態３］
本学習装置と、本学習装置によって得られたＣＮＮのパラメータ（以下、学習データ）を使用する推論装置（医用情報処理装置）との関係について説明する。推論装置とは、学習装置の推論処理部分だけを行う装置である。図９に推論時のフローを示した。図５の学習時のフローと同様に、拡大画像９１１を入力とし、ＣＮＮ９１３による推論処理が行われ、推論結果として超解像画像９１５が出力される（Ｓ９０１）。ここで、ＣＮＮ９１３は、多数の処理ユニット９１４が任意に接続された構造を取り、ＣＮＮ９１３のパラメータは、学習データ９１２によりセットされる。

推論装置において、学習データ９１２を複数保持することが可能である構成の場合は、学習時にＸ線センサの特性別に学習データを生成しておく。Ｘ線の物理特性は、Ｘ線画像を取得するＸ線センサ２０２の特性に依存する。Ｘ線センサの特性はセンサそのものの構造や、画像読み取り時の方法（ビニング）や出力ゲイン設定などの駆動方法から決まる。Ｘ線画像のノイズは、Ｘ線の物理特性から算出されるため、学習データをセンサの特性別に保持する。例えば、図８（ａ）のように、画像生成部１０４は、センサ特性８０２のセンサで取得した拡大画像８０１に対し、センサ特性８０２のノイズの高周波成分を付加した後（Ｓ８０３）、機械学習部１０５が学習をし（Ｓ８０４）、学習データ８０５を生成する。そして、センサ特性８０７のセンサで取得した拡大画像８０６に対しては、センサ特性８０７のノイズの高周波成分を付加した後（Ｓ８０８）、機械学習部１０５が学習をし（Ｓ８０９）、学習データ８１０を生成する。すなわち、放射線を検出する第１の放射線検出器から得られる放射線画像を含む第１の学習データと、前記第１の検出器と異なる第２の放射線検出器から得られる放射線画像を含む第２の学習データと、を生成する。そして、第１の学習データを用いてＣＮＮの学習を行うことにより第１のパラメータを取得し、第２の学習データを用いてＣＮＮの学習を行うことにより第２のパラメータを取得してもよい。

あるいは、第１の駆動方式の放射線検出器により得られる放射線画像を含む第１の学習データと、第１の駆動方式と異なる第２の駆動方式の放射線検出器から得られる放射線画像を含む第２の学習データと、を生成してもよい。そして、第１の学習データを用いてＣＮＮの学習を行うことにより第１のパラメータを取得し、第２の学習データを用いてＣＮＮの学習を行うことにより第２のパラメータを取得してもよい。

そして、推論時は、推論に使用するＸ線センサのノイズ特性でノイズ付加をし、推論に使用するＸ線センサの学習データを用いて推論を行う。例えば推論時の入力画像がセンサ特性８０２のセンサで被検体を撮影することにより取得した画像であれば、学習データ８０５を使って推論する。そうすることで、Ｘ線センサに特化した推論が可能となる。

一方、推論装置において、学習データ９１２を複数保持することが不可能な構成である場合は、学習時に汎用的な学習データを生成しておく。図８（ｂ）のように、画像生成部１０４は、センサ特性８１２のセンサで取得した拡大画像８１１に対し、センサ特性８１２のノイズの高周波成分を付加する（Ｓ８１３）。そして、センサ特性８１５のセンサで取得した拡大画像８１４に対しては、センサ特性８１５のノイズの高周波成分を付加する（Ｓ８１６）。すなわち、第１の放射線画像の撮影に用いられた放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量を用いて算出される特定の帯域成分を拡大画像に付加することができる。また、システムノイズのノイズ特性も放射線検出器ごとに異なる。そのため、第１の放射線画像の撮影に用いられた放射線検出器のシステムノイズを拡大画像にさらに付加することができる。そして、機械学習部１０５は、センサ特性８１２の高周波成分を付加した画像もセンサ特性８１５の高周波成分を付加した画像の両方を使って学習を行い、汎用学習データ８１８を生成する。そして、推論時は、推論に使用するＸ線センサ２０２のノイズ特性でノイズ付加をし、汎用学習データ８１８を用いて推論を行う。また、汎用学習データ８１８生成時に、推論に使用するＸ線センサのセンサ特性を含まない場合であっても、汎用学習データ８１８は汎化性能に長けているため、汎用学習データ８１８を用いて推論を行えばよい。図８では、２つのセンサ特性を示したが、２つ以上であっても同様である。

（その他の実施形態）
本明細書の開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路によっても実現可能である。

プロセッサまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

上述の各実施形態における学習装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。学習装置および放射線撮影システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本明細書に開示の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

１０１入力部
１０２第一解像度変換部
１０３第二解像度変換部
１０４画像生成部
１０５機械学習部

Claims

第１の放射線画像を取得する取得手段と、
前記第１の放射線画像を前記第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段と、
前記変換手段により変換された前記解像度の低い放射線画像を前記第１の放射線画像の解像度に拡大する拡大処理を行う処理手段と、
前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第２の放射線画像を生成する生成手段と、
前記第１の放射線画像と前記第２の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段と、
を備えることを特徴とする学習装置。
前記生成手段は、前記特定の帯域成分として、前記変換手段による解像度変換によって失われた帯域成分を前記拡大処理された放射線画像に付加することにより前記第２の放射線画像を生成することを特徴とする請求項１に記載の学習装置。
前記生成手段は、放射線画像を検出する放射線検出器のシステムノイズのノイズ量と、前記放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量とを用いて算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第２の放射線画像を生成することを特徴とする請求項１または２に記載の学習装置。
前記生成手段は、前記拡大処理された放射線画像の画素値に基づいて得られる前記量子ノイズのノイズ量を用いて算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第２の放射線画像を生成することを特徴とする請求項３に記載の学習装置。
前記生成手段は、前記システムノイズと前記量子ノイズとを含むノイズ画像と、前記ノイズ画像に前記変換手段による解像度変換と前記処理手段による拡大処理とを施すことにより得られる拡大ノイズ画像と、の差分から算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第２の放射線画像を生成することを特徴とする請求項３または４に記載の学習装置。
前記生成手段は、前記差分に重みづけを行った前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第２の放射線画像を生成することを特徴とする請求項５に記載の学習装置。
前記生成手段は、前記拡大処理された放射線画像において前記第１の放射線画像に比べて減衰した高周波成分を、前記拡大処理された放射線画像に付加することにより第２の放射線画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の学習装置。
前記学習手段は、前記拡大処理された放射線画像をさらに含む学習データを用いて前記学習器の学習を行うことを特徴とする請求項１乃至７のいずれか１項に記載の学習装置。
前記学習手段は、前記第１の放射線画像と前記第２の放射線画像と前記拡大処理された放射線画像を含む学習データを用いてニューラルネットワークの学習を行い、前記第２の放射線画像と前記拡大処理された放射線画像とを、前記ニューラルネットワークにおける異なる層に入力することを特徴とする請求項８に記載の学習装置。
前記学習手段は、前記拡大処理された放射線画像を入力する層に比べて出力層に近い層に前記第２の放射線画像を入力することを特徴とする請求項９に記載の学習装置。
前記学習手段は、前記第１の放射線画像の解像度を前記変換手段により変換した前記解像度の低い放射線画像と、前記拡大処理された放射線画像を入力として前記ニューラルネットワークが出力する超解像画像に前記変換手段による前記変換を行うことにより生成される放射線画像との誤差を算出し、前記ニューラルネットワークのパラメータを更新することを特徴とする請求項９または１０に記載の学習装置。
前記学習手段は、前記第１の放射線画像の解像度を前記変換手段により変換した前記解像度の低い放射線画像に前記処理手段により拡大処理を行った放射線画像と、前記拡大処理された放射線画像を入力として前記ニューラルネットワークが出力する超解像画像に前記変換手段による前記変換と、前記処理手段による前記拡大処理を行うことにより生成される放射線画像との誤差を算出し、前記ニューラルネットワークのパラメータを更新することを特徴とする請求項９または１０に記載の学習装置。
前記学習手段は、放射線を検出する第１の放射線検出器から得られる放射線画像を含む学習データと、前記第１の検出器と異なる第２の放射線検出器から得られる放射線画像を含む学習データと、のそれぞれを用いて前記ニューラルネットワークの学習を行うことにより第１のパラメータと第２のパラメータを取得することを特徴とすることを特徴とする請求項９乃至１２のいずれか１項に記載の学習装置。
前記学習手段は、第１の駆動方式の放射線検出器により得られる放射線画像を含む学習データと、前記第１の駆動方式と異なる第２の駆動方式の放射線検出器から得られる放射線画像を含む学習データと、のそれぞれを用いて前記ニューラルネットワークの学習を行うことにより第１のパラメータと第２のパラメータを取得することを特徴とすることを特徴とする請求項９乃至１２のいずれか１項に記載の学習装置。
前記生成手段は、前記第１の放射線画像の撮影に用いられた前記放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量を用いて算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第２の放射線画像を生成することを特徴とする請求項３または４に記載の学習装置。
第１の放射線画像と、前記第１の放射線画像を前記第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換し、前記変換された前記解像度の低い放射線画像を前記第１の放射線画像の解像度に拡大する拡大処理を行い、前記拡大処理された放射線画像に特定の帯域成分を付加することにより得られる第２の放射線画像と、を含む学習データを用いて学習器の学習を行う学習手段を備えることを特徴とする学習装置。
被検体を撮影することにより得られる放射線画像を取得する取得手段と、
請求項１乃至１６のいずれか１項に記載の学習装置により学習された前記学習器に前記被検体を撮影することにより得られる放射線画像を入力することにより、前記被検体を撮影することにより得られる放射線画像に比べて解像度の高い放射線画像を生成する生成手段と、
を備えることを特徴とする医用情報処理装置。
第１の放射線画像を取得する取得工程と、
前記第１の放射線画像を前記第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換する解像度変換工程と、
前記解像度変換手段により変換された前記解像度の低い放射線画像を前記第１の放射線画像の解像度に拡大する拡大処理を行う拡大処理工程と、
前記拡大処理された放射線画像に特定の帯域成分を付加することにより第２の放射線画像を生成する生成工程と、
を備えた学習データの生成方法。
第１の放射線画像を取得する取得工程と、
前記第１の放射線画像を前記第１の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換工程と、
前記変換手段により変換された前記解像度の低い放射線画像を前記第１の放射線画像の解像度に拡大する拡大処理を行う処理工程と、
前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第２の放射線画像を生成する生成工程と、
前記第１の放射線画像と前記第２の放射線画像とを含む学習データを用いて学習器の学習を行う学習工程と、
を備えることを特徴とする学習方法。
コンピュータを、請求項１乃至１６のいずれか１項に記載の学習装置の各手段として機能させるためのプログラム。