JP2023088665A - 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム - Google Patents
学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム Download PDFInfo
- Publication number
- JP2023088665A JP2023088665A JP2021203548A JP2021203548A JP2023088665A JP 2023088665 A JP2023088665 A JP 2023088665A JP 2021203548 A JP2021203548 A JP 2021203548A JP 2021203548 A JP2021203548 A JP 2021203548A JP 2023088665 A JP2023088665 A JP 2023088665A
- Authority
- JP
- Japan
- Prior art keywords
- image
- radiographic image
- learning
- resolution
- enlarged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000010365 information processing Effects 0.000 title claims description 5
- 238000012545 processing Methods 0.000 claims abstract description 95
- 230000005855 radiation Effects 0.000 claims abstract description 64
- 238000006243 chemical reaction Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 12
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000002238 attenuated effect Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 6
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 46
- 238000010801 machine learning Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 11
- 230000009467 reduction Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000005258 radioactive decay Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
【課題】 画像の解像度を向上しつつ、偽像による画質の低下を防ぐ。【解決手段】 そこで本開示に係る学習装置は、第1の放射線画像を取得する取得手段と、前記第1の放射線画像を前記第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段と、前記変換手段により変換された前記解像度の低い放射線画像を前記第1の放射線画像の解像度に拡大する拡大処理を行う処理手段と、前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第2の放射線画像を生成する生成手段と、前記第1の放射線画像と前記第2の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段と、を備えることを特徴とする。【選択図】 図1
Description
本発明は、学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラムに関する発明である。
医療現場ではX線を用いた撮影に基づく診断や治療が盛んに行われており、フラットパネルセンサ(以下センサ)を用いて撮影されたX線撮影画像によるデジタル画像診断が世界的に普及している。センサは出力を直ちに画像化できるため静止画像のみならず動画像も撮影することができる。さらにセンサの高解像度化がすすみ、より詳細な情報を取得する撮影が可能となっている。
その一方で、被検体への被曝量を抑えるため、解像度を落としてX線画像を得る場合がある。例えば、動画像のようにX線を長く照射するようなユースケースである。このとき、センサからの出力データを複数画素分まとめて1つの画素として扱うことで1画素あたりのX線量を多くする。それにより全体のX線照射量を抑え、被検体への被曝量を抑えることができる。
しかし、解像度を落とすことで、病変の情報や撮影装置のより正確なポジショニングのための情報といったX線画像の詳細な情報は失われる。
低解像度の画像の詳細な情報を復元(高解像度化)させるための処理として超解像処理がある。超解像処理は、複数枚の低解像度画像から高解像度化を行ったり、低解像度画像と高解像度画像の特徴を関連付け、その情報を基に高解像度化を行ったりする方法が古くから知られている(特許文献1)。近年は特徴を関連付ける方法として機械学習が利用されるようになってきた。特に畳み込みニューラルネットワーク(以下CNN)を用いて教師あり学習を行う構成のものが、その性能の高さから急速に普及している(特許文献2)。CNNを利用した超解像処理は、教師あり学習により作成された学習パラメータを用い、入力された低解像度画像の詳細情報を復元する。超解像処理は医療画像への適用も行われている。
CNNを利用した超解像処理は、低解像度画像を入力として推論し、推論結果として超解像画像を出力する。そして学習時の正解画像となるのが高解像度画像である。そのため、教師データとして複数の高解像度画像と低解像度画像とをセットで用意する。低解像度画像から高解像度画像を復元していく際、低解像度画像には高解像度画像に存在する高周波成分がほとんど存在しないため、高周波成分を復元することは困難である。そのため、超解像画像と高解像度画像との間のPSNR(Peak Signal to Noise Ratio)やSSIM(Structual SIMilarity)を計算すると類似度が高い値が算出される一方で、知覚的には類似していない結果となることが多く、画質の低下を招いていた。そのような課題に対し、教師データを生成するCNNを含めて学習させるGAN(Generative Adversarial Network)といった手法(特許文献3)や、CNNの構造をより複雑にし、表現能力を向上させる手法がとられてきた。
しかしながら、GANのように教師データを生成すると、教師データが人工的な画像であるために、推論結果である超解像画像にアーチファクトの出現リスクが増大するという課題が発生していた。アーチファクトは医療画像用の処理としては特に適切ではない。また、CNNの構造を複雑にすればするほど高周波成分の復元はされていくが、その分、処理時間の増大を招いていた。
本開示は、上記の課題に鑑みてなされたものであり、画像の解像度を向上しつつ、偽像による画質の低下を防ぐことのできる学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラムを提供することを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本開示の他の目的の1つとして位置付けることができる。
そこで本開示に係る学習装置は、第1の放射線画像を取得する取得手段と、前記第1の放射線画像を前記第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段と、前記変換手段により変換された前記解像度の低い放射線画像を前記第1の放射線画像の解像度に拡大する拡大処理を行う処理手段と、前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第2の放射線画像を生成する生成手段と、前記第1の放射線画像と前記第2の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段と、を備えることを特徴とする。
本開示によれば、画像の解像度を向上しつつ、偽像による画質の低下を防ぐことができる。
以下、添付図面に従って本明細書に開示の放射線撮影システムの好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の放射線撮影システムの技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形(各実施形態の有機的な組合せを含む)が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施形態及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。
なお、以下に記載する本開示の実施形態においてはX線を用いた撮影を例示しているが、一例であってこれに限定されない。すなわち、X線を含む放射線を用いた撮影(放射線を用いた撮影により得られる放射線画像)に適用できる。放射線は、放射線崩壊によって放出される粒子(光子を含む)が作るビームであるα線やβ線、γ線、さらには、同程度以上のエネルギーを有するビームである、例えばX線や粒子線、宇宙線等も含む。
本発明における機械学習装置の構成図を図1に示す。機械学習装置は、入力部101、第一解像度変換部102、第二解像変換部103、画像生成部104、機械学習部105から構成される。
入力部101は、外部装置からX線画像を取得し、高解像度画像として出力する。すなわち、入力部101は、第1の放射線画像を取得する取得手段の一例に相当する。第一解像度変換部102は、高解像度画像を入力とし縮小処理することで、低解像度画像を出力する。すなわち、第一解像度変換部102は、第1の放射線画像を第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段の一例に相当する。第二解像度変換部103は、低解像度画像を入力とし拡大処理することで、拡大画像を出力する。すなわち、第二解像度変換部103は、変換手段により変換された解像度の低い放射線画像を第1の放射線画像の解像度に拡大する拡大処理を行う処理手段の一例に相当する。画像生成部104は、拡大画像を入力とし、特定の周波数成分を付加した高周波付加拡大画像を出力する。すなわち、生成部104は、処理手段により拡大処理された放射線画像に特定の周波数成分を付加することにより第2の放射線画像を生成する生成手段の一例に相当する。機械学習部105は、高解像度画像と高周波付加拡大画像を入力とし、超解像処理CNNの学習を行い、CNNのパラメータを更新する。すなわち、機械学習部105は、第1の放射線画像と第2の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段の一例に相当する。
図1の構成を、ハードウェアを使って実現する場合、図2のようになる。まず図2(a)の構成例にて学習に必要なX線画像が取得される。コントロールPC201とX線センサ202(放射線検出器)がギガビットイーサ204でつながっている。信号線はギガビットイーサでなくてもCAN(Controller Area Network)や光ファイバーなどでもよい。ギガビットイーサ204には、X線発生装置203、表示部205、記憶部206、ネットワークインタフェース部207、イオンチャンバー210、X線制御部211が接続されている。コントロールPC201には例えば、バス2011に対して、CPU(中央演算装置)2012、RAM(Random Access Memory)2013、ROM(Read Only Memory)2014、記憶部2015が接続された構成になる。そしてコントロールPC201には、USBやPS/2で入力部208が接続され、DisplayPortやDVIで表示部209が接続される。このコントロールPC201を介して、X線センサ202や表示部205などにコマンドを送る。コントロールPC201では、撮影モード毎の処理内容がソフトウェアモジュールとして記憶部2015に格納され、不図示の指示手段によりRAM2013に読み込まれ、実行される。処理された画像はコントロールPC内の記憶部2015もしくはコントロールPC外の記憶部206へと送られ、保存される。
次に図2(b)の構成例にてCNNの学習がされる。学習用PC221には例えば、バス2211に対して、CPU(中央演算装置)2212、RAM(Random Access Memory)2213、ROM(Read Only Memory)2214、記憶部2215が接続された構成になる。そして学習用PC201には、USBやPS/2で入力部222、DisplayPortやDVIで表示部223、USBで記憶部224が接続される。図1に示した101、102、103、104、105は、ソフトウェアモジュールとして記憶部2215に格納されている。もちろん本発明は図1に示した101、102、103、104、105を専用の画像処理ボードとして実装してもよい。目的に応じて最適な実装を行うようにすればよい。図2(a)にて取得した学習画像は、記憶部224から入力するか、もしくはネットワークI/Fを介した不図示の記憶部などから入力してもよい。
以上のような構成を備えた機械学習装置において、本実施形態の特徴である図1に示した構成101から105の動作について、その詳細を以下3つの実施形態にそって説明する。
[実施形態1]
図1の構成図と図3の全体フローを使い、処理の流れにそって説明する。まず入力部101は、X線画像を取得する(S301)。入力部101は取得したX線画像のデータ拡張を行う(S302)。データ拡張とは、1つの画像を回転や反転することで、異なる特徴の画像として扱うことである。CNNに入力する高解像度画像サイズが入力部101で取得したX線画像サイズ以下である場合は、切り出しも含める。切り出し、回転、反転の組み合わせによってデータ拡張を行う。入力部101はデータ拡張した画像を高解像度画像として出力する(S303)。高解像度画像とは、CNNが出力する超解像画像に対する正解画像に相当する。
図1の構成図と図3の全体フローを使い、処理の流れにそって説明する。まず入力部101は、X線画像を取得する(S301)。入力部101は取得したX線画像のデータ拡張を行う(S302)。データ拡張とは、1つの画像を回転や反転することで、異なる特徴の画像として扱うことである。CNNに入力する高解像度画像サイズが入力部101で取得したX線画像サイズ以下である場合は、切り出しも含める。切り出し、回転、反転の組み合わせによってデータ拡張を行う。入力部101はデータ拡張した画像を高解像度画像として出力する(S303)。高解像度画像とは、CNNが出力する超解像画像に対する正解画像に相当する。
次に、第一解像度変換部102は、高解像度画像を入力とし、縮小処理によって低解像度画像を出力する(S304)。縮小処理の方法は、超解像処理を適用する低解像度画像と高解像度画像との関係に依存する。例えば、適用する系における低解像度画像は、高解像度画像を加算平均することで得られる関係であれば、縮小処理は加算平均にて行う。すなわち、CNNを学習させる内容に合った縮小の方法を選択する。縮小率も同様で、解像度を2倍にするCNNを学習させるのであれば、縮小率は2分の1とする。
次に、第二解像度変換部103は、低解像度画像を入力とし、拡大処理によって拡大画像を出力する(S305)。拡大処理の方法は、例えばバイリニア補間やバイキュービック補間を用いる。拡大率は高解像度画像と同じ解像度になるように設定する。
次に、画像生成部104は、拡大画像を入力とし、高周波の付加処理を行う(S306)。拡大画像と正解画像の解像度は同じであるが、拡大画像には高周波成分が少ない。拡大画像をそのまま機械学習の入力として使用しても、高周波成分の復元は困難である。そこで、図4のフローに従って、拡大画像にノイズの高周波成分を付与することを行う。すなわち、画像生成部104は、拡大処理された放射線画像に特定の帯域成分を付加する処理を行う。X線画像のノイズは、X線の物理特性から算出することができる。X線のノイズはX線量に依存するランダム量子ノイズとX線量に非依存のランダムシステムノイズに大きく分けられる。具体的には、X線センサ202は、蛍光体によってX線を可視光に変換する構成を取ることから、X線の信号は蛍光体の解像度によって規定される変調伝達関数(MTF:Modulation Transfer Function)に応じて高周波の減衰が生じることが知られている。X線量子の揺らぎによって発生する量子ノイズも同様の変調伝達関数によって高周波の減衰が発生する。すなわち、量子ノイズは高周波成分が減衰したノイズの一例に相当する。一方で、検出器及び回路等から発生する暗電流や電気的なノイズ等のシステムノイズは蛍光体の影響を受けない。つまり、放射線画像に含まれるノイズは、撮影時の線量に拠らないシステムノイズと、撮影時の線量によって変化する量子ノイズを加算したものとなる。つまり、画像生成部104は、放射線画像を検出する放射線検出器のシステムノイズのノイズ量と、放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量とを用いて算出される特定の帯域成分を拡大処理された放射線画像に付加する。また、画像生成部104は、拡大処理された放射線画像の画素値に基づいて得られる量子ノイズのノイズ量を用いて算出される特定の帯域成分を拡大処理された放射線画像に付加することができる。具体的には、X線画像の画素値からランダム量子ノイズ量を計算する際の変換係数Kqとランダムシステムノイズの量Snをあらかじめ求めておくと、拡大画像の画素値Xのノイズnは例えば式1のようにあらわすことができる。
式1のLPF()は蛍光体によるボケを表している。上述のように高解像度画像を取得するX線センサ202が蛍光体を用いた間接変換方式のセンサの場合、高解像度画像には蛍光体によるボケが加わる。そのため、ランダム量子ノイズの成分に対して、蛍光体によるボケを再現するローパスフィルタ処理を行っている。不要な場合は省略してもよい(S401)。得られたノイズ画像に対し、拡大画像の生成過程と同様の処理を行う。まず縮小処理を行う(S402)。S402の処理はS304と同じ処理を行う。次に拡大処理を行い、拡大ノイズ画像を得る(S403)。S403の処理は、S305と同じ処理を行う。同じ処理過程をたどることで、拡大ノイズ画像は、拡大画像と同じ帯域の周波数成分を失うことになる。そのため、元のノイズ画像から拡大ノイズ画像を引くことで、正解画像に存在するノイズの高周波成分を取得することができる(S404)。
上記の一連の処理により取得されたノイズの高周波成分を拡大画像に付加する処理は、第一解像度変換部102による解像度変換によって失われた帯域成分を拡大画像に付加する処理に相当する。すなわち、換言すると拡大処理された放射線画像において高解像度画像に比べて減衰したノイズの高周波成分を拡大処理された放射線画像に付加することに相当する。
さらに、システムノイズと量子ノイズとを含むノイズ画像と、ノイズ画像に第一解像度変換部102による解像度変換と第二解像度変換部103による拡大処理とを施すことにより得られる拡大ノイズ画像との差分から算出される特定の帯域成分を拡大画像に付加する処理に相当する。
ノイズ画像をN、拡大ノイズ画像をNEx、拡大画像をImgExとすると、高周波付加拡大画像InHは式2のように表される。
高周波付加拡大画像には、高解像度画像に含まれる高周波成分のうち、ノイズの高周波成分が含まれることになる。wはノイズの高周波成分を付加する際の重みである。学習の収束状況や出力画像の一致度に合わせ、調整することが可能である。すなわち、画像生成部104は、ノイズ画像と拡大ノイズ画像との差分に重みづけを行った特定の帯域成分を拡大画像に付加することができる。
次に、機械学習部105は、高解像度画像および高周波付加拡大画像に対し、前処理を行い、前処理済高解像度画像および前処理済拡大画像を出力する(S307)。前処理とは、CNNのロバスト性を向上させるための処理である。例えば画像の最大値と最小値の範囲で正規化をしたり、画像の平均値を0、標準偏差を1にした正則化をしたりする。機械学習部105は、前処理済高解像度画像および前処理済拡大画像を用いてCNNの学習を行う(S308)。
学習フローを図5(a)に示す。学習は、教師データを使用して図5(b)のように学習をする。教師データは、入力データとして拡大画像511と、それに対応した正解データとして高解像度画像515の組である。拡大画像511は本実施形態における前処理済み拡大画像を、高解像度画像515は本実施形態における前処理済み高解像度画像を指す。機械学習部105は、拡大画像511に対して、学習途中のCNN512のパラメータによる推論処理が行われ、推論結果として超解像画像514が出力される(S501)。ここで、CNN512は、多数の処理ユニット513が任意に接続された構造を取る。処理ユニット513の例としては、畳み込み演算や、正規化処理、あるいは、ReLUやSigmoid等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数、のように順番に処理を行う組が3~数百程度の層状に接続され、さまざまな構造を取ることができる。
次に、推論結果である超解像画像514と高解像度画像515から、損失関数を算出する(S502)。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。S402で算出した損失関数を起点とした誤差逆伝搬を行い、CNN512のパラメータ群を更新する(S503)。
最後に、学習の終了判定が行われ、学習を継続する場合はS501に進む(S504)。S501~503の処理を、拡大画像511と高解像度画像515を変えながら繰り返すことで、損失関数が低下するようにCNN512のパラメータ更新が繰り返され、機械学習部105の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。
本実施形態では、CNNのパラメータは、前処理済拡大画像を入力しCNNが出力した超解像画像と、前処理済高解像度画像との比較結果から更新される。前処理済拡大画像にはノイズの高周波成分が付加されている。従来は信号とノイズの低周波成分から信号とノイズの高周波成分を推定する必要があったが、本実施形態では、信号とノイズの低周波成分及びノイズの高周波成分から、信号の高周波成分を推定することになる。CNNが利用できる情報は増えた上、信号の高周波成分のみを復元することになり、精度よく推定することができる。X線画像のランダム量子ノイズ量を計算する際の変換係数やランダムシステムノイズの量が不明の場合は、適切なガウシアンノイズを付加する形でも構わない。
このようにノイズの高周波成分を付加した画像で学習を行ったことにより、CNNの構造を複雑にすることなく、超解像画像の画質を向上することができ、処理速度の増大も防げる。また、付加する高周波成分がX線の物理特性に基づいたノイズ成分であるため、アーチファクトを発生させるリスクを非常に小さくすることができる。
[実施形態2]
図6の構成図と図3の全体フローを使い、処理の流れにそって説明する。図6における601から605は図1の101~105と同様である。
図6の構成図と図3の全体フローを使い、処理の流れにそって説明する。図6における601から605は図1の101~105と同様である。
S301からS306は実施形態1と同様のため省略する。
機械学習部605は、高解像度画像に前処理を行い、前処理済高解像度画像を出力する。さらに、拡大画像と高周波付加拡大画像に対し、前処理を行い、第一の前処理済拡大画像と第二の前処理済拡大画像を出力する(S307)。前処理とは、CNNのロバスト性を向上させるための処理である。例えば画像の最大値と最小値の範囲で正規化をしたり、画像の平均値を0、標準偏差を1にした正則化をしたりする。機械学習部605は、前処理済高解像度画像、第一の前処理済拡大画像および第二の前処理済拡大画像を用いてCNNの学習を行う(S308)。すなわち、実施形態1の構成に比べ、機械学習部605は、拡大処理された放射線画像をさらに含む学習データを用いて学習器の学習を行うことができる。
学習フローを図7(a)に示す。学習は、教師データを使用して図7(b)のように学習をする。教師データは、入力データとして拡大画像711および拡大画像712と、それに対応した正解データとして高解像度画像716の組である。拡大画像711は本実施形態における第一の前処理済拡大画像を、拡大画像712は本実施形態における第二の前処理済拡大画像を、高解像度画像717は本実施形態における前処理済高解像度画像を指す。機械学習部605は、CNN713へ複数画像を入力する。拡大画像711と拡大画像712を入力とし、学習途中のCNN713のパラメータによる推論処理が行われ、推論結果として超解像画像715が出力される(S701)。ここで、CNN713は、多数の処理ユニット714が任意に接続された構造を取る。処理ユニット713の例としては、畳み込み演算や、正規化処理、あるいは、ReLUやSigmoid等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。さらにダウンサンプリングやアップサンプリングといった処理を図7(c)のように組み合わせた処理ユニット717の構造をとることによって、より複雑な表現を軽量なモデルで表現することができる。図7(c)のようなCNN713に対し、例えば、拡大画像711と拡大画像712の両方を初段の畳み込み演算層に入力してもよい。また、拡大画像711のみを初段の畳み込み演算層に入力し、拡大画像712を別の畳み込み演算層に入力するように、それぞれを異なる層へ入力してもよい。すなわち、機械学習部605は、第1の放射線画像と第2の放射線画像と前記拡大処理された放射線画像を含む学習データを用いてニューラルネットワークの学習を行い、第2の放射線画像と拡大処理された放射線画像とを、前記ニューラルネットワークにおける異なる層に入力する学習手段の一例に相当する。なお、異なる層へ入力する場合、CNN713の出力に近い層へノイズの高周波成分が付加されている拡大画像712を入力すると、高周波成分に対する拘束が強まり、高周波成分の復元に効果的である。すなわち、機械学習部605は、拡大処理された放射線画像を入力する層に比べて出力層に近い層に第2の放射線画像を入力する学習手段の一例に相当する。さらに拘束を高めるために、CNN713のデータパス718をカットし、高解像度の成分を拡大画像712のみにしてもよい。
次に、CNN713の推論結果である超解像画像715と高解像度画像716から、損失関数を算出する(S702)。なお、損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。より知覚的な復元をするために、超解像画像715と高解像度画像716の低周波成分での誤差を使用してもよい。高周波成分はランダムなノイズ成分の影響が強く表れるため、高周波成分を含んだ状態で画素値の誤差を計算すると誤差が大きくなる。それに従ってCNN713のパラメータを更新すると、ランダムノイズの影響を受けないようにノイズをぼかした画像を生成するパラメータになりやすい。したがって、低周波成分での誤差をブレンドした形の損失関数を使ってもよい。超解像画像SR、高解像度画像HRとしたとき、損失関数Eを式(3)として表せる。
kは学習時に使用する教師データセットの番号、L()はローパスフィルタ、αは加算重みである。L()は例えばガウシアンフィルタでよい。もしくは、S304の縮小処理で低解像度画像を作成し、S305の拡大処理で拡大した画像を利用してもよい。すなわち、第1の放射線画像(高解像度画像)の解像度を第一解像度変換部102により変換した解像度の低い放射線画像と、拡大処理された放射線画像を入力としてCNNが出力する超解像画像に第一解像度変換部102による変換を行うことにより生成される放射線画像との誤差を算出してもよい。あるいは、第1の放射線画像の解像度を第一解像度変換部102により変換した解像度の低い放射線画像に第二解像度変換部103により拡大処理を行った放射線画像と、拡大処理された放射線画像を入力としてCNNが出力する超解像画像に前記変換手段による第一解像度変換部102による変換と、第二解像度変換部103による拡大処理を行うことにより生成される放射線画像との誤差を算出してもよい。なお、式(3)では二乗誤差の重みづけという形になっているが、絶対値誤差など任意の誤差の重みづけでよい。
S702で算出した損失関数を起点とした誤差逆伝搬を行い、CNN713のパラメータ群を更新する(S703)。
最後に、学習の終了判定が行われ、学習を継続する場合はS701に進む(S704)。S701~703の処理を、拡大画像711、拡大画像712と高解像度画像716を変えながら繰り返すことで、損失関数が低下するようにCNN713のパラメータ更新が繰り返され、機械学習部605の精度を高めることができる。十分に学習が進み、学習終了と判定された場合は、処理を完了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行う。
[実施形態3]
本学習装置と、本学習装置によって得られたCNNのパラメータ(以下、学習データ)を使用する推論装置(医用情報処理装置)との関係について説明する。推論装置とは、学習装置の推論処理部分だけを行う装置である。図9に推論時のフローを示した。図5の学習時のフローと同様に、拡大画像911を入力とし、CNN913による推論処理が行われ、推論結果として超解像画像915が出力される(S901)。ここで、CNN913は、多数の処理ユニット914が任意に接続された構造を取り、CNN913のパラメータは、学習データ912によりセットされる。
本学習装置と、本学習装置によって得られたCNNのパラメータ(以下、学習データ)を使用する推論装置(医用情報処理装置)との関係について説明する。推論装置とは、学習装置の推論処理部分だけを行う装置である。図9に推論時のフローを示した。図5の学習時のフローと同様に、拡大画像911を入力とし、CNN913による推論処理が行われ、推論結果として超解像画像915が出力される(S901)。ここで、CNN913は、多数の処理ユニット914が任意に接続された構造を取り、CNN913のパラメータは、学習データ912によりセットされる。
推論装置において、学習データ912を複数保持することが可能である構成の場合は、学習時にX線センサの特性別に学習データを生成しておく。X線の物理特性は、X線画像を取得するX線センサ202の特性に依存する。X線センサの特性はセンサそのものの構造や、画像読み取り時の方法(ビニング)や出力ゲイン設定などの駆動方法から決まる。X線画像のノイズは、X線の物理特性から算出されるため、学習データをセンサの特性別に保持する。例えば、図8(a)のように、画像生成部104は、センサ特性802のセンサで取得した拡大画像801に対し、センサ特性802のノイズの高周波成分を付加した後(S803)、機械学習部105が学習をし(S804)、学習データ805を生成する。そして、センサ特性807のセンサで取得した拡大画像806に対しては、センサ特性807のノイズの高周波成分を付加した後(S808)、機械学習部105が学習をし(S809)、学習データ810を生成する。すなわち、放射線を検出する第1の放射線検出器から得られる放射線画像を含む第1の学習データと、前記第1の検出器と異なる第2の放射線検出器から得られる放射線画像を含む第2の学習データと、を生成する。そして、第1の学習データを用いてCNNの学習を行うことにより第1のパラメータを取得し、第2の学習データを用いてCNNの学習を行うことにより第2のパラメータを取得してもよい。
あるいは、第1の駆動方式の放射線検出器により得られる放射線画像を含む第1の学習データと、第1の駆動方式と異なる第2の駆動方式の放射線検出器から得られる放射線画像を含む第2の学習データと、を生成してもよい。そして、第1の学習データを用いてCNNの学習を行うことにより第1のパラメータを取得し、第2の学習データを用いてCNNの学習を行うことにより第2のパラメータを取得してもよい。
そして、推論時は、推論に使用するX線センサのノイズ特性でノイズ付加をし、推論に使用するX線センサの学習データを用いて推論を行う。例えば推論時の入力画像がセンサ特性802のセンサで被検体を撮影することにより取得した画像であれば、学習データ805を使って推論する。そうすることで、X線センサに特化した推論が可能となる。
一方、推論装置において、学習データ912を複数保持することが不可能な構成である場合は、学習時に汎用的な学習データを生成しておく。図8(b)のように、画像生成部104は、センサ特性812のセンサで取得した拡大画像811に対し、センサ特性812のノイズの高周波成分を付加する(S813)。そして、センサ特性815のセンサで取得した拡大画像814に対しては、センサ特性815のノイズの高周波成分を付加する(S816)。すなわち、第1の放射線画像の撮影に用いられた放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量を用いて算出される特定の帯域成分を拡大画像に付加することができる。また、システムノイズのノイズ特性も放射線検出器ごとに異なる。そのため、第1の放射線画像の撮影に用いられた放射線検出器のシステムノイズを拡大画像にさらに付加することができる。そして、機械学習部105は、センサ特性812の高周波成分を付加した画像もセンサ特性815の高周波成分を付加した画像の両方を使って学習を行い、汎用学習データ818を生成する。そして、推論時は、推論に使用するX線センサ202のノイズ特性でノイズ付加をし、汎用学習データ818を用いて推論を行う。また、汎用学習データ818生成時に、推論に使用するX線センサのセンサ特性を含まない場合であっても、汎用学習データ818は汎化性能に長けているため、汎用学習データ818を用いて推論を行えばよい。図8では、2つのセンサ特性を示したが、2つ以上であっても同様である。
(その他の実施形態)
本明細書の開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路によっても実現可能である。
本明細書の開示は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路によっても実現可能である。
プロセッサまたは回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサまたは回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、またはニューラルプロセッシングユニット(NPU)を含みうる。
上述の各実施形態における学習装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。学習装置および放射線撮影システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本明細書に開示の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
101 入力部
102 第一解像度変換部
103 第二解像度変換部
104 画像生成部
105 機械学習部
102 第一解像度変換部
103 第二解像度変換部
104 画像生成部
105 機械学習部
Claims (20)
- 第1の放射線画像を取得する取得手段と、
前記第1の放射線画像を前記第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換手段と、
前記変換手段により変換された前記解像度の低い放射線画像を前記第1の放射線画像の解像度に拡大する拡大処理を行う処理手段と、
前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第2の放射線画像を生成する生成手段と、
前記第1の放射線画像と前記第2の放射線画像とを含む学習データを用いて学習器の学習を行う学習手段と、
を備えることを特徴とする学習装置。 - 前記生成手段は、前記特定の帯域成分として、前記変換手段による解像度変換によって失われた帯域成分を前記拡大処理された放射線画像に付加することにより前記第2の放射線画像を生成することを特徴とする請求項1に記載の学習装置。
- 前記生成手段は、放射線画像を検出する放射線検出器のシステムノイズのノイズ量と、前記放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量とを用いて算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第2の放射線画像を生成することを特徴とする請求項1または2に記載の学習装置。
- 前記生成手段は、前記拡大処理された放射線画像の画素値に基づいて得られる前記量子ノイズのノイズ量を用いて算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第2の放射線画像を生成することを特徴とする請求項3に記載の学習装置。
- 前記生成手段は、前記システムノイズと前記量子ノイズとを含むノイズ画像と、前記ノイズ画像に前記変換手段による解像度変換と前記処理手段による拡大処理とを施すことにより得られる拡大ノイズ画像と、の差分から算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第2の放射線画像を生成することを特徴とする請求項3または4に記載の学習装置。
- 前記生成手段は、前記差分に重みづけを行った前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第2の放射線画像を生成することを特徴とする請求項5に記載の学習装置。
- 前記生成手段は、前記拡大処理された放射線画像において前記第1の放射線画像に比べて減衰した高周波成分を、前記拡大処理された放射線画像に付加することにより第2の放射線画像を生成することを特徴とする請求項1乃至6のいずれか1項に記載の学習装置。
- 前記学習手段は、前記拡大処理された放射線画像をさらに含む学習データを用いて前記学習器の学習を行うことを特徴とする請求項1乃至7のいずれか1項に記載の学習装置。
- 前記学習手段は、前記第1の放射線画像と前記第2の放射線画像と前記拡大処理された放射線画像を含む学習データを用いてニューラルネットワークの学習を行い、前記第2の放射線画像と前記拡大処理された放射線画像とを、前記ニューラルネットワークにおける異なる層に入力することを特徴とする請求項8に記載の学習装置。
- 前記学習手段は、前記拡大処理された放射線画像を入力する層に比べて出力層に近い層に前記第2の放射線画像を入力することを特徴とする請求項9に記載の学習装置。
- 前記学習手段は、前記第1の放射線画像の解像度を前記変換手段により変換した前記解像度の低い放射線画像と、前記拡大処理された放射線画像を入力として前記ニューラルネットワークが出力する超解像画像に前記変換手段による前記変換を行うことにより生成される放射線画像との誤差を算出し、前記ニューラルネットワークのパラメータを更新することを特徴とする請求項9または10に記載の学習装置。
- 前記学習手段は、前記第1の放射線画像の解像度を前記変換手段により変換した前記解像度の低い放射線画像に前記処理手段により拡大処理を行った放射線画像と、前記拡大処理された放射線画像を入力として前記ニューラルネットワークが出力する超解像画像に前記変換手段による前記変換と、前記処理手段による前記拡大処理を行うことにより生成される放射線画像との誤差を算出し、前記ニューラルネットワークのパラメータを更新することを特徴とする請求項9または10に記載の学習装置。
- 前記学習手段は、放射線を検出する第1の放射線検出器から得られる放射線画像を含む学習データと、前記第1の検出器と異なる第2の放射線検出器から得られる放射線画像を含む学習データと、のそれぞれを用いて前記ニューラルネットワークの学習を行うことにより第1のパラメータと第2のパラメータを取得することを特徴とすることを特徴とする請求項9乃至12のいずれか1項に記載の学習装置。
- 前記学習手段は、第1の駆動方式の放射線検出器により得られる放射線画像を含む学習データと、前記第1の駆動方式と異なる第2の駆動方式の放射線検出器から得られる放射線画像を含む学習データと、のそれぞれを用いて前記ニューラルネットワークの学習を行うことにより第1のパラメータと第2のパラメータを取得することを特徴とすることを特徴とする請求項9乃至12のいずれか1項に記載の学習装置。
- 前記生成手段は、前記第1の放射線画像の撮影に用いられた前記放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズのノイズ量を用いて算出される前記特定の帯域成分を前記拡大処理された放射線画像に付加することにより前記第2の放射線画像を生成することを特徴とする請求項3または4に記載の学習装置。
- 第1の放射線画像と、前記第1の放射線画像を前記第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換し、前記変換された前記解像度の低い放射線画像を前記第1の放射線画像の解像度に拡大する拡大処理を行い、前記拡大処理された放射線画像に特定の帯域成分を付加することにより得られる第2の放射線画像と、を含む学習データを用いて学習器の学習を行う学習手段を備えることを特徴とする学習装置。
- 被検体を撮影することにより得られる放射線画像を取得する取得手段と、
請求項1乃至16のいずれか1項に記載の学習装置により学習された前記学習器に前記被検体を撮影することにより得られる放射線画像を入力することにより、前記被検体を撮影することにより得られる放射線画像に比べて解像度の高い放射線画像を生成する生成手段と、
を備えることを特徴とする医用情報処理装置。 - 第1の放射線画像を取得する取得工程と、
前記第1の放射線画像を前記第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換する解像度変換工程と、
前記解像度変換手段により変換された前記解像度の低い放射線画像を前記第1の放射線画像の解像度に拡大する拡大処理を行う拡大処理工程と、
前記拡大処理された放射線画像に特定の帯域成分を付加することにより第2の放射線画像を生成する生成工程と、
を備えた学習データの生成方法。 - 第1の放射線画像を取得する取得工程と、
前記第1の放射線画像を前記第1の放射線画像の解像度に比べて解像度の低い放射線画像に変換する変換工程と、
前記変換手段により変換された前記解像度の低い放射線画像を前記第1の放射線画像の解像度に拡大する拡大処理を行う処理工程と、
前記処理手段により拡大処理された放射線画像に特定の帯域成分を付加することにより第2の放射線画像を生成する生成工程と、
前記第1の放射線画像と前記第2の放射線画像とを含む学習データを用いて学習器の学習を行う学習工程と、
を備えることを特徴とする学習方法。 - コンピュータを、請求項1乃至16のいずれか1項に記載の学習装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021203548A JP2023088665A (ja) | 2021-12-15 | 2021-12-15 | 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021203548A JP2023088665A (ja) | 2021-12-15 | 2021-12-15 | 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023088665A true JP2023088665A (ja) | 2023-06-27 |
Family
ID=86935203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021203548A Pending JP2023088665A (ja) | 2021-12-15 | 2021-12-15 | 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023088665A (ja) |
-
2021
- 2021-12-15 JP JP2021203548A patent/JP2023088665A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107958471B (zh) | 基于欠采样数据的ct成像方法、装置、ct设备及存储介质 | |
JP5864958B2 (ja) | 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体 | |
US20230206404A1 (en) | Image processing apparatus, image processing method, and computer-readable medium | |
CN111968058A (zh) | 一种低剂量ct图像降噪方法 | |
CN110998651A (zh) | 一种用于生成对象的增强断层扫描图像的方法 | |
CN101129266A (zh) | X线图像处理系统 | |
CN110473150B (zh) | 基于多特征提取的cnn医学ct图像去噪方法 | |
WO2022091869A1 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
KR102448069B1 (ko) | 방사선 촬영에 의해 획득된 영상에 포함된 노이즈를 저감하기 위한 영상 처리 방법 및 장치 | |
KR102428725B1 (ko) | 영상 개선 방법 및 이를 수행하는 컴퓨터 프로그램 | |
KR102472464B1 (ko) | 영상처리방법 및 이를 이용한 영상처리장치 | |
US20220164927A1 (en) | Method and system of statistical image restoration for low-dose ct image using deep learning | |
JP6253633B2 (ja) | 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体 | |
JP5223266B2 (ja) | X線画像システム | |
CN117876519A (zh) | 一种基于扩散模型的弦图恢复方法及系统 | |
CN113793272A (zh) | 图像降噪方法及装置、存储介质、终端 | |
CN115397332A (zh) | 用于实时视频增强的系统和方法 | |
WO2022091875A1 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
JP2023088665A (ja) | 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム | |
Ede | Deep learning supersampled scanning transmission electron microscopy | |
WO2021039211A1 (ja) | 機械学習装置、機械学習方法及びプログラム | |
JP2008220414A (ja) | 放射線画像処理装置及び放射線画像処理方法 | |
US20220414832A1 (en) | X-ray imaging restoration using deep learning algorithms | |
CN116228900A (zh) | 一种基于深度学习的压缩能谱x射线ct图像重建方法 | |
EP4057292A1 (en) | On-site training of a machine-learning algorithm for generating synthetic imaging data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |