JP2023077989A - 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム - Google Patents

放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム Download PDF

Info

Publication number
JP2023077989A
JP2023077989A JP2021191532A JP2021191532A JP2023077989A JP 2023077989 A JP2023077989 A JP 2023077989A JP 2021191532 A JP2021191532 A JP 2021191532A JP 2021191532 A JP2021191532 A JP 2021191532A JP 2023077989 A JP2023077989 A JP 2023077989A
Authority
JP
Japan
Prior art keywords
noise
image
learning
radiographic image
radiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021191532A
Other languages
English (en)
Inventor
剛 小林
Takeshi Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021191532A priority Critical patent/JP2023077989A/ja
Priority to US18/058,099 priority patent/US20230162328A1/en
Publication of JP2023077989A publication Critical patent/JP2023077989A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】 好適なノイズ低減処理を適用することのできる放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラムを提供する。【解決手段】 本発明に係る放射線画像処理装置は、被検査物の第1の放射線画像を取得する取得手段と、放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて学習データとして用いる放射線画像を選択して学習を行った学習済モデルに前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、を備えることを特徴とする。【選択図】 図1A

Description

本発明は、放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラムに関する。
近年、X線などの放射線を検出するための検出部を備えた放射線検出器が産業や医療などの分野で広く用いられている。特に、半導体センサを用いて放射線画像を得るデジタル放射線撮影(DR:Digital Radiography)装置が広く普及している。
このようなデジタル放射線撮影装置においては、撮影画像の画質向上のために種々の画像処理を行うことが一般的であり、撮影画像の粒状性を改善し、診断領域の視認性を向上するノイズ低減処理もその1つである。とくに、ディープラーニングなどの機械学習技術を応用したノイズ低減処理は、大きく粒状性を改善できる可能性がある。例えば非特許文献1では、ノイズを加算した画像の組を用いて教師あり学習を行うことで良好なノイズ低減効果を得る技術が提案されている。
しかしながら、前述のような従来技術には、以下のような課題が生じる場合がある。
先行技術によれば、機械学習技術を応用したノイズ低減処理によって良好な効果を得ることができるものの、学習時に用いる学習データ(入力データと正解データの組)によって、性能が変化することがあった。とりわけ、正解データに大量にノイズが含まれている画像を用いると、ノイズがある状態を正解として学習しようとするため、良好なノイズ低減効果が得られない場合があった。
本発明は、以上の問題点に鑑みてなされたものであって、放射線画像に対して好適なノイズ低減処理を適用することのできる放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラムを提供することを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
本発明の目的を達成するために、本発明に係る放射線画像処理装置は、被検査物の第1の放射線画像を取得する取得手段と、放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて学習データとして用いる放射線画像を選択して学習を行った学習済モデルに前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、を備えることを特徴とする。
本開示の一実施態様によれば、放射線画像に対して好適なノイズ低減処理を適用することのできる放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラムを提供することができる。
第1実施形態に係る放射線撮影システムの概略的な構成の一例を示す図。 第1実施形態に係る放射線検出器の概略的な構成の一例を示す図。 第1実施形態に係る制御部の概略的な構成の一例を示す図。 第1実施形態に係るノイズ低減処理部の概略的な構成の一例を示す図。 第1実施形態に係る学習済モデルの概略的な構成の一例を示す図。 第1実施形態に係る学習済モデルの概略的な構成の一例を示す図。 第1実施形態に係る学習処理の動作例を説明するための図。 第1実施形態に係る学習処理の一例を示すフローチャート。 第1実施形態に係る放射線検出器において、入射線量と、システムノイズ、量子ノイズ、ノイズの合計、信号、システムノイズ比の関係を説明するための図。 第1実施形態に係る推論処理の一例を示すフローチャート。 第1実施形態に係る画像処理前後の画像の一例を示す図。 第2実施形態に係る学習処理の一例を示すフローチャート。 第3実施形態に係る入射線量とノイズ低減処理部の目標システムノイズ比を示す図。 第3実施形態に係る学習処理の一例を示すフローチャート。
以下、本発明を実施するための例示的な実施形態を、図面を参照して詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下に記載する本開示の実施形態において、放射線には、放射線崩壊によって放出される粒子(光子を含む)が作るビームであるα線やβ線、γ線、さらには、同程度以上のエネルギーを有するビームである、例えばX線や粒子線、宇宙線等も含む。また、以下において、放射線画像の信号の大きさに依存しない暗電流や電気的なノイズ等をシステムノイズという。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークや、深層学習(ディープラーニング)を利用してもよい。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施形態及び変形例に適用することができる。また、学習データとは、機械学習モデルの学習に用いるデータセットのことをいい、機械学習モデルに入力される入力データ及び、機械学習モデルの出力結果の正解となる正解データのペアで構成される。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いた学習によって得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
[第1実施形態]
(放射線撮影システムの構成)
以下、図1A、図1Bを参照して、本開示の第1実施形態に係る放射線撮影システムについて説明する。図1Aは、本実施形態に係る放射線撮影システム1の概略的な構成を示す。なお、以下の説明において、被検査物Oを人体として説明するが、本開示に係る放射線撮影システムによって撮影される被検査物Oは人体に限られず、他の動物や植物、及び非破壊検査の対象物等であってもよい。
本実施形態に係る放射線撮影システム1には、放射線検出器10、制御部20、放射線発生器30、入力部40、及び表示部50が設けられている。なお、放射線撮影システム1は、インターネットやイントラネット等のネットワーク60を介して制御部20に接続されるサーバ等の外部記憶装置70が含まれてもよい。
放射線発生器30は、例えば、X線管等の放射線発生源を備え、放射線を発することができる。放射線検出器10は、放射線発生器30より発せられた放射線を検出し、検出した放射線に対応する放射線画像を生成することができる。このため、放射線検出器10は、放射線発生器30より発せられ、被検査物Oを通った放射線を検出することで、被検査物Oの放射線画像生成することができる。
ここで、図1Bは、本実施形態に係る放射線検出器10の概略的な構成を示す。放射線検出器10には、蛍光体11及び撮影センサ12が設けられている。蛍光体11は、放射線検出器10に入射した放射線を撮影センサ12によって検出可能な波長の光に変換する。蛍光体11は、例えば、CsIやGOS(GdS)等を含んでよい。撮影センサ12は、例えばa-Siや結晶Siで構成される光電変換素子を含み、蛍光体11によって変換された放射線に対応する光を検出し、検出した光に対応する信号を出力することができる。放射線検出器10は、撮影センサ12によって出力された信号についてA/D変換等を行うことで、放射線画像を生成することができる。なお、図1Bでは省略されているが、放射線検出器10は演算部やA/D変換部等を備えていてよい。
制御部20は、放射線検出器10、放射線発生器30、入力部40、及び表示部50に接続されている。制御部20は、放射線検出器10から出力される放射線画像を取得して放射線画像に画像処理を施したり、放射線検出器10や放射線発生器30の駆動を制御したりすることができる。このため、制御部20は、画像処理装置の一例として機能することができる。また、制御部20は、インターネットやイントラネット等の任意のネットワーク60を介して外部記憶装置70に接続されてもよく、外部記憶装置70から放射線画像等を取得してもよい。さらに、制御部20は、ネットワーク60を介して他の放射線検出器や放射線発生器等と接続されてもよい。なお、制御部20は、外部記憶装置70等に有線で接続されてもよいし、無線で接続されてもよい。
入力部40は、マウスやキーボード、トラックボール、タッチパネル等の入力機器を備え、操作者によって操作されることで、制御部20に指示を入力することができる。表示部50は、例えば、任意のモニターを含み、制御部20から出力された情報や画像、及び入力部40によって入力された情報等を表示することができる。
なお、本実施形態において、制御部20や入力部40、表示部50等は別個の装置によって構成されているが、これらは一体的に構成されてもよい。例えば、タッチパネルディスプレイによって入力部40及び表示部50を構成してもよい。また、本実施形態では、制御部20により画像処理装置を構成したが、画像処理装置は放射線画像を取得し、放射線画像に画像処理を施すことができればよく、放射線検出器10や放射線発生器30の駆動を制御しなくてもよい。
また、制御部20と放射線検出器10、放射線発生器30等は有線で接続されてもよいし、無線で接続されてもよい。さらに、外部記憶装置70は、病院内のPACS等の画像システムを構成してもよいし、病院外のサーバ等であってもよい。
(制御部の構成)
次に、図2A、図2Bを参照して、制御部20(放射線画像処理装置)のより具体的な構成について説明する。図2A、図2Bは、本実施形態に係る制御部20の概略的な構成を示す。制御部20には、取得部21、画像処理部22、表示制御部23、駆動制御部24、及び記憶部25が設けられている。
取得部21は、放射線検出器10によって出力された放射線画像や、入力部40によって入力された各種情報等を取得することができる。また、取得部21は、外部記憶装置70等から放射線画像や患者情報等を取得することもできる。すなわち、取得部21は、放射線撮影装置により撮影された被検査物の放射線画像を取得することができる。
画像処理部22は、ノイズ低減処理部26および、診断用画像処理部27からなり、取得部21によって取得された放射線画像に対して本開示に係る画像処理を施すことができる。ノイズ低減処理部26は、学習処理部261と、推論処理部262からなる。学習処理部261は、推論処理部262の構成に加えて、さらに学習データ選択部263と、学習データ生成部264と、パラメータ更新部265が設けられている。この構成により、ノイズ低減処理部26は、ノイズ低減処理を行うための機械学習モデルの学習を行い、当該機械学習モデルを用いて放射線画像に好適なノイズ低減処理を適用することができる。また、診断用画像処理部27は、ノイズ低減処理部26でノイズ低減を施した画像に対して、診断に適した画像に変換するための診断用画像処理を行うことができる。診断用画像処理としては、例えば階調処理や強調処理、グリッド縞低減処理などが含まれる。
次に、学習処理部261の構成について説明する。
学習処理部261は、機械学習モデルを学習する際に適用される学習処理を行うもので、推論処理部262の構成に加え、さらに学習データ生成部264、パラメータ更新部265を有する。
学習処理を行う際は、学習処理部261に画像が入力され、学習データ生成部264によって学習データが作成される。
ここでは、ノイズ低減処理を学習するための学習データの組として、人工ノイズを加算した画像を入力データ、加算しない画像を正解データとしたものを用いた構成例を示す。
入力された画像に、放射線画像の特徴を模擬して作成した人工ノイズを加算することで、学習用データの組を作成する処理を行う。ここで、学習データ生成部264で加算するノイズは、学習データ選択部263によって計算された、製造ばらつきによってばらつきうるノイズ量を反映させたものとなる。加算する人工ノイズの詳細については後述する。
パラメータ更新部265は、推論処理部262の演算結果と、正解データをもとに、推論処理部262が持つ機械学習モデルのパラメータを更新する処理を行う。
ここで、学習処理部261は、放射線撮影システムに必ずしも含まれる必要はなく、例えば放射線撮影システムとは別のハードウェア上に構成し、事前に適切な学習データを用いて学習を行っておくことで学習済みモデルを作成しておき、放射線撮影システムにおいては、推論処理部262による処理だけを行うようにしてもよい。または、学習処理部261を放射線撮影システムに含めることで、設置後に取得した学習データで追加学習を行うことができる構成としてもよい。
表示制御部23は、表示部50の表示を制御することができ、画像処理部22による画像処理前後の放射線画像や患者情報等を表示部50に表示させることができる。駆動制御部24は、放射線検出器10及び放射線発生器30等の駆動を制御することができる。そのため、制御部20は、駆動制御部24によって放射線検出器10及び放射線発生器30の駆動性を制御することで、放射線画像の撮影を制御することができる。
記憶部25は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを記憶することができる。また、記憶部25は、取得部21によって取得された情報や、画像処理部22で画像処理された放射線画像等を記憶することもできる。例えば、記憶部25は、取得部21により取得された放射線画像を記憶したり、後述するノイズ低減処理がなされた放射線画像を記憶したりすることができる。
なお、制御部20は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、放射線撮影システム1の専用のコンピュータとして構成されてもよい。ここで、制御部20は、本実施形態に係る画像処理装置の一例として機能するが、本実施形態に係る画像処理装置は、制御部20に通信可能に接続された別体(外部)のコンピュータであってもよい。また、制御部20や画像処理装置は、例えば、パーソナルコンピュータであってもよく、デスクトップPCや、ノート型PC、タブレット型PC(携帯型の情報端末)が用いられてもよい。なお、プロセッサーは、CPU(Central Processing Unit)であってよい。また、プロセッサーは、例えば、MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)やFPGA(Field-Programmable Gate Array)等であってもよい。
制御部20の各機能は、CPUやMPU等のプロセッサーが記憶部25に記憶されたソフトウェアモジュールを実行することで実現されてよい。なお、プロセッサーは、例えば、GPUやFPGA等であってもよい。また、各機能は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。例えば、画像処理部22をASIC等の専用のハードウェアで実現してもよいし、表示制御部23をCPUとは異なるGPU等の専用のプロセッサーを用いて実現してもよい。記憶部25は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
(機械学習モデルの構成)
次に、図3A及び図3B、図3Cを参照して、本実施形態に係る学習済モデルを構成する機械学習モデルの例について説明する。本実施形態に係る推論処理部262が用いる機械学習モデルの一例は多層のニューラルネットワークである。
図3Aは、本実施形態に係るニューラルネットワークモデルの概略的な構成例を示している。図3Aに示すニューラルネットワークモデル33は、入力データ31に対して、予め学習した傾向に応じて、ノイズが低減された推論データ32を出力するよう設計されている。出力されるノイズが低減された放射線画像は、機械学習プロセスでの学習内容に基づくものであり、本実施形態に係るニューラルネットワークは、放射線画像に含まれる信号とノイズを分別するための特徴量を学習している。
なお、多層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(以後、CNN:Convolutional Neural Networkと呼称する)を用いることができる。また、多層のニューラルネットワークの少なくとも一部には、オートエンコーダ(自己符号化器)に関する技術が用いられてもよい。
ここで、放射線画像のノイズ低減処理用の機械学習モデルとして、CNNを用いる場合について説明する。図3Bは、本実施形態に係るニューラルネットワークモデルを構成するCNNの概略的な構成33の一例を示す。本実施形態に係る学習済モデルの例では、放射線画像31が入力されると、ノイズが低減された推論画像32を出力することができる。
図3Bに示すCNNは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該CNNの構成33に含まれる層の種類としては、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、及び合成(Merge)層がある。ここで、34は加算層であり、出力の前に、入力データを加算するショートカットを構成するとよい。これにより、当該CNNは、入力データと出力データの差分を学習する構成を取ることができ、好適にノイズをターゲットとした系を取り扱うことが可能となる。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Max Pooling処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、逆畳み込みによるアップサンプリング処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向について、推論時に再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度良くノイズが低減された放射線画像を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本変形例で用いるCNNの構成34は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するU-net型の機械学習モデルである。U-net型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報(空間情報)を、デコーダーとして構成される複数の階層において、同次元の階層(互いに対応する階層)で用いることができるように(例えば、スキップコネクションを用いて)構成される。
図示しないが、CNNの構成の変更例として、例えば、畳み込み層の前後に活性化関数(例えばReLu:Rectifier Linear Unit)の層や、さらにその前後にバッチ正規化(Batch Normalization)などの各種の正規化処理を行う層を組み込んでもよい。
CNNのこれらのステップを通して、入力される放射線画像からノイズの特徴を抽出することができる。
ここで、学習処理部261は、パラメータ更新部265を備える。パラメータ更新部265は、図3Cに示すように、学習データにおける入力データ31に推論処理部262のニューラルネットワークモデル33を適用した推論データ32と、学習データにおける正解データ35から、損失関数を算出し、損失関数に基づいてニューラルネットワークモデル33のパラメータを更新する処理を行う。ここで、損失関数は、推論データ32と、正解データ35の誤差を示すものである。
また、パラメータ更新部265は、損失関数によって表される推論データ32と、正解データ35の誤差が小さくなるように、例えば、誤差逆伝播法を用いて、畳み込み層のフィルタ係数等を更新するようになっている。誤差逆伝播法は、上記の誤差が小さくなるように、ニューラルネットワークの各ノード間のパラメータ等を調整する手法である。
なお、学習には、CNNを構成するユニット(各ニューロン、あるいは各ノード)をランダムに不活性化する手法(ドロップアウト)が用いられてもよい。
さらに、推論処理部262が用いる学習済モデルは、転移学習を用いて生成されたものでもよい。この場合には、例えば、種類等が異なる被検査物Oの放射線画像で学習された機械学習モデルについて転移学習を行って、ノイズ低減処理に用いる学習済モデルを生成してもよい。このような転移学習を行うことによって、学習データを数多く入手するのが難しい被検査物Oについても、効率的に学習済モデルを生成することができる。ここでいう種類等が異なる被検査物Oは、例えば、動物や植物、非破壊検査の対象物等であってよい。
ここで、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、上記のようなCNNを利用した学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、本実施形態に係る学習処理部261には、CPUに加えてGPUを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習処理では、CPU又はGPUのみにより演算が行われてもよい。また、推論処理部262の各処理についても、学習処理部261と同様にGPUを用いて実現してもよい。
以上、機械学習モデルの構成について説明したが、これまでに示したようなCNNを用いたモデルに制限するものではなく、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルを用いた機械学習に類するものであれば何でもよい。
(学習処理)
次に、本実施形態に係る学習処理部261(学習部)の処理の流れについて説明する。
学習処理部261で用いる学習データの組として、ノイズ低減処理を学習するための、人工ノイズを加算した画像を入力データ、加算しない画像を正解データとしたものを用い、対象として医用分野の放射線撮影画像を例として示す。
なお、放射線画像に含まれるノイズは、信号の揺らぎとして標準偏差を計測することで観測が可能であり、主に放射線量子の揺らぎによって発生する量子ノイズと、検出器及び回路等から発生するシステムノイズに大別される。放射線検出器10は、蛍光体11によって放射線を可視光に変換する構成を取ることから、放射線の信号は蛍光体11の解像度によって規定される変調伝達関数(MTF:Modulation Transfer Function)に応じて高周波の減衰が生じることが知られている。放射線量子の揺らぎによって発生する量子ノイズも同様の変調伝達関数によって高周波の減衰が発生する。すなわち、量子ノイズは高周波成分が減衰したノイズの一例に相当する。一方で、検出器及び回路等から発生するシステムノイズは蛍光体の影響を受けない。放射線画像に含まれるノイズは、撮影時の線量に拠らないシステムノイズと、撮影時の線量によって変化する量子ノイズを加算したものとなり、両者の比は図5に示すような割合となる。低線量撮影時はシステムノイズの影響が大きく、ノイズは高周波成分を多く含むものとなり、高線量撮影時では量子ノイズが支配的となるため、ノイズは蛍光体のMTFに従った周波数特性を持つようになる。図5は、入射線量とノイズ量の関係および、システムノイズの比率を示したグラフである。システムノイズ501は線量に対して一定であり、量子ノイズ502は線量と比例して増加する。システムノイズと量子ノイズを加算したノイズの合計503が、実際の画像にあらわれるノイズとなる。ノイズの合計におけるシステムノイズ比率504は、入射線量によってシグモイド様の変動をし、特定の線領域では急激にシステムノイズ比率が変動する特徴がある。入射線量に対する信号505は入射線量と比例しており、ノイズの合計503との比を取ると、シグナルノイズ比506(以下、SN比と呼称する)が得られる。信号は入射線量に比例して増加していくが、ノイズは信号より増加の割合が低いため、SN比は入射線量が高いほど高くなる特徴を持つ。
上記のシステムノイズ501、量子ノイズ502、ノイズの合計503、ノイズの合計におけるシステムノイズ比率504、信号505、シグナルノイズ比506は放射線検出器10の特性によって入射線量に対しておよそ一意に定まる物理特性値である。
SN比が高い画像とは、入射線量・信号が大きく、SN比が高い領域が多く含まれている画像のことを指している。
ここで、正解データに大量にノイズが含まれている画像を用いた場合に、ふたつの問題が発生する。
一つは、正解データのSN比が低いため、ノイズがある状態を正解として学習しようとした結果、良好なノイズ低減効果が得られない場合があることである。
もう一つは、特定の線量域において、システムノイズと量子ノイズの比が急激に変わるため、入力データに加算するノイズの特性によっては、線量と、線量によって変動するノイズの周波数特性の関係を壊してしまい、本来低減するべきノイズの特徴がうまく学習できなくなる可能性があることである。
上記の課題に対処するためには、正解データにできるだけSN比の高い画像を用いることが望ましい。すなわち、学習データとしては、入力データとしてノイズを含んだ放射線画像と、正解データとしてノイズを略含まない放射線画像との組を用いるのが望ましい。ノイズを略含まない放射線画像を得るためには、例えば、同じ被検査物を複数回撮影して得た放射線画像を平均化処理することにより平均画像を作成するなどして、信号と相関のないノイズ成分をキャンセルする方法などで得ることができる。なお、同じ被検査物を複数回撮影する場合、放射線の侵襲性に鑑みると人体を模擬したファントムなどを対象とすることが望ましい。ノイズを略含まない放射線画像を得るための方法は一例であって上記に限定されず、例えば、種々のノイズ低減処理を施すことによりノイズを略含まない放射線画像を得る構成でもよい。
以上を踏まえ、図4~図7を参照して本実施形態に係る学習処理部261の処理の流れについて説明する。
図4は、本実施形態に係る学習処理部261の処理の流れを示すフローチャートである。
ステップS401では、学習する信号量の範囲を選択する。これは、放射線検出器10が扱える信号のダイナミックレンジ内で任意の範囲をランダムに選択するもので、例えば16ビットの信号を扱えるセンサである場合は、0~65535から値の範囲をランダムに選択する。すなわち、学習処理部261は、学習を行う信号量の範囲を決定する決定手段の一例に相当する。また、これは、図5に示されるような放射線検出器10におけるシステムノイズの比率を選択する操作に相当する。
ステップS402では、学習データ選択部263によって、学習データの選択が行われる。取得された学習データから、ステップS401で選択した信号量範囲の学習に適した学習データを選択する。
学習データの取得は、取得部21にて行われ、学習データとして適宜の放射線画像が取得される。なお、取得部21は、記憶部25に記憶された放射線画像を取得してもよいし、外部記憶装置70等から放射線画像を取得してもよい。また、取得部21は、放射線検出器10によって出力された放射線画像を取得してもよい。
以下では、選択する学習データは、選択した信号量範囲におけるシステムノイズ比率によって切り替わる例を説明する。すなわち、以下では、決定された信号量の範囲において推定される放射線画像に含まれるシステムノイズと放射線を検出する放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとの比率に基づいて選択される学習データを用いて学習器の学習を行う例を説明する。
なお、選択する学習データの切り替えに用いる情報は、必ずしもシステムノイズ比率でなくてもよい。例えば、上述したようにシステムノイズ比率は放射線撮影時の線量と関連するため、選択するデータの切り替えに用いる情報として線量に関する情報を用いてもよい。また、システムノイズ比率と線量に関する情報の両方を用いてもよい。すなわち、学習データ選択部263は、放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて学習データを選択できる。なお、信号に関する情報は、例えば、上述のように放射線撮影における線量に関する情報、放射線画像に含まれる信号量、前記放射線画像に含まれる信号とノイズの比率の情報の少なくともいずれか1つの情報を含んでいてもよい。また、ノイズに関する情報は、例えば、システムノイズと量子ノイズとの比率、システムノイズのノイズ量、量子ノイズのノイズ量の少なくともいずれか1つの情報を含んでいてもよい。
ステップS402では、学習データ選択部263は、システムノイズの比率が閾値以上である場合は、SN比が高い画像を選択したうえで、画像を信号量範囲に調整して使用する。すなわち、学習データ選択部263は、システムノイズの比率が閾値より高い場合、選択された信号量の範囲において推定されるシグナルノイズ比より高いシグナルノイズ比の放射線画像を学習データとして用いることができる。また、システムノイズの比率が閾値以下である場合は、選択した信号範囲にある画像をそのまま使用する。すなわち、学習データ選択部263は、システムノイズの比率が閾値より低い場合、選択された信号量の範囲において推定されるシグナルノイズ比の放射線画像を学習データとして用いることができる。
なお画像処理部22の性能によって画像全体を一度に処理することができない場合は、画像を適宜の大きさのROI(たとえば256×256pixel)に分割して処理するようにしてもよい。ROIの画素値分布が広い場合は、最小値が信号量の範囲の最小値を下回らないように選択する。
システムノイズの比率の閾値については、放射線検出器10の性能や、学習するノイズ低減処理の性能目標によって定めればよい。そのため、学習するノイズ低減処理の性能目標(例えば、学習器を用いたノイズ低減処理を施すことにより得られる画像において目標とするシグナルノイズ比など)に応じて実験的に調整することができる。
ここで、SN比の高い画像としては、高線量撮影した画像や、あるいは、人体を模擬したファントムを複数回撮影して得た複数のファントム画像を平均化することにより得られる平均画像を使用することができる。すなわち、学習データ選択部263は、システムノイズの比率が閾値より高い場合、人体を模擬したファントムを複数回撮影して得た複数のファントム画像を平均化することにより得られる平均画像を学習データとして用いることができる。また、選択した画像に任意の係数を乗じて、信号を減衰させた画像を用いてもよい。
ステップS403では、学習データ生成部264によって、学習データに人工ノイズが加算される。
まず、ステップS402にてシステムノイズの比率が閾値以下で、選択した信号範囲にある画像をそのまま使用する場合に加算する人工ノイズについて説明する。すなわち、システムノイズの比率が閾値より低い場合、選択された信号量の範囲において推定されるシグナルノイズ比の放射線画像と、システムノイズと量子ノイズとを模した人工ノイズを放射線画像に加算した放射線画像とを学習データとして用いる。なお、本実施形態では、放射線検出器10のシステムノイズに対応する白色雑音と、蛍光体11のMTFの影響を受けた量子ノイズとを合成したノイズを人工ノイズとして扱うものとする。
ここで、量子ノイズとシステムノイズとの合成比率に関しては、例えば以下(式1)~(式4)の関係式を用いて、放射線検出器10の特性を模擬すると好適である。
いま、量子ノイズの標準偏差をσとし、放射線検出器10によるシステムノイズの標準偏差をσとすると、放射線画像におけるノイズの分散σall は、
σall =σ +σ (式1)
の関係を満たす。また、入力画像の信号をIsigとすると、量子ノイズの標準偏差σは、信号Isigに比例することから、量子ノイズの係数qを用いて、
σ =q×Isig(式2)
と書ける。また、システムノイズの標準偏差σは、信号Isigに比例しない一定値であるため、システムノイズの係数sを用いて、
σ =s(式3)
と書ける。
上記を踏まえ、人工ノイズ(addNoise)は、以下のように求めることができる。まず、システムノイズを模擬した人工システムノイズsNoiseを、標準偏差σの加法性白色ガウス雑音(AWGN:Additive White Gaussian Noise)とする。次に、量子ノイズを模擬した人工量子ノイズqNoiseを、分散σ のポアソン分布に従い、かつ蛍光体11のMTFに従ったNPSを持つノイズとする。例えば、蛍光体11のMTFを2次元フィルタで近似したものをfMTFとしたとき、ポアソン分布に従うノイズ画像にfMTFを畳み込むことで作成すると好適である。なお、ポアソン分布は分散が十分大きいとき正規分布と近似できるため、qNoiseを正規分布に従ったノイズとして扱ってもよい。このとき、人工ノイズ(addNoise)を、
addNoise=A×(sNoise+qNoise)(式4)
と表すことができる。Aは任意の係数で、通常はA=1が好適だが、ノイズ低減効果を変えたい場合は、Aを変化させることでノイズ加算量を調整することも可能である。
放射線画像に生じるノイズの分布は、実験的に平均値および中央値が略0である正規分布に近似することが知られているが、上記のように得られる人工ノイズについても、平均値および中央値が略0となる分布とすることができる。
次に、ステップS402にてシステムノイズの比率が閾値以上で、照射線量が高く、SN比が高い画像を選択したうえで、画像を信号量範囲に調整して使用する場合の人工ノイズについて説明する。
元の放射線画像における信号をIori、画像中に含まれるノイズが標準偏差σoriで表され、信号量の調整を、画像の全画素に一律αを乗算することで行うとすると、信号調整後の信号Idecayとノイズの標準偏差σdecayは、それぞれ
decay=Iori×α(式5)
σdecay=σori×α(式6)
で表すことができる。
このときIdecayに、本来のIdecayとなる線量で撮影した場合と同様のノイズとなるように、ノイズを加算する。すなわち、人工ノイズを加算した放射線画像におけるシステムノイズと量子ノイズの比が、選択された信号量の範囲において推定されるシグナルノイズ比より高いシグナルノイズ比の放射線画像におけるシステムノイズと量子ノイズの比と同等になるように人工ノイズを推定し、推定された人工ノイズを放射線画像に加算する。
オリジナル画像における量子ノイズの標準偏差をσqORI、システムノイズの標準偏差をσsysORIと、放射線検出器10の特性から、信号調整後の信号Idecayに存在すると想定されるノイズの標準偏差をσqTARGETとすると、人工ノイズとして加算するシステムノイズsNoise’の標準偏差σsysADD、量子ノイズqNoise’の標準偏差σqADDは、
Figure 2023077989000002
で表すことができる。ここで、人工ノイズとして加算する量子ノイズqNoise’の周波数特性は、蛍光体11のMTFに従ったNPSを持つものとする。このとき、加算する人工ノイズ(addNoise’)を、
addNoise’=B×(sNoise’+qNoise’)(式9)
で表すことができる。Bは任意の係数で、通常はA=1が好適だが、ノイズ低減効果を変えたい場合は、Bを変化させることでノイズ加算量を調整することも可能である。
なお、人体を模擬したファントムを複数回撮影した平均画像を用いる場合や、使用した画像のSN比が十分良い場合は、ノイズが十分小さいものとして、単純に(式4)に示したノイズを加算してもよい。
本実施形態ではシステムノイズの比率によって加算する人工ノイズを(式4)および(式9)で切り替える例を示したが、全ての場合において(式9)を用いて学習することも可能である。
本実施形態における学習データは、上記放射線画像を入力データ、正解データとしたものとなる。学習処理部261に同じデータとして入力された後、学習処理部内部で、入力データか、入力データおよび正解データに適宜の人工ノイズが加算されることで、入力データと正解データに差異が発生する状態となる。
ステップS404では、学習データの組に対して、適宜の前処理を行う。前処理の方法については制限されるものではないが、例えばノイズ低減処理においては、例えば平方根変換や対数変換等を行うことで、ポアソン分布に従う量子ノイズを入力される放射線の強さによらず略一定とし、加法性のノイズを取り扱えるように変換する処理や、平均値を0にする処理を用いることができる。それに限らず、データを0-1で正規化する、平均値0、標準偏差1となるように標準化するなど、画像処理の内容に応じて適宜の前処理を行えばよい。
ステップS405では、推論処理部262によって、学習データの入力データに対して機械学習モデルを用いた推論処理が行われ、ノイズ低減処理が適用された推論データを出力する。
ステップS406では、パラメータ更新部265により推論データと正解データを比較され、両者の誤差を数値化した損失関数が算出される。また、損失関数に基づいて、機械学習モデルのパラメータ(例えばCNNにおける畳み込み層のフィルタ係数等)が更新されるようになっている。損失関数の例としては、平均絶対誤差(L1loss)や、平均二乗誤差(L2loss)が挙げられる。
ステップS407において、学習の終了判定を行い、終了と判定された場合はフローを終了し、そうでない場合はS401に戻り、別のデータを用いてS401~S406のフローを繰り返す。終了判定の基準としては、たとえば特定のループ回数が実行されたかどうかを判定してもよい。あるいは、損失関数が一定以下であるかを判定してもよい。あるいは、過学習が行われていないかどうかを判定してもよい。あるいは、推論画像におけるノイズ低減の性能を示す指標であるPSNR(Peak Signal to Noise Ratio)や、SSIM(Structual SIMilarity)を評価し、性能が十分な水準に達しているかを判定するなど、機械学習において一般的に用いられる適宜の判定基準を使用することが可能である。
上記説明したように、本実施形における学習処理部261は、学習データにSN比の低い画像が含まれていても好適にノイズが低減された放射線画像を出力することのできる機械学習モデルを生成することができる。
(推論処理部)
次に、図6を参照して、本実施形態に係る推論処理部262の処理の流れについて説明する。図6は、本実施形態に係る推論処理部262の一連の画像処理を示すフローチャートである。
本実施形態に係る一連の画像処理では、処理の対象となる放射線画像に対して、前処理を行い、学習済モデルへの入力とする。その後、学習済モデルからの出力に対して、前処理に対応する後処理を行い、元の放射線画像に対応する、ノイズの低減された放射線画像を生成する。
本実施形態に係る一連の画像処理が開始されると、ステップS601において、取得部21が放射線画像を取得する。取得部21は、放射線検出器10によって生成された放射線画像を取得してもよいし、記憶部25や外部記憶装置70等から放射線画像を取得してもよい。
ステップS602では、前処理が行われる。前処理は、学習処理におけるS404と同じ前処理を行うものである。
ステップS603では、推論処理部262が、学習処理によって得た学習済モデルを用いて、推論処理を行いノイズが低減された画像を生成する。すなわち、推論処理部262は、放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて学習データとして用いる放射線画像を選択して学習を行った学習済モデルに第1の放射線画像を入力することにより、第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段の一例に相当する。また、推論処理部262は、所定の信号量の範囲において推定されるノイズに関する情報に基づいて学習データを選択して学習を行った学習済モデルに第1の放射線画像を入力することにより第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段の一例に相当する。さらに、所定の信号量の範囲において推定される放射線画像に含まれるシステムノイズと放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとの比率に基づいて学習データを選択して学習を行った学習済モデルに第1の放射線画像を入力することにより、第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段の一例に相当する。なお、学習済モデルは予め学習が行われた機械学習モデルであればよく、当該一連の画像処理の度に学習が行われる必要はない。なお、入力画像と、推論処理を行いノイズが低減された画像を特定の比率でブレンドすることで、ノイズ低減処理の強度について調整することが可能である。すなわち、推論処理部262は、第1の放射線画像と第1の放射線画像に比べてノイズが低減された第2の放射線画像を所定の比率でブレンドしたブレンド画像を生成する生成手段の一例に相当する。
また、本実施形態では、学習済モデルは制御部20に設けられる構成としているが、学習済モデルは制御部20に接続された外部記憶装置70等に設けられてもよい。
ステップS604では、ステップS602で行った前処理に対応する後処理を行う。後処理は、前処理で行った、正規化や平準化などの変換の逆処理を行うものである。上記ステップS601~S604の処理により、ノイズが低減された放射線画像を出力することが可能となる。なお画像処理部22の性能によって画像全体を一度に処理することができない場合は、画像を適宜の大きさの小領域(たとえば256×256pixel)に分割して処理するようにしてもよい。
このように、本実施形態に係る一連の画像処理では、学習処理部261によって作成した学習済モデルを用いて推論処理部262の処理を行うことで、デジタル放射線撮影装置において好適なノイズ低減を行った放射線画像を生成することができる。
図7は、本実施形態に係る一連の画像処理前の放射線画像と、処理後の放射線画像の一例を示す図である。入力された放射線画像701にノイズ低減処理部26によるノイズ低減処理を適用した場合の結果を例示する。本実施形態に係る一連の画像処理を施した放射線画像702では、放射線画像701に含まれるノイズが低減され、放射線画像に含まれる被検査物が明瞭に示されていることが分かる。
[第2実施形態]
上述した第1実施形態においては、SN比の高い画像として、高線量で撮影した画像の信号量を調整する例や、ファントム画像の例を示したが、別の実施形態として、次のような構成を取ることも可能である。
この実施形態では、SN比の高い画像を準備するため、適宜のノイズ低減処理を使用する構成を取る。他の構成については他の実施形態と同様である。すなわち、本実施形態において、学習処理部261は、システムノイズの比率が閾値より高い場合、放射線画像にノイズ低減処理を施すことができる。そして、学習処理部261は、ノイズ低減処理された放射線画像と、ノイズ低減処理された放射線画像にシステムノイズと量子ノイズとを模した人工ノイズを加算した放射線画像とを学習データとして用いることができる。
図8は、本実施形態に係る学習処理部261の処理の流れを示すフローチャートである。
ステップS801では、学習処理部261に学習データが入力される。入力される学習データの取得は、取得部21にて行われ、本実施形態では、学習データとして適宜の放射線画像が取得される。なお、取得部21は、記憶部25に記憶された放射線画像を取得してもよいし、外部記憶装置70等から放射線画像を取得してもよい。また、取得部21は、放射線検出器10によって出力された放射線画像を取得してもよい。本実施形態における学習データとは、上記放射線画像を入力データ、正解データとしたものとなる。学習処理部261に同じデータとして入力された後、学習処理部内部で、入力データか、入力データおよび正解データに適宜の人工ノイズが加算されることで、入力データと正解データに差異が発生する状態となる。
ステップS802では、学習データに対して適宜のノイズ低減処理を行い、画像のSN比を向上する処理が行われる。ここで行われるノイズ低減処理については、これまで公知のどのノイズ低減処理を用いてもよいし、あるいは他の実施形態で示したノイズ低減処理の結果を用いることも可能である。
ステップS803では、学習データ生成部264によって、適宜のノイズ低減処理を行った学習データに人工ノイズが加算される。加算されるノイズについては、(式4)に示されるものと同等である。
ステップS804~S807は、それぞれ第1実施形態の図4におけるステップS404~S407と同様の処理を行う。
上記の構成を取ることで、学習データにSN比の低い画像が含まれている場合であっても、SN比を高めた状態でノイズ低減処理の学習を行うことが可能となる。そのため、好適にノイズが低減された放射線画像を出力することのできる機械学習モデルを生成することができる。
[第3実施形態]
別の実施形態として、次のような構成を取ることも可能である。
機械学習によるノイズ低減処理を構築する際、用いる学習データによってノイズ低減処理の効果を調整することが可能である。
図9はノイズ低減を行わない場合のSN比901と、学習対象となるノイズ低減処理の目標とするSN比902を入射線量別に示したものである。
例えば医用の放射線画像などでは、信号量が少なく、被写体の視認性が悪い低線量域では大幅にSN比を向上することが望ましい。しかしながら、信号が十分存在する高線量領域では、被写体の視認性が十分確保できており、SN比を大幅に向上するよりも、ノイズ低減の効果を落として、より信号に影響を与えない方向に調整した方が望ましいとされるケースも存在する。
学習処理部261は、これまで説明した実施形態におけるSN比を調整する手法を組み合わせ、学習データ選択部263によって学習対象となるノイズ低減処理の目標とするSN比902に合わせた学習データを選別しながら学習を進める構成を取ることができる。
以上を踏まえ、図10を参照して本実施形態に係る学習処理部261の処理の流れについて説明する。その他の構成については第1実施形態と同様である。
図10は、本実施形態に係る学習処理部261の処理の流れを示すフローチャートである。
ステップS1001では、学習する信号量の範囲を選択する。これは、放射線検出器10が扱える信号のダイナミックレンジ内で任意の範囲をランダムに選択するもので、例えば16ビットの信号を扱えるセンサである場合は、0~65535から値の範囲をランダムに選択する。図5に示されるような放射線検出器10におけるシステムノイズの比率と、図9に示される学習対象となるノイズ低減処理の目標とするSN比902を選択する操作に相当する。
ステップS1002では、学習データ選択部263によって、学習データの選択が行われる。取得された学習データから、ステップS1001で選択した信号量範囲の学習に適した学習データを選択する。
学習データの取得は、取得部21にて行われ、学習データとして適宜の放射線画像が取得される。なお、取得部21は、記憶部25に記憶された放射線画像を取得してもよいし、外部記憶装置70等から放射線画像を取得してもよい。また、取得部21は、放射線検出器10によって出力された放射線画像を取得してもよい。
選択する学習データは、図9に示される学習対象となるノイズ低減処理の目標とするSN比902に従って選択される。データの選択は、他の実施形態で説明した方法や、その任意の組み合わせによって行われる。例えば、臨床画像をそのまま使用してもよい。また、人体を模擬したファントムを複数回撮影した平均画像を用いてもよい。また、SNが高い画像を選択したうえで、画像を信号量範囲に調整して使用してもよい。また、別途のノイズ低減処理を適用してもよい。あるいは、これらの任意の画像をブレンドして用いるなど、学習対象となるノイズ低減処理の目標とするSN比902と、所有している学習データの特性に合わせて適宜選択できるようになっている。すなわち、学習データとして用いる画像を適宜選択することにより学習器を用いたノイズ低減により実現されるSN比を調整することができる。例えば、学習対象となるノイズ低減処理の目標とするSN比902に合わせて、複数のファントム画像を平均化することにより得られる平均画像および人工ノイズを平均画像に加算した画像と、人体を撮影することにより得られる所定の値以上のシグナルノイズ比の臨床画像および人工ノイズを所定の値以上のシグナルノイズ比を有する放射線画像に加算した放射線画像と、を組み合わせた学習データを用いることができる。さらに、臨床画像にノイズ低減処理を施したノイズ低減画像および人工ノイズをノイズ低減画像に加算した画像をさらに含む学習データを用いてもよく、例えば、目標とするSN比に合わせて臨床画像とノイズ低減画像を組み合わせてもよい。すなわち、学習器を用いたノイズ低減処理の目標とするSN比902に合わせて平均画像、臨床画像、ノイズ低減画像のうち少なくとも1つの画像を選択し、選択された画像を用いて学習器の学習を行うことができる。なお、上記任意の画像のブレンドは、図5におけるシステムノイズの比率504に基づくことも可能である。例えば、システムノイズの比率が閾値以下の場合は臨床画像をそのまま使用するようにするなどである。つまり、低線量下で撮影された相対的にシステムノイズの比率が高い画像のノイズ低減を学習するときと高線量下で撮影された相対的にシステムノイズ比率が低い画像のノイズ低減を学習するときとで学習に用いる画像の組み合わせを変えてもよい。なお、学習に用いる画像の組み合わせを変える閾値は必ずしも1つでなくてもよく、2つ以上設定し、それぞれの閾値の範囲において適宜画像を選択してもよい。
ステップS1003では、学習データ生成部264によって、学習データに人工ノイズが加算される。加算する人工ノイズについては、ステップS1002において作成した画像に合わせて、SNが高い画像を選択したうえで、画像を信号量範囲に調整して使用する場合は(式9)を、それ以外の場合は(式4)を適宜にブレンドして使用する。
本実施形態における学習データは、上記放射線画像を入力データ、正解データとしたものとなる。学習処理部261に同じデータとして入力された後、学習処理部内部で、入力データか、入力データおよび正解データに適宜の人工ノイズが加算されることで、入力データと正解データに差異が発生する状態となる。
ステップS1004~S1007は、それぞれ第1実施形態の図4におけるステップS404~S407と同様の処理を行う。
上記の構成を取ることで、学習データにSN比の低い画像が含まれている場合であっても、SN比を高めた状態でノイズ低減処理の学習を行うことが可能となる。さらに、線量ごとに目標とするSN比を定め、最適な学習データを選別することによって、線量別に好適に効果を最適化されたノイズ低減処理を実現する機械学習モデルを生成することができる。
(変形例1)
演算処理部266が用いる機械学習モデルについては、CNNの構成として、変分オートエンコーダー(VAE:Variational Auto-Encoder)や、FCN(Fully Convolutional Network)、又はSegNet、DenseNet等、任意の層構成を組み合わせて用いることもできる。また、例えば、カプセルネットワーク(CapsNet:Capsule Network)でもよい。ここで、一般的なニューラルネットワークでは、各ユニット(各ニューロン、あるいは各ノード)はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係(相対位置)に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット(各カプセル)は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
(変形例2)
また、各種学習済モデルの学習データは、実際の撮影を行う放射線検出器自体を用いて得たデータに限られず、所望の構成に応じて、同型の放射線検出器を用いて得たデータや、同種の放射線検出器を用いて得たデータ等であってもよい。なお、上述の実施形態及び変形例に係る、ノイズ低減処理用の学習済モデルは、例えば、放射線画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、ノイズ低減された放射線画像の生成に係る推定処理に用いているものと考えられる。
また、上述した実施形態及び変形例に係る学習済モデルは制御部20に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部20と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部20は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。
(その他の実施形態)
本発明は、上述した様々な実施形態及び変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
このとき、プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施形態及び変形例を参照して本発明について説明したが、本発明は上記実施形態及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施形態及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
10 放射線検出器
20 制御部(画像処理装置)
22 画像処理部

Claims (26)

  1. 被検査物の第1の放射線画像を取得する取得手段と、
    放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて学習データとして用いる放射線画像を選択して学習を行った学習済モデルに前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、
    を備えることを特徴とする放射線画像処理装置。
  2. 前記信号に関する情報は、放射線撮影における線量に関する情報、放射線画像に含まれる信号量、前記放射線画像に含まれる信号とノイズの比率の情報の少なくともいずれか1つの情報を含むことを特徴とする請求項1に記載の放射線画像処理装置。
  3. 前記ノイズに関する情報は、放射線画像に含まれるシステムノイズと放射線を検出する放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとの比率、前記システムノイズのノイズ量、前記量子ノイズのノイズ量の少なくともいずれか1つの情報を含むことを特徴とする請求項1または2に記載の放射線画像処理装置。
  4. 前記生成手段は、所定の信号量の範囲において推定される前記ノイズに関する情報に基づいて学習データを選択して学習を行った学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項1乃至3のいずれか1項に記載の放射線画像処理装置。
  5. 前記生成手段は、前記信号量の範囲において推定される放射線画像に含まれるシステムノイズと放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとの比率に基づいて学習データを選択して学習を行った学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項4に記載の放射線画像処理装置。
  6. 前記生成手段は、前記システムノイズの比率が閾値より高い場合、前記信号量の範囲において推定されるシグナルノイズ比より高いシグナルノイズ比の放射線画像を前記学習データとして用いて学習を行った学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項5に記載の放射線画像処理装置。
  7. 前記生成手段は、前記システムノイズの比率が閾値より低い場合、前記信号量の範囲において推定されるシグナルノイズ比の放射線画像を前記学習データとして用いて学習を行った学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項5または6に記載の放射線画像処理装置。
  8. 前記生成手段は、前記第1の放射線画像と前記第2の放射線画像を所定の比率でブレンドしたブレンド画像を生成することを特徴とする請求項1乃至7のいずれか1項に記載の放射線画像処理装置。
  9. 放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて選択される学習データを用いて学習器の学習を行う学習手段を備える学習装置。
  10. 学習を行う信号量の範囲を決定する決定手段をさらに備え、
    前記学習手段は、前記決定された信号量の範囲において推定される前記ノイズに関する情報に基づいて選択される学習データを用いて前記学習器の学習を行うことを特徴とする請求項9に記載の学習装置。
  11. 前記学習手段は、前記決定された信号量の範囲において推定される放射線画像に含まれるシステムノイズと放射線を検出する放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとの比率に基づいて選択される学習データを用いて学習器の学習を行うことを特徴とする請求項10に記載の学習装置。
  12. 前記学習データは、放射線画像と該放射線画像に前記システムノイズと前記量子ノイズとを模した人工ノイズを加算した放射線画像を含み、
    前記学習手段は、前記システムノイズの比率に基づいて前記放射線画像に加算する前記人工ノイズを調整することを特徴とする請求項11に記載の学習装置。
  13. 前記学習手段は、前記人工ノイズを加算した放射線画像におけるシステムノイズと量子ノイズの比が、前記信号量の範囲において推定されるシグナルノイズ比より高いシグナルノイズ比の放射線画像における前記システムノイズと前記量子ノイズの比と同等になるように人工ノイズを推定し、前記推定された人工ノイズを放射線画像に加算することを特徴とする請求項12に記載の学習装置。
  14. 前記学習手段は、前記システムノイズの比率が閾値より高い場合、前記信号量の範囲において推定されるシグナルノイズ比より高いシグナルノイズ比の放射線画像を前記学習データとして用いることを特徴とする請求項11乃至13のいずれか1項に記載の学習装置。
  15. 前記学習手段は、前記システムノイズの比率が閾値より高い場合、人体を模擬したファントムを複数回撮影して得た複数のファントム画像を平均化することにより得られる平均画像を前記学習データとして用いることを特徴とする請求項14に記載の学習装置。
  16. 前記学習手段は、前記信号量の範囲において推定されるシグナルノイズ比より高いシグナルノイズ比の放射線画像と、前記システムノイズと前記量子ノイズとを模した人工ノイズを前記放射線画像に加算した放射線画像とを前記学習データとして用いることを特徴とする請求項15に記載の学習装置。
  17. 前記学習手段は、前記システムノイズの比率が閾値より低い場合、前記信号量の範囲において推定されるシグナルノイズ比の放射線画像を前記学習データとして用いることを特徴とする請求項11乃至16のいずれか1項に記載の学習装置。
  18. 前記学習手段は、前記信号量の範囲において推定されるシグナルノイズ比の放射線画像と、前記システムノイズと前記量子ノイズとを模した人工ノイズを前記放射線画像に加算した放射線画像とを前記学習データとして用いることを特徴とする請求項17に記載の学習装置。
  19. 前記システムノイズの比率が閾値より高い場合、放射線画像にノイズ低減処理を施す処理手段をさらに備え、
    前記学習手段は、前記ノイズ低減処理された放射線画像と、前記ノイズ低減処理された放射線画像に前記システムノイズと前記量子ノイズとを模した人工ノイズを加算した放射線画像とを前記学習データとして用いることを特徴とする請求項11乃至18のいずれか1項に記載の学習装置。
  20. 人体を模擬したファントムを複数回撮影して得た複数のファントム画像を平均化することにより得られる平均画像および放射線画像に含まれるシステムノイズと放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとを模した人工ノイズを前記平均画像に加算した画像と、人体を撮影することにより得られる所定の値以上のシグナルノイズ比の臨床画像および前記システムノイズと前記量子ノイズとを模した人工ノイズを前記臨床画像に加算した画像と、を含む学習データを用いて、放射線画像のノイズを低減するための学習器の学習を行う学習手段を備える学習装置。
  21. 前記学習手段は、前記臨床画像にノイズ低減処理を施したノイズ低減画像および前記システムノイズと前記量子ノイズとを模した人工ノイズを前記ノイズ低減画像に加算した画像と、をさらに含む学習データを用いて学習器の学習を行うことを特徴とする請求項20に記載の学習装置。
  22. 前記学習手段は、前記学習器を用いたノイズ低減処理の目標とするシグナルノイズ比に合わせて前記平均画像、前記臨床画像、前記ノイズ低減画像のうち少なくとも1つの画像を選択し、選択された画像を用いて前記学習器の学習を行うことを特徴とする請求項21に記載の学習装置。
  23. 人体を模擬したファントムを複数回撮影して得た複数のファントム画像を平均化することにより得られる平均画像および放射線画像に含まれるシステムノイズと放射線検出器に含まれる蛍光体の変調伝達関数に応じて高周波成分が減衰した量子ノイズとを模した人工ノイズを前記平均画像に加算した画像と、人体を撮影することにより得られる所定の値以上のシグナルノイズ比の放射線画像および前記システムノイズと前記量子ノイズとを模した人工ノイズを前記所定の値以上のシグナルノイズ比を有する放射線画像に加算した放射線画像と、を含む学習データを生成する生成工程を含む学習データの生成方法。
  24. 前記生成工程は、前記臨床画像にノイズ低減処理を施したノイズ低減画像および前記システムノイズと前記量子ノイズとを模した人工ノイズを前記ノイズ低減画像に加算した画像と、をさらに含む学習データを生成することを特徴とする請求項23に記載の学習データの生成方法。
  25. 被検査物の第1の放射線画像を取得する取得工程と、
    放射線画像に含まれる信号に関する情報とノイズに関する情報との少なくともいずれか一方の情報に基づいて学習データを選択して学習を行った学習済モデルに前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成工程と、
    を備えることを特徴とする放射線画像処理方法。
  26. コンピュータを、請求項1乃至7のいずれか1項に記載の放射線画像処理装置の各手段として機能させるためのプログラム。
JP2021191532A 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム Pending JP2023077989A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021191532A JP2023077989A (ja) 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
US18/058,099 US20230162328A1 (en) 2021-11-25 2022-11-22 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021191532A JP2023077989A (ja) 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023077989A true JP2023077989A (ja) 2023-06-06

Family

ID=86622824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021191532A Pending JP2023077989A (ja) 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2023077989A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199285A (ja) * 2000-12-26 2002-07-12 Canon Inc 画像取得装置及び方法
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
JP2020141908A (ja) * 2019-03-07 2020-09-10 株式会社日立製作所 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル
JP2020166814A (ja) * 2019-03-11 2020-10-08 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
US20210110517A1 (en) * 2019-10-09 2021-04-15 Siemens Healthcare Gmbh Method and device for noise reduction in image recordings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199285A (ja) * 2000-12-26 2002-07-12 Canon Inc 画像取得装置及び方法
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
JP2020141908A (ja) * 2019-03-07 2020-09-10 株式会社日立製作所 医用撮像装置、医用画像処理装置、医用画像処理プログラム、及び、機械学習モデル
JP2020166814A (ja) * 2019-03-11 2020-10-08 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
US20210110517A1 (en) * 2019-10-09 2021-04-15 Siemens Healthcare Gmbh Method and device for noise reduction in image recordings

Similar Documents

Publication Publication Date Title
JP7234064B2 (ja) 反復的画像再構成フレームワーク
JP7150837B2 (ja) 機械学習を使用した画像生成
JP7432356B2 (ja) 医用装置及びプログラム
JP7334048B2 (ja) X線ctシステム及び方法
EP3716214B1 (en) Medical image processing apparatus and method for acquiring training images
JP2020168352A (ja) 医用装置及びプログラム
US20210110584A1 (en) Automated correction of metal affected voxel representations of x-ray data using deep learning techniques
US20130051516A1 (en) Noise suppression for low x-ray dose cone-beam image reconstruction
JP7451256B2 (ja) X線システム、画像処理装置及びプログラム
EP3195265A2 (en) Iterative image reconstruction with a sharpness driven regularization parameter
JP2021013736A (ja) X線診断システム、画像処理装置及びプログラム
JP2021013725A (ja) 医用装置
CN113689342A (zh) 一种图像质量优化的方法及系统
JP7475979B2 (ja) X線システム及び撮像プログラム
EP4071706A1 (en) Medical data processing method, model generation method, medical data processing apparatus, and computer-readable non-transitory storage medium storing medical data processing program
Holbrook et al. Deep learning based spectral distortion correction and decomposition for photon counting CT using calibration provided by an energy integrated detector
US20230206404A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP2023077989A (ja) 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
EP3764325B1 (en) System and program for avoiding focal spot blurring
JP2023077988A (ja) 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
US20230162328A1 (en) Image processing apparatus
US20230380788A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system for processing metal artifact images
JP2022039989A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US20230326596A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240328