JP2023077988A - 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム - Google Patents

放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム Download PDF

Info

Publication number
JP2023077988A
JP2023077988A JP2021191531A JP2021191531A JP2023077988A JP 2023077988 A JP2023077988 A JP 2023077988A JP 2021191531 A JP2021191531 A JP 2021191531A JP 2021191531 A JP2021191531 A JP 2021191531A JP 2023077988 A JP2023077988 A JP 2023077988A
Authority
JP
Japan
Prior art keywords
noise
learning
image
radiographic
radiation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021191531A
Other languages
English (en)
Inventor
剛 小林
Takeshi Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021191531A priority Critical patent/JP2023077988A/ja
Priority to US18/058,099 priority patent/US20230162328A1/en
Publication of JP2023077988A publication Critical patent/JP2023077988A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】 画像に好適な画像処理を適用することのできる画像処理装置を提供することを目的の一つとする。【解決手段】 本発明に係る放射線画像処理装置は、放射線撮影装置により撮影された被検査物の第1の放射線画像を取得する取得手段と、放射線撮影装置の製造ばらつきに基づく分布に従って放射線撮影装置のシステムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに、前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、を含むことを特徴とする。【選択図】 図1A

Description

本発明は、放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラムに関する。
近年、X線などの放射線を検出するための検出部を備えた放射線検出器が産業や医療などの分野で広く用いられている。特に、半導体センサを用いて放射線画像を得るデジタル放射線撮影(DR:Digital Radiography)装置が広く普及している。
このようなデジタル放射線撮影装置においては、撮影画像の画質向上のために種々の画像処理を行うことが一般的であり、撮影画像の粒状性を改善し、診断領域の視認性を向上するノイズ低減処理もその1つである。とくに、ディープラーニングなどの機械学習技術を応用したノイズ低減処理は、大きく粒状性を改善できる可能性がある。例えば非特許文献1では、撮影装置のノイズ特性から推測されるノイズを加算した画像の組を用いて教師あり学習を行うことで良好なノイズ低減効果を得る技術が提案されている。
"Image Restoration Using Convolutional Auto-encoders with Symmetric Skip Connections", Xiao-Jiao Mao, Chunhua Shen, and Yu-Bin Yang, ArXiv : 1606.08921, 2016
しかしながら、前述のような従来技術には、以下のような課題が生じる場合がある。大量生産を行う工業製品においては、例えば撮像素子、レンズ、あるいは蛍光体などの構成部品や、部品の組み立て精度等に製造ばらつきが発生し、解像度、感度、ノイズ特性などに個体差が生じることが避けられない。
そのため、大量生産を前提とした工業製品にこの種の機械学習技術を適用するとき、学習時に用いたデータを生成した製品の特性と、推論時に画像処理の対象となるデータを生成した製品の特性とが一致しない場合がある。すなわち、学習に使用した学習系の特性と、工業製品として出荷した後に使用される推論系の特性がマッチせず、好適な画像処理を行うことができない場合がある。例えばノイズ低減処理においては、ノイズ低減の効果が低下したり、推論結果にアーチファクトが発生したりするなどの不具合が起こる可能性がある。
本発明は、以上の問題点に鑑みてなされたものであって、画像に好適な画像処理を適用することのできる放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラムを提供することを目的の一つとする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
本発明の目的を達成するために、本発明に係る放射線画像処理装置は、放射線撮影装置により撮影された被検査物の第1の放射線画像を取得する取得手段と、放射線撮影装置の製造ばらつきに基づく分布に従って放射線撮影装置のシステムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに、前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、を含むことを特徴とする。
本開示の一実施態様によれば、画像に好適な画像処理を適用することのできる放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラムを提供することができる。
実施例1に係る放射線撮影システムの概略的な構成の一例を示す図。 実施例1に係る放射線検出器の概略的な構成の一例を示す図。 実施例1に係る制御部の概略的な構成の一例を示す図。 実施例1に係るノイズ低減処理部の概略的な構成の一例を示す図。 実施例1に係る学習済モデルの概略的な構成の一例を示す図。 実施例1に係る学習済モデルの概略的な構成の一例を示す図。 実施例1に係る学習処理の動作例を説明するための図。 実施例1に係る学習処理の一例を示すフローチャート。 実施例1に係る放射線検出器のシステムノイズの製造ばらつきを説明するための模式図。 実施例1に係る放射線検出器のMTFの製造ばらつきを説明するための模式図。 実施例1に係る推論処理の一例を示すフローチャート。 実施例1に係る画像処理前後の画像の一例を示す図。 実施例2に係る制御部の概略的な構成の一例を示す図。 実施例2に係る学習済モデルの概略的な構成の一例を示す図。
以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。
なお、以下に記載する本開示の実施例において、放射線には、放射線崩壊によって放出される粒子(光子を含む)が作るビームであるα線やβ線、γ線、さらには、同程度以上のエネルギーを有するビームである、例えばX線や粒子線、宇宙線等も含む。また、以下において、放射線画像の信号の大きさに依存しない暗電流や電気的なノイズ等をシステムノイズという。
なお、以下において、機械学習モデルとは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークや、深層学習(ディープラーニング)を利用してもよい。適宜、上記アルゴリズムのうち利用できるものを用いて以下の実施例及び変形例に適用することができる。また、学習データとは、機械学習モデルの学習に用いるデータセットのことをいい、機械学習モデルに入力される入力データ及び、機械学習モデルの出力結果の正解となる正解データのペアで構成される。
なお、学習済モデルとは、ディープラーニング等の任意の機械学習アルゴリズムに従った機械学習モデルに対して、事前に適切な学習データを用いて学習を行ったモデルをいう。ただし、学習済モデルは、事前に適切な学習データを用いた学習によって得ているが、それ以上の学習を行わないものではなく、追加の学習を行うこともできるものとする。追加学習は、装置が使用先に設置された後も行われることができる。
(実施例1)
(放射線撮影システムの構成)
以下、図1A、図1Bを参照して、本開示の実施例1に係る放射線撮影システムについて説明する。図1Aは、本実施例に係る放射線撮影システム1の概略的な構成を示す。なお、以下の説明において、被検査物Oを人体として説明するが、本開示に係る放射線撮影システムによって撮影される被検査物Oは人体に限られず、他の動物や植物、及び非破壊検査の対象物等であってもよい。また、以下では図1Aに示す放射線撮影システムを例として説明を行うが、被検査物Oを撮影する撮影装置は、MRI装置、X線CT装置、3次元超音波撮影装置、光音響トモグラフィ装置、PET/SPECT、OCT装置、光学カメラ等であってもよい。すなわち、本実施例に係る一連の処理は、放射線画像だけでなく、その他の医用画像、光学画像に適用してもよい。
本実施例に係る放射線撮影システム1には、放射線検出器10、制御部20、放射線発生器30、入力部40、及び表示部50が設けられている。なお、放射線撮影システム1は、インターネットやイントラネット等のネットワーク60を介して制御部20に接続されるサーバ等の外部記憶装置70が含まれてもよい。
放射線発生器30は、例えば、X線管等の放射線発生源を備え、放射線を発することができる。放射線検出器10は、放射線発生器30より発せられた放射線を検出し、検出した放射線に対応する放射線画像を生成することができる。このため、放射線検出器10は、放射線発生器30より発せられ、被検査物Oを通った放射線を検出することで、被検査物Oの放射線画像を生成することができる。なお、本開示における画像は、表示部に表示されている状態だけでなく画像データとしてデータベースや記憶部に記憶されている状態も含む。
ここで、図1Bは、本実施例に係る放射線検出器10の概略的な構成を示す。放射線検出器10には、蛍光体11及び撮影センサ12が設けられている。蛍光体11は、放射線検出器10に入射した放射線を撮影センサ12によって検出可能な波長の光に変換する。蛍光体11は、例えば、CsIやGOS(GdS)等を含んでよい。撮影センサ12は、例えばa-Siや結晶Siで構成される光電変換素子を含み、蛍光体11によって変換された放射線に対応する光を検出し、検出した光に対応する信号を出力することができる。放射線検出器10は、撮影センサ12によって出力された信号についてA/D変換等を行うことで、放射線画像を生成することができる。なお、図1Bでは省略されているが、放射線検出器10は演算部やA/D変換部等を備えていてよい。
制御部20は、放射線検出器10、放射線発生器30、入力部40、及び表示部50に接続されている。制御部20は、放射線検出器10から出力される放射線画像を取得して放射線画像に画像処理を施したり、放射線検出器10や放射線発生器30の駆動を制御したりすることができる。このため、制御部20は、画像処理装置の一例として機能することができる。また、制御部20は、インターネットやイントラネット等の任意のネットワーク60を介して外部記憶装置70に接続されてもよく、外部記憶装置70から放射線画像等を取得してもよい。さらに、制御部20は、ネットワーク60を介して他の放射線検出器や放射線発生器等と接続されてもよい。なお、制御部20は、外部記憶装置70等に有線で接続されてもよいし、無線で接続されてもよい。
入力部40は、マウスやキーボード、トラックボール、タッチパネル等の入力機器を備え、操作者によって操作されることで、制御部20に指示を入力することができる。表示部50は、例えば、任意のモニターを含み、制御部20から出力された情報や画像、及び入力部40によって入力された情報等を表示することができる。
なお、本実施例において、制御部20や入力部40、表示部50等は別個の装置によって構成されているが、これらは一体的に構成されてもよい。例えば、タッチパネルディスプレイによって入力部40及び表示部50を構成してもよい。また、本実施例では、制御部20により画像処理装置を構成したが、画像処理装置は放射線画像を取得し、放射線画像に画像処理を施すことができればよく、放射線検出器10や放射線発生器30の駆動を制御しなくてもよい。
また、制御部20と放射線検出器10、放射線発生器30等は有線で接続されてもよいし、無線で接続されてもよい。さらに、外部記憶装置70は、病院内のPACS等の画像システムを構成してもよいし、病院外のサーバ等であってもよい。
(制御部の構成)
次に、図2A、図2Bを参照して、制御部20(放射線画像処理装置)のより具体的な構成について説明する。図2A、図2Bは、本実施例に係る制御部20の概略的な構成を示す。制御部20には、取得部21、画像処理部22、表示制御部23、駆動制御部24、及び記憶部25が設けられている。
取得部21は、放射線検出器10によって出力された放射線画像や、入力部40によって入力された各種情報等を取得することができる。また、取得部21は、外部記憶装置70等から放射線画像や患者情報等を取得することもできる。すなわち、取得部21は、放射線撮影装置により撮影された被検査物の放射線画像を取得することができる。
画像処理部22は、ノイズ低減処理部26および、診断用画像処理部27からなり、取得部21によって取得された放射線画像に対して本開示に係る画像処理を施すことができる。ノイズ低減処理部26は、学習処理部261と、推論処理部262からなる。学習処理部261は、推論処理部262の構成に加えて、さらに製造ばらつき解析部263と、学習データ生成部264と、パラメータ更新部265が設けられている。この構成により、ノイズ低減処理部26は、ノイズ低減処理を行うための機械学習モデルの学習を行い、当該機械学習モデルを用いて放射線画像に好適なノイズ低減処理を適用することができる。また、診断用画像処理部27は、ノイズ低減処理部26でノイズ低減を施した画像に対して、診断に適した画像に変換するための診断用画像処理を行うことができる。診断用画像処理としては、例えば階調処理や強調処理、グリッド縞低減処理などが含まれる。
次に、学習処理部261の構成について説明する。
学習処理部261は、機械学習モデルを学習する際に適用される学習処理を行うもので、推論処理部262の構成に加え、さらに学習データ生成部264、パラメータ更新部265を有する。
学習処理を行う際は、学習処理部261に画像が入力され、学習データ生成部264によって学習データが作成される。
ここでは、ノイズ低減処理を学習するための学習データの組として、人工ノイズを加算した画像を入力データ、加算しない画像を正解データとしたものを用いた構成例を示す。
入力された画像に、放射線画像の特徴を模擬して作成した人工ノイズを加算することで、学習用データの組を作成する処理を行う。ここで、学習データ生成部264で加算するノイズは、製造ばらつき解析部263によって計算された、製造ばらつきによってばらつきうるノイズ量を反映させたものとなる。加算する人工ノイズの詳細については後述する。
パラメータ更新部265は、推論処理部262の演算結果と、正解データをもとに、推論処理部262が持つ機械学習モデルのパラメータを更新する処理を行う。
ここで、学習処理部261は、放射線撮影システムに必ずしも含まれる必要はなく、例えば放射線撮影システムとは別のハードウェア上に構成してもよい。そして、事前に適切な学習データを用いて学習を行っておくことで学習済モデルを作成しておき、放射線撮影システムにおいては、推論処理部262による処理だけを行うようにしてもよい。または、学習処理部261を放射線撮影システムに含めることで、設置後に取得した学習データで追加学習を行うことができる構成としてもよい。
表示制御部23は、表示部50の表示を制御することができ、画像処理部22による画像処理前後の放射線画像や患者情報等を表示部50に表示させることができる。駆動制御部24は、放射線検出器10及び放射線発生器30等の駆動を制御することができる。そのため、制御部20は、駆動制御部24によって放射線検出器10及び放射線発生器30の駆動性を制御することで、放射線画像の撮影を制御することができる。
記憶部25は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、及び後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを記憶することができる。また、記憶部25は、取得部21によって取得された情報や、画像処理部22で画像処理された放射線画像等を記憶することもできる。例えば、記憶部25は、取得部21により取得された放射線画像を記憶したり、後述するノイズ低減処理がなされた放射線画像を記憶したりすることができる。
なお、制御部20は、プロセッサーやメモリ等を含む一般的なコンピュータを用いて構成することができるが、放射線撮影システム1の専用のコンピュータとして構成されてもよい。ここで、制御部20は、本実施例に係る画像処理装置の一例として機能するが、本実施例に係る画像処理装置は、制御部20に通信可能に接続された別体(外部)のコンピュータであってもよい。また、制御部20や画像処理装置は、例えば、パーソナルコンピュータであってもよく、デスクトップPCや、ノート型PC、タブレット型PC(携帯型の情報端末)が用いられてもよい。なお、プロセッサーは、CPU(Central Processing Unit)であってよい。また、プロセッサーは、例えば、MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)やFPGA(Field-Programmable Gate Array)等であってもよい。
制御部20の各機能は、CPUやMPU等のプロセッサーが記憶部25に記憶されたソフトウェアモジュールを実行することで実現されてよい。なお、プロセッサーは、例えば、GPUやFPGA等であってもよい。また、各機能は、ASIC等の特定の機能を果たす回路等によって構成されてもよい。例えば、画像処理部22をASIC等の専用のハードウェアで実現してもよいし、表示制御部23をCPUとは異なるGPU等の専用のプロセッサーを用いて実現してもよい。記憶部25は、例えば、ハードディスク等の光学ディスクやメモリ等の任意の記憶媒体によって構成されてよい。
(機械学習モデルの構成)
次に、図3A及び図3B、図3Cを参照して、本実施例に係る学習済モデルを構成する機械学習モデルの例について説明する。本実施例に係る推論処理部262が用いる機械学習モデルの一例は多層のニューラルネットワークである。
図3Aは、本実施例に係るニューラルネットワークモデルの概略的な構成例を示している。図3Aに示すニューラルネットワークモデル33は、入力データ31に対して、予め学習した傾向に応じて、ノイズが低減された推論データ32を出力するよう設計されている。出力されるノイズが低減された放射線画像は、機械学習プロセスでの学習内容に基づくものであり、本実施例に係るニューラルネットワークは、放射線画像に含まれる信号とノイズを分別するための特徴量を学習している。
なお、多層のニューラルネットワークの少なくとも一部には、例えば、畳み込みニューラルネットワーク(以後、CNN:Convolutional Neural Network と呼称する)を用いることができる。また、多層のニューラルネットワークの少なくとも一部には、オートエンコーダ(自己符号化器)に関する技術が用いられてもよい。
ここで、放射線画像のノイズ低減処理用の機械学習モデルとして、CNNを用いる場合について説明する。図3Bは、本実施例に係るニューラルネットワークモデルを構成するCNNの概略的な構成33の一例を示す。本実施例に係る学習済モデルの例では、放射線画像31が入力されると、ノイズが低減された推論画像32を出力することができる。
図3Bに示すCNNは、入力値群を加工して出力する処理を担う複数の層群によって構成される。なお、当該CNNの構成33に含まれる層の種類としては、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、及び合成(Merge)層がある。ここで、34は加算層であり、出力の前に、入力データを加算するショートカットを構成するとよい。これにより、当該CNNは、入力データと出力データの差分を学習する構成を取ることができ、好適にノイズをターゲットとした系を取り扱うことが可能となる。
畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、フィルタのカーネルサイズの次元数も変更してもよい。
ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。具体的には、このような処理として、例えば、Max Pooling処理がある。
アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。具体的には、このような処理として、例えば、逆畳み込みによるアップサンプリング処理がある。
合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。
なお、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、学習データからトレーニングされた傾向について、推論時に再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて好ましい値に変更することができる。
また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、より精度良くノイズが低減された放射線画像を出力したり、処理時間が短かったり、機械学習モデルのトレーニングにかかる時間が短かったりする等である。
なお、本変形例で用いるCNNの構成34は、複数のダウンサンプリング層を含む複数の階層からなるエンコーダーの機能と、複数のアップサンプリング層を含む複数の階層からなるデコーダーの機能とを有するU-net型の機械学習モデルである。U-net型の機械学習モデルでは、エンコーダーとして構成される複数の階層において曖昧にされた位置情報(空間情報)を、デコーダーとして構成される複数の階層において、同次元の階層(互いに対応する階層)で用いることができるように(例えば、スキップコネクションを用いて)構成される。
図示しないが、CNNの構成の変更例として、例えば、畳み込み層の前後に活性化関数(例えばReLu:Rectifier Linear Unit)の層や、さらにその前後にバッチ正規化(Batch Normalization)などの各種の正規化処理を行う層を組み込んでもよい。
CNNのこれらのステップを通して、入力される放射線画像からノイズの特徴を抽出することができる。
ここで、学習処理部261は、パラメータ更新部265を備える。パラメータ更新部265は、図3Cに示すように、学習データにおける入力データ31に推論処理部262のニューラルネットワークモデル33を適用した推論データ32と、学習データにおける正解データ35から、損失関数を算出し、損失関数に基づいてニューラルネットワークモデル33のパラメータを更新する処理を行う。ここで、損失関数は、推論データ32と、正解データ35の誤差を示すものである。
また、パラメータ更新部265は、損失関数によって表される推論データ32と、正解データ35の誤差が小さくなるように、例えば、誤差逆伝播法を用いて、畳み込み層のフィルタ係数等を更新するようになっている。誤差逆伝播法は、上記の誤差が小さくなるように、ニューラルネットワークの各ノード間のパラメータ等を調整する手法である。
なお、学習には、CNNを構成するユニット(各ニューロン、あるいは各ノード)をランダムに不活性化する手法(ドロップアウト)が用いられてもよい。
さらに、推論処理部262が用いる学習済モデルは、転移学習を用いて生成されたものでもよい。この場合には、例えば、種類等が異なる被検査物Oの放射線画像で学習された機械学習モデルについて転移学習を行って、ノイズ低減処理に用いる学習済モデルを生成してもよい。このような転移学習を行うことによって、学習データを数多く入手するのが難しい被検査物Oについても、効率的に学習済モデルを生成することができる。ここでいう種類等が異なる被検査物Oは、例えば、動物や植物、非破壊検査の対象物等であってよい。
ここで、GPUは、データをより多く並列処理することで効率的な演算を行うことができる。このため、上記のようなCNNを利用した学習モデルを用いて複数回に渡り学習を行う場合には、GPUで処理を行うことが有効である。そこで、本実施例に係る学習処理部261には、CPUに加えてGPUを用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、CPUとGPUが協働して演算を行うことで学習を行う。なお、学習処理では、CPU又はGPUのみにより演算が行われてもよい。また、推論処理部262の各処理についても、学習処理部261と同様にGPUを用いて実現してもよい。
以上、機械学習モデルの構成について説明したが、これまでに示したようなCNNを用いたモデルに制限するものではなく、画像等の学習データの特徴量を学習によって自ら抽出(表現)可能なモデルを用いた機械学習に類するものであれば何でもよい。
(学習処理)
次に、本実施例に係る学習処理部261の処理の流れについて説明する。
ここで、学習処理部261で用いる学習データの組として、ノイズ低減処理を学習するための、人工ノイズを加算した画像を入力データ、加算しない画像を正解データとしたものを用い、対象として医用分野の放射線撮影画像を例として示す。
なお、学習データとしては、入力データとしてノイズを含んだ放射線画像と、正解データとしてノイズを略含まない放射線画像との組を用いるのが望ましい。しかしながら、放射線撮影の侵襲性を鑑みると、撮影はできるだけ低線量で行う必要があるため、現実的にはそのような学習データを用意することは難しい。
そこで、本実施例では、人体を医用目的で撮影した放射線画像を学習データの正解データとし、放射線画像に生じるノイズに相当する人工ノイズを放射線画像に加算した画像を学習データの入力データとして用いる。このような学習データを用いて学習を行うことで、放射線画像の画像特徴と、人工ノイズの特徴を学習することができる。
以上を踏まえ、図4~図7を参照して、本実施例に係る学習処理部261の処理の流れについて説明する。
図4は、本実施例に係る学習処理部261の処理の流れを示すフローチャートである。
ステップS401では、学習処理部261に学習データが入力される。入力される学習データの取得は、取得部21にて行われ、本実施例では、学習データとして適宜の放射線画像が取得される。なお、取得部21は、記憶部25に記憶された放射線画像を取得してもよいし、外部記憶装置70等から放射線画像を取得してもよい。また、取得部21は、放射線検出器10によって出力された放射線画像を取得してもよい。なお、本実施例における学習データとは、上記放射線画像を入力データ、正解データとしたものとなる。学習処理部261に同じデータとして入力された後、学習処理部内部で、入力データか、入力データおよび正解データに適宜の人工ノイズが加算されることで、入力データと正解データに差異が発生する状態となる。
ステップS402では、製造ばらつき解析部263によって、放射線検出器10の製造ばらつきの解析が行われる。ここでは、ステップS403で加算される人工ノイズに影響を与える製造ばらつきについての解析を行い、製造ばらつきの影響を算出する処理が行われる。すなわち、製造ばらつき解析部263は、放射線撮影装置のノイズに関する特性の製造ばらつきを解析する。放射線撮影装置のノイズに関する特性は、例えば放射線撮影装置のシステムノイズ特性、放射線撮影装置の感度、放射線撮影装置に含まれる蛍光体のMTFの特性などを含む。そして、製造ばらつき解析部263は、それらのうち少なくとも一つについて製造ばらつきを解析できる。なお、上記のノイズに関する特性は、一例であって人工ノイズに影響を与える変数であればこれに限定されない。
放射線画像においては、放射線画像に含まれるノイズは、主に放射線量子の揺らぎによって発生する量子ノイズと、検出器及び回路等から発生するシステムノイズに大別される。放射線検出器10は、蛍光体11によって放射線を可視光に変換する構成を取ることから、放射線の信号は蛍光体11の解像度によって規定される変調伝達関数(MTF:Modulation Transfer Function)に応じて高周波の減衰が生じることが知られている。放射線量子の揺らぎによって発生する量子ノイズも同様の変調伝達関数によって高周波の減衰が発生する。すなわち、量子ノイズは高周波成分が減衰したノイズの一例に相当する。一方で、検出器及び回路等から発生するシステムノイズは蛍光体の影響を受けない。放射線画像に含まれるノイズは、撮影時の線量に拠らないシステムノイズと、撮影時の線量によって変化する量子ノイズを加算したものとなる。すなわち、本実施例では、放射線撮影装置の製造ばらつきに基づく分布に従ってシステムノイズを模したノイズと高周波成分が減衰したノイズとを生成し、放射線画像に加算する。
以上を踏まえ、本実施例では、放射線検出器10のシステムノイズに対応する白色雑音と、蛍光体11のMTFの影響を受けた量子ノイズとを合成したノイズを人工ノイズとして扱うものとする。
ここで、量子ノイズとシステムノイズとの合成比率に関しては、例えば以下(式1)~(式4)の関係式を用いて、放射線検出器10の特性を模擬すると好適である。
いま、量子ノイズの標準偏差をσとし、放射線検出器10によるシステムノイズの標準偏差をσとすると、放射線画像におけるノイズの分散σall は、
Figure 2023077988000002
の関係を満たす。また、入力画像の信号をIsigとすると、量子ノイズの標準偏差σは、信号Isigに比例することから、量子ノイズの係数qを用いて、
Figure 2023077988000003
と書ける。また、システムノイズの標準偏差σは、信号Isigに比例しない一定値であるため、システムノイズの係数sを用いて、
Figure 2023077988000004
と書ける。
上記を踏まえ、人工ノイズ(addNoise)は、以下のように求めることができる。まず、システムノイズを模擬した人工システムノイズsNoiseを、標準偏差σの加法性白色ガウス雑音(AWGN:Additive White Gaussian Noise)とする。次に、量子ノイズを模擬した人工量子ノイズqNoiseを、分散σ のポアソン分布に従い、かつ蛍光体11のMTFに従ったNPSを持つノイズとする。例えば、蛍光体11のMTFを2次元フィルタで近似したものをfMTFとしたとき、ポアソン分布に従うノイズ画像にfMTFを畳み込むことで作成すると好適である。なお、ポアソン分布は分散が十分大きいとき正規分布と近似できるため、qNoiseを正規分布に従ったノイズとして扱ってもよい。このとき、人工ノイズ(addNoise)を、
Figure 2023077988000005
と表すことができる。
放射線画像に生じるノイズの分布は、実験的に平均値および中央値が略0である正規分布に近似することが知られているが、上記のように得られる人工ノイズについても、平均値および中央値が略0となる分布とすることができる。
上記の系を考えたとき、放射線検出器10は、製造ばらつきの影響によって、主にシステムノイズと、感度、蛍光体のMTFの特性に個体差が発生する。
図5は、放射線検出器10のシステムノイズ特性の製造ばらつきの例を示すものである。
一般的に、製造ばらつきによって各種の特性は正規分布に従って分布することが知られているが、放射線検出器においても、システムノイズの標準偏差σは略正規分布に従った個体差を持っていることがわかる。
いま、システムノイズ特性ばらつきが平均μs、分散σ の正規分布に従うとき、製造ばらつき解析部263は、S402の試行ごとに平均μs、分散σ の正規分布に従う頻度でシステムノイズの分散をばらつかせて(式4)に示すsNoiseを計算する構成を取る。すなわち、放射線撮影装置の製造ばらつきに基づく分布に従って放射線撮影装置のシステムノイズを模したノイズを生成し、加算することができる。特に、放射線撮影装置の製造ばらつきによって生じるシステムノイズ特性のばらつきの分布に従ってシステムノイズを模したノイズを生成し、加算することができる。また、システムノイズ特性のばらつきの平均と分散とから算出される分布に従う頻度でシステムノイズを模したノイズを加算することができる。なお、平均μs、分散σ については、事前に取得した製造実績から算出するとよい。すなわち、放射線撮影装置の製造実績に基づいて得られるシステムノイズに関する統計情報に従ってシステムノイズを模したノイズを生成することができる。
(式4)に示すqNoiseは、前述のように放射線検出器10の感度と、MTFと、放射線検出器10に入力する放射線の強さによって求まる特性である。システムノイズと同様に、感度と蛍光体のMTFに関しても、その特性は製造ばらつきによって正規分布に従うばらつきをもつことから、S402の試行ごとに正規分布からランダムに特性値を選択し、人工ノイズを作成するためのパラメータとして用いる。すなわち、放射線撮影装置の製造ばらつきによって生じる放射線撮影装置に含まれる蛍光体のMTFの特性の分布に従って高周波成分が減衰したノイズを生成することができる。また、蛍光体のMTFの特性のばらつきの平均と分散とから算出される分布に従う頻度で高周波成分が減衰したノイズを加算することができる。さらに、分布において決定される範囲内からランダムに選択されるMTFの特性に従って高周波成分が減衰したノイズを加算することができる。製造ばらつきの範囲としては、一般的なシックスシグマを前提として最大値・最小値を規定したり、特性ごとに製品としての規格値が定められている場合は、規格値内の値を選択するなど、一定範囲を定めておくと好適である。
以上の構成を取ることにより、製造ばらつきによる個体差を考慮した人工ノイズを作成することができ、低減の学習が可能となる。
なお、上記の製造ばらつきによる個体差については、例えば、撮像面の面積のみが異なり、他は略同等の設計を持つ製品群など、機種が異なるが、放射線検出器10が略同等の特性を持つ場合には、機種の違いを含めた製造ばらつきを考慮した構成をとるようにしてもよい。すなわち、1つの機種の放射線撮影装置を複数製造した製造実績に基づいて得られる統計情報に従ってノイズを作成してもよい。また、異なる機種の撮影装置をそれぞれ複数製造した製造実績に基づいて得られる統計情報に従ってノイズを作成してもよい。
上述のような製造ばらつきによる個体差に加えて、さらに以下のような個体内での面内の特性ばらつきを考慮した構成を取るようにしてもよい。
放射線検出器10は、撮像面が広い面積(例えば43cm×43cm程度)で構成される。そのため、面内で均一な特性をもったものを製造することは難しく、同一の個体においても面内で若干の特性差が発生する場合がある。
図6は、放射線検出器10のMTF特性の面内分布の例を示した図である。蛍光体の形成プロセスなどの関係から、蛍光体の膜厚が一定にすることは難しく、蛍光体の厚い中央部(A)はMTFが低く、蛍光体の薄い端部(D)ではMTFが高くなるなど、MTFが面内で均一でないことがある。このようなばらつきに対処するために、蛍光体の面内によるMTFの最大値と最小値を計測しておき、加算する人工ノイズを作成する際に、S402の試行ごとに最大値から最小値の間の値をランダムに選択するようにする。なお、特性ごとに製品としての規格値が定められている場合は、規格値内の値を選択するようにしてもよい。ここで示したMTFに限らず、システムノイズの特性や、感度についても同様の傾向がある場合は、同様の構成を取ることができる。すなわち、分布において決定される範囲内からランダムに選択されるシステムノイズ特性のばらつきに従ってシステムノイズを模したノイズを加算することができる。
ステップS403では、学習データ生成部264によって、学習データの入力データに対して人工ノイズが加算される。ここでは、ステップS402において製造ばらつき解析部263で算出された、製造ばらつきを考慮した人工ノイズに基づいて加算が行われる。
ステップS404では、学習データの組に対して、適宜の前処理を行う。なお、前処理の方法については上記に制限されるものではない。例えばノイズ低減処理においては、例えば平方根変換や対数変換等を行うことで、ポアソン分布に従う量子ノイズを入力される放射線の強さによらず略一定とし、加法性のノイズを取り扱えるように変換する処理や、平均値を0にする処理を用いることができる。それに限らず、データを0-1で正規化する、平均値0、標準偏差1となるように標準化するなど、画像処理の内容に応じて適宜の前処理を行えばよい。
ステップS405では、推論処理部262によって、学習データの入力データに対して機械学習モデルを用いた推論処理が行われ、ノイズ低減処理が適用された推論データを出力する。
ステップS406では、パラメータ更新部265により推論データと正解データを比較され、両者の誤差を数値化した損失関数が算出される。また、損失関数に基づいて、機械学習モデルのパラメータ(例えばCNNにおける畳み込み層のフィルタ係数等)が更新されるようになっている。損失関数の例としては、平均絶対誤差(L1loss)や、平均二乗誤差(L2loss)が挙げられる。
ステップS407において、学習の終了判定を行い、終了と判定された場合はフローを終了し、そうでない場合はS401に戻り、別のデータを用いてS401~S406のフローを繰り返す。S402において行われる製造ばらつき解析などで用いられた乱数などは、ループの度にリセットすることで、好適に製造ばらつきに対応した機械学習モデルを学習することができる。終了判定の基準としては、たとえば特定のループ回数が実行されたかどうかを判定してもよい。あるいは、損失関数が一定以下であるかを判定してもよい。あるいは、過学習が行われていないかどうかを判定してもよい。あるいは、推論画像におけるノイズ低減の性能を示す指標であるPSNR(Peak Signal to Noise Ratio)や、SSIM(Structual SIMilarity)を評価し、性能が十分な水準に達しているかを判定してもよい。すなわち、機械学習において一般的に用いられる適宜の判定基準を使用することが可能である。
上記説明したように、本実施形における学習処理部261は、製造ばらつきを考慮しつつ、実際の放射線画像のノイズの特徴を模擬した人工ノイズを加算する。これにより、大量生産に伴う製造ばらつきを有する製品に機械学習技術による処理を適用する際、学習系と推論系の特性がマッチしない場合においても好適にノイズが低減された画像を出力することのできる機械学習モデルを生成することが可能となる。
(推論処理部)
次に、図7を参照して、本実施例に係る推論処理部262の処理の流れについて説明する。図7は、本実施例に係る推論処理部262の一連の画像処理を示すフローチャートである。
本実施例に係る一連の画像処理では、処理の対象となる放射線画像に対して、前処理を行い、学習済モデルへの入力とする。その後、学習済モデルからの出力に対して、前処理に対応する後処理を行い、元の放射線画像に対応する、ノイズの低減された放射線画像を生成する。
本実施例に係る一連の画像処理が開始されると、ステップS701において、取得部21が放射線画像を取得する。取得部21は、放射線検出器10によって生成された放射線画像を取得してもよいし、記憶部25や外部記憶装置70等から放射線画像を取得してもよい。
ステップS702では、前処理が行われる。前処理は、学習処理におけるS404と同じ前処理を行うものである。
ステップS703では、推論処理部262が、学習処理によって得た学習済モデルを用いて、推論処理を行いノイズが低減された画像を生成する。なお、学習済モデルは予め学習が行われた機械学習モデルであればよく、当該一連の画像処理の度に学習が行われる必要はない。なお、入力画像と、推論処理を行いノイズが低減された画像を特定の比率でブレンドすることで、ノイズ低減処理の強度について調整することが可能である。
また、本実施例では、学習済モデルは制御部20に設けられる構成としているが、学習済モデルは制御部20に接続された外部記憶装置70等に設けられてもよい。
ステップS704では、ステップS702で行った前処理に対応する後処理を行う。後処理は、前処理で行った、正規化や平準化などの変換の逆処理を行うものである。上記ステップS701~S704の処理により、ノイズが低減された放射線画像を出力することが可能となる。なお画像処理部22の性能によって画像全体を一度に処理することができない場合は、画像を適宜の大きさの小領域(たとえば256×256pixel)に分割して処理するようにしてもよい。
このように、本実施例に係る一連の画像処理では、学習処理部261によって作成した学習済モデルを用いて推論処理部262の処理を行うことで、デジタル放射線撮影装置において好適なノイズ低減を行った放射線画像を生成することができる。
さらに、本実施形における学習処理部261は、製造ばらつき解析部263によって、製造ばらつきを考慮することができる。そのため、大量生産に伴う製造ばらつきを有する製品に機械学習技術による処理を適用する際、学習系と推論系の特性がマッチしない場合においても好適にノイズが低減された放射線画像を出力することが可能となる。
図8は、本実施例に係る一連の画像処理前の放射線画像と、処理後の放射線画像の一例を示す図である。入力された放射線画像801にノイズ低減処理部26によるノイズ低減処理を適用した場合の結果を例示する。製造ばらつきに対する対策を行わず、製造ばらつきによって学習系と推論系の特性がマッチしない場合のノイズ低減後の放射線画像802では、ノイズ様のアーチファクトが発生している。一方で、本特許における製造ばらつきにおける対策を行った場合のノイズ低減後の放射線画像803は、アーチファクトを発生することなく好適なノイズ低減を実現できていることがわかる。
(学習処理の変形例)
上述した実施例においては、製造ばらつき解析部263によって解析された製造ばらつきの影響を、学習データ生成部264で加算する人工ノイズに反映し、それを加算して学習することで、製造ばらつきに対する冗長性を確保する構成を取った。
しかしながら、別の実施例として、次のような構成を取ることも可能である。
この実施例では、製造ばらつき解析部263によって解析された製造ばらつきの影響を、別途に扱い、パラメータ更新処理における損失関数の正則化項として与える構成を取る。すなわち、撮影装置の製造ばらつきによって生じる撮影装置の特性の変化を学習における正則化項として追加する構成でもよい。
学習中のネットワークを用いた推論処理をfnetstudy、人工ノイズ加算済みの入力データをIin、正解データをIans、正則化パラメータをwとすると、損失関数Lは、例えば(式5)のように与えられる。
Figure 2023077988000006
in(i)は画像Iinのi番目の画素の値を示し、画像の画素数がnであるものとする。正則化パラメータwは、図5、図6に示されるような製造ばらつきに起因する特性のばらつきに基づいて決定する項である。
上記構成においても、大量生産に伴う製造ばらつきを有する製品に機械学習技術による処理を適用する際、好適にノイズが低減された画像を出力することのできる機械学習モデルを生成することが可能となる。
(実施例2)
これまで画像処理として放射線画像のノイズ低減処理についての構成を述べてきたが、本発明においては、学習対象とする処理を放射線画像のノイズ低減処理に制限するものではない。すなわち、適宜の正解データを用いた機械学習によって実現できる画像処理であれば任意のものを適用することができる。図1A、図1B、図2A、図2Bの構成における画像処理部22において、図9のように、任意の機械学習処理部91を持つ構成を取ることができる。他の構成はこれまで図1A、図1B、図2A、図2Bで説明した構成と同じである。
以下、他の機械学習処理における実施例として、図10を用いて超解像処理における構成を述べる。図10は、本実施例に係る機械学習のニューラルネットワークモデルの学習における概略的な構成例を示している。
ここでは、学習データとして、低解像度と高解像度のデータの組を扱うこととする。元データ106から、学習画像生成部264によって入力データ作成処理106(ここでは、元データ106の解像度を下げる処理)と、正解データ作成処理107が行われて、学習データの組が作成される。
学習データにおける低解像度の入力データ101に推論処理部262のニューラルネットワークモデル102を適用し、解像度が向上した推論データ103と、学習データにおける正解データ104から、損失関数を算出し、損失関数に基づいてニューラルネットワークモデル33のパラメータを更新する処理を行う。ここで、損失関数は、推論データ103と、正解データ104の誤差を示すものである。
超解像処理においては、低解像のデータから高解像のデータを再現する学習を行わなければならないが、製造ばらつきによって入力されるデータの解像度が変化する。これに対処するため、製造ばらつき解析部263は、上記の解像度のばらつきを解析し、学習画像生成部264の処理に反映させる。例えば、入力データ作成処理105における入力データの101の作成時および、正解データ作成処理107における正解データ104の作成時に、製造ばらつきで想定される範囲内で解像度を変化させるための空間フィルタを作成し、元データの解像度調整処理を行う構成を取る。すなわち、放射線撮影装置の製造ばらつきに基づいて生成された空間フィルタを用いて解像度を調整した放射線画像を含む学習データを生成する。これにより、学習済みのニューラルネットワークを用いた推論処理に関しては、図7に示す処理と同等である。
上記説明したように、超解像処理においても、大量生産に伴う製造ばらつきを有する製品において、学習系と推論系の特性がマッチしない場合においても好適に解像度を復元した画像を出力することのできる機械学習モデルを生成することが可能となる。
機械学習処理部91の他の例としては、各種のセグメンテーション処理や、周波数の強調処理、写真機の夜景モードに代表される画像のスタイル変換など、任意の機械学習処理に適用することが可能である。また、製造ばらつきによってばらつく特性についても、これまで説明したような蛍光体やレンズの解像度や、ノイズ特性、感度に限定されない。例えば発色特性や、欠損画素の数や場所、デバイス動作時の電圧値や暗電流値、回路部品の個体差など、各種デバイスの任意の特性を取り扱うことができる。
(変形例1)
演算処理部266が用いる機械学習モデルについては、CNNの構成として、変分オートエンコーダー(VAE:Variational Auto-Encoder)や、FCN(Fully Convolutional Network)、又はSegNet、DenseNet等、任意の層構成を組み合わせて用いることもできる。また、例えば、カプセルネットワーク(CapsNet:Capsule Network)でもよい。ここで、一般的なニューラルネットワークでは、各ユニット(各ニューロン、あるいは各ノード)はスカラー値を出力するように構成されることによって、例えば、画像における特徴間の空間的な位置関係(相対位置)に関する空間情報が低減されるように構成されている。これにより、例えば、画像の局所的な歪みや平行移動等の影響が低減されるような学習を行うことができる。一方、カプセルネットワークでは、各ユニット(各カプセル)は空間情報をベクトルとして出力するように構成されることよって、例えば、空間情報が保持されるように構成されている。これにより、例えば、画像における特徴間の空間的な位置関係が考慮されたような学習を行うことができる。
(変形例2)
また、各種学習済モデルの学習データは、実際の撮影を行う放射線検出器自体を用いて得たデータに限られず、所望の構成に応じて、同型の放射線検出器を用いて得たデータや、同種の放射線検出器を用いて得たデータ等であってもよい。なお、上述の実施例及び変形例に係る、ノイズ低減処理用の学習済モデルは、例えば、放射線画像の輝度値の大小、明部と暗部の順番や傾き、位置、分布、連続性等を特徴量の一部として抽出して、ノイズ低減された放射線画像の生成に係る推定処理に用いているものと考えられる。
また、上述した実施例及び変形例に係る学習済モデルは制御部20に設けられることができる。学習済モデルは、例えば、CPUや、MPU、GPU、FPGA等のプロセッサーによって実行されるソフトウェアモジュール等で構成されてもよいし、ASIC等の特定の機能を果たす回路等によって構成されてもよい。また、これら学習済モデルは、制御部20と接続される別のサーバの装置等に設けられてもよい。この場合には、制御部20は、インターネット等の任意のネットワークを介して学習済モデルを備えるサーバ等に接続することで、学習済モデルを用いることができる。ここで、学習済モデルを備えるサーバは、例えば、クラウドサーバや、フォグサーバ、エッジサーバ等であってよい。
(その他の実施例)
本発明は、上述した様々な実施例及び変形例の1以上の機能を実現するソフトウェア(プログラム)を、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、1つ又は複数のプロセッサー若しくは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー若しくは回路のネットワークを含みうる。
このとき、プロセッサー又は回路は、中央演算処理装置(CPU)、マイクロプロセッシングユニット(MPU)、グラフィクスプロセッシングユニット(GPU)、特定用途向け集積回路(ASIC)、又はフィールドプログラマブルゲートウェイ(FPGA)を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ(DSP)、データフロープロセッサ(DFP)、又はニューラルプロセッシングユニット(NPU)を含みうる。
以上、実施例及び変形例を参照して本発明について説明したが、本発明は上記実施例及び変形例に限定されるものではない。本発明の趣旨に反しない範囲で変更された発明、及び本発明と均等な発明も本発明に含まれる。また、上述の各実施例及び変形例は、本発明の趣旨に反しない範囲で適宜組み合わせることができる。
10 放射線検出器
20 制御部(画像処理装置)
22 画像処理部

Claims (20)

  1. 放射線撮影装置により撮影された被検査物の第1の放射線画像を取得する取得手段と、
    放射線撮影装置の製造ばらつきに基づく分布に従って放射線撮影装置のシステムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに、前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、
    を含む放射線画像処理装置。
  2. 前記生成手段は、放射線撮影装置の製造ばらつきによって生じるシステムノイズ特性のばらつきの分布に従って前記システムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに、前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項1に記載の放射線画像処理装置。
  3. 前記生成手段は、前記システムノイズ特性のばらつきの平均と分散とから算出される分布に従う頻度で前記システムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記分布において決定される範囲内からランダムに選択される前記システムノイズ特性のばらつきに従って前記システムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記生成手段は、放射線撮影装置の製造ばらつきに基づく分布に従って前記システムノイズを模したノイズと高周波成分が減衰したノイズとを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項1乃至4のいずれか1項に記載の放射線画像処理装置。
  6. 前記生成手段は、放射線撮影装置の製造ばらつきによって生じる前記放射線撮影装置に含まれる蛍光体のMTFの特性の分布に従って高周波成分が減衰したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項5に記載の放射線画像処理装置。
  7. 前記生成手段は、前記MTFの特性のばらつきの平均と分散とから算出される分布に従う頻度で前記高周波成分が減衰したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項5または6に記載の放射線画像処理装置。
  8. 前記分布において決定される範囲内からランダムに選択される前記MTFの特性に従って高周波成分が減衰したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項5乃至7のいずれか1項に記載の放射線画像処理装置。
  9. 被検査物の第1の放射線画像を取得する取得手段と、
    放射線撮影装置の製造実績に基づいて得られるシステムノイズに関する統計情報に従ってシステムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成手段と、
    を含む放射線画像処理装置。
  10. 前記生成手段は、1つの機種の放射線撮影装置を複数製造した製造実績に基づいて得られる前記統計情報に従って前記システムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項9に記載の放射線画像処理装置。
  11. 前記生成手段は、異なる機種の撮影装置をそれぞれ複数製造した製造実績に基づいて得られる前記統計情報に従って前記システムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに前記第1の放射線画像を入力することにより、前記第2の放射線画像を生成することを特徴とする請求項9または10に記載の放射線画像処理装置。
  12. 放射線撮影装置により撮影された被検査物の第1の放射線画像を取得する取得手段と、
    放射線撮影装置の製造ばらつきに基づいて生成された空間フィルタを用いて解像度を調整した放射線画像を含む学習データを用いて学習して得た学習済モデルに、前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べて解像度の高い第2の放射線画像を生成する生成手段と、
    を含むことを特徴とする放射線画像処理装置。
  13. 撮影装置により撮影された被検査物の第1の画像を取得する取得手段と、
    撮影装置の製造ばらつきに基づく分布に従ってノイズを加算した画像を含む学習データを用いて学習して得た学習済モデルに、前記取得手段により取得された第1の画像を入力することにより、前記第1の画像に比べてノイズが低減された第2の画像を生成する生成手段と、
    を含むことを特徴とする画像処理装置。
  14. 放射線撮影装置の製造実績に基づいて得られる統計情報に従ってノイズを加算した放射線画像を含む学習データを用いて学習済モデルを学習する学習手段を含む学習装置。
  15. 撮影装置により撮影された画像に画像処理を行う学習済モデルを機械学習する学習装置であって、前記撮影装置の製造ばらつきによって生じる前記撮影装置の特性の変化を前記学習済モデルの学習における正則化項として追加する学習手段を含む学習装置。
  16. 放射線撮影装置の製造実績に基づいて得られる統計情報に従ってノイズを加算した放射線画像を含む学習データを生成する生成工程を含む学習データの生成方法。
  17. 前記製造実績から前記放射線撮影装置のノイズに関する特性の製造ばらつきを解析する解析工程をさらに含み、
    前記生成工程は、前記解析工程において前記解析されたノイズに関する特性の製造ばらつきに基づいて得られる前記統計情報に従ってノイズを加算した放射線画像を含む学習データを生成することを特徴とする請求項14に記載の学習データの生成方法。
  18. 前記ノイズに関する特性は、前記放射線撮影装置のシステムノイズ特性と、前記放射線撮影装置の感度と、前記放射線撮影装置に含まれる蛍光体のMTFの特性とを含み、
    前記解析工程は、前記放射線撮影装置のシステムノイズ特性と、前記放射線撮影装置の感度と、前記放射線撮影装置に含まれる蛍光体のMTFの特性との少なくともいずれか1つの製造ばらつきを解析することを特徴とする請求項14または15に記載の学習データの生成方法。
  19. 放射線撮影装置により撮影された被検査物の第1の放射線画像を取得する取得工程と、
    放射線撮影装置の製造ばらつきに基づく分布に従って放射線撮影装置のシステムノイズを模したノイズを加算した放射線画像を含む学習データを用いて学習して得た学習済モデルに、前記取得手段により取得された第1の放射線画像を入力することにより、前記第1の放射線画像に比べてノイズが低減された第2の放射線画像を生成する生成工程と、
    を含む放射線画像処理方法。
  20. コンピュータを、請求項1乃至12のいずれか1項に記載の放射線画像処理装置の各手段として機能させるためのプログラム。
JP2021191531A 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム Pending JP2023077988A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021191531A JP2023077988A (ja) 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
US18/058,099 US20230162328A1 (en) 2021-11-25 2022-11-22 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021191531A JP2023077988A (ja) 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023077988A true JP2023077988A (ja) 2023-06-06

Family

ID=86622823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021191531A Pending JP2023077988A (ja) 2021-11-25 2021-11-25 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2023077988A (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080852A (ja) * 2004-09-09 2006-03-23 Olympus Corp 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
US20170069059A1 (en) * 2014-11-13 2017-03-09 Huawei Technologies Co., Ltd. Non-Local Image Denoising
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
EP3480782A1 (en) * 2017-11-02 2019-05-08 Vrije Universiteit Brussel Method and device for reducing noise in a depth image
JP2020166814A (ja) * 2019-03-11 2020-10-08 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP2021060847A (ja) * 2019-10-08 2021-04-15 株式会社ザクティ ノイズ除去システム
US20210142476A1 (en) * 2020-05-18 2021-05-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image optimization
US20210272240A1 (en) * 2020-03-02 2021-09-02 GE Precision Healthcare LLC Systems and methods for reducing colored noise in medical images using deep neural network

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080852A (ja) * 2004-09-09 2006-03-23 Olympus Corp 画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム
JP2007189589A (ja) * 2006-01-16 2007-07-26 Sony Corp 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
US20170069059A1 (en) * 2014-11-13 2017-03-09 Huawei Technologies Co., Ltd. Non-Local Image Denoising
JP2018206382A (ja) * 2017-06-01 2018-12-27 株式会社東芝 画像処理システム及び医用情報処理システム
EP3480782A1 (en) * 2017-11-02 2019-05-08 Vrije Universiteit Brussel Method and device for reducing noise in a depth image
JP2020166814A (ja) * 2019-03-11 2020-10-08 キヤノン株式会社 医用画像処理装置、医用画像処理方法及びプログラム
JP2021060847A (ja) * 2019-10-08 2021-04-15 株式会社ザクティ ノイズ除去システム
US20210272240A1 (en) * 2020-03-02 2021-09-02 GE Precision Healthcare LLC Systems and methods for reducing colored noise in medical images using deep neural network
US20210142476A1 (en) * 2020-05-18 2021-05-13 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for image optimization

Similar Documents

Publication Publication Date Title
CN110462689B (zh) 基于深度学习的断层摄影重建
CN107545309B (zh) 使用深度生成机器学习模型的图像质量评分
CN110807737B (zh) 迭代图像重建框架
JP7150837B2 (ja) 機械学習を使用した画像生成
JP7202302B2 (ja) 断層撮影再構成に使用するためのデータのディープラーニングに基づく推定
Ben Yedder et al. Deep learning for biomedical image reconstruction: A survey
CN107610193B (zh) 使用深度生成式机器学习模型的图像校正
EP3716214B1 (en) Medical image processing apparatus and method for acquiring training images
JP2020064609A (ja) 患者固有の深層学習画像ノイズ除去方法およびシステム
CN110998602A (zh) 使用深度学习方法对3d牙颌面结构的分类和3d建模
JP2021013736A (ja) X線診断システム、画像処理装置及びプログラム
JP7475979B2 (ja) X線システム及び撮像プログラム
US20230377314A1 (en) Out-of-distribution detection of input instances to a model
US20230206404A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP2023077988A (ja) 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
US20230162328A1 (en) Image processing apparatus
JP2023077989A (ja) 放射線画像処理装置、放射線画像処理方法、学習装置、学習データの生成方法、及びプログラム
Kandarpa Tomographic image reconstruction with direct neural network approaches
CN114730476A (zh) 有限角度重建的网络确定
US11672498B2 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US20220139006A1 (en) Information processing method, medical image diagnostic apparatus, and information processing system
US20230309937A1 (en) Spectral x-ray material decomposition method
JP2022039989A (ja) 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム
CN117897722A (zh) 使用机器学习方法进行的医学图像去噪

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325