JP2023008225A - 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 - Google Patents
放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 Download PDFInfo
- Publication number
- JP2023008225A JP2023008225A JP2021111609A JP2021111609A JP2023008225A JP 2023008225 A JP2023008225 A JP 2023008225A JP 2021111609 A JP2021111609 A JP 2021111609A JP 2021111609 A JP2021111609 A JP 2021111609A JP 2023008225 A JP2023008225 A JP 2023008225A
- Authority
- JP
- Japan
- Prior art keywords
- image
- noise
- radiographic image
- ray
- image acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005855 radiation Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims description 67
- 238000012545 processing Methods 0.000 claims abstract description 149
- 238000001514 detection method Methods 0.000 claims abstract description 138
- 238000000926 separation method Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 86
- 238000003384 imaging method Methods 0.000 claims description 64
- 238000010801 machine learning Methods 0.000 claims description 44
- 238000011156 evaluation Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 12
- 230000001678 irradiating effect Effects 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 141
- 238000010586 diagram Methods 0.000 description 46
- 239000000463 material Substances 0.000 description 45
- 238000012549 training Methods 0.000 description 37
- 230000006870 function Effects 0.000 description 33
- 238000002834 transmittance Methods 0.000 description 27
- 238000005259 measurement Methods 0.000 description 24
- 238000004088 simulation Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 20
- 238000012986 modification Methods 0.000 description 17
- 230000004048 modification Effects 0.000 description 17
- 230000032258 transport Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000006866 deterioration Effects 0.000 description 14
- 238000010276 construction Methods 0.000 description 13
- 238000007689 inspection Methods 0.000 description 12
- 238000001228 spectrum Methods 0.000 description 12
- 238000002083 X-ray spectrum Methods 0.000 description 11
- 230000007423 decrease Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 239000013077 target material Substances 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000009795 derivation Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000013330 chicken meat Nutrition 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical group [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/20—Measuring radiation intensity with scintillation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
- G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
- G01T1/16—Measuring radiation intensity
- G01T1/20—Measuring radiation intensity with scintillation detectors
- G01T1/2018—Scintillation-photodiode combinations
- G01T1/20184—Detector read-out circuitry, e.g. for clearing of traps, compensating for traps or compensating for direct hits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/10—Different kinds of radiation or particles
- G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
- G01N2223/1016—X-ray
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/30—Accessories, mechanical or electrical features
- G01N2223/33—Accessories, mechanical or electrical features scanning, i.e. relative motion for measurement of successive object-parts
- G01N2223/3307—Accessories, mechanical or electrical features scanning, i.e. relative motion for measurement of successive object-parts source and detector fixed; object moves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/30—Accessories, mechanical or electrical features
- G01N2223/33—Accessories, mechanical or electrical features scanning, i.e. relative motion for measurement of successive object-parts
- G01N2223/3308—Accessories, mechanical or electrical features scanning, i.e. relative motion for measurement of successive object-parts object translates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/50—Detectors
- G01N2223/501—Detectors array
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/50—Detectors
- G01N2223/505—Detectors scintillation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/643—Specific applications or type of materials object on conveyor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/60—Specific applications or type of materials
- G01N2223/652—Specific applications or type of materials impurities, foreign matter, trace amounts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- High Energy & Nuclear Physics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Toxicology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Measurement Of Radiation (AREA)
Abstract
【課題】放射線画像における解像度を高めながらS/N比を効果的に向上させる。【解決手段】画像取得装置1は、対象物を透過した放射線を一の方向にスキャンして撮像してX線画像を取得するカメラ10と、カメラ10上に設けられ、X線を光に変換するシンチレータ層11と、X線画像からノイズを除去するノイズ除去処理を実行する制御装置20とを備え、カメラ10は、一の方向に直交する方向にN個(Nは2以上の整数)配列されて構成され、光を検出して検出信号を出力する画素72と、N個の画素72毎の検出信号を出力することにより、X線画像を出力する読み出し回路73と、を含み、シンチレータ層11は、N個の画素72に対応して分離して配置されたP個(Pは2以上の整数)のシンチレータ部11aと、P個のシンチレータ部11aの間に配置された分離部11bとを含む。【選択図】図3
Description
実施形態の一側面は、放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法に関する。
従来から、対象物の搬送方向に直交して配置されたラインセンサを複数列設けて、複数列のラインセンサから出力された検出データを加算することにより、対象物を透過したX線等の電磁波の分布を画像データとして取得する装置が用いられている。このような装置によれば、対象物を透過した電磁波を検出した画像データにおいて積分露光効果を得ることができる。
上述したような従来の装置においては、複数列のラインセンサから得られる検出データを加算することにより、加算結果において信号値が向上するとともにノイズ値も増加する傾向にある。そのため、画像データにおいてS/N比が十分に向上しない場合があった。また、シンチレータを用いることにより得られる画像データにおける解像度が低下してしまう場合もあった。
そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、放射線画像における解像度を高めながらS/N比を効果的に向上できる放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法を提供することを課題とする。
実施形態の一側面に係る放射線画像取得装置は、対象物を透過した放射線を一の方向にスキャンして撮像して放射線画像を取得する撮像装置と、撮像装置上に設けられ、放射線を光に変換するシンチレータ層と、放射線画像からノイズを除去するノイズ除去処理を実行する画像処理モジュールと、を備え、撮像装置は、一の方向に直交する方向にN個(Nは2以上の整数)配列されて構成され、光を検出して検出信号を出力する検出素子と、N個の検出素子毎の検出信号を出力することにより、放射線画像を出力する読出回路と、を含み、シンチレータ層は、N個の検出素子に対応して分離して配置されたP個(Pは2以上の整数)のシンチレータ部と、P個のシンチレータ部の間に配置された分離部と、を含む。
あるいは、実施形態の他の側面に係る放射線画像取得システムは、上記の放射線画像取得装置と、対象物に放射線を照射する発生源と、対象物を撮像装置に対して一の方向に搬送する搬送装置と、を備える。
あるいは、実施形態の他の側面に係る放射線画像取得方法は、対象物を透過した放射線に応じたシンチレーション光を一の方向にスキャンして撮像して放射線画像を取得するステップと、放射線画像からノイズを除去するノイズ除去処理を実行するステップと、を備え、取得するステップでは、一の方向に直交する方向にN個(Nは2以上の整数)配列されて構成され、光を検出して検出信号を出力する検出素子を含む撮像装置と、N個の検出素子に対応して分離して配置されたP個(Pは2以上の整数)のシンチレータ部とP個のシンチレータ部の間に配置された分離部とを含む放射線を光に変換するシンチレータ層と、を用いて、N個の検出素子毎の検出信号を出力することにより、放射線画像を出力する。
上記一側面あるいは他の側面のいずれかによれば、対象物を透過した放射線に応じたシンチレーション光が、対象物のスキャンの方向に対して直交する方向に配列されたN個の検出素子によって検出され、N個の検出素子からの検出信号が出力されることにより、放射線画像が出力される。この際、対象物を透過した放射線は分離して配置されたP個のシンチレータ部によってシンチレーション光に変換され、P個のシンチレータ部からのシンチレーション光が、それぞれ、N個の検出素子によって検出される。加えて、出力された放射線画像は、ノイズ除去処理が施されることにより、ノイズが除去される。このように、検出素子に対応して分離されたシンチレータ部を用いることにより放射線画像の解像度を高めることができるとともに、放射線画像におけるS/N比を効果的に向上させることができる。
ここで、上記一側面では、撮像装置は、一の方向に沿って配列されたM個(Mは2以上の整数)の画素を有する画素ラインが、一の方向に直交する方向にN列(Nは2以上の整数)配列されて構成され、画素毎に光に関する検出信号を出力する検出素子と、検出素子のN列の画素ライン毎に、M個の画素のうちの少なくとも2個の画素から出力される検出信号を加算処理し、加算処理したN個の検出信号を出力することにより、放射線画像を出力する読出回路と、を含む、ことが好適である。また、上記他の側面では、撮像装置は、一の方向に沿って配列されたM個(Mは2以上の整数)の画素を有する画素ラインが、一の方向に直交する方向にN列(Nは2以上の整数)配列されて構成され、画素毎に光に関する検出信号を出力する検出素子を含み、取得するステップでは、検出素子のN列の画素ライン毎に、M個の画素のうちの少なくとも2個の画素から出力される検出信号を加算処理し、加算処理したN個の検出信号を出力することにより、放射線画像を出力する、ことが好適である。
このような構成の場合、対象物を透過した放射線に応じたシンチレーション光が、対象物のスキャンの方向に配列されたM個の画素を有する画素ラインがN列で配列された検出素子によって検出され、画素ライン毎に出力されたM個の画素の検出信号のうちの少なくとも2個の画素の検出信号が加算処理され、加算処理されたN個の検出信号が順次出力されることにより、放射線画像が出力される。これにより、放射線画像において信号成分を増加させることで放射線画像におけるS/N比を効果的に向上させることができる。
さらに、上記画像処理モジュールは、放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、放射線画像からノイズを除去するノイズ除去処理を実行する、ことも好適である。さらに、上記実行するステップでは、放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、放射線画像からノイズを除去するノイズ除去処理を実行する、ことも好適である。この場合、放射線画像においてノイズ成分を適切に除去することができ、放射線画像におけるS/N比を一層向上させることができる。
また、上記一側面あるいは上記他の側面では、学習済みモデルは、所定の構造体の放射線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される、ことが好適である。これにより、学習済みモデルの構築に用いられる教師データである画像データを用意することが容易となり、学習済みモデルを効率的に構築することができる。
また、上記学習済みモデルは、シンチレータ層を用いて得られた放射線画像を教師データとした機械学習によって構築される、ことも好適である。こうすれば、学習済みモデルの構築に用いられる教師データである画像データに画像取得時の条件を反映させることが容易となり、適切なノイズ除去を実現する学習済みモデルを構築することができる。
また、画像処理モジュールは、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成するノイズマップ生成部と、放射線画像及びノイズマップを、学習済みモデルに入力し、放射線画像からノイズを除去するノイズ除去処理を実行する処理部と、を有する、ことも好適である。また、実行するステップでは、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成し、放射線画像及びノイズマップを、学習済みモデルに入力し、放射線画像からノイズを除去するノイズ除去処理を実行する、ことも好適である。この場合、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画像の画素値から評価値が導出され、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップが生成される。そして、放射線画像及びノイズマップが、予め機械学習によって構築された学習済みモデルに入力され、放射線画像からノイズを除去するノイズ除去処理が実行される。これにより、放射線画像の各画素の画素値から評価されるノイズ値の広がりが考慮されて、該放射線画像の各画素におけるノイズが機械学習により除去され、学習済みモデルを用いて放射線画像における画素値とノイズの広がりとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
さらに、画像処理モジュールは、放射線を照射して対象物を撮像する際の放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付ける入力部と、条件情報を基に、対象物を透過した放射線に関する平均エネルギーを算出する算出部と、平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、ノイズ除去処理に用いる学習済みモデルを絞り込む絞込部と、を有する、ことが好適である。また、実行するステップでは、放射線を照射して対象物を撮像する際の放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付け、条件情報を基に、対象物を透過した放射線に関する平均エネルギーを算出し、平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、ノイズ除去処理に用いる学習済みモデルを絞り込む、ことも好適である。この場合、対象物の放射線画像を取得する際の放射線の発生源の条件あるいは撮像条件を基に、対象物を透過した放射線の平均エネルギーが算出される。そして、その平均エネルギーを基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルの候補が絞り込まれる。これにより、撮像対象の放射線の平均エネルギーに対応した学習済みモデルがノイズ除去に用いられるので、放射線画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
またさらに、画像処理モジュールは、治具を対象として撮像装置によって取得された放射線画像の画像特性を特定する特定部と、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部と、選択された学習済みモデルを用いてノイズ除去処理を実行する処理部と、を有する、ことも好適である。また、実行するステップでは、治具を対象として取得された放射線画像の画像特性を特定し、画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択し、選択された学習済みモデルを用いてノイズ除去処理を実行する、ことも好適である。かかる構成によれば、治具の放射線画像の画像特性が特定され、その画像特性を基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルが選択される。これにより、システムにおける放射線発生源の条件等により変化する放射線画像の特性を推定でき、この推定結果に応じて選択された学習済みモデルがノイズ除去に用いられるので、放射線画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズを効果的に除去できる。
また、上記画像処理モジュールは、放射線画像に対してフィルタ処理を施し、放射線画像からノイズを除去するノイズ除去処理を実行する、ことも好適である。また、上記実行するステップでは、放射線画像に対してフィルタ処理を施し、放射線画像からノイズを除去するノイズ除去処理を実行する、ことも好適である。かかる構成によれば、放射線画像においてノイズ成分を適切に除去することができ、放射線画像におけるS/N比を一層向上させることができる。
さらに、上記画像処理モジュールは、放射線画像に対して、フィルタ処理に加えてエッジ強調処理を施す、ことも好適である。さらに、上記実行するステップでは、放射線画像に対して、フィルタ処理に加えてエッジ強調処理を施す、ことも好適である。この場合、放射線画像において、S/N比の向上に加えて、コントラストを向上させることができる場合がある。
実施形態によれば、放射線画像における解像度を高めながらS/N比を効果的に向上させることができる。
以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。
[第1実施形態]
[第1実施形態]
図1は、本実施形態に係る放射線画像取得装置および放射線画像取得システムである画像取得装置1の構成図である。図1に示されるように、画像取得装置1は、搬送方向TDに搬送される対象物Fに対してX線(放射線)を照射し、対象物Fを透過したX線に基づき対象物Fを撮像したX線透過画像(放射線画像)を取得する装置である。画像取得装置1は、X線透過画像を用いて、対象物Fを対象にした異物検査、重量検査、検品検査などを行い、用途としては、食品検査、手荷物検査、基板検査、電池検査、材料検査等が挙げられる。画像取得装置1は、ベルトコンベア(搬送装置)60と、X線照射器(放射線発生源)50と、X線検出カメラ(撮像装置)10と、制御装置(画像処理モジュール)20と、表示装置30と、各種入力を行うための入力装置40と、を備えて構成されている。なお、本開示の実施形態における放射線画像とは、X線画像に限らず、γ線などのX線以外の電離放射線による画像も含む。
ベルトコンベア60は、対象物Fが載置されるベルト部を有しており、該ベルト部を搬送方向(一の方向)TDに移動させることにより、対象物Fを所定の搬送速度で搬送方向TDに搬送する。対象物Fの搬送速度は、例えば48m/分である。ベルトコンベア60は、必要に応じて、搬送速度を、例えば24m/分、96m/分等の搬送速度に変更することができる。また、ベルトコンベア60は、ベルト部の高さ位置を適宜変更し、X線照射器50と対象物Fとの距離を変更することができる。なお、ベルトコンベア60で搬送される対象物Fとしては、例えば、食肉、魚介類、農作物、菓子等の食品、タイヤ等のゴム製品、樹脂製品、金属製品、鉱物等の資源材料、廃棄物、及び電子部品や電子基板等、様々な物品を挙げることができる。X線照射器50は、X線源としてX線を対象物Fに照射(出力)する装置である。X線照射器50は、点光源であり、一定の照射方向に所定の角度範囲でX線を拡散させて照射する。X線照射器50は、X線の照射方向がベルトコンベア60に向けられると共に、拡散するX線が対象物Fの幅方向(搬送方向TDと交差する方向)全体に及ぶように、ベルトコンベア60から所定の距離を離れてベルトコンベア60の上方に配置されている。また、X線照射器50は、対象物Fの長さ方向(搬送方向TDと平行な方向)においては、長さ方向における所定の分割範囲が照射範囲とされ、対象物Fがベルトコンベア60にて搬送方向TDへ搬送されることにより、対象物Fの長さ方向全体に対してX線が照射されるようになっている。X線照射器50は、制御装置20により管電圧及び管電流が設定され、設定された管電圧及び管電流に応じた所定のエネルギー、放射線量のX線を、ベルトコンベア60に向けて照射する。また、X線照射器50のベルトコンベア60側の近傍には、X線の所定波長域を透過させるフィルタ51が設けられている。
X線検出カメラ10は、X線照射器50により対象物Fに照射されたX線のうち、対象物Fを透過したX線を検出し、該X線に基づく検出信号を取得及び出力する。本実施形態に係る画像取得装置1は、ベルトコンベア60によって搬送される対象物Fを透過するX線に基づく検出信号を順次あるいは同時に出力することにより、X線透過像を搬送方向TDにスキャンして撮像したX線透過画像を出力する。
X線検出カメラ10は、フィルタ19、シンチレータ層11と、スキャンカメラ12と、センサ制御部13と、アンプ14と、AD変換器15と、補正回路16と、出力インターフェース17と、アンプ制御部18と、を有している。スキャンカメラ12、アンプ14、AD変換器15、補正回路16、及び出力インターフェース17はそれぞれ電気的に接続されている。
シンチレータ層11は、スキャンカメラ12上に接着等により固定されており 、対象物Fを透過したX線をシンチレーション光に変換する(詳細の構成は後述する。)。シンチレータ層11は、シンチレーション光をスキャンカメラ12に出力する。フィルタ19は、X線の所定波長域をシンチレータ層11に向けて透過させる。
スキャンカメラ12は、シンチレータ層11からのシンチレーション光を検出し、電荷に変換して、検出信号(電気信号)としてアンプ14に出力する。図2は、スキャンカメラ12の構成を示す平面図である。図2に示すように、スキャンカメラ12は、基板71上に2次元的に配列されたフォトダイオード(光電変換素子)である複数の画素(検出素子)72と、複数の画素72がシンチレーション光を光電変換して出力する検出信号を外部に出力する読み出し回路73と、読み出し回路73と複数の画素72のそれぞれとの間を電気的に接続する配線部Wとを備える。
詳細には、スキャンカメラ12は、基板71上に、搬送方向TDに沿って配列されたM個(Mは2以上の整数)の画素72からなる画素ライン(画素群)74が、搬送方向TDに略直交する方向にN列(Nは、2以上の整数)で配列された構成を有する。例えば、画素数Mは、4個であり、画素ライン数Nは、200以上30,000以下の任意の整数である。
読み出し回路73は、センサ制御部13による制御に応じて、画素ライン74毎にM個の画素72から所定の検出周期(詳細は後述する。)の間隔で出力される検出信号を順次受け、M個の画素72からの検出信号のうち、少なくとも2個の画素72の検出信号を加算する(足し合わせる)処理(加算処理)を行い、画素ライン74毎に加算処理を施した検出信号を組み合わせて、搬送方向TDに直交する対象物Fの1ラインの検出信号として、外部に出力する。なお、本実施形態でいう加算処理は、少なくとも2個の画素72の検出信号を加算し、平均値を得る平均処理も含む。本実施形態では、読み出し回路73は、M個の全ての検出信号を対象に加算処理を行う。加えて、読み出し回路73は、所定の検出周期をずらしてM個の画素72から順次出力される検出信号を対象に加算処理を行うことにより、搬送方向TDに直交する対象物Fの次の1ラインの検出信号を出力する。同様にして、読み出し回路73は、搬送方向TDに直交する対象物Fの複数ラインの検出信号を順次あるいは同時に出力する。
上記構成のスキャンカメラ12上に配置されたシンチレータ層11の構成について説明する。図3は、シンチレータ層11の構成を示す図であり、上方に搬送方向TDに沿った断面図、下方に基板71の画素72側の面から見た平面図を示している。このように、シンチレータ層11は、搬送方向TD及び搬送方向TDに垂直な方向に沿ってM×N個で並ぶ画素72に対応して分離して配置されるM×P個(Pは、2以上の整数)の矩形状のシンチレータ部11aと、それらのシンチレータ部11aの間に位置する分離部11bとが形成されてなる。なお、個数Pは、2以上かつN以下であってもよい。さらに、個数Pは、2以上の整数であって、Nを整数で割った整数であってもよい。この場合、シンチレータ層11の分離部11bの間隔に応じて光の広がりによるボケを抑えることができる。また、個数Pは、Nより大きい整数でもよい。この場合、シンチレータ層11の分離部11bの間隔が複数の画素72の間隔よりも小さくなるが、シンチレータ層11と複数の画素72の位置合わせが容易になる。本実施形態では、例えばP=Nであるが、これには限定されない。
M×P個のシンチレータ部11aは、入射するX線をシンチレーション光に変換可能なシンチレータ材料によって構成され、それぞれに対応する画素72の全体を覆うように配置される。分離部11bは、M×P個のシンチレータ部11aを区切るように網目状に形成され、シンチレーション光を遮蔽可能な材料によって構成されている。また、分離部11bには、シンチレーション光を反射する材料が含まれていてもよい。さらに、分離部11bは、放射線を遮蔽可能な材料によって構成されていてもよい。このようなシンチレータ層11を構成する材料、およびシンチレータ層11の製造方法は、例えば、特開2001-99941号公報、あるいは特開2003-167060号公報に記載された材料及び製造方法を用いることができる。ただし、シンチレータ層11の材料および製造方法は、上記文献に記載されたものには限定されない。
センサ制御部13は、スキャンカメラ12における画素ライン74内の全画素72が、対象物Fの同じ領域を透過したX線を撮像できるように、スキャンカメラ12を、所定の検出周期で繰り返し撮像するよう制御する。所定の検出周期は、スキャンカメラ12における画素ライン74内の画素72の画素幅に基づいて設定されてもよい。所定の検出周期は、例えば、スキャンカメラ12における画素ライン74内の画素72間の距離、ベルトコンベア60の速度、X線照射器50とベルトコンベア60上の対象物Fとの距離(FOD(Focus Object Distance:線源物体間距離))、並びに、X線照射器50とスキャンカメラ12との距離(FDD(Focus Detector Distance:線源センサ間距離))に基づいてスキャンカメラ12における画素ライン74内の画素72の検出タイミングのズレ(遅延時間)を特定し、そのズレを基に所定の検出周期が設定されてもよい。
アンプ14は、所定の設定増幅率にて検出信号を増幅して増幅信号を生成し、該増幅信号をAD変換器15に出力する。設定増幅率は、アンプ制御部18によって設定される増幅率である。アンプ制御部18は、所定の撮像条件に基づいて、アンプ14の設定増幅率を設定する。
AD変換器15は、アンプ14により出力された増幅信号(電圧信号)をデジタル信号に変換し、補正回路16に出力する。補正回路16は、デジタル信号に対して、信号増幅等の所定の補正を行い、補正後のデジタル信号を出力インターフェース17に出力する。出力インターフェース17は、デジタル信号をX線検出カメラ10の外部に出力する。
制御装置20は、例えばPC(Personal Computer)等のコンピュータである。制御装置20は、X線検出カメラ10(より詳細には、出力インターフェース17)から順次あるいは同時に出力された複数ラインの検出信号に対応するデジタル信号(増幅信号)に基づいてX線透過画像を生成する。本実施形態では、制御装置20は、出力インターフェース17から出力された128ライン分のデジタル信号を基に、1つのX線透過画像を生成する。生成されたX線透過画像は、後述するノイズ除去処理が施された後に表示装置30に出力され、表示装置30によって表示される。また、制御装置20は、X線照射器50、アンプ制御部18、及びセンサ制御部13を制御する。なお、本実施形態の制御装置20は、X線検出カメラ10の外部に独立に設けられた装置であるが、X線検出カメラ10の内部に一体化されていてもよい。
図4は、制御装置20のハードウェア構成を示している。図4に示すように、制御装置20は、物理的には、プロセッサであるCPU(Central Processing Unit)101及びGPU105(Graphic Processing Unit)、記録媒体であるRAM(Random Access Memory)102及びROM(Read Only Memory)103、通信モジュール104、及び入出力モジュール106等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、制御装置20は、入力装置40及び表示装置30として、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、制御装置20は、複数のコンピュータによって構成されていてもよい。
図5は、制御装置20の機能構成を示すブロック図である。制御装置20は、入力部201、算出部202、画像取得部203、ノイズマップ生成部204、処理部205、及び構築部206を備える。図5に示す制御装置20の各機能部は、CPU101、GPU105、及びRAM102等のハードウェア上にプログラム(第1実施形態の放射線画像処理プログラム)を読み込ませることにより、CPU101及びGPU105の制御のもとで、通信モジュール104、及び入出力モジュール106等を動作させるとともに、RAM102におけるデータの読み出し及び書き込みを行うことで実現される。制御装置20のCPU101及びGPU105は、このコンピュータプログラムを実行することによって制御装置20を図5の各機能部として機能させ、後述する放射線画像取得処理方法に対応する処理を順次実行する。なお、CPU101及びGPU105は、単体のハードウェアでもよく、いずれか一方のみでもよい。また、CPU101及びGPU105は、ソフトプロセッサのようにFPGAのようなプログラマブルロジックの中に実装されたものでもよい。RAMやROMについても単体のハードウェアでもよく、FPGAのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ROM103、RAM102等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。また、制御装置20内の内蔵メモリあるいは記憶媒体には、CPU101及びGPU105によって読み込まれることによって、CPU101及びGPU105にX線画像(X線透過画像)を対象にノイズ除去処理を実行させる学習済みモデル207が予め格納されている(後述する)。
以下、制御装置20の各機能部の機能の詳細について説明する。
入力部201は、放射線を照射して対象物Fを撮像する際の放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付ける。具体的には、入力部201は、対象物FのX線画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報の入力を、画像取得装置1のユーザから受け付ける。動作条件としては、管電圧、ターゲット角度、ターゲットの材料等のうちの全部又は一部が挙げられる。撮像条件を示す条件情報としては、X線照射器50とX線検出カメラ10との間に配置されるフィルタ51,19の材質及び厚さ、X線照射器50とX線検出カメラ10との距離(FDD)、X線検出カメラ10の窓材の種類、及び、X線検出カメラ10のシンチレータ層11の材料及び厚さに関する情報、X線検出カメラ情報(例えば、ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート(Hz)もしくはラインスピード(m/min))、対象物Fの情報等のうちの全部又は一部が挙げられる。入力部201は、条件情報の入力を、数値等の情報の直接入力として受け付けてもよいし、予め内部メモリに設定された数値等の情報に対する選択入力として受け付けてもよい。入力部201は、上記の条件情報の入力をユーザから受け付けるが、一部の条件情報(管電圧等)を、制御装置20による制御状態の検出結果に応じて取得してもよい。
算出部202は、条件情報を基に、対象物Fを透過したX線(放射線)に関する平均エネルギーを算出する。条件情報には、発生源の管電圧、対象物Fに関する情報、対象物Fの撮像に用いるカメラが備えるフィルタの情報、カメラが備えるシンチレータの情報、X線発生源が備えるフィルタの情報のいずれか1つが少なくとも含まれる。具体的には、算出部202は、入力部201によって入力を受け付けられた条件情報を基に、画像取得装置1を用いて対象物Fを透過させてX線検出カメラ10によって検出させるX線の平均エネルギーの値を算出する。例えば、算出部202は、条件情報に含まれる、管電圧、ターゲット角度、ターゲットの材料、フィルタ51,19の材質及び厚さ及びその有無、X線検出カメラ10の窓材の種類及びその有無、X線検出カメラ10のシンチレータ層11の材料及び厚さ、等の情報に基づいて、X線検出カメラ10で検出されるX線のスペクトルを、例えば公知のTucker等の近似式を用いて算出する。そして、算出部202は、X線のスペクトルから、スペクトル強度積分値と光子数積分値とをさらに算出し、スペクトル強度積分値を光子数積分値で除することによりX線の平均エネルギーの値を算出する。
公知のTuckerの近似式を用いた算出方法について記載する。例えば、算出部202は、ターゲットをタングステン、ターゲット角度を25°と特定すると、Em:電子ターゲット衝突時の運動エネルギー、T:ターゲット中の電子運動エネルギー、A:ターゲット物質の原子番号で決まる比例定数、ρ:ターゲットの密度、μ(E):ターゲット物質の線減弱係数、B:緩やかに変化するZとTの関数、C:Thomson-Whiddington定数、θ:ターゲット角度、c:真空中の光速度、を決定することができる。さらに、算出部202は、それらを基に下記式(1)を計算することにより、照射X線スペクトルが算出できる。
次に、算出部202は、フィルタ及び対象物Fを透過してシンチレータに吸収されるX線エネルギースペクトルを下記式(2)のX線の減弱式を用いて算出できる。
ここで、μは対象物F、フィルタ、シンチレータ等の減弱係数、xは対象物F、フィルタ、シンチレータ等の厚さである。μは対象物F、フィルタ、及びシンチレータの材質の情報から決定でき、xは対象物F、フィルタ、及びシンチレータの厚さの情報から決定できる。X線光子数スペクトルは、このX線エネルギースペクトルを各X線のエネルギーで除することで求まる。算出部202は、X線の平均エネルギーを、エネルギー強度の積分値を光子数の積分値で除することにより、下記式(3)を用いて算出する。
平均エネルギーE=スペクトル強度積分値/光子数積分値 …(3)
上記の計算過程により、算出部202は、X線の平均エネルギーを算出する。なお、X線スペクトルの算出に関しては、公知のKramersや、Birchらによる近似式を使用してもよい。
画像取得部203は、対象物Fに放射線が照射され、対象物Fを透過した放射線が撮像された放射線画像を取得する。具体的には、画像取得部203は、X線検出カメラ10(より詳細には、出力インターフェース17)から出力されたデジタル信号(増幅信号)に基づいてX線画像を生成する。画像取得部203は、出力インターフェース17から出力された複数ライン分のデジタル信号を基に1つのX線画像を生成する。図6は、画像取得部203が取得したX線画像の一例を示す図である。
ノイズマップ生成部204は、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成する。このとき、ノイズマップ生成部204は、対象物Fを透過した放射線に関する平均エネルギー、及び、放射線画像の各画素の画素値から、評価値を導出する。具体的には、ノイズマップ生成部204は、画素値とノイズ値の標準偏差(ノイズ値の広がりを評価した評価値)との関係式(関係データ)を用いて、算出部202によって算出されたX線の平均エネルギー、及び画像取得部203によって取得されたX線画像(放射線画像)の各画素の画素値からノイズ値の標準偏差を導出する。ノイズマップ生成部204は、X線画像の各画素に、導出したノイズ値の標準偏差を対応付けることにより、ノイズ標準偏差マップ(ノイズマップ)を生成する。
ノイズマップ生成部204によって使用される画素値及び平均エネルギーとノイズ値の標準偏差との関係式は、下記式(4)で表される。
上記式(4)中、変数Noiseはノイズ値の標準偏差、変数Signalは画素の信号値(画素値)、定数Fはノイズファクター(Noise Factor)、定数Mはシンチレータによる増倍率、定数Cは、X線検出カメラ10においてスキャンカメラ12とシンチレータ層11とのカップリング効率(Coupling Efficiency)、定数Qはスキャンカメラ12の量子効率(Quantum Efficiency)、定数cfはスキャンカメラ12において画素の信号値を電荷に変換する変換係数、変数EmはX線の平均エネルギー、定数Dは、イメージセンサにおいて熱雑音によって発生した暗電流ノイズ、定数Rはスキャンカメラ12における読み出しノイズ、をそれぞれ表す情報である。上記式(4)が使用される際、ノイズマップ生成部204により、変数Signalには画像取得部203によって取得されたX線画像の各画素の画素値が代入され、変数Emには算出部202によって算出された平均エネルギーの数値が代入される。そして、ノイズマップ生成部204により、上記式(4)を用いて計算された変数Noiseが、ノイズ値の標準偏差の数値として得られる。なお、平均エネルギーを含むその他のパラメータは、入力部201によって入力を受け付けられることで取得されてもよいし、予め設定されていてもよい。
図7は、ノイズマップ生成部204によるノイズ標準偏差マップの生成例を示す図である。ノイズマップ生成部204は、画素値とノイズ値の標準偏差との関係式(4)を用いて、変数Signalに様々な画素値を代入して画素値と変数Noiseとの対応関係を取得することにより、画素値とノイズ値の標準偏差との対応関係を表す関係グラフG3を導出する。そして、ノイズマップ生成部204は、画像取得部203によって取得されたX線画像G1から、それぞれの画素位置と画素値との対応関係を表す関係データG2を導出する。さらに、ノイズマップ生成部204は、関係グラフG3の示す対応関係を、関係データG2における各画素値に適用することによって、X線画像における各画素位置の画素に対応したノイズ値の標準偏差を導出する。その結果、ノイズマップ生成部204は、導出したノイズの標準偏差を各画素位置に対応付け、それぞれの画素位置とノイズの標準偏差との対応関係を示す関係データG4を導出する。そして、ノイズマップ生成部204は、導出した関係データG4を基に、ノイズ標準偏差マップG5を生成する。
処理部205は、放射線画像及びノイズマップを、予め機械学習によって構築された学習済みモデル207に入力し、放射線画像からノイズを除去する画像処理を実行する。すなわち、図8に示されるように、処理部205は、制御装置20内の内蔵メモリあるいは記憶媒体から、構築部206によって構築された学習済みモデル207(後述する)を取得する。処理部205は、画像取得部203によって取得されたX線画像G1、及びノイズマップ生成部204によって生成されたノイズ標準偏差マップG5を、学習済みモデル207に入力する。これにより、処理部205は、学習済みモデル207を利用してX線画像G1からノイズを除去する画像処理を実行させることにより出力画像G6を生成する。そして、処理部205は、生成した出力画像G6を表示装置30等に出力する。
構築部206は、放射線画像である訓練画像、画素値とノイズ値の標準偏差との関係式に基づいて訓練画像から生成されたノイズマップ、及び、訓練画像からノイズが除去されたデータであるノイズ除去画像データ、を訓練データとして用いて、訓練画像及びノイズマップを基にノイズ除去画像データを出力する学習済みモデル207を、機械学習によって構築する。構築部206は、構築した学習済みモデル207を、制御装置20内の内蔵メモリあるいは記憶媒体に記憶させる。機械学習には、教師あり学習、教師なし学習、強化学習があり、それらの学習の中には、深層学習(ディープラーニング)、ニューラルネットワーク学習などがある。第1実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。なお、学習済みモデル207は、構築部206によって構築される以外に、外部のコンピュータ等により生成されて制御装置20にダウンロードされてもよい。なお、機械学習に用いられる放射線画像は、既知の構造物を撮像した放射線画像、或いは当該放射線画像を再現した画像を含む。
図9は、学習済みモデル207の構築に用いられる訓練データの1つである訓練画像の一例である。訓練画像としては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線画像が用いられうる。図9に示す例は、鶏肉を対象に生成された訓練画像G7である。該訓練画像G7は、実際にシンチレータ層11およびスキャンカメラ12を含む画像取得装置1を用いて複数種類の既知の構造物を対象に生成されたX線画像を用いてもよいし、シミュレーション計算によって生成された画像を用いてもよい。X線画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。
構築部206は、機械学習を行うための前処理として、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成する。具体的には、構築部206は、学習済みモデル207を構築する際に、実際の撮像あるいはシミュレーション計算等により生成された訓練画像を、画像取得部203等から取得する。そして、構築部206は、例えば、画像取得装置1のX線照射器50の動作条件あるいは画像取得装置1の撮像条件等を設定する。あるいは、構築部206は、シミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定する。構築部206は、算出部202と同様の手法を用いて、X線の平均エネルギーを、上記の動作条件あるいは撮像条件を基に計算する。さらに、構築部206は、図7に示したようなノイズマップ生成部204による手法と同様の手法を用いて、X線の平均エネルギー及び該訓練画像を基に、ノイズ標準偏差マップを生成する。つまり、機械学習方法の前処理方法は、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、放射線画像の各画素の画素値から評価値を導出し、放射線画像の各画素に導出した評価値を対応付けたデータであるノイズマップを生成するノイズマップ生成ステップを備える。
構築部206は、訓練画像、該訓練画像から生成したノイズマップ、及び訓練画像から予めノイズが除去されたデータであるノイズ除去画像データを訓練データ(教師データ)として用いて、学習済みモデル207を機械学習によって構築する。具体的には、構築部206は、該訓練画像からノイズが除去されたノイズ除去画像データを予め取得する。構築部206は、訓練画像がシミュレーション計算によって生成されたX線画像である場合、訓練画像の生成過程においてノイズが付加される前の画像を、ノイズ除去画像データとする。一方、構築部206は、訓練画像が、実際に画像取得装置1を用いて複数種類の既知の構造物を対象に生成されたX線画像である場合、X線画像から平均値フィルタ、或いはメディアンフィルタ、バイラテラルフィルタ、NLMフィルタなどの画像処理を用いてノイズ除去された画像をノイズ除去画像データとする。構築部206は、該訓練画像及びノイズ標準偏差マップを基にノイズ除去画像データを出力する学習済みモデル207を、機械学習によるトレーニングを実行して構築する。
図10は、構築部206による学習済みモデル207の構築に用いられる教師データ(訓練データ)である画像データの作成手順を示すフローチャートである。
教師データである画像データ(教師画像データともいう。)はコンピュータによって次の手順で作成される。まず、所定の構造をもつ構造体の画像(構造体画像)を作成する(ステップS301)。例えば、シミュレーション計算により、所定の構造を持つ構造体の画像を作成してもよい。また、所定の構造をもつチャートなどの構造体のX線画像を取得して構造体画像を作成してもよい。次に、この構造体画像を構成する複数の画素のうちから選択した一の画素について、画素値の標準偏差であるシグマ値を算出する(ステップS302)。そして、ステップS302で求めたシグマ値に基づいてノイズ分布を示す正規分布(ポアソン分布)を設定する(ステップS303)。このように、シグマ値に基づいて正規分布を設定することで様々なノイズ条件の教師データを生成することができる。続いて、ステップS303でシグマ値に基づいて設定された正規分布に沿って、ランダムに設定されたノイズ値を算出する(ステップS304)。さらに、一の画素の画素値にステップS304で求めたノイズ値を付加することで、教師データである画像データを構成する画素値を生成する(ステップS305)。ステップS302~ステップS305までの処理を、構造体画像を構成する複数の画素それぞれに対して行い(ステップS306)、教師データとなる教師画像データを生成する(ステップS307)。また、教師画像データがさらに必要な場合は、ステップS301~ステップS307までの処理を、別の構造体画像に対して行うことを判断し(ステップS308)、教師データとなる別の教師画像データを生成する。なお、別の構造体画像は、同じ構造を持つ構造体の画像であってもよいし、別の構造を持つ構造体の画像であってもよい。
なお、学習済みモデル207の構築に用いられる教師データである画像データは多数用意する必要がある。また、構造体画像は、ノイズが少ない画像がよく、理想的には、ノイズがない画像がよい。そのため、シミュレーション計算によって構造体画像を生成すると、ノイズがない画像を数多く生成することができるので、シミュレーション計算によって、構造体画像を生成することは効果的である。
次に、第1実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、第1実施形態に係る放射線画像取得方法の流れについて説明する。図11は、画像取得装置1による観察処理の手順を示すフローチャートである。
まず、構築部206によって、訓練画像、関係式に基づいて訓練画像から生成されたノイズ標準偏差マップ、及びノイズ除去画像データ、を訓練データとして用いて、訓練画像及びノイズ標準偏差マップを基にノイズ除去画像データを出力する学習済みモデル207が、機械学習によって構築される。(ステップS100)。次に、入力部201によって、画像取得装置1のオペレータ(ユーザ)から、X線照射器50の動作条件あるいはX線検出カメラ10による撮像条件等を示す条件情報の入力が受け付けられる(ステップS101)。そして、算出部202によって、条件情報を基に、X線検出カメラ10によって検出されるX線の平均エネルギーの値が算出される(ステップS102)。
続いて、画像取得装置1において対象物Fがセットされて対象物Fが撮像され、制御装置20によって、対象物FのX線画像が取得される(ステップS103)。さらに、制御装置20によって、画素値とノイズ値の標準偏差との関係式に基づいて、X線の平均エネルギー及びX線画像の各画素の画素値からノイズ値の標準偏差が導出され、導出されたノイズの標準偏差が各画素値に対応付けられることにより、ノイズ標準偏差マップが生成される(ステップS104)。
次に、処理部205によって、予め構築され記憶された学習済みモデル207に、対象物FのX線画像及びノイズ標準偏差マップが入力され、X線画像を対象にノイズ除去処理が実行される(ステップS105)。さらに、処理部205によって、ノイズ除去処理が施されたX線画像である出力画像が、表示装置30に出力される。(ステップS106)。
以上説明した画像取得装置1によれば、対象物Fを透過したX線に応じたシンチレーション光が、対象物Fのスキャンの方向TDに配列されたM個の画素72を有する画素ライン74がN列で配列されたスキャンカメラ12によって検出され、画素ライン74毎に出力されたM個の画素72の検出信号のうちの少なくとも2個の画素72の検出信号が加算処理され、加算処理されたN個の検出信号が順次あるいは同時に出力されることにより、X線画像が出力される。この際、対象物Fを透過したX線は分離して配置されたM×P個のシンチレータ部11aによってシンチレーション光に変換され、P個のシンチレータ部11aからのシンチレーション光が、それぞれ、M×N個の画素72によって検出される。加えて、出力されたX線画像を、予め画像データを用いた機械学習により構築された学習済みモデル207に入力させることにより、そのX線画像に対してノイズ除去処理が施される。これにより、X線画像において信号成分を大きくしつつノイズ成分を除去することができ、X線画像におけるS/N比を効果的に向上させることができる。さらに、画素72に対応して分離されたシンチレータ部11aを用いることによりX線画像の解像度を高めることができる。一般的に、シンチレーション光を遮蔽或いは反射する分離部11bを形成することにより、シンチレーション光が隣のシンチレータ部に入り込むことを防ぐことができ、解像度の低下を防ぐことが可能となる。しかしながら、分離部11bが存在する部分は、入射するX線からシンチレーション光への変換に寄与していないため、分離部11bの大きさ(面積)に応じて、検出信号が小さくなる(減少する)という問題もあった。検出信号の低下は、S/N比の低下を意味する。そのため、分離部11bを有するシンチレータによって、解像度の向上とS/N比の向上を両立させることは、困難とされていた。これに対し、画像取得装置1によれば、X線画像における解像度を高めながらS/N比を効果的に向上できる。具体的には、シンチレータ層11を用いてX線画像を取得し、学習済みモデル207を用いたノイズ除去処理を施した本実施形態の場合は、スキャンカメラ12の全体を一体で覆うシンチレータを用いてX線画像を取得し、ノイズ除去処理を施さない場合に比較して、CNR(Contrast to Noise Ratio)が約20倍に改善されるとともに、閾値処理を行って生成した二値化画像において擬似信号が十分に除去されることが分かった。これにより、本実施形態によれば、異物検査の用途においては、異物どうしが交わって検出されることを防止できる。
また、画像取得装置1においては、学習済みモデル207は、所定の構造体のX線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される。これにより、学習済みモデル207の構築に用いられる教師データである画像データを用意することが容易となり、学習済みモデル207を効率的に構築することができる。
また、画像取得装置1においては、学習済みモデル207は、シンチレータ層11を用いて得られたX線画像を教師データとした機械学習によって構築される。シンチレータ部11aが複数に分離されたシンチレータ層11を用いたX線画像においては、一体化されたシンチレータを用いたX線画像に比較して、ノイズがぼけないため高周波ノイズが生じやすい傾向にある。上記の場合、学習済みモデル207の構築に用いられる教師データである画像データに画像取得時の条件を反映させることが容易となり、高周波ノイズが生じやすい傾向に対応した適切なノイズ除去を実現する学習済みモデル207を構築することができる。
また、画像取得装置1によれば、画素値とノイズ値の標準偏差の関係式を用いて、X線画像の各画像の画素値からノイズ値の標準偏差が導出され、X線画像の各画素に導出したノイズ値の標準偏差を対応付けたデータであるノイズ標準偏差マップが生成される。そして、X線画像及びノイズ標準偏差マップが、予め機械学習によって構築された学習済みモデル207に入力され、X線画像からノイズを除去する画像処理が実行される。かかる構成によれば、X線画像の各画素の画素値から導出されるノイズ値の標準偏差が考慮されて、該X線画像の各画素におけるノイズが機械学習により除去される。これにより、学習済みモデル207を用いて、X線画像における画素値とノイズ値の標準偏差との関係に対応したノイズ除去が実現できる。その結果、X線画像におけるノイズを効果的に除去できる。
特に、X線画像は、管電圧、フィルタ、シンチレータ、X線検出カメラの条件(ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート)、対象物等の違いによってノイズの態様が変化する。そのため、機械学習によってノイズ除去を実現しようとする場合、様々な条件で学習させた学習モデルを用意しておくことが考えられる。つまり、比較例として、X線画像の測定時の条件に合わせて複数の学習モデルを構築し、条件ごとに学習モデルを選択し、ノイズ除去処理が実行する手法も採りうる。このような比較例の場合、例えば、X線の平均エネルギー、X線検出カメラのゲイン、及びX線カメラの種類などのノイズ条件ごとに、学習モデルを構築しなければならず、膨大な数の学習モデルを生成する必要があり、構築のための多くの時間を要する場合がある。一例として、X線の平均エネルギーが10通り、X線検出カメラのゲインが8通り、製品の種類が3種類であるとき、240個の学習済みモデルが必要になるが、学習済みモデルの構築に1モデルにつき1日を要する場合、機械学習のために、240日もの時間がかかってしまう。この点、本実施形態によれば、X線画像からノイズマップを生成し、当該ノイズマップを機械学習の入力データとすることで、学習済みモデルの生成が必要なノイズ条件を低減することができ、学習済みモデル207を構築するための学習時間が大きく低減される。
[第1実施形態の制御装置20の変形例]
[第1実施形態の制御装置20の変形例]
図12は、第1実施形態の変形例における制御装置20Aの機能構成を示すブロック図である。制御装置20Aは、上述した第1実施形態に比較して、算出部202AにおいてX線画像の画素値からX線の平均エネルギーを導出する機能を有する点、及びノイズマップ生成部204AにおいてX線画像の画素値及び該X線画像から導出されたX線の平均エネルギーに基づいて、ノイズ標準偏差マップを導出する機能を有する点が異なる。図13は、図12の制御装置20Aを含む画像取得装置1による観察処理の手順を示すフローチャートである。図13に示されるように、制御装置20Aにおいては、図11に示す第1実施形態に係る制御装置20のステップS103に示す処理が、ステップS100の直後に行われる。そして、制御装置20Aにおいては、S102A、S104Aに示す処理が、制御装置20のステップS102、S104の処理に置き換えて実行される。
算出部202Aは、放射線画像の各画素の画素値から平均エネルギーを算出する(ステップS102A)。具体的には、算出部202Aは、X線スペクトルのシミュレーション計算等により、条件情報ごとに画素値と平均エネルギーの関係を予め導出する。算出部202Aは、入力部201によって取得された管電圧、及びX線検出カメラ10が備えるシンチレータの情報を少なくとも含む条件情報を取得する。そして、算出部202Aは、該条件情報を基に、予め導出しておいた画素値と平均エネルギーの関係の中から、該条件情報に対応する関係を選択する。さらに、算出部202Aは、選択した関係に基づいて、画像取得部203によって取得されたX線画像の各画素の画素値から、画素毎の平均エネルギーを導出する。
以下、算出部202Aによる、該条件情報ごとの画素値と平均エネルギーの関係の導出について図14~図18を用いて説明する。
最初に、算出部202Aは、条件情報を基に、対象物Fの厚さとX線の透過率との関係を表すグラフG18、及び対象物Fの厚さとX線の平均エネルギーとの関係を表すグラフG19を導出する。具体的には、図14の(a)部~(d)部に示すように、算出部202Aは、管電圧及びX線検出カメラ10が備えるシンチレータの情報を少なくとも含む条件情報を基に、対象物Fの厚さを様々に変更した場合に透過するX線のエネルギースペクトルG14~G17を、シミュレーション計算により算出する。図14は、算出部202Aによる対象物Fを透過したX線のエネルギースペクトルのシミュレーション計算結果の一例を示すグラフである。ここでは、水によって構成される対象物Fの厚さを段階的に増加させてシミュレーション計算を行った場合の透過X線のエネルギースペクトルG14~G17が例示されている。さらに、算出部202Aは、算出したエネルギースペクトルG14~G17を基に、対象物Fの厚さを様々に変更した場合に透過するX線の平均エネルギーを算出する。なお、算出部202Aは、シミュレーション計算以外に、厚さが既知の構造物を対象に撮像することにより得られたX線画像を基に、対象物Fの厚さと平均エネルギーの関係が得られてもよい。
さらに、算出部202Aは、上記のシミュレーション結果を基に、対象物Fの厚さとX線の透過率との関係も導出する。図15は、算出部202Aによって導出された、対象物Fの厚さと平均エネルギー及び透過率との関係の一例を示す図表である。図15に示されるように、対象物Fの厚さ毎に算出されたエネルギースペクトルG14~G17のそれぞれに対応して、透過X線の平均エネルギー及びX線の透過率が導出される。
続いて、算出部202Aは、様々な厚さの対象物Fに対して導出したX線の透過率から、対象物Fの厚さとX線の透過率との関係を示すグラフG18を導出する。図16は、算出部202Aによって導出された、対象物Fの厚さと対象物Fに対するX線の透過率との関係を示すグラフである。加えて、算出部202Aは、様々な厚さの対象物Fに対して導出したX線の平均エネルギーから、対象物Fの厚さとX線の平均エネルギーとの関係を示すグラフG19を導出する。図17は、算出部202Aによって導出された、対象物Fの厚さと、対象物Fを透過するX線の平均エネルギーとの関係を示すグラフである。
そして、算出部202Aは、様々な条件情報ごとに導出した2つのグラフG18,G19に基づいて、図18に示されるようなX線画像の画素値と平均エネルギーとの関係を示すグラフG20を、様々な条件情報ごとに導出する。図18は、算出部202Aによって導出されたX線画像の画素値と平均エネルギーとの関係を示すグラフである。具体的には、算出部202Aは、条件情報を基に、対象物Fが存在しない場合のX線画透過像の画素値I0を導出する。そして、算出部202Aは、対象物Fが存在する場合のX線画像の画素値Iを設定し、X線の透過率であるI/I0を計算する。さらに、算出部202Aは、対象物Fの厚さと対象物Fに対するX線の透過率とのグラフG18に基づいて、計算したX線の透過率であるI/I0から、対象物Fの厚さを導出する。最後に、算出部202Aは、導出した対象物Fの厚さと、対象物Fの厚さと透過X線の平均エネルギーとのグラフG19とに基づいて、その厚さに対応する透過X線の平均エネルギーを導出する。続いて、算出部202Aは、上記の導出を、X線画像の画素値Iを様々に変化させながら、様々な条件情報ごとに行うことにより、X線画像の画素値と透過X線の平均エネルギーとの関係を示すグラフG20を、条件情報ごとに導出する。
ここで、算出部202Aによる画素値を基にした平均エネルギーの導出例について説明する。例えば、算出部202Aが、条件情報を基に対象物Fが存在しない場合のX線画透過像の画素値をI0=5000と導出し、対象物Fが存在する場合のX線画像の画素値がI=500であると設定した場合を想定する。この場合、算出部202Aは、X線の透過率をI/I0=0.1であると計算する。続いて、算出部202Aは、対象物Fの厚さと対象物Fに対するX線の透過率との関係を示すグラフG18に基づいて、X線の透過率0.1に対応する厚さが30mmであると導出する。さらに、算出部202Aは、対象物Fの厚さと透過X線の平均エネルギーとの関係を示すグラフG19に基づいて、画素値500に対応する平均エネルギーが27keVであると導出する。最後に、算出部202Aは、各画素値ごとにX線の平均エネルギーの導出を繰り返し、X線画像の画素値と平均エネルギーとの関係を示すグラフG20を導出する。
さらに、算出部202Aは、以上の手順で予め導出した複数のグラフG20の中からから、入力部201によって取得された条件情報に対応するグラフG20を選択する。算出部202Aは、選択したグラフG20に基づいて、画像取得部203によって取得されたX線画像の各画素の画素値に対応する透過X線の平均エネルギーを導出する。
なお、算出部202Aは、予め条件情報ごとに画素値とX線の平均エネルギーの関係を導出するのではなく、入力部201によって取得された条件情報とX線画像の各画素の画素値とから、グラフG18,G19を参照してX線の平均エネルギーを導出してもよい。具体的には、算出部202Aは、条件情報を基に対象物が存在しない場合のX線画像の画素値I0を導出する。そして、算出部202Aは、画像取得部203によって取得されたX線画像の各画素の画素値Iごとに画素値I0に対する比率を求めることにより、透過率を計算する。さらに、算出部202Aはし、厚さとX線の透過率との関係を示すグラフG18と、計算した透過率とに基づいて厚さを導出する。そして、算出部202Aは、厚さと平均エネルギーとの関係を示すグラフG19と、導出した厚さとに基づいて平均エネルギーを導出することで、X線画像の各画素の画素値ごとに平均エネルギーを導出する。
ノイズマップ生成部204Aは、画像取得部203によって取得されたX線画像、及び算出部202Aによって導出された該X線画像の各画素に対応するX線の平均エネルギーから、ノイズ標準偏差マップを生成する(ステップS104A)。具体的には、ノイズマップ生成部204Aは、画像取得部203によって取得されたX線画像の各画素の画素値、及び算出部202Aによって各画素ごとに導出された平均エネルギーを、関係式(4)に代入することで、対象物の厚さを考慮した各画素ごとのノイズ値の標準偏差を導出する。ノイズマップ生成部204Aは、X線画像の各画素に対応したノイズ値の標準偏差を、ノイズ標準偏差マップとして生成する。
図19は、画素値とノイズ値の標準偏差との関係の一例を表すグラフである。このグラフは、本変形例に係る算出部202A及びノイズマップ生成部204Aによって、X線画像の画素値から導出されたノイズ値の標準偏差と、X線画像の画素値との関係を示している。本変形例では、対象物の厚さを考慮してノイズ値の標準偏差が導出されるため、画素値が増加するほど対象物の厚さが小さくなり、画素における平均エネルギーが低下する。したがって、関係式(4)からも推定されるように、第1実施形態と本変形例とは、画素値が増大したときのノイズ値の標準偏差の変化が異なる。図19に示される例では、本変形例のグラフG22は、第1実施形態のグラフG21より画素値が増大したときのノイズ値の標準偏差の増大の度合いが小さい。
第1実施形態の変形例の制御装置20Aでは、X線画像の各画素の画素値から平均エネルギーが計算される。ここで、例えば、X線画像中に厚さや材質の異なる複数の対象物が存在する場合、対象物ごとに平均エネルギーが大きく異なり、X線画像から十分にノイズを除去できない。かかる構成によれば、対象物Fを透過するX線の平均エネルギーが、X線画像の各画素の画素値ごとに計算されるため、例えば、厚さや材質の違い等を考慮し、X線画像の各画素の画素値とノイズとの関係に対応したノイズ除去を実現できる。その結果、X線画像におけるノイズを効果的に除去できる。
なお、本変形例に係る制御装置20Aは、様々な条件情報ごとに導出したグラフG20を用いてX線画像の画素値から平均エネルギーを導出している。このとき、対象物Fの材質の違いは無視して画素値から平均エネルギーを導出してもよい。図20は、算出部202Aによって導出されたX線画像の画素値とノイズ値の標準偏差との関係を示すグラフである。ここでは、対象物Fの材質の変化も条件情報として考慮に入れて関係を導出しており、グラフG24は、材質がアルミニウムの場合、グラフG23は材質がPET(Polyethylene terephthalate)の場合、グラフG25は材質が銅の場合の導出例を示している。このように、対象物Fの材質が変化した場合でも、X線照射器50の管電圧及び対象物Fの撮像に用いるX線検出カメラ10が備えるシンチレータの情報が同一であれば、画素値と透過X線の平均エネルギーとの関係は大きく変化しないため、画素値とノイズ値の標準偏差との関係も大きく変化しない。このような性質を考慮して、制御装置20Aは、条件情報としての対象物Fの材質の違いは無視して、X線画像の画素値から平均エネルギーを導出することができる。このような場合でも、本変形例の制御装置20Aによれば、画素値とノイズの標準偏差との関係に対応したノイズ除去が実現できる。その結果、X線画像におけるノイズをさらに効果的に除去できる。
[第1実施形態の制御装置20の別の変形例]
[第1実施形態の制御装置20の別の変形例]
図21は、第1実施形態の別の変形例にかかる制御装置20Bの機能構成を示すブロック図である。制御装置20Bは、上述した第1実施形態に比較して、画像取得部203Bにおいて、治具のX線画像を取得する機能を有する点、及びノイズマップ生成部204Bにおいて、治具のX線画像から画素値とノイズ値の標準偏差との関係を示すグラフを導出する機能を有する点が異なる。図22は、図21の制御装置20Bを含む画像取得装置1による観察処理の手順を示すフローチャートである。図22に示されるように、本変形例に係る制御装置20Bにおいては、ステップS201、S202に示す処理が、図11に示す第1実施形態にかかる制御装置20によるステップS101、S102及びS104の処理に置き換えて実行される。
画像取得部203Bは、治具に放射線が照射され、治具を透過した放射線が撮像された治具の放射線画像を取得する(ステップS201)。具体的には、画像取得部203Bは、画像取得装置1を用いて治具及び対象物Fを対象にX線を照射して撮像したX線画像を取得する。治具としては、厚さ及び材質が既知である平板状部材等が用いられる。すなわち、画像取得部203Bは、対象物Fの観察処理に先立って画像取得装置1を用いて撮像された治具のX線画像を取得する。そして、画像取得部203Bは、画像取得装置1を用いて撮像された対象物FのX線画像を取得する。ただし、治具及び対象物FのX線画像の取得タイミングは上記には限定されず、同時であってもよいし逆のタイミングであってもよい(ステップS103)。また、画像取得部203Bは、画像取得部203と同様に、対象物FにX線が照射され、対象物Fを透過したX線が撮像されたX線画像を取得する。
画像取得装置1において治具がセットされて治具が撮像され、ノイズマップ生成部204Bは、その結果得られる治具の放射線画像から、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データを導出する(ステップS202)。具体的には、ノイズマップ生成部204Bは、治具のX線画像から、画素値とノイズ値の標準偏差との関係を表すノイズ標準偏差マップを導出する。
図23は、ノイズマップ生成部204Bによるノイズ標準偏差マップの生成例を示す図である。ノイズマップ生成部204Bは、治具のX線画像G26から、画素値とノイズ値の標準偏差との対応関係を表す関係グラフG27を導出する。そして、ノイズマップ生成部204Bは、第1実施形態と同様にして、画像取得部203Bによって取得されたX線画像G1から、それぞれの画素位置と画素値との対応関係を表す関係データG2を導出する。さらに、ノイズマップ生成部204は、関係グラフG27の示す対応関係を、関係データG2における各画素に適用することによって、X線画像における各画素位置の画素に対応したノイズ値の標準偏差を導出する。その結果、ノイズマップ生成部204は、導出したノイズの標準偏差を各画素位置に対応付け、それぞれの画素位置とノイズの標準偏差との対応関係を示す関係データG4を導出する。そして、ノイズマップ生成部204は、導出した関係データG4を基に、ノイズ標準偏差マップG5を生成する。
ノイズマップ生成部204Bによる、治具のX線画像G26からの、画素値とノイズ値の標準偏差との関係を表す関係グラフG27の導出について説明する。図24には、本変形例における撮像に用いられる治具の構造の一例を示している。治具には、例えば、厚さが一方向にステップ状に変化する部材P1が用いられうる。図25は、図24の治具のX線画像の一例を示している。まず、ノイズマップ生成部204Bは、治具のX線画像G26において、治具のステップごとにノイズがない場合の画素値(以下、真の画素値と表記する)を導出し、真の画素値に基づいてノイズ値の標準偏差を導出する。具体的には、ノイズマップ生成部204Bは、治具のあるステップにおける画素値の平均値を導出する。そして、ノイズマップ生成部204Bは、導出した画素値の平均値を、そのステップにおける真の画素値とする。ノイズマップ生成部204Bは、そのステップにおいて、各画素値と真の画素値との差をノイズ値として導出する。ノイズマップ生成部204Bは、導出した画素値ごとのノイズ値から、ノイズ値の標準偏差を導出する。
そして、ノイズマップ生成部204Bは、真の画素値とノイズ値の標準偏差との関係を、画素値とノイズ値の標準偏差との関係グラフG27として導出する。具体的には、ノイズマップ生成部204Bは、治具のステップごとに、真の画素値、及びノイズ値の標準偏差を導出する。ノイズマップ生成部204Bは、導出した真の画素値とノイズ値の標準偏差との関係をグラフにプロットして、近似曲線を引くことにより、画素値とノイズ値の標準偏差との関係を表す関係グラフG27を導出する。なお、近似曲線については、指数近似、或いは線形近似、対数近似、多項式近似、累乗近似などを使用する。
本変形例にかかる制御装置20Bでは、実際の治具を撮像して得られる放射線画像を基に関係データが生成される。これにより、対象物Fの放射線画像のノイズ除去に最適な関係データが得られる。その結果、放射線画像におけるノイズをより効果的に除去できる。
なお、ノイズマップ生成部204Bは、治具を用いずに、対象物がない状態で管電流あるいは露光時間を変更した場合の撮像画像から、画素値とノイズ値の標準偏差との関係を導出してもよい。かかる構成によれば、実際に撮像して得られる放射線画像を基に関係データが生成され、ノイズマップが生成されるため、画素値とノイズの広がりとの関係に対応したノイズ除去が実現できる。その結果、放射線画像におけるノイズをより効果的に除去できる。
具体的には、画像取得部203Bは、対象物がない状態で撮像された複数の放射線画像を取得し(ステップS201)、ノイズマップ生成部204Bは、画像取得部203Bによって取得された放射線画像から、画素値とノイズ値の標準偏差との関係を導出してもよい(ステップS202)。複数の放射線画像は、放射線の発生源の条件あるいは撮像条件の少なくとも一方の条件が互いに異なる複数の画像である。一例としては、画像取得部203Bは、管電流あるいは露光時間が変更されつつ、対象物Fの観察処理に先立って対象物Fがない状態で画像取得装置1を用いて撮像された複数のX線画像を取得する。そして、ノイズマップ生成部204Bは、X線画像ごとに真の画素値を導出し、本変形例と同様にして、真の画素値に基づいてノイズの標準偏差を導出する。さらに、ノイズマップ生成部204Bは、本変形例と同様にして、真の画素値とノイズの標準偏差との関係をグラフにプロットして近似曲線を引くことにより、画素値とノイズ値の標準偏差との関係を表す関係グラフを導出する。最後に、ノイズマップ生成部204Bは、第1実施形態と同様にして、導出した関係グラフを基に、画像取得部203Bによって取得されたX線画像からノイズ標準偏差マップを生成する。
[第2実施形態]
図26は、第2実施形態に係る制御装置20Cの機能構成を示すブロック図である。制御装置20Cは、入力部201C、算出部202C、絞込部203C、選択部204C、及び処理部205Cを備える。
[第2実施形態]
図26は、第2実施形態に係る制御装置20Cの機能構成を示すブロック図である。制御装置20Cは、入力部201C、算出部202C、絞込部203C、選択部204C、及び処理部205Cを備える。
また、制御装置20Cには、X線透過画像を対象にノイズ除去処理を実行させる学習済みモデル206Cが予め複数格納されている。複数の学習済みモデル206Cは、それぞれ、画像データを教師データとして予め構築された機械学習による学習モデルである。機械学習には、教師あり学習、深層学習(ディープラーニング)、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。複数の学習済みモデル206Cは、外部のコンピュータ等により生成されて制御装置20Cにダウンロードされてもよいし、制御装置20C内で生成されてもよい。
図27には、学習済みモデル206Cの構築に用いられる教師データである画像データの一例を示す。教師データとしては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線透過画像が用いられうる。図27に示す例は、鶏肉を対象に生成されたX線透過画像の例である。この画像データは、実際に画像取得装置1を用いて複数種類の対象物を対象に生成されたX線透過画像を用いてもよいし、シミュレーション計算によって生成された画像データを用いてもよい。X線透過画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。また、X線透過画像とシミュレーション計算によって生成された画像データを組み合わせて用いてもよい。複数の学習済みモデル206Cは、それぞれ、平均エネルギーが異なる透過X線を対象に得られた画像データであって、ノイズ分布が既知の画像データを用いて予め構築されている。画像データにおけるX線の平均エネルギーは、それぞれ、画像取得装置1のX線照射器(放射線発生源)50の動作条件あるいは画像取得装置1の撮像条件等を設定することにより、あるいはシミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定することにより、予め異なる値に設定されている(動作条件あるいは撮像条件による平均エネルギーの設定方法については後述する。)。つまり、複数の学習済みモデル206Cは、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報を基に算出された対象物Fを透過したX線に関する平均エネルギーに対応するX線画像である訓練画像を訓練データとして用いて、機械学習によって構築される(構築ステップ)。例えば、本実施形態では、複数の学習済みモデル206Cは、それぞれ、平均エネルギーが、10keV、20keV、30keV、…と10keV刻みの値が設定された複数種類の画像データを複数フレーム(例えば、20,000フレーム)用いて構築されている。
学習済みモデル206Cの構築に用いられる教師データである画像データは、上述した第1実施形態における作成手順と同様な作成手順によって生成される。
以下、図26に戻って、制御装置20Cの各機能部の機能の詳細について説明する。
入力部201Cは、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報の入力を、画像取得装置1のユーザから受け付ける。動作条件としては、管電圧、ターゲット角度、ターゲットの材料等のうちの全部又は一部が挙げられる。撮像条件を示す条件情報としては、X線照射器50とX線検出カメラ10との間に配置されるフィルタ51,19(対象物の撮像に用いるカメラが備えるフィルタ或いは発生源が備えるフィルタ)の材質及び厚さ、X線照射器50とX線検出カメラ10との距離(FDD)、X線検出カメラ10の窓材の種類、及び、X線検出カメラ10のシンチレータ層11の材料及び厚さに関する情報、X線検出カメラ情報(例えば、ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート(Hz)もしくはラインスピード(m/min))、対象物の情報等のうちの全部又は一部が挙げられる。入力部201Cは、条件情報の入力を、数値等の情報の直接入力として受け付けてもよいし、予め内部メモリに設定された数値等の情報に対する選択入力として受け付けてもよい。入力部201Cは、上記の条件情報の入力をユーザから受け付けるが、一部の条件情報(管電圧等)を、制御装置20Cによる制御状態の検出結果に応じて取得してもよい。
算出部202Cは、入力部201Cによって受け付けられた条件情報を基に、画像取得装置1を用いて対象物Fを透過させてX線検出カメラ10によって検出させるX線(放射線)の平均エネルギーの値を算出する。例えば、算出部202Cは、条件情報に含まれる、管電圧、ターゲット角度、ターゲットの材料、フィルタの材質及び厚さ及びその有無、窓材の種類及びその有無、X線検出カメラ10のシンチレータ層11の材料及び厚さ、等の情報に基づいて、X線検出カメラ10で検出されるX線のスペクトルを、例えば公知のTucker等の近似式を用いて算出する。そして、算出部202Cは、X線のスペクトルから、スペクトル強度積分値と光子数積分値とをさらに算出し、スペクトル強度積分値を光子数積分値で除することによりX線の平均エネルギーの値を算出する。
公知のTuckerの近似式を用いた算出方法について記載する。例えば、算出部202Cは、ターゲットをタングステン、ターゲット角度を25°と特定すると、Em:電子ターゲット衝突時の運動エネルギー、T:ターゲット中の電子運動エネルギー、A:ターゲット物質の原子番号で決まる比例定数、ρ:ターゲットの密度、μ(E):ターゲット物質の線減弱係数、B:緩やかに変化するZとTの関数、C:Thomson-Whiddington定数、θ:ターゲット角度、c:真空中の光速度、を決定することができる。さらに、算出部202Cは、それらを基に上記の式(1)を計算することにより、照射X線スペクトルが算出できる。
次に、算出部202Cは、フィルタ及び対象物Fを透過してシンチレータに吸収されるX線エネルギースペクトルを上記の式(2)のX線の減弱式を用いて算出できる。X線光子数スペクトルは、このX線エネルギースペクトルを各X線のエネルギーで除することで求まる。算出部202Cは、X線の平均エネルギーを、エネルギー強度の積分値を光子数の積分値で除することにより、上記の式(3)を用いて算出する。上記の計算過程により、算出部202Cは、X線の平均エネルギーを算出する。なお、X線スペクトルの算出に関しては、公知のKramersや、Birchらによる近似式を使用してもよい。
絞込部203Cは、算出部202Cによって算出された平均エネルギーの値を基に、予め構築された複数の学習済みモデル206Cの中から、学習済みモデルの候補を絞り込む。すなわち、絞込部203Cは、算出された平均エネルギーの値と、複数の学習済みモデル206Cの構築に用いられた画像データにおけるX線の平均エネルギーの値とを比較し、平均エネルギーの値が近い画像データによって構築された複数の学習済みモデル206Cを候補として絞り込む。より具体的には、算出部202Cによって算出された平均エネルギーの値が53keVの場合には、絞込部203Cは、その値との差が所定の閾値(例えば15keV)未満である平均エネルギー値40keV、50keV、60keVの画像データによって構築された学習済みモデル206Cを、学習済みモデルの候補とする。
選択部204Cは、絞込部203Cによって絞り込まれた候補の中から、最終的に対象物FのX線透過画像のノイズ除去処理に用いる学習済みモデル206Cを選択する。詳細には、選択部204Cは、画像取得装置1において治具を対象にX線を照射して撮像したX線透過画像を取得し、そのX線透過画像の画像特性に基づいて、最終的に用いる学習済みモデル206Cを選択する。このとき、選択部204Cは、X線透過画像の画像特性として、エネルギー特性、ノイズ特性、あるいは、解像度特性等を解析し、その解析結果を基に学習済みモデル206Cを選択する。
より具体的には、選択部204Cは、治具として、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材を対象にX線透過画像を取得し、治具を透過したX線像の輝度と空気を透過したX線像の輝度とを比較して、治具における1点(あるいは複数点の平均)のX線の透過率を算出する。例えば、治具を透過したX線像の輝度が5,550であり、空気を透過したX線像の輝度が15,000の場合には、透過率37%と算出する。そして、選択部204Cは、透過率37%から推定される透過X線の平均エネルギー(例えば、50keV)を、治具のX線透過画像のエネルギー特性として特定する。選択部204Cは、特定した平均エネルギーの値に最も近い平均エネルギーの画像データによって構築された学習済みモデル206Cを一つ選択する。
また、選択部204Cは、治具のX線透過画像のエネルギー特性として、厚さあるいは材質が変化する治具の複数点における特性を解析してもよい。図28は、選択部204Cの解析対象のX線透過画像の一例を示す図である。図28は、厚さがステップ状に変化した形状の治具を対象にしたX線透過画像である。選択部204Cは、このようなX線透過画像から厚さの異なる複数の測定領域(ROI:Region Of Interest)を選択し、複数の測定領域ごとの輝度平均値を解析し、厚さ-輝度の特性グラフをエネルギー特性として取得する。図29には、選択部204Cが取得した厚さ-輝度の特性グラフの一例を示している。
さらに、選択部204Cは、同様にして、絞込部203Cによって絞り込まれた学習済みモデル206Cの構築に用いた画像データを対象に、厚さ-輝度の特性グラフを取得し、治具を対象に取得した特性グラフと最も近い特性を有する画像データによって構築された学習済みモデル206Cを、最終的な学習済みモデル206Cとして選択する。ただし、この学習済みモデル206Cの構築に用いられた画像データの画像特性は予め制御装置20Cの外部で算出されたものを参照してもよい。このように、複数の測定領域を設定することにより、対象物FのX線透過画像のノイズ除去に最適な学習済みモデルを選択することができる。特に、X線透過画像の測定時のX線スペクトルの違いあるいはフィルタの効果の違いを精度よく推定することが可能となる。
また、選択部204Cは、治具のX線透過画像のノイズ特性として、複数の測定領域ごとの輝度値とノイズを解析し、輝度-ノイズ比の特性グラフをノイズ特性として取得することもできる。すなわち、選択部204Cは、X線透過画像から厚さあるいは材質の異なる複数の測定領域ROIを選択し、複数の測定領域ROIの輝度値の標準偏差及び輝度値の平均値を解析し、輝度-SNR(S/N比)の特性グラフをノイズ特性として取得する。このとき、選択部204Cは、測定領域ROI毎のSNRを、SNR=(輝度値の平均値)÷(輝度値の標準偏差)によって算出する。図30には、選択部204Cが取得した輝度-SNRの特性グラフの一例を示している。そして、選択部204Cは、取得した特性グラフと最も近いノイズ特性を有する画像データによって構築された学習済みモデル206Cを、最終的な学習済みモデル206Cとして選択する。
ここで、選択部204Cは、ノイズ特性として、上記の輝度-SNRの特性グラフに代えて、縦軸を輝度値の標準偏差から計算されるノイズとした特性グラフを取得してもよい。このような輝度-ノイズの特性グラフを用いることにより、X線検出カメラ10によって検出される各信号量に対し、各信号量の領域のグラフの傾きから支配的なノイズ要因(ショットノイズ、読み出しノイズ等)を特定し、その特定の結果を基に学習済みモデル206Cを選択できる。
図31は、選択部204Cによる画像特性に基づいた学習済みモデルの選択機能を説明するための図である。図31において、(a)部は、複数の学習済みモデル206Cの構築に用いられたそれぞれの画像データの輝度-SNRの特性グラフG1,G2,G3を示し、(b)部には、これらの特性グラフG1,G2,G3に加えて、治具を撮像したX線透過画像の輝度-SNRの特性グラフGTを示している。このような特性グラフG1,G2,G3,GTを対象にした場合には、選択部204Cは、特性グラフGTの特性に最も近い特性グラフG2の画像データによって構築された学習済みモデル206Cを選択するように機能する。選択の際には、選択部204Cは、各特性グラフG1,G2,G3と特性グラフGTと間で、一定間隔の輝度値毎のSNRの誤差を計算し、それらの誤差の平均二乗誤差(RMSE:Root Mean Squared Error)を計算し、平均二乗誤差が最も小さい特性グラフG1,G2,G3に対応した学習済みモデル206Cを選択する。また、選択部204Cは、エネルギー特性を用いて選択する場合にも、同様にして学習済みモデル206Cを選択できる。
選択部204Cは、治具のX線透過画像を対象に、複数の学習済みモデルを適用してノイズ除去処理を実行した後の画像の特性を基に、学習済みモデル206Cを選択することもできる。
例えば、選択部204Cは、様々な解像度のチャートを有する治具を撮像したX線透過画像を用いて、その画像に複数の学習済みモデル206Cを適用し、その結果生成されたノイズ除去後の画像を評価する。そして、選択部204Cは、ノイズ除去処理前後における解像度の変化が最も小さい画像に用いられた学習済みモデル206Cを選択する。図32には、解像度の評価に用いられるX線透過画像の一例を示している。このX線透過画像においては、一方向に沿ってステップ状に解像度が変化するチャートが撮像対象とされている。X線透過画像の解像度は、MTF(Modulation Transfer Function)又はCTF(Contrast Transfer Function)を用いて測定することができる。
上記の解像度の変化の評価以外にも、選択部204Cは、ノイズ除去後の画像の輝度-ノイズ比の特性を評価し、その特性が最も高い画像の生成に用いられた学習済みモデル206Cを選択してもよい。図33には、輝度-ノイズ比の評価に用いられる治具の構造の一例を示している。例えば、治具として、厚さが一方向にステップ状に変化する部材P1中に様々な材質及び様々な大きさを有する異物P2が点在したものが用いられうる。図34は、図33の治具を対象に得られたノイズ除去処理後のX線透過画像を示している。選択部204Cは、X線透過画像中において異物P2の像を含む画像領域R1と、その領域R1の近傍の異物P2の像を含まない画像領域R2とを選択し、画像領域R1における輝度の最小値LMINと、画像領域R2における輝度の平均値LAVEと、画像領域R2における輝度の標準偏差LSDとを計算する。そして、選択部204Cは、下記式;
CNR=(LAVE-LMIN)/LSD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204Cは、複数の学習済みモデル206Cの適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206Cを選択する。
CNR=(LAVE-LMIN)/LSD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204Cは、複数の学習済みモデル206Cの適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206Cを選択する。
または、選択部204Cは、画像領域R1における輝度の平均値LAVE_R1と、画像領域R2における輝度の平均値LAVE_R2と、画像領域R2における輝度の標準偏差LSDとを基に、下記式により計算してもよい。
CNR=(LAVE_R1-LMIN_R2)/LSD
CNR=(LAVE_R1-LMIN_R2)/LSD
処理部205Cは、対象物Fを対象に取得されたX線透過画像に、選択部204Cによって選択された学習済みモデル206Cを適用して、ノイズを除去する画像処理を実行することにより出力画像を生成する。そして、処理部205Cは、生成した出力画像を表示装置30等に出力する。
次に、第2実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、第2実施形態に係る放射線画像取得方法の流れについて説明する。図35は、画像取得装置1による観察処理の手順を示すフローチャートである。
まず、制御装置20Cによって、画像取得装置1のオペレータ(ユーザ)から、X線照射器50の動作条件、あるいはX線検出カメラ10による撮像条件等を示す条件情報の入力が受け付けられる(ステップS1)。次に、制御装置20Cによって、条件情報を基に、X線検出カメラ10によって検出されるX線の平均エネルギーの値が算出される(ステップS2)。
さらに、制御装置20Cによって、制御装置20Cに格納されている学習済みモデル206Cの構築に用いられた画像データにおけるX線の平均エネルギーの値が特定される(ステップS3)。その後、制御装置20Cに格納されている全ての学習済みモデル206Cに関して、X線の平均エネルギーの値の特定が繰り返される(ステップS4)。
次に、制御装置20Cによって、算出したX線の平均エネルギーの値が比較されることにより、複数の学習済みモデル206Cの候補が絞り込まれる(ステップS5)。さらに、画像取得装置1において治具がセットされてその治具が撮像されることにより、治具のX線透過画像が取得される(ステップS6)。
その後、制御装置20Cにより、治具のX線透過画像の画像特性(X線の平均エネルギーの値、厚さ-輝度の特性、輝度-ノイズ比の特性、輝度-ノイズの特性、解像度変化の特性等)が取得される(ステップS7)。そして、制御装置20Cにより、取得した画像特性を基に、最終的な学習済みモデル206Cが選択される(ステップS8)。
さらに、画像取得装置1において対象物Fがセットされて対象物Fが撮像されることにより、対象物FのX線透過画像が取得される(ステップS9)。次に、制御装置20Cにより、最終的に選択した学習済みモデル206Cを対象物FのX線透過画像に適用することによって、X線透過画像を対象にノイズ除去処理が実行される(ステップS10)。最後に、制御装置20Cにより、ノイズ除去処理が施されたX線透過画像である出力画像が、表示装置30に出力される(ステップS11)。
以上説明した画像取得装置1によっても、X線透過画像において信号成分を大きくしつつノイズ成分を除去することができ、X線透過画像におけるS/N比を効果的に向上させることができる。また、対象物FのX線透過画像を取得する際のX線の発生源の動作条件あるいはX線透過画像の撮像条件を基に、対象物Fを透過したX線の平均エネルギーが算出される。そして、その平均エネルギーを基に、予め構築された学習済みモデル206Cの中からノイズ除去に用いる学習済みモデル206Cの候補が絞り込まれる。これにより、撮像対象のX線の平均エネルギーに対応した学習済みモデル206Cがノイズ除去に用いられるので、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、X線透過画像におけるノイズを効果的に除去でき、例えば、異物検出性能を向上させることができる。特に、X線透過画像は、管電圧、フィルタ、シンチレータ、X線検出カメラの条件(ゲイン設定値、回路ノイズ値、飽和電荷量、変換係数値(e-/count)、カメラのラインレート)、対象物等の違いによってノイズの態様が変化する。そのため、機械学習によってノイズ除去を実現しようとする場合、様々な条件で学習させた複数の学習モデルを用意しておく必要がある。従来は、X線透過画像の測定時の条件に合わせて複数の学習モデルの中からノイズの態様に合った学習モデルを選択することは実現されていなかった。本実施形態によれば、撮像対象のX線の平均エネルギーに対応した学習済みモデル206Cが選択されることで、常にノイズの態様に合った学習モデルの選択が実現される。
一般に、X線透過画像においては、X線発生由来のノイズが含まれている。X線透過画像のS/N比を向上させるためにX線量を増加させることも考えられるが、その場合は、X線量を増加させるとセンサの被ばく量が増加しセンサの寿命が短くなる、X線発生源の寿命が短くなる、という問題があり、S/N比の向上と長寿命化との両立が困難である。本実施形態では、X線量を増加させる必要はないので、S/N比の向上と長寿命化の両立が可能である。
また、本実施形態の制御装置20Cは、選択した学習済みモデル206Cを用いて対象物FのX線透過画像からノイズを除去する画像処理を実行する機能を有する。このような機能により、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現でき、X線透過画像におけるノイズを効果的に除去できる。
また、本実施形態の制御装置20Cは、選択情報から算出されたX線の平均エネルギーの値と、学習済みモデル206Cの構築に用いられた画像データから特定される平均エネルギーの値とを比較することにより、学習済みモデルの候補を絞り込む機能を有している。このような機能により、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が確実に実現できる。
さらに、本実施形態の制御装置20Cは、治具のX線透過画像の画像特性に基づいて候補から学習済みモデル206Cを選択する機能を有している。このような機能により、対象物FのX線透過画像のノイズ除去に最適な学習済みモデル206Cを選択できる。その結果、X線透過画像における輝度とノイズとの関係に対応したノイズ除去がより確実に実現できる。
[第2実施形態の変形例]
上記第2実施形態の制御装置20Cは、条件情報から算出したX線の平均エネルギーの値を基に学習済みモデル206Cの候補を選択していたが、X線検出カメラ10の性能劣化、X線照射器50の出力変動あるいは性能劣化に対応した機能を有していてもよい。
上記第2実施形態の制御装置20Cは、条件情報から算出したX線の平均エネルギーの値を基に学習済みモデル206Cの候補を選択していたが、X線検出カメラ10の性能劣化、X線照射器50の出力変動あるいは性能劣化に対応した機能を有していてもよい。
図36は、第2実施形態の変形例に係る制御装置20Dの機能構成を示すブロック図である。制御装置20Dは、上記第2実施形態に係る制御装置20Cに比較して、測定部207Cを有する点と、算出部202D及び絞込部203Dの機能とが異なっている。
制御装置20Cにおいては、X線検出カメラ10の性能劣化及びX線照射器50の出力変動あるいは性能劣化は無いものとして、X線の平均エネルギーからX線透過画像における輝度とノイズとの関係が推定できるという前提で、学習済みモデル206Cを絞り込んでいる。これに対して、本変形例に係る制御装置20Dにおいては、X線検出カメラ10の性能劣化、X線照射器50の出力変動、あるいはその性能劣化を考慮して、X線変換係数を算出し、X線変換係数を基に学習済みモデル206Cを絞り込む機能を有する。X線変換係数は、X線がシンチレータで可視光に変換された後にカメラのセンサで電子(電気信号)に変換されるまでの効率を示すパラメータである。
一般に、X線変換係数FTは、X線の平均エネルギーをE[keV]とし、シンチレータ発光量をEM[photon/keV]、センサにおけるカップリング効率をC、センサの量子効率をQEとすると、下記式;
FT=E×EM×C×QE
により計算できる。また、X線透過画像におけるS/N比(SNR)は、X線変換係数FTと、X線フォトン数NPと、カメラの読み出しノイズNrとを用いて、下記式;
SNR=FTNP/{(FTNP+Nr2)1/2}
より求められることから、X線変換係数FTを基に、カメラの性能劣化を考慮した上でのX線透過画像における輝度とノイズとの関係が推定できる。
FT=E×EM×C×QE
により計算できる。また、X線透過画像におけるS/N比(SNR)は、X線変換係数FTと、X線フォトン数NPと、カメラの読み出しノイズNrとを用いて、下記式;
SNR=FTNP/{(FTNP+Nr2)1/2}
より求められることから、X線変換係数FTを基に、カメラの性能劣化を考慮した上でのX線透過画像における輝度とノイズとの関係が推定できる。
制御装置20Dの測定部207Cは、シンチレータ層11の性能劣化としての発光量EMの低下量、スキャンカメラ12の性能劣化としてのセンサの量子効率QEの低下量、X線照射器50の出力変動及び性能劣化としての平均エネルギーEの変化量を測定する機能を有する。例えば、測定部207Cは、シンチレータ層11の性能劣化の無い状態(新品時での状態)と、現在のシンチレータ層11との間の発光量の低下量を測定してその低下量から現在の発光量EMを推定する。また、測定部207Cは、スキャンカメラ12の性能劣化の無い状態(新品時での状態)と、現在のスキャンカメラ12との間の輝度低下量を測定してその低下量から現在の量子効率QEを推定する。また、測定部207Cは、X線照射器50の性能劣化の無い状態(新品時での状態)と、現在のX線照射器50との間の平均エネルギーの変化量から現在の平均エネルギーEを推定する。平均エネルギーEは、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材の撮像データから求めたり、厚さあるいは材質が変化する治具の複数点における撮像データから求めるなどしてもよい。
制御装置20Dの算出部202Dは、算出したX線の平均エネルギーEと、測定部207Cによって推定された発光量EM及び量子効率QEとを用いてX線変換係数FTを算出する。制御装置20Dの絞込部203Dは、算出したX線変換係数FTと、学習済みモデル206Cの構築に用いられた画像データにおけるX線変換係数FTとを比較することにより、学習済みモデル206Cの候補を絞り込む機能を有する。
また、上記変形例の制御装置20Dは、学習済みモデルの候補を絞り込んだ後に、治具を撮像して得られた画像特性を基に学習済みモデルを選択していたが、治具の撮像を行うことなく、対象物のX線透過画像に対するノイズ除去処理を実行してもよい。図37は、別の変形例に係る画像取得装置1による観察処理の手順を示すフローチャートである。このように、図35におけるステップS6~S8の処理を省略して、平均エネルギーを基に絞り込んだ学習済みモデルを用いてノイズ除去処理を実行することもできる。
[第3実施形態]
[第3実施形態]
図38は、第3実施形態に係る制御装置20Eの機能構成を示すブロック図である。制御装置20Eは、取得部201E、特定部202E、選択部204E、及び処理部205Eを備える。
また、制御装置20Eには、X線透過画像を対象にノイズ除去処理を実行させる学習済みモデル206Eが予め複数格納されている。複数の学習済みモデル206Eは、それぞれ、画像データを教師データとして予め構築された機械学習による学習モデルである。機械学習には、教師あり学習、深層学習(ディープラーニング)、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、ディープラーニングのアルゴリズムの一例として、Kai Zhangらの論文“Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising”に記載された2次元の畳み込みニューラルネットワークが採用される。複数の学習済みモデル206Eは、外部のコンピュータ等により生成されて制御装置20Eにダウンロードされてもよいし、制御装置20E内で生成されてもよい。
図39には、学習済みモデル206Eの構築に用いられる教師データである画像データの一例を示す。教師データとしては、様々な厚さ、様々な材質、及び様々な解像度のパターンを撮像対象にしたX線透過画像が用いられうる。図39に示す例は、鶏肉を対象に生成されたX線透過画像の例である。この画像データは、実際に画像取得装置1を用いて複数種類の対象物を対象に生成されたX線透過画像を用いてもよいし、シミュレーション計算によって生成された画像データを用いてもよい。X線透過画像については、画像取得装置1とは異なる装置を用いて取得したものでもかまわない。また、X線透過画像とシミュレーション計算によって生成された画像データを組み合わせて用いてもよい。複数の学習済みモデル206Eは、それぞれ、平均エネルギーが異なる透過X線を対象に得られた画像データであって、ノイズ分布が既知の画像データを用いて予め構築されている。画像データにおけるX線の平均エネルギーは、それぞれ、画像取得装置1のX線照射器(放射線発生源)50の動作条件あるいは画像取得装置1の撮像条件等を設定することにより、あるいはシミュレーション計算時のX線照射器50の動作条件あるいは撮像条件を設定することにより、予め異なる値に設定されている。つまり、複数の学習済みモデル206Eは、対象物FのX線透過画像を撮像する際のX線照射器(放射線発生源)50の動作条件、あるいは、X線検出カメラ10による撮像条件等を示す条件情報を基に算出された対象物Fを透過したX線に関する平均エネルギーに対応するX線画像である訓練画像を訓練データとして用いて、機械学習によって構築される(構築ステップ)。例えば、本実施形態では、複数の学習済みモデル206Eは、それぞれ、平均エネルギーが、10keV、20keV、30keV、…と10keV刻みの値が設定された複数種類の画像データを複数フレーム(例えば、20,000フレーム)用いて構築されている。
学習済みモデル206Eの構築に用いられる教師データである画像データは、上述した第1実施形態における作成手順と同様な作成手順によって生成される。
以下、図38に戻って、制御装置20Eの各機能部の機能の詳細について説明する。
取得部201Eは、画像取得装置1を用いて治具及び対象物Fを対象にX線を照射して撮像したX線透過画像を取得する。治具としては、厚さ及び材質が既知であり、X線の平均エネルギーとX線透過率との関係が既知である平板状部材、あるいは、様々な解像度で撮像されるチャートを有する治具が用いられる。すなわち、取得部201Eは、対象物Fの観察処理に先立って画像取得装置1を用いて撮像された治具のX線透過画像を取得する。そして、取得部201Eは、治具のX線透過画像を基に学習済みモデル206Eが選択された後のタイミングで、画像取得装置1を用いて撮像された対象物FのX線透過画像を取得する。ただし、治具及び対象物FのX線透過画像の取得タイミングは上記には限定されず、同時であってもよいし逆のタイミングであってもよい。
特定部202Eは、取得部201Eによって取得された治具のX線透過画像の画像特性を特定する。具体的には、選択部204Eは、X線透過画像の画像特性として、エネルギー特性、ノイズ特性、解像度特性、あるいは周波数特性等を特定する。
例えば、特定部202Eは、治具として、厚さ及び材質が既知である平板状部材が用いられた場合には、治具を透過したX線像の輝度と空気を透過したX線像の輝度とを比較して、治具における1点(あるいは複数点の平均)のX線の透過率を算出する。例えば、治具を透過したX線像の輝度が5,550であり、空気を透過したX線像の輝度が15,000の場合には、透過率37%と算出する。そして、特定部202Eは、透過率37%から推定される透過X線の平均エネルギー(例えば、50keV)を、治具のX線透過画像のエネルギー特性として特定する。
また、特定部202Eは、治具のX線透過画像のエネルギー特性として、厚さあるいは材質が変化する治具の複数点における特性を解析してもよい。図40は、特定部202Eの解析対象のX線透過画像の一例を示す図である。図40は、厚さがステップ状に変化した形状の治具を対象にしたX線透過画像である。特定部202Eは、このようなX線透過画像から厚さの異なる複数の測定領域(ROI:Region Of Interest)を選択し、複数の測定領域ごとの輝度平均値を解析し、厚さ-輝度の特性グラフをエネルギー特性として取得する。図41には、特定部202Eが取得した厚さ-輝度の特性グラフの一例を示している。
また、特定部202Eは、治具のX線透過画像のノイズ特性として、複数の測定領域ごとの輝度値とノイズを解析し、輝度-ノイズ比の特性グラフをノイズ特性として取得することもできる。すなわち、特定部202Eは、X線透過画像から厚さあるいは材質の異なる複数の測定領域ROIを選択し、複数の測定領域ROIの輝度値の標準偏差及び輝度値の平均値を解析し、輝度-SNR(S/N比)の特性グラフをノイズ特性として取得する。このとき、特定部202Eは、測定領域ROI毎のSNRを、SNR=(輝度値の平均値)÷(輝度値の標準偏差)によって算出する。図42には、特定部202Eが取得した輝度-SNRの特性グラフの一例を示している。ここで、特定部202Eは、ノイズ特性として、上記の輝度-SNRの特性グラフに代えて、縦軸を輝度値の標準偏差から計算されるノイズとした特性グラフを取得してもよい。
また、特定部202Eは、チャートを有する治具が用いられた場合には、治具のX線透過画像における解像度の分布を解像度特性として取得することもできる。さらに、特定部202Eは、治具のX線透過画像に対して複数の学習済みモデル206Eを適用してノイズ除去処理を施した後の画像に関しても、解像度特性を取得する機能を有する。図43には、解像度の評価に用いられるX線透過画像の一例を示している。このX線透過画像においては、一方向に沿ってステップ状に解像度が変化するチャートが撮像対象とされている。X線透過画像の解像度は、MTF(Modulation Transfer Function)又はCTF(Contrast Transfer Function)を用いて測定することができる。
再び図38を参照して、選択部204Eは、特定部202Eによって取得された画像特性を基に、制御装置20E内に格納された複数の学習済みモデル206Eの中から、最終的に対象物FのX線透過画像のノイズ除去処理に用いる学習済みモデル206Eを選択する。すなわち、選択部204Eは、特定部202Eによって特定された画像特性と、複数の学習済みモデル206Eの構築に用いられた画像データから特定された画像特性とを比較し、両者が類似する学習済みモデル206Eを選択する。
例えば、選択部204Eは、特定部202Eが特定した透過X線の平均エネルギーの値に最も近い平均エネルギーの画像データによって構築された学習済みモデル206Eを一つ選択する。
また、選択部204Eは、特定部202Eによる特定方法と同様にして、複数の学習済みモデル206Eの構築に用いた画像データを対象に、厚さ-輝度の特性グラフを取得し、治具を対象に取得した厚さ-輝度の特性グラフと最も近い特性を有する画像データによって構築された学習済みモデル206Eを、最終的な学習済みモデル206Eとして選択する。ただし、学習済みモデル206Eの構築に用いられた画像データの画像特性は予め制御装置20Eの外部で算出されたものを参照してもよい。このように、複数の測定領域を設定して得られた画像特性を用いることにより、対象物FのX線透過画像のノイズ除去に最適な学習済みモデルを選択することができる。特に、X線透過画像の測定時のX線スペクトルの違いあるいはフィルタの効果の違いを精度よく推定することが可能となる。
また、選択部204Eは、特定部202Eによって取得された輝度-ノイズ比の特性と最も近い輝度-ノイズ比の特性を有する画像データによって構築された学習済みモデル206Eを、最終的な学習済みモデル206Eとして選択してもよい。ただし、学習済みモデル206Eの構築に用いられた画像データの画像特性は、選択部204Eが画像データから取得してもよいし、予め制御装置20Eの外部で算出されたものを参照してもよい。ここで、選択部204Eは、ノイズ特性として、輝度-ノイズ比の特性に代えて、輝度-ノイズの特性を用いて学習済みモデル206Eを選択してもよい。このような輝度-ノイズの特性を用いることにより、X線検出カメラ10によって検出される各信号量に対し、各信号量の領域のグラフの傾きから支配的なノイズ要因(ショットノイズ、読み出しノイズ等)を特定し、その特定の結果を基に学習済みモデル206Eを選択できる。
図44は、選択部204Eによる画像特性に基づいた学習済みモデルの選択機能を説明するための図である。図44において、(a)部は、複数の学習済みモデル206Eの構築に用いられたそれぞれの画像データの輝度-SNRの特性グラフG1,G2,G3を示し、(b)部には、これらの特性グラフG1,G2,G3に加えて、治具を撮像したX線透過画像の輝度-SNRの特性グラフGTを示している。このような特性グラフG1,G2,G3,GTを対象にした場合には、選択部204Eは、特性グラフGTの特性に最も近い特性グラフG2の画像データによって構築された学習済みモデル206Eを選択するように機能する。選択の際には、選択部204Eは、各特性グラフG1,G2,G3と特性グラフGTと間で、一定間隔の輝度値毎のSNRの誤差を計算し、それらの誤差の平均二乗誤差(RMSE:Root Mean Squared Error)を計算し、平均二乗誤差が最も小さい特性グラフG1,G2,G3に対応した学習済みモデル206Eを選択する。また、選択部204Eは、エネルギー特性を用いて選択する場合にも、同様にして学習済みモデル206Eを選択できる。
選択部204Eは、治具のX線透過画像を対象に、複数の学習済みモデルを適用してノイズ除去処理を実行した後の画像の特性を基に、特性が相対的に優れた画像の生成に用いられた学習済みモデル206Eを選択することもできる。
例えば、選択部204Eは、様々な解像度のチャートを有する治具を撮像したX線透過画像を用いて、その画像に複数の学習済みモデル206Eを適用し、その結果生成されたノイズ除去後の画像の解像度特性を評価する。そして、選択部204Eは、ノイズ除去処理前後における各分布の解像度の変化が最も小さい画像に用いられた学習済みモデル206Eを選択する。
上記の解像度の変化の評価以外にも、選択部204Eは、ノイズ除去後の画像の輝度-ノイズ比の特性を評価し、その特性が最も高い画像の生成に用いられた学習済みモデル206Eを選択してもよい。図45には、輝度-ノイズ比の評価に用いられる治具の構造の一例を示している。例えば、治具として、厚さが一方向にステップ状に変化する部材P1中に様々な材質及び様々な大きさを有する異物P2が点在したものが用いられうる。図46は、図45の治具を対象に得られたノイズ除去処理後のX線透過画像を示している。選択部204Eは、X線透過画像中において異物P2の像を含む画像領域R1と、その領域R1の近傍の異物P2の像を含まない画像領域R2とを選択し、画像領域R1における輝度の最小値LMINと、画像領域R2における輝度の平均値LAVEと、画像領域R2における輝度の標準偏差LSDとを計算する。そして、選択部204Eは、下記式;
CNR=(LAVE-LMIN)/LSD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204Eは、複数の学習済みモデル206Eの適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206Eを選択する。
CNR=(LAVE-LMIN)/LSD
を用いて、輝度-ノイズ比CNRを算出する。さらに、選択部204Eは、複数の学習済みモデル206Eの適用後のX線透過画像のそれぞれを対象に輝度-ノイズ比CNRを算出し、輝度-ノイズ比CNRが最も高いX線透過画像の生成に用いられた学習済みモデル206Eを選択する。
または、選択部204Eは、画像領域R1における輝度の平均値LAVE_R1と、画像領域R2における輝度の平均値LAVE_R2と、画像領域R2における輝度の標準偏差LSDとを基に、下記式により計算してもよい。
CNR=(LAVE_R1-LMIN_R2)/LSD
CNR=(LAVE_R1-LMIN_R2)/LSD
処理部205Eは、対象物Fを対象に取得されたX線透過画像に、選択部204Eによって選択された学習済みモデル206Eを適用して、ノイズを除去する画像処理を実行することにより出力画像を生成する。そして、処理部205Eは、生成した出力画像を表示装置30等に出力する。
次に、第3実施形態に係る画像取得装置1を用いた対象物FのX線透過像の観察処理の手順、すなわち、第3実施形態に係る放射線画像取得方法の流れについて説明する。図47は、画像取得装置1による観察処理の手順を示すフローチャートである。
まず、画像取得装置1のオペレータ(ユーザ)によって、X線照射器50の管電圧あるいはX線検出カメラ10におけるゲイン等の画像取得装置1における撮像条件が設定される(ステップS1E)。次に、画像取得装置1に治具がセットされて、制御装置20Eによって治具を対象としてX線透過画像が取得される(ステップS2E)。このとき、複数種類の治具のX線透過画像が順次取得されてもよい。
それに応じて、制御装置20Eによって、治具のX線透過画像の画像特性(エネルギー特性、ノイズ特性、及び解像度特性)が特定される(ステップS3E)。さらに、制御装置20Eによって、治具のX線透過画像に対して複数の学習済みモデル206Eが適用され、複数の学習済みモデル206Eの適用後のそれぞれのX線透過画像の画像特性(解像度特性あるいは輝度-ノイズ比の値、等)が特定される(ステップS4E)。
次に、制御装置20Eによって、治具のX線透過画像のエネルギー特性と学習済みモデル206Eの構築に用いられた画像データのエネルギー特性との比較結果、及び、治具のX線透過画像の解像度特性の学習済みモデルの適用前後における変化度合いを基に、学習済みモデル206Eが選択される(ステップS5E)。ここでは、治具のX線透過画像のノイズ特性と学習済みモデル206Eの構築に用いられた画像データのノイズ特性との比較結果、及び、治具のX線透過画像の解像度特性の学習済みモデルの適用前後における変化状態を基に、学習済みモデル206Eが選択されてもよい。また、ステップS5Eでは、上記処理に代えて、治具のX線透過画像の学習済みモデルの適用後における輝度-ノイズ比CNRが最も高い学習済みモデル206Eが選択されてもよい。
さらに、画像取得装置1において対象物Fがセットされて対象物Fが撮像されることにより、対象物FのX線透過画像が取得される(ステップS7E)。次に、制御装置20Eにより、最終的に選択した学習済みモデル206Eを対象物FのX線透過画像に適用することによって、X線透過画像を対象にノイズ除去処理が実行される(ステップS8E)。最後に、制御装置20Eにより、ノイズ除去処理が施されたX線透過画像である出力画像が、表示装置30に出力される(ステップS9E)。
以上説明した画像取得装置1によっても、X線透過画像において信号成分を大きくしつつノイズ成分を除去することができ、X線透過画像におけるS/N比を効果的に向上させることができる。また、治具のX線透過画像の画像特性が特定され、その画像特性を基に、予め構築された学習済みモデルの中からノイズ除去に用いる学習済みモデルが選択される。これにより、画像取得装置1におけるX線照射器50の動作条件等により変化するX線透過画像の特性を推定でき、この推定結果に応じて選択された学習済みモデル206Eがノイズ除去に用いられるので、X線透過画像における輝度とノイズとの関係に対応したノイズ除去が実現できる。その結果、X線透過画像におけるノイズを効果的に除去できる。
一般に、X線透過画像においては、X線発生由来のノイズが含まれている。X線透過画像のS/N比を向上させるためにX線量を増加させることも考えられるが、その場合は、X線量を増加させるとセンサの被ばく量が増加しセンサの寿命が短くなる、X線発生源の寿命が短くなる、という問題があり、S/N比の向上と長寿命化との両立が困難である。本実施形態では、X線量を増加させる必要はないので、S/N比の向上と長寿命化の両立が可能である。
本実施形態では、学習済みモデルの選択において、治具のX線透過画像の画像特性と、学習済みモデルの構築に用いられた画像データの画像特性とが比較されている。これにより、治具のX線透過画像の画像特性に対応した画像データによって構築された学習済みモデル206Eが選択されるので、対象物FのX線透過画像におけるノイズを効果的に除去できる。
また、本実施形態では、治具のX線透過画像に対して複数の学習済みモデル206Eを適用した画像の画像特性を用いて、学習済みモデルが選択されている。この場合、実際に複数の学習済みモデル206Eを適用した治具のX線透過画像の画像特性により、学習済みモデル206Eが選択されるので、対象物FのX線透過画像におけるノイズを効果的に除去できる。
特に、本実施形態では、画像特性としてエネルギー特性又はノイズ特性が用いられている。この場合、画像取得装置1の撮像条件によって変化する治具のX線透過画像のエネルギー特性又はノイズ特性と類似した特性の画像によって構築された学習済みモデル206Eを選択することとなる。その結果、画像取得装置1の条件変化に対応した対象物FのX線透過画像におけるノイズ除去が可能となる。
本実施形態では、画像特性として、解像度特性又は輝度-ノイズ比も用いられている。このような構成によれば、選択した学習済みモデル206Eを適用することにより、解像度特性又は輝度-ノイズ比が良好なX線透過画像を得ることができるようになる。その結果、画像取得装置1の条件変化に対応した対象物のX線透過画像におけるノイズ除去が可能となる。
[第1~3実施形態に関するその他の変形例]
[第1~3実施形態に関するその他の変形例]
第1~第3実施形態に係る画像取得装置1は、以下のような構成のスキャンカメラ12A及びシンチレータ層11Aを備えていてもよい。図48は、変形例にかかるスキャンカメラ12Aの構成を示す平面図である。図49は、スキャンカメラ12A上に配置される変形例に係るシンチレータ層11Aの構成を示す図であり、上方に搬送方向TDに沿った断面図、下方に基板71の画素72側の面から見た平面図を示している。
スキャンカメラ12Aは、基板71上に、搬送方向TDに略直交する方向に沿って配列されたN個(Nは、2以上の整数)の画素72を有する。例えば、画素数Nは、200以上30,000以下の任意の整数である。シンチレータ層11は、搬送方向TDに略直交する方向に沿ってN個で並ぶ画素72に対応して分離して配置されるP個(Pは2以上の整数)の矩形状のシンチレータ部11aと、それらのシンチレータ部11aの間に位置する分離部11bとが形成されてなる。
上記構成のスキャンカメラ12Aに備えられる読み出し回路73は、センサ制御部13による制御に応じて、N個の画素72から所定の検出周期の間隔で出力される検出信号を順次あるいは同時に受け、N個の画素72からの検出信号を組み合わせて、搬送方向TDに直交する対象物Fの1ラインの検出信号として、外部に出力する。加えて、読み出し回路73は、所定の検出周期をずらしてN個の画素72から順次あるいは同時に出力される検出信号を対象に処理を行うことにより、搬送方向TDに直交する対象物Fの次の1ラインの検出信号を出力する。同様にして、読み出し回路73は、搬送方向TDに直交する対象物Fの複数ラインの検出信号を順次あるいは同時に出力する。
上記の所定の検出周期は、例えば、ベルトコンベア60の速度、X線照射器50とベルトコンベア60上の対象物Fとの距離(FOD(Focus Object Distance:線源物体間距離))、X線照射器50とスキャンカメラ12との距離(FDD(Focus Detector Distance:線源センサ間距離))、及び対象物F上の画素72の検出間隔を基に、設定されてもよい。
一般的に、シンチレーション光を遮蔽あるいは反射する分離部11bを形成することにより、シンチレーション光が隣のシンチレータ部に入り込むことを防ぐことができ、解像度の低下を防ぐことが可能となる。しかしながら、分離部11bが存在する部分は、入射するX線からシンチレーション光への変換に寄与していないため、分離部11bの大きさ(面積)に応じて、検出信号が小さくなる(減少する)という問題もあった。検出信号の低下は、S/N比の低下を意味する。そのため、分離部11bを有するシンチレータによって、解像度の向上とS/N比の向上を両立させることは、困難とされていた。これに対し、本変形例によれば、画素72に対応して分離されたシンチレータ部11aを用いることによりX線画像の解像度を高めることができるとともに、X線画像におけるS/N比を効果的に向上させることができる。
また、別の変形例として、制御装置20は、X線画像を学習済モデルに入力させてノイズ除去処理を実行させる代わりに、X線画像に対してフィルタ処理を施してノイズ除去処理を実行してもよい。例えば、制御装置20は、このようなフィルタ処理としてエッジ保存型フィルタ処理を実行する。さらに詳細には、制御装置20は、エッジ保存型フィルタ処理として、メディアンフィルタ、バイラテラルフィルタ、NLM(Non Local Mean)フィルタ、トータルバリエーション(Total Variation)フィルタ、BM3D等を用いた処理を実行する。このとき、制御装置20は、複数種類のフィルタ処理を組み合わせて実行してもよい。
上記別の変形例によれば、X線画像においてノイズ成分を適切に除去することができ、放射線画像におけるS/N比を一層向上させることができる。具体的には、スキャンカメラ12及びシンチレータ層11を用いてX線画像を取得し、エッジ保存型フィルタ処理を用いたノイズ除去処理を施した場合は、スキャンカメラ12の全体を一体で覆うシンチレータを用いてX線画像を取得し、ノイズ除去処理を施さない場合に比較して、CNRが約2倍に改善されるとともに、閾値処理を行って生成した二値化画像において擬似信号が十分に除去されることが分かった。これにより、本変形例によれば、異物検査の用途においては、異物どうしが交わって検出されることを防止できる。
また、上記別の変形例にかかる制御装置20は、X線画像に対してフィルタ処理に加えてエッジ強調処理を施してもよい。例えば、制御装置20は、このようなエッジ強調処理として、エッジ強調フィルタを用いた処理、アンシャープマスク処理等を実行する。このとき、制御装置20は、複数種類の処理を組み合わせて実行してもよい。この場合、X線画像において、S/N比の向上に加えて、コントラストを向上させることができる。具体的には、スキャンカメラ12及びシンチレータ層11を用いてX線画像を取得し、エッジ保存型フィルタ処理及びエッジ強調処理の両方を施した場合は、スキャンカメラ12の全体を一体で覆うシンチレータを用いてX線画像を取得し、ノイズ除去処理を施さない場合に比較して、CNRが約4倍に改善されるとともに、閾値処理を行って生成した二値化画像において擬似信号が十分に除去されることが分かった。これにより、本変形例によっても、異物検査の用途においては、異物どうしが交わって検出されることを防止できる。
1…画像取得装置(放射線画像取得装置、放射線画像取得システム)、10…X線検出カメラ(撮像装置)、11,11A…シンチレータ層、11a…シンチレータ部、11b…分離部、12,12A…スキャンカメラ、20,20A~20E…制御装置(画像処理モジュール)、50…X線照射器(放射線発生源)、60…ベルトコンベア(搬送装置)、72…画素(検出素子)、74…画素ライン(画素群)、73…読み出し回路、201,201C…入力部、202,202A,202C,202D…算出部、202E…特定部、203C,203D…絞込部、204,204A,204B…ノイズマップ生成部、204C,204E…選択部、205,205C,205E…処理部、206C,206E,207…学習済みモデル、F…対象物、TD…搬送方向(一の方向)。
Claims (22)
- 対象物を透過した放射線を一の方向にスキャンして撮像して放射線画像を取得する撮像装置と、
前記撮像装置上に設けられ、前記放射線を光に変換するシンチレータ層と、
前記放射線画像からノイズを除去するノイズ除去処理を実行する画像処理モジュールと、
を備え、
前記撮像装置は、
前記一の方向に直交する方向にN個(Nは2以上の整数)配列されて構成され、前記光を検出して検出信号を出力する検出素子と、
N個の前記検出素子毎の前記検出信号を出力することにより、前記放射線画像を出力する読出回路と、
を含み、
前記シンチレータ層は、
N個の前記検出素子に対応して分離して配置されたP個(Pは2以上の整数)のシンチレータ部と、
前記P個のシンチレータ部の間に配置された分離部と、
を含む、
放射線画像取得装置。 - 前記撮像装置は、
前記一の方向に沿って配列されたM個(Mは2以上の整数)の画素を有する画素ラインが、前記一の方向に直交する方向にN列(Nは2以上の整数)配列されて構成され、前記画素毎に前記光に関する検出信号を出力する前記検出素子と、
前記検出素子のN列の前記画素ライン毎に、M個の前記画素のうちの少なくとも2個の前記画素から出力される前記検出信号を加算処理し、加算処理したN個の前記検出信号を出力することにより、前記放射線画像を出力する前記読出回路と、
を含む、
請求項1に記載の放射線画像取得装置。 - 前記画像処理モジュールは、前記放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、前記放射線画像からノイズを除去するノイズ除去処理を実行する、
請求項1または2に記載の放射線画像取得装置。 - 前記学習済みモデルは、所定の構造体の放射線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される、
請求項3に記載の放射線画像取得装置。 - 前記学習済みモデルは、前記シンチレータ層を用いて得られた放射線画像を教師データとした機械学習によって構築される、
請求項3に記載の放射線画像取得装置。 - 前記画像処理モジュールは、
画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、前記放射線画像の各画素の画素値から前記評価値を導出し、前記放射線画像の各画素に導出した前記評価値を対応付けたデータであるノイズマップを生成するノイズマップ生成部と、
前記放射線画像及び前記ノイズマップを、前記学習済みモデルに入力し、前記放射線画像からノイズを除去するノイズ除去処理を実行する処理部と、
を有する請求項3~5のいずれか1項に記載の放射線画像取得装置。 - 前記画像処理モジュールは、
放射線を照射して対象物を撮像する際の前記放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付ける入力部と、
前記条件情報を基に、前記対象物を透過した前記放射線に関する平均エネルギーを算出する算出部と、
前記平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、前記ノイズ除去処理に用いる学習済みモデルを絞り込む絞込部と、
を有する請求項3~5のいずれか1項に記載の放射線画像取得装置。 - 前記画像処理モジュールは、
治具を対象として前記撮像装置によって取得された放射線画像の画像特性を特定する特定部と、
前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択する選択部と、
選択された前記学習済みモデルを用いて前記ノイズ除去処理を実行する処理部と、
を有する請求項3~5のいずれか1項に記載の放射線画像取得装置。 - 前記画像処理モジュールは、前記放射線画像に対してフィルタ処理を施し、前記放射線画像からノイズを除去するノイズ除去処理を実行する、
請求項1または2に記載の放射線画像取得装置。 - 前記画像処理モジュールは、前記放射線画像に対して、前記フィルタ処理に加えてエッジ強調処理を施す、
請求項9に記載の放射線画像取得装置。 - 請求項1~10のいずれか1項に記載の放射線画像取得装置と、
前記対象物に放射線を照射する発生源と、
前記対象物を前記撮像装置に対して前記一の方向に搬送する搬送装置と、
を備える放射線画像取得システム。 - 対象物を透過した放射線に応じたシンチレーション光を一の方向にスキャンして撮像して放射線画像を取得するステップと、
前記放射線画像からノイズを除去するノイズ除去処理を実行するステップと、を備え、
前記取得するステップでは、
前記一の方向に直交する方向にN個(Nは2以上の整数)配列されて構成され、前記光を検出して検出信号を出力する検出素子を含む撮像装置と、N個の前記検出素子に対応して分離して配置されたP個(Pは2以上の整数)のシンチレータ部と前記P個のシンチレータ部の間に配置された分離部とを含む前記放射線を光に変換するシンチレータ層と、を用いて、N個の前記検出素子毎の前記検出信号を出力することにより、前記放射線画像を出力する、
放射線画像取得方法。 - 前記撮像装置は、前記一の方向に沿って配列されたM個(Mは2以上の整数)の画素を有する画素ラインが、前記一の方向に直交する方向にN列(Nは2以上の整数)配列されて構成され、前記画素毎に前記光に関する検出信号を出力する前記検出素子を含み、
前記取得するステップでは、前記検出素子のN列の前記画素ライン毎に、M個の前記画素のうちの少なくとも2個の前記画素から出力される前記検出信号を加算処理し、加算処理したN個の前記検出信号を出力することにより、前記放射線画像を出力する、
請求項12に記載の放射線画像取得方法。 - 前記実行するステップでは、前記放射線画像を予め画像データを用いて機械学習によって構築された学習済みモデルに入力させて、前記放射線画像からノイズを除去するノイズ除去処理を実行する、
請求項12または13に記載の放射線画像取得方法。 - 前記学習済みモデルは、所定の構造体の放射線画像に対し正規分布に沿ったノイズ値を付加して得られた画像データを教師データとした機械学習によって構築される、
請求項14に記載の放射線画像取得方法。 - 前記学習済みモデルは、前記シンチレータ層を用いて得られた放射線画像を教師データとした機械学習によって構築される、
請求項14に記載の放射線画像取得方法。 - 前記実行するステップでは、画素値とノイズ値の広がりを評価した評価値との関係を表す関係データに基づいて、前記放射線画像の各画素の画素値から前記評価値を導出し、前記放射線画像の各画素に導出した前記評価値を対応付けたデータであるノイズマップを生成し、前記放射線画像及び前記ノイズマップを、前記学習済みモデルに入力し、前記放射線画像からノイズを除去するノイズ除去処理を実行する、
請求項14~16のいずれか1項に記載の放射線画像取得方法。 - 前記実行するステップでは、放射線を照射して対象物を撮像する際の前記放射線の発生源の条件あるいは撮像条件のいずれかを示す条件情報の入力を受け付け、前記条件情報を基に、前記対象物を透過した前記放射線に関する平均エネルギーを算出し、前記平均エネルギーを基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、前記ノイズ除去処理に用いる学習済みモデルを絞り込む、
請求項14~16のいずれか1項に記載の放射線画像取得方法。 - 前記実行するステップでは、治具を対象として取得された放射線画像の画像特性を特定し、前記画像特性を基に、予め画像データを用いて機械学習によってそれぞれ構築された複数の学習済みモデルの中から、学習済みモデルを選択し、選択された前記学習済みモデルを用いて前記ノイズ除去処理を実行する、
請求項14~16のいずれか1項に記載の放射線画像取得方法。 - 前記実行するステップでは、前記放射線画像に対してフィルタ処理を施し、前記放射線画像からノイズを除去するノイズ除去処理を実行する、
請求項12または13に記載の放射線画像取得方法。 - 前記実行するステップでは、前記放射線画像に対して、前記フィルタ処理に加えてエッジ強調処理を施す、
請求項20に記載の放射線画像取得方法。 - 前記対象物に放射線を照射するステップと、
前記対象物を前記検出素子に対して前記一の方向に搬送するステップと、
をさらに備える請求項12~21のいずれか1項に記載の放射線画像取得方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021111609A JP2023008225A (ja) | 2021-07-05 | 2021-07-05 | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 |
KR1020237039772A KR20240028334A (ko) | 2021-07-05 | 2022-04-06 | 방사선 화상 취득 장치, 방사선 화상 취득 시스템 및 방사선 화상 취득 방법 |
US18/576,210 US20240210331A1 (en) | 2021-07-05 | 2022-04-06 | Radiographic image acquiring device, radiographic image acquiring system, and radiographic image acquisition method |
EP22837311.4A EP4357818A1 (en) | 2021-07-05 | 2022-04-06 | Radiographic image acquiring device, radiographic image acquiring system, and radiographic image acquisition method |
PCT/JP2022/017170 WO2023281890A1 (ja) | 2021-07-05 | 2022-04-06 | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 |
CN202280047575.1A CN117616272A (zh) | 2021-07-05 | 2022-04-06 | 放射线图像取得装置、放射线图像取得系统及放射线图像取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021111609A JP2023008225A (ja) | 2021-07-05 | 2021-07-05 | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023008225A true JP2023008225A (ja) | 2023-01-19 |
Family
ID=84800200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021111609A Pending JP2023008225A (ja) | 2021-07-05 | 2021-07-05 | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240210331A1 (ja) |
EP (1) | EP4357818A1 (ja) |
JP (1) | JP2023008225A (ja) |
KR (1) | KR20240028334A (ja) |
CN (1) | CN117616272A (ja) |
WO (1) | WO2023281890A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023057871A (ja) * | 2021-10-12 | 2023-04-24 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001099941A (ja) | 1999-09-30 | 2001-04-13 | Hitachi Metals Ltd | 放射線遮蔽板、放射線検出器及び放射線遮蔽板の製造方法 |
JP2003167060A (ja) | 2001-11-30 | 2003-06-13 | Toshiba Corp | X線平面検出器 |
JP3828843B2 (ja) * | 2002-08-02 | 2006-10-04 | アンリツ産機システム株式会社 | X線異物検出装置,x線異物検出方法及びx線異物検出プログラム |
JP5297087B2 (ja) * | 2008-01-17 | 2013-09-25 | アンリツ産機システム株式会社 | X線異物検出装置 |
JP5912427B2 (ja) * | 2011-11-08 | 2016-04-27 | 浜松ホトニクス株式会社 | 非破壊検査装置及び当該装置での位置ずれ検出方法 |
JP7169094B2 (ja) * | 2017-06-01 | 2022-11-10 | 株式会社東芝 | 画像処理システム及び医用情報処理システム |
US20200241150A1 (en) | 2017-10-24 | 2020-07-30 | System Square Inc. | Electromagnetic wave detection module, electromagnetic wave detection module array, and non-destructive inspection apparatus |
JP6569069B1 (ja) | 2018-03-14 | 2019-09-04 | 株式会社 システムスクエア | 検査装置 |
WO2020031984A1 (ja) * | 2018-08-08 | 2020-02-13 | Blue Tag株式会社 | 部品の検査方法及び検査システム |
-
2021
- 2021-07-05 JP JP2021111609A patent/JP2023008225A/ja active Pending
-
2022
- 2022-04-06 EP EP22837311.4A patent/EP4357818A1/en active Pending
- 2022-04-06 US US18/576,210 patent/US20240210331A1/en active Pending
- 2022-04-06 KR KR1020237039772A patent/KR20240028334A/ko unknown
- 2022-04-06 WO PCT/JP2022/017170 patent/WO2023281890A1/ja active Application Filing
- 2022-04-06 CN CN202280047575.1A patent/CN117616272A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023057871A (ja) * | 2021-10-12 | 2023-04-24 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
JP7487159B2 (ja) | 2021-10-12 | 2024-05-20 | キヤノン株式会社 | 医用画像処理装置、医用画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP4357818A1 (en) | 2024-04-24 |
CN117616272A (zh) | 2024-02-27 |
US20240210331A1 (en) | 2024-06-27 |
KR20240028334A (ko) | 2024-03-05 |
WO2023281890A1 (ja) | 2023-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2951615B1 (en) | Method and device for generating an energy-resolved x-ray image with adapted energy threshold | |
Richard et al. | Cascaded systems analysis of noise reduction algorithms in dual‐energy imaging | |
CN110072459B (zh) | 用于自校准的自校准ct检测器、系统和方法 | |
JP5555048B2 (ja) | X線検査装置 | |
US20100278296A1 (en) | Method for energy sensitive computed tomography using checkerboard filtering | |
US10595808B2 (en) | System and method of computed tomography signal restoration via noise reduction | |
EP2689725A1 (en) | Image processing device, image processing method, and image processing program | |
WO2023281890A1 (ja) | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 | |
US20140363071A1 (en) | Image processing apparatus and method | |
US20140023258A1 (en) | Image processing apparatus, image processing method and image processing program | |
JP2012228404A (ja) | 放射線画像処理方法および放射線画像処理装置 | |
JP7060446B2 (ja) | X線ラインセンサ及びそれを用いたx線異物検出装置 | |
WO2021210612A1 (ja) | 放射線画像取得装置、放射線画像取得システム、及び放射線画像取得方法 | |
WO2021210618A1 (ja) | 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、及び放射線画像処理システム | |
WO2021210617A1 (ja) | 放射線画像処理方法、学習済みモデル、放射線画像処理モジュール、放射線画像処理プログラム、放射線画像処理システム、及び機械学習方法 | |
TW202234049A (zh) | 放射線圖像獲取裝置、放射線圖像獲取系統及放射線圖像獲取方法 | |
TW202307465A (zh) | 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式、放射線圖像處理系統及機器學習方法 | |
TW202307785A (zh) | 放射線圖像處理方法、學習完成模型、放射線圖像處理模組、放射線圖像處理程式及放射線圖像處理系統 | |
Kotwaliwale et al. | Calibration of a soft X-ray digital imaging system for biological materials |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240226 |