JP2021012108A - 画像生成装置、検査装置及び学習装置 - Google Patents

画像生成装置、検査装置及び学習装置 Download PDF

Info

Publication number
JP2021012108A
JP2021012108A JP2019126528A JP2019126528A JP2021012108A JP 2021012108 A JP2021012108 A JP 2021012108A JP 2019126528 A JP2019126528 A JP 2019126528A JP 2019126528 A JP2019126528 A JP 2019126528A JP 2021012108 A JP2021012108 A JP 2021012108A
Authority
JP
Japan
Prior art keywords
image
range
value
foreign matter
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019126528A
Other languages
English (en)
Other versions
JP7250331B2 (ja
Inventor
拓右 久保
Takuyu Kubo
拓右 久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ishida Co Ltd
Original Assignee
Ishida Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ishida Co Ltd filed Critical Ishida Co Ltd
Priority to JP2019126528A priority Critical patent/JP7250331B2/ja
Priority to EP20182887.8A priority patent/EP3764087B1/en
Priority to US16/916,993 priority patent/US11189058B2/en
Priority to CN202010618226.3A priority patent/CN112255250B/zh
Publication of JP2021012108A publication Critical patent/JP2021012108A/ja
Application granted granted Critical
Publication of JP7250331B2 publication Critical patent/JP7250331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/083Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18Investigating the presence of flaws defects or foreign matter
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/03Investigating materials by wave or particle radiation by transmission
    • G01N2223/04Investigating materials by wave or particle radiation by transmission and measuring absorption
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/10Different kinds of radiation or particles
    • G01N2223/101Different kinds of radiation or particles electromagnetic radiation
    • G01N2223/1016X-ray
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/40Imaging
    • G01N2223/401Imaging image processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/618Specific applications or type of materials food
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00Investigating materials by wave or particle radiation
    • G01N2223/60Specific applications or type of materials
    • G01N2223/652Specific applications or type of materials impurities, foreign matter, trace amounts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる、画像生成装置を提供する。【解決手段】画像処理部50は、第1良品画像の第1対象画素における画素値を変更することによって第1仮想不良品画像を生成する第1処理部52と、第2良品画像の第2対象画素における画素値を変更することによって、第2仮想不良品画像を生成する第2処理部53と、を備える。第1処理部は、異物における電磁波の吸収特性に基づく第1処理により第1対象画素の画素値を変更し、第2処理部は、第1処理とは異なる処理であって、吸収特性に基づく第2処理により第2対象画素の画素値を変更する。【選択図】図3

Description

本発明は、画像生成装置、検査装置及び学習装置に関する。
物品に光を透過させることで得られた透過画像に基づいて物品の検査を行う検査装置(X線検査装置)が知られている。近年、各種検査装置において、機械学習により生成された機械学習モデル(学習済みモデル)を用いて検査が実施される試みが多くあり、X線検査装置においても、機械学習モデルを用いて、異物の検査等を実施することが考えられる。この機械学習モデルを生成するためには、機械学習モデルを生成するマシンに、異物が含まれた物品の画像である不良品画像と異物の位置を示したデータであるラベルとのセット(以後、「教師データとも称する。)を用いて機械学習(教師データを入力して機械学習を行い、機械学習モデルを生成)させる必要がある。
このような教師データとして、異物が含まれていない良品画像に予め登録された仮想的な異物を示す画像(以後、「仮想異物画像」とも称する。)を合成する(含める)ことにより生成される仮想的な不良品を示す画像(以後、「仮想不良品画像」とも称する。)を用いることが考えられる。このような仮想不良画像の生成方法は、たとえば、特許文献1に記載されている。特許文献1には、複数の画像処理アルゴリズムの中から、検査時の画像処理に用いる最適な画像処理アルゴリズムを選択することができるX線検査装置が開示されており、当該最適な画像処理アルゴリズムを選択する処理の中で、当該仮想不良品画像が用いられることが記載されている。
このようなX線検査装置として、二つのラインセンサを備え、各ラインセンサで互いにエネルギー帯の異なるX線透過画像を取得し、取得した二つのX線透過画像の差分画像を用いて、各種検査を行う装置(デュアルエナジーセンサを有する検査装置)が知られている(たとえば、特許文献2)。このような検査装置において学習モデルを用いた検査を実施する場合、機械学習モデルに、二つのラインセンサのそれぞれから得られる二種類の透過画像を入力し、異物の有無の判定結果を出力させることが考えられる。このような機械学習モデルを生成する場合には、二つのラインセンサのそれぞれから出力される不良品画像と異物の位置を示すラベルとのセットを教師データとして学習させる必要がある。ここで、当該教師データとして、上述したような仮想不良品画像を用いることが考えられる。
国際公開第2006/001107号 特許第5876116号
しかしながら、二つの良品画像のそれぞれに仮想異物画像を単純に合成することによって二枚の仮想不良品画像を生成したとしても、これらの仮想不良品画像は、現実の電磁波の吸収特性を反映しない画像となってしまい、適切な機械学習が実施できない場合がある。
そこで、本発明は、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる、画像生成装置、検査装置及び学習装置を提供することを目的とする。
本発明の検査装置は、異物を含まない被検査物を透過した電磁波に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像を生成する画像処理装置であって、同一の被検査物に対して、第1エネルギー帯の電磁波に基づく良品画像である第1良品画像と、第1エネルギー帯とは異なる第2エネルギー帯の電磁波に基づく良品画像である第2良品画像と、のセットを取得する画像取得部と、第1良品画像を構成する少なくとも1つ以上の画素である第1対象画素における画素値を変更することによって、仮想不良品画像である第1仮想不良品画像を生成する第1処理部と、第1対象画素に対応する、第2良品画像を構成する少なくとも1つ以上の画素である第2対象画素における画素値を変更することによって、仮想不良品画像である第2仮想不良品画像を生成する第2処理部と、を備え、第1処理部は、異物における電磁波の吸収特性に基づく第1処理により第1対象画素の画素値を変更し、第2処理部は、第1処理とは異なる処理であって、吸収特性に基づく第2処理により前記第2対象画素の画素値を変更する。
ただし、第2処理部は、計算式(計算式の構造)としては第1処理部と同じ処理であってもよい。第2処理は、吸収特性に基づき、内部のパラメータの違いによって、第1処理と異なる結果となる処理であればよい。これら第1処理及び第2処理を適切に設定して、各画像の画素値が互いに異なる処理によって適切に変更されればよい。
上記構成によれば、第1処理部及び第2処理部は、第1良品画像及び第2良品画像において、第1対象画素及び第2対象画素に対応する位置に対して、各々第1エネルギー帯および第2エネルギー帯の吸収特性を反映して、仮想異物画像を合成する(含める)ことができる。その結果、エネルギー帯によって電磁波の吸収量が異なるという異物の吸収特性を適切に反映し、各々のエネルギーに基づく仮想不良品画像を生成することができる。
具体的には、被検査物(たとえば、赤身肉)よりも吸収特性の高い異物(たとえば、骨又は金属片)を仮想的に合成したい場合は、(X線の透過度が大きい程、画素の濃淡値が大きくなる指標において、)第1良品画像と第2良品画像とに合成する仮想異物の形状に対応する画素の画素値を小さくする(この場合、仮想異物に対応する画素は、X線の透過量が減少したことに相当し、暗くなる)。被検査物の画素値を基準とした場合に、第1良品画像における第1対象画素の画素値における変更値の度合いを第2良品画像の第2対象画素における画素値の変更値の度合いよりも大きくすれば、実際の異物における電磁波の吸収特性を反映することができる。また、被検査物(たとえば、赤身肉)よりも吸収特性の低い異物(たとえば、空隙や脂肪塊)を仮想的に合成したい場合は、(X線の透過度が大きい程、画素の濃淡値が大きくなる指標において、)第1良品画像と第2良品画像で合成したい仮想異物の形状に相当する画素の画素値を大きくする(この場合、仮想異物に対応する画素は、X線の透過量が増加したことに相当し、明るくなる)。被検査物の画素値を基準とした場合に、第1良品画像の第1対象画素における画素値の変更値の度合い(変更量の絶対値)を第2良品画像の第2対象画素における画素値の変更値の度合い(変更量の絶対値絶対値)よりも小さくすれば、実際の異物の電磁波の吸収特性を反映することができる。
本発明の検査装置では、第1処理は、第1良品画像の画素値を基準として第1対象画素の画素値を第1範囲内で減少又は増加させる処理であり、第2処理は、第2良品画像の画素値を基準として第2対象画素の画素値を第2範囲内で第1処理と同じく減少又は増加させる処理であり、第1範囲と第2範囲とでは、互いに異なる範囲が設定されていてもよい。
ここでいう「互いに異なる範囲」とは、第1範囲と第2範囲とが全くの同一範囲でなければよく、第1範囲及び第2範囲の一方が、第1範囲及び第2範囲の他方と重ならない範囲を少なくとも一部に含んでいることを意味する。また、第1良品画像の画素値とは、第1良品画像を構成する画素の画素値の最頻値、中央値、平均値、最大値、最小値(必ずしも平均値等の統計値に完全一致する必要はなく、その2分の1等、適宜の変更を加えた値も含む値)に基づいて設定することができる。第2良品画像の画素値も同様である。
この構成では、第1処理部と第2処理部とで互いに対象画素の画素値を変更する処理が異なっているので、第1エネルギー帯及び第2エネルギー帯のそれぞれにおける処理において、電磁波の吸収特性を最適に反映させることが可能になる。
本発明の検査装置では、第1範囲及び第2範囲のいずれか一方における絶対値の下限値は、第1範囲及び第2範囲の他方における絶対値の上限値よりも小さくなるように設定されており第1範囲及び第2範囲の上記一方における絶対値の最大値は、第1範囲及び第2範囲の上記他方における絶対値の最大値よりも小さくなるように設定されていてもよい。この構成では、第1処理部と第2処理部とで互いに対象画素の画素値を変更する量が異なっているので、第1エネルギー帯及び第2エネルギー帯のそれぞれにおける処理において、電磁波の吸収特性を最適に反映させることが可能になる。
本発明の検査装置では、第1範囲及び第2範囲の一方における上限値及び下限値の少なくとも一方は、第1範囲及び第2範囲の他方に基づいて設定されていてもよい。この構成では、第1処理部及び第2処理部によって第1対象画素及び第2対象画素の変更される画素値の変更幅をより適切に設定することができる。
本発明の検査装置では、良品画像に合成される前記仮想異物画像について、異物の種類の入力を受け付ける情報入力部と、良品画像に合成される異物の種類と、第1範囲及び第2範囲の少なくとも一方とが関連付けられた合成処理情報を記憶する記憶部と、を更に備え、第1処理部及び第2処理部の少なくとも一方は、情報入力部に入力された異物の種類に基づいて合成処理情報から第1範囲又は第2範囲を取得してもよい。この構成では、第1処理部及び第2処理部によって第1対象画素及び第2対象画素の変更される画素値の変更幅をより適切に設定することができる。
本発明の検査装置では、合成処理情報は、被検査物の種類と、良品画像に合成される異物の種類と、第1範囲と、第2範囲とが関連付けて記憶されており、合成処理情報は、異物の吸収特性が被検査物の吸収特性よりも小さな場合には、第1範囲の代表値が第2範囲の代表値よりも小さくなるような組合せとなるように形成され、異物の吸収特性が被検査物の吸収特性よりも大きい場合には、第1範囲の代表値が第2範囲の代表値よりも大きくなるような組合せとなるように形成されていてもよい。この構成では、第1エネルギー帯及び第2エネルギー帯のそれぞれにおける処理において、電磁波の吸収特性を最適に反映させることが可能になる。なお、代表値は、最頻値、中央値、平均値、最大値、最小値等に基づく値であり、各々同一の基準で抽出される。
本発明の検査装置は、被検査物に電磁波を照射する照射部と、被検査物を透過した第1エネルギー帯の電磁波及び第2エネルギー帯の電磁波を検出する検出部と、検出部により検出された第1エネルギー帯の電磁波に基づいて被検査物の第1画像を生成すると共に、検出部により検出された第2エネルギー帯の電磁波に基づいて被検査物の第2画像を生成する画像生成部と、上記の画像生成装置と、を備えてもよい。この構成の検査装置では、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる。
本発明の学習装置は、上記の画像生成装置から生成された第1仮想不良品画像及び第2仮想不良品画像と、第1対象画素に関する情報及び第2対象画素に関する情報を示す正解データと、を含む教師データを用いて機械学習を実行することにより、異物を含む可能性のある被検査物を透過した第1エネルギー帯の電磁波に基づく第1画像、及び、異物を含む可能性のある被検査物を透過した第2エネルギー帯の電磁波に基づく第2画像を入力して、画素毎の異物である確からしさを示す異物尤度を出力するように構成された学習済みモデルを構築する学習部を備えてもよい。この構成の学習装置では、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適に学習することができる。
本発明によれば、エネルギー帯が互いに異なる二つのラインセンサのそれぞれから得られる二種類の透過画像に基づいて物品に含まれる異物の有無を判定する機械学習モデルを機械学習する際に、好適となる教師データを生成することができる。
図1は、一実施形態のX線検査装置の構成図である。 図2は、図1に示されるシールドボックスの内部の構成図である。 図3は、制御部の機能構成図である。 図4(A)はソフト画像の一例であり、図4(B)はハード画像の一例である。 図5は、仮想不良品画像の生成方法を示した説明図である。 図6は、良品画像に仮想異物画像を合成する手順の一例を示した説明図である。 図7は、機械学習モデルの一例を示す図である。 図8は、学習フェーズにおけるX線検査装置の動作例を示すフローチャートである。 図9は、検査フェーズにおけるX線検査装置の動作例を示すフローチャートである。
以下、本開示の実施形態について図面を参照しながら説明する。各図において同一又は相当の部分には同一の符号を付し、重複する説明を省略する。
図1に示されるように、X線検査装置(検査装置)1は、装置本体2と、支持脚3と、シールドボックス4と、搬送部5と、X線照射部6と、X線検出部7と、表示操作部8と、制御部10と、を備える。X線検査装置1は、物品(被検査物)Gを搬送しつつ物品GのX線透過画像を生成し、当該X線透過画像に基づいて物品Gの検査(たとえば、収納数検査、異物検査、欠品検査、割れ欠け検査等)を行う。検査前の物品Gは、搬入コンベア151によってX線検査装置1に搬入される。検査後の物品Gは、搬出コンベア152によってX線検査装置1から搬出される。X線検査装置1によって不良品と判定された物品Gは、搬出コンベア152の下流に配置された振分装置(図示省略)によって生産ライン外に振り分けられる。X線検査装置1によって良品と判定された物品Gは、当該振分装置をそのまま通過する。本実施形態では、物品Gは食肉である。
装置本体2は、制御部10等を収容している。支持脚3は、装置本体2を支持している。シールドボックス4は、装置本体2に設けられている。シールドボックス4は、外部へのX線(電磁波)の漏洩を防止する。シールドボックス4の内部には、X線による物品Gの検査が実施される検査領域Rが設けられている。シールドボックス4には、搬入口4a及び搬出口4bが形成されている。検査前の物品Gは、搬入コンベア151から搬入口4aを介して検査領域Rに搬入される。検査後の物品Gは、検査領域Rから搬出口4bを介して搬出コンベア152に搬出される。搬入口4a及び搬出口4bのそれぞれには、X線の漏洩を防止するX線遮蔽カーテン(図示省略)が設けられている。
搬送部5は、シールドボックス4の中央を貫通するように配置されている。搬送部5は、搬入口4aから検査領域Rを介して搬出口4bまで、搬送方向Aに沿って物品Gを搬送する。搬送部5は、たとえば、搬入口4aと搬出口4bとの間に掛け渡されたベルトコンベアである。なお、ベルトコンベアは、搬入口4aと搬出口4bとより外に突出していてもよい。
図1及び図2に示されるように、X線照射部6は、シールドボックス4内に配置されている。X線照射部6は、搬送部5によって搬送される物品GにX線を照射する。X線照射部6は、たとえば、X線を出射するX線管と、X線管から出射されたX線を搬送方向Aに垂直な面内において扇状に広げる絞り部と、を有している。X線照射部6から照射されるX線には、低エネルギー(長波長)から高エネルギー(短波長)までの様々なエネルギー帯のX線が含まれている。なお、上述した低エネルギー帯及び高エネルギー帯における「低」及び「高」は、X線照射部6から照射される複数のエネルギー帯の中で相対的に「低い」及び「高い」ことを示すものであり、特定の範囲を示すものではない。
X線検出部7は、シールドボックス4内に配置されている。X線検出部7は、物品Gを透過した複数のエネルギー帯の各々のX線を検出する。本実施形態では、X線検出部7は、低エネルギー帯(第1エネルギー帯)のX線及び高エネルギー帯(第2エネルギー帯)のX線を検出するように構成されている。すなわち、X線検出部7は、第1ラインセンサ11と、第2ラインセンサ12と、を有している。第1ラインセンサ11及び第2ラインセンサ12は、それぞれ、搬送方向Aに垂直な水平方向に沿って一次元に配列されたX線検出素子によって構成されている。第1ラインセンサ11は、物品G及び搬送部5の搬送ベルトを透過した低エネルギー帯のX線を検出する。第2ラインセンサ12は、物品G、搬送部5の搬送ベルト及び第1ラインセンサ11を透過した高エネルギー帯のX線を検出する。
図1に示されるように、表示操作部8は、装置本体2に設けられている。表示操作部8は、各種情報を表示すると共に、各種条件の入力を受け付ける。表示操作部8は、たとえば、液晶ディスプレイであり、タッチパネルとしての操作画面を表示する。この場合、オペレータは、表示操作部8を介して各種条件を入力することができる。
制御部10は、装置本体2内に配置されている。制御部10は、X線検査装置1の各部(本実施形態では、搬送部5、X線照射部6、X線検出部7、及び、表示操作部8、並びに、X線装置の下流に配置される図示しない振分装置)の動作を制御する。なお、振分装置は、X線検査装置1による画像検査で不良品と判定された被検査物(物品)を搬送路上から排除する装置である。制御部10は、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)等のメモリ、及びSSD(Solid State Drive)等のストレージを備える。ROMには、X線検査装置1を制御するためのプログラムが記録されている。制御部10には、X線検出部7の第1ラインセンサ11から低エネルギー帯のX線の検出結果が入力されると共に、X線検出部7の第2ラインセンサ12から高エネルギー帯のX線の検出結果が入力される。
制御部(学習装置)10は、図3に示されるように、CPU及びRAM等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPUの制御のもと実行されることにより構成される、第1画像取得部(画像生成部)101と、学習部102と、機械学習モデル103と、検出部104と、を備える。機械学習モデル103は、物品Gを透過した低エネルギー帯のX線に基づくソフト画像(第1画像)と、物品Gを透過した高エネルギー帯のX線に基づくハード画像(第2画像)とから、物品Gに異物Fが含まれている場合に当該異物の位置を予測するモデルである。本実施形態では、異物Fとして、物品G(食肉)中に含まれる骨が主に想定されている。
制御部10は、学習フェーズ及び検査フェーズの両方を実行するように構成されている。学習フェーズは、教師データを用いて機械学習モデル103の学習を行うフェーズである。すなわち、学習フェーズは、教師データを用いた機械学習を実行することにより、学習済みモデルとしての機械学習モデル103を構築するフェーズである。機械学習モデル103に用いられる機械学習の例としては、(多層)ニューラルネットワーク(深層学習/ディープラーニング)、サポートベクターマシン、遺伝的アルゴリズム等が挙げられる。検査フェーズは、学習フェーズにより構築された機械学習モデル103を用いて、検査対象である物品Gの異物検査を実行するフェーズである。本実施形態では、第1画像取得部101及び学習部102によって学習フェーズが実行され、第1画像取得部101及び検出部104によって検査フェーズが実行される。
第1画像取得部101は、上述したソフト画像とハード画像とを取得する。なお、第1画像取得部101は、X線検出部7から出力される電圧値に基づいて画像に変換する画像生成部を介してソフト画像及びハード画像が取得される。本実施形態では、第1画像取得部101は、X線検出部7の第1ラインセンサ11による低エネルギー帯のX線の検出結果に基づいて、当該低エネルギー帯についてのX線透過画像であるソフト画像を生成する。また、第1画像取得部101は、X線検出部7の第2ラインセンサ12による高エネルギー帯のX線の検出結果に基づいて、当該高エネルギー帯についてのX線透過画像であるハード画像を生成する。
なお、本実施形態では、図2に示されるように、X線照射部6から照射されるX線は扇状に放射されると共に、X線照射部6から第1ラインセンサ11までの距離とX線照射部6から第2ラインセンサ12までの距離とが異なる。このため、ソフト画像における物品Gの大きさとハード画像における物品Gの大きさとが異なる。具体的には、ハード画像における物品Gは、ソフト画像における物品Gよりも僅かに大きくなる。そこで、第1画像取得部101は、X線照射部6から第1ラインセンサ11までの距離(L1)とX線照射部6から第2ラインセンサ12までの距離(L2)との比(L2/L1)に基づいて、ソフト画像とハード画像とのスケールを合わせる処理を実施してもよい。
たとえば、第1画像取得部101は、ソフト画像を上記比で拡大してもよいし、ハード画像を上記比の逆数(L1/L2)で縮小してもよい。さらに、第1画像取得部101は、図4(A)及び図4(B)に示されるソフト画像P10における物品Gの位置とハード画像P20における物品Gの位置とを合わせる処理を実施してもよい。たとえば、第1画像取得部101は、ソフト画像P10とハード画像P20との差異が最小になるように、ソフト画像P10を上下左右に移動させてもよい。より具体的には、第1画像取得部101は、両画像を重ね合わせて、両画像の各画素の濃淡値の差の絶対値の総和を算出し、その総和が最小となるように位置合わせを行ってもよい。
図4の(A)は、上述した第1画像取得部101の処理によって生成されたソフト画像P10の一例であり、図4の(B)は、上述した第1画像取得部101の処理によって生成されたハード画像P20の一例である。ソフト画像P10は、比較的コントラストが高く、全体的に暗くなっている。一方、ハード画像P20は、比較的コントラストが低く、全体的に明るくなっている。本実施形態では、ソフト画像P10及びハード画像P20は、同一の幅及び高さを有している。すなわち、ソフト画像P10及びハード画像P20は、いずれもH行×W列に配列された画素を有しており、各画素には画素値(濃淡値)が関連付けられている。
なお、学習フェーズにおいては、第1画像取得部101は、後述する学習部102により用いられる教師データとして、それぞれ所定位置に異物Fが配置されたソフト画像P11及びハード画像P21を取得する。互いに関連する所定位置(すなわち、ソフト画像P11における所定位置と、ハード画像P21において上記所定位置に対応する位置)に異物Fが配置されたソフト画像P11及びハード画像P21は、たとえば以下のようにして取得される。すなわち、元々異物を含んでいない物品G(すなわち、良品の物品G)の所定位置に異物F(又はテストピース)が配置されたサンプルを搬送部5に搬送させる。そして、第1画像取得部101が、当該サンプルについて、上述した処理によってソフト画像及びハード画像を生成する。これにより、所定位置に異物Fが配置されたソフト画像P11及びハード画像P21が得られる。
ただし、このような方法では、後述する教師データにおける正解データ(すなわち、異物Fが存在する位置(画素))を設定する作業(ラベリング)に手間がかかる。また、異物Fの輪郭部分等において、異物Fが存在する画素を正確に特定できない場合がある。さらに、異物Fの大きさ、位置等についての様々なバリエーションの教師データを得るためには、バリエーション毎のサンプルを用意し、各サンプルを搬送部5に搬送させてソフト画像及びハード画像を取得する必要があるため、非常に手間がかかる。
また、異物Fが配置された画像を得る手段としては、実際の生産ラインで画像を収集しながら、実検査物を人手で異物があるかどうか、その位置はどこかを判断し、画像上で異物をマーキングすることも可能であるが、非常に手間がかかる作業となる。また、異物が混入しているサンプル自体も発生頻度が低いために、異物の写った画像を集めるには非常に時間を要することとなる。
更に詳細には、ここでの課題は2点あり、(1)教師データとなる異物画像は、そもそも異物混入頻度が低いために収集するのが困難である、(2)異物画像を得られたとしても、どこに異物があるのかを人手でマーキング(アノテーションという)をする必要がある。この2点のために、以後に説明する仮想不良品画像が有効で、この画像は、多数収集することが出来る良品画像を基に作られること、また、仮想異物はコンピュータが生成するものなので、異物の位置もコンピュータ自身が自明に分かっているので、ラベルが容易に生成できる。
そこで、本実施形態のX線検査装置1は、異物Fを含まない物品Gを透過したX線(電磁波)に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像(第1仮想不良品画像P112及び第2仮想不良品画像P122)を生成する画像処理部(画像処理装置)50を有している。画像処理部50は、第1画像取得部101と、第1処理部52と、第2処理部53と、情報入力部54と、HDD(Hard Disk Drive)55と、記憶部56と、を有している。第2画像取得部51、第1処理部52、第2処理部53、及び情報入力部54は、上述した制御部10のCPU及びRAM等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPUの制御のもと実行されることにより構成される。HDD55は、X線検出部7よって取得されるソフト画像と、ハード画像とを記憶(ストック)する。このようにして撮りためられたソフト画像及びハード画像は、後段にて詳述する第1画像取得部101及び第2画像取得部51によって取得されてもよい。
第2画像取得部51は、図5に示されるように、第1エネルギー帯のX線に基づく良品画像である第1良品画像P111と、第1エネルギー帯とは異なる第2エネルギー帯のX線に基づく良品画像である第2良品画像P121と、を取得する。第1良品画像P111と第2良品画像P121は、少なくとも1枚ずつ取得する。良品画像とは、異物を含まない物品Gの透過画像である。第2画像取得部51は、X線検出部7の第1ラインセンサ11による低エネルギー帯のX線の検出結果に基づいて、第1良品画像P111を生成する。また、第2画像取得部51は、X線検出部7の第2ラインセンサ12による高エネルギー帯のX線の検出結果に基づいて、第2良品画像P121を生成する。ここで、以降は、X線の透過量が多い程、画素の濃淡値(たとえば、0〜255を取る値)が大きくなる指標における記述とする。
なお、第1良品画像P111及び第2良品画像P121は、通常の検査時に得られる良品画像を用いてもよい。すなわち、日常的に実施される検査において、良品と判断されたソフト画像P11及びハード画像P21を記憶しておき、これらを学習フェーズに利用してもよい。
第1処理部52は、第1良品画像P111を構成する少なくとも1つ以上の画素である第1対象画素PX1における画素値を変更することによって仮想異物画像PF1を合成し、仮想不良品画像である第1仮想不良品画像P112を生成する。第2処理部53は、第1対象画素PX1に対応する、第2良品画像を構成する少なくとも1つ以上の画素であり、第1対象画素PX1の位置と対応する位置にある第2対象画素PX2における画素値を変更することによって、仮想異物画像PF2を合成し、仮想不良品画像である第2仮想不良品画像P122を生成する。
図6に示されるように、第1処理部52は、第1対象画素PX1における画素値を変更する前に、物品Gが無い部分に対応する領域の明るさ(ブライト値)が、たとえば220(8bit:0〜255階調)となるように調整してもよい。また、第2処理部53は、第2対象画素PX2における画素値を変更する前に、物品Gが無い部分に対応する領域の明るさが、たとえば220(8bit:0〜255階調)となるように調整してもよい。すなわち、第1良品画像P111と第2良品画像P121との間で、物品Gが無い部分に対応する領域が同じ明るさの220となるように調整してもよい。このような前処理によって、たとえば、第1良品画像P111における物品Gに対応する領域の明るさが90となり、第2良品画像P121における物品Gに対応する領域の明るさが110になったとする。なお、説明の便宜のため、物品Gに対応する領域は、一律の明るさと示しているが、実際には、変動がある。
第1処理部52は、異物FにおけるX線(電磁波)の減弱特性(吸収特性)に基づく第1処理により第1対象画素PX1の画素値を変更し、第2処理部53は、第1処理とは異なる処理であって、減弱特性に基づく第2処理により第2対象画素PX2の画素値を変更する。
第1処理は、第1良品画像P111の画素値(たとえば、第1良品画像P111を構成する画素の最頻値、平均値、最大値、又は最小値)を基準として第1対象画素PX1の画素値を第1範囲COL内で減少させる処理である。たとえば、画素値の例が、明るさを示す指標(いわゆる、濃淡値、濃度値、明度値、輝度値等)の場合、これらの値を減少させることにより、第1対象画素PX1が周囲に比べて暗くなる。
第2処理は、第2良品画像P121の画素値(たとえば、第2良品画像P121を構成する画素の最頻値、平均値、最大値、又は最小値)を基準として第2対象画素PX2の画素値を第2範囲COH内で減少させる処理である。たとえば、画素値の例が、明るさを示す指標(濃度値、明度値、輝度値)の場合、これらの値を減少させることにより、第2対象画素PX2が周囲に比べて暗くなる。なお、第1範囲COLと第2範囲COHとでは、互いに異なる範囲が設定されている。
ここで、第1範囲COL及び第2範囲COHは、いずれも正値であり、計算対象となる画素の変更量の度合い(絶対値)であり、或る範囲を持った値である。第1範囲COL及び第2範囲COHは、各々対応する実際の画像の画素値(本実施形態では、たとえば、同一の被検査物が映ったソフト画像(第1画像)及びハード画像(第2画像)のセットの各々に撮像されている被検査物に含まれる実際の異物に対応する画素の濃淡値を基準にして決定する。この場合、1つのセットに限らず、ソフト画像(第1画像)及びハード画像(第2画像)の複数セットの各々の傾向から、被検査物の濃淡値を決定すればよい)。
第2範囲COH(第1範囲及び第2範囲のいずれか一方)における絶対値の下限値は、第1範囲COL(第1範囲及び第2範囲の他方)における絶対値の下限値よりも小さくなるように設定されており、第2範囲COH(第1範囲及び第2範囲の上記一方)における絶対値の上限値は、第1範囲COL(第1範囲及び第2範囲の上記他方)における絶対値の上限値よりも小さくなるように設定されている。たとえば、第1範囲COLの下限値が第2範囲COHの下限値よりも小さい関係性にあるとする。この関係性は下限値でも成り立ち、第1範囲COLの上限値が第2範囲COHの上限値よりも小さい関係性となる。本実施形態では、第1範囲COL及び第2範囲COHは、下記の通り設定されている。
第1範囲 : 8≦COL≦30
第2範囲 : 4≦COH≦15
すなわち、第2範囲COHの下限値が第1範囲COLの下限値よりも小さく、かつ、第2範囲COHの上限値が第1範囲COLの上限値よりも小さい。このように、第1範囲COLと、第2範囲COHとは、一部値が重複することがある。
また、本実施形態では、第2範囲COH(第1範囲及び第2範囲の一方)における上限値及び下限値の両方は、第1範囲COL(第1範囲及び第2範囲の他方)に基づいて設定される。この関係性は、以下の数式(1)を満たす。
OH=kCOL+δ,(0<k<1))…(1)
ここで、δを無視しても差し支えない程度の大きさとなるように、kが設定できるとする。このとき、数式(1)は、数式(2)に近似できる。
OH≒kCOL,(0<k<1))…(2)
近似の等号は、処理(計算)上、無視できる程度の違いしかなく、以降、等しいと扱ってもよいことを示している。次に、具体的な対象(たとえば、被検査物は赤身肉であり、異物は骨)で得られた値の範囲を示す、数式(2)の具体的な例は、以下の数式(3)となる。
OH=(1/2)COL,(k=1/2)…(3)
なお、数式(3)では、完全な等号「=」となっている。これは、δ=0であったためである。
第1対象画素PX1及び第2対象画素PX2の選択は、たとえば、予め記憶された異物Fの形を模倣した形状データを、拡大/縮小・回転・反転・剪断変換・台形変換等(アフィン変換及び非アフィン変換等)を行った形状データに基づいて行われる。ただし、セットとなる第1画像及び第2画像において、第1対象画素PX1及び第2対象画素PX2は対応する位置となる。これは、セットとなる第1画像及び第2画像には、同一の異物が含まれることが想定されているためである。第1対象画素PX1及び第2対象画素PX2は、素朴には同一の位置となるが、第1画像及び第2画像の各々が撮像された位置の違いや、第1画像及び第2画像を撮像したX線撮像部の画素の大きさ(面積)の違いが反映されて、画像上で必ずしも完全に重なる位置になるとは限らない。ただし、第1対象画素PX1及び第2対象画素PX2は、必ず対応関係(一方の画素から他方の画素(群)への対応関係)が生じる。
(第1処理)
第1処理は、このようにして選択された第1対象画素PX1の一つ一つの画素に対して第1処理により、画素を変換する。
具体的には、第1処理は、同一のソフト画像(第1画像)P10における全ての第1対象画素PX1に対して、第1範囲COLに含まれることを条件に一様ランダムに(等確率で)選び出された共通の一の値C´OLによって、全ての第1対象画素PX1を変換する。ここで、第1対象画素PX1を変換するとは、各第1対象画素の変換前の濃淡値から、上記第1範囲COLから選び出した一の値(絶対値)である第1値C´OLを減算し、得られた濃淡値に置き換ることをいう。この結果、第1対象画素PX1の各々は、第1範囲COLの範囲に含まれる一の値(絶対値)が減算されて、置き換えられる。すなわち、第1処理は、上記計算を経て、第1対象画素PX1を暗くする上記一連の処理を実行することである。以上、第1処理により、第1仮想不良品画像P112が含まれる第2仮想不良画像を得ることができる。
ただし、各第1対象画素PX1毎に、第1範囲COLから個別の値を選び出して変換してもよい。この場合、第1対象画素PX1の各々は、第1範囲COLの範囲に含まれる(各画素の間で必ずしも等しい値とはならない)個別の値(絶対値)C‘OLが減算されて、置き換えられる。また、一様ランダムに(等確率で)値が選び出されるよう構成された例を示したが、たとえば、範囲上下限値の平均値(あるいは、減弱特性を考慮した出現頻度を考慮した値)を基準とした正規分布に従うように、重み付けされた確率で選び出されるように構成してもよい。
(第2処理)
第2処理も、上記のようにして選択された第2対象画素PX2の一つ一つの画素に対して、ランダムに所定の第2の規則で画素を変換する。ここで、実際の運用段階では、同一の異物が撮像されたセットとなる第1画像と第2画像とに基づいて、異物の有無を判断する必要がある。そのため、学習段階でも、セットとなる第1画像と第2画像とには、同一の異物が含まれた状況を想定する必要がある。そのため、第2処理は、第1処理において第1範囲から選び出された第1値C´OLに基づいて(第1値C‘OLを考慮して)、従属的に決定された値C´OH(詳細後述)に基づいて第2対象画素を変換する。ただし、第2処理は、(たとえば、厚み等の)異物の多様性を表現するために、変動させる(多様性を表現するため、所定の範囲内で値を増減させる)必要がある。
具体的には、実際の異物を含むサンプル画像等から各々個別に決定した、第1範囲COLと第2範囲COHとの関係性である数式(3)(数式(2)の具体例)を用いる。ここで、第2範囲COHは、第1範囲COLよりも1/2であった。そのため、同一サンプルを撮像している状況を想定すれば、第1処理において第1範囲から選び出された一の値(各画素の濃淡値の変更量)である第1値C´OLに対して1/2倍した第2値C´OHを第2対象画素PX2から減算することにより、異物(の濃淡値の変更量の度合い)を表現すればよいとわかる。ただし、単に固定的に1/2倍するだけでは、異物の多様性が表現できない(たとえば、各セットの仮想的な異物の間で、厚みが常に一定等といった、何らかの不必要な共通性を持った異物群になってしまう)。そこで、第1値C´OLから(ここでは、ある定まった値である)第2値C´OHを得る際に、第1値を所定範囲で増減させ、変調を加える。
変調を加える式として、たとえば、次の数式(4)を用いることができる。
(1−f)kC´OL≦C´OH≦(1+f)kC´OL,(0<1<k,0<f<1)…(4)
ここでは、kは上記の通り、k=1/2である。また、fは、たとえば、1/5と設定するものとする。なお、fは、後述する学習済みモデルの出力の精度が良くなるように、適切な値を決定する。異なるfを設定した複数の学習(済み)モデルを作成し、比較検討した結果に基づいて、より適切なfを決定して(選び出して)もよい。
すると、数式(4)から、変調した第2値(以下、変調第2値)の取り得る範囲である第2値範囲C´OHに関して、下記数式(5)が得られる。
(2/5)C´OL≦C´OH≦(3/5)kC´OL,(たとえば、k=1/2、f=1/5)…(5)
このようにして得られた(各第2対象画素PX2毎の)第2値C´OHの範囲第2処理に用いる。
第2処理は、同一のソフト画像(第1画像)P10における全ての第2対象画素PX2に対して、第2値範囲C´OHに含まれることを条件に一様ランダムに(等確率で)選び出された共通の一の変調第2値C´´OHによって、全ての第2対象画素PX2を変換する。ここで、第2対象画素PX2を変換するとは、各第2対象画素の変換前の濃淡値から、上記第2値範囲C´OHから選び出した一の値(絶対値)である変調第2値C´´OHを減算し、得られた濃淡値に置き換ることをいう。この結果、第1対象画素PX1の各々は、第2値範囲C´OHの範囲に含まれる一の値(絶対値)が減算されて、置き換えられる。すなわち、第2処理は、上記計算を経て、第2対象画素PX2を暗くする上記一連の処理を実行することである。以上、第2処理により、第2仮想不良品画像P122が含まれる第2仮想不良画像を得ることができる。
ただし、各第2対象画素PX2毎に、第2値範囲C´OHから個別の値を選び出して変換してもよい。この場合、第2対象画素PX2の各々は、第2値範囲C´OHの範囲に含まれる(各画素の間で必ずしも等しい値とはならない)個別の値(絶対値)C´OLが減算されて、置き換えられる。また、各第2対象画素PX2毎に、一様ランダムに(等確率で)変調第2値C´´OHが選び出されるよう構成された例を示したが、たとえば、範囲上下限値の平均値等(あるいは、減弱特性を考慮した出現頻度を考慮した値等)を基準とした正規分布に従うように、重み付けされた確率で選び出されるように構成してもよい。
図5に示されるように、第1処理部52によって第1良品画像P111が第1処理されることによって仮想異物画像PF1が合成され、第1仮想不良品画像P112が生成される。また、第2処理部53によって第2良品画像P121が第2処理されることによって仮想異物画像PF2が合成され、第2仮想不良品画像P122が生成される。
上記実施形態では、説明の便宜のため、第1処理及び第2処理によって処理される画素の位置が、第1良品画像P111と第2良品画像P121とで同じとした例を挙げて説明した。しかしながら、X線照射部6から第1ラインセンサ11までの距離とX線照射部6から第2ラインセンサ12までの距離とが異なっている。そこで、第2画像取得部51は、X線照射部6から第1ラインセンサ11までの距離(L1)とX線照射部6から第2ラインセンサ12までの距離(L2)との比(L2/L1)に基づいて、ソフト画像とハード画像とのスケールを合わせる処理が実施された(その結果、第1処理及び第2処理によって処理される画素の位置が、第1良品画像P111と第2良品画像P121とで同じ)として説明した。なお、このようなスケールの差を考慮して、第1処理及び第2処理によって処理される画素の位置、数、大きさ等(仮想異物画像合成する位置)を第1良品画像P111と第2良品画像P121との間で変えてもよい。
図4に示されるように、画像処理部50は、情報入力部54と記憶部56を有している。情報入力部54は、画像処理部50によって生成しようとする仮想不良品画像(第1仮想不良品画像P112及び第2仮想不良品画像P122)についての情報を入力する部分である。具体的には、情報入力部54は、物品Gの種類と、仮想的に合成させようとする異物Fの種類の入力と、を受け付ける部分である。
記憶部56は、物品Gの種類と、良品画像に合成される異物の種類と、上述した第1範囲COLと、上述した第2範囲COHと、が関連付けられた合成処理情報を記憶している。第1処理部52及び第2処理部53は、たとえば、オペレータによって、情報入力部54を介して入力操作された異物の種類に基づいて、合成処理情報から第1範囲COL又は第2範囲COHを抽出(取得)する。すなわち、物品Gの種類と、良品画像に合成される異物の種類とがオペレータによって選択されることによって最適な第1範囲COL及び第2範囲COHが選択され、その結果、好適な第1仮想不良品画像P112及び第2仮想不良品画像P122が生成されるようになっている。
上述した合成処理情報は、異物Fの減弱特性が物品Gの減弱特性よりも小さな場合には、第1範囲COLの代表値(たとえば、上下限値の平均値)が第2範囲COHの代表値(たとえば、上下限値の平均値。第1範囲COLの代表値と同一の基準で比較する必要がある)よりも小さくなる。第1範囲COL及び、第2範囲COHは、0でない正の範囲の範囲である。
ここで、異物Fの減弱特性が物品Gの減弱特性よりも小さな場合に物理的な特性(X線における吸収特性,本実施形態では減弱特性)を反映するためには、上記異物Fの減弱特性が物品Gの減弱特性よりも大きな場合と逆に、第1対象画素PX1及び第2対象画素PX2の濃淡値(画素値)を増加させる必要がある。そのため、異物Fの減弱特性が物品Gの減弱特性よりも大きい場合には、第1範囲COLの代表値が第2範囲COHの代表値よりも大きくなるような組合せとなるようなデータベースとなっている。
この場合でも、X線においては、第2範囲COH(第1範囲及び第2範囲のいずれか一方)における絶対値の下限値は、第1範囲COL(第1範囲及び第2範囲の上記一方)における絶対値の下限値よりも小さくなるように設定されており、第2範囲COH(第1範囲及び第2範囲上記一方)における絶対値の上限値は、第1範囲COL(第1範囲及び第2範囲の上記他方)における絶対値の上限値よりも小さくなるように設定されている。たとえば、第1範囲COLの下限値が第2範囲COHの下限値よりも小さい関係性にあるとする。この関係性は下限値でも成り立ち、第1範囲COLの上限値が第2範囲COHの上限値よりも小さい関係性となる。
なお、このようなデータベースは、X線検査装置1の内蔵される記憶部56に記憶されるだけでなく、たとえば、ネットワークを介して通信可能なサーバ等に格納されていてもよい。
なお、上記実施形態では、物品Gの種類と、良品画像に合成される異物の種類とがオペレータによって選択されることによって最適な第1範囲COL及び第2範囲COHが選択される例を挙げて説明したが、第1範囲COL及び第2範囲COHの一方のみが選択されてもよい。第1範囲COL及び第2範囲COHの他方は、別途記憶される計算式等から算出されてもよい。つまり、物品Gの種類や、良品画像に合成される異物の種類から、物理的な特性(吸収特性、本実施形態ではX線の減弱特性)に基づいて、一方が決定できれば、他方を算出することが可能であることから、一方のみの記憶としてもよい。
学習部102は、上述した学習フェーズにおける機械学習モデル103の学習処理を実行する。具体的には、学習部102は、それぞれ所定位置に異物F(図5参照)が配置された第1仮想不良品画像P112及び第2仮想不良品画像P122と、所定位置(すなわち、第1対象画素PX1及び第2対象画素PX2)に対応する画素を示す正解データと、を含む教師データを用意する。本実施形態では、学習部102は、画像処理部50により生成された第1仮想不良品画像P112及び第2仮想不良品画像P122を取得する。ただし、上述したように、学習部102は、X線検査装置1によるリアルタイムの検査と同時並行でソフト画像P11及びハード画像P21を取得する必要はない。一又は複数台のX線検査装置1から出力されるデータをX線検査装置1に外付けされる記録媒体である図示しないHDD等に撮り溜めておき、学習部102は、当該HDDから、適宜画像を取得するように構成されてもよい。また、学習部102は、仮想異物画像が占める領域に含まれる画素を示す情報を第2画像取得部51から取得することにより、正解データを取得する。
そして、学習部102は、このようにして得られた教師データ(第1仮想不良品画像P112、第2仮想不良品画像P122、及び正解データ)を機械学習モデル103に入力することにより、機械学習モデル103を学習させる。学習部102は、上記機械学習を実行することにより、ソフト画像P10及びハード画像P20を入力して画素毎の異物尤度を出力するように構成された(多層の)ニューラルネットワークを含む学習済みモデル(すなわち、ニューラルネットワークのパラメータが調整された機械学習モデル103)を構築する。ここで、異物尤度とは、異物である確からしさを示す情報である。たとえば、ある画素の異物尤度は、当該画素が異物F(本実施形態では仮想異物画像)に対応する画素である確率(0から1までの数値)により表現され得る。
図7は、機械学習モデル103の一例を示す図である。図7に示されるように、本実施形態では一例として、機械学習モデル103は、予め構成されたニューラルネットワークNを含んでいる。
機械学習モデル103の学習(すなわち、ニューラルネットワークNのパラメータの調整)は、以下のようにして行われる。すなわち、学習部102は、ニューラルネットワークNに教師データにおける第1仮想不良品画像P112及び第2仮想不良品画像P122を入力する。そして、学習部102は、ニューラルネットワークNにより出力された予測結果R1(画素毎の異物尤度)から決定される異物に対応する画素と教師データにおける正解データとの一致度が大きくなるように、ニューラルネットワークNのパラメータを調整する。このようなパラメータの調整には、誤差逆伝播法等の公知の手法を用いることができる。
一例として、学習部102は、予測結果R1に含まれる画素毎の異物尤度に基づいて、ニューラルネットワークNによって異物に対応すると推定された画素を特定する。たとえば、学習部102は、予め設定した閾値(たとえば0.5)以上の異物尤度を有する画素を、異物に対応する画素として取得する。一方、学習部102は、上記閾値未満の異物尤度を有する画素を、異物に対応しない画素として取得する。そして、学習部102は、このようにして特定された異物に対応する画素(又は異物に対応しない画素)と正解データとを比較することにより、予測結果R1の正解データからの誤差を算出することができる。学習部102は、このような誤差(損失)を表す任意の損失関数(コスト関数)を設定し、最急降下法等を用いて、当該損失関数の値が減少するようにニューラルネットワークNのパラメータ(重み)を調整する。
検出部104は、上述した学習フェーズにおいて構築された機械学習モデル103を用いて検査対象である物品Gの異物検出を行う。すなわち、検出部104は、検査フェーズにおいて、検査対象である物品Gについてのソフト画像P10及びハード画像P20を機械学習モデル103に入力することにより、画素毎の異物尤度(機械学習モデル103から出力される予測結果R1)を取得する。そして、検出部104は、当該画素毎の異物尤度に基づいて異物を検出する。たとえば、検出部104は、上述したように予め設定した閾値(たとえば0.5)以上の異物尤度を有する画素を異物に対応する画素として特定することにより、物品Gに混入された異物を検出することができる。
次に、図8を参照して、学習フェーズにおけるX線検査装置1の動作の一例について説明する。
ステップS1において、教師データ作成用の物品Gが、搬入コンベア151から搬入口4aを介して検査領域Rに搬入される(図1参照)。そして、X線照射部6が当該物品GにX線を照射し、X線検出部7が当該物品Gを透過した複数のエネルギー帯の各々のX線を検出する。本実施形態では、X線検出部7の第1ラインセンサ11によって低エネルギー帯のX線が検出され、X線検出部7の第2ラインセンサ12によって高エネルギー帯のX線が検出される(図2参照)。
ステップS2において、第2画像取得部51は、第1ラインセンサ11による低エネルギー帯のX線の検出結果に基づいて、第1良品画像P111を生成し、第2ラインセンサ12による高エネルギー帯のX線の検出結果に基づいて、第2良品画像P121を生成する(図5参照)。
ステップS3において、第1処理部52は、ソフト画像用の仮想異物画像を第1良品画像P111の第1対象画素PX1に合成することにより、所定位置に異物Fが配置された第1仮想不良品画像P112を取得する。また、第2処理部53は、ハード画像用の仮想異物画像を第2良品画像P121の第2対象画素PX2に貼り付けることにより、所定位置に異物Fが配置された第2仮想不良品画像P122を取得する(図5参照)。
画像処理部50は、ステップS1,S2で取得された一組の第1良品画像P111及び第2良品画像P121に対して、異なる複数の仮想異物画像PFを用いてステップS3の処理を複数回実行することにより、複数の異なる教師データを生成する。また、物品G及び仮想異物画像の複数の異なる組み合わせに対して、ステップS1〜S3の処理を複数回実行することにより、複数の異なる教師データが作成する。このとき、仮想異物画像PF(第1対象画素PX1及び第2対象画素PX2)の明るさ(濃淡値のコントラスト)の大小関係が逆転しないように設定値(たとえば、上述したkやfといった所定値)を決めるのが望ましい。ただし、全体の傾向としてコントラストの大小関係が保たれていれば、一部の仮想異物において、大小関係の逆転が生じてもよい。教師データは一般的に多数の画像を含むので、PX1の(たとえば)平均値とPX2の(たとえば)平均値を比較した場合には、コントラストの大小関係は前述の通りの大小関係を示すように設定されるのが望ましい。ただし、教師データのごく一部でこのコントラストの大小関係が反転していても最終的な出力に与える影響が無視できる場合がある。この場合、全体的な影響は非常に限定的である。
ステップS4において、画像処理部50は、ステップS3で取得された第1仮想不良品画像P112及び第2仮想不良品画像P122と第1対象画素PX1及び第2対象画素PX2のそれぞれを示す正解データとを含む教師データを作成する。
ステップS5において、学習部102は、ステップS4で作成された教師データを用いた機械学習(たとえば深層学習等)を実行することにより、学習済みモデル(すなわち、ニューラルネットワークNのパラメータが調整された機械学習モデル103)を構築する。
次に、図9を参照して、検査フェーズにおけるX線検査装置1の動作の一例について説明する。
ステップS11において、異物検査の対象となる物品Gが、搬入コンベア151から搬入口4aを介して検査領域Rに搬入される(図1参照)。そして、X線照射部6が当該物品GにX線を照射し、X線検出部7が当該物品Gを透過した複数のエネルギー帯の各々のX線を検出する。本実施形態では、X線検出部7の第1ラインセンサ11によって低エネルギー帯のX線が検出され、X線検出部7の第2ラインセンサ12によって高エネルギー帯のX線が検出される(図2参照)。
ステップS12において、第1画像取得部101は、第1ラインセンサ11による低エネルギー帯のX線の検出結果に基づいて、ソフト画像P10を生成し、第2ラインセンサ12による高エネルギー帯のX線の検出結果に基づいて、ハード画像P20を生成する(図4参照)。
ステップS13において、検出部104は、ステップS12で取得されたソフト画像P10及びハード画像P20を機械学習モデル103に入力することにより、画素毎の異物尤度(機械学習モデル103から出力される予測結果R1)を取得する。
ステップS14において、検出部104は、機械学習モデル103から出力された予測結果R1に基づいて異物を検出する。たとえば、検出部104は、予め設定した閾値(たとえば0.5)以上の異物尤度を有する画素を異物に対応する画素として特定することにより、物品Gに混入された異物を検出することができる。
上記実施形態によれば、第1処理部52及び第2処理部53は、第1良品画像P111及び第2良品画像P121において、第1対象画素PX1及び第2対象画素PX2に対して、各々第1エネルギー帯および第2エネルギー帯の減弱特性を反映して、仮想異物画像PFを合成する(含める)ことができる。その結果、エネルギー帯によってX線の減弱減弱量が異なるという異物の減弱特性を適切に反映し、各々のエネルギーに基づく仮想不良品画像(第1仮想不良品画像P112及び第2仮想不良品画像P122)を生成することができる。
より詳細には、物品G(たとえば、赤身肉)よりも減弱特性の高い異物(たとえば、骨又は金属片)を仮想的に合成したい場合は、物品Gの画素値を基準とした場合に、第1良品画像P111における第1対象画素PX1の画素値における変更値の度合い(絶対値であり、たとえば、上述した所定値kやfを、被検査物や異物の物理特性に応じて適宜変更した上で、第1値C´Olと同様の計算により得られる値))を第2良品画像P121の第2対象画素PX2における画素値の変更値の度合い(絶対値であり、たとえば、上述した所定値kやf、被検査物や異物の物理特性に応じて適宜変更した上で、変調第2値C´´OHと同様の計算により得られる値)よりも大きく設定した。これにより、実際の異物FにおけるX線の減弱特性を反映することができる。
ここで、物品G(たとえば、赤身肉)よりも減弱特性の低い異物F(たとえば、空隙や脂肪塊)を仮想的に合成したい場合は、物品Gの画素値を基準とした場合について記述する。この場合でも、第1良品画像P111の第1対象画素PX1における画素値の変更値の度合い(絶対値であり、たとえば、上述した所定値kやf、被検査物や異物の物理特性に応じて適宜変更した上で、適宜変更した上で、第1値C´Olと同様の計算により得られる値)を第2良品画像P121の第2対象画素PX2における画素値の変更値の度合い(絶対値であり、たとえば、上述した所定値kやf、被検査物や異物の物理特性に応じて適宜変更した上で、変調第2値C´´OHと同様の計算により得られる値)よりも、同様に大きく(絶対値であり、たとえば、上述した所定値kやf、被検査物や異物の物理特性に応じて適宜変更した上で、適宜変更した上で、変調第2値C´´OHと同様の計算により得られる値)設定すればよい。ただし、その後の計算が異なる。すなわち、第1処理においては、第1対象画素PX1における各画素の画素値に対して、第1値C´Olを(減算ではなく、)増加させた値に置き換える操作を行うとともに、第2処理においては、第2対象画素PX2における各画素の画素値に対して、第2値C´´OHを(減算ではなく、)増加させた値に置き換える操作を行う。このようにすれば、実際の異物FのX線の減弱特性を反映することができる。
また、X線透過画像に対して、画像処理アルゴリズムを用いた画像処理を施して処理画像を生成し、この処理画像に基づいて物品の検査を行うX線検査装置が知られている。このようなX線検査装置では、複数の画像処理アルゴリズムが記憶部に予め記憶されており、記憶された複数の画像処理アルゴリズムの中から、検査時の画像処理に用いる最適な画像処理アルゴリズムが選択されて設定される。
このような画像処理アルゴリズムは、一般的に1枚の画像に対して為されるものであり、2枚の画像を入力することはできない。この画像処理アルゴリズムの一例として、GA(遺伝的アルゴリズム)がある。GAは、既存の画像処理を組み合わせて、検査したい対象物と発見しようとする異物に応じた画像処理(用いる画像処理フィルタの選択変更、当該画像フィルタをかける順や、各々フィルタのかける強さの変更を適宜行い、適正化した画像処理)を生成(特定)することを目的とする手法が提案されている。
ここで、GAでは、画像処理を生成(特定)するにあたって、様々な組み合わせを実行して目的に適合しているかどうかを適応度により評価し、遺伝的アルゴリズムを用いて適応度を向上させていく手法である。しかし、X線画像は一般的にモノクロ画像となっており、既存の画像処理ではモノクロ画像を扱うものが主となっているため、遺伝的アルゴリズムを使用したとしてもモノクロ画像を扱うことに変わりはない。そのため、2枚の画像を入力して画像処理を行うことはここでは想定されていない。ただし、上記した第1処理及び第2処理により、同一の異物を仮想的に含むように変更された第1画像及び第2画像から、サブトラクション等の公知の手法を用いて、異物が強調された1枚の画像(いわゆる、差分画像)を得ることができる。差分画像の時点では、異物のシグナルの他、ノイズのシグナルも含んでいる可能性がある(S/N比が悪い)。この差分画像に対して、GAを用いれば、差分画像から適切に異物を抽出することができる。ここで、適応度の評価として、第1処理及び第2処理において異物を含めた位置に対応する画素(第1対象画素及び第2対象画素)が既知であることから、GAにより抽出された異物に対応する画素との比較により、上記適応度を算出することができる。これにより、適応度が向上するように、上記画像処理を調整することができるので、精度よく異物を検出可能なGAに調整していくことができる。
すなわち、本実施形態のX線検査装置1では、このようなタイプの画像処理アルゴリズムを有するX線検査装置において、最適な画像処理アルゴリズムを予め設定するに際し、最適な画像処理アルゴリムを選択するのに好適な第1画像及び第2画像のセットを取得することができる。
以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。
上記実施形態では、画像生成装置が画像処理部50としてX線検査装置1に装備されている例を挙げて説明したが、これに限定されない。たとえば、PC、タブレット等の端末装置として構築されてもよい。また、画像処理部50は、X線検査装置1と別体に構築されたサーバ装置(画像処理装置)として構築されてもよい。この場合、X線検査装置1とサーバ装置とを備えるシステムとして構築され、X線検査装置1とサーバ装置は電子ネットワーク経由で接続され得る。
上記実施形態及び変形例では、物品Gに対応する領域の画素から第1対象画素PX1及び第2対象画素PX2の画素値(明るさ)を減少させる例を挙げて説明したが、たとえば、たとえば、空隙や脂肪塊等を異物Fとする場合には、画素値(明るさ)を増加させてもよい。また、第1仮想不良品画像P112及び第2仮想不良品画像P122のネガ・ポジが逆転した場合には、上述した関係性も逆転する。ただし、ここでの逆転は、第1対象画素及び第2対象画素に対する増加又は減少の計算処理を逆転させることをいう。絶対値で定義される、第1範囲、第1値、第2範囲、第2値範囲等での大小の関係性は逆転しない。
上記実施形態及び変形例では、物品Gに対応する領域の画素から第1対象画素PX1及び第2対象画素PX2の画素値(明るさ)を減少させる画素値の範囲が予め記憶されている例を挙げて説明したが、たとえば、画素値の範囲に代えて、物品Gに対応する領域の画素の代表値(たとえば、最頻値、平均値、最大値、最小値等)の割合(%)が予め記憶されていてもよい。
また、上記実施形態では、検査装置がX線検査装置1である形態を一例に説明した。しかし、本開示に係る検査装置は、X線検査装置1に限定されず、電磁波を利用して物品Gの異物検査を行う装置であればよい。ここで、電磁波とは、X線、近赤外線、光、その他の電磁波である。また、物品Gの種類は特に限定されず、様々な物品Gを検査対象とすることができる。同様に、異物の種類は特に限定されず、様々な異物を検査対象とすることができる。
(赤外線検査装置における上記実施形態の変形例)
たとえば、赤外線検査装置の場合には、第1の波長帯を透過した赤外線に基づく第1良品画像と、第1の波長帯とは異なる第2の波長帯を透過した赤外線に基づく第2良品画像とを取得し、上述した第1処理及び第2処理を実施することによって仮想異物画像を合成し、第1仮想不良品画像及び第2仮想不良品画像を生成してもよい。赤外線検査装置は、たとえば、被検査物である包装物のシール(封止)部分に、異物である内容物の噛み込みが生じていないかを検査する装置である。シール部分を(いずれも)透過した赤外線、または、シール部分で(いずれも)反射した赤外線を後述する2つのエネルギー帯域において各々撮像し、第1良品画像と、第2良品画像撮像する。
ここで、赤外線検査装置においては、第1処理及び第2処理における各値(範囲)の設定の仕方が異なる。これは、X線の吸収特性(減弱係数)が、主として原子核及び電子と光子との相互作用に起因した特性であるのに対し、赤外線の吸収特性が、主として分子の結合の伸縮運動や結合画を変化させる際に光子が吸収されること(いわゆる分光特性)に起因した特性であるためである。そのため、赤外線検査においては、X線検査装置とは異なるロジックにより、各値(範囲)を設定する必要がある。
(装置構成)
赤外線検査において、異物(包装物の噛み込み)を含まない被検査物を透過した赤外線に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像を生成する画像処理装置を考える。この場合、画像処理装置は、以下の各構成要素を備える。すなわち、第1エネルギー帯の赤外線に基づく良品画像である第1良品画像と、第1エネルギー帯とは異なる第2エネルギー帯の赤外線に基づく良品画像である第2良品画像と、を取得する画像取得部を備える。また、第1良品画像を構成する少なくとも1つ以上の画素である第1対象画素における画素値を変更することによって、仮想不良品画像である第1仮想不良品画像を生成する第1処理部と、第1対象画素に対応する、第2良品画像を構成する少なくとも1つ以上の画素である第2対象画素における画素値を変更することによって、仮想不良品画像である第2仮想不良品画像を生成する第2処理部と、を備える。ここで、画像生成装置の有する第1処理部は、異物における赤外線の吸収特性(分光特性等)に基づく第1処理により第1対象画素の画素値を変更し、第2処理部は、第1処理とは異なる処理であって、吸収特性に基づく第2処理により第2対象画素の画素値を変更するように構成されている。
また、赤外線検査装置は、上記画像処理装置を備える。また、赤外線検査装置は、第1エネルギー帯の赤外線を照射可能な第1赤外線照射部と、第1エネルギー帯とは異なる第2エネルギー帯の赤外線を照射可能な第1赤外線照射部とを空に備える。また、赤外線検査装置は、被検査物を透過した第1エネルギー帯の電磁波及び第2エネルギー帯の電磁波を検出する検出部と、検出部により検出された前記第1エネルギー帯の電磁波に基づいて被検査物の第1画像を生成すると共に、検出部により検出された第2エネルギー帯の電磁波に基づいて被検査物の第2画像を生成する画像生成部と、を備える。
以下、具体的に、赤外線検査装置の備える画像処理装置における、第1処理及び第2処理の一例について説明する。
(原理)
(近)赤外線領域においては、電磁波は、異物(ここでは、噛み込みを起こしている内容物そのもの)に応じた特定の波長域において、他の波長域よりも格段に吸収されるという吸収特性を示す。ここで、第1エネルギー帯又は第2エネルギー帯の一方を、異物の吸収が著しく大きい波長帯域と一致させるとともに、他方を、異物の吸収がそれほど発生しない領域に設定する。具体的には、第1エネルギー帯又は第2エネルギー帯の一方を、異物が米粒であった場合には、米粒は多くの水分を含むため、水の吸収が多く起こる一の第1波長(水の場合、よく用いられる波長は、970nm付近、1450nm付近、1940nm付近のいずれかであり、ここでは、たとえば1450nm)を設定する。これに基づき、水の吸収が多く発生する当該一の波長にピークを有する第1波長帯域(第1エネルギー帯)の赤外線を照射可能な第1赤外線照射部を配置する。そして、他方は、これら水による吸収がほとんど起こらない波長帯域であって、内容物を入れる袋やパック(以下、単に被検査物)による赤外線の吸収量が、上記設定した一の波長における赤外線の吸収量とほとんど変わらないように、当該一の波長とは異なる一の第2波長(たとえば、1300nm)を設定する。これに基づき、当該第1波長とは異なる第2波長にピークを有する第2波長帯域(第2エネルギー帯)の赤外線を照射可能な第2赤外線照射部を配置する。第1赤外線照射部及び第2赤外線照射部は、ほぼと同じ領域に赤外線を照射し、照射されて透過又は反射した赤外線を、赤外線撮像部により撮像する。
(第1処理)
第1処理では、第1波長帯域により撮像された第1良品画像に、仮想的に異物を含ませる処理である。まず、画像処理部は、第1処理において、上記実施形態と同様に、第1対象画素を決定する。次に、第1対象画素の変更値の第1範囲(上下限範囲)を設定する。この範囲は、第1波長帯域で撮像した異物を含む実際の不良品画像における、異物に対応する画素の吸収量の度合い(異物でない対象物との濃淡値の差(減少量)の絶対値)から設定する。そして、この上下限範囲から、たとえば、一様ランダムに、(各画素毎に個別に、又は、全画素に共通の)第1値を選び出す。そして、各第1対象画素の画素値(濃淡値)を、各第1対象画素の当初の画素値(濃淡値)から、当該第1値D´を減算した値に置き換え、第1仮想不良品画像を得る。これにより、仮想的に異物を含ませることができる。
(第2処理)
第2処理では、上記第1良品画像と同一の対象物が、第2波長帯域により撮像された第2良品画像に、仮想的に異物を含ませる処理である。ここで、第2範囲(上下限範囲)を、第2波長帯域で撮像した異物を含む実際の不良品画像における、異物に対応する画素の吸収量の度合い(異物でない対象物との濃淡値の差(減少量)の絶対値)から設定されているとする。この第2範囲を定数m(0<m<1)倍した場合に、第1範囲とほぼ一致するような、kが設定できるとする。この場合、第2値D´は、D´=mD´となる。ただし、上記実施形態と同様に、異物の多様性を表現するために、第2値に変調を加える。具体的には、(1−g)mD´<D´<(1+g)mD´(0<m<1,0<g<1)を満たすある一の値を抽出し、変調第2値D´´を取得する。そして、各第2対象画素の画素値(濃淡値)を、各第2対象画素の当初の画素値(濃淡値)から、当該変調第2値D´´を減算した値に置き換え、第2仮想不良品画像を得る。これにより、仮想的に異物を含ませることができる。
(総括)
以上の第1処理及び第2処理により、赤外線撮像における吸収特性を反映した仮想異物の貼付ができる。これら仮想異物を貼付した第1仮想不良品画像及び第2仮想不良品画像に対する学習の工程は、上記実施形態と同様のため、記載省略する。
1…X線検査装置(検査装置)、10…制御部(学習装置)、50…画像処理部(画像生成装置)、51…第2画像取得部、52…第1処理部、53…第2処理部、54…情報入力部、55…HDD、56…記憶部、101…第1画像取得部(画像生成部)、102…学習部、103…機械学習モデル、104…検出部、P10…ソフト画像(第1画像)、P111…第1良品画像、P112…第1仮想不良品画像、P121…第2良品画像、P122…第2仮想不良品画像、P20…ハード画像(第2画像)、PF…仮想異物画像、PX1…第1対象画素、PX2…第2対象画素、F…異物、G…物品。

Claims (8)

  1. 異物を含まない被検査物を透過した電磁波に基づく良品画像に、仮想的な異物を示す仮想異物画像が合成された、仮想不良品画像を生成する画像処理装置であって、
    同一の被検査物に対して、第1エネルギー帯の電磁波に基づく前記良品画像である第1良品画像と、前記第1エネルギー帯とは異なる第2エネルギー帯の電磁波に基づく前記良品画像である第2良品画像と、のセットを取得する画像取得部と、
    前記第1良品画像を構成する少なくとも1つ以上の画素である第1対象画素における画素値を変更することによって、前記仮想不良品画像である第1仮想不良品画像を生成する第1処理部と、
    前記第1対象画素に対応する、前記第2良品画像を構成する少なくとも1つ以上の画素である第2対象画素における画素値を変更することによって、前記仮想不良品画像である第2仮想不良品画像を生成する第2処理部と、を備え、
    前記第1処理部は、前記異物における前記電磁波の吸収特性に基づく第1処理により前記第1対象画素の画素値を変更し、前記第2処理部は、前記第1処理とは異なる処理であって、前記吸収特性に基づく第2処理により前記第2対象画素の画素値を変更する、画像生成装置。
  2. 前記第1処理は、前記第1良品画像の画素値を基準として前記第1対象画素の画素値を第1範囲内で減少又は増加させる処理であり、
    前記第2処理は、前記第2良品画像の画素値を基準として前記第2対象画素の画素値を第2範囲内で、前記第1処理と同じく減少又は増加させる処理であり、
    前記第1範囲と前記第2範囲とでは、互いに異なる範囲が設定されている、請求項1に記載の画像生成装置。
  3. 前記第1範囲及び前記第2範囲の何れか一方における絶対値の下限値は、前記第1範囲及び前記第2範囲の他方における絶対値の下限値よりも小さくなるように設定されており、前記第1範囲及び前記第2範囲の前記一方における絶対値の上限値は、前記第1範囲及び前記第2範囲の前記他方における絶対値の上限値よりも小さくなるように設定されている、請求項2記載の画像生成装置。
  4. 前記第1範囲及び前記第2範囲の一方における上限値及び下限値の少なくとも一方は、前記第1範囲及び前記第2範囲の他方に基づいて設定されている、請求項2又は3記載の画像生成装置。
  5. 前記良品画像に合成される前記仮想異物画像について、前記異物の種類の入力を受け付ける情報入力部と、
    前記良品画像に合成される前記異物の種類と、前記第1範囲及び前記第2範囲の少なくとも一方とが関連付けられた合成処理情報を記憶する記憶部と、を更に備え、
    前記第1処理部及び前記第2処理部の少なくとも一方は、前記情報入力部に入力された前記異物の種類に基づいて前記合成処理情報から前記第1範囲又は前記第2範囲を取得する、請求項2〜4のいずれか一項に記載の画像生成装置。
  6. 前記合成処理情報は、前記被検査物の種類と、前記良品画像に合成される前記異物の種類と、前記第1範囲と、前記第2範囲とが関連付けて記憶されており、
    前記合成処理情報は、前記異物の前記吸収特性が前記被検査物の前記吸収特性よりも小さな場合には、前記第1範囲の代表値が前記第2範囲の代表値よりも小さくなるような組合せとなるように形成され、前記異物の前記吸収特性が前記被検査物の前記吸収特性よりも大きい場合には、前記第1範囲の代表値が前記第2範囲の代表値よりも大きくなるような組合せとなるように形成されている、請求項5記載の画像生成装置。
  7. 被検査物に電磁波を照射する照射部と、
    前記被検査物を透過した前記第1エネルギー帯の電磁波及び前記第2エネルギー帯の電磁波を検出する検出部と、
    前記検出部により検出された前記第1エネルギー帯の電磁波に基づいて前記被検査物の第1画像を生成すると共に、前記検出部により検出された前記第2エネルギー帯の電磁波に基づいて前記被検査物の第2画像を生成する画像生成部と、
    請求項1〜6の何れか一項記載の画像生成装置と、を備える、検査装置。
  8. 請求項1〜6の何れか一項記載の画像生成装置から生成された前記第1仮想不良品画像及び前記第2仮想不良品画像と、前記第1対象画素に関する情報及び前記第2対象画素に関する情報を示す正解データと、を含む教師データを用いて機械学習を実行することにより、
    前記異物を含む可能性のある前記被検査物を透過した前記第1エネルギー帯の電磁波に基づく第1画像、及び、前記異物を含む可能性のある前記被検査物を透過した前記第2エネルギー帯の電磁波に基づく第2画像を入力して、画素毎の異物である確からしさを示す異物尤度を出力するように構成された学習済みモデルを構築する学習部を備える、学習装置。
JP2019126528A 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置 Active JP7250331B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019126528A JP7250331B2 (ja) 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置
EP20182887.8A EP3764087B1 (en) 2019-07-05 2020-06-29 Image generating device and inspection apparatus,
US16/916,993 US11189058B2 (en) 2019-07-05 2020-06-30 Image generating device, inspection apparatus, and learning device
CN202010618226.3A CN112255250B (zh) 2019-07-05 2020-07-01 图像生成装置、检查装置及学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019126528A JP7250331B2 (ja) 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置

Publications (2)

Publication Number Publication Date
JP2021012108A true JP2021012108A (ja) 2021-02-04
JP7250331B2 JP7250331B2 (ja) 2023-04-03

Family

ID=72147868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019126528A Active JP7250331B2 (ja) 2019-07-05 2019-07-05 画像生成装置、検査装置及び学習装置

Country Status (4)

Country Link
US (1) US11189058B2 (ja)
EP (1) EP3764087B1 (ja)
JP (1) JP7250331B2 (ja)
CN (1) CN112255250B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7034529B1 (ja) * 2021-08-13 2022-03-14 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
WO2022264632A1 (ja) * 2021-06-18 2022-12-22 株式会社サタケ 選別機、不良品の判別方法、および、選別方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020082171A1 (en) 2018-10-22 2020-04-30 Voti Inc. Tray insert for screening tray
EP4018227A1 (en) * 2019-08-22 2022-06-29 John Bean Technologies Corporation X-ray unit technology modules and automated application training
US11160521B2 (en) * 2019-12-20 2021-11-02 Hdt Co., Ltd. Method for 3D image reconstruction
CN113014773B (zh) * 2021-03-02 2023-08-01 山东鲁软数字科技有限公司智慧能源分公司 一种架空线路视频可视化监拍系统及方法
CN113159206A (zh) * 2021-04-28 2021-07-23 北京达佳互联信息技术有限公司 图像比对方法、装置、电子设备、计算机可读存储介质
EP4083614A1 (de) * 2021-04-29 2022-11-02 Sesotec GmbH Verfahren zum erfassen der detektionsempfindlichkeit eines röntgengeräts
US12019035B2 (en) * 2021-07-16 2024-06-25 Rapiscan Holdings, Inc. Material detection in x-ray security screening
JP7491274B2 (ja) * 2021-07-29 2024-05-28 トヨタ自動車株式会社 検査装置および検査方法
KR20230070714A (ko) * 2021-11-15 2023-05-23 라이트비전 주식회사 실제 결함 이미지의 종류와 분포를 고려한 인공지능 기반 재료 결함 검출 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294147A1 (en) * 2013-03-15 2014-10-02 Varian Medical Systems, Inc. Systems and methods for multi-view imaging and tomography
JP2017072554A (ja) * 2015-10-09 2017-04-13 株式会社イシダ X線検査装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907762B2 (en) * 2004-05-26 2011-03-15 Guardian Technologies International, Inc. Method of creating a divergence transform for identifying a feature of interest in hyperspectral data
US7570787B2 (en) 2004-06-24 2009-08-04 Ishida Co., Ltd. X-ray inspection apparatus and method for creating an image processing procedure for the X-ray inspection apparatus
CN2901301Y (zh) * 2005-07-15 2007-05-16 北京中盾安民分析技术有限公司 便携式双能量x射线检查装置
JP2010190830A (ja) * 2009-02-20 2010-09-02 Hamamatsu Photonics Kk 放射線検出装置
JP5890344B2 (ja) * 2012-04-20 2016-03-22 富士フイルム株式会社 放射線画像検出装置及び放射線撮影システム
CN103903303B (zh) * 2012-12-27 2018-01-30 清华大学 三维模型创建方法和设备
JP6356430B2 (ja) * 2014-02-20 2018-07-11 株式会社イシダ 脂質含有率測定装置
JP5876116B1 (ja) 2014-08-11 2016-03-02 株式会社イシダ X線検査装置
JP6487703B2 (ja) * 2015-02-09 2019-03-20 株式会社ジョブ X線検査装置及びx線検査方法
CA2982526C (en) * 2015-04-13 2020-04-14 Case Western Reserve University Dual energy x-ray coronary calcium grading
KR101930150B1 (ko) * 2015-04-20 2018-12-17 가부시키가이샤 죠부 X선 검사용의 데이터 처리 장치 및 데이터 처리 방법, 및, 그 장치를 탑재한 x선 검사 장치
DE102016203257B4 (de) * 2016-02-29 2023-12-07 Siemens Healthcare Gmbh Erzeugen von kontrastverstärkten Bilddaten auf Basis einer Multi-Energie-Röntgenbildgebung
JP6747948B2 (ja) * 2016-11-25 2020-08-26 浜松ホトニクス株式会社 放射線検出装置、放射線画像取得装置、及び放射線画像の取得方法。
CN108169255B (zh) * 2016-12-07 2020-06-30 同方威视技术股份有限公司 多能谱x射线成像系统和用于利用多能谱x射线成像系统对待测物品进行物质识别的方法
CN108572183B (zh) * 2017-03-08 2021-11-30 清华大学 检查设备和分割车辆图像的方法
DE102017217543B4 (de) * 2017-10-02 2020-01-09 Siemens Healthcare Gmbh Verfahren und System zur Klassifikation von Materialien mittels maschinellen Lernens
CN108009997B (zh) * 2017-11-08 2022-05-13 海信视像科技股份有限公司 一种调整图像对比度的方法及装置
CN109978809B (zh) * 2017-12-26 2022-02-22 同方威视技术股份有限公司 图像处理方法、装置及计算机可读存储介质
DE102018200895A1 (de) * 2018-01-19 2019-07-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung zumindest einer mechanischen Eigenschaft zumindest eines Objektes
AU2019210305A1 (en) * 2018-01-22 2020-08-13 Xenselab, Llc Methods for x-ray imaging of a subject using multiple-energy decomposition
KR102174600B1 (ko) * 2018-06-04 2020-11-05 한국과학기술원 뉴럴 네트워크를 이용한 다방향 엑스레이 전산단층 촬영 영상 처리 방법 및 그 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140294147A1 (en) * 2013-03-15 2014-10-02 Varian Medical Systems, Inc. Systems and methods for multi-view imaging and tomography
JP2017072554A (ja) * 2015-10-09 2017-04-13 株式会社イシダ X線検査装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAMET AKCAY ET AL.: "Using deep convolutional neural network architectures for object classification and detection within", IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, vol. vol. 13, no. 9, pp. 2203-2215, JPN6023008326, September 2018 (2018-09-01), ISSN: 0005005666 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264632A1 (ja) * 2021-06-18 2022-12-22 株式会社サタケ 選別機、不良品の判別方法、および、選別方法
JP7034529B1 (ja) * 2021-08-13 2022-03-14 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム
WO2023017611A1 (ja) * 2021-08-13 2023-02-16 株式会社ハシマ 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム

Also Published As

Publication number Publication date
EP3764087B1 (en) 2024-04-17
CN112255250A (zh) 2021-01-22
JP7250331B2 (ja) 2023-04-03
EP3764087A3 (en) 2021-03-10
EP3764087A2 (en) 2021-01-13
US20210004994A1 (en) 2021-01-07
US11189058B2 (en) 2021-11-30
CN112255250B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
JP7250331B2 (ja) 画像生成装置、検査装置及び学習装置
JP2019164156A (ja) 検査装置
US20230284991A1 (en) X-ray inspection apparatus and adjustment method thereof
JPWO2019159440A1 (ja) 検査装置
JP2023082280A (ja) X線検査装置、x線検査システム、及びx線検査方法
CN115908257A (zh) 缺陷识别模型训练方法及果蔬缺陷识别方法
JP7250330B2 (ja) 検査装置及び学習装置
WO2019131945A1 (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
KR102498829B1 (ko) 검사 장치
JP7250301B2 (ja) 検査装置、検査システム、検査方法、検査プログラム及び記録媒体
JP6763569B2 (ja) 光検査装置及び光検査システム
JP7406220B2 (ja) X線検査装置
JP6757970B2 (ja) 光検査装置及び光検査方法
US20230243764A1 (en) X-ray inspection device
US20230258581A1 (en) X-ray inspection apparatus
JP2023114827A (ja) 検査装置、学習モデル生成方法および検査方法
US20230252620A1 (en) Inspection device, learned model generation method, and inspection method
WO2021059681A1 (ja) 検査装置
JP2021148645A (ja) X線検査装置
JP2024114201A (ja) 物品検査システム、物品検査装置、学習モデルの生成方法、及び学習モデル生成プログラム
JP2024054011A (ja) 検査装置
JP2024112227A (ja) X線検査装置
JP2021149653A (ja) 画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220608

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230314

R150 Certificate of patent or registration of utility model

Ref document number: 7250331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150