JP2020153764A - 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム - Google Patents
学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2020153764A JP2020153764A JP2019051400A JP2019051400A JP2020153764A JP 2020153764 A JP2020153764 A JP 2020153764A JP 2019051400 A JP2019051400 A JP 2019051400A JP 2019051400 A JP2019051400 A JP 2019051400A JP 2020153764 A JP2020153764 A JP 2020153764A
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- inspection object
- image
- abnormality
- absence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/083—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption the radiation being X-rays
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
- G01N23/18—Investigating the presence of flaws defects or foreign matter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Toxicology (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Abstract
【課題】精度良く検査物の異常を検出することができる学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラムを提供する。【解決手段】複数の検査物４に電磁波を照射し、各検査物４を透過した電磁波に応じて取得した画像から抽出された一の検査物４に対応する検査画像を取得し、前記検査画像と検査物４の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物４に電磁波を照射し、各検査物４を透過した電磁波に応じて取得した画像から抽出された一の検査物４に対応する検査画像が入力された場合に、検査物４の異常有無情報を出力する学習モデル１５２を生成する。【選択図】図２
Description
本発明は、食品、部品等の検査物の異常を検出するための学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラムに関する。
食肉、豆類等の食品の検査、包装材に内容物が収納された包装体の検査、ネジ、ゴルフボール、及び電子部品等の工業製品の検査に、Ｘ線、テラヘルツ波、赤外線及び可視光等の検査波を使用した検査装置が使用されている。この検査装置においては、検査物に検査波が照射され、検査物を通過した検査波が検知されて被検査物の検査画像が取得される。
検査物が異物を有する場合、検査画像に閾値を超える濃い部分が存在する。従来、この濃い部分の面積及び形状等に基づいて、異物の有無の判定を行っていた。
検査物の形状の異常の有無は、検査画像のブロブ（塊）の面積及び周囲長に基づいて行っていた。ブロブを構成する画素をカウントすることにより、ブロブの面積が算出され、ブロブの周囲を形成する背景画素の配列に基づき、ブロブの周囲長が算出される（例えば特許文献１等）。
検査物の形状の異常の有無は、検査画像のブロブ（塊）の面積及び周囲長に基づいて行っていた。ブロブを構成する画素をカウントすることにより、ブロブの面積が算出され、ブロブの周囲を形成する背景画素の配列に基づき、ブロブの周囲長が算出される（例えば特許文献１等）。
従来の異常検出方法においては、閾値と比較することにより異常の有無を判定していたが、検査物及び異物の種類によっては、正常な部分と異物との画素値の差異が小さい場合があり、検出の精度が良くないという問題があった。
検査物の形状の異常を検出する場合においても、同様に、ブロブの画素と背景画素との画素値の差異が小さく、エッジが明瞭でなく、正確に検出できない場合があった。
検査物の形状の異常を検出する場合においても、同様に、ブロブの画素と背景画素との画素値の差異が小さく、エッジが明瞭でなく、正確に検出できない場合があった。
本発明は斯かる事情に鑑みてなされたものであり、精度良く検査物の異常を検出することができる学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラムを提供することを目的とする。
本発明の一態様に係る学習モデルの生成方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する。
本発明の一態様に係る学習モデルは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力される入力層と、前記検査物の異常の有無を示す異常有無情報を出力する出力層と、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層とを備え、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するようにコンピュータを機能させる。
本発明の一態様に係る検査装置は、複数の検査物に電磁波を照射する照射部と、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得する取得部と、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、前記異常有無情報を出力する出力部とを備える。
本発明の一態様に係る異常検出方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
本発明の一態様に係るコンピュータプログラムは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無に関する異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
本発明によれば、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は実施の形態１に係る異常検出システム１０の構成を示す斜視図、図２は異常検出システム１０の構成を示すブロック図である。
異常検出システム１０は、検査装置としての情報処理装置１と、Ｘ線検査機２とを備える。本実施の形態においては、Ｘ線検査機２の搬送部（コンベア）６の搬送ベルト６１上に分散した状態で検査物４を載置し、検査物４に対しＸ線を用いて撮像した画像に基づいて異常を検出する異常検出システム１０について説明する。検査物４の一例として、種子、大豆等の食品が挙げられる。なお、検査物４は、食品には限定されず、ネジ、ゴルフボール等、画像により形状を検知できるものであればよい。検査物４は搬送ベルト６１上に分散した状態で載置される場合に限定されず、包装材に収納されたものでもよく、トレイに載置されたものであってもよい。情報処理装置１とＸ線検査機２とは、一体化されていてもよい。
（実施の形態１）
図１は実施の形態１に係る異常検出システム１０の構成を示す斜視図、図２は異常検出システム１０の構成を示すブロック図である。
異常検出システム１０は、検査装置としての情報処理装置１と、Ｘ線検査機２とを備える。本実施の形態においては、Ｘ線検査機２の搬送部（コンベア）６の搬送ベルト６１上に分散した状態で検査物４を載置し、検査物４に対しＸ線を用いて撮像した画像に基づいて異常を検出する異常検出システム１０について説明する。検査物４の一例として、種子、大豆等の食品が挙げられる。なお、検査物４は、食品には限定されず、ネジ、ゴルフボール等、画像により形状を検知できるものであればよい。検査物４は搬送ベルト６１上に分散した状態で載置される場合に限定されず、包装材に収納されたものでもよく、トレイに載置されたものであってもよい。情報処理装置１とＸ線検査機２とは、一体化されていてもよい。
Ｘ線検査機２は、横長の直方体状をなす下側筐体２３と、下側筐体２３上に設けられ、下側筐体２３より小さい上側筐体２１とを備える。
下側筐体２３内に搬送部６が設けられている。搬送部６は、下側筐体２３の長手方向の一端部の外側に上流側ローラ６３が設けられ、他端部の外側に下流側ローラ６２が設けられている。上流側ローラ６３と下流側ローラ６２の間には、上流側ローラ６３及び下流側ローラ６２よりも下側に、２つの下段ローラ６４，６５が設けられており、これらのローラに搬送ベルト６１が架け渡されている。上流側ローラ６３と下流側ローラ６２のいずれか一方に、搬送モータ（不図示）からの駆動力が与えられ、被検査物を検査するときに、搬送ベルト６１が時計周りに一定の速度Ｖで周回する。
下側筐体２３内に搬送部６が設けられている。搬送部６は、下側筐体２３の長手方向の一端部の外側に上流側ローラ６３が設けられ、他端部の外側に下流側ローラ６２が設けられている。上流側ローラ６３と下流側ローラ６２の間には、上流側ローラ６３及び下流側ローラ６２よりも下側に、２つの下段ローラ６４，６５が設けられており、これらのローラに搬送ベルト６１が架け渡されている。上流側ローラ６３と下流側ローラ６２のいずれか一方に、搬送モータ（不図示）からの駆動力が与えられ、被検査物を検査するときに、搬送ベルト６１が時計周りに一定の速度Ｖで周回する。
上側筐体２１に、Ｘ線照射部（照射部）３が収納されている。Ｘ線照射部３はＸ線管３１を有する。上側筐体２１の正面には、ディスプレイ２２が設けられている。ディスプレイ２２は、例えばＬＣＤ（Liquid Crystal Display）等の表示装置である。
上流側ローラ６３と下流側ローラ６２との間を移動する搬送ベルト６１の下側にＸ線検知部７が設けられている。Ｘ線検知部７は、ＴＤＩ（Time Delay Integration）カメラまたはＴＤＩセンサと呼ばれるものであり、Ｘ線の強度に応じて蛍光を発するシンチレータと、シンチレータで発せられた蛍光を検知する多数のフォトダイオードとを有している。
上流側ローラ６３と下流側ローラ６２との間を移動する搬送ベルト６１の下側にＸ線検知部７が設けられている。Ｘ線検知部７は、ＴＤＩ（Time Delay Integration）カメラまたはＴＤＩセンサと呼ばれるものであり、Ｘ線の強度に応じて蛍光を発するシンチレータと、シンチレータで発せられた蛍光を検知する多数のフォトダイオードとを有している。
ＴＤＩカメラでは、フォトダイオードが、被検査物の移動方向であるＹ方向と直交するＸ方向に直線的に並んで１つの検知ライン７１が構成され、この検知ラインが複数ライン設けられている。複数の検知ライン７１は被検査物の移動方向であるＹ方向へ向けて平行に並んで配置されている。図１においては、個々の検知ライン７１を独立したラインセンサ素子として図示しているが、実際には、１つのＴＤＩカメラの筐体内に、複数のフォトダイオードがＸ方向とＹ方向に規則的に並んで配置され、Ｘ方向に並ぶフォトダイオードで１ラインの検知ライン７１が構成されている。
情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、サーバ装置等である。Ｘ線検査機２はＬＡＮ等のネットワークＮを介して情報処理装置１に通信接続されている。情報処理装置１がサーバ装置である場合、ネットワークＮはインターネットであってもよい。また、インターネット等のネットワークＮを介して通信可能に接続されたクラウドコンピュータが、情報処理装置１の処理を実行することにしてもよい。
本実施の形態では情報処理装置１がパーソナルコンピュータであるものとし、以下の説明では簡潔のためＰＣ１と読み替える。
本実施の形態では情報処理装置１がパーソナルコンピュータであるものとし、以下の説明では簡潔のためＰＣ１と読み替える。
ＰＣ１は、検査物４を撮像した画像を取得し、該画像に基づき検査物４の異常の有無を検出する処理を行う。本実施の形態でＰＣ１は、機械学習により画像内から検査物４の異常を検出（識別）するよう学習済みの後述する異常検出モデル１５２を用いて異常の有無の検出を行う。異常検出モデル１５２は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。
ＰＣ１は、Ｘ線検査機２を用いて検査物４を撮像した画像に基づく画像（検査画像）を異常検出モデル１５２に入力し、検査物４の異常の有無を示す識別結果を出力として取得する。ＰＣ１の制御部１１が、異常検出モデル１５２からの指令に従って、入力層に入力された検査画像に対し演算を行い、識別結果を出力するように動作する。
以下、検査物４の異常の種類が形状の異常であり、ＰＣ１が異常検出モデル１５２に検査画像を入力し、ソフトマックス関数により正常の確率値及び異常の確率値を出力させ、異常の確率値を異常値として取得する場合につき説明する。
ＰＣ１は、取得した異常値に応じ、検査物４を廃棄するか否か等の選別を行う。
ＰＣ１は、Ｘ線検査機２を用いて検査物４を撮像した画像に基づく画像（検査画像）を異常検出モデル１５２に入力し、検査物４の異常の有無を示す識別結果を出力として取得する。ＰＣ１の制御部１１が、異常検出モデル１５２からの指令に従って、入力層に入力された検査画像に対し演算を行い、識別結果を出力するように動作する。
以下、検査物４の異常の種類が形状の異常であり、ＰＣ１が異常検出モデル１５２に検査画像を入力し、ソフトマックス関数により正常の確率値及び異常の確率値を出力させ、異常の確率値を異常値として取得する場合につき説明する。
ＰＣ１は、取得した異常値に応じ、検査物４を廃棄するか否か等の選別を行う。
ＰＣ１は、制御部１１、主記憶部１２、通信部１３、表示部１４、及び補助記憶部１５を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１５に記憶されたプログラムＰを読み出して実行することにより、ＰＣ１に係る種々の情報処理、制御処理等を行う。図２の各機能部は、制御部１１がプログラムＰに基づいて動作することにより実行される。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１５に記憶されたプログラムＰを読み出して実行することにより、ＰＣ１に係る種々の情報処理、制御処理等を行う。図２の各機能部は、制御部１１がプログラムＰに基づいて動作することにより実行される。
制御部１１は、機能部として、画像生成部（生成部）１１１、画像処理部（生成部）１１２、対象特定部（抽出部）１１３、切り出し部（包囲部）１１４、画像処理部１１５、学習検査部１１６、表示部（出力部）１１７、選別部（出力部）１１８、及び再学習部１１９を有する。
画像生成部１１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する。
画像処理部１１２は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する。
対象特定部１１３は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する。
切り出し部１１４は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する。
画像処理部１１５は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する。
画像生成部１１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する。
画像処理部１１２は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する。
対象特定部１１３は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する。
切り出し部１１４は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する。
画像処理部１１５は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する。
学習検査部１１６は、異常検出モデル１５２に検査画像を入力し、異常値を取得する。
表示部１１７は、異常値をディスプレイ２２へ出力し、検査画像の異常の有無をディスプレイ２２において表示する。
選別部１１８は、検査物４の異常値を閾値と比較し、廃棄するか否かの選別を行ったり、搬送部６を停止させたり、検査物４をマーキングしたりする。選別部１１８は、例えば検査物４の異常値が０．５以上である場合、異常品とみなし、廃棄すると選別する。異常値の閾値は０．５である場合に限定されない。
再学習部１１９は、検査画像と、作業者から入力された異常検出モデル１５２の判断の良否の判定とを対応付けた教師データを用いて、異常検出モデル１５２を再学習する。
選別部１１８は、検査物４の異常値を閾値と比較し、廃棄するか否かの選別を行ったり、搬送部６を停止させたり、検査物４をマーキングしたりする。選別部１１８は、例えば検査物４の異常値が０．５以上である場合、異常品とみなし、廃棄すると選別する。異常値の閾値は０．５である場合に限定されない。
再学習部１１９は、検査画像と、作業者から入力された異常検出モデル１５２の判断の良否の判定とを対応付けた教師データを用いて、異常検出モデル１５２を再学習する。
主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
補助記憶部１５は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１５は、検査画像ＤＢ１５１及び前記異常検出モデル１５２を記憶している。検査画像ＤＢ１５１は、異常検出対象である検査物４の情報を格納したデータベースである。
補助記憶部１５に記憶されるプログラムＰは、プログラムＰを読み取り可能に記録した記録媒体１５３により提供されてもよい。記録媒体１５３は、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）等の可搬型のメモリである。記録媒体１５３に記録されるプログラムＰは、図に示していない読取装置を用いて記録媒体１５３から読み取られ、補助記憶部１５にインストールされる。また、情報処理装置１が外部通信装置と通信可能な通信部を備える場合、補助記憶部１５に記憶されるプログラムＰは、通信部を介した通信により提供されてもよい。
なお、補助記憶部１５はＰＣ１に接続された外部記憶装置であってもよい。また、ＰＣ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
図３は、対象特定部１１３が特定したブロブを切り出し部１１４により切り出し、ブロブをバウンディングボックス４１により包囲して切り出し画像（検査画像）４０を生成した状態を示す説明図である。制御部１１の対象特定部１１３は、パターンマッチング、エッジ検出、又はＲ−ＣＮＮ（Regions with CNN features）等によりブロブの検出を行う。各検査画像４０は、各検査物４が同じ大きさのバウンディングボックス４１により包囲されている。
図４は、切り出し部１１４によるリサイズの処理の説明図である。
検査物４がバウンディングボックス４１からはみ出ている場合は、制御部１１の切り出し部１１４はリサイズを行い、検査物４がバウンディングボックス４１内に収まるようにする。
図４は、切り出し部１１４によるリサイズの処理の説明図である。
検査物４がバウンディングボックス４１からはみ出ている場合は、制御部１１の切り出し部１１４はリサイズを行い、検査物４がバウンディングボックス４１内に収まるようにする。
図５は検査画像ＤＢ１５１のレコードレイアウトの一例を示す説明図である。検査画像ＤＢ１５１は、検査画像ＩＤ列、座標情報列、異常値列を含む。検査画像ＩＤ列は、各検査画像を識別するための検査画像ＩＤを記憶している。座標情報列は、検査画像ＩＤと対応付けて、搬送ベルト６１上のＸ線照射領域における、検査物４の載置位置を示す座標情報を記憶している。座標情報は、図１の上流側ローラ６３及び下流側ローラ６２間における、Ｘ方向及びＹ方向の中心を原点としたときのバウンディングボックス４１の四隅におけるＸ座標、及びＹ座標である。異常値は上述したように、異常の確率値である。
図６は、異常検出モデル１５２の生成処理に関する説明図である。図６では、機械学習を行って異常検出モデル１５２を生成する処理を概念的に示している。
ＰＣ１は、異常検出モデル１５２として、検査物４の検査画像内における異常の画像特徴量を学習することで、検査画像４０を入力とし、検査物４の異常の有無を示す情報を出力とするニューラルネットワークを構築（生成）する。例えばニューラルネットワークはＣＮＮ（Convolution Neural Network）であり、検査画像４０の入力を受け付ける入力層と、異常の有無の識別結果を出力する出力層と、検査画像４０の画像特徴量を抽出する中間層とを有する。
入力層は、検査画像４０に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素を中間層に受け渡す。中間層は、検査画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。図６において、中間層の層数は３とされているが、これに限定されない。例えば異常検出モデル１５２がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、検査画像４０の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。図６において、コンボリューション層、及びプーリング層の記載は省略している。出力層は、検査物４の異常を識別した識別結果を出力する二つのニューロンを有し、中間層から出力された画像特徴量に基づいて検査物４の異常の有無を識別する。一方のニューロンは検査物４の正常（異物なし）の確率値を出力し、他方のニューロンは検査物４の異常（異物あり）の確率値を出力する。
なお、本実施の形態では異常検出モデル１５２がＣＮＮであるものとして説明するが、異常検出モデル１５２はＣＮＮに限定されず、ＣＮＮ以外のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習済みモデルであってよい。
ＰＣ１は、複数の検査画像４０と、各検査画像４０における検査物４の異常を示す情報（異物を有するか、異物を有さず、正常であるか）とが対応付けられた教師データ（異常データ、正常データ）を用いて学習を行う。例えば図６に示すように、教師データは、検査物４の検査画像４０に対し、検査画像４０のＩＤと、異常の種類（形状の異常）、ランク（１：異常、０：正常）とがラベル付けされたデータである。
ＰＣ１は、教師データである検査画像４０を入力層に入力し、中間層での演算処理を経て、出力層から検査物４の異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は、ソフトマックス関数を用いた場合、連続的な確率値（例えば「０」から「１」までの範囲の値）である。識別結果は、異常の有無を離散的に示す値（例えば「０」又は「１」の値）であってもよい。
ＰＣ１は、出力層から出力された識別結果を、教師データにおいて検査画像４０に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばＰＣ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。
ＰＣ１は、教師データに含まれる各検査画像４０について上記の処理を行い、異常検出モデル１５２を生成する。ＰＣ１は検査物４の検査画像４０を取得した場合、異常検出モデル１５２を用いて検査物４の異物の有無を検出する。
図７は、制御部１１による異常検出モデル１５２の生成処理の処理手順の一例を示すフローチャートである。
制御部１１は、複数の検査物４の検査画像４０と、各検査画像４０内における検査物４の前記異常を示す情報とを対応付けた教師データを取得する（Ｓ１１）。
制御部１１は、複数の検査物４の検査画像４０と、各検査画像４０内における検査物４の前記異常を示す情報とを対応付けた教師データを取得する（Ｓ１１）。
制御部１１は教師データを用いて、検査物４の検査画像４０を入力した場合に検査物４の異常有無情報を出力する異常検出モデル１５２（学習済みモデル）を生成する（ステップＳ１２）。具体的には、制御部１１は、教師データである検査画像４０をニューラルネットワークの入力層に入力し、検査画像４０内の形態の異常の有無を識別した識別結果を出力層から取得する。制御部１１は、取得した識別結果を教師データの正解値（検査画像４０に対してラベル付けられた情報）と比較し、出力層から出力される識別結果が正解値に近づくよう、中間層での演算処理に用いるパラメータ（重み等）を最適化する。制御部１１は、生成した異常検出モデル１５２を補助記憶部１５に格納し、一連の処理を終了する。
図８は、制御部１１による異常検出処理の処理手順の一例を示すフローチャートである。
ＰＣ１の制御部１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する（Ｓ２１）。
制御部１１は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する（Ｓ２２）。
制御部１１は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する（Ｓ２３）。
制御部１１は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する（Ｓ２４）。
制御部１１は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する（Ｓ２５）。
制御部１１は、異常検出モデル１５２に検査画像を入力し、正常の確率値及び異常の確率値を出力させ、異常値を取得する（Ｓ２６）。
制御部１１は、異常値をディスプレイ２２へ出力し、各検査物４の検査画像４０をディスプレイ２２において表示する（Ｓ２７）。制御部１１は、ディスプレイ２２において、異常値が閾値以上である、異常の検査物４をバウンディングボックス４２により包囲した状態で表示する。
制御部１１は、検査物４の異常値及び検査画像ＩＤに基づいて、廃棄するか否かの選別を行い（Ｓ２８）、処理を終了する。
ＰＣ１の制御部１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する（Ｓ２１）。
制御部１１は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する（Ｓ２２）。
制御部１１は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する（Ｓ２３）。
制御部１１は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する（Ｓ２４）。
制御部１１は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する（Ｓ２５）。
制御部１１は、異常検出モデル１５２に検査画像を入力し、正常の確率値及び異常の確率値を出力させ、異常値を取得する（Ｓ２６）。
制御部１１は、異常値をディスプレイ２２へ出力し、各検査物４の検査画像４０をディスプレイ２２において表示する（Ｓ２７）。制御部１１は、ディスプレイ２２において、異常値が閾値以上である、異常の検査物４をバウンディングボックス４２により包囲した状態で表示する。
制御部１１は、検査物４の異常値及び検査画像ＩＤに基づいて、廃棄するか否かの選別を行い（Ｓ２８）、処理を終了する。
以上のように、本実施の形態によれば、検査物４の検査画像４０において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
作業者が目視による異常の検出を行う必要がなくなり、異常検出作業の効率化を図ることができる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
作業者が目視による異常の検出を行う必要がなくなり、異常検出作業の効率化を図ることができる。
図９は、ディスプレイ２２における表示画面５の一例を示す説明図である。
表示画面は、図９における左側の第１画面５１と、右側の第２画面５２とを有する。
制御部１１は、第１画面５１において、搬送ベルト６１に分散して載置された複数の検査物４の位置（前記座標情報）に対応付けて、夫々青色のバウンディングボックス４１により包囲された複数の検査画像４０を表示する。制御部１１は、第２画面５２において、各検査画像４０を前記検査画像ＩＤ順に並べて表示し、異常の検査画像４０は赤色のバウンディングボックス４２により包囲する。作業者は、検査画像４０の行方向に順に移動するための「＞」及び「＜」からなる選択ボタン５６により第２画面５２のいずれかの検査画像４０を選択できる。検査画像４０はマウス等のポインティングデバイスにより選択してもよい。作業者が一の検査画像４０を選択した場合、制御部１１は、第１画面５１において、対応する検査画像４０を黄色のバウンディングボックスにより包囲した状態で表示する。
第２画面５２は、他に、作業者により異常検出モデル１５２の推定結果（判断）が正しいと判定したときに押圧するＯＫボタン（操作ボタン）５４、判断は正しくないと判定したときに押圧するＮＧボタン（操作ボタン）５３、及び明度調整等の他の指示を入力するときのOtherボタン５５を有する。
表示画面は、図９における左側の第１画面５１と、右側の第２画面５２とを有する。
制御部１１は、第１画面５１において、搬送ベルト６１に分散して載置された複数の検査物４の位置（前記座標情報）に対応付けて、夫々青色のバウンディングボックス４１により包囲された複数の検査画像４０を表示する。制御部１１は、第２画面５２において、各検査画像４０を前記検査画像ＩＤ順に並べて表示し、異常の検査画像４０は赤色のバウンディングボックス４２により包囲する。作業者は、検査画像４０の行方向に順に移動するための「＞」及び「＜」からなる選択ボタン５６により第２画面５２のいずれかの検査画像４０を選択できる。検査画像４０はマウス等のポインティングデバイスにより選択してもよい。作業者が一の検査画像４０を選択した場合、制御部１１は、第１画面５１において、対応する検査画像４０を黄色のバウンディングボックスにより包囲した状態で表示する。
第２画面５２は、他に、作業者により異常検出モデル１５２の推定結果（判断）が正しいと判定したときに押圧するＯＫボタン（操作ボタン）５４、判断は正しくないと判定したときに押圧するＮＧボタン（操作ボタン）５３、及び明度調整等の他の指示を入力するときのOtherボタン５５を有する。
選択ボタン５６により選択された検査画像４０につき、作業者からＯＫボタン５３又はＮＧボタン５４による制御部１１の判断の良否の入力を受け付け、所定数以上のデータが集まった場合、制御部１１は、検査画像４０と、作業者から入力された判断の良否とを教師データとして、異常検出モデル１５２の再学習を行うことができる。
図１０は、ＰＣ１の制御部１１による上述の再学習処理の処理手順の一例を示すフローチャートである。
制御部１１は、選択された検査画像４０につき、作業者による第２画面５２のＯＫボタン５３又はＮＧボタン５４の押圧に基づき、制御部１１の判断の良否の判定を受け付ける（Ｓ３１）。制御部１１は良否の判定を受け付けていないと判定した場合（Ｓ３１：ＮＯ）、判定の処理を繰り返す。
制御部１１は所定数の検査画像４０に基づき、良否の判定を受け付けたと判定した場合（Ｓ３１：ＹＥＳ）、異常を検出した検査物４の検査画像４０と、作業者から入力された制御部１１の判断の良否とを対応付けた教師データを取得する（Ｓ３２）。
制御部１１は教師データを用いて、検査物４の検査画像を入力した場合に検査物４の異常有無情報を出力する異常検出モデル１５２を生成する（Ｓ３３）。
以上により、再学習される。これにより、異常検出処理を継続するほど異常検出モデル１５２がアップデートされ、より正確な異常検出を行うことができるようになる
制御部１１は所定数の検査画像４０に基づき、良否の判定を受け付けたと判定した場合（Ｓ３１：ＹＥＳ）、異常を検出した検査物４の検査画像４０と、作業者から入力された制御部１１の判断の良否とを対応付けた教師データを取得する（Ｓ３２）。
制御部１１は教師データを用いて、検査物４の検査画像を入力した場合に検査物４の異常有無情報を出力する異常検出モデル１５２を生成する（Ｓ３３）。
以上により、再学習される。これにより、異常検出処理を継続するほど異常検出モデル１５２がアップデートされ、より正確な異常検出を行うことができるようになる
（実施の形態２）
実施の形態２に係るＰＣ１は、異常検出モデル１５２が、検査物４の形状の異常に加えて、異物の有無を検出すること以外は、実施の形態１に係るＰＣと同様の処理を行う。
図１１は、異常検出モデル１５２の生成処理に関する説明図である。図６と同一部分は同一符号を付して詳細な説明を省略する。
実施の形態２に係るＰＣ１は、異常検出モデル１５２が、検査物４の形状の異常に加えて、異物の有無を検出すること以外は、実施の形態１に係るＰＣと同様の処理を行う。
図１１は、異常検出モデル１５２の生成処理に関する説明図である。図６と同一部分は同一符号を付して詳細な説明を省略する。
ＰＣ１は、異常検出モデル１５２として、検査物４の検査画像４０内における異常の画像特徴量を学習することで、検査画像４０を入力とし、検査物４の形状の異常、及び異物の有無を示す情報を出力とするニューラルネットワークを生成する。ニューラルネットワークはＣＮＮであり、検査画像４０の入力を受け付ける入力層と、異常の有無の識別結果を出力する出力層と、検査画像４０の画像特徴量を抽出する中間層とを有する。
入力層は、検査画像４０に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素を中間層に受け渡す。中間層は、検査画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。図１１において、中間層の層数は３とされているが、これに限定されない。例えば異常検出モデル１５２がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有し、検査画像４０の画素情報を圧縮しながら最終的に画像の特徴量を抽出する。図１１において、コンボリューション層、及びプーリング層の記載は省略している。出力層は、検査物４の異常を識別した識別結果を出力する三つのニューロンを有し、中間層から出力された画像特徴量に基づいて検査物４の形状の異常の有無、異物の有無を識別する。第１のニューロンは検査物４の正常の確率値を出力し、第２のニューロンは検査物４の形状の異常の確率値を出力し、第３のニューロンは検査物４が異物を有する確率値を出力する。なお、異常の種類は３以上であってもよい。
ＰＣ１は、複数の検査画像４０と、各検査画像４０における検査物４の異常を示す情報（形状が異常であるか、異物を有するか、正常であるか）とが対応付けられた教師データを用いて学習を行う。例えば図１１に示すように、教師データは、検査物４の検査画像４０に対し、検査画像４０のＩＤと、異常の種類（形状の異常）、ランク（１：異常、０：正常）とがラベル付けされたデータである。
ＰＣ１は、教師データである検査画像４０を入力層に入力し、中間層での演算処理を経て、出力層から検査物４の異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は、ソフトマックス関数を用いた場合、連続的な確率値（例えば「０」から「１」までの範囲の値）である。
ＰＣ１は、教師データである検査画像４０を入力層に入力し、中間層での演算処理を経て、出力層から検査物４の異常の有無を示す識別結果を取得する。なお、出力層から出力される識別結果は、ソフトマックス関数を用いた場合、連続的な確率値（例えば「０」から「１」までの範囲の値）である。
ＰＣ１は、出力層から出力された識別結果を、教師データにおいて検査画像４０に対しラベル付けされた情報、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えばＰＣ１は誤差逆伝播法を用いて各種パラメータの最適化を行う。
ＰＣ１は、教師データに含まれる各検査画像４０について上記の処理を行い、異常検出モデル１５２を生成する。ＰＣ１は検査物４の検査画像４０を取得した場合、異常検出モデル１５２を用いて検査物４の異常の有無を検出する。
学習検査部１１６は、検査画像４０を異常検出モデル１５２に入力し、上述の三つの確率値を出力させ、形状の異常の確率値（異常値Ａ）、及び異物を有する確率値（異常値Ｂ）を取得する。
図１２は、実施の形態２に係るディスプレイ２２における表示画面５の一例を示す説明図である。図９と同一部分は同一符号を付して詳細な説明を省略する。
実施の形態２においては、第２画面５２に、Otherボタン５５の代わりに、Changeボタン（第２の操作ボタン）５７を有する。
作業者がChangeボタン５７を押圧することにより、異常の種類が、「形状の異常」と「異物の有無」との間で切り替わる。異常の種類が「形状の異常」である場合、第１画面５１及び第２画面５２において、形状の異常を有する検査画像４０は赤のバウンディングボックス４２により包囲される。異常の種類が「異物の有無」に切り替わった場合、第１画面５１及び第２画面５２において、異物を有する検査画像４０は、緑のバウンディングボックス４２により包囲される。
実施の形態２においては、第２画面５２に、Otherボタン５５の代わりに、Changeボタン（第２の操作ボタン）５７を有する。
作業者がChangeボタン５７を押圧することにより、異常の種類が、「形状の異常」と「異物の有無」との間で切り替わる。異常の種類が「形状の異常」である場合、第１画面５１及び第２画面５２において、形状の異常を有する検査画像４０は赤のバウンディングボックス４２により包囲される。異常の種類が「異物の有無」に切り替わった場合、第１画面５１及び第２画面５２において、異物を有する検査画像４０は、緑のバウンディングボックス４２により包囲される。
図１３は、制御部１１による異常の種類の切替処理の処理手順の一例を示すフローチャートである。
制御部１１は、異常の種類の切り替えを受け付けたか否かを判定する（Ｓ４１）。始めに、異常の種類が「形状の異常」であり、形状の異常に基づく検査画像４０がディスプレイ２２に表示されており、異常の種類が「異物の有無」に切り替えられたとする。制御部１１は異常の種類の切り替えを受け付けていないと判定した場合（Ｓ４１：ＮＯ）、判定の処理を繰り返す。
制御部１１は、異常の種類の切り替えを受け付けたか否かを判定する（Ｓ４１）。始めに、異常の種類が「形状の異常」であり、形状の異常に基づく検査画像４０がディスプレイ２２に表示されており、異常の種類が「異物の有無」に切り替えられたとする。制御部１１は異常の種類の切り替えを受け付けていないと判定した場合（Ｓ４１：ＮＯ）、判定の処理を繰り返す。
制御部１１は異常の種類の切り替えを受け付けたと判定した場合（Ｓ４１：ＹＥＳ）、ディスプレイ２２において、異物の有無を示す検査画像４０に切り替えて表示する（Ｓ４２）。制御部１１は、ディスプレイ２２の第２画面において、異物の有無に係る異常値Ｂが閾値以上、例えば０．５以上である、異常の検査物４を緑のバウンディングボックス４２により包囲した状態で表示する。
制御部１１は、異常の検査物４を異常値Ｂ及び検査画像ＩＤに基づいて選別する（Ｓ４３）。
以上のようにして、必要とする異常の種類に切り替えて、異常を検出できる。
異常の種類が「形状の異常」又は「異物の有無」から選択されている場合に、上記と同様にして作業者が選択した検査画像４０につき、作業者による第２画面５２のＯＫボタン５３又はＮＧボタン５４の押圧に基づき、制御部１１の判断の良否の入力を受け付けることができる。
ＮＧボタン５４が押圧された場合、図１４に示すように第１画面５１に、夫々「正常」、「形状の異常」、及び「異物あり」を示すボタン５８，５９、６０が表示される。作業者は検査画像４０の実際の内容に対応するボタンを選択する。
ＰＣ１は、検査画像４０と、作業者から入力された判断の良否とを教師データとして、異常検出モデル１５２の再学習を行うことができる。
異常の種類が「形状の異常」又は「異物の有無」から選択されている場合に、上記と同様にして作業者が選択した検査画像４０につき、作業者による第２画面５２のＯＫボタン５３又はＮＧボタン５４の押圧に基づき、制御部１１の判断の良否の入力を受け付けることができる。
ＮＧボタン５４が押圧された場合、図１４に示すように第１画面５１に、夫々「正常」、「形状の異常」、及び「異物あり」を示すボタン５８，５９、６０が表示される。作業者は検査画像４０の実際の内容に対応するボタンを選択する。
ＰＣ１は、検査画像４０と、作業者から入力された判断の良否とを教師データとして、異常検出モデル１５２の再学習を行うことができる。
（実施の形態３）
図１５は実施の形態３に係る異常検出システム２０の構成を示すブロック図である。
実施の形態３に係る異常検出システム２０は、制御部１１が機能部として異常判定部（第２の取得部）１２０を有すること以外は、実施の形態１に係る異常検出システム１０と同様の構成を有する。異常判定部１２０は、画像処理部１１５により生成された検査画像４０に基づき、検査物４の形状の異常値を算出する。
本実施の形態に係る異常検出システム２０においては、異常判定部１２０により算出した異常値に応じ、異常検出モデル１５２を用いて異常を検出する。
図１５は実施の形態３に係る異常検出システム２０の構成を示すブロック図である。
実施の形態３に係る異常検出システム２０は、制御部１１が機能部として異常判定部（第２の取得部）１２０を有すること以外は、実施の形態１に係る異常検出システム１０と同様の構成を有する。異常判定部１２０は、画像処理部１１５により生成された検査画像４０に基づき、検査物４の形状の異常値を算出する。
本実施の形態に係る異常検出システム２０においては、異常判定部１２０により算出した異常値に応じ、異常検出モデル１５２を用いて異常を検出する。
図１６は、制御部１１による異常検出処理の処理手順の一例を示すフローチャートである。
ＰＣ１の制御部１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する（Ｓ５１）。
制御部１１は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する（Ｓ５２）。
制御部１１は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する（Ｓ５３）。
制御部１１は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する（Ｓ５４）。
制御部１１は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する（Ｓ５５）。
ＰＣ１の制御部１１は、検査物４を透過し、Ｘ線検知部７により検知されたＸ線に基づき、Ｘ線画像を生成する（Ｓ５１）。
制御部１１は、Ｘ線画像に対し平滑化フィルタ、特徴抽出フィルタ等により画像処理を行い、処理画像を生成する（Ｓ５２）。
制御部１１は、処理画像に基づいて、検査物４のブロブ解析を行い、ブロブを特定する（Ｓ５３）。
制御部１１は、ブロブが所定の大きさの矩形内に入るように切り出し、切り出し画像を生成する（Ｓ５４）。
制御部１１は、切り出し画像に対し、正規化等の処理を行い、検査画像を生成する（Ｓ５５）。
制御部１１は、異常検出モデル１５２を用いずに、画素値等に基づき、検査物４の形状についての異常値を算出する。異常値は、１に近い程、異常であり、０に近い程、正常であるとする（Ｓ５６）。例えば、検査画像４０のブロブ（塊）を構成する画素の画素値は基準値より大きく、ブロブの背景を構成する画素の画素値は基準値より小さいとする。ブロブを構成する画素をカウントすることにより、ブロブの面積が算出される。ブロブの周囲を形成する背景画素の配列に基づき、ブロブの周囲長が算出される。面積及び周囲長を閾値と比較し、完全に正常である場合を０、完全に異常である場合を１として、制御部１１は形状の異常値を算出する。
制御部１１は、算出した異常値が０又は１であるか否かを判定する（Ｓ５７）。
制御部１１は、算出した異常値が０又は１であると判定した場合（Ｓ５７：ＹＥＳ）、異常値が０であるか否かを判定する（Ｓ５８）。制御部１１は異常値が０であると判定した場合、即ち異常なしと判断した場合（Ｓ５８：ＹＥＳ）、学習検査をスキップして処理を終了する。
制御部１１は異常値が０でないと判定した場合（Ｓ５８：ＮＯ）、即ち異常値が１であり、異常を有すると判定した場合、学習検査をスキップしてＳ６０へ処理を進める。
制御部１１は、算出した異常値が０又は１であると判定した場合（Ｓ５７：ＹＥＳ）、異常値が０であるか否かを判定する（Ｓ５８）。制御部１１は異常値が０であると判定した場合、即ち異常なしと判断した場合（Ｓ５８：ＹＥＳ）、学習検査をスキップして処理を終了する。
制御部１１は異常値が０でないと判定した場合（Ｓ５８：ＮＯ）、即ち異常値が１であり、異常を有すると判定した場合、学習検査をスキップしてＳ６０へ処理を進める。
制御部１１は、算出した異常値が０又は１でないと判定した場合（Ｓ５７：ＮＯ）、異常検出モデル１５２を用いて、取得した検査画像４０から検査物４の異常値を取得する（Ｓ５９）。
制御部１１は、異常の検査物４を異常値及び検査画像ＩＤに基づいて選別する（Ｓ６０）。
本実施の形態においては、画像処理後の検査画像４０に対し画素値等に基づき、異常を検出し、得られた結果が不確実である場合、さらに異常検出モデル１５２を用いて異常を検出することで、より正確に異常を検出できる。
ＰＣ１は、複数の画像処理アルゴリズムに基づいて、画像処理部１１５において検査画像４０を生成するように構成し、各画像処理アルゴリズムに対応して夫々異常検出モデル１５２を生成してもよい。そして、異常判定部１２０により夫々の処理を施された検査画像４０に基づく異常値を検出し、画像処理アルゴリズムに対応する異常検出モデル１５２により、異常を検出してもよい。
ＰＣ１は、複数の画像処理アルゴリズムに基づいて、画像処理部１１５において検査画像４０を生成するように構成し、各画像処理アルゴリズムに対応して夫々異常検出モデル１５２を生成してもよい。そして、異常判定部１２０により夫々の処理を施された検査画像４０に基づく異常値を検出し、画像処理アルゴリズムに対応する異常検出モデル１５２により、異常を検出してもよい。
（実施の形態４）
実施の形態４に係るＸ線検査機２は、異常品であると判断された検査物４を廃棄する構造を備えること以外は、実施の形態２に係るＸ線検査機２と同様の構成を有する。
図１７は実施の形態４に係る異常検出システム３０の構成を示す斜視図、図１８は異常検出システム３０の構成を示すブロック図である。図１７及び図１８中、図１及び図２と同一部分は同一符号を付して詳細な説明を省略する。
本実施の形態に係るＸ線検査機２においては、下側筐体２３の下流側端部に、搬送ベルト６１に向かうようにＸ方向に複数個のエアバルブ９１を有する廃棄部９が設けられている。エアバルブ９１には、Ｘ方向の端部から順に番号が付されている。
制御部１１は、エアバルブ９１を開閉する開閉部１２１を有する。
選別部（第２の出力部）１１８は、形状の異常、又は異物を有する異常品を選別し、検査物４の座標情報として、検査物４の載置位置に対応するエアバルブ９１の番号を開閉部１２１へ出力する。開閉部１２１は、対応する番号のエアバルブ９１を開く。これにより、異常品と選別された検査物４に対し、対応するエアバルブ９１から該検査物４に向けてエアが噴出され、検査物４が搬送部６から弾き飛ばされる。
実施の形態４に係るＸ線検査機２は、異常品であると判断された検査物４を廃棄する構造を備えること以外は、実施の形態２に係るＸ線検査機２と同様の構成を有する。
図１７は実施の形態４に係る異常検出システム３０の構成を示す斜視図、図１８は異常検出システム３０の構成を示すブロック図である。図１７及び図１８中、図１及び図２と同一部分は同一符号を付して詳細な説明を省略する。
本実施の形態に係るＸ線検査機２においては、下側筐体２３の下流側端部に、搬送ベルト６１に向かうようにＸ方向に複数個のエアバルブ９１を有する廃棄部９が設けられている。エアバルブ９１には、Ｘ方向の端部から順に番号が付されている。
制御部１１は、エアバルブ９１を開閉する開閉部１２１を有する。
選別部（第２の出力部）１１８は、形状の異常、又は異物を有する異常品を選別し、検査物４の座標情報として、検査物４の載置位置に対応するエアバルブ９１の番号を開閉部１２１へ出力する。開閉部１２１は、対応する番号のエアバルブ９１を開く。これにより、異常品と選別された検査物４に対し、対応するエアバルブ９１から該検査物４に向けてエアが噴出され、検査物４が搬送部６から弾き飛ばされる。
図１９は、実施の形態４に係る異常検出処理に関する説明図である。図１９では、検査画像から検査物４の形状の異常の有無を検出する場合を概念的に示している。
制御部１１は、Ｘ線照射部３を用いて撮像された検査物４の画像に基づく検査画像４０を取得し、異常検出モデル１５２に入力する。例えば制御部１１は、検査画像４０を取得するとともに、検査物４の座標情報として、検査物４の載置位置に対応するエアバルブ９１の番号を取得する。
制御部１１は、Ｘ線照射部３を用いて撮像された検査物４の画像に基づく検査画像４０を取得し、異常検出モデル１５２に入力する。例えば制御部１１は、検査画像４０を取得するとともに、検査物４の座標情報として、検査物４の載置位置に対応するエアバルブ９１の番号を取得する。
制御部１１は、異常検出モデル１５２の中間層にて検査画像４０の特徴量を抽出する演算処理を行い、抽出した特徴量を異常検出モデル１５２に入力して、検査物４の正常の確率値、形状の異常の確率値、異物の有無の確率値を出力させ、異常値Ａ、及び異常値Ｂを取得する。
上記のように、制御部１１は異常検出モデル１５２を用いて、検査物４の廃棄が必要になる異常を検出する。制御部１１は、検査画像４０を教師データにして学習を行い、検査物４の異常を学習した異常検出モデル１５２を用いて異常検出を行う。なお、ＰＣ１は異常の種類毎に別々の異常検出モデル１５２（ニューラルネットワーク）を構築しておいてもよく、単一の異常検出モデル１５２に全ての異常を学習させておいてもよい。
制御部１１は、異常値Ａ及び異常値Ｂをディスプレイ２２へ出力する。ＰＣ１は、検査画像４０から各種の異常を検出した場合、作業者に報知する、又は作業者が所持している所定の携帯端末に通知してもよい。
例えば制御部１１は、通知する情報として、検出した検査物４の異常の種類、程度を示す検出結果のほかに、異常を検出した検査物４のエアバルブ９１の番号を併せて送信する。
異常値Ａ又は異常値Ｂは閾値と比較され、異常値Ａ又は異常値Ｂが閾値以上であり、異常があると判断された検査物４は、図１９の下側に示すように、対応するエアバルブ９１からエアが噴出され、搬送ベルト６１から排出される。
なお、座標情報としてエアバルブ９１の番号を取得する代わりに、搬送ベルト６１のＸ座標、Ｙ座標を取得して、異常の検査物４を廃棄することにしてもよい。例えば画素に応じたＸ座標、Ｙ座標を取得する場合、エアバルブ９１の番号を取得する場合と比較して、廃棄する検査物４を絞り込むことができ、製品の歩留まりを上げることができる。
なお、座標情報としてエアバルブ９１の番号を取得する代わりに、搬送ベルト６１のＸ座標、Ｙ座標を取得して、異常の検査物４を廃棄することにしてもよい。例えば画素に応じたＸ座標、Ｙ座標を取得する場合、エアバルブ９１の番号を取得する場合と比較して、廃棄する検査物４を絞り込むことができ、製品の歩留まりを上げることができる。
以上のように、本発明の一態様に係る学習モデルの生成方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する。
上記学習モデルを用いることにより、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
上述の学習モデルの生成方法は、前記電磁波はＸ線であり、該Ｘ線に応じて取得した画像から抽出された一の検査物に対応する検査画像を生成し、生成した検査画像を含むバウンディングボックスを表示し、前記バウンディングボックスに含まれる検査物の異常有無情報を表示してもよい。
上記構成によれば、画像の特徴量の抽出がし易くなり、検査画像及び異常有無情報を表示することで、作業者による検出結果の正誤の情報を取得し易くなる。
上述の学習モデルの生成方法は、検査物を含む検査画像と前記検査物の異常有無情報とを取得し、前記検査画像及び前記異常有無情報に基づき、前記学習モデルを再学習してもよい。
上記構成によれば、学習モデルがアップデートされ、より正確な異常検出を行うことができるようになる。
本発明の一態様に係る学習モデルは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力される入力層と、前記検査物の異常の有無を示す異常有無情報を出力する出力層と、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層とを備え、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するようにコンピュータを機能させる。
上記学習モデルを用いることにより、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
本発明の一態様に係る検査装置は、複数の検査物に電磁波を照射する照射部と、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得する取得部と、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、前記異常有無情報を出力する出力部とを備える。
上記構成によれば、検査物の検査画像において、正常部分と異常部分との画素値の差異が小さい場合においても、精度良く、正常部分と異常部分とを判別できる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
作業者が目視による異常の検出を行う必要がなくなり、異常検出作業の効率化を図ることができる。
従って、形状の異常、異物の有無等の異常有無情報を精度良く検出できる。
作業者が目視による異常の検出を行う必要がなくなり、異常検出作業の効率化を図ることができる。
上述の検査装置は、前記電磁波はＸ線であり、前記取得部は、前記Ｘ線に基づく画像を生成する生成部と、生成した画像から一の検査物に対応する領域を抽出する抽出部と、前記領域をバウンディングボックスにより包囲する包囲部とを備え、前記バウンディングボックスにより包囲された検査画像を取得してもよい。
上記構成によれば、画像の特徴量の抽出がし易くなる。
上述の検査装置は、ディスプレイを備え、前記出力部は、複数の検査物の位置に対応付けて、夫々バウンディングボックスにより包囲された複数の検査画像を表示し、異常の検査物を含む異常画像は前記バウンディングボックスとは異なる第２のバウンディングボックスによりさらに包囲されている第１画面と、各画像が並べて表示され、前記異常画像は前記第２のバウンディングボックスにより包囲されており、作業者による各検査物の異常有無情報の入力を受け付ける操作ボタンを有する第２画面とを並べて、前記ディスプレイに表示する表示部であってもよい。
上記構成によれば、検査画像及び異常有無情報を表示することで、作業者による検出結果の正誤の情報を取得することができる。
上述の検査装置は、検査画像、及び前記操作ボタンが受け付けた前記異常有無情報に基づき、前記学習モデルを再学習する再学習部を備えてもよい。
上記構成によれば、学習モデルがアップデートされ、より正確な異常検出を行うことができるようになる。
上述の検査装置は、前記第２画面は、前記検査物の異常の種類の入力を受け付ける第２の操作ボタンを備え、前記第２の操作ボタンが前記入力を受け付けた場合、前記表示部は前記種類に基づいて、異常画像を前記第２のバウンディングボックスにより包囲して表示してもよい。
上記構成によれば、異常の種類を切り替えて、異常の検出を行うことができる。
上述の検査装置は、前記学習検査部が取得した異常有無情報が閾値以上である検査物を廃棄する廃棄部と、前記学習検査部が取得した異常有無情報が閾値以上である検査物の検査画像に対応する座標情報を出力する第２の出力部とを備えてもよい。
上記構成によれば、異常がある検査物のみを良好に廃棄できる。
上述の検査装置は、前記コンベアの搬送方向に交叉する方向に並設された複数のバルブを有し、異常の検査物に対応するバルブからガスを噴出して前記検査物を吹き落とす廃棄部と、前記学習検査部が取得した異常有無情報が閾値以上である検査物に対応するバルブの情報を出力する第２の出力部と、前記検査物に対応するバルブを開閉する開閉部とを備えてもよい。
上記構成によれば、異常がある検査物のみを容易に廃棄できる。
上述の検査装置は、前記電磁波に応じて取得した画像に対し、画像処理アルゴリズムを適用して画像処理を施した検査画像に基づいて、前記検査物の異常の有無を示す情報を取得する第２の取得部を備え、前記学習検査部は、前記第２の取得部が取得した前記情報に応じ、前記検査画像を入力してもよい。
上記構成によれば、画像処理後の画像に対し画素値等に基づき、異常を検出した後、さらに学習モデルを用いて異常を検出するので、より正確に異常を検出できる。
本発明の一態様に係る異常検出方法は、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
本発明の一態様に係るコンピュータプログラムは、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無に関する異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、検査物は食品に限定されず、包装体、工業製品等であってもよい。
また、廃棄部はエアバルブ６６からなる場合には限定されない。
検査物４に照射する電磁波はＸ線に限定されず、テラヘルツ波、赤外線及び可視光等であってもよい。
例えば、検査物は食品に限定されず、包装体、工業製品等であってもよい。
また、廃棄部はエアバルブ６６からなる場合には限定されない。
検査物４に照射する電磁波はＸ線に限定されず、テラヘルツ波、赤外線及び可視光等であってもよい。
１ ＰＣ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 表示部
１５ 補助記憶部
Ｐ プログラム
１５１ 検査画像ＤＢ
１５２ 異常検出モデル
２ Ｘ線検査機
２２ ディスプレイ
３ Ｘ線照射部
４ 検査物
４０ 検査画像
４１、４２ バウンディングボックス
５ 表示画面
６ 搬送部
６１ 搬送ベルト
６６ エアバルブ
７ Ｘ線検知部
７１ 検知ライン
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 表示部
１５ 補助記憶部
Ｐ プログラム
１５１ 検査画像ＤＢ
１５２ 異常検出モデル
２ Ｘ線検査機
２２ ディスプレイ
３ Ｘ線照射部
４ 検査物
４０ 検査画像
４１、４２ バウンディングボックス
５ 表示画面
６ 搬送部
６１ 搬送ベルト
６６ エアバルブ
７ Ｘ線検知部
７１ 検知ライン
本発明の一態様に係る学習モデルの生成方法は、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、特定したブロブが所定の大きさの矩形内に入るように切り出して、検査画像を取得し、前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する。
本発明の一態様に係る学習モデルは、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像が入力される入力層と、前記検査物の異常の有無を示す異常有無情報を出力する出力層と、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層とを備え、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するようにコンピュータを機能させる。
本発明の一態様に係る検査装置は、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射する照射部と、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を取得する取得部と、検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、前記異常有無情報を出力する出力部とを備える。
本発明の一態様に係る異常検出方法は、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
本発明の一態様に係るコンピュータプログラムは、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
以上のように、本発明の一態様に係る学習モデルの生成方法は、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、特定したブロブが所定の大きさの矩形内に入るよう に切り出して、検査画像を取得し、前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する。
上述の学習モデルの生成方法は、前記電磁波はＸ線であり、該Ｘ線に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を生成し、生成した検査画像を含むバウンディングボックスを表示し、前記バウンディングボックスに含まれる検査物の異常有無情報を表示してもよい。
本発明の一態様に係る学習モデルは、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像が入力される入力層と、前記検査物の異常の有無を示す異常有無情報を出力する出力層と、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層とを備え、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するようにコンピュータを機能させる。
本発明の一態様に係る検査装置は、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射する照射部と、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を取得する取得部と、検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、前記異常有無情報を出力する出力部とを備える。
上述の検査装置は、前記電磁波はＸ線であり、前記取得部は、前記Ｘ線に基づく画像を生成する生成部と、生成した画像から前記ブロブを抽出する抽出部と、前記ブロブをバウンディングボックスにより包囲する包囲部とを備え、前記バウンディングボックスにより包囲された検査画像を取得してもよい。
上述の検査装置は、前記電磁波に応じて取得した画像に対し、画像処理アルゴリズムを適用して画像処理を施して前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、取得した、一の検査物に対応する検査画像に基づいて、前記検査物の異常の有無を示す情報を取得する第２の取得部を備え、前記学習検査部は、前記第２の取得部が取得した前記情報に応じ、前記検査画像を入力してもよい。
本発明の一態様に係る異常検出方法は、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
本発明の一態様に係るコンピュータプログラムは、コンベアに分散して載置されて搬送される複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像のうち、各画素の画素値に基づいて、一の検査物に対応するブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して、一の検査物に対応する検査画像を取得し、検査物を透過した電磁波に応じて取得した画像のうち前記ブロブを特定し、該ブロブが所定の大きさの矩形内に入るように切り出して取得した、一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する処理をコンピュータに実行させる。
Claims (14)
- 複数の検査物に電磁波を照射し、
各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、
前記検査画像と前記検査物の異常の有無に関する異常有無情報とを含む教師データを取得し、
前記教師データに基づいて、複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記検査物の異常有無情報を出力する学習モデルを生成する
学習モデルの生成方法。 - 前記電磁波はＸ線であり、
該Ｘ線に応じて取得した画像から抽出された一の検査物に対応する検査画像を生成し、
生成した検査画像を含むバウンディングボックスを表示し、
前記バウンディングボックスに含まれる検査物の異常有無情報を表示する
請求項１に記載の学習モデルの生成方法。 - 検査物を含む検査画像と前記検査物の異常有無情報とを取得し、
前記検査画像及び前記異常有無情報に基づき、前記学習モデルを再学習する
請求項１又は２に記載の学習モデルの生成方法。 - 複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力される入力層と、
前記検査物の異常の有無を示す異常有無情報を出力する出力層と、
複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像及び検査物の異常有無情報に基づいてパラメータが学習された中間層と
を備え、
複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像が入力された場合に、前記中間層による演算を経て前記検査物の異常有無情報を前記出力層から出力するように
コンピュータを機能させる学習モデル。 - 複数の検査物に電磁波を照射する照射部と、
各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得する取得部と、
検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、前記取得部により取得した検査画像を入力して、前記異常有無情報を取得する学習検査部と、
前記異常有無情報を出力する出力部と
を備える検査装置。 - 前記電磁波はＸ線であり、
前記取得部は、
前記Ｘ線に基づく画像を生成する生成部と、
生成した画像から一の検査物に対応する領域を抽出する抽出部と、
前記領域をバウンディングボックスにより包囲する包囲部と
を備え、前記バウンディングボックスにより包囲された検査画像を取得する、請求項５に記載の検査装置。 - ディスプレイを備え、
前記出力部は、
複数の検査物の位置に対応付けて、夫々バウンディングボックスにより包囲された複数の検査画像を表示し、異常の検査物を含む異常画像は前記バウンディングボックスとは異なる第２のバウンディングボックスによりさらに包囲されている第１画面と、各画像が並べて表示され、前記異常画像は前記第２のバウンディングボックスにより包囲されており、作業者による各検査物の異常有無情報の入力を受け付ける操作ボタンを有する第２画面とを並べて、前記ディスプレイに表示する表示部である請求項６に記載の検査装置。 - 検査画像、及び前記操作ボタンが受け付けた前記異常有無情報に基づき、前記学習モデルを再学習する再学習部を備える、請求項７に記載の検査装置。
- 前記第２画面は、前記検査物の異常の種類の入力を受け付ける第２の操作ボタンを備え、
前記第２の操作ボタンが前記入力を受け付けた場合、前記表示部は前記種類に基づいて、異常画像を前記第２のバウンディングボックスにより包囲して表示する、請求項７又は８に記載の検査装置。 - 前記学習検査部が取得した異常有無情報が閾値以上である検査物を廃棄する廃棄部と、
前記学習検査部が取得した異常有無情報が閾値以上である検査物の検査画像に対応する座標情報を出力する第２の出力部と
を備える、請求項５から９までのいずれか１項に記載の検査装置。 - 検査物の搬送方向に交叉する方向に並設された複数のバルブを有し、異常の検査物に対応するバルブからガスを噴出して前記検査物を吹き落とす廃棄部と、
前記学習検査部が取得した異常有無情報が閾値以上である検査物に対応するバルブの情報を出力する第２の出力部と、
前記検査物に対応するバルブを開閉する開閉部と
を備える、請求項５から９までのいずれか１項に記載の検査装置。 - 前記電磁波に応じて取得した画像に対し、画像処理アルゴリズムを適用して画像処理を施した検査画像に基づいて、前記検査物の異常の有無を示す情報を取得する第２の取得部を備え、
前記学習検査部は、前記第２の取得部が取得した前記情報に応じ、前記検査画像を入力する、請求項５から１１までのいずれか１項に記載の検査装置。 - 複数の検査物に電磁波を照射し、
各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、
検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無を示す異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する
処理をコンピュータに実行させる、異常検出方法。 - 複数の検査物に電磁波を照射し、各検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を取得し、
検査物を透過した電磁波に応じて取得した画像から抽出された一の検査物に対応する検査画像を入力した場合に検査物の異常の有無に関する異常有無情報を出力する学習モデルに、取得した前記検査画像を入力して、異常有無情報を出力する
処理をコンピュータに実行させる、コンピュータプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019051400A JP6742037B1 (ja) | 2019-03-19 | 2019-03-19 | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム |
| PCT/JP2020/003346 WO2020189043A1 (ja) | 2019-03-19 | 2020-01-30 | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019051400A JP6742037B1 (ja) | 2019-03-19 | 2019-03-19 | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6742037B1 JP6742037B1 (ja) | 2020-08-19 |
| JP2020153764A true JP2020153764A (ja) | 2020-09-24 |
Family
ID=72047807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019051400A Active JP6742037B1 (ja) | 2019-03-19 | 2019-03-19 | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6742037B1 (ja) |
| WO (1) | WO2020189043A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117813492A (zh) * | 2021-08-13 | 2024-04-02 | 株式会社羽岛 | 学习模型的生成方法、学习模型、检查装置、检查方法以及计算机程序 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001156135A (ja) * | 1999-11-29 | 2001-06-08 | Hitachi Ltd | 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法 |
| JP2012137387A (ja) * | 2010-12-27 | 2012-07-19 | Anritsu Sanki System Co Ltd | Ｘ線検査装置 |
| JP2014153906A (ja) * | 2013-02-08 | 2014-08-25 | Honda Motor Co Ltd | 検査装置、検査方法及びプログラム |
| JP2016156647A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社 システムスクエア | 電磁波を使用した検査装置 |
| WO2016152485A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社イシダ | 検査装置 |
| WO2018071137A1 (en) * | 2016-10-14 | 2018-04-19 | Kla-Tencor Corporation | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| JP2018112550A (ja) * | 2017-01-12 | 2018-07-19 | 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ | 検査機器および銃器検出方法 |
| WO2018150607A1 (ja) * | 2017-02-20 | 2018-08-23 | Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 | 外観検査装置、照明装置、撮影照明装置 |
| JP2018536236A (ja) * | 2015-11-16 | 2018-12-06 | オービタル インサイト インコーポレイテッド | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 |
| WO2019151393A1 (ja) * | 2018-01-31 | 2019-08-08 | 株式会社ニチレイフーズ | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 |
-
2019
- 2019-03-19 JP JP2019051400A patent/JP6742037B1/ja active Active
-
2020
- 2020-01-30 WO PCT/JP2020/003346 patent/WO2020189043A1/ja active Application Filing
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001156135A (ja) * | 1999-11-29 | 2001-06-08 | Hitachi Ltd | 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法 |
| JP2012137387A (ja) * | 2010-12-27 | 2012-07-19 | Anritsu Sanki System Co Ltd | Ｘ線検査装置 |
| JP2014153906A (ja) * | 2013-02-08 | 2014-08-25 | Honda Motor Co Ltd | 検査装置、検査方法及びプログラム |
| JP2016156647A (ja) * | 2015-02-23 | 2016-09-01 | 株式会社 システムスクエア | 電磁波を使用した検査装置 |
| WO2016152485A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社イシダ | 検査装置 |
| JP2018536236A (ja) * | 2015-11-16 | 2018-12-06 | オービタル インサイト インコーポレイテッド | 低解像度リモートセンシング画像を用いた移動車両の検出及び分析 |
| WO2018071137A1 (en) * | 2016-10-14 | 2018-04-19 | Kla-Tencor Corporation | Diagnostic systems and methods for deep learning models configured for semiconductor applications |
| JP2018112550A (ja) * | 2017-01-12 | 2018-07-19 | 清華大学Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ | 検査機器および銃器検出方法 |
| WO2018150607A1 (ja) * | 2017-02-20 | 2018-08-23 | Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 | 外観検査装置、照明装置、撮影照明装置 |
| WO2019151393A1 (ja) * | 2018-01-31 | 2019-08-08 | 株式会社ニチレイフーズ | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 |
Non-Patent Citations (1)
| Title |
|---|
| ILHAN AYDIN: "A New Approach for Baggage Inspection by using Deep Convolutional Neural Networks", IEEE CONFERENCE PROCEEDINGS (2018 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND DATA PROCE, vol. pp.1-6, JPN6020009104, 28 September 2018 (2018-09-28), ISSN: 0004230311 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6742037B1 (ja) | 2020-08-19 |
| WO2020189043A1 (ja) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6749655B1 (ja) | 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル | |
| US11295173B2 (en) | Image identification apparatus, image identification method, and recording medium | |
| Medus et al. | Hyperspectral image classification using CNN: Application to industrial food packaging | |
| Asraf et al. | A comparative study in kernel-based support vector machine of oil palm leaves nutrient disease | |
| Ni et al. | Automatic inspection machine for maize kernels based on deep convolutional neural networks | |
| Kurtulmuş et al. | Classification of pepper seeds using machine vision based on neural network | |
| JP2019526848A (ja) | 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備 | |
| WO2023084543A1 (en) | System and method for leveraging neural network based hybrid feature extraction model for grain quality analysis | |
| TW202242390A (zh) | 缺陷檢查裝置、缺陷檢查方法以及製造方法 | |
| Zhang et al. | Computer vision estimation of the volume and weight of apples by using 3d reconstruction and noncontact measuring methods | |
| Jin et al. | Classification of toxigenic and atoxigenic strains of Aspergillus flavus with hyperspectral imaging | |
| WO2020189043A1 (ja) | 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム | |
| Burkapalli et al. | TRANSFER LEARNING: INCEPTION-V3 BASED CUSTOM CLASSIFICATION APPROACH FOR FOOD IMAGES. | |
| Ünal et al. | Detection of bruises on red apples using deep learning models | |
| CN113228049B (zh) | 用于将奶分类的奶分析仪 | |
| CN116704247A (zh) | 一种基于透射偏振光图像的谷物不完善粒识别方法及系统 | |
| Shi et al. | Nondestructive discrimination of analogous density foreign matter inside soy protein meat semi-finished products based on transmission hyperspectral imaging | |
| Platias et al. | Snapshot multispectral and hyperspectral data processing for estimating food quality parameters | |
| Emebo et al. | Development of tomato septoria leaf spot and tomato mosaic diseases detection device using raspberry Pi and deep convolutional neural networks | |
| JP7034529B1 (ja) | 学習モデルの生成方法、学習モデル、検査装置、検査方法およびコンピュータプログラム | |
| KR102242477B1 (ko) | 머신러닝 기반 열화상 영상의 객체 이상 현상 탐지 장치 및 방법 | |
| WO2021119946A1 (en) | Food inspection solution | |
| Mukherjee et al. | A multi-channel convolutional neural network driven computer vision system towards identification of species and maturity stage of banana fruits: case studies with Martaman and Singapuri banana | |
| Khazaei et al. | Evaluation of statistical and neural network architectures for the classification of paddy kernels using morphological features | |
| De Silva | Object Orientation Detection and Correction Using Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191226 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200714 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200721 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6742037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |