JP2022088495A - 教師データ生成方法および異物検査装置ならびに異物検査方法 - Google Patents
教師データ生成方法および異物検査装置ならびに異物検査方法 Download PDFInfo
- Publication number
- JP2022088495A JP2022088495A JP2022048427A JP2022048427A JP2022088495A JP 2022088495 A JP2022088495 A JP 2022088495A JP 2022048427 A JP2022048427 A JP 2022048427A JP 2022048427 A JP2022048427 A JP 2022048427A JP 2022088495 A JP2022088495 A JP 2022088495A
- Authority
- JP
- Japan
- Prior art keywords
- foreign matter
- visible light
- inspected
- foreign
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】 食品材料中に混入した異物を近赤外光および可視光を照射して異物を検出するものにおいて、色と素材が被検査物と近い異物があると、異物と近い被検査物を過剰に異物として検出してしまう。【解決手段】 異物の学習過程において、可視光画像でも異物として視認できる素材の異物サンプルであって、被検査物の色と近い色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像を異物として指定して学習させる。【選択図】 図2
Description
本発明は、教師データ生成方法および異物検査装置ならびに異物検査方法に関する。
食品加工の分野においては、食品安全等のため、食品材料に混入した異物を検出して取り除くことが求められている。このような、食品材料に混入した異物を光学的に検出する技術として、特許文献1の技術がある。
特許文献1に記載の異物検出装置および方法は、食品材料である被検査物に近赤外光を照射し、第一波長域の近赤外光、第二波長域の近赤外光、被検査物の材質の違いによる吸光率の変化が小さい第三波長域の近赤外光を検出し、この第一波長域の近赤外光、第二波長域の近赤外光の光量を、第三波長域の近赤外光の光量で除算して、規格化し、規格化後の光量を解析することで、食品材料中の異物を検出する。
特許文献1に記載の異物検出装置および方法は、食品材料である被検査物に近赤外光を照射し、第一波長域の近赤外光、第二波長域の近赤外光、被検査物の材質の違いによる吸光率の変化が小さい第三波長域の近赤外光を検出し、この第一波長域の近赤外光、第二波長域の近赤外光の光量を、第三波長域の近赤外光の光量で除算して、規格化し、規格化後の光量を解析することで、食品材料中の異物を検出する。
この特許文献1に記載の異物検出方法の技術は、食品材料に混入しているプラスチック材料や木材,骨片などが、食品材料とは近赤外域における吸光率の差があることに基づいて、被検査物に混入している異物として検出するので、材質の異なる異物を検出できる効果がある。これにより、例えば、農業資材であるプラスチックの断片や金属、紙辺などが食品材料中に混入しているのを検出し、排除できる効果がある。
一方、食品材料とその材質が似ており、水分量も似たものである、例えば、木綿糸等の天然素材に由来する物質は、近赤外光の吸光率に食品材料と差がないため、木綿糸を同じ天然素材の食品材料の中から判別することは難しい。つまり、食品材料と同じ天然素材に由来する有機物であり、近赤外光の吸光率が同じか似ている場合には、近赤外光の領域での吸光率の差で判別することが難しい。
このため、近赤外光だけでなく可視光を被検査物に照射し、可視光カメラで食品材料を撮像し、可視光によって食品材料と色彩などの特徴量の異なる異物を検出する技術も提案されている(特許文献2)。
このため、近赤外光だけでなく可視光を被検査物に照射し、可視光カメラで食品材料を撮像し、可視光によって食品材料と色彩などの特徴量の異なる異物を検出する技術も提案されている(特許文献2)。
特許文献2の技術では、近赤外光で被検査物を撮像して異物を検出する特許文献1では検出できない、糸などの天然素材に由来するもので、乾燥野菜などの緑色の食品材料とは異なる色の異物、例えば赤や青い糸を可視光で撮像してその特徴量を比較することによって、天然素材に由来する異物を検出することができる。
しかしながら、被検査物としての食品材料と、可視光で色彩が似ており、形状や大きさが似ているものも異物として学習した場合、食品材料と色彩が似ており、材質も天然素材に由来する糸などの繊維や天然素材に由来するセロハンなどと形状や大きさが似た食品材料を異物として認識してしまういわゆる過検出が生ずることがある。
異物の過検出が生ずると、本来安全な食品材料であっても異物として材料から排除されるため、そのような本来排除されるべきでないものが異物として排除されることで、過検出により製造工程が滞って生産性が低下する。また、必要以上に食品材料の廃棄がされることになり、コストが増加する。
異物の過検出が生ずると、本来安全な食品材料であっても異物として材料から排除されるため、そのような本来排除されるべきでないものが異物として排除されることで、過検出により製造工程が滞って生産性が低下する。また、必要以上に食品材料の廃棄がされることになり、コストが増加する。
本発明は、上述の課題を解決するためのもので、近赤外光と可視光とで撮像した異物の学習において、過剰に異物の過検出をしない教師データ生成方法、異物検出装置ならびに異物検出方法を提供することを目的とする。
本発明の第一の観点は、異物検査のための教師データ生成方法であって、予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データの生成方法であり、学習させる異物サンプルを撮像し、その撮像された異物サンプルの可視光画像を表示するステップと表示された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定するステップを有し、異物として指定するステップは、可視光画像でも異物として視認できる異物サンプルであって、被検査物と色空間(L*a*b)の色差が70以下または同等の色差を有する異物サンプルに対して、可視光画像では異物として指定せず、70を超えまたは同等の色差を有する異物サンプルの可視光画像に対して異物として指定する、ことを特徴とする。
なお、可視光カメラで撮像した異物サンプルの可視光画像で異物の指定を行う、ことが好ましい。
本発明の第二の観点は、異物検査装置であり、搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、可視光を被検査物に照射する光照射手段により照射された被検査物を可視光で撮像する可視光カメラと、可視光カメラで撮像した被検査物の可視光画像に基づいて被検査物に異物が混入しているかを判定する異物判定手段を備え、異物判定手段は学習手段で予め学習した異物サンプルの可視光画像の教師データを参照して被検査物の異物判定を行う手段であって、教師データは、その学習過程で、可視光画像で異物として視認できる異物サンプルであって被検査物と色空間(L*a*b)の色差が70以下または同等の色差を有する異物サンプルに対して、可視光画像では異物として指定せず、70を超えまたは同等の色差を有する異物サンプルの可視光画像に対して異物として指定して学習する、ことを特徴とする。
なお、可視光カメラで撮像した異物サンプルの可視光画像で異物の指定を行う、ことが好ましい。
本発明の第三の観点は、異物検査方法であり、搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検査方法であって、可視光で異物サンプルを撮像して、教師データの生成を行う教師データ生成ステップと、可視光を、被検査物に照射する光照射ステップと、光照射ステップにより照射された被検査物を可視光で撮像する可視光撮像ステップと、光照射ステップで撮像された可視光画像に基づいて、被検査物に異物が混入しているかを判定する異物判定ステップとを有し、教師データ生成ステップにおいて、可視光画像で異物として視認できる異物サンプルであって被検査物と色空間(L*a*b)の色差が70以下または同等の色差を有する異物サンプルに対しては、可視光画像では異物として指定せず、70を超えまたは同等の色差を有する異物サンプルの可視光画像に対して異物として指定して学習させる、ことを特徴とする。
なお、異物検査装置において、異物判定手段は、学習手段で予め深層学習した異物サンプルの可視光画像を参照して被検査物の異物の判定を行う第一の異物判定手段と、異物サンプルの学習をせずに被検査物の可視光画像に基づいて被検査物の異物の判定を行う第二の異物判定手段とを備え、異物判定手段は、第一の異物判定手段、第二の異物判定手段の双方が異物と判定したときは、搬送路を停止させることができる。
本発明によれば、被検査物と材質が似た天然素材に由来するような異物であっても、異物として検出し排除することが可能であって、食品安全に資する。また、異物ではないものを過剰に検出することがないので、食品加工での品質の向上および生産性の向上を図ることができる。
以下、本発明の実施の形態を図面に基づき説明する。
なお、本実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造および配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更が可能である。
なお、本実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造および配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更が可能である。
(異物検査装置の構成の説明)
図1は、本発明の一実施形態に係る異物検査装置の一例を示す構成図である。
異物検査装置1は、被検査物8を搬送する搬送装置2と、近赤外光照射装置3と、近赤外カメラ4と、可視光照明装置5と、可視光カメラ6と、コンピュータを備えた処理装置10とを備える。処理装置10は、ディスプレイ13や図示しない入力装置、記憶装置、CPUを備えている。処理装置10は、機能構成として、異物の学習を行う学習手段11、異物の判定を行う異物判定手段12を備えている。
図1は、本発明の一実施形態に係る異物検査装置の一例を示す構成図である。
異物検査装置1は、被検査物8を搬送する搬送装置2と、近赤外光照射装置3と、近赤外カメラ4と、可視光照明装置5と、可視光カメラ6と、コンピュータを備えた処理装置10とを備える。処理装置10は、ディスプレイ13や図示しない入力装置、記憶装置、CPUを備えている。処理装置10は、機能構成として、異物の学習を行う学習手段11、異物の判定を行う異物判定手段12を備えている。
搬送装置2は、被検査物8を特定方向に搬送する。図1では、図1中の矢印で示す方向に被検査物8を搬送する。
搬送装置2としては、ベルトコンベア、パレットコンベア等を適用することができる。図1では、搬送装置2として、互いに平行な二つのローラ2a間に無端ベルト2bをかけ渡し、被検査物8を無端ベルト2bの上面に載置して搬送するベルトコンベアを用いている。図1は、この無端ベルト2bの上面(搬送面)上に、被検査物として、食品材料である乾燥野菜を搬送する例を示している。
搬送装置2としては、ベルトコンベア、パレットコンベア等を適用することができる。図1では、搬送装置2として、互いに平行な二つのローラ2a間に無端ベルト2bをかけ渡し、被検査物8を無端ベルト2bの上面に載置して搬送するベルトコンベアを用いている。図1は、この無端ベルト2bの上面(搬送面)上に、被検査物として、食品材料である乾燥野菜を搬送する例を示している。
近赤外光照射装置3は、無端ベルト2bの上方に配置され、無端ベルト2bの上面に向けて近赤外光を出射する。近赤外光照射装置3は、近赤外光により照射された領域が、被検査物8の搬送方向と平面視で直交する方向(以下、幅方向ともいう。)に延びる直線状の領域(以下、照射領域3aという。)となるように、近赤外光を出射する。近赤外光照射装置3としては、ハロゲン照明装置やLEDを適用することができる。照射領域3aは、無端ベルト2bの幅方向の一端から他端まで延びている。これにより、搬送装置2で搬送される被検査物8全てが照射領域3aを通過することになり、その結果、搬送中の全ての被検査物8に対して近赤外光が照射されるようになっている。また、近赤外光照射装置3は、処理装置10からの制御信号で指定されるタイミングで近赤外光の照射を行う。
近赤外カメラ4は、無端ベルト2bの上面の直線状の照射領域3aを撮影可能な位置に配置される。近赤外カメラ4は、照射領域3aを撮影し、照射領域3aを通過する被検査物8で反射された近赤外光及び、被検査物8と共に異物等が混在している場合にはこの異物等で反射された近赤外光も集光し、互いに異なる3つの波長λ0~λ2の成分(以下、波長成分λ0~λ2ともいう。)を検出し、これら3つの波長成分からなる撮像画像(以下、近赤外画像ともいう。)を処理装置10に出力する。3つの波長λ0~λ2は、例えば、搬送中の被検査物8に混在する異物や、被検査物8の成分等、検出対象物の特性に応じて、異物や、検出対象の成分等を、検出することの可能な波長に設定される。近赤外カメラ4で検出する波長成分は、例えば、1200nm以上1600nm以下程度の波長に設定される。例えば、たんぱく、脂肪を検出したい場合は、1180~1240nmを中心波長(λ0)とし、水分に関連する成分を検出したい場合には、1400~1460nmを中心波長(λ1)とし、他方、いずれにも吸収されにくい波長を、参照波長して1500~1620nmを中心波長(λ2)して設定すればよい。
近赤外カメラ4は、処理装置10からの制御信号で指定されるタイミングで撮影を行う。近赤外カメラ4として、例えば、512画素程度のラインセンサカメラを用いることもできる。
近赤外カメラ4は、処理装置10からの制御信号で指定されるタイミングで撮影を行う。近赤外カメラ4として、例えば、512画素程度のラインセンサカメラを用いることもできる。
可視光照明装置5は、可視光により照射された領域が、被検査物8の搬送方向と平面視で直交する方向に延びる直線状の領域(以下、照射領域5aという。)となるように、可視光を出射する。可視光照明装置5は、具体的には、R(Red)、G(Green)、B(Blue)の3色の光を照射する。可視光照明装置5としては、例えば、白色LED照明装置を適用することができる。照射領域5aは、無端ベルト2bの幅方向の一端から他端まで延びている。これにより、搬送装置2で搬送される被検査物8全てが照射領域5aを通過することになり、その結果、搬送中の全ての被検査物8に対して可視光が照射されるようになっている。
可視光カメラ6は、無端ベルト2bの上面の直線状の照射領域5aを撮影可能な位置であり、且つ、近赤外カメラ4よりも搬送方向上流側であって、近赤外カメラ4と干渉しない位置に配置される。可視光カメラ6は、照射領域5aを通過する被検査物8で反射された可視光及び、被検査物8と共に異物等が混在している場合にはこの異物等で反射された可視光も集光し、R、G、Bの3つの波長成分からなる撮像画像(以下、可視光画像ともいう。)を処理装置10に出力する。また、可視光カメラ6は、処理装置10からの制御信号で指定されるタイミングで撮影を行う。可視光カメラ6としては、例えば、4096画素程度のカラーラインセンサカメラを用いることもできる。
処理装置10の異物判定手段12は、近赤外カメラ4からの近赤外波長成分としての波長成分λ0~λ2からなる近赤外画像と、可視光カメラ6からの可視光波長成分としての波長成分R、G、Bからなる可視光画像とを入力し、これらに基づき解析処理を実行し、異物の有無等を判定する。
また、処理装置10は、搬送装置2の搬送速度と、照射領域3aの位置と、照射領域5aの位置等をもとに、被検査物8が照射領域3a及び照射領域5aを通過するタイミングで、照射領域3a、5a内の被検査物8を撮影するように、近赤外カメラ4及び可視光カメラ6それぞれの撮影タイミングを決定し、撮影タイミングを指定する制御信号を近赤外カメラ4及び可視光カメラ6に出力する。また、近赤外カメラ4及び可視光カメラ6の撮影タイミングで照射領域3a、5aに対して光照射を行うように、近赤外光照射装置3及び可視光照明装置5に制御信号を出力する。
また、処理装置10は、搬送装置2の搬送速度と、照射領域3aの位置と、照射領域5aの位置等をもとに、被検査物8が照射領域3a及び照射領域5aを通過するタイミングで、照射領域3a、5a内の被検査物8を撮影するように、近赤外カメラ4及び可視光カメラ6それぞれの撮影タイミングを決定し、撮影タイミングを指定する制御信号を近赤外カメラ4及び可視光カメラ6に出力する。また、近赤外カメラ4及び可視光カメラ6の撮影タイミングで照射領域3a、5aに対して光照射を行うように、近赤外光照射装置3及び可視光照明装置5に制御信号を出力する。
例えば、図1の場合には、被検査物8が連続して搬送されるため、搬送中の全ての被検査物8が近赤外カメラ4及び可視光カメラ6のそれぞれによって撮影されるように定周期で撮影する。このとき、近赤外カメラ4及び可視光カメラ6による前後の撮影タイミングにおける撮像画像が重複するように撮影してもよい。このように前後の撮像画像が一部で重複するように撮影タイミングを設定することによって、前後の撮影タイミングの間で、撮影されない被検査物8が存在することを回避することが好ましい。
(異物検査処理の説明)
図2は、処理装置10において実行される異物検査の処理手順を説明するフローチャートである。処理装置10では、異物検査の処理を予め設定した定周期で実施する。この異物検査は、被検査物8を搬送装置2で搬送して、近赤外光および可視光を被検査物8に照射し、近赤外カメラ3、可視光カメラ6で撮像し、この近赤外画像、可視光画像を取り込み、取り込んだ画像データに基づいて、被検査物中に混入している異物を検出し、異物を検出したときは、検出した異物を排出し、あるいは警報を出力するなどの異物を排除するための処理を行う。
この異物検査装置には、異物が検出されたときは、搬送装置2を停止して、異物を排出する機構を設けることもできる。
図2は、処理装置10において実行される異物検査の処理手順を説明するフローチャートである。処理装置10では、異物検査の処理を予め設定した定周期で実施する。この異物検査は、被検査物8を搬送装置2で搬送して、近赤外光および可視光を被検査物8に照射し、近赤外カメラ3、可視光カメラ6で撮像し、この近赤外画像、可視光画像を取り込み、取り込んだ画像データに基づいて、被検査物中に混入している異物を検出し、異物を検出したときは、検出した異物を排出し、あるいは警報を出力するなどの異物を排除するための処理を行う。
この異物検査装置には、異物が検出されたときは、搬送装置2を停止して、異物を排出する機構を設けることもできる。
処理装置10は、波長成分R、G、Bからなる可視光画像を可視光カメラ6から取得し、所定の記憶領域に格納する(ステップS11)。同様に、波長成分λ0~λ2からなる近赤外画像を近赤外カメラ4から取得し、所定の記憶領域に格納する(ステップS12)。
そして、異物判定手段12は、取得した可視光画像を予め学習した異物画像と比較して、異物が被検査物8中に混在しているかをあらかじめ異物学習した画像データと比較することで、可視光での異物判定を行う(ステップS13)。同様に、異物判定手段12は、取得した近赤外画像をあらかじめ学習した異物の画像データと比較することで、近赤外光での異物判定を行う(ステップS14)。この異物判定は、可視光画像、近赤外画像についてそれぞれ異物の判定を行って、結果を出力する(ステップS15)。
この異物判定は、可視光画像、近赤外画像のそれぞれについて、ニューラルネットワークで構成された異物判定手段12があらかじめ学習した異物の、色彩、形状などの特徴量と比較することで、異物の判定が行われる。ここでは、異物について、可視光および近赤外光で十分な量の学習を行う、深層学習を行うことで、異物の判定を行っている。
なお、異物の判定において、可視光画像からは、色彩の情報を抽出することができるが、どのような成分であり、被検査物とその材質が異なるかの情報を抽出することは難しい。逆に、近赤外画像からは、被検査物が含む成分と異物とがその材質がどのように異なるかの情報を抽出することができるが、色彩の情報を抽出することは難しい。しかし、異物判定手段12では、可視光画像の色彩データと近赤外画像の成分データとの関係に基づいて異物が、例えば「赤い木綿糸」であるとか、「青いプラスチック製の糸」であるとかのとの推測が可能であり、近赤外画像、可視光画像のそれぞれに基づいて異物の判定はできる。
(異物学習方法の説明)
異物の判定を行うについては、予め異物のサンプルを学習して、学習した異物の画像に基づいて、異物を判定する必要がある。この異物学習は、異物検査のための教師データの生成であり、異物サンプルを学習して教師データ生成し、この教師データに基づいて異物検査を行う。以下では、学習手段11での異物の学習過程について説明する。
異物の学習は、複数種類の異物サンプルを搬送コンベアに載置して搬送し、その異物サンプルを近赤外光および可視光で撮像した画像に基づいて異物学習を行う。
異物としては、被検査物8を加工食品の原材料となる乾燥野菜としたときに、乾燥野菜に混入する可能性のある、樹脂類、糸類、木片、紙辺などを異物として想定し、その異物となるサンプルを乾燥野菜に混ぜて、搬送装置2に載置し、これを近赤外カメラ3、可視光カメラ5で撮像する。そして、撮像した画像を、処理装置10のディスプレイ13にそれぞれ、近赤外の画像、可視光の画像として、互いに並行に対応して表示する。そして、そこに表示される、異物サンプルの画像を異物であるとして、作業者がマーキングして指定し、指定された画像を異物として学習させる作業を繰り返す。
異物の判定を行うについては、予め異物のサンプルを学習して、学習した異物の画像に基づいて、異物を判定する必要がある。この異物学習は、異物検査のための教師データの生成であり、異物サンプルを学習して教師データ生成し、この教師データに基づいて異物検査を行う。以下では、学習手段11での異物の学習過程について説明する。
異物の学習は、複数種類の異物サンプルを搬送コンベアに載置して搬送し、その異物サンプルを近赤外光および可視光で撮像した画像に基づいて異物学習を行う。
異物としては、被検査物8を加工食品の原材料となる乾燥野菜としたときに、乾燥野菜に混入する可能性のある、樹脂類、糸類、木片、紙辺などを異物として想定し、その異物となるサンプルを乾燥野菜に混ぜて、搬送装置2に載置し、これを近赤外カメラ3、可視光カメラ5で撮像する。そして、撮像した画像を、処理装置10のディスプレイ13にそれぞれ、近赤外の画像、可視光の画像として、互いに並行に対応して表示する。そして、そこに表示される、異物サンプルの画像を異物であるとして、作業者がマーキングして指定し、指定された画像を異物として学習させる作業を繰り返す。
(異物の学習の概要)
この学習過程を図3のフローチャートを参照して説明する。
異物の学習は、異物の種類ごとにそれぞれ行われる。
異物のサンプルとしては、化繊を含む赤い糸、化繊を含む白い糸、透明のビニール破片、黒いビニールテープ破片、ナイロンひも、結束バンド、金属片、透明なセロハンテープ、緑色のセロハン紙、青いゴム製の手袋などを準備し、被検査物の食品材料としては、乾燥野菜として葉物野菜である、キャベツ・ネギ・青菜などである。乾燥野菜の色は、可視光で、緑色、白色になる。
この学習過程を図3のフローチャートを参照して説明する。
異物の学習は、異物の種類ごとにそれぞれ行われる。
異物のサンプルとしては、化繊を含む赤い糸、化繊を含む白い糸、透明のビニール破片、黒いビニールテープ破片、ナイロンひも、結束バンド、金属片、透明なセロハンテープ、緑色のセロハン紙、青いゴム製の手袋などを準備し、被検査物の食品材料としては、乾燥野菜として葉物野菜である、キャベツ・ネギ・青菜などである。乾燥野菜の色は、可視光で、緑色、白色になる。
学習では、まず、異物サンプルと乾燥野菜とをコンベアに載せて、学習する異物サンプルの種類を処理装置10に入力する。この異物サンプルの種別については、あらかじめ、学習ソフトウェア側で、学習する異物サンプルの種別を例示して表示し、作業者が表示された異物の種類を選択指示するようにしてもよい。
作業者(学習の作業者)は、異物サンプルと乾燥野菜とをコンベアに載せ、学習する異物サンプルの種類を指定して、撮像の指示をする。
搬送装置2のコンベアに載せられた異物サンプルと乾燥野菜とは、近赤外カメラ4と可視光カメラ6とにより撮像され、その画像は、処理装置10の学習手段11に取り込まれる(ステップS21、ステップS22)。
学習手段11は、取り込んだ近赤外画像と可視光画像とを、ディスプレイ11に並べて表示する(ステップS23)。このとき、取り込まれた近赤外画像と可視光画像とは、両者の位置が対応して表示されるように、同時に並列に並べられて表示される。すなわち、ディスプレイの画面上、左右に近赤外画像と可視光画像の画像位置(ベルトコンベアの搬送方向の位置)が一致するように表示され、取り込まれた異物サンプルと乾燥野菜の画像が対応して作業者に見えるように表示される。
作業者は、この左右の近赤外画像と可視光画像とを見ながら、異物サンプルの画像をマウス等のポインタを用いてマークして、異物サンプルであることを指定していく(ステップS24)。
このマークによる指定によって、学習手段11は、マークされた異物の画像の色、形等の特徴を抽出して、学習を行う。学習としては、ニューラルネットワークを用いた深層学習などを用いる。
そして、用意したすべての異物サンプルについて学習させ、すべてのサンプルについて学習させると、学習過程は終了する(ステップS25)。
異物サンプルとして、乾燥野菜に混入するおそれのある異物として、上述の異物を用意し、異物ごとに、それぞれ、30個以上マーキングして、学習させる。
作業者(学習の作業者)は、異物サンプルと乾燥野菜とをコンベアに載せ、学習する異物サンプルの種類を指定して、撮像の指示をする。
搬送装置2のコンベアに載せられた異物サンプルと乾燥野菜とは、近赤外カメラ4と可視光カメラ6とにより撮像され、その画像は、処理装置10の学習手段11に取り込まれる(ステップS21、ステップS22)。
学習手段11は、取り込んだ近赤外画像と可視光画像とを、ディスプレイ11に並べて表示する(ステップS23)。このとき、取り込まれた近赤外画像と可視光画像とは、両者の位置が対応して表示されるように、同時に並列に並べられて表示される。すなわち、ディスプレイの画面上、左右に近赤外画像と可視光画像の画像位置(ベルトコンベアの搬送方向の位置)が一致するように表示され、取り込まれた異物サンプルと乾燥野菜の画像が対応して作業者に見えるように表示される。
作業者は、この左右の近赤外画像と可視光画像とを見ながら、異物サンプルの画像をマウス等のポインタを用いてマークして、異物サンプルであることを指定していく(ステップS24)。
このマークによる指定によって、学習手段11は、マークされた異物の画像の色、形等の特徴を抽出して、学習を行う。学習としては、ニューラルネットワークを用いた深層学習などを用いる。
そして、用意したすべての異物サンプルについて学習させ、すべてのサンプルについて学習させると、学習過程は終了する(ステップS25)。
異物サンプルとして、乾燥野菜に混入するおそれのある異物として、上述の異物を用意し、異物ごとに、それぞれ、30個以上マーキングして、学習させる。
(異物ごとの学習の実際)
以下異物学習の一例として、「ポリエチレンひも」、「透明なビニール」、「緑色のセロハン紙」の例で説明する。
(赤いポリエチレンのひもの例)
図4は、異物サンプルとして、赤いポリエチレンのひものサンプル(ひもの破片)が乾燥野菜としてキャベツの葉片と共に撮像して学習させる例である。
処理装置10のディスプレイ13には、被検査物の製品名として「キャベツ」が表示されている。また、異物の種類の表示欄が設けられており、表示された異物サンプルの種別の欄を参考にして、学習する異物の種類を「ポリエチレンひも」として種別が表示される欄の下部のファイル作成欄に指定する。
近赤外画像と、可視光画像とが並べて表示されており、ポリエチレンひもは、材質が「キャベツ」と異なるため、近赤外画像で乾燥野菜の中から識別でき、また、色彩が「赤」であるため、可視光画像でも識別できる。作業者は、この表示された近赤外画像および可視光画像の中から、「赤いポリエチレンひも」のサンプルの画像をクリックしてマーキングし、異物であることを指定して、学習させる。マーキングを行うと、異物の周囲に四角の領域が表示される。図4の表示例では、近赤外画像と可視光画像のそれぞれ4カ所をマーキングされている。マーキングすると、画像一覧の欄に、画像名としてマーキングした「ポリエチレンひも」の画像が登録されたことが表示される。画像をスクロールしながら、撮像された乾燥野菜の中から、「ポリエチレンひも」の画像をマーキングして、「ポリエチレンひも」を学習させる。
なお、このとき、異物(サンプル)の色も指定できるように、異物の種類名と異物の色をディスプレイに表示することができる。
「ポリエチレンひも」は、樹脂製で天然素材ではないので、近赤外光での検出が可能であり、また、色が「赤」であるため、可視光での検出も可能である。
なお、画面上の近赤外画像と可視光画像の表示の上部に見られる矩形の画像は、異物学習の際に搬送路2の上面に置かれる白い樹脂製のマーカーの画像である。
以下異物学習の一例として、「ポリエチレンひも」、「透明なビニール」、「緑色のセロハン紙」の例で説明する。
(赤いポリエチレンのひもの例)
図4は、異物サンプルとして、赤いポリエチレンのひものサンプル(ひもの破片)が乾燥野菜としてキャベツの葉片と共に撮像して学習させる例である。
処理装置10のディスプレイ13には、被検査物の製品名として「キャベツ」が表示されている。また、異物の種類の表示欄が設けられており、表示された異物サンプルの種別の欄を参考にして、学習する異物の種類を「ポリエチレンひも」として種別が表示される欄の下部のファイル作成欄に指定する。
近赤外画像と、可視光画像とが並べて表示されており、ポリエチレンひもは、材質が「キャベツ」と異なるため、近赤外画像で乾燥野菜の中から識別でき、また、色彩が「赤」であるため、可視光画像でも識別できる。作業者は、この表示された近赤外画像および可視光画像の中から、「赤いポリエチレンひも」のサンプルの画像をクリックしてマーキングし、異物であることを指定して、学習させる。マーキングを行うと、異物の周囲に四角の領域が表示される。図4の表示例では、近赤外画像と可視光画像のそれぞれ4カ所をマーキングされている。マーキングすると、画像一覧の欄に、画像名としてマーキングした「ポリエチレンひも」の画像が登録されたことが表示される。画像をスクロールしながら、撮像された乾燥野菜の中から、「ポリエチレンひも」の画像をマーキングして、「ポリエチレンひも」を学習させる。
なお、このとき、異物(サンプル)の色も指定できるように、異物の種類名と異物の色をディスプレイに表示することができる。
「ポリエチレンひも」は、樹脂製で天然素材ではないので、近赤外光での検出が可能であり、また、色が「赤」であるため、可視光での検出も可能である。
なお、画面上の近赤外画像と可視光画像の表示の上部に見られる矩形の画像は、異物学習の際に搬送路2の上面に置かれる白い樹脂製のマーカーの画像である。
(透明なプラスチックの異物の学習)
次に、図5は、透明なビニールの破片が混在した例である。この場合、異物はプラスチックのビニールであることから、近赤外光では乾燥野菜とは異なる吸光率をもつので、近赤外画像で異物として判定することができる。一方、可視光では、透過して無色となるので、可視光では異物として識別できない。
したがって、異物の種類をビニールとして指定し、異物のサンプルの撮像画像を近赤外光、可視光で表示したとき、可視光の画像では、異物として指定することはできない。しかし、近赤外光では異物として視認できるので、近赤外光の画像中で、透明なビニールの破片の画像を異物としてマーキングすることで、ビニールの異物を学習できる。
次に、図5は、透明なビニールの破片が混在した例である。この場合、異物はプラスチックのビニールであることから、近赤外光では乾燥野菜とは異なる吸光率をもつので、近赤外画像で異物として判定することができる。一方、可視光では、透過して無色となるので、可視光では異物として識別できない。
したがって、異物の種類をビニールとして指定し、異物のサンプルの撮像画像を近赤外光、可視光で表示したとき、可視光の画像では、異物として指定することはできない。しかし、近赤外光では異物として視認できるので、近赤外光の画像中で、透明なビニールの破片の画像を異物としてマーキングすることで、ビニールの異物を学習できる。
次に、図6は、異物サンプルとして、化繊を含む赤いひもを異物として乾燥野菜に混在させてと撮像した例である。
化繊は、素材が天然素材でないため、近赤外光のλ1、λ2の吸光率の乾燥野菜との差が大きく、近赤外光で撮像した乾燥野菜の画像の中から、容易に識別することができる。また、赤いひもは、可視光で撮像した画像の中では、白色あるいは緑色の乾燥野菜の中で、色違いであるから、その識別は、容易である。
このとき、近赤外光で撮像した近赤外画像の中と、可視光で撮像した可視光画像の中から、赤い糸状のひもをマーキングすることで、赤いひもを異物として学習することができる。
化繊は、素材が天然素材でないため、近赤外光のλ1、λ2の吸光率の乾燥野菜との差が大きく、近赤外光で撮像した乾燥野菜の画像の中から、容易に識別することができる。また、赤いひもは、可視光で撮像した画像の中では、白色あるいは緑色の乾燥野菜の中で、色違いであるから、その識別は、容易である。
このとき、近赤外光で撮像した近赤外画像の中と、可視光で撮像した可視光画像の中から、赤い糸状のひもをマーキングすることで、赤いひもを異物として学習することができる。
(天然素材の異物の学習)
(緑のセロハン紙)
図7は、素材が天然素材で、色が「緑色」のセロハン紙のサンプルを異物として学習させる画面を示す。
この場合、「緑色」のセロハン紙は、天然素材であるが染料等が練りこまれているため、近赤外画像の吸光率の差は少ないが撮像できるものがある。また、可視光画像では、色は、乾燥野菜のキャベツと同系色であるので、撮像できるがマーキングすると過検出する。しかし、色ではなく近赤外画像は、反射角度によって、吸光されて視認できる画像がある。そこで、「緑色」のセロハン紙のサンプルについては、近赤外画像の可視光画像の位置の画像で異物の形状が視認できる場合は、異物としてマーキングし、可視光画像については、異物としてマーキングしないで学習させる。
これは、近赤外画像で、吸光率が乾燥野菜と類似であるかもしれないが、近赤外画像のデータで可能な限り、異物として学習することを意味する。
なお、天然素材で透明なセロハンテープについても同様である。
(緑のセロハン紙)
図7は、素材が天然素材で、色が「緑色」のセロハン紙のサンプルを異物として学習させる画面を示す。
この場合、「緑色」のセロハン紙は、天然素材であるが染料等が練りこまれているため、近赤外画像の吸光率の差は少ないが撮像できるものがある。また、可視光画像では、色は、乾燥野菜のキャベツと同系色であるので、撮像できるがマーキングすると過検出する。しかし、色ではなく近赤外画像は、反射角度によって、吸光されて視認できる画像がある。そこで、「緑色」のセロハン紙のサンプルについては、近赤外画像の可視光画像の位置の画像で異物の形状が視認できる場合は、異物としてマーキングし、可視光画像については、異物としてマーキングしないで学習させる。
これは、近赤外画像で、吸光率が乾燥野菜と類似であるかもしれないが、近赤外画像のデータで可能な限り、異物として学習することを意味する。
なお、天然素材で透明なセロハンテープについても同様である。
上述の具体的な異物サンプルについての学習過程を説明するフローチャートを図8に示す。まず、異物サンプルが被検査物と同じ素材(天然素材)であるか、否かを判別する(ステップS31)。異物サンプルが、プラスチックなどの天然素材でないときは、近赤外画像で識別できるので、近赤外画像で異物サンプルをマーキングして学習させる(ステップS32)。このとき、異物サンプルと色が違うときは、可視光画像もマーキングできる。異物サンプルが、天然素材である場合には、被検査物と近い色であるか否かにより学習過程が異なる(ステップS33)。被検査物とは近い色ではない場合は、可視光画像で識別できるので、可視光画像で異物サンプルをマーキングして学習させる(ステップS34)。被検査物と近い色の場合には、可視光画像ではマーキングせずに、近赤外画像で視認できる場合にマーキングして学習させる(ステップS35)。
なお、上述の判定において、近い色であるか否かは、測色計を用いて、被検査物との色差の値を計測して、その色差により、自動的に学習過程を分岐することが可能である。
なお、上述の判定において、近い色であるか否かは、測色計を用いて、被検査物との色差の値を計測して、その色差により、自動的に学習過程を分岐することが可能である。
(可視光画像でマーキングしないでおく作用効果)
被検査物の乾燥野菜と同じ天然素材で、色彩が乾燥野菜に似たセロハン紙は、色で乾燥野菜と同じ色であると判別ができない。しかし、近赤外画像で、セロハン紙の反射を検出できるので、可視光画像で異物として学習させるのではなく、近赤外画像で異物として学習させておくと、近赤外画像で異物として検出するが可視光画像で色彩と形状が似た乾燥野菜を異物として過剰に検出することはなくなる。
このように、被検査物とその素材の材質が似ており、近赤外光の「吸光率」による差が無い「異物サンプル」であって、被検査物の色彩と近い色を有する「異物サンプル」については、可視光画像上で異物として視認される位置に対応する近赤外画像上の位置の画像で異物として視認できるものを異物として指定して学習させている。このため、可視光画像では異物であるとはされないが、近赤外画像では、異物として判定されるので、近赤外画像、可視光画像のそれぞれで、異物判定を行うと、過剰に異物を検出する現象を低減することができる。これにより、生産の滞り、廃棄物の増大によるコストへの波及を低減することが可能である。
被検査物の乾燥野菜と同じ天然素材で、色彩が乾燥野菜に似たセロハン紙は、色で乾燥野菜と同じ色であると判別ができない。しかし、近赤外画像で、セロハン紙の反射を検出できるので、可視光画像で異物として学習させるのではなく、近赤外画像で異物として学習させておくと、近赤外画像で異物として検出するが可視光画像で色彩と形状が似た乾燥野菜を異物として過剰に検出することはなくなる。
このように、被検査物とその素材の材質が似ており、近赤外光の「吸光率」による差が無い「異物サンプル」であって、被検査物の色彩と近い色を有する「異物サンプル」については、可視光画像上で異物として視認される位置に対応する近赤外画像上の位置の画像で異物として視認できるものを異物として指定して学習させている。このため、可視光画像では異物であるとはされないが、近赤外画像では、異物として判定されるので、近赤外画像、可視光画像のそれぞれで、異物判定を行うと、過剰に異物を検出する現象を低減することができる。これにより、生産の滞り、廃棄物の増大によるコストへの波及を低減することが可能である。
上記の例では、被検査物と異物サンプルとの色が近い色を、色空間(L*a*b*))の色差ΔEの値として「70以下」として学習させたが、同程度の色差に相当する、他の色空間の色差を用いることもできる。
(変形例の説明)
(深層学習と非深層学習との組み合わせ)
以上述べた実施の形態は、異物検査装置1の処理装置10は、予め異物サンプルを近赤外光および可視光で撮像して、深層学習を行って、異物判定を行うものであったが、被検査物に対する異物判定において、異物サンプルの深層学習を行って異物判定をする異物検査と、異物サンプルの深層学習を行わずに異物判定をする異物検査とを組み合わせる異物検査が可能である。
(深層学習と非深層学習との組み合わせ)
以上述べた実施の形態は、異物検査装置1の処理装置10は、予め異物サンプルを近赤外光および可視光で撮像して、深層学習を行って、異物判定を行うものであったが、被検査物に対する異物判定において、異物サンプルの深層学習を行って異物判定をする異物検査と、異物サンプルの深層学習を行わずに異物判定をする異物検査とを組み合わせる異物検査が可能である。
図9は、そのような異物検査装置の構成を示すものである。異物検査装置1の処理装置10の異物判定手段12として、予め学習手段11により、異物サンプルでの深層学習を行ったDL異物判定D121、深層学習をせずに異物判定を行う非DL異物判定122とを備える。
DL異物判定121は、図1から図8の実施の形態で説明した異物サンプルによって深層学習を施された異物判定手段である。非DL異物判定122は、深層学習によって異物サンプルの学習をしない異物判定手段であり、近赤外カメラ4、可視光カメラ6によって撮像した被検査物の画像データに基づいて異物判定を行い、DL異物判定121、非DL異物判定122は、それぞれ異物判定の結果を出力することができる。
DL異物判定121は、図1から図8の実施の形態で説明した異物サンプルによって深層学習を施された異物判定手段である。非DL異物判定122は、深層学習によって異物サンプルの学習をしない異物判定手段であり、近赤外カメラ4、可視光カメラ6によって撮像した被検査物の画像データに基づいて異物判定を行い、DL異物判定121、非DL異物判定122は、それぞれ異物判定の結果を出力することができる。
ここで、予め深層学習によって異物を学習していない非DL異物判定122は、近赤外カメラ4と可視光カメラ6で撮像した被検査物の画像データから、可視光による被検査物の色、形状、近赤外光による被検査物の材質のデータから、被検査物が乾燥野菜の場合、乾燥野菜から異物を判定する。
例えば、天然素材の糸が異物であったとき、深層学習した近赤外画像では異物と判定することは難しいが、糸を深層学習した可視光画像では異物の判定は可能である。一方、深層学習をしていない可視光画像では、糸を学習していないので、糸の識別は難しい。このため、深層学習をした可視光画像での異物判定を用いれば、異物として糸が混在しているとの異物検出の信号を出力できる。
例えば、天然素材の糸が異物であったとき、深層学習した近赤外画像では異物と判定することは難しいが、糸を深層学習した可視光画像では異物の判定は可能である。一方、深層学習をしていない可視光画像では、糸を学習していないので、糸の識別は難しい。このため、深層学習をした可視光画像での異物判定を用いれば、異物として糸が混在しているとの異物検出の信号を出力できる。
また、異物が白い綿糸であって、被検査物が白いキャベツであった場合、可視光画像では、可視光カメラで撮像したどちらの画像でもキャベツと同じ色であるため、異物の検出は難しい。しかし、深層学習において、異物サンプルの学習において、可視光画像に対応する近赤外画像では、利用者が異物学習において、異物であるとしてマーキングして、近赤外画像においても異物として指定しているので、被検査物に異物が混入していても、深層学習をした異物検査装置で、異物を検出したとの情報が出力できる。
深層学習による深層学習をした異物判定と、深層学習をしない異物判定の両方で、異物を検出したとの判定がされた場合は、被検査物の搬送を一旦止める措置を行う、また、一方のみで、異物を検出したとの判定がされた場合は、異物排出手段を用いて、当該異物と判定された領域の被検査物を排出するとの措置をとることができる。深層学習をしない異物判定に、検出条件の設定により、どちらかというと、過検出を行う傾向があったとしても、異物検出の結果に対する対応にランク付けをすれば、異物検出に対して生産工程を止めないなどの適切な対応が可能である。
これにより、異物判定の程度についてランクを設けて、被検査物に混入している異物に対する処置の程度を設定することができる。
これにより、異物判定の程度についてランクを設けて、被検査物に混入している異物に対する処置の程度を設定することができる。
(他の変形例の説明)
図8に示した学習過程は、作業者が行うこともできるし、その処理を、一部または全部を処理装置10が実行することもできる。処理装置10が行う場合、異物かどうかの判断は、例えば、素材や色以外の特徴(例えば、形)、場所、特徴量の組み合わせを利用して行うことができる。
上述の異物検査装置1として、近赤外光照明装置3、可視光照明装置5をそれぞれ備え、近赤外カメラ4、可視光カメラ6とは別々の位置に設けた例で説明したが、近赤外カメラ4、可視光カメラ6は、同一の光路から分光した構成とし、近赤外光および可視光を照射する光源を一つとした構成でもよい。この場合は、近赤外画像と可視光画像と撮像位置が同じになるので、近赤外画像と可視光画像の領域が一致するように、調整処理を行う処理をする必要はなくなる。
異物のサンプルの種類は、上述の例に限られるものではない。また、上述の実施の形態の説明としては、食品材料として、乾燥野菜を例にとって説明したが、これに限られるものではない。例えば、コーヒー豆や、豆類に混入している異物を検出したり、被検査物に含まれている成分とは異なる成分のものが含まれているか否かを判別することもできる。
図8に示した学習過程は、作業者が行うこともできるし、その処理を、一部または全部を処理装置10が実行することもできる。処理装置10が行う場合、異物かどうかの判断は、例えば、素材や色以外の特徴(例えば、形)、場所、特徴量の組み合わせを利用して行うことができる。
上述の異物検査装置1として、近赤外光照明装置3、可視光照明装置5をそれぞれ備え、近赤外カメラ4、可視光カメラ6とは別々の位置に設けた例で説明したが、近赤外カメラ4、可視光カメラ6は、同一の光路から分光した構成とし、近赤外光および可視光を照射する光源を一つとした構成でもよい。この場合は、近赤外画像と可視光画像と撮像位置が同じになるので、近赤外画像と可視光画像の領域が一致するように、調整処理を行う処理をする必要はなくなる。
異物のサンプルの種類は、上述の例に限られるものではない。また、上述の実施の形態の説明としては、食品材料として、乾燥野菜を例にとって説明したが、これに限られるものではない。例えば、コーヒー豆や、豆類に混入している異物を検出したり、被検査物に含まれている成分とは異なる成分のものが含まれているか否かを判別することもできる。
上述の実施の形態では、処理装置10は、異物の学習を行う学習手段11と異物の判定を行う異物判定手段12とを持ち、異物検査を行う処理装置と、異物の学習を行う処理装置は一つのものとして説明しているが、異物検査を行う異物検査装置と、異物の学習を行う異物学習装置とは別のものとしてもよい。例えば、異物検査装置と異物学習装置の上位に、サーバーを備え、サーバーに異物学習装置で学習した異物検出のためのソフトウェアおよび記憶を置き、上位のサーバーに接続された異物検査装置で被検査物の異物検査を行うようにしてもよい。異物学習装置と異物検査装置とを分離することで、食品生産過程において、複数の異物検査装置を並行に使用して、食品加工を実行できる効果がある。
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるのではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。
1 異物検査装置
2 搬送装置
2a ローラ
2b 無端ベルト
3 近赤外光照射装置
4 近赤外カメラ
5 可視光照射装置
6 可視光カメラ
8 被検査物
10 処理装置
11 学習手段
12 異物判定手段
13 ディスプレイ
2 搬送装置
2a ローラ
2b 無端ベルト
3 近赤外光照射装置
4 近赤外カメラ
5 可視光照射装置
6 可視光カメラ
8 被検査物
10 処理装置
11 学習手段
12 異物判定手段
13 ディスプレイ
Claims (6)
- 予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データの生成方法であり、
学習させる異物サンプルを撮像し、その撮像された異物サンプルの可視光画像を表示するステップと表示された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定するステップを有し、
前記異物として指定するステップは、
可視光画像でも異物として視認できる異物サンプルであって、被検査物と色空間(L*a*b)の色差が70以下または同等の色差を有する異物サンプルに対して、可視光画像では異物として指定せず、70を超えまたは同等の色差を有する異物サンプルの可視光画像に対して異物として指定する、
ことを特徴とする教師データ生成方法。 - 請求項1に記載の教師データの生成方法であって、
可視光カメラで撮像した異物サンプルの可視光画像で異物の指定を行う、
ことを特徴とする教師データ生成方法。 - 搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物サンプルの可視光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
可視光画像で異物として視認できる異物サンプルであって前記被検査物と色空間(L*a*b)の色差が70以下または同等の色差を有する異物サンプルに対して、可視光画像では異物として指定せず、70を超えまたは同等の色差を有する異物サンプルの可視光画像に対して異物として指定して学習する、
ことを特徴とする異物検査装置。 - 請求項3に記載の異物検査装置であって、
前記可視光カメラで撮像した異物サンプルの可視光画像で異物の指定を行う、
ことを特徴とする異物検査装置。 - 搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検査方法であって、可視光で異物サンプルを撮像して、教師データの生成を行う教師データ生成ステップと、
可視光を、前記被検査物に照射する光照射ステップと、
前記光照射ステップにより照射された前記被検査物を可視光で撮像する可視光撮像ステップと、
前記光照射ステップで撮像された可視光画像に基づいて、前記被検査物に異物が混入しているかを判定する異物判定ステップと
を有し、
前記教師データ生成ステップにおいて、可視光画像で異物として視認できる異物サンプルであって前記被検査物と色空間(L*a*b)の色差が70以下または同等の色差を有する異物サンプルに対しては、可視光画像では異物として指定せず、70を超えまたは同等の色差を有する異物サンプルの可視光画像に対して異物として指定して学習させる、
ことを特徴とする異物検査方法。 - 請求項3に記載の異物検査装置であって、
前記異物判定手段は、学習手段で予め深層学習した異物サンプルの可視光画像を参照して前記被検査物の異物の判定を行う第一の異物判定手段と、異物サンプルの学習をせずに可視光画像に基づいて前記被検査物の異物の判定を行う第二の異物判定手段を備え、
前記異物判定手段は、前記第一の異物判定手段、前記第二の異物判定手段の双方が異物判定したときは、前記搬送路を停止させる、
ことを特徴とする異物検査装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122804 | 2020-07-17 | ||
JP2020122804 | 2020-07-17 | ||
JP2021098751A JP7053075B2 (ja) | 2020-07-17 | 2021-06-14 | 教師データ生成方法および異物検査装置ならびに異物検査方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021098751A Division JP7053075B2 (ja) | 2020-07-17 | 2021-06-14 | 教師データ生成方法および異物検査装置ならびに異物検査方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022088495A true JP2022088495A (ja) | 2022-06-14 |
Family
ID=80203693
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021098751A Active JP7053075B2 (ja) | 2020-07-17 | 2021-06-14 | 教師データ生成方法および異物検査装置ならびに異物検査方法 |
JP2022048427A Pending JP2022088495A (ja) | 2020-07-17 | 2022-03-24 | 教師データ生成方法および異物検査装置ならびに異物検査方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021098751A Active JP7053075B2 (ja) | 2020-07-17 | 2021-06-14 | 教師データ生成方法および異物検査装置ならびに異物検査方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7053075B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7440044B2 (ja) | 2022-02-08 | 2024-02-28 | ユーシーシー上島珈琲株式会社 | コーヒー豆類の良品識別機能を備える良品検査システムおよび良品検査方法 |
KR102442972B1 (ko) * | 2022-04-05 | 2022-09-14 | (주)엠에스아이티 | 이미지 프로세싱을 통한 원자재에 포함된 이물질 판별 시스템 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015114226A (ja) * | 2013-12-12 | 2015-06-22 | ジェイティエンジニアリング株式会社 | 外観検査装置及び外観検査方法 |
CN106824824A (zh) * | 2016-10-26 | 2017-06-13 | 湖南理工学院 | 一种具有前置图像处理及反射式光谱单元的塑料分选系统 |
CN109420622A (zh) * | 2017-08-27 | 2019-03-05 | 南京理工大学 | 基于卷积神经网络的烟叶分拣方法 |
JP2020051982A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 画像検査装置及び検査モデル構築システム |
JP2020051981A (ja) * | 2018-09-28 | 2020-04-02 | Jfeテクノリサーチ株式会社 | 検査装置 |
JP7262766B2 (ja) * | 2019-07-17 | 2023-04-24 | 株式会社大道産業 | 異物の検出装置 |
-
2021
- 2021-06-14 JP JP2021098751A patent/JP7053075B2/ja active Active
-
2022
- 2022-03-24 JP JP2022048427A patent/JP2022088495A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2022019569A (ja) | 2022-01-27 |
JP7053075B2 (ja) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11830179B2 (en) | Food inspection assisting system, food inspection assisting apparatus and computer program | |
JP2022088495A (ja) | 教師データ生成方法および異物検査装置ならびに異物検査方法 | |
AU2013347861B2 (en) | Scoring and controlling quality of food products | |
KR101656635B1 (ko) | 어종 판별 장치 및 어종 판별 방법 | |
JP4209926B1 (ja) | 近赤外線を用いた包装食品の検査装置 | |
WO2008016309A1 (en) | Multi-modal machine-vision quality inspection of food products | |
WO2019151393A1 (ja) | 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法 | |
US20080204733A1 (en) | Sensing in Meat Products and the Like | |
GB2446822A (en) | Quality control of meat products using optical imaging | |
WO2017029864A1 (ja) | 卵の検査装置及び卵の選別システム | |
JP2007178407A (ja) | 検査対象物の異物混入検査方法及びこれに用いる異物混入検査装置 | |
JP2006133052A (ja) | 異物検査方法及び装置 | |
JP4708904B2 (ja) | 木材の検査方法及び装置及びプログラム | |
JP6448697B2 (ja) | 検査装置、ptp包装機及びptpシートの製造方法 | |
JP6699694B2 (ja) | 検査システム、検査方法 | |
JP2022132878A (ja) | 卵検査装置および卵検査方法 | |
JP6466496B2 (ja) | 検査装置、ptp包装機及びptpシートの製造方法 | |
KR102205445B1 (ko) | 다분광 형광 영상을 이용한 가공 채소류 측 이물질 검출시스템 및 검출방법 | |
JP2020051981A (ja) | 検査装置 | |
JP7054373B2 (ja) | 外観検査装置および外観検査方法 | |
Heitschmidt et al. | Improved imaging system for fecal detection | |
JP4019008B2 (ja) | 青果物の光沢検査装置及び光沢検査方法 | |
Lawrence et al. | Hyperspectral imaging for poultry contaminant detection | |
JP6572648B2 (ja) | 粒状樹脂検査装置ならびに検査方法 | |
JPH06229957A (ja) | 材質判別方法 |