JP2020051783A - 食品の検査方法及び検査装置 - Google Patents

Abstract

【課題】異物が混入していない良品であるか、異物が混入した不良品であるかを安定して検査できる食品の検査方法及び検査装置を提供する。【解決手段】本発明の食品の検査方法は、食品に異物が混入しているか否かを検査する食品の検査方法であって、異物が混入していない食品を良品として撮像した良品画像と、異物が混入した食品を不良品として撮像した不良品画像とを、学習用Ｘ線透過画像群として取得する学習用Ｘ線透過画像群取得工程と、学習用Ｘ線透過画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習工程と、検査対象とする前記食品の外観を撮像したＸ線透過画像を取得するＸ線透過画像取得工程と、学習済みの前記畳み込みニューラルネットワークを用いて、前記Ｘ線透過画像内の前記食品が前記良品又は前記不良品であるか否かを判定する判定工程と、を備える。【選択図】図１

Description

本発明は、食品の検査方法及び検査装置に関する。

近年、非破壊、非接触かつ高速で異物検査が可能な優れた特性を持つＸ線検査装置が知られている（例えば特許文献１参照）。乳製品や菓子などの食品は、通常箱や袋などの包装容器で包装されて出荷される。そのため、食品を包装した状態で非破壊に検査できるＸ線検査装置は、食品や医薬品製造などの場で現在最も広範に用いられている。

従来の画像処理による食品のＸ線検査では、食品にＸ線を照射し、Ｘ線の透過量を計測してＸ線透過画像を得る。Ｘ線検査では、Ｘ線透過画像から食品の濃度と異物の濃度をそれぞれ測定して異物抽出の濃度閾値を予め設定しておき、取得したＸ線透過画像の濃度分布内に、閾値を超える濃度の特異箇所があるかを調べて異物混入の有無を判定する。一般に、Ｘ線の透過量は、Ｘ線を照射する対象物の密度と相関があり、対象物の密度が低いほどＸ線の透過能は高く、対象物の密度が高いほどＸ線の透過能は低い。そのため、原理上、食品と異物との密度差が大きいほど、Ｘ線透過画像における食品と異物の濃度差も大きくなり、安定した異物検出が可能である。

特開２０１８−１３８８９９号公報

しかしながら、食品に混入した異物によっては、食品との密度差が小さく、Ｘ線透過画像において異物と食品との間に僅かな濃度差しか得られずに検査不能となるケースがあり、安定した異物検査ができない場合があった。そのため、異物が混入していない良品であるか、異物が混入した不良品であるかを安定して検査できる食品の検査方法が求められている。

そこで、本発明は、異物が混入していない良品であるか、異物が混入した不良品であるかを安定して検査できる食品の検査方法及び検査装置を提供することを目的とする。

本発明に係る食品の検査方法は、食品に異物が混入しているか否かを検査する食品の検査方法であって、前記異物が混入していない前記食品を良品として撮像した良品画像と、前記異物が混入した前記食品を不良品として撮像した不良品画像とを、学習用Ｘ線透過画像群として取得する学習用Ｘ線透過画像群取得工程と、前記学習用Ｘ線透過画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習工程と、検査対象とする前記食品の外観を撮像したＸ線透過画像を取得するＸ線透過画像取得工程と、学習済みの前記畳み込みニューラルネットワークを用いて、前記Ｘ線透過画像内の前記食品が前記良品又は前記不良品であるか否かを判定する判定工程と、を備える、ものである。

また、本発明に係る食品の検査装置は、食品に異物が混入しているか否かを検査する食品の検査装置であって、前記異物が混入していない前記食品を良品として撮像した良品画像と、前記異物が混入した前記食品を不良品として撮像した不良品画像とを、学習用Ｘ線透過画像群として取得する学習用Ｘ線透過画像群取得部と、前記学習用Ｘ線透過画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習部と、前記食品の外観を撮像したＸ線透過画像を取得する画像取得部と、学習済みの前記畳み込みニューラルネットワークを用いて、前記Ｘ線透過画像内の前記食品が前記良品又は前記不良品であるか否かを判定する判定部と、を備える、ものである。

本発明の方法によれば、従来の画像処理では検出が困難であったＸ線透過画像における食品との濃度差が小さい異物も検出でき、異物が混入していない良品であるか、異物が混入した不良品であるかを安定して検査できる。

本発明における、食品の検査装置の全体構成を示す概略図である。 演算処理装置の回路構成を示すブロック図である。 図３Ａは、良品画像と判定結果を示す図であり、図３Ｂは、異物が紙片である不良品画像と判定結果を示す図であり、図３Ｃは、異物が樹脂片（テフロン）である不良品画像と判定結果を示す図であり、図３Ｄは異物が樹脂片（バイトン）である不良品画像と判定結果を示す画像である。

以下、本発明の実施形態について詳細に説明する。下記の実施形態では、６Ｐプロセスチーズを検査対象の食品の一例として本発明の食品の検査方法及び検査装置を説明する。６Ｐプロセスチーズは、円柱形状に成型されたプロセスチーズを扇形に６等分してそれぞれアルミ箔で個包装したものである。６個の６Ｐプロセスチーズが円筒形状の紙製の包装容器に円形状に配置、収容され、６Ｐプロセスチーズ製品として出荷される。下記実施形態では、６Ｐプロセスチーズをこのような６Ｐプロセスチーズ製品の状態で検査する。なお、包装容器は、円形状に配置した６個の６Ｐプロセスチーズとほぼ同じサイズの円筒形状の本体と、本体にかぶせる円筒形状の蓋とでなる。

＜本発明による食品の検査装置の全体構成＞
図１は、本発明による、食品としての６Ｐプロセスチーズの検査装置１の全体構成を示す概略図である。検査装置１は、図示しない包装機から送られてくる６Ｐプロセスチーズ製品２の包装容器内や６Ｐプロセスチーズ内に、何らかの異物が混入しているか否かを検査し、不良品と判定された６Ｐプロセスチーズ製品２を生産ラインから自動的に排除するものである。この場合、検査装置１は、６Ｐプロセスチーズ製品２を搬送する搬送装置１０と、Ｘ線照射装置４と、Ｘ線透過量測定装置５と、演算処理装置６と、制御装置７と、同期センサ９と、不良品排除装置８とを備える。

搬送装置１０は、６Ｐプロセスチーズ製品２をＸ線照射装置４のＸ線照射範囲に導く第１の搬送路１０ａと、不良品排除装置８が設けられた第２の搬送路１０ｂと、６Ｐプロセスチーズ製品２を次工程の装置へと搬送する第３の搬送路１０ｃとを備えている。搬送装置１０は、第１の搬送路１０ａの下流に、第２の搬送路１０ｂ及び第３の搬送路１０ｃがこの順に配置されている。搬送装置１０は、６Ｐプロセスチーズ製品２を第１の搬送路１０ａから第２の搬送路１０ｂへと搬送する。これにより、６Ｐプロセスチーズ製品２は、第１の搬送路１０ａによって、Ｘ線照射装置４のＸ線照射範囲を通過した後、不良品排除装置８に送られる。搬送装置１０は、不良品排除装置８によって生産ラインから排除されなかった６Ｐプロセスチーズ製品２を、第２の搬送路１０ｂから第３の搬送路１０ｃへと搬送し、さらに、第３の搬送路１０ｃによって次工程の装置へと搬送する。

本実施形態の場合、第１の搬送路１０ａは載置面Ｓ１が水平になるように設置されており、第１の搬送路１０ａにおける載置面Ｓ１は、凹凸が形成されておらず、平坦状に形成されている。これにより、６Ｐプロセスチーズ製品２は、第１の搬送路１０ａの載置面Ｓ１に載置されると、６Ｐプロセスチーズ製品２の上面が、載置面Ｓ１に対して傾くことがなく、後述のＸ線照射装置４から照射されるＸ線の照射方向に対してほぼ垂直となり、６Ｐプロセスチーズ製品２にＸ線が均一に照射される。第１の搬送路１０ａ、第２の搬送路１０ｂ及び第３の搬送路１０ｃは、例えば、ベルトコンベアなどからなる。

第１の搬送路１０ａには、同期センサ９及びＸ線照射装置４が、載置面Ｓ１と対向するようにして、当該載置面Ｓ１から所定距離離れた位置にそれぞれ設置されている。Ｘ線照射装置４は、載置面Ｓ１に対して垂直にＸ線が照射されるように配置されている。さらに、第１の搬送路１０ａには、Ｘ線照射装置４と載置面Ｓ１を挟んで相対し、かつ、Ｘ線の受光面が載置面Ｓ１と平行となる位置にＸ線透過量測定装置５が設置されている。そのため、本実施形態の場合、Ｘ線照射装置４は、６Ｐプロセスチーズ製品２にほぼ正面からＸ線を照射し、６Ｐプロセスチーズ製品２を透過したＸ線量をほぼ正面から測定し、６Ｐプロセスチーズ製品２を正面から撮像したＸ線透過画像を得ることができる。同期センサ９は、Ｘ線照射装置４よりも、６Ｐプロセスチーズ製品２が搬送される上流側に配置されている。同期センサ９は、載置面Ｓ１上で６Ｐプロセスチーズ製品２が通過する毎に、検出信号を生成し、これを制御装置７に出力する。

制御装置７は、検出信号を受け取ると、同期センサ９で検出した６Ｐプロセスチーズ製品２が、Ｘ線照射装置４の照射範囲を通過するタイミングを示したタイミング信号を生成し、これをＸ線照射装置４及びＸ線透過量測定装置５に出力する。これにより、Ｘ線照射装置４は、タイミング信号に基づいて、載置面Ｓ１上において６Ｐプロセスチーズ製品２がＸ線照射範囲を通過するタイミングで６Ｐプロセスチーズ製品２にＸ線を照射する。同時に、Ｘ線透過量測定装置５は、タイミング信号に基づいて、６Ｐプロセスチーズ製品２がＸ線を照射されたタイミングで、６Ｐプロセスチーズ製品２を透過したＸ線量を測定し、６Ｐプロセスチーズ製品２を撮像する。

このようにして、Ｘ線照射装置４とＸ線透過量測定装置５とによって、載置面Ｓ１のＸ線照射範囲を通過する６Ｐプロセスチーズ製品２にＸ線を照射し、そのＸ線透過量を測定してゆき、６Ｐプロセスチーズ製品２毎にＸ線透過画像を生成する。Ｘ線透過量測定装置５は、Ｘ線透過画像を生成する毎に、生成したＸ線透過画像を演算処理装置６に送出する。

ここで、Ｘ線照射装置４は、例えば、所定の波長範囲のＸ線を生成できるＸ線源と、Ｘ線を６Ｐプロセスチーズ製品２に照射する照射装置とを有する装置であり、公知の構成を用いることができる。Ｘ線透過量測定装置５は、例えば、Ｘ線透過量として６Ｐプロセスチーズ製品２を透過したＸ線のＸ線量を検出する２次元アレイ状のＸ線透過量測定部と、Ｘ線透過量測定部で検出したＸ線量に基づいてＸ線透過画像を生成する撮像部とを備える装置であり、公知の構成を用いることができる。なお、Ｘ線照射装置４やＸ線透過量測定装置５などの仕様及び波長などのＸ線のパラメータは、検査する食品や検出する異物の種類、検査環境などによって適宜選択することができる。

演算処理装置６は、Ｘ線透過量測定装置５から撮像画像を受け取ると、後述する学習モードにより予め学習しておいた学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Networkとも称する）を利用して、Ｘ線透過画像内に写る６Ｐプロセスチーズ製品２が良品か又は不良品かを判定する良否判定処理（後述する）を実行する。演算処理装置６は、良否判定処理による判定結果を制御装置７に出力する。制御装置７は、演算処理装置６から判定結果を受け取ると、判定結果に応じた駆動信号を生成し、これを不良品排除装置８に出力する。

ここで、不良品排除装置８は、第２の搬送路１０ｂに設けられ、駆動制御部１２を備えている。駆動制御部１２は、制御装置７からの駆動信号を受け取ると、所定時間後、駆動信号に基づいて、第２の搬送路１０ｂの下流側の一端を下方に移動させ、第２の搬送路１０ｂを傾斜させる。

第２の搬送路１０ｂは、例えば、上流側の一端に回動中心軸を有する回動部を備えている。回動部は、この回動中心軸を中心に、第２の搬送路１０ｂを回動可能に構成されている。第２の搬送路１０ｂは、通常、６Ｐプロセスチーズ製品２が第１の搬送路１０ａから第３の搬送路１０ｃへと第２の搬送路１０ｂを介して搬送されるように、第２の搬送路１０ｂの載置面Ｓ２が第１の搬送路１０ａの載置面Ｓ１とほぼ同一面となる位置（初期位置）に位置している。回動部は、駆動制御部１２から駆動信号として排除信号を受け取ると、回動中心軸を回転させ、第２の搬送路１０ｂを初期位置から下方へ移動させて傾斜させる。これにより、不良品排除装置８は、第２の搬送路１０ｂ上にあり、不良品と判定された６Ｐプロセスチーズ製品２を下方に落下させて生産ラインから排除する。回動部は、所定時間、第２の搬送路１０ｂの傾斜状態を維持した後、第２の搬送路を初期位置へと移動させる。駆動制御部１２が駆動信号を受け取ってから、回動部が第２の搬送路１０ｂを傾斜させるまでの時間は、第１の搬送路１０ａ上での６Ｐプロセスチーズ製品２の搬送速度及び間隔などに基づいて適宜設定すればよい。また、回動部が第２の搬送路１０ｂを初期位置に戻すまでの時間は、第２の搬送路１０ｂの傾斜度合い、６Ｐプロセスチーズ製品２の重量及び第２の搬送路１０ｂでの搬送速度などに基づいて適宜設定すればよい。

一方、回動部は、駆動制御部１２から駆動信号として非排除信号を受け取ると、第２の搬送路１０ｂを初期位置に維持し、第２の搬送路１０ｂ上を移動している６Ｐプロセスチーズ製品２を第３の搬送路１０ｃを介して次工程の装置へと送り出す。このようにして、不良品排除装置８は、演算処理装置６に得られた判定結果に基づいて、不良品のみを生産ラインから排除し、良品のみを次工程の装置へ搬送させる。

＜学習モード＞
本発明による検査装置１では、上述した良否判定処理を行う良否判定モードに先立ち、始めに学習モードを実行する。この学習モードでは、学習用Ｘ線透過画像群を用いて畳み込みニューラルネットワークを学習させることで、６Ｐプロセスチーズ製品２の良否を自動判別可能な学習済みの畳み込みニューラルネットワークを構築する。以下、学習済みの畳み込みニューラルネットワークを構築する学習モードについて説明する。

ここで、図２は、学習モードを実行する演算処理装置６の回路構成を示したブロック図である。演算処理装置６は、画像取得部１５と、画像処理部１６と、記憶部１７とを備えている。学習用Ｘ線透過画像群取得部としての画像取得部１５は、教師データとなる学習用Ｘ線透過画像群をＸ線透過量測定装置５から取得する。本実施形態では、良品となる６Ｐプロセスチーズ製品２と、不良品となる６Ｐプロセスチーズ製品２とを事前に用意し、Ｘ線照射装置４とＸ線透過量測定装置５により、載置面Ｓ１上にある各６Ｐプロセスチーズ製品２を個別に撮像してゆき、学習用Ｘ線透過画像群を得る。

ここで、学習用Ｘ線透過画像群について説明する。図３Ａは、良品の教師データとなる６Ｐプロセスチーズ製品２のＸ線透過画像（以下、良品画像とも称する）を示す。良品画像では、画像中央の濃度の高い円形状の領域は６Ｐプロセスチーズの領域であり、６Ｐプロセスチーズ同士の境界が円形状の領域内に濃度の薄い線状の領域として現れている。また、６Ｐプロセスチーズの領域の外周部に、一部、６Ｐプロセスチーズと包装容器の間の空間が濃度の薄い領域として現れている。良品画像では、６Ｐプロセスチーズの領域内の濃度がほぼ均一であるので、目視により、異物が混入しておらず良品であることが確認できる。

また、異物混入の有無だけに着目した学習を行うため、６Ｐプロセスチーズ及び混入した異物以外の濃淡が出来るだけ映り込まないよう配慮して良品画像を作成している。また、６Ｐプロセスチーズ及び混入した異物以外の濃淡が写った画像を良品画像から除外している。このことは、後述の不良品画像の作成においても同様である。なお、６Ｐプロセスチーズ同士の境界領域や外周部の空間は、良品の教師データに存在するので、存在しても問題ないものとして学習され、異物としては検出されない。同様に、６Ｐプロセスチーズ内に、６Ｐプロセスチーズとの密度差が大きくＸ線透過画像において黒く映る（６Ｐプロセスチーズの領域と濃度差が大きい）添加物が入っていたとしても、それが映った画像を良品と学習させることになるので、当該添加物も異物としては検出されない。

図３Ｂ、図３Ｃ及び図３Ｄは、不良品の教師データとなるＸ線透過画像（不良品画像ともいう）である。不良品画像は、６Ｐプロセスチーズと密度差が小さく、Ｘ線透過画像において６Ｐプロセスチーズの領域との濃度差が小さく写る異物（検査対象の食品との密度差が密度±０．５ｇ／ｃｍ^３以下の異物）を用いて作成する。６Ｐプロセスチーズと密度が同程度（プロセスチーズの密度は、概ね０．９〜１．３ｇ／ｃｍ^３程度）で、６Ｐプロセスチーズ製品２の製造工程において混入しやすい異物としては、紙片や樹脂（テフロン（登録商標）及びバイトン）片があげられる。そのため、本実施形態では、不良品の教師データとなるＸ線透過画像として、紙片を混入させた６Ｐプロセスチーズ製品２から得られたＸ線透過画像、テフロン片を混入させた６Ｐプロセスチーズ製品２から得られたＸ線透過画像及びバイトン片を混入させた６Ｐプロセスチーズ製品２から得られたＸ線透過画像の３種類を用いている。

なおＸ線透過画像は、６Ｐプロセスチーズ製品２を透過したＸ線のＸ線量に基づいて生成されるので、異物が６Ｐプロセスチーズの表面に置かれている場合（異物が６Ｐプロセスチーズ製品２の包装容器内に混入している場合）も、異物が６Ｐプロセスチーズ内に混入している場合も、透過したＸ線のＸ線量はほぼ同じであり、Ｘ線透過画像での異物の写り方に違いはない。そのため、６Ｐプロセスチーズ製品２の包装容器の蓋を開け、包装容器内の個包装された６Ｐプロセスチーズの上に異物を載置し、再度、蓋をかぶせたものを異物が混入した６Ｐプロセスチーズ製品２として、不良品画像を作成している。なお、混入させる異物の数は、ＡＩが不良と認識することが最も困難な場合でＡＩに学習させるために、６Ｐプロセスチーズ製品２毎に１つずつとしている。

図３Ｂは、異物を紙片とした不良品画像の例である。この不良品画像は、紙片の異物として２０×２０ｍｍ、厚さ０．０９ｍｍのコピー用紙を混入させた６Ｐプロセスチーズ製品２から得た画像である。Ｘ線透過画像中の６Ｐプロセスチーズの領域内において、６Ｐプロセスチーズよりも濃度が高い領域（図中の丸で囲まれた領域内にみられる黒色の領域）がＸ線透過画像に現れた異物としての紙片である。紙片の不良品画像では、６Ｐプロセスチーズの領域内に濃度が異なる領域があるので、目視により、異物が混入した不良品であることが確認できる。

図３Ｃは、異物を樹脂片（テフロン）とした不良品画像の例である。この不良品画像は、テフロン片の異物として２×２ｍｍ程度に切断したテフロン製パッキンを混入させた６Ｐプロセスチーズ製品２から得たＸ線透過画像である。画像中の６Ｐプロセスチーズの領域内において、６Ｐプロセスチーズよりも濃度が高い領域（図中の丸で囲まれた領域内にみられる黒色の領域）がＸ線透過画像に現れた異物としてのテフロン片である。テフロン片の不良品画像では、６Ｐプロセスチーズの領域内に濃度が異なる領域があるので、目視により、異物が混入した不良品であることが確認できる。

図３Ｄは異物を樹脂片（バイトン）とした不良品画像の例である。この不良品画像は、バイトン片の異物として２×２ｍｍ程度に切断したバイトン製パッキンを混入させた６Ｐプロセスチーズ製品２から得たＸ線透過画像である。画像中の６Ｐプロセスチーズの領域内において、６Ｐプロセスチーズよりも濃度が高い領域（図中の丸で囲まれた領域内にみられる黒色の領域）がＸ線透過画像に現れた異物としてのバイトン片である。バイトン片の不良品画像では、６Ｐプロセスチーズの領域内に濃度が異なる領域があるので、目視により、異物が混入した不良品であることが確認できる。

また、良品画像は、Ｘ線透過画像上の濃淡や６Ｐプロセスチーズ製品２の形状のばらつきを網羅するだけの必要枚数を確保するのが好ましい。そして、不良品画像は、良品画像とほぼ同量の画像数を確保することが好ましい。このようにすることで、学習の効果が高まり、結果としてＡＩの良否分類能力が向上する。本実施形態では、良品画像は１５０枚用意し、不良品画像は、異物の種類毎に各５０枚、計１５０枚用意している。なお、本実施形態では、異物の種類毎にそれぞれ不良品画像を用意しているが、学習部１８での学習時は、異物が混入していない良品画像であること及び異物が混入した不良品画像であることのみを情報として与えて畳み込みニューラルネットワークを学習させており、異物の種類についての情報は与えていない。不良品画像であることのみを情報として与えることで、異物の種類についての情報も与えて学習させたり、異物の種類毎に個別に学習させたりするよりも若干の学習処理時間短縮に寄与すると考えられる。

画像取得部１５は、複数の良品画像と、複数の不良品画像とをＸ線透過量測定装置５から受け取り、これを学習用Ｘ線透過画像群とする。

画像取得部１５は、Ｘ線透過量測定装置５から取得した良品画像及び不良品画像（以下、これらをそれぞれ単に学習用画像とも称する）に対し、後述する画像処理部１６にて処理可能な縦横サイズに縮小する。本実施形態では、例えば各学習用画像を、縦２２７×横２２７ピクセルでなる学習用画像に変換する。

画像処理部１６は、学習部１８と判定部１９とを備えている。学習モード時、画像処理部１６は、学習部１８が画像取得部１５から学習用Ｘ線透過画像群を受け取る。学習部１８は、学習用Ｘ線透過画像群に対して畳み込みニューラルネットワークを利用した画像認識処理を実行し、良品及び不良品の特徴量を抽出した、学習済みの畳み込みニューラルネットワークを構築する。

ここで、学習部１８において、学習済みの畳み込みニューラルネットワークを構築する際に用いる画像解析用ソフトウェアとしては、例えば、ＭａｔｈＷｏｒｋｓ社のＭＡＴＬＡＢ（登録商標）を利用することができる。畳み込みニューラルネットワークは、畳み込み層とプーリング層とを交互に階層的に配置した構成を有し、最終のプーリング層の後に全結合層とソフトマックス層とを順次有している。

畳み込みニューラルネットワークでは、畳み込み層とプーリング層の積み重ねにより、学習用画像内にある特徴量を抽出し、その特徴量に基づく分類を、全結合層とソフトマックス層とで行うことができる。

この場合、学習部１８には、学習モード時、学習用画像と、この学習用画像が良品画像又は不良品画像かを示す正解情報とが畳み込みニューラルネットワークに入力される。これにより、学習部１８は、畳み込みニューラルネットワークにおいて、誤差逆伝播法を用いた確率的勾配降下法(ＳＧＤ：Stochastic Gradient Descent)により、畳み込み層の重みや全結合層の結合重み等のパラメータが最適化されてゆき、畳み込みニューラルネットワークの学習が行われる。

具体的には、学習部１８には、所定数の良品画像が入力されるとともに、入力された良品画像毎に、良品であることを示す良品情報が作業者によって入力される。また、学習部１８には、所定数の不良品画像が入力されるとともに、入力された不良品画像毎に、不良品であることを示す不良品情報が作業者によって入力される。

なお、学習データとして畳み込みニューラルネットワークに入力する学習用画像としては、例えば、良品画像が１５０枚以上、不良品画像が１５０枚以上であることが望ましい。また、畳み込みニューラルネットワークの学習時におけるエポック数は、５回以下であることが望ましい。

このようにして、学習用画像及び良否情報（良品情報及び不良品情報）が畳み込みニューラルネットワークに入力される毎に、畳み込みニューラルネットワークにおける畳み込み層の重みや全結合層の結合重み等のパラメータが更新されてゆき最適化されてゆく。学習部１８は、このようにして学習済みの畳み込みニューラルネットワークを構築すると、これを判定部１９に出力する。

なお、記憶部１７は、画像処理部１６に接続されており、学習モード時に画像取得部１５から画像処理部１６に出力される学習用Ｘ線透過画像群や、後述する良否判定モード時に画像取得部１５から画像処理部１６に出力される撮像画像など、各種情報を記憶する。

＜良否判定モード＞
検査装置１は、上述したように学習モードにより、学習済みの畳み込みニューラルネットワークを構築すると、良否判定モードに移行し、その後にＸ線照射装置４とＸ線透過量測定装置５とにより撮像されたＸ線透過画像内の６Ｐプロセスチーズ製品２について良否判定を行うことができる。この場合、検査装置１は、図１に示したように、良品か又は不良品かを検査する６Ｐプロセスチーズ製品２を、第１の搬送路１０ａの載置面Ｓ１上に載置し、載置面Ｓ１上の６Ｐプロセスチーズ製品２をＸ線照射装置４のＸ線照射範囲まで搬送する。Ｘ線照射装置４は、載置面１上の６Ｐプロセスチーズ製品２にＸ線を照射し、６Ｐプロセスチーズ製品２を透過したＸ線をＸ線透過量測定装置５で測定し、得られたＸ線透過画像を演算処理装置６に出力する。

図２に示すように、演算処理装置６は、Ｘ線透過量測定装置５からのＸ線透過画像を画像取得部１５により受け取ると、画像処理部１６にて処理可能な縦横サイズに縮小し、これを判定部１９に出力する。なお、本実施形態では、学習モード時と同じ画像縮小処理を行い、縦２２７×横２２７ピクセルの画像に変換する。

判定部１９は、Ｘ線透過画像を学習済みの畳み込みニューラルネットワークに入力する。判定部１９は、学習モードで良品及び不良品の特徴量を抽出した学習済みの畳み込みニューラルネットワークに基づいて、Ｘ線透過画像内の６Ｐプロセスチーズ製品２を解析し、撮像画像内の６Ｐプロセスチーズ製品２が良品である適合確率と、不良品である適合確率とを算出する。

判定部１９は、良品である適合確率と、不良品である適合確率とを比較する。その結果、判定部１９は、良品である適合確率が不良品である適合確率よりも高いと、Ｘ線透過画像内に写る６Ｐプロセスチーズ製品２は良品であると判定する。一方、判定部１９は、不良品である適合確率が良品である適合確率よりも高いと、Ｘ線透過画像内に写る６Ｐプロセスチーズ製品２は不良品であると判定する。

このようにして、判定部１９は、Ｘ線透過画像内に写る６Ｐプロセスチーズ製品２が良品であるか又は不良品であるかの判定結果を、学習済みの畳み込みニューラルネットワークから得ることができる。判定部１９は、このような良否判定処理により得られた判定結果を不良品排除装置８（図１参照）に出力する。

これにより、不良品排除装置８は、例えば、Ｘ線透過画像内の６Ｐプロセスチーズ製品２が不良品であることを示す判定結果を判定部１９より受け取ると、回動部が第２の搬送路１０ｂを傾斜させ、不良品と判定された６Ｐプロセスチーズ製品２を生産ラインから排除する。また、不良品排除装置８は、例えば、Ｘ線透過画像内の６Ｐプロセスチーズ製品２が良品であることを示す判定結果を判定部１９より受け取ると、第２の搬送路１０ｂが傾斜せず、良品と判定された６Ｐプロセスチーズ製品２をそのまま次の装置に搬送する。

＜作用および効果＞
以上の構成において、食品の検査装置１では、異物が混入していない６Ｐプロセスチーズ製品２（食品）を良品として撮像した良品画像（異物が混入していない６Ｐプロセスチーズ製品２から得られたＸ線透過画像）と、異物が混入した６Ｐプロセスチーズ製品２を不良品として撮像した不良品画像（紙片が混入した６Ｐプロセスチーズ製品２から得られたＸ線透過画像、テフロン片が混入した６Ｐプロセスチーズ製品２から得られたＸ線透過画像、バイトン片が混入した６Ｐプロセスチーズ製品２から得られたＸ線透過画像）と、を学習用Ｘ線透過画像群として取得する（学習用Ｘ線透過画像群取得工程）。

検査装置１では、得られた学習用Ｘ線透過画像群を用いて、良品及び不良品の特徴を畳み込みニューラルネットワークに学習させる（学習工程）。その後、検査装置１では、良品又は不良品の検査対象とする６Ｐプロセスチーズ製品２（食品）の外観を撮像したＸ線透過画像を取得し（Ｘ線透過画像取得工程）、学習済みの畳み込みニューラルネットワークを用いて、Ｘ線透過画像内の６Ｐプロセスチーズ製品２が良品又は不良品であるか否かを判定する（判定工程）。

これにより、検査装置１では、学習済みの畳み込みニューラルネットワークを用いて、Ｘ線透過画像内の６Ｐプロセスチーズ製品２（食品）が良品又は不良品であるか否かを判定するので、従来の画像処理では検出が困難であったＸ線透過画像における６Ｐプロセスチーズとの濃度差が小さい異物も検出でき、異物が混入していない良品であるか、異物が混入した不良品であるかを安定して検査できる。その結果、食品に異物が混入した不良品を、生産ライン中で非破壊、非接触かつ迅速に全数検査し、不良品のみを生産ラインから排除でき、市場への不良品の流出懸念を払拭できる。

＜他の実施形態＞
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、検査対象として包装容器に収容された状態の６Ｐプロセスチーズでなる６Ｐプロセスチーズ製品２を適用したが、本発明はこれに限らず、包装容器に収容する前の状態（包装容器から出した状態）の６Ｐプロセスチーズを検査対象とすることもできる。この場合、包装容器から出した状態の６Ｐプロセスチーズを用いて良品画像及び不良品画像を作成する。

また、上記の実施形態では、食品としての６Ｐプロセスチーズ（特に包装容器に収容された状態の６Ｐプロセスチーズ）が良品であるか不良品であるかを検査する場合について説明してきたが、本発明はこれに限られない。食品として、例えば、乳、クリーム、発酵乳、乳飲料、清涼飲料水、スプレッド類、アイス、など液状の食品、ピザやグラタンなどの冷凍食品類、チョコレートやチョコレート菓子などの菓子類、チーズ類（薄切されたチーズや、角柱形状、球形状及び円柱形状、６Ｐチーズなどに成型されたプロセスチーズ及びナチュラルチーズ）、バター、粉ミルク、プロテインパウダーなどの固形の食品などに対して、良品であるか、異物が混入した不良品であるか検査することができる。これらの食品も包装容器に収容した状態で検査するのが望ましいが、食品によっては、包装容器に収容する前の状態（包装容器から出した状態）で検査することもできる。これらの食品の密度もプロセスチーズと同様に、概ね０．９〜１．３ｇ／ｃｍ^３程度である。より具体的には、固形の食品の場合の密度は概ね、０．９〜１．３ｇ／ｃｍ^３程度、液状の食品の場合の密度は概ね、０．９〜１．１ｇ／ｃｍ^３程度である。

このとき、液状の食品は、樹脂片（テフロン製パッキン片、バイトン製パッキン片、その他の樹脂片など）、ゴム片などが異物として製造工程で混入する可能性が考えられる。そして、これらの異物は、食品との密度差が小さい。そのため、液状の製品を検査するときは、樹脂片、ゴム片を混入させた食品のＸ線透過画像を不良品画像として用いるのが好ましい。一方で、固形の食品は、樹脂片（テフロン製パッキン片やバイトン製パッキン片など）などの他、原材料に起因する、紙片、ビニール片及び木片などが異物として食品（製品）に混入する可能性が考えられる。そしてこれらの異物は、食品との密度が小さい。そのため、固形の製品を検査するときは、紙、ビニール片及び木片を混入させた食品のＸ線透過画像を不良品画像として用いるのが好ましい。このようにして、食品への混入の可能性や密度などに基づいて複数種類の異物を選択する。

さらに、上述した実施形態においては、学習用Ｘ線透過画像群をＸ線透過量測定装置５から取得するようにした場合について述べたが、本発明はこれに限らず、例えば、他の装置などで生成された各種画像を学習用Ｘ線透過画像群として取得するようにしてもよい。

また、上述した実施形態においては、判定部１９において良品であるか不良品であるかのみを判定した場合について説明したが、本発明はこれに限られない。例えば、不良品について、（ｉ）紙片が混入した不良品、（ｉｉ）テフロン片が混入した不良品、（ｉｉｉ）バイトン片が混入した不良品など、どのような不良品であるかを判定するようにしてもよい。

この場合、学習モード時、異物が混入していない良品画像であること及び異物が混入した不良品画像であることのみを畳み込みニューラルネットワークに情報として与えるのではなく、不良品画像に写っている異物の種類の情報も畳み込みニューラルネットワークに与えるようにする。具体的には、良品画像及び不良品画像を、畳み込みニューラルネットワークに入力するとともに、異物の種類毎にそれぞれ異物を識別する識別情報を畳み込みニューラルネットワークに入力する。

これにより、良品画像及び不良品画像と、各不良品画像に写った異物の種類にそれぞれ対応した識別情報とが、畳み込みニューラルネットワークに入力される毎に、畳み込みニューラルネットワークにおける畳み込み層の重みや全結合層の結合重みなどのパラメータが更新されてゆき最適化されてゆく。

その結果、良品の他に、紙片が混入した不良品、テフロン片が混入した不良品、バイトン片が混入した不良品について、それぞれ特徴量を抽出した学習済みの畳み込みニューラルネットワークを構築することができる。

判定部１９は、このようにして構築された学習済みの畳み込みニューラルネットワークを用いることで、良否判定モード時に取得したＸ線透過画像内に写る６Ｐプロセスチーズ製品２が、良品であるか、紙片が混入した不良品であるか、テフロン片が混入した不良品であるか又はバイトン片が混入した不良品であるかの判定結果を得ることができる。

同様に、以下に示す方法によっても、どのような不良品であるのかも判定することができる。まず、良品画像と紙片が混入した不良品の不良品画像とのみで学習させた畳み込みニューラルネットワーク、良品画像とテフロン片が混入した不良品の不良品画像とのみで学習させた畳み込みニューラルネットワーク及び良品画像とバイトン片が混入した不良品の不良品画像とのみで学習させた畳み込みニューラルネットワークの３つの畳み込みニューラルネットワークを構築する。そして、判定部１９で、良否判定モード時に取得したＸ線透過画像に対して、学習済みの３つの畳み込みニューラルネットワークを順々に適用することで、当該Ｘ線透過画像に写る６Ｐプロセスチーズ製品２が、良品であるか、紙片が混入した不良品であるか、テフロン片が混入した不良品であるか又はバイトン片が混入した不良品であるかの判定結果を得ることができる。

上記の実施形態では、第２の搬送路１０ｂを傾斜させ、不良品と判定された６Ｐプロセスチーズ製品２を下方に落下させて生産ラインから排除した場合について説明したが、これは不良品の排除方法の一例であり、不良品と判定された６Ｐプロセスチーズ製品２を生産ラインから排除できれば、その排除方法は特に限定されない。例えば、エアーによって第２の搬送路１０ｂから６Ｐプロセスチーズ製品２を押し出すことによって、不良品と判定された６Ｐプロセスチーズ製品２を生産ラインから排除してもよい。

この場合、図１に示した不良品排除装置８が、第２の搬送路１０ｂを流れる６Ｐプロセスチーズ製品２にエアーを吹き付ける送風機を備えるようにする。送風機は、例えば、第２の搬送路１０ｂの近傍に設けられ、６Ｐプロセスチーズ製品２の進行方向と直交する方向（図１では、紙面手前側から紙面奥側方向又は紙面奥側から紙面手前側方向）から６Ｐプロセスチーズ製品２にエアーを吹き付けることができる。送風機は、駆動制御部１２に接続され、駆動制御部１２から受け取った駆動信号に基づいて動作する。送風機は、駆動信号として排除信号を受け取ると、６Ｐプロセスチーズ製品２にエアーを吹き付け、エアーによって不良品と判定された６Ｐプロセスチーズ製品２を第２の搬送路１０ｂから押し出し、不良品を生産ラインから排除する。

なお、上述した良品画像や、不良品画像、撮像画像等の各種画像は、ディスプレイ等に表示される具体的な画像としての形態だけでなく、画像として生成される前のデータも含まれるものである。

＜検証実験＞
ここでは、上述した演算処理装置６を利用し、複数の良品画像及び不良品画像を学習用Ｘ線透過画像群として用いて学習済みの畳み込みニューラルネットワークを実際に構築した。そして、学習済みの畳み込みニューラルネットワークを用いて、Ｘ線透過画像について良品又は不良品の判定を行う検証実験を行った。この実験では、画像解析用ソフトウェアとして、ＭａｔｈＷｏｒｋｓ社のＭＡＴＬＡＢ（登録商標）を利用し、学習済みの畳み込みニューラルネットワークを構築した。

まず、６Ｐプロセスチーズ製品２の良品画像１５０枚と、異物を紙片とした不良品画像、異物をテフロン片とした不良品画像及び異物をバイトン片とした不良品画像を各５０枚、不良品画像計１５０枚とを用意した。

次いで、用意した良品画像及び不良品画像を縦２２７×横２２７ピクセルの画像に変換した。そして、変換した良品画像１５０枚及び不良品画像１５０枚を学習用Ｘ線透過画像群として畳み込みニューラルネットワークに入力した。

なお、畳み込みニューラルネットワークは、初期学習率を０．０００１とした確率的勾配降下法（ＳＧＤ）により学習させた。また、このとき、畳み込みニューラルネットワークにおいて過学習となって汎化が妨げられないようにするため、各学習用画像のエポック数（ｅｐｏｃｈ）は最大５回とした。

そして、畳み込みニューラルネットワークには、各学習用画像を入力した際に、この学習用画像が良品画像であるか又は不良品画像であるかについての正解情報も入力した。これにより、良品画像のグループと、不良品画像のグループとの特徴量を、畳み込みニューラルネットワークで自動的に抽出し、良品画像と不良品画像とを分類する方法を畳み込みニューラルネットワークに独習させ、学習済みの畳み込みニューラルネットワークを構築した。畳み込みニューラルネットワークの学習に際しては、一般的な画像処理のように、検査領域の指定や当該領域内で着目する特徴量や閾値などは指定せず、学習用画像が異物混入のない良品画像もしくは異物が混入した不良品画像であることのみを情報として与え、両グループの画像の特徴量を自動的に抽出させて良品画像と不良品画像を分類する方法を独習させた。

そして、未知のテスト画像として、良品画像４枚、異物を紙片とした不良品画像４枚、異物をテフロン片とした不良品画像４枚、異物をバイトン片とした不良品画像４枚の計１６枚のテスト画像を、学習済みの畳み込みニューラルネットワークに入力して、各テスト画像について、学習済みの畳み込みニューラルネットワークを利用して良否判定を行った。良否判定は、学習済みの畳み込みニューラルネットワークで算出された、良品の適合確率と、不良品の適合確率とを比較し、適合確率の高い方を学習済みの畳み込みニューラルネットワークの判定結果とした。

また、この１６枚のテスト画像について、それぞれ作業者が目視で確認し、各テスト画像が良品か又は不良品かを判定させた。そして、学習済みの畳み込みニューラルネットワークの判定結果と、作業者による主観的な判定結果とを比較したところ、図３Ａ、図３Ｂ、図３Ｃ、図３Ｄに示すような結果が得られた。なお図３Ａ、図３Ｂ、図３Ｃ、図３Ｄでは、各テスト画像を代表して各３枚の画像を示している。

作業者が良品であると判定したテスト画像について、学習済みの畳み込みニューラルネットワークでも、図３Ａの「ＡＩ判定」欄に示すように、全て良品であるとの判定結果が得られた。これにより、図３Ａの「正誤」欄に示すように、良品に関して、学習済みの畳み込みニューラルネットワークの判定結果と、作業者による判定結果とが全て一致することが確認できた。

また、作業者が不良品であると判定したテスト画像について、学習済みの畳み込みニューラルネットワークでも、図３Ｂ、図３Ｃ、図３Ｄの「ＡＩ判定」欄に示すように、全て不良品であるとの判定結果が得られた。これにより、図３Ｂ、図３Ｃ、図３Ｄの「正誤」欄に示すように、不良品に関しても、学習済みの畳み込みニューラルネットワークの判定結果と、作業者による判定結果とが全て一致することが確認できた。

学習済みの畳み込みニューラルネットワークを利用して良否判定を行っても、１６枚のテスト画像の全てについて、作業者の判断と一致し、良品と不良品の誤認は一件も発生しなかった。

以上より、検査装置１では、６Ｐプロセスチーズ製品２が良品であるか又は不良品の判別能力が人と同等であり、従来法では不可能だった紙片や樹脂片など、６Ｐプロセスチーズと密度が近似する異物混入の自動検査が実現可能であることが確認できた。そして、検査装置１では、従来の画像処理による方法では検出することが困難であった異物も検出でき、異物が混入していない良品であるか、異物が混入した不良品であるかを従来よりも安定して検査できることが確認できた。

１ 検査装置
４ Ｘ線照射装置
５ Ｘ線透過量測定装置
６ 演算処理装置
１５ 画像取得部（学習用Ｘ線透過画像群取得部、画像取得部）
１８ 学習部
１９ 判定部

Claims (6)

1. 食品に異物が混入しているか否かを検査する食品の検査方法であって、
   前記異物が混入していない前記食品を良品として撮像した良品画像と、前記異物が混入した前記食品を不良品として撮像した不良品画像とを、学習用Ｘ線透過画像群として取得する学習用Ｘ線透過画像群取得工程と、
   前記学習用Ｘ線透過画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習工程と、
   検査対象とする前記食品の外観を撮像したＸ線透過画像を取得するＸ線透過画像取得工程と、
   学習済みの前記畳み込みニューラルネットワークを用いて、前記Ｘ線透過画像内の前記食品が前記良品又は前記不良品であるか否かを判定する判定工程と、を備える、
   食品の検査方法。
2. 前記学習用Ｘ線透過画像群取得工程では、
   前記食品に基づいて複数種類の異物を選択し、選択した前記異物を前記食品毎に１つ混入させた前記食品の前記Ｘ線透過画像を前記不良品画像として用いる、
   請求項１に記載の食品の検査方法。
3. 前記学習用Ｘ線透過画像群取得工程では、
   前記異物は、前記食品と前記異物の密度に基づいて選択されている、
   請求項２に記載の食品の検査方法。
4. 前記学習用Ｘ線透過画像群取得工程では、
   前記食品の密度が０．９〜１．３ｇ／ｃｍ^３である、
   請求項１〜３のいずれか１項に記載の食品の検査方法。
5. 前記食品が包装容器に収容されている、
   請求項１〜４のいずれか１項に記載の食品の検査方法。
6. 食品に異物が混入しているか否かを検査する食品の検査装置であって、
   前記異物が混入していない前記食品を良品として撮像した良品画像と、前記異物が混入した前記食品を不良品として撮像した不良品画像とを、学習用Ｘ線透過画像群として取得する学習用Ｘ線透過画像群取得部と、
   前記学習用Ｘ線透過画像群を用いて、前記良品及び前記不良品の特徴を畳み込みニューラルネットワークに学習させる学習部と、
   前記食品の外観を撮像したＸ線透過画像を取得する画像取得部と、
   学習済みの前記畳み込みニューラルネットワークを用いて、前記Ｘ線透過画像内の前記食品が前記良品又は前記不良品であるか否かを判定する判定部と、を備える、
   食品の検査装置。

Images