JP2020024124A - 食品の異物検査装置及び異物検査方法 - Google Patents

Abstract

【課題】食品の製造過程において、食品に付着した異物の付着位置の３次元座標を特定することができる食品の異物検査装置及び異物検査方法を提供する。【解決手段】食品の異物検査装置であって、異物の付着検出の対象となる食品が内部に設置されるとともに、外部からの光が遮断された暗室と、前記食品に付着した異物を発光させる赤外光と紫外光とを、個別に前記食品に照射可能に構成された照明器と、該照明器で照射された前記赤外光及び前記紫外光により発光された異物を撮影して該異物の画像を取得するＣＣＤカメラと、前記異物の距離情報を取得する深度カメラと、前記ＣＣＤカメラで撮影された前記異物の画像と、前期深度カメラで取得された前記異物の距離情報とを処理する画像処理部と、を備え、該画像処理部は、前記異物の画像と前記異物の距離情報とを処理して、前記異物の付着位置の３次元座標を特定する手段を備えていることを特徴とする。【選択図】図５

Description

この発明は、食品の異物検査装置及び異物検査方法に関し、特に、食品に付着した残毛などの異物を、電気的・機械的に制御された装置で自動除去することを目的として、食品の製造過程において食品に付着した異物を検出し、検出した異物の付着位置の３次元座標を特定することができる異物検査装置及び異物検査方法に関するものである。

従来から、食品の製造過程において混入した異物を、光学的に検出する検査装置・検査方法等の検査技術が提案されている。例えば、特許文献１には、「主に食品原料をコンベア等で供給する行程において、光学的に非接触で原料中に混入している異物を効率よく検出することを課題」（段落「０００３」参照。）として、「原料を移送する移送手段と、該移送手段で移送される原料に広帯域光を照射する照射手段と、前記原料の前記広帯域光を照射した部分の反射光または透過光により、中赤外線領域、近赤外線領域、および、可視光領域の３の波長領域の画像を撮像する撮像手段と、該撮像手段で得られた３の波長領域の画像情報から前記原料の撮像部分における２次元の吸光度の分布をそれぞれ求め、該吸光度の分布に基づいて前記原料中の異物の有無を判定する判定手段と、を備えたことを特徴とする光学式異物検出装置」（「請求項１」参照。）が記載されている。

また、特許文献２には、「検査対象の色に拘わらずに金属検査装置やＸ線検査装置では検出が困難な食品に混入した細くて小さな異物（毛髪、ショウジョウバエ等）の高精度な検出を容易且つ低コストで可能にした異物検査装置及び異物検査方法を提供する」（段落「００１４」参照。）ことを目的として、「食品に対して水分および脂肪酸を含有する物質内に存在するＯＨ結合の高調波および結合音によって吸収ピークと裾を示す１０００ｎｍ−１５００ｎｍの波長域内の波長光を照射する光源と、光源から前記波長光を照射して食品及び食品に含まれた異物からの反射光を受光してこの受光した反射光を１０００ｎｍ−１５００ｎｍの波長域内の複数の波長域を有する分光した反射光と透過した透過光とに分離させるハーフミラーと、このハーフミラーを介して分光した１０００ｎｍ−１５００ｎｍの波長域内の前記複数の波長域をそれぞれ有する反射光及び透過光をそれぞれ撮像して反射光画像及び透過光画像を生成する撮影手段と、前記撮影手段で生成した前記波長域の反射光画像及び透過光画像を画像処理によって異物を強調した画像を生成して食品に含まれた異物を検出する演算処理手段を備えたことを特徴とする異物検査装置」（「請求項１」参照。）が記載されている。

また、光学式に代わる従来技術として、特許文献３には「被検査物を通過した電磁波を画像処理することで、異物の存在を高精度に判定できるようにした検査装置を提供することを目的」（段落「０００７」参照。）として、「被検査物に電磁波を照射する電磁波照射部と、 電磁波を検知する電磁波検知部とを有する検査装置において、前記電磁波検知部からの検知出力を処理する画像処理部が設けられており、前記画像処理部では、（１）取得した基礎画像から強調線を検出する処理と、（２）前記強調線 と交差する交差線を求める処理と、（３）前記交差線に沿って前記基礎画像の輝度変化を求める処理と、（４）前記基礎画像の前記輝度変化から、異物であるか否かの判定を行う処理、が行われることを特徴とする検査装置」（「請求項１」参照。）が記載されている。

特開２００１−０９９７８３号公報 特開２００８−２０９２１１号公報 特開２０１６−１５６６４７号公報

特許文献１には、「排除機構７はデータ処理部１８から異物検出信号を受けて、ホッパ７１を傾斜させることにより異物が混入した食品原料２を異物ボックス５に排除する」(段落「００１０」、図４参照。)、「中赤外線の画像、近赤外線の画像、または、可視光の画像の少なくとも何れかの画像から異常部分が検出されると、異物排除処理で異物検出信号を出力する。したがって、３種類の画像の何れかでしか検出されないような異物も排除することができる。また、画像データは撮像した面の２次元の吸光度分布を示すことになり、広い範囲の異物を検出することができる」(段落「００１６」、図５参照。)と記載されている。これらの記載から、引用文献１に記載の発明は、「異物」の検出を行っているものの、検出した異物の除去については、何ら記載が無く不明であり、例えば、産業用ロボットを用いて電気的・機械的な制御を行うことで異物を自動的に除去するためには、３次元の位置座標が必要であることを考えると、「２次元の吸光度分布」では、異物の除去については、電気的・機械的な制御により自動化されたものではなく、人手による除去作業が行われているものと推量される。

また、特許文献２には「１０００ｎｍ−１５００ｎｍの波長域内の波長光」を利用して、「検査対象の色に拘わらずに金属検査装置やＸ線検査装置では検出が困難な食品に混入した細くて小さな異物（毛髪、ショウジョウバエ等）の高精度な検出を容易且つ低コストで可能にした異物検査装置及び異物検査方法が実現できる」(段落「００２３」、図１、図４、図６等参照。)と記載されているが、特許文献１と同様に、検出した異物の除去については、何ら記載が無く不明である。また、異物の３次元座標を検出することについても、全く記載も示唆もないので、異物の除去作業は、電気的・機械的な制御により自動化されたものではなく、人手による除去作業が行われているものと推量される。

また、特許文献３には、「検査装置１は、物品を透過する電磁波が検査波として使用される。電磁波はＸ線やテラヘルツ線などであるが、以下の実施の形態では電磁波としてＸ線が使用されている」（段落「００１４」参照。）とあり、検査波が対象物を透過する点において、特許文献１，２、または、本願発明と異なっている。また、特許文献３には「画像処理部２０では基礎画像３１上において、画像の方向の基準を示す直交座標Ｘ−Ｙが設定されている」（段落「００２４」、図３、図４参照。）と記載されているので、異物の２次元座標を検出しているものと認められる。

しかしながら、異物の除去作業を、電気的・機械的な制御により自動化するためには、異物の存在を検出すると同時に、異物が付着している位置の３次元座標を特定することが必要であり、特許文献１〜３に記載の発明では、異物の２次元座標を検出しているものの、３次元座標の検出を行っておらず、異物の自動除去は実現困難であると推量される。

このため、本発明では、食品の製造過程において、食品に付着した残毛等の異物を検出すると同時に、異物の付着位置の３次元座標を特定し、異物の除去を自動化することができる食品の異物検査装置及び異物検査方法を提供することを目的とする。

上記の目的を達成するために、請求項１に記載の発明は、食品の異物検査装置であって、異物の付着検出の対象となる食品が内部に設置されるとともに、外部からの光が遮断された暗室と、前記食品に付着した異物を発光させる赤外光と紫外光とを、個別に前記食品に照射可能に構成された照明器と、該照明器で照射された前記赤外光及び前記紫外光により発光された異物を撮影して該異物の画像を取得するＣＣＤカメラと、前記異物の距離情報（深度情報）を取得する深度カメラと、前記ＣＣＤカメラで撮影された前記異物の画像と、前期深度カメラで取得された前記異物の距離情報とを処理する画像処理部と、を備え、該画像処理部は、前記異物の画像と、前記異物の距離情報とを処理して、前記食品に付着した異物の付着位置の３次元座標を特定する手段を備えていることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の食品の異物検査装置であって、前記異物が、黒色系の残毛および白色系の残毛を含み、前記照明器は、該照明器から発光される前記赤外光及び前記紫外光のうち、前記赤外光が、前記黒色系の残毛を発光可能に構成され、前記紫外光が、前記白色系の残毛を発光可能に構成され、前記ＣＣＤカメラで撮影する領域と、前記深度カメラで撮影する領域とが同じであることを特徴とする。

また、請求項３に記載の発明は、請求項１又は請求項２に記載の食品の検査装置であって、前記画像処理部は、前記ＣＣＤカメラで撮影された異物の画像データから、発光した異物をエッジ検出により輪郭検出する輪郭検出部と、前記輪郭検出した部分が残毛の特徴である線分形状か否かを判別する輪郭形状判別部と、該輪郭形状判別部により線分形状と判別された領域の２次元座標を求める２次元座標検出部と、前記深度カメラの距離情報から、検出した前記２次元座標に相当する領域の距離情報を取得する距離情報検出部と、検出した前記２次元座標と、検出した前記距離情報とから残毛の付着した位置の３次元座標を算出する３次元座標算出部と、を備えたことを特徴とする。

また、請求項４に記載の発明は、請求項１乃至請求項３のいずれか１項に記載の食品の検査装置であって、前記赤外光の波長が６００ｎｍ〜８００ｎｍであり、前記紫外光の波長が３００ｎｍ〜ｎｍ４００であることを特徴とする。

また、請求項５に記載の発明は、食品の異物の検査方法であって、異物の付着した食品を暗室内部に設置して、外部からの光を遮断するステップと、前記食品に波長赤外光と紫外光とを個別に照射して、付着した異物を発光させるステップと、該発光した異物を撮影して該異物の画像をＣＣＤカメラで取得するステップと、前記発光した異物の距離情報（深度情報）を深度カメラで取得するステップと、前記ＣＣＤカメラで取得した前記異物の画像から前記異物の付着位置の２次元座標を特定するステップと、該特定した２次元座標と、前記深度カメラで取得した前記異物の距離情報とを処理し、前記食品に付着した異物の付着位置の３次元座標を特定するステップと、を備えことを特徴とする。

本発明の食品の異物検査装置及び異物検査方法によれば、食品の製造過程において食品に付着した残毛等の異物を検出すると同時に異物の付着位置の２次元座標に加えて３次元座標を特定することができるという顕著な効果を奏する。

本発明の食品の異物検査装置を、例えば、産業用ロボットに連結して電気的・機械的に制御することにより、本発明の食品の異物検査装置で特定された２次元座標及び３次元座標を用いて、食品の製造過程において食品に付着した残毛等の異物を自動除去することができるという顕著な効果を奏することができる。

本発明の一実施形態における食品の異物検査装置の全体構成を説明する図である。 本発明の一実施形態における食品の異物検査装置による異物検査の検査工程を示すフロー図である。 暗室内で食品（豚枝肉）に付着した黒色系の線状異物（豚毛）に対して、赤外光を照射しＣＣＤカメラで撮像した画像を示す図である。 暗室内で食品（豚枝肉）に付着した白色系の線状異物（豚毛）に対して、紫外光を照射しＣＣＤカメラで撮像した画像を示す図である。 赤外光を照射し、ＣＣＤカメラで撮像した画像に対する画像処理部の各処理結果に対応する画像を示す図である。 紫外光を照射し、ＣＣＤカメラで撮像した画像に対する画像処理部の各処理結果に対応する画像を示す図である。 ＣＣＤカメラと深度カメラが一体となった撮像装置で円錐状の物体を同時に撮影した画像を示す図である。

以下、好適な実施形態を用いて本発明をさらに具体的に説明する。但し、下記の実施形態は本発明を具現化した例に過ぎず、本発明はこれに限定されるものではない。

（実施形態）
図１は、本発明の一実施形態における食品の異物検査装置１の全体構成を説明する図である。本発明の食品の異物検査装置１は、残毛などの異物の付着した食品を設置して、外部からの光を遮断するように構成された暗室２と、食品の製造過程において、食品に付着した異物を周辺領域から際立たせることができる波長６００ｎｍ〜８００ｎｍの赤外光と波長３００ｎｍ〜４００ｎｍの紫外光を、それぞれ、個別に照射することができるように構成された照明器３と、異物を含んだ領域を撮影することができるＣＣＤカメラ４と、異物の距離情報（深度情報）を取得することができるように構成された深度カメラ５と、ＣＣＤカメラ４で撮影した画像と深度カメラ５で取得した距離情報とを処理して食品に付着した異物の３次元座標を算出することができるように構成された画像処理部６を備えている。

照明器３は、波長６００ｎｍ〜８００ｎｍの赤外光を食品に照射することができる赤外光照明器３ａと、波長３００ｎｍ〜４００ｎｍの紫外光を食品に照射することができる紫外光照明器３ｂとを備えている。波長６００ｎｍ〜８００ｎｍの赤外光は、食品に付着した黒色系ｆｂの残毛を際立たせることができ、波長３００ｎｍ〜４００ｎｍの紫外光は、食品に付着した白色系の残毛ｆｗを際立たせることができる。

深度カメラ５は、カメラから対象物までの距離を測定できるカメラである。

照明器３、ＣＣＤカメラ４、深度カメラ５は、画像処理部６によって、赤外光・紫外光の照射、画像撮影、撮影データの記録・保存、撮影データの転送等の制御が行われる。画像処理部６は、図１に示すように暗室２内に設置されてもよいし、暗室２の外部に設置されてもよい。また、画像処理部６の制御を別体で設けられた制御装置で行ってもよい。

図２は、本発明の一実施形態における食品の異物検査装置１による異物検査の検査工程を示すフロー図である。図１、図２を参照しながら、検査工程について説明する。
［ステップＳ１］
まず、食品の製造過程において、搬送装置７により食品ｍが暗室２に搬入されて、外部からの光が遮断される。ここでは、食品として豚枝肉を想定している。食品ｍは、所定の位置で静置される。食品ｍには、白色系の豚毛の異物ｆｗ、および、黒色系の豚毛の異物ｆｂが付着しているものとする。

［ステップＳ２］
本発明の食品の異物検査装置１による検査方法は、食品に付着した残毛などの線状の異物を、所定の波長を有する赤外光と紫外光とをそれぞれ個別に照射して発光させ、異物の輝度と、異物の付着している周辺部の輝度との差を大きくすることによって、通常の可視光では識別が難しい異物と周辺部との識別を行ないやすくした画像をＣＣＤカメラで取得することを特徴の１つとする。

まず、搬入されて所定位置に静置された食品ｍに対して、照明器３から赤外光または紫外光を順番に照射する。順番は先後関係は問わないが、ここでは、説明の便宜上、まず、赤外光照明器３ａから、波長６００ｎｍ〜８００ｎｍの赤外光を食品ｍに照射する。そして、赤外光照射中に、ＣＣＤカメラ４で食品ｍの所定領域を撮影する。この所定領域は、食品ｍの大きさに応じて適宜調整されるが、異物および異物の周辺領域が撮影される。撮影されたデータは、すぐに画像処理部６に転送されてもよいし、一時的にＣＣＤカメラ４内に保存されて、所定期間後に画像処理部６に転送されてもよい。

ＣＣＤカメラ４で撮影するのと同じタイミングで、ＣＣＤカメラ４で撮影する食品ｍの領域と同じ領域を深度カメラ５で撮影する。深度カメラ５で撮影されたデータは、すぐに画像処理部６に転送されてもよいし、一時的に深度カメラ５内に保存されて、所定期間後に画像処理部６に転送されてもよい。ここで、ＣＣＤカメラ４で撮影する食品ｍの領域と、深度カメラ５で撮影する領域を同じにするのは、後述するように、ＣＣＤカメラ４で撮影して取得した画像データにより特定された付着異物の２次元座標と、深度カメラ５で撮影して取得した距離情報データとに基づいて、付着異物の３次元座標を特定するので、仮に、ＣＣＤカメラ４で撮影する領域と、深度カメラ５で撮影する領域にズレがあると、正確な３次元座標を特定することができないからである。
［ステップＳ３］
次に、紫外光照明器３ｂから、波長３００ｎｍ〜４００ｎｍの紫外光を食品ｍに照射する。そして、紫外光照射中に、ＣＣＤカメラ４で食品ｍの所定領域を撮影する。この所定領域は、食品ｍの大きさに応じて適宜調整されるが、異物および異物の周辺領域が撮影される。撮影されたデータは、すぐに画像処理部６に転送されてもよいし、一時的にＣＣＤカメラ４内に保存されて、所定期間後に画像処理部６に転送されてもよい。

ＣＣＤカメラ４で撮影するのと同じタイミングで、ＣＣＤカメラ４で撮影する食品ｍの領域と同じ領域を深度カメラ５で撮影する。深度カメラ５で撮影された距離情報データは、すぐに画像処理部６に転送されてもよいし、一時的に深度カメラ５内に保存されて、所定期間後に画像処理部６に転送されてもよい。上述したように、ステップＳ２とステップ３の順番は逆にしてもよい。

［ステップＳ４］
ステップＳ４では、画像処理部６で、ＣＣＤカメラ４および深度カメラ５から取得したデータの処理（異物検出、座標算出）を行う。

まず、ＣＣＤカメラ４で取得した画像から、赤外光および紫外光が照射されて発光した異物ｆｂおよび異物ｆｗの形状を画像処理によって識別し、異物が線状の形状であれば残毛と判断し、画像中の異物の位置を２次元座標として求める。

この２次元座標に対応する位置の深度（距離）情報を深度カメラから取得し、異物ｆｂ，ｆｗの付着位置の３次元座標を算出する。

［画像処理部の詳細］
画像処理部６の処理について、さらに詳細に説明する。
画像処理部６では、
（１）ＣＣＤカメラ４の画像から異物をエッジ検出により輪郭検出する処理を行う。
手順１：波長６００ｎｍ〜８００ｎｍの赤外光で、食品ｍに付着した異物（黒毛）ｆｂを際立出せて撮影した画像（図３）をCannyの手法を用いてエッジ検出した画像（図５（ａ））を生成する。この際のCannyの手法における閾値は実験的に決定する。
手順２：波長３００ｎｍ〜４００ｎｍの紫外光で異物（白毛）ｆｗを際立たせて撮影した画像（図４）をCannyの手法を用いてエッジ検出した画像（図６（ａ））を生成する。この際のCannyの手法における閾値は実験的に決定する。
（２）前記輪郭検出した部分が残毛の特徴である線分形状か否かを判別処理する。
手順３：エッジ検出した画像に対して、確率的Hough変換の手法を用いて直線部分を検出した画像（図５（ｂ）、図６（ｂ））を生成する。この際の確率的Hough変換の手法における閾値は実験的に決定する。
（３）線分形状であると判別した領域の２次元座標を求める処理を行う。
手順４：直線部分を検出した画像に対して、ラベリングの手法を用いてそれぞれの直線部分の重心座標（図５（ｃ））、図６（ｃ））を求め、その重心座標を線状異物の２次元座標（図５（ｄ）、図６（ｄ））とする。
（４）深度カメラ５の情報から上記（３）の２次元座標に相当する領域の距離情報を取得する。
手順５：ＣＣＤカメラ４と深度カメラ５が一体となった撮像装置で撮像すれば、ＣＣＤカメラ４の画像中の２次元座標の位置（図７（ａ））を深度カメラ５の２次元座標の位置（図７（ｂ））に変換できる。
手順６：変換した深度カメラの２次元座標の位置の深度情報（深度カメラから対象とする２次元座標の位置までの距離）を取得できる。
（５）上記（３）と（４）から残毛の付着した位置の３次元座標を算出処理する。
手順７：手順４で求めた２次元座標に手順６で求めた深度情報を合わせて、３次元座標とする。

このように、本発明の検査方法では、異物を識別するために２種類の光源で照明を行い、対象とした異物をより強調した画像を取得することができる。また、取得した画像から対象とする線状の異物を判別することができる。そして、画像の異物検出と同時に異物の付着した位置のカメラからの距離情報（深度情報）を取得することができる。さらに、異物の付着した位置の３次元座標を算出し取得することができる。

１ 食品の異物検査装置
２ 暗室
３ 照明器
３ａ 赤外光照明器
３ｂ 紫外光照明器
４ ＣＣＤカメラ
５ 深度カメラ
６ 画像処理部
７ 搬送装置
ｆｗ 異物（白色系残毛）
ｆｂ 異物（黒色系残毛）
ｍ 食品

Claims (5)

1. 異物の付着検出の対象となる食品が内部に設置されるとともに、外部からの光が遮断された暗室と、
   前記食品に付着した異物を発光させる赤外光と紫外光とを、個別に前記食品に照射可能に構成された照明器と、
   該照明器で照射された前記赤外光及び前記紫外光により発光された異物を撮影して該異物の画像を取得するＣＣＤカメラと、
   前記異物の距離情報（深度情報）を取得する深度カメラと、
   前記ＣＣＤカメラで撮影された前記異物の画像と、前期深度カメラで取得された前記異物の距離情報とを処理する画像処理部と、
   を備え、
   該画像処理部は、前記異物の画像と、前記異物の距離情報とを処理して、前記食品に付着した異物の付着位置の３次元座標を特定する手段を備えている
   ことを特徴とする食品の異物検査装置。
2. 前記異物が、黒色系の残毛および白色系の残毛を含み、
   前記照明器は、該照明器から発光される前記赤外光及び前記紫外光のうち、前記赤外光が、前記黒色系の残毛を発光可能に構成され、前記紫外光が、前記白色系の残毛を発光可能に構成され、
   前記ＣＣＤカメラで撮影する領域と、前記深度カメラで撮影する領域とが同じである
   ことを特徴とする請求項１に記載の食品の異物検査装置。
3. 前記画像処理部は、
   前記ＣＣＤカメラで撮影された異物の画像データから、発光した異物をエッジ検出により輪郭検出する輪郭検出部と、
   前記輪郭検出した部分が残毛の特徴である線分形状か否かを判別する輪郭形状判別部と、
   該輪郭形状判別部により線分形状と判別された領域の２次元座標を求める２次元座標検出部と、
   前記深度カメラの距離情報から、検出した前記２次元座標に相当する領域の距離情報を取得する距離情報検出部と、
   検出した前記２次元座標と、検出した前記距離情報とから残毛の付着した位置の３次元座標を算出する３次元座標算出部と、
   を備えたことを特徴とする請求項１又は請求項２のいずれかに記載の食品の異物検査装置。
4. 前記赤外光の波長が６００ｎｍ〜８００ｎｍであり、前記紫外光の波長が３００ｎｍ〜ｎｍ４００であることを特徴とする請求項１乃至請求項３のいずれか１項に記載の食品の異物検査装置。
5. 異物の付着した食品を暗室内部に設置して、外部からの光を遮断するステップと、
   前記食品に波長赤外光と紫外光とを個別に照射して、付着した異物を発光させるステップと、
   該発光した異物を撮影して該異物の画像をＣＣＤカメラで取得するステップと、
   前記発光した異物の距離情報（深度情報）を深度カメラで取得するステップと、
   前記ＣＣＤカメラで取得した前記異物の画像から前記異物の付着位置の２次元座標を特定するステップと、
   該特定した２次元座標と、前記深度カメラで取得した前記異物の距離情報とを処理し、前記食品に付着した異物の付着位置の３次元座標を特定するステップと、
   を備えことを特徴とする食品の異物検査方法。