JP2023071581A - 異物検知振分装置 - Google Patents

Abstract

【課題】異物が混入された物品を検知して振り分ける異物検知振分装置を提供する。【解決手段】容器から排出された物品を中心に向かって落下させる逆円錐台形状のシュータ５１と、シュータの下部に設けられ、シュータから排出された物品を落下させる通路７０と、自由落下する物品を撮影する撮影装置８０と、撮影装置で撮影した画像を入力して画像に物品以外の異物が含まれているか否かを判定する異物検知装置９０と、通路の下に設けられ、異物が含まれる物品を除去する振分装置１００と、を含み、通路には下部シュータが設けられ、シュータの下端部と下部シュータの上端部とは上下方向に離間して配置されており、物品はシュータと下部シュータとの間を自由落下するように構成され、撮影装置は、シュータの下端部と下部シュータの上端部との間の側面に複数設けられ、自由落下する物品を異なる方向から撮影する。【選択図】図１

Description

本発明は、異物検知振分装置に関する。

物品に含まれる異物を検知し、除去する装置に関しては、以下の発明が出願されている。
特許文献１（特開昭６３－１４８１３０号公報）には、包装装置から送り出された包装品に金属が混入しているときには、この包装品を金属が混入していない包装品と区別できるようにして、上記の問題点を解決した組合せ計量包装装置が開示されている。

特許文献１に記載の組合せ計量包装装置は、複数の容器内にそれぞれ収容されている物品の計量値を種々に組み合せ、これら組合せの中から合計値が条件に適合する組合せを選択し、選択された組合せを構成する物品を、これら物品を収容している上記容器から自由落下によって排出する組合せ秤と、この組合せ秤の下方に配置されており、上記組合せ秤から自由落下した各物品をまとめて１つの包装品に包装する包装装置と、上記組合せ秤と上記包装装置との間に設けられ、上記組合せ秤から自由落下した物品を集めて、上記包装装置に送る通路と、この通路に設けられ、この通路を金属が通過すると、金属検出信号を生成する金属検出器とを、含み、上記包装装置は、上記包装装置から送り出される金属を含む包装品の形態を、金属を含まない包装品の形態と異ならせるように、上記金属検出信号に基づいて制御されることを特徴とする。

特許文献２（特開２００２－３１２７６２号公報）には、精米工場などで使用されている米選別用色彩選別機において、取り扱う米の量によって米の選別率が変化するといった問題点を解決するための、ニューラルネットワークを利用した穀粒選別装置が開示されている。

特許文献２に記載の穀粒選別装置では、米の種類数の分だけテンプレートを用意し、システムの構成法としてニューラルネットワークをニューロテンプレートマッチング選別手法とし、あいまいな画像にも高性能な選別を可能とした。また、切れ目のない状態で落下する穀粒をカメラで撮像し、一定の画像フレームを構成し、該構成された画像から、複数の米画像を１粒ごとに切り出し、選別システムの対象としている。

特許文献３（特開２０２１－４２９５５号公報）には、異物の混在がないことを確認する食品検査のロバスト性の向上を図ることができる食品検査装置が開示されている。

特許文献３に記載の食品検査装置では、検査対象物に光を照射する光照射手段と、検査対象物の映像を撮像する撮像手段と、識別処理装置と、を備え、識別処理装置は、予め食品の良品のみを学習した食品再構成ニューラルネットワークを備えており、撮像手段によって得られた画像から、食品再構成ニューラルネットワークを用いて、食品仮定画像を再構成し、撮像手段によって得られた画像と食品仮定画像との差分を算出し、差分が予め設定していた閾値を超える検査対象物Ａを異物として識別する。

特許文献４（再表２０１８／１４２９８８号公報）には、Ｎ番目（Ｎは２以上の整数）に計量部から排出される物品に異物が混入している場合において、物品よりも異物の方が落下速度が速い場合には、Ｎ－１番目に計量部から排出された物品側に異物が入り込む可能性を排除できる計量包装システムが開示されている。

特許文献４に記載の計量包装システムでは、物品を計量して順次排出する計量部と、計量部の下方に配置され、計量部から排出される物品を通過させる排出シュートと、排出シュートを通過中の物品に含まれる異物を検出する異物検出部と、異物検出部の検出結果に基づく物品の良否に関する良否情報を記憶する記憶部と、記憶部を制御する制御部と、を備え、制御部は、Ｎ番目（Ｎは２以上の整数）に計量部から排出される物品について異物検出部により異物が検出された場合、Ｎ－１番目に計量部から排出された物品の良否情報を強制的に否として記憶部に記憶させる。

特開昭６３－１４８１３０号公報 特開２００２－３１２７６２号公報 特開２０２１－４２９５５号公報 再表２０１８／１４２９８８号公報

生産現場の自動化、省力化のためのツールとして、大きさや形状がばらばらの商品を一定量ごとに包装する組み合わせ計量機が知られている。しかし、食品などの物品を組み合わせ計量機を用いて包装する場合は、包装品に小石、虫、および／または腐敗した部分を含んだ食品などの異物が含まれている場合があるため、組み合わせ計量機にかける前の物品を異物検査するか、もしくは包装後に包装品を異物検査する必要がある。
この場合、異物検査と組み合わせ計量とが別々に必要となり、せっかく組み合わせ計量機を用いても十分な生産現場の自動化、省力化にはならないとの課題がある。

複数の物品を所定の重量の包装品に包装するとともに、異物が混入された包装品を除去する計量包装装置が知られている。
例えば、特許文献１には、一定の重量となるように物品を組み合わせて排出する組合せ秤の下方に包装装置を設け、組合せ秤と包装装置との間の通路に、金属が通過すると金属検出信号を生成する金属検出器を設けて、金属が含まれた包装品を除去する計量包装装置が開示されている。

しかし、特許文献１に記載の計量包装装置では物品に金属が混入された包装品を除去することはできるが、食品などの物品に、小石、虫、および／または腐敗した部分を含んだ食品などの異物が混入した包装品を除去することはできない。

特許文献２に記載の穀粒選別装置では、シュータから落下した米粒をラインセンサで撮影し、大量の米が撮影されている画像データから１粒ずつの米の画像データに切り出し、ニューラルネットワークを利用して良品米と被害米とを選別し、被害米は位置情報を基にしてその部分に空圧を当て除去を行なっている。

この場合、画像データからニューラルネットワークを利用して良品米と被害米とを選別するため、金属以外の異物についても異物として選別することが可能である。しかし、シュータから落下した物品（米粒）を撮影する場合、撮影した画像において物品が重なっていると、正確な選別ができないとの課題がある。特許文献２に記載の穀粒選別装置では、１粒毎に切り出して分離した物品（穀粒）画像の、中心位置を求め、複数の物品が重複した画像を構成している場合に、エッジ部分を中心方向へ収縮させて、隣接する物品との間を分離して切り離すことにより、物品の画像データを、中心位置の周囲に正確に得る該物品画像のエッジ部分を中心方向に収縮させて、隣接する物品と強制的に分離する（明細書段落［００５５］）ことも記載されているが、例えば重複した部分の物品の画像に腐敗した部分が含まれている場合には、その物品を異物として除去できない。

特許文献３に記載の食品検査装置では、食品をベルトコンベアなどの搬送手段に置いた状態で、撮像手段で撮像するため、重なりがないように物品を搬送手段に載置すれば、撮影した画像において物品が重なることはない。しかし、作業者が重ならないように配置する場合は、生産現場の省力化ができない。また、この食品検査装置を組み合わせ計量機と組み合わせた場合、装置が大規模で複雑になるとの課題がある。

特許文献４に記載の計量包装システムは、物品よりも異物（金属）の方が落下速度が速い場合には、１つ前に計量部から排出された物品側に異物が入り込む可能性があるため、１つ前に計量部から排出された物品を異物を含むと判断することを特徴としている。しかし、特許文献４に記載の計量包装システムの異物検出部は金属検知装置であり、食品などの物品に、小石、虫、および／または腐敗した部分を含んだ食品などの異物が混入した包装品を除去することはできない。

本発明の主な目的は、金属および金属以外の異物を含む可能性のある複数の物品を所定の重量の包装品に包装するとともに、異物が混入された包装品を除去する、構造が簡単で小型化が可能な自動計量異物検知包装装置を提供することにある。

（１）
一局面に従う計量異物検知包装装置は、複数の物品を組み合わせて所定の重量の包装品に包装するとともに、異物が混入された包装品を除去する計量異物検知包装装置であって、複数の容器の中にそれぞれ収容されている物品の計量値を種々に組み合わせ、組み合わせの中から合計値が所定の重量となる組み合わせを選択し、選択された組み合わせを構成する容器の出口を開放して、物品を排出する組合せ秤と、組合せ秤の下方に配置されており、組合せ秤から排出された物品をまとめて１つの包装品に包装する包装装置と、容器のそれぞれから排出された物品を中心に向かって落下させる、逆円錐台形状のシュータと、シュータの下部に設けられ、シュータから排出された物品を包装装置に送る通路と、シュータの上部、および／またはシュータと通路との間の側面に設けられ、落下する物品を撮影する撮影装置と、撮影装置で撮影した画像を入力して画像に物品以外の異物が含まれているか否かを判定する異物検知装置と、包装装置の後に設けられ、異物が含まれる包装品を除去する振分装置と、を含み、組合せ秤は、選択された組み合わせを構成する容器の出口を、所定の時間間隔をおいて順次開放する。

構造が簡単で小型化が可能な自動計量異物検知包装装置を実現するためには、組合せ秤の下方に包装装置を配置し、組合せ秤から包装装置への間に異物検査装置を配置することが望ましい。しかし、異物が金属である場合は金属検出器を異物検知装置として用いることができるが、異物が小石、虫、および／または腐敗した部分を含んだ食品の場合には、金属検出器を異物検知装置として用いることができない。
この場合、組合せ秤から包装装置へと通過（落下）する物品を撮影装置で撮影し、撮影した画像を用いて異物が含まれているかどうかの判定をすることが考えられる。しかし、撮影した画像において、複数の物品が重なって映っている場合には正確に異物かどうかを判断することが難しい。

一方、組合せ秤は通常、１０個から２０個程度の容器（計量ホッパー）を備え、その容器のうち物品の重量の合計値が所定の重量となる容器の組み合わせを選択して、それらの容器の出口を開放する。この場合、通常は選択された容器の出口を同時に開放するが、一局面に従う計量異物検知包装装置では、選択された組み合わせを構成する容器の出口を、所定の時間間隔をおいて順次開放することによって、一度にシュータおよび通路を通過する物品の個数を制限し、撮影装置で撮影した画像において物品が重ならないようにしている。

また、物品の中の異物の検出に当たっては、どのようにして物品を撮影するかも重要である。
第１の方法としては、シュータの傾斜面に対向する方向に撮影装置を配置して、各容器から排出された物品がシュータの中央下部の孔に向かって転がり落ちる、または滑り落ちる状態を撮影することが考えられる。この場合、シュータ上の物品は互いにバラバラな状態で移動するため、撮影した画像の中の物品の重なりを最小限に抑えることができる。また、シュータの下部の孔と通路との間の距離を短くすることができるため、計量異物検知包装装置の高さを低く抑えることができる。ただし、容器が複数配置されており、物品が移動するシュータの位置もそれぞれの容器によって異なることから、撮影装置も複数台（例えば４台）必要になる。

第２の方法としては、シュータと通路との間の側面に撮影装置を配置して、シュータの下部の孔から通路に向かって自由落下する物品を撮影することが考えられる。この場合、複数の物品が落下しても撮影した画像の中の物品の重なりを最小限に抑えることができる。特に、複数の撮影装置を側面に配置して、異なる方向から物品を撮影すれば、物品の重なりの無い画像が得られる可能性が高くなる。
また、自由落下では、一定の時間間隔で複数枚の画像を撮影して落下速度を計算することで、例えば金属の釘などが異物として混入していた場合、物品と異物とを容易に判定することができる。

第３の方法としては、第１の方法と同じく撮影装置をシュータの上部に配置する場合において、広角レンズを備えた撮影装置をシュータ上部中央に鉛直方向下向きに配置し、それぞれの容器から排出される物品を１つの撮影装置で撮影することも考えられる。ただし、この場合、物品の画像は撮影された画像全体のうちの狭い範囲に含まれるため、撮影装置の解像度をより高くすること、また、画像全体の中の物品が撮影されている部分を抽出することなどが必要になる。

また、物品と異物との判定の精度を上げるためには、シュータの上部と、シュータと通路との間の側面との両方に撮影装置を配置することが望ましい。この場合、上記第１または第３の方法と第２の方法とを併用する。シュータの上部から撮影した画像とシュータと通路との間の側面から撮影した画像とについて異物の有無を判定し、どちらかの画像で異物ありと判定された場合には最終的な判定結果として異物ありとすることによって、より判定の精度を向上させることができる。

（２）
第２の発明にかかる計量異物検知包装装置は、一局面に従う計量異物検知包装装置において、撮影装置は、異なる複数の方向から物品を撮影してもよい。

この場合、もし、ある方向から撮影した画像において２つの物品が重なっていた場合でも、別の方向から撮影した画像では重なっていた物品が分離しているため、より確実に異物を検出することができる。この方法は、物品を側面から撮影する場合に特に有効である。
なお、この場合互いに隣接する撮影装置の撮影する方向の間の角度が略同一であることが望ましい。具体的には、例えば、撮影装置が２台であれば互いに逆方向、３台であれば撮影する方向の間の角度が１２０度であることが望ましい。

（３）
第３の発明にかかる計量異物検知包装装置は、一局面または第２の発明にかかる計量異物検知包装装置において、異物検知装置は、撮影した複数の画像のそれぞれに対して、物品以外の異物が含まれているか否かを判定し、複数の画像のうちの少なくとも１枚の画像に異物が含まれている場合、異物が含まれていると判定してもよい。

例えば、物品を側面から撮影する場合において異なる複数の方向から物品を撮影した場合、ある方向から撮影した画像では異物が検出されず、別の方向から撮影した画像では異物が検出された場合には、異物が検出されなかった画像では異物が物品の裏に隠れていて検出されなかったと考えられる。
また、シュータの上部およびシュータと通路との間の側面の両方に撮影装置を配置してそれぞれの撮影装置で物品の画像を撮影した場合にも、一方の画像では異物が検出されず、他方の画像では異物が検出された場合には、異物が検出されなかった画像では異物が物品の裏に隠れていて検出されなかったと考えられる。
これらの場合においては、複数の画像のうちの少なくとも１枚の画像に異物が含まれている場合、異物が含まれていると判定することにより異物判定の精度を向上させることができる。

（４）
第４の発明にかかる計量異物検知包装装置は、一局面から第３の発明にかかる計量異物検知包装装置において、異物検知装置は多層ニューラルネットワークで構成され、あらかじめ物品の画像および／または異物の画像を用いて学習されてもよい。

もし、異物の形状、あるいは色彩が一定であれば、閾値を設定することによって物品か異物かを判定することが可能である。しかし、多くの場合、食品などの物品に混入する異物は、例えば小石、虫、または腐敗した部分を含んだ食品など、多種多様である。多層ニューラルネットワークで構成された異物検知装置では、あらかじめ、物品の画像および異物の画像を用いて学習することによって、多種多様な異物に対して、確実に異物であると判定することができる。また、多層ニューラルネットワークの教師データとして、物品のみを、または異物のみを用いて学習させて、物品か異物かを判定させることも可能である。
異物検査装置に用いる多層ニューラルネットワークとしては、複数の物品および異物が含まれている画像から、それぞれの物品および異物のクラス（種類）とバウンディングボックス（領域）とを検出できるものであればよい。例えば、Ｍａｓｋ Ｒ－ＣＮＮ、またはＹＯＬＯシステム（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）などが使用可能である。
なお、ＹＯＬＯシステムなどの多層ニューラルネットワークでは、例えば画像の中で２つの物品および異物が重なっている場合でも、それぞれの物品および異物のクラス（種類）とバウンディングボックス（領域）とを識別できるため、より好適である。

（５）
第５の発明にかかる計量異物検知包装装置は、一局面から第４の発明にかかる計量異物検知包装装置において、物品はシュータから包装装置へ通路を自由落下するように構成されてもよい。

この場合、シュータから通路を通過して包装装置へ落下するまでの時間が短く、物品をより高速に包装することができる。

第１の実施形態の計量異物検知包装装置の全体構成を示す模式図である。 組合せ秤の構成を示す模式図である。 図３（ａ）、図３（ｂ）、図３（ｃ）は、撮影装置の３種類の変形例を示す模式図である。 計量異物検知包装装置の回路構成を示す模式的ブロックダイヤグラムである。 撮影装置で撮影した画像に対して、異物検知装置でクラス（種類）とバウンディングボックス（領域）を追加した結果を示す模式図である。 物品と異物とが一部重なっている画像において、異物検知装置でクラスとバウンディングボックスを追加した結果を示す模式図である。 図７（ａ）と図７（ｂ）とは、一定の時間間隔で撮影した２つの画像に対して、異物検知装置でクラスとバウンディングボックスを追加した結果を示す模式図である。 計量異物検知包装装置の物品の重量計量から出荷までの一連の流れを示すフローチャートである。

以下、図面を参照しつつ、本発明の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付す。また、同符号の場合には、それらの名称および機能も同一である。したがって、それらについての詳細な説明は繰り返さないものとする。

［第１の実施形態］
図１は第１の実施形態の計量異物検知包装装置２００の全体構成を示す模式図である。計量異物検知包装装置２００は、組合せ秤５０、シュータ５１、包装装置６０、シュータ５１と包装装置６０との間に設けられる通路７０、撮影装置８０、異物検知装置９０、および振分装置１００を備える。

（組合せ秤５０）
図２は組合せ秤５０の構成を示す模式図である。図２において、組合せ秤５０は複数（図２では１０個）の容器４０を備え、制御系からの指示により、容器４０の内部に含まれる１個または複数個の物品１０（および異物２０）の重量を計測するとともに、容器４０の出口（図示せず）を開放し、物品１０（および異物２０）を落下させる。
組合せ秤５０の動作は以下のとおりである。まず、各容器４０に含まれる物品１０（および異物２０）の重量を計量する。次に、計量値の合計値が目標とする所定の重量となる、各容器４０の物品１０（および異物２０）の組み合わせを選択する。なお、正確に所定の重量となる組合せが存在しない場合は、所定の重量を超えるが所定の重量に最も近い組合せが選択される。
物品１０（および異物２０）の組み合わせが選択された後、選択された各容器４０の出口が開放されて物品１０（および異物２０）が通路７０に落下するが、本実施形態では、選択された組み合わせを構成する容器４０の出口が、所定の時間間隔をおいて順次開放され、容器４０から排出された物品１０（および異物２０）は、逆円錐台形状のシュータ５１を中央下部の孔に向かって転がり落ちるか、または滑り落ちる。
この、所定の時間間隔は、出口が開放された容器４０から落下する物品１０（および異物２０）と、次に出口が開放される容器４０から落下する物品１０（および異物２０）とが通路内で重ならないように設定される。この所定の時間間隔は物品１０（および異物２０）の種類等によっても異なるが、０．０２秒以上３．０秒以下から選択されてよく、例えば１．０秒程度である。

（撮影装置８０）
図１において、撮影装置８０はシュータ５１の傾斜面に対向する方向に配置され、物品１０がシュータ５１の中央下部の孔に向かって転がり落ちる、または滑り落ちる状態を撮影する。本発明では容器４０が複数台あるため、撮影装置８０も複数台必要である。ただし、各容器４０ごとに撮影装置８０が必要というわけではなく、例えば４台で、各容器４０から排出される物品１０を撮影することができる。
この場合、シュータ５１上の物品１０は互いにバラバラな状態で移動するため、撮影した画像８１の中の物品１０の重なりを最小限に抑えることができる。また、（シュータ５１と通路７０との間の側面に撮影装置８０ａを配置する必要がないことから）シュータ５１の下部の孔と通路７０との間の鉛直方向の距離を短くすることができるため、計量異物検知包装装置２００の高さを低く抑えることができる。
撮影装置８０は、容器４０が物品１０を排出してから一定時間経過後の、物品１０が撮影装置８０に対向するシュータ５１の傾斜面に到達するタイミングで物品１０を撮影する。あるいは、撮影装置８０がムービー、または複数の連続の画像８１を撮影し、異物検知装置９０がそれらの画像８１の中から物品１０（および異物２０）が含まれている画像８１を選択して、選択した画像８１を異物検知用の多層ニューラルネットワーク９１（図４参照）に入力してもよい。

（撮影装置８０の変形例）
図３（ａ）、（ｂ）、（ｃ）に撮影装置８０の変形例を示す。
図３（ａ）では、シュータ５１の傾斜面に対向する方向に配置された撮影装置８０に加えて、シュータ５１と通路７０との間の側面に配置された撮影装置８０ａを備えている。撮影装置８０ａでは、シュータ５１の下部の孔から通路７０に向かって自由落下する物品１０を撮影する。この場合、複数の物品１０が落下しても撮影した画像８１の中の物品１０の重なりを最小限に抑えることができる。特に、複数の撮影装置８０ａを側面に配置して、異なる方向から物品１０を撮影すれば、物品１０の重なりの無い画像８１が得られる可能性が高くなる。
また、自由落下では、一定の時間間隔で複数枚の画像８１を撮影して落下速度を計算することで、例えば金属の釘などが異物２０として混入していた場合、物品１０と異物２０とを容易に判定することができる。
また、撮影装置８０で撮影した画像８１と撮影装置８０ａで撮影した画像８１のそれぞれについて異物２０の有無を判定し、撮影装置８０で撮影した画像８１と撮影装置８０ａで撮影した画像８１のうちのどちらかで異物２０が検出された場合には異物２０ありと判定することで、異物２０混入の判定精度をさらに向上させることができる。
ただし、撮影装置８０ａでシュータ５１の下部の孔から通路７０に向かって自由落下する物品１０を撮影するためには、シュータ５１の下部の孔と通路７０との間の鉛直方向の距離を一定程度とる必要があるため、計量異物検知包装装置２００の高さが少し必要となる。

図３（ｂ）では、シュータ５１と通路７０との間の側面に配置された撮影装置８０ａのみを備えている。撮影装置８０ａでは、シュータ５１の下部の孔から通路７０に向かって自由落下する物品１０を撮影する。この場合、複数の物品１０が落下しても撮影した画像８１の中の物品１０の重なりを最小限に抑えることができる。特に、複数の撮影装置８０ａを側面に配置して、異なる方向から物品１０を撮影すれば、物品１０の重なりの無い画像８１が得られる可能性が高くなる。
また、自由落下では、一定の時間間隔で複数枚の画像８１を撮影して落下速度を計算することで、例えば金属の釘などが異物２０として混入していた場合、物品１０と異物２０とを容易に判定することができる。
ただし、撮影装置８０ａでシュータ５１の下部の孔から通路７０に向かって自由落下する物品１０を撮影するためには、シュータ５１の下部の孔と通路７０との間の鉛直方向の距離を一定程度とる必要があるため、計量異物検知包装装置２００の高さが少し必要となる。

図３（ｃ）では、広角レンズを備えた撮影装置８０ｂがシュータ５１上部中央に鉛直方向下向きに配置されている。撮影装置８０ｂは、広角レンズを備えることにより、複数の容器４０から排出される物品１０をすべて撮影することができ、装置の簡素化、低価格化が可能となる。ただし、この場合、物品１０の画像８１は撮影された画像全体のうちの狭い範囲に含まれるため、撮影装置８０ｂの解像度をより高くすること、また、画像全体の中の物品１０が撮影されている部分を抽出することなどが必要になる。

（異物検知装置９０）
図４は異物検知装置９０を中心に計量異物検知包装装置２００全体の回路構成を示す模式的ブロックダイヤグラムである。
図４では、異物検知装置９０は画像８１を入力して物品１０か異物２０かを判定する多層ニューラルネットワーク９１のほかに、組合せ秤５０、撮影装置８０、包装装置６０、および振分装置１００を制御する制御部９５と、多層ニューラルネットワーク９１の係数、各装置のパラメータ等を記録する記録部９６を備えている。
なお、本実施形態では異物検知装置９０の中に制御部９５と記録部９６とを備えているが、異物検知装置９０とは独立して制御部９５と記録部９６とを備えてもよい。

（多層ニューラルネットワーク９１）
異物検査装置に用いる多層ニューラルネットワーク９１としては、複数の物品１０および異物２０が含まれている画像８１から、それぞれの物品１０および異物２０のクラス９２（種類）とバウンディングボックス９３（領域）とを検出できるものであればよい。例えば、Ｍａｓｋ Ｒ－ＣＮＮ、またはＹＯＬＯシステム（ｙｏｕ ｏｎｌｙ ｌｏｏｋ ｏｎｃｅ）などが使用可能である。
多層ニューラルネットワーク９１は、前もって、多くの物品１０および異物２０を教師データとして準備し、教師データを用いてその係数を学習させ、記録部９６に記録しておいて、異物検知時には学習済みの係数を用いて物品１０および異物２０のクラス９２（種類）とバウンディングボックス９３（領域）とを検出する。なお、物品１０のみ、または異物２０のみを教師データとして多層ニューラルネットワーク９１の係数を学習させ、物品１０以外のクラスが検出された場合、または異物２０のクラスが検出された場合に、異物２０と判定することも可能である。

図５は撮影装置８０で撮影した、複数の物品１０および異物２０が含まれる画像８１に、多層ニューラルネットワーク９１によって検知したクラス９２とバウンディングボックス９３とを追加した画像８１である。図４はＹＯＬＯシステムの出力の場合の例である。
図４には物品１０としてピーマンＧ１が、異物２０として、青虫ＮＧ１、および一部腐敗したピーマンＮＧ２が含まれている。図４の画像８１の場合は、複数の物品１０（および異物２０）がそれぞれ重なりの無い形で撮影されている。
なお、図は多層ニューラルネットワーク９１の動作を説明するための図であって、実際の計量異物検知包装装置２００では、多層ニューラルネットワーク９１からは、図５のような画像８１は出力されず、入力された画像８１の中にＮＧ１，ＮＧ２などの異物２０が含まれているかどうかだけが出力されてもよい。

本実施形態の場合、選択された組み合わせを構成する容器４０の出口を、所定の時間間隔をおいて順次開放することにより、撮影した画像８１の中で物品１０および異物２０が重ならないようにしている。また、異なる位置に配置された撮影装置８０、８０ａ、８０ｂで撮影した複数の画像８１、または、異なる複数の方向から撮影し、撮影した複数の画像８１のそれぞれに対して異物２０が含まれているか否かを判定し、複数の画像８１のうちの少なくとも１枚の画像８１に異物２０が含まれている場合、異物２０が含まれていると判定するようにすると、画像８１の中で物品１０と異物２０とが重なることによる誤判定の可能性をより低減することができてさらに好ましい。
また撮影装置８０で撮影した画像８１がムービー、あるいは連続写真である場合には、それらの画像８１の中の少なくとも１枚の画像８１に異物２０が含まれている場合、異物２０が含まれていると判定してもよい。

図６も、撮影装置８０で撮影した、複数の物品１０および異物２０が含まれる画像８１に、多層ニューラルネットワーク９１によって検知したクラス９２とバウンディングボックス９３とを追加した画像８１である。図６の画像８１ではピーマンＧ１（物品１０）と青虫ＮＧ１（異物２０）とが一部重なっているが、クラス９２とバウンディングボックス９３が正しく検出できている。ＹＯＬＯシステムなどの多層ニューラルネットワーク９１では、物体が一部重なっていても、それぞれのクラス９２とバウンディングボックス９３とを検出することができて好適である。

図７（ａ）と図７（ｂ）とは、一定の時間間隔で撮影した２つの画像８１に対して、異物検知装置９０でクラス９２とバウンディングボックス９３とを追加した結果を示す模式図である。図７（ａ）と図７（ｂ）とを比較することにより、一定の時間経過後の画像８１である図７（ｂ）においてＮＧ３（鉄釘）がより低い位置にあり、Ｇ１（ピーマン）よりもＮＧ３（鉄釘）の方がより速く落下していることが分かる。そして、これらの比較結果より、ＮＧ３（鉄釘）は落下速度がＧ１（ピーマン）より速く、異物２０であると判定することができる。

（包装装置６０）
再び図１を参照すると、包装装置６０は、ヒータ６１、ナイフ６２、ドラム６３で構成され、選択された組み合わせを構成する複数の容器４０から順次落下する物品１０（および異物２０）をテープ状の合成樹脂フィルム６４の中に包装する。包装の工程は以下のとおりである。
まず、ヒータ６１でドラム６３から送出された合成樹脂フィルム６４の下部をヒータ６１で熱圧着するとともにテープの両端を熱圧着して合成樹脂フィルム６４を袋状にする。
次に、物品１０（および異物２０）を容器４０から順次落下させ、袋状の合成樹脂フィルム６４の中に収める。
さらに、物品１０（および異物２０）を収めた袋状の合成樹脂フィルム６４をヒータ６１の下まで移動させ、ヒータ６１で袋状の合成樹脂フィルム６４の上部を熱圧着した後、ナイフ６２で切断する。以上の工程により、物品１０（および異物２０）を収めた包装品３０が完成する。
なお、本実施形態の包装装置６０は上記の通りであるが、包装装置６０としては、その他箱に収めるタイプの包装装置６０など、いろいろな包装装置６０が使用可能である。

（振分装置１００）
さらに図１を参照すると、シュート板１０１、出荷用のベルトコンベア１０２、廃棄ボックス１０３で構成されている。
袋状の合成樹脂フィルム６４に物品１０（および異物２０）を収め終わった後で、袋状の合成樹脂フィルム６４をヒータ６１の下まで移動させるまでの間に、異物検知装置９０から振分装置１００に、袋状の合成樹脂フィルム６４（包装品３０）に異物２０が含まれているかどうかの情報が送られる。そして、振分装置１００のシュート板１０１は、袋状の合成樹脂フィルム６４に異物２０が含まれていない場合は図１の実線の位置に、含まれている場合は図１の点線の位置に固定される。シュート板１０１が実線の位置にある場合は包装品３０は出荷用のベルトコンベア１０２に載置されて出荷され、点線の位置にある場合は廃棄ボックス１０３に落下し、廃棄される。
なお、本実施形態の振分装置１００は上記の通りであるが、振分装置１００としては、例えば、すべての包装品３０をベルトコンベア１０２に載置し、ベルトコンベア１０２の一方の側方にアクチュエータを配置してピストンロッドで不良品を他方の側方に押し出すといった構成、エアガンで不良品を飛ばす構成などが使用可能である。

（フローチャート）
図８は、本実施形態の計量異物検知包装装置２００の計量から異物検知、包装、選別に至る全体のステップを説明するフローチャートである。以下、ステップごとにその内容を説明する。
（Ｓ１）複数の各容器４０に物品１０（および異物２０）を収容し、各容器４０に収容された物品１０（および異物２０）の重量を計量する。
（Ｓ２）複数の容器４０に収容された物品１０（および異物２０）のそれぞれの重量に基づき、所定の重量となる物品１０（および異物２０）の組み合わせを選択する。なお、正確に所定の重量となる組合せが存在しない場合は、所定の重量を超えるが所定の重量に最も近い組合せが選択されてもよい。
（Ｓ３）選択された組合せに該当する容器４０の出口を所定の時間間隔で順次開放する。

（Ｓ４）各出口開放から一定の時間経過後、シュータ５１、および／またはシュータ５１と通路７０との間を通過する物品１０の画像８１を撮影装置８０、８０ａ、８０ｂで撮影する。例えば、組合せに該当する容器４０が５個であれば５回撮影することになる。
撮影装置８０、８０ａ、８０ｂはムービー、あるいは複数の連続写真を撮影してもよい。

（Ｓ５）撮影装置８０で撮影された画像８１を異物検知装置９０の多層ニューラルネットワーク９１に入力し、各画像８１に異物２０が含まれているかどうかを検出する。この場合、多層ニューラルネットワーク９１に入力される画像８１の数は、少なくとも、選択された容器４０の組み合わせの数であり、異なる撮影装置８０，８０ａ、８０ｂで画像８１を撮影した場合、異なる複数の方向から画像８１を撮影した場合、またはムービーで撮影した画像８１を入力する場合などはさらに画像８１の数が多くなる。しかし、ＹＯＬＯシステムなどの最新の多層ニューラルネットワーク９１では物体検出の速度が早いため、入力される画像８１の数が多くても対応可能である。例えばＹＯＬＯシステムの場合、１秒間あたり４５－１５５枚の画像８１を処理できると言われている。

（Ｓ６）選択された組合せの容器４０の物品１０（および異物２０）がすべて落下し、包装容器（本実施形態の場合は袋状の合成樹脂フィルム６４）に収納された後、包装容器を密封し、包装品３０を完成させる。
（Ｓ７－Ｓ９）多層ニューラルネットワーク９１に入力された複数の画像８１の中に異物２０が含まれた画像８１があるかどうかを調べ、異物２０が含まれた画像８１がない場合は包装品３０を出荷し、異物２０が含まれた画像８１がある場合は包装品３０を廃棄する。
なお、図１に記載の計量異物検知包装装置２００の場合は、袋状の合成樹脂フィルム６４がヒータ６１の下側に移動する前に振分装置１００のシュート板１０１の位置を設定する必要があるため、ステップＳ７の判断をステップＳ６が完了する前に行う。

以上の説明の通り、第１の実施形態の計量異物検知包装装置２００では、組合せ秤５０、包装装置６０、振分装置１００で構成される計量包装装置の組合せ秤５０と包装装置６０との間に撮影装置８０、８０ａ、８０ｂを配置し、撮影装置８０、８０ａ、８０ｂで撮影した複数の画像８１を異物検知装置９０の多層ニューラルネットワーク９１に入力し、異物２０の有無を判定することによって、複数の物品１０を所定の重量の包装品３０に包装するとともに、異物２０が混入された包装品３０を除去する、構造が簡単で小型化が可能な計量異物検知包装装置２００を実現している。

本発明において、物品１０が『物品』に相当し、異物２０が『異物』に相当し、包装品３０が『包装品』に相当し、容器４０が『容器』に相当し、組合せ秤５０が『組合せ秤』に相当し、シュータ５１が『シュータ』に相当し、包装装置６０が『包装装置』に相当し、通路７０が『通路』に相当し、撮影装置８０、８０ａ、８０ｂが『撮影装置』に相当し、画像８１が『画像』に相当し、異物検知装置９０が『異物検知装置』に相当し、振分装置１００が『振分装置』に相当し、多層ニューラルネットワーク９１が『多層ニューラルネットワーク』に相当し、計量異物検知包装装置２００が『計量異物検知包装装置』に相当する。

本発明の好ましい一実施形態は上記の通りであるが、本発明はそれだけに制限されない。本発明の精神と範囲から逸脱することのない様々な実施形態が他になされることは理解されよう。さらに、本実施形態において、本発明の構成による作用および効果を述べているが、これら作用および効果は、一例であり、本発明を限定するものではない。

１０ 物品
２０ 異物
３０ 包装品
４０ 容器
５０ 組合せ秤
５１ シュータ
６０ 包装装置
７０ 通路
８０、８０ａ、８０ｂ 撮影装置
８１ 画像
９０ 異物検知装置
９１ 多層ニューラルネットワーク
１００ 振分装置
２００ 計量異物検知包装装置

Claims (5)

1. 容器から排出された物品を中心に向かって落下させる逆円錐台形状のシュータと、
   前記シュータの下部に設けられ、前記シュータから排出された前記物品を落下させる通路と、
   自由落下する前記物品を撮影する撮影装置と、
   前記撮影装置で撮影した画像を入力して前記画像に前記物品以外の異物が含まれているか否かを判定する異物検知装置と、
   前記通路の下に設けられ、前記異物が含まれる前記物品を除去する振分装置と、を含み、
   前記通路には下部シュータが設けられ、前記シュータの下端部と前記下部シュータの上端部とは上下方向に離間して配置されており、前記物品は前記シュータと前記下部シュータとの間を自由落下するように構成され、
   前記撮影装置は、前記シュータの下端部と前記下部シュータの上端部との間の側面に複数設けられ、自由落下する前記物品を異なる方向から撮影する、異物検知振分装置。
2. 前記容器は、出口を開放して収容されている前記物品を排出する複数の容器からなり、
   前記複数の容器は、前記出口を所定の時間間隔をおいて順次開放し、
   前記振分装置は、前記異物が含まれる前記容器の前記物品を除去する、請求項１に記載の異物検知振分装置。
3. 前記異物検知装置は、撮影した複数の前記画像のそれぞれに対して、前記物品以外の前記異物が含まれているか否かを判定し、複数の前記画像のうちの少なくとも１枚の前記画像に前記異物が含まれている場合、前記異物が含まれていると判定する、請求項１または２に記載の異物検知振分装置。
4. 前記異物検知装置は多層ニューラルネットワークで構成され、あらかじめ前記物品の前記画像および／または前記異物の前記画像を用いて学習される、請求項３に記載の異物検知振分装置。
5. 前記撮影装置は、ムービーまたは複数の画像を撮影し、
   前記異物検知装置は、前記ムービーまたは複数の画像を用いて画像中の前記物品および／または前記異物の落下速度を計算し、前記異物が含まれているか否かを検出する、請求項４に記載の異物検知振分装置。
   
   
   

Images