JP2023137174A - 電磁波検査装置 - Google Patents

Abstract

【課題】ＭＬ処理において、異物や欠品の検知の精度を向上させること。【解決手段】一実施形態に係る電磁波検査装置１０は、外部から搬送される複数の物品Ｂを含む物品群Ａを搬送する搬送部１４と、搬送中の物品群Ａに対して電磁波を照射する照射部１５と、物品群Ａを透過した電磁波を検知して透過画像１００を生成する検出部１６と、透過画像内の複数の物品Ｂのそれぞれに対応する複数の部分領域画像２００Ａ/２００Ｂを生成し、複数の部分領域画像２００Ａ/２００Ｂに基づく画像を学習済モデルに入力することにより物品Ｂの良否を判定する制御部１８とを有する。【選択図】図１

Description

本発明は、電磁波検査装置に関する。

Ｘ線検査装置のような物品の品質状態を検査する物品検査装置において、機械学習やディープラーニングを用いて画像から異物、欠品又は欠陥の有無を判断する処理（以下、単に「ＭＬ（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｇｎ）処理」とする）が知られている（例えば、特許文献１参照）。

特開２０２０-３３８７号公報

しかしながら、上述のＭＬ処理において、Ｘ線検査装置において撮像されて得られた画像をそのまま利用する場合、学習済モデルにとっては判別し難い画像である場合が多く、異物や欠品の検知の精度を向上できないという問題点があった。

そこで、本発明は、上記課題に鑑み、上述のＭＬ処理において、異物や欠品の検知の精度を向上できる電磁波検査装置を提供することを目的とする。

一実施形態に係る電磁波検査装置は、外部から搬送される複数の物品を含む物品群を搬送する搬送部と、搬送中の前記物品群に対して電磁波を照射する照射部と、前記物品群を透過した前記電磁波を検知して透過画像を生成する検出部と、前記透過画像内の前記複数の物品のそれぞれに対応する複数の部分領域画像を生成し、前記複数の部分領域画像に基づく画像を学習済モデルに入力することにより前記物品の良否を判定する制御部と、を有することを要旨とする。

本発明によれば、上述のＭＬ処理において、異物や欠品の検知の精度を向上させることができる電磁波検査装置を提供できる。

図１は、一実施形態に係る電磁波検査システム１の全体構成の一例を説明する図である。 図２は、一実施形態に係る電磁波検査装置１０の装置本体１１の表示操作部１７に表示される画面の一例を示す図である。 図３は、一実施形態に係る電磁波検査装置１０の検出部１６によって生成される透過画像１００の一例を示す図である。 図４は、一実施形態に係る電磁波検査装置１０の制御部１８によって生成される部分領域画像２００Ａ/２００Ｂの一例を示す図である。 図５は、一実施形態に係る電磁波検査装置１０の制御部１８によって生成される部分領域画像２００Ａ/２００Ｂの一例を示す図である。 図６は、一実施形態に係る電磁波検査装置１０の動作の一例を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率等は現実のものとは異なることに留意すべきである。したがって、具体的な寸法等は、以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれ得る。本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（第１実施形態）
以下、図１～図６を参照して、本発明の第１実施形態に係る電磁波検査システム１について説明する。

図１に示すように、本実施形態に係る電磁波検査システム１は、電磁波検査装置１０と、振分装置３０と、サーバ５０とを備えている。

電磁波検査システム１は、機械学習やディープラーニング等により生成される学習済モデルを用いて複数の物品Ｂを含む物品群Ａを検査する。例えば、本実施形態では、かかる物品群Ａとして、袋内に含まれている複数の菓子（スナック菓子やチョコレート又はクッキー等）を想定する。

電磁波検査装置１０は、装置本体１１と、支持脚１２と、シールドボックス１３と、搬送部１４と、照射部１５と、検出部１６と、表示操作部１７と、制御部１８とを備えている。

なお、本実施形態では、電磁波としてＸ線を用いるケースについて説明するが、本発明は、かかるケースに限定されるものではなく、電磁波として他のものが用いられていてもよい。具体的には、本発明は、電磁波として、赤外線、マイクロ波を用いる構成でも構わない。

図１に示すように、装置本体１１は、制御部１８等を収容している。支持脚１２は、装置本体１１を支持している。

シールドボックス１３は、装置本体１１に設けられている。シールドボックス１３は、外部へのＸ線の漏洩を防止する。シールドボックス１３の内部には、Ｘ線による物品群Ａの検査が実施される検査領域Ｒが設けられている。シールドボックス１３には、搬入口１３ａ及び搬出口１３ｂが形成されている。検査前の物品群Ａは、搬入コンベア１９から搬入口１３ａを介して検査領域Ｒに搬入される。検査後の物品群Ａは、検査領域Ｒから搬出口１３ｂを介して振分装置３０のコンベア３１に搬出される。搬入口１３ａ及び搬出口１３ｂのそれぞれには、Ｘ線の漏洩を防止するＸ線遮蔽カーテン（図示省略）が設けられている。

図１に示すように、搬送部１４は、シールドボックス１３内に配置されている。搬送部１４は、外部から搬送される複数の物品Ｂを含む物品群Ａを搬送する。具体的には、搬送部１４は、搬入口１３ａから検査領域Ｒを介して搬出口１３ｂまで、搬送方向Ｄに沿って物品群Ａを搬送する。搬送部１４は、例えば、搬入口１３ａと搬出口１３ｂとの間に掛け渡されたベルトコンベアである。

図１に示すように、照射部１５は、シールドボックス１３内に配置されている。照射部１５は、搬送中の物品群Ａに対してＸ線を照射する。照射部１５は、例えば、Ｘ線を出射するＸ線管と、Ｘ線管から出射されたＸ線を搬送方向Ｄに垂直な面内において扇状に広げるコリメータとを有している。

図１に示すように、検出部１６は、シールドボックス１３内に配置されている。検出部１６は、物品群Ａを透過したＸ線を検知して透過画像１００（図２及び図３参照）を生成する。例えば、検出部１６は、搬送方向Ｄに垂直な水平方向に沿って一次元に配列されたＸ線検出素子によって構成されているラインセンサである。検出部１６は、物品群Ａ及び搬送部１４の搬送ベルトを透過したＸ線を検出する。なお、検出部１６は、電磁波を検出し信号情報に変換可能な部材であればどのようなものでもよく、例えば、電磁波に起因するフォトンを計数するセンサであっても構わない。

図１に示すように、表示操作部１７は、装置本体１１に設けられている。表示操作部１７は、各種情報を表示すると共に、各種条件の入力を受け付ける。表示操作部１７は、例えば、液晶ディスプレイであり、タッチパネルとしての操作画面を表示する。この場合、オペレータは、表示操作部１７を介して各種パラメータを入力することができる。

表示操作部１７は、図２に示すように、透過画像１００に対して行う画像処理で用いる以下のパラメータを設定可能な設定画面を表示する。

「強調モード」は、画像強調のモードを指定するための項目である。「０」の場合、標準のモードとなり、「１」の場合、背景の飽和を許した画像強調のモードになる。

「強調レベル」は、強調レベルを指定するための項目である。ここで、強調レベルは、画像のコントラストを調整するためのパラメータであり、濃淡変化量を表す。

「強調エリア」は、強調エリアを指定するための項目である。ここで、強調エリアは、画像のコントラストを調整するためのパラメータであり、濃淡変化を行う起点を表す。

「強調リミット」は、強調リミットを指定するための項目である。ここで、強調リミットは、画像のコントラストを調整するためのパラメータであり、濃淡変化を行う上限を表す。

「画像サイズ」は、処理に使用する画像サイズを指定するための項目である。「Ｌ」の場合、使用可能な最大サイズとなり、「Ｍ」の場合、Ｌの場合の１/４のサイズとなり、「Ｓ」の場合、Ｍの場合の１/４のサイズとなる。

「膨張率Ｘ」は、センサ方向（搬送方向Ｄに垂直な水平方向）の画像膨張率を指定するための項目である。「膨張率Ｙ」は、搬送方向Ｄの画像膨張率を指定するための項目である。

「周囲マスク」は、周囲マスクを使用するか否かについて指定するための項目である。「周囲マスク上」は、周囲マスクの上側の幅を指定するための項目であり、「周囲マスク下」は、周囲マスクの下側の幅を指定するための項目であり、「周囲マスク左」は、周囲マスクの左側の幅を指定するための項目であり、「周囲マスク右」は、周囲マスクの右側の幅を指定するための項目である。ここで、周囲マスクは、検査対象となる部分に対応し、検査対象に含めたくない部分（例えば、レトルトカレーの箱の部分）等を消すために用いられる。

「包装しきい値」は、包材領域のしきい値を指定するための項目である。ここで、包材領域のしきい値は、検査対象の外形と背景とを分離するためのしきい値である。

「オブジェクト抽出」は、オブジェクト抽出を使用するか否かについて指定するための項目である。ここで、オブジェクト抽出は、画像全体から検査対象の物品Ｂの１つ１つを抽出する処理を表す。

「検査物しきい値」は、検査物しきい値を指定するための項目である。ここで、検査物しきい値は、検査対象の物品を１つ１つに分けるためのしきい値であり、個々の物品Ｂが接触しないように、画面上で処理する数値を設定するものである。

「領域分離」は、近接している検査対象の物品Ｂを強制的に分けるために使用する領域分離の回数を指定するための項目である。ここで、領域分離の回数が多いほど、近接している検査対象の物品Ｂを強制的に分けることができる。

「回転補正」は、回転補正（画像の傾きの補正）の有無及び補正方法を指定するための項目である。かかる回転補正は、抽出された物品Ｂの形状から長辺が０°となるように回転する処理である。「Ｎｏｎｅ」の場合、回転補正をせず、「Ｒｅｃｔ」の場合、矩形近似により回転補正を行い、「Ｅｌｌｉｐｓｅ」は、楕円近似により回転補正を行う。

「背景削除」は、オブジェクト抽出により抽出したオブジェクトの背景部を塗りつぶす背景削除を使用するか否かについて指定するための項目である。

「回転」は、回転における回転角度を指定するための項目である。ここで、回転は、回転補正の有無によらず、画像全体に対して、又は、オブジェクト抽出を行っている場合は物品Ｂの１つ１つに対して回転を行う処理である。

「幅」は、オブジェクト切り取り幅を指定し、「高さ」は、オブジェクト切り取り高さを指定するための図である。なお、上述のオブジェクト抽出が行われている場合には、抽出された物品Ｂの重心を中心に設定されたオブジェクト切り取り幅及びオブジェクト切り取り高さで切り取りが行われる。一方、上述のオブジェクト抽出が行われていない場合には、画像全体の中心を中心に設定されたオブジェクト切り取り幅及びオブジェクト切り取り高さで切り取りが行われる。

図１に示すように、制御部１８は、装置本体１１内に配置されている。なお、制御部１８は、装置本体１１の外部に設けられており、ネットワークＮを介して表示操作部１７や検出部１６等と接続されていてもよい。

制御部１８は、電磁波検査装置１０の各部の動作を制御する。制御部１８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されている。

制御部１８は、図３に示すように、検出部１６によって生成された透過画像１００内の複数の物品Ｂのそれぞれに対応する複数の部分領域画像２００Ａ～２００Ｂを生成し、複数の部分領域画像２００Ａ～２００Ｂに基づく画像を学習済モデルに入力することにより物品Ｂの良否を判定する。

制御部１８は、図３に示すように、透過画像１００から複数の物品Ｂの各々を抽出して、それぞれ１つの物品Ｂを含むように複数の部分領域画像２００Ａ～２００Ｂを生成する。

ここで、学習済モデルは、入力された画像に対する物品Ｂの良否を示す情報を出力する。学習済モデルは、ニューラルネットワークを含んでもよい。また、学習モデルは、ディープラーニングによって生成されてもよい。或いは、学習モデルにおいて、決定木やクラスタリングが用いられてもよい。

また、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂに基づく画像内に異物等が含まれている場合や、複数の部分領域画像２００Ａ～２００Ｂに基づく画像内の物品Ｂが割れ欠けしている場合等に、物品Ｂが不良であると判定してもよい。

例えば、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂに基づく画像として、複数の部分領域画像２００Ａ～２００Ｂの各々を学習済モデルに入力してもよい。

また、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂに基づく画像として、図４に示すように、複数の部分領域画像２００Ａ～２００Ｂを並び替えることによって生成した確認用画像３００を学習済モデルに入力してもよい。

図４の例では、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂを一列に並び替えることによって確認用画像３００を生成している。

かかる構成によれば、確認画像３００内に一列に複数の部分領域画像２００Ａ～２００Ｂが並んでいるため、オペレータが、確認の際に見やすくなる。

また、図５に示すように、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂの傾きを補正した上で一列に並び替えることによって確認用画像３００を生成してもよい。

なお、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂに対して所定の画像処理を施すことによって確認用画像３００を生成してもよいし、複数の部分領域画像２００Ａ～２００Ｂを二列以上に並び替えることによって確認用画像３００を生成してもよい。

制御部１８は、学習済モデルから出力された出力値を含む判定結果を出力する。かかる判定結果には、上述の物品Ｂの良否を示す情報が含まれている。なお、かかる判定結果に、不良である物品Ｂが含まれている部分領域画像２００Ａ～２００Ｂを示す情報等が含まれていてもよい。

ここで、制御部１８は、複数の部分領域画像２００Ａ～２００Ｂそれぞれに映し出される物品Ｂの判定結果に基づき、かかる物品Ｂを含む物品群Ａに対して１つの判定結果を出力してもよい。

同じ物品群Ａの物品Ｂは、１つの袋等に含まれているため、同じ物品群Ａ内の複数の物品Ｂが不良である場合であっても、１つの判定結果（物品Ｂが不良であるという判定結果）を出力すれば十分である。したがって、上述の制御部１８の構成は有効である。

なお、制御部１８は、物品Ｂが不良であるという判定結果を出力する際には、アラーム音等で、その旨をオペレータに通知してもよい。

図１に示すように、振分装置３０は、電磁波検査装置１０よりも下流側に設けられている。振分装置３０は、コンベア３１に設けられている。振分装置３０は、電磁波検査装置１０から出力された振分信号に基づいて、物品群Ａを振り分ける。振分装置３０は、光電センサ３２と、アーム３３と、を有している。

光電センサ３２は、物品群Ａの通過を検知するセンサである。光電センサ３２は、アーム３３の上流側に設置されており、振分装置３０への物品群Ａの搬入を検知する。光電センサ３２は、投光器から受光器に出射された光が物品群Ａで遮光された場合に、物品群Ａが振分装置３０に到達したとして、信号を電磁波検査装置１０に送信する。

アーム３３は、例えば、モータ等の駆動力により基端側を基軸に先端が揺動する。アーム３３は、コンベア３１の幅方向における一方側へ物品群Ａを押し出し、当該物品群Ａを生産ライン外に振り分ける。

図１に示すように、サーバ５０は、機械学習やディープラーニング等によって学習済モデルを生成する装置である。サーバ５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されている。

図１に示すように、サーバ５０は、通信部５１と、学習済モデル生成部５２と、を備えている。ここで、電磁波検査装置１０とサーバ５０とは、有線又は無線のネットワークＮによって通信可能に接続されており、互いに情報の送受信を行うことができる。

通信部５１は、電磁波検査装置１０と通信を行う。通信部５１は、電磁波検査装置１０から送信された学習データを受信して、学習済モデル生成部５２に出力する。通信部５１は、学習済モデル生成部５２から出力された学習済モデルを電磁波検査装置１０に送信する。

学習済モデル生成部５２は、機械学習やディープラーニング等に用いる学習データを取得して、取得した学習データを用いて機械学習やディープラーニング等を行って学習済モデルを生成する。ここで、学習データは、教師画像、及び、その他のデータを含む。

教師画像は、例えば、電磁波検査装置１０において生成された不良ではない物品Ｂに対応する複数の部分領域画像２００Ａ～２００Ｂや確認用画像３００等である。

なお、学習モデルは、電磁波検査装置１０内ではなく、サーバ５０内に保存されていてもよい。かかる場合、電磁波検査装置１０の制御部１８は、ネットワークＮを介して、サーバ５０内に保存されている学習済モデルに複数の部分領域画像２００Ａ～２００Ｂに基づく画像を入力し、上述の判定結果をサーバ５０から取得して出力する。

また、サーバ５０及び制御部１８は、必ずしも分離している必要はなく、サーバ５０の機能は、制御部１８内に配置されていてもよい。

以下、図６を参照して、本実施形態に係る電磁波検査装置１０の動作の一例について説明する。

図６に示すように、ステップＳ１０１において、電磁波検査装置１０は、搬送中の物品群Ａに対してＸ線を照射し、物品群Ａを透過したＸ線を検知して透過画像１００を生成する。

ステップＳ１０２において、電磁波検査装置１０は、透過画像１００内の複数の物品Ｂのそれぞれに対応する複数の部分領域画像２００Ａ～２００Ｂを生成する。

ステップＳ１０３において、電磁波検査装置１０は、複数の部分領域画像２００Ａ～２００Ｂに基づいて確認用画像３００を生成する。

ステップＳ１０４において、電磁波検査装置１０は、確認用画像３００（或いは、複数の部分領域画像２００Ａ～２００Ｂ）を学習済モデルに入力することにより物品Ｂの良否を判定する。

この後、電磁波検査装置１０は、かかる判定が行われた部分領域画像２００Ａ～２００Ｂを透過画像１００の元の位置に重ね合わせた画像を生成して表示してもよい。

一般的に、上述のＭＬ処理に入力する画像の性質によりＭＬ処理の性能は大きく左右されるとされている。したがって、本実施形態によれば、ＭＬ処理に入力する画像を容易に調整することができ、異物や欠品の検知の精度を向上させることができる。

上述の実施形態を用いて本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１…電磁波検査システム
１０…電磁波検査装置
１１…装置本体
１２…支持脚
１３…シールドボックス
１４…搬送部
１５…照射部
１６…検出部
１７…表示操作部
１８…制御部
３０…振分装置
１００…透過画像
２００Ａ、２００Ｂ…部分領域画像
３００…確認用画像
Ａ…物品群
Ｂ…物品

Claims (3)

1. 外部から搬送される複数の物品を含む物品群を搬送する搬送部と、
   搬送中の前記物品群に対して電磁波を照射する照射部と、
   前記物品群を透過した前記電磁波を検知して透過画像を生成する検出部と、
   前記透過画像内の前記複数の物品のそれぞれに対応する複数の部分領域画像を生成し、前記複数の部分領域画像に基づく画像を学習済モデルに入力することにより前記物品の良否を判定する制御部と、を有する、電磁波検査装置。
2. 前記制御部は、前記複数の部分領域画像それぞれに映し出される前記物品の判定結果に基づき、前記物品群に対して１つの判定結果を出力する、請求項１に記載の電磁波検査装置。
3. 前記複数の部分領域画像を一列に並び変えることによって前記画像を生成する、請求項１又は２に記載の電磁波検査装置。