JP2021152489A - 教師データ生成装置、検査装置及びプログラム - Google Patents

Abstract

【課題】噛み込み等の検査時の良否判定に用いる学習済みモデルを生成するための教師データを効率的に生成して検査を実行する。【解決手段】本発明の教師データ生成装置は、検査対象物が写る画像の入力を受け付け、当該画像において検査対象物の検査範囲を所定の方法により特定し、特定された検査範囲を当該画像から切り出す切り出し手段と、切り出し手段において切り出された検査範囲の画像を学習対象画像として、少なくとも正常と非正常のいずれかに振り分ける振分操作に基づき、学習対象画像と振り分けの結果とを対応付ける振分処理手段と、学習対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部とを備える。【選択図】図３

Description

本発明は、被検査物を撮影した画像に基づき被検査物を検査する検査装置において、被検査物の良否判定を行うための学習済みモデルを生成すべく機械学習させる教師データを生成して検査を実行するための教師データ生成装置、検査装置及びプログラムに関する。

Ｘ線検査装置は、Ｘ線発生部とＸ線検出部とを対向させ、これらの間を通るように被検査物をコンベア等の搬送装置で順次搬送し、被検査物がＸ線発生部とＸ線検出部との間を通過する際に得られるＸ線透過データを用いて、被検査物のＸ線透過画像を生成し、当該Ｘ線透過画像を用いて被検査物を非破壊で検査する装置である。その用途としては、例えば、包装された商品の内容物に異物が混入していないかを検査する異物混入検査、内容物が所定の個数を備えているかを検査する個数検査、内容物にひび割れ等の欠陥が発生していないかを検査する欠陥検査などがある。これらの検査は食品、医薬品、工業部品等の様々な物品に対して行われる。また、Ｘ線検査装置以外にも、被検査物を撮影した画像に基づき被検査物を検査する検査装置が実用化されている。

この種の検査装置では、所定の判定基準に基づき、被検査物を良品と不良品とに振り分ける。従来、この判定基準は予め定義されたものであったが、昨今の機械学習技術の発達により、学習プログラムに学習用データ（教師データ）を入力することにより生成される学習済みモデルを判定基準として用いるものが提案されている（例えば特許文献１を参照）。

特開２０１１−０８９９２０号公報

包装袋のシール部分における噛み込み等の検査時の良否判定の際にも、学習済みモデルを判定基準として用いることが可能であるが、学習済みモデルを生成するために学習用プログラムに入力する学習用データの効率的な収集方法が未だ確立されていない。

本発明は上記の課題に鑑みてなされたものであり、噛み込み等の検査時の良否判定に用いる学習済みモデルを生成するための教師データを効率的に生成して検査を実行することが可能な教師データ生成装置、検査装置及びプログラムを提供することを目的とする。

本発明の教師データ生成装置は機械学習に用いられる教師データを生成する。教師データ生成装置が生成した教師データを用いて機械学習により生成される学習済みモデルは、検査対象物が写る画像から切り出された判定対象画像を当該学習済みモデルに入力し、出力された判定結果に基づき検査対象物が正常である否かの検査を行う検査装置で用いられるものである。教師データ生成装置は、検査対象物が写る画像の入力を受け付け、当該画像において検査対象物の検査範囲を所定の方法により特定し、特定された検査範囲を当該画像から切り出す切り出し手段と、切り出し手段において切り出された検査範囲の画像を学習対象画像として、少なくとも正常と非正常のいずれかに振り分ける振分操作に基づき、学習対象画像と振り分けの結果とを対応付ける振分処理手段と、学習対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部とを備える。

本発明の教師データ生成装置では、検査範囲を、入力された１以上の基準点の位置情報及び基準点からの距離を示す情報に基づき特定してもよい。

また、検査範囲は、画像の明暗の所定の閾値に基づき画像を二値化し、二値化された画像から検出されたブロブに基づき特定してもよい。

本発明の教師データ生成装置では、切り出し手段において切り出された検査範囲の画像から、より小さい部分画像を抽出する抽出手段を更に備え、振分処理手段が、部分画像を学習対象画像として、少なくとも正常と非正常のいずれかに振り分ける振分操作に基づき、部分画像と振り分けの結果とを対応付けてもよい。

本発明の教師データ生成装置では、抽出手段は、隣接する部分画像と部分的に重複するように複数の部分画像を抽出してもよい。

本発明の教師データ生成装置では、ディスプレイと、ディスプレイによる表示を制御する表示制御手段とを更に備え、表示制御手段は、ディスプレイの第１領域に複数の学習対象画像を並べて表示させるとともに、ディスプレイの第２領域に検査対象物の画像を、学習対象画像に対応する領域を指し示す表示を重畳しつつ表示させてもよい。

本発明の教師データ生成装置では、表示制御手段は、ディスプレイの第１領域に表示された複数の学習対象画像のうちの１つが選択されると、ディスプレイの第２領域に表示された検査対象物の画像における当該選択された学習対象画像に対応する領域を指し示す表示をさせてもよい。

本発明の検査装置は、検査対象物を搬送し、検査領域を通過させる搬送部と、電磁波を検査領域に照射する電磁波照射部と、搬送部を挟んで電磁波照射部と対向する位置に配置され、検査領域を通過する検査対象物を透過した電磁波を検出する電磁波検出部と、電磁波検出部で検出された電磁波の強度の分布を２次元の画像として構成する画像構成手段と、画像構成手段において構成された検査対象物が写る画像において、検査対象物の検査範囲を所定の方法により特定し、特定された検査範囲を画像から切り出す切り出し手段と、切り出し手段において切り出された検査範囲の画像を判定対象画像として学習済みモデルに入力して、出力された判定結果に基づき検査対象物が正常であるか否かの検査を行う判定手段と、を備える。

本発明の検査装置では、検査範囲を、入力された１以上の基準点の位置情報及び基準点からの距離を示す情報に基づき特定してもよい。

また、検査範囲は、画像の明暗の所定の閾値に基づき画像を二値化し、二値化された画像から検出されたブロブに基づき特定してもよい。

本発明の検査装置では、切り出し手段において切り出された検査範囲の画像から、より小さい部分画像を抽出する抽出手段を更に備え、判定手段が、部分画像を判定対象画像として学習済みモデルに入力して検査対象物の検査を行ってもよい。

本発明の検査装置では、抽出手段は、隣接する部分画像と部分的に重複するように複数の部分画像を抽出してもよい。

本発明の検査装置では、学習済みモデルが出力する判定結果が、入力された判定対象画像の正常性を示すスコアであり、判定手段が、当該スコアに基づき検査対象物が正常であるか否かの検査を行ってもよい。

本発明の検査装置では、判定対象画像が複数であり、判定手段が、それぞれの判定対象画像を学習済みモデルに入力して、それぞれの判定対象画像について出力されたスコアに基づき検査対象物が正常であるか否かの検査を行ってもよい。

本発明の教師データ生成装置及び検査装置を構成する各手段は、各手段の機能が記述されたプログラムをコンピュータに実行させることにより実現してもよい。

本発明の教師データ生成装置、検査装置及びプログラムによれば、噛み込み等の検査時の良否判定に用いる学習済みモデルを生成するための教師データを効率的に生成して検査を実行することが可能となる。

検査装置１の構成を示すブロック図である。 検査部１０の構成の一例を示す図である。 教師データ生成部１２の構成を示すブロック図である。 基準点に基づく検査範囲の特定方法の一例を示す図である。 ブロブ解析に基づく検査範囲の特定方法の一例を示す図である。 ブロブ解析に基づく検査範囲の特定方法の別の一例を示す図である。 ブロブ解析に基づく検査範囲の特定方法の更に別の一例を示す図である。 抽出手段１２２による部分画像の抽出方法の一例を示す図である。 学習対象表示画面の表示例を示す図である。 学習モードでの検査装置１の動作の手順を示すフローチャートである。 検査モードでの検査装置１の動作の手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

〔検査装置１の構成〕
図１は、検査対象物が正常であるか否かを検査する検査装置１の構成を示すブロック図である。検査装置１は、検査部１０、制御部１１、ディスプレイ１４及び操作インタフェース１５を備える。検査装置１が検査する検査対象物がシール部を有する包装物であるとき、検査範囲は、例えばシール部である。この場合、検査範囲が非正常であるとは、シール部に内容物の噛み込み、皺、折れがあるなど、包装内の気密性や製品の品質が損なわれるおそれがあるシール状態を意味し、正常であるとはそのような問題が無い状態を意味する。

検査装置１は、検査モードと学習モードを備える。検査モードでは、検査部１０にて撮影された検査対象物が写る画像から判定対象画像を切り出し、これを機械学習実行部１３などにおいて生成された学習済みモデルに入力して、検査対象物における内容物の噛み込み、及びシールの皺や折れなどの存否を、画像解析により検査する。一方、学習モードでは、検査部１０などで撮影された検査対象物が写る画像をもとに教師データ生成部１２により教師データを生成して、この教師データを機械学習実行部１３に入力し、学習済みモデルに学習を行わせる。

検査部１０は、検査に供する検査対象物の画像を撮影する。検査部１０の例としては、検査対象物のＸ線透過画像を撮像するＸ線検査装置が挙げられるが、検査対象物の画像に基づき検査を行う検査装置であればこれに限定されない。検査モードにおいて、検査部１０は、撮影した検査対象物が写る画像から検査範囲の画像や部分画像を切り出し、機械学習実行部１３において予め生成された学習済みモデルに入力して検査対象物の検査を行う。また、検査部１０は、撮影した検査対象物が写る画像を、学習モードにおいて教師データ生成部１２への入力画像として提供する。

図２は、検査部１０の構成の一例を示している。この例では、電磁波としてＸ線を検査対象物に照射することにより得られたＸ線透過画像を検査に供する画像として取得する。検査部１０は、搬送部１０１、電磁波照射部１０２、電磁波検出部１０３、画像構成手段１０４、記憶部１０５、切り出し手段１０６及び判定手段１０８を備える。

搬送部１０１は、１または複数のベルトコンベアで構成され、画像を撮影する検査領域まで検査対象物を搬送し、撮影後、検査領域から排出させる。

電磁波照射部１０２は、画像を撮影するのに必要な電磁波（例えば、Ｘ線、紫外線、可視光、赤外線等）を、検査領域に照射する。電磁波照射部１０２は、例えば搬送部１０１において検査対象物が載置される搬送面に、垂直に電磁波を照射するように配置される。検査領域は、電磁波照射部１０２から照射される電磁波が外部に漏れるのを防ぐべく、必要に応じて遮蔽カバーで覆われる。

電磁波検出部１０３は、搬送部１０１を挟んで電磁波照射部１０２と対向する位置に配置される。電磁波検出部１０３は、電磁波照射部１０２が照射した電磁波を検出可能な検出素子を複数備え、検査領域を通過して電磁波検出部１０３に到達する電磁波の強度の分布を検出する。電磁波検出部１０３は、例えば、ラインセンサ、エリアセンサ、ＴＤＩ（Time Delay Integration）センサ等とするとよい。

電磁波照射部１０２と電磁波検出部１０３の間の検査領域に検査対象物が存在すると、電磁波照射部１０２から照射された電磁波は検査対象物の各位置における当該電磁波の透過率に応じて減衰して電磁波検出部１０３に到達することになり、検査対象物の内部の状態が電磁波検出部１０３によって検出される電磁波の強度の分布として観測される。

画像構成手段１０４は、電磁波検出部１０３で検出された検査対象物を透過した電磁波の強度の分布を２次元の画像として構成する。

記憶部１０５は、画像構成手段１０４において構成された検査対象物が写る画像のデータを格納する。記憶部１０５は、ＲＡＭ、ハードディスク等の記憶装置により構成される。

切り出し手段１０６は、画像構成手段１０４が構成した検査対象物が写る画像を記憶部１０５から読み出し、当該画像において検査対象物の検査範囲を所定の方法により特定して、特定された検査範囲を当該画像から切り出し、判定対象画像として判定手段１０８に出力する。また、切り出し手段１０６において検査対象物の画像から切り出された検査範囲の画像から、更により小さい部分画像を抽出し、これを判定対象画像として判定手段１０８に出力する抽出手段１０７を更に備えてもよい。

切り出し手段１０６において切り出し、又は抽出手段１０７において抽出する判定対象画像のサイズ及び形状は、判定手段１０８における判定において採用する学習済みモデルの生成に用いた学習対象画像と同じサイズ及び形状とする。

切り出し手段１０６における、検査対象物の検査範囲を特定する具体的な方法、及び抽出手段１０７における、更により小さい部分画像を抽出する具体的な方法は、後述する教師データ生成部１２の切り出し手段１２１及び抽出手段１２２における特定方法及び抽出方法と同じであるため、ここでの説明は省略する。

判定手段１０８は、切り出し手段１０６から出力された判定対象画像を機械学習実行部１３において予め生成された学習済みモデルに入力し、出力された判定結果に基づき検査対象物が正常であるか否かの検査（除去対象物であるか否かの判定）を行う。判定手段１０８における具体的な検査方法は、後述の検査装置１の検査モードの動作の説明の中で例示する。

なお、以上説明した検査部１０のうち、画像構成手段１０４、切り出し手段１０６、抽出手段１０７及び判定手段１０８は、後述する制御部１１の一部として構成されてもよい。

ディスプレイ１４は、液晶ディスプレイ等の表示装置であり、検査装置１の操作画面や各種画像を表示する。操作インタフェース１５は、スイッチ、マウス、キーボード等の入力手段であり、ユーザによる検査装置１の操作入力を受け付ける。

制御部１１は検査装置１の各構成要素の制御を行う。制御部１１は、例えばＣＰＵ、記憶素子等により構成されるコンピュータにより構成される。制御部１１は、教師データ生成部１２と機械学習実行部１３とを含んでいる。教師データ生成部１２は本発明の教師データ生成装置に相当する。

教師データ生成部１２は、検査装置１の学習モードにおいて、機械学習実行部１３にて実施される機械学習に用いられる教師データを生成する。図３は、教師データ生成部１２の構成を示すブロック図である。図３に示すように、教師データ生成部１２は、切り出し手段１２１、表示制御手段１２３、振分処理手段１２４、及び教師データ記憶部１２５を備える。

切り出し手段１２１は、検査対象物が写る画像の入力を受け付け、当該画像において検査対象物の検査範囲を所定の方法により特定し、特定された検査範囲を当該画像から切り出す。

検査対象物が写る画像における、検査対象物の検査範囲の特定方法は任意であり、例えば、基準点に基づく特定方法やブロブ解析による特定方法が挙げられる。

基準点に基づく特定方法では、例えば、オペレータが入力した１以上の基準点の位置情報及び基準点からの距離を示す情報に基づき検査範囲を特定する。基準点の位置情報の入力方法は任意である。例えば、オペレータがディスプレイ１４に表示された検査対象物が写る画像を見ながら、設定したい位置を操作インタフェース１５から入力してもよい。

設定する基準点の個数は任意であるが、検査範囲の各角に設定することで、もし画像ごとに検査対象物２の体勢が異なっていても検査範囲を確実に特定することができる。例えば、四角形の検査範囲であれば、基準点を４つ設定することで検査範囲を確実に特定することができる。

もっとも、例えば次のようなケースでは基準点を１個設定すれば足りる。一般に、検査部１０による複数の検査対象物２の画像の撮影に際しては、検査対象物２は予め設定した概ね同じ体勢で搬送部１０１に順次載置、搬送され撮影される。そこで、例えば図４(a)に示す収納部２ｐとその上下にそれぞれ設けられるシール部２ｓ（一辺の長さｗ、他辺の長さｄの長方形）とを備える検査対象物２について、搬送方向がＸ方向の場合、検査対象物２のシール部２ｓの長手方向がＸ方向、短手方向がＸ方向に直交するＹ方向となるように、検査対象物２を搬送部１０１に載置するようにする。加えて検査範囲を、基準点を起点に一辺がＸ方向に長さａ（＞ｗ）で延伸され、他辺がＹ方向に長さｂ（＞ｄ）で延伸された長方形の範囲と定義する。長さａ、ｂは、固定値として予め設定しておいてもよいし、操作インタフェース１５からのオペレータの入力により任意に設定可能に構成してもよい。これにより、上側のシール部２ｓを検査範囲としたい場合、基準点Ｂをシール部２ｓの左上角付近に設定することで、図４(b)に示すように検査範囲Ａを特定することができる。

ブロブ解析による特定方法では、画像の明暗に基づき画像を二値化することで、検査対象物の存在位置や形状などをブロブとして検出できることを利用して特定する。具体的には、検査対象物を透過した電磁波の強度に基づき画像を生成すると、検査対象物の存在部分と比べ、その周囲が非常に明るくなるため、この明暗に基づき検査対象物の存在位置や形状などをブロブとして検出することができる。そして、検査対象物のどの部分を検査範囲とするかは予めわかっているため、両者の照合により、検査対象物が写る画像における、検査対象物の検査範囲を特定することができる。

より具体的には、例えば、図５(a)に示す収納部２ｐとその上下にそれぞれ設けられるシール部２ｓとを備える検査対象物２について、上下いずれか又は双方のシール部２ｓを検査範囲として特定したい場合、まず、検査対象物２への電磁波照射により生成された、検査対象物２が写る画像を、検査対象物２の存在部分に相当する画像の暗さを閾値として二値化すると、図５(b)に示すようなブロブＣとして検査対象物２の存在位置及び形状を検出することができる。そして、検査対象物２において、検査範囲とするシール部２ｓの存在位置は図５(a)に示すように予めわかっているため、これを画像における存在位置が特定された検査対象物２と照合することで、検査対象物２が写る画像における、シール部２ｓの存在位置（例えば上端及び下端のそれぞれから所定の距離の範囲）を、図５(c)に示すように検査範囲Ａとして特定できる。

また、例えば、収納部２ｐに柄や模様がある一方、シール部２ｓは透明である検査対象物２の場合には、シール部２ｓを含む検査対象物２の存在部分に相当する画像の暗さを閾値として検査対象物２が写る画像を二値化して、図６(a)に示すようなブロブＣとして検査対象物２の存在位置及び形状を検出するとともに、収納部２ｐの存在部分に相当する画像の暗さを閾値として検査対象物２が写る画像を二値化して、収納部２ｐを示すブロブＤを検出し、この２つのブロブの差分をとることで、上下それぞれのシール部２ｓの存在位置を、図６(c)に示すように検査範囲Ａとして特定してもよい。

また、シール部２ｓの存在位置を特定した上で、更に、シール部２ｓ内の異物の存在部分に相当する画像の暗さを閾値として検査対象物２が写る画像を二値化して、異物存在部分を示すブロブＦを図７(a)に示すように検出し、このブロブＦを含む所定の範囲を、図７(b)に示すように検査範囲Ａとして特定してもよい。図７ではブロブＦが１つの場合を例示したが、複数の場合でも複数の検査範囲Ａを同様に特定可能である。

なお、ここで例示したブロブ解析による特定方法では、上記のとおり検査範囲Ａを複数同時に特定することが可能であり、この場合、全てを検査範囲Ａとして特定してもよいし、任意の一部を検査範囲Ａとして特定してもよい。

切り出し手段１２１は、以上のように特定された検査範囲の画像を検査対象物２の画像から切り出し、学習対象画像として振分処理手段１２４に出力する。

切り出し手段１２１は、切り出された検査範囲Ａの画像から、より小さい部分画像を抽出する抽出手段１２２を更に備えてもよい。図８(b)は、図８(a)に示すように特定された検査範囲Ａを４分割したそれぞれの部分Ａ１、Ａ２、Ａ３及びＡ４の画像を抽出する場合の例を示したものである。いくつに分割するかは、固定値として予め設定しておいてもよいし、操作インタフェース１５からのオペレータの入力により任意に設定可能に構成してもよい。

抽出手段１２２は、このように抽出された部分画像を学習対象画像として振分処理手段１２４に出力する。

このように検査範囲Ａを細分化した部分画像を学習対象画像とすることで、細分化しない場合と比べ、多くの学習データを収集することができる。

抽出手段１２２は、部分画像の抽出に際し、隣接する部分画像と部分的に重複するように抽出してもよい。図８(c)は、図８(b)の場合と同じ抽出幅で、隣接する部分画像と４分の１ずつ重複するように抽出する例であり、この場合、５つの部分Ａ１、Ａ２、Ａ３、Ａ４及びＡ５のそれぞれについて部分画像を抽出することができる。どの程度重複させるかは、固定値として予め設定しておいてもよいし、操作インタフェース１５からのオペレータの入力により任意に設定可能に構成してもよい。

このように、隣接する部分画像と部分的に重複するように部分画像を抽出することにより、部分画像を重複させない場合と比べ、より多くの学習データを収集することができる。また、部分画像を重複させない場合、各部分の境目において噛み込み等があったときの学習データが不完全なものになるが、重複させることでこのような事態を防ぐことができ、この観点からもより多くの学習データの収集に資する。

なお、検査範囲の画像に基づき生成された学習済みモデルに追加学習を施すに際して切り出し手段１２１が学習対象画像を切り出す場合には、当該学習済みモデルの生成に用いたサイズ及び形状の検査範囲の画像を切り出すように、切り出し手段１２１における切り出し条件を設定する。また、部分画像に基づき生成された学習済みモデルに追加学習を施すに際して抽出手段１２２が学習対象画像を切り出す場合には、当該部分画像に基づく学習済みモデルの生成に用いたサイズ及び形状の部分画像の抽出を行うように、抽出手段１２２における抽出条件を設定する。

表示制御手段１２３は、ディスプレイでの表示を制御する。表示制御手段１２３は、切り出し手段１２１により切り出された又は抽出手段１２２により抽出された学習対象画像を、ディスプレイ１４に選択可能に表示させる。図９は、学習対象画像をディスプレイ１４に表示する際の学習対象表示画面の表示例を示している。学習対象表示画面は、入力画像表示領域Ｒ２、学習対象画像表示領域Ｒ１、情報表示領域Ｒ３を備えている。学習対象画像表示領域Ｒ１は、学習対象画像が並べて表示される領域である。学習対象画像表示領域Ｒ１には、学習対象画像のほか、各学習対象画像に対する合否の振り分けを行うためのユーザインタフェース等が表示される。入力画像表示領域Ｒ２は検査対象物の画像が表示される領域である。情報表示領域Ｒ３は、選択された学習対象画像に関する情報（例えば、画像ファイルの名称、格納場所等）が表示される領域である。

入力画像表示領域Ｒ２に検査対象物の画像を表示する際、抽出された学習対象画像に対応する領域を指し示す表示を重畳して表示してもよい。この学習対象画像に対応する領域を示す表示は、ユーザが表示／非表示を選択できるように構成してもよい。

学習対象画像表示領域Ｒ１に学習対象画像を並べて表示する際、既存の学習済みモデルにて各学習対象画像の判定を行った場合の判定結果を示す数値（スコア）の順にソートして、学習対象画像を表示してもよい。

また、学習対象画像表示領域Ｒ１に並べて表示する個々の学習対象画像に対し、判定結果を示す情報を視認可能に表示してもよい。具体的には、個々の学習対象画像に重畳または隣接する位置にスコアや判定結果（正常／非正常の別等）等を表示してもよい。また、個々の学習対象画像について、判定結果を示す表示上の演出をしてもよい。例えば、正常であるか非正常であるかに応じて、異なる色の枠で囲む等が挙げられる。

学習対象画像表示領域Ｒ１に表示された学習対象画像の１つをクリックすることで、その学習対象画像を選択することができる。学習対象画像表示領域Ｒ１で学習対象画像を選択すると、学習対象画像表示領域Ｒ１においては選択された学習対象画像が枠で囲まれて表示され、入力画像表示領域Ｒ２においては、選択された学習対象画像に対応する検査範囲又は部分領域が、他とは区別できるよう（例えば、二重の枠で囲まれて）に表示される。

上記とは反対に、入力画像表示領域Ｒ２に表示された学習対象画像に対応する検査範囲又は部分領域の１つをクリックすることで、当該検査範囲又は部分領域に対応する学習対象画像を選択することができる。このようにして入力画像表示領域Ｒ２をクリックすると、学習対象画像表示領域Ｒ１においては選択された検査範囲又は部分領域に対応する学習対象画像が枠で囲まれて表示され、入力画像表示領域Ｒ２においては、選択された検査範囲又は部分領域が、他とは区別できるよう（例えば、二重の枠で囲まれて）に表示される。このような検査対象物の画像と選択した学習対象画像とを対応付けた表示を行うことにより、選択した学習対象画像が検査対象物の画像においてどのように映っているのかを一見して把握することが可能になる。

また、学習対象画像が選択されると、入力画像表示領域Ｒ２において、選択された学習対象画像に対応する部分を拡大して表示してもよい。このようにすれば、着目した学習対象画像に対応する部分を、容易に詳しく確認することができる。また、選択された学習対象画像について、情報表示領域Ｒ３において、スコアや判定結果（正常／非正常の別等）等を表示してもよい。

振分処理手段１２４は、抽出された学習対象画像について、正常であるか非正常であるかなど、所定のいずれかの分類にユーザが目視に基づいて振り分ける。

ユーザにより学習対象画像を所定のいずれかの分類に振り分ける操作が行われると、振分処理手段１２４はその操作に応じて当該学習対象画像をいずれかの分類に振り分け、学習対象画像と振り分けられた分類とが対応付けられた教師データとして教師データ記憶部１２５に記憶させる。

学習対象画像を所定のいずれかの分類に振り分ける操作とは、例えば正常であるか非正常であるかを振り分ける場合には、ユーザがディスプレイ１４を見ながら操作インタフェース１５を操作して学習対象画像を選択し、選択中の学習対象画像が正常であるか非正常であるかをユーザが目視して判定し、正常である場合にはＯＫボタンをクリックし、非正常である場合にはＮＧボタンをクリックするといった操作である。なお、ユーザが操作して学習対象画像を選択するのではなく、振分処理手段１２４により自動的に決定された順番に従って複数の学習対象画像について順次振り分ける操作を行うように構成してもよい。

学習対象画像の分類の仕方は、単に、内容物の噛み込み、シールの皺、シールの折れ等のいずれか１つの判定項目について正常であるか非正常であるかの２つの分類に分ける仕方のほか、例えば、内容物の噛み込み、シールの皺、シールの折れ等の複数の判定項目についてそれぞれ正常であるか否かをユーザが目視して判定し、それぞれが複数の判定項目の判定結果の組み合わせからなる、複数の分類に分ける仕方を採用してもよい。例えば、判定項目が３つであれば、それぞれの項目について正常又は非正常の２通りがあるため、２の３乗である８つの分類のいずれかに振り分ける。このように分類しておくことで、学習対象画像が非正常である場合について各判定項目の正常非正常の組み合わせごとに分類可能な学習済みモデルの生成やその追加学習に用いることができる。

また、それぞれの学習対象画像について、複数の判定項目についてそれぞれ正常であるか否かをユーザが目視して判定し、判定項目ごとに正常である非正常であるか２つの分類に分ける仕方を採用してもよい。すなわち、１つの学習対象画像をいずれか１つの分類に振り分けるのではなく、判定項目ごとに正常又は非正常のいずれかに分類する。このように分類しておくことで、それぞれの判定項目個別に正常非正常を判定可能な学習済みモデルの生成やそれらの追加学習などに用いることができる。

振分処理手段１２４において、いかなる分類の仕方を選択するかは、ここでの分類の仕方が、学習対象画像に基づき機械学習実行部１３で生成される学習済みモデルが判定対象画像の入力に対して出力する判定結果（分類結果）に反映されるため、いかなる判定結果を求めるかに依存する。また、既に生成された学習済みモデルに追加学習をする場合には、当該学習済みモデルがいかなる分類で判定結果を出力するように生成されているかに依存する。

教師データ記憶部１２５には、学習対象画像を振分処理手段１２４で振り分けられた分類と対応付けたものを教師データとして記憶する。なお、教師データ記憶部１２５には、外部装置で生成された教師データを記憶させてもよい。

教師データ記憶部１２５は、ＲＡＭ、ハードディスク等の記憶装置により構成される。教師データ記憶部１２５は、検査部１０における記憶部１０５を兼用してもよい。また、検査装置１が各種情報を記憶するために備える記憶媒体を共用する形で用いてもよい。

教師データ記憶部１２５に、学習対象画像を振分処理手段１２４で振り分けられた分類と対応付けたものを教師データとして記憶させる方法は、それぞれの学習対象画像が、正常であるか非正常であるか、複数の判定項目の判定結果のいずれの組み合わせであるか等、いずれの分類に振り分けられたかが識別可能に記憶されていればいかなる方法であってもよい。例えば、それぞれの学習対象画像を、振り分けられた分類ごとに用意されたフォルダに分けて記憶させてもよい。あるいは、振り分けられた分類を示す情報を、学習対象画像のファイル名や付加情報としてファイルに埋め込んでもよい。

教師データ記憶部１２５には、更に、教師データを構成する学習対象画像の、切り出し手段１２１及び抽出手段１２２における切り出し条件及び抽出条件を、教師データに関連付けて記録してもよい。

機械学習実行部１３は、学習用プログラムを実行することにより、教師データ記憶部１２５から読み出した教師データ、すなわち分類の情報が付された学習対象画像を用いて、既存の学習済みモデルに対して追加的に機械学習を施して新たな学習済みモデルを生成する。または、教師データ記憶部１２５から読み出した教師データを用いて新規に機械学習を行い、新たな学習済みモデルを生成する。新規に学習済みモデルを生成する場合には、予め準備した初期の（未学習の）モデルに対して機械学習を行ってもよい。

ここでいう機械学習とは、初期のモデル又は既に一定の学習が施されたモデルに対して、所定のデータの入力により繰り返し処理を行い、目標となる学習済みモデルに近づけることを意味する。具体的には例えば、ニューラルネットワークモデルに教師データを入力することで、正解が出力されるように重みやバイアスなどのパラメータを調整することを内容とする。

また、本発明でいう学習済みモデルとは、検査対象物の検査範囲の画像や部分画像の入力により、所定の判定結果、例えば正常性を示すスコア（数値等）、より具体的には例えば、非正常である可能性を示すスコアを出力するように学習されたモデルである。

機械学習実行部１３における機械学習の具体的な手法は任意であり、例えば、畳み込みニューラルネットワークモデルを用いた深層学習方法を採用してもよい。

続いて、以上のように構成される検査装置１の動作を、学習モードと検査モードのそれぞれについて説明する。

〔学習モードにおける動作〕
図１０は、学習モードでの検査装置１の動作の手順を示すフローチャートである。学習モードは、検査装置１の操作インタフェース１５にて学習モードを選択することにより開始される。学習モードが開始されると、ディスプレイ１４に学習モード用の操作画面が表示される。ユーザは、この学習モード用の操作画面を以下の手順で操作することによって、教師データの生成及び、学習済みモデルに対する機械学習を行うことができる。

はじめに、教師データ生成部１２は、ユーザによる入力画像を選択する操作を受け付ける（ステップＳ１００）。入力画像は、検査部１０にて実際に撮影された検査対象物の画像でもよいし、学習用に別途準備された検査対象物の画像でもよい。続いて、教師データ生成部１２は、ユーザによる学習済みモデルを選択する操作を受け付ける（ステップＳ１１０）。ここで選択される学習済みモデルは、後段の機械学習において追加の学習が行われる対象となる。なお、新規に学習済みモデルを生成する場合には、ステップＳ１１０を省略してもよい。

続いて、教師データ生成部１２は、切り出し手段１２１において検査対象物の画像に基準点を設定するとともに、基準点を起点とする検査範囲を特定する各辺の長さの入力を受け付け、受け付けた切り出し条件に基づき特定された検査範囲の画像の切り出しを実施する（ステップＳ１２０）。また、切り出された検査範囲の画像を分割して部分画像を抽出する場合には、抽出手段１２２において分割数及び重複の程度の入力を受け付け、受け付けた抽出条件に基づき各部分画像の抽出を実施する（ステップＳ１２１）。

ステップＳ１２０、Ｓ１２１では、具体的には、操作画面に表示される項目に所望の値を入力することにより、切り出し条件及び抽出条件が設定される。条件の設定が確定されると、切り出し手段１２１及び抽出手段１２２は、設定内容に応じて検査範囲の画像の切り出し及び部分画像の抽出処理を実施する。処理の結果得られた学習対象画像である検査範囲の画像又は部分画像は、分類の振り分けがされていない学習対象画像用のフォルダに格納される。

続いて、教師データ生成部１２は、振分処理手段１２４において、学習対象画像のそれぞれについて、いずれの分類に振り分けるかを選択する操作を受け付け、選択に基づき学習対象画像と判定結果とを対応付けて教師データとして教師データ記憶部１２５に記憶させる（ステップＳ１３０）。

ステップＳ１３０に続いて、機械学習実行部１３は、ステップＳ１３０で生成した教師データに基づく機械学習を実行する指示を受け付け、当該指示に応じて学習用プログラムを実行して学習済みモデルに対する機械学習を実施する（ステップＳ１４０）。このとき、機械学習実行部１３は、既存の学習済みモデルに対して追加的に機械学習を実施するのか、新規に学習済みモデルを生成するのかをユーザに選択させるインタフェースを操作画面に表示する。既存の学習済みモデルに追加的に機械学習を実施する場合、ユーザに学習済みモデルを選択させるメニューを提示するとよい。なお、この段階での学習済みモデルの選択を省略し、ステップＳ１１０で選択した学習済みモデルに対して機械学習を実施するように構成してもよい。そして、ステップＳ１４０での機械学習を終了すると、学習モードでの一連の処理が完了となる。

〔検査モードにおける動作〕
図１１は、検査モードでの検査装置１の動作の手順を示すフローチャートである。検査モードは、検査装置１の操作インタフェース１５にて検査モードを選択することにより開始される。検査モードが開始されると、ディスプレイ１４に検査モード用の操作画面が表示される。ユーザは、この検査モード用の操作画面を以下の手順で操作することによって、検査対象物の検査を行うことができる。

はじめに、検査装置１は、ユーザによる検査条件を設定する操作を受け付ける（ステップＳ２００）。検査条件としては、画像撮影時のＸ線や可視光等の照射強度、露光時間、搬送速度等の一般的な検査装置の条件に加え、除去対象物の判定に用いる学習済みモデルの選択が含まれる。

検査条件の設定が完了すると、ユーザによる所定の操作に応じて、検査部１０は検査対象物の検査を開始する。検査部１０は、まず検査対象物を撮影位置まで搬送して撮影を行う（ステップＳ２１０）。

続いて検査部１０は、切り出し手段１０６において、撮影された検査対象物の画像から検査範囲の画像を切り出し（ステップＳ２２０）又は抽出手段１０７において、切り出し手段１０６において切り出された検査範囲の画像から更に部分画像を抽出して（ステップＳ２２１）、判定対象画像を生成する。判定対象画像として切り出す検査範囲の画像の数及び抽出する部分画像の数はそれぞれ任意である。また、切り出し又は抽出する判定対象画像のサイズ及び形状は、判定に採用する学習済みモデルの生成に用いた学習対象画像と同じサイズ及び形状とする。

続いて検査部１０は、判定手段１０８において、切り出し手段１０６又は抽出手段１０７から出力された判定対象画像を学習済みモデルに入力し、出力された判定結果に基づき検査対象物が正常であるか否かの検査（除去対象物である否かの判定）を行う（ステップＳ２３０）。

判定手段１０８では、まず、判定対象画像が学習済みモデルに入力され、学習済みモデルは判定結果として、例えば正常性を示すスコア（数値等）を出力する。判定対象画像として切り出した検査範囲の画像及び抽出した部分画像が複数の場合には、それぞれの判定対象画像を学習済みモデルに入力して、それぞれの判定結果を得る。

以下、学習済みモデルが数値を出力する場合を例にとって説明する。数値を出力する場合、出力する数値の範囲の設定は任意であり、例えば、０から１の範囲の数値を出力する。このとき、数値範囲における数値の刻みは任意であり、例えば０．０１刻みであれば、０．１２、０．８１といった数値で出力する。出力された数値は、ディスプレイ１４に表示させてもよいし、プリンタや記憶媒体など任意の出力手段に出力してもよい。

学習済みモデルを、２つの分類、例えば、正常又は非正常に分類された学習対象画像で学習させた場合には、当該学習済みモデルは、例えば、０を正常とし、非正常である可能性が高いほど１に近い数値を出力する。

一方、学習済みモデルを、３つ以上の分類、例えば、正常及び複数の非正常ケースに分類された学習対象画像で学習させた場合には、当該学習済みモデルは、例えば、全分類の合計の数値を１として、可能性が高い分類ほど１に対する比の値が大きくなるように各分類の数値を出力する。例えば、分類１が０．２、分類２が０．４、分類３が０．３、分類４が０．１であれば、分類２である可能性が最も高いことになる。

続いて判定手段１０８は、学習済みモデルから出力された数値に基づき、検査対象物が除去対象物であるか否かの判定を行う。判定は、１つの判定対象画像のみを用いて行ってもよいし、複数の判定対象画像を用いて行ってもよい。

まず、判定に用いる判定対象画像が１つである場合の判定例について説明する。

分類が２つのとき、例えば、判定対象画像の入力に対し、０を正常とし、非正常である可能性が高いほど１に近い数値が出力されるときには、０から１の間の任意の値を閾値として、閾値以上のときに非正常であるとして除去対象物と判定する。

一方、分類が３つ以上のとき、例えば、判定対象画像の入力に対し、全分類の合計の数値を１として、可能性が高い分類ほど１に対する比の値が大きくなるように各分類の数値が出力されるときには、複数の判定方法が考えられるが、任意の判定方法を採用してよい。例えば、分類１の数値が０．２、分類２の数値が０．４、分類３の数値が０．３、分類４の数値が０．１であり、かつ、分類２が正常を示す分類で、その他が非正常を示す分類であるとき、分類個別に見れば正常を示す分類２が最も可能性が高いため、これをもって非除去対象物であると判定する。もっとも、正常を示す分類と非正常を示す分類という観点では、正常を示す分類２の数値が０．４であるのに対し、非正常を示すその他の分類の数値の合計が０．６であるため、この観点からは非正常の可能性が高いことから、これをもって除去対象物であると判定する。

次に、判定に用いる判定対象画像が複数である場合の判定例について説明する。分類が２つのとき、例えば、判定対象画像の入力に対し、０を正常とし、非正常である可能性が高いほど１に近い数値が出力されるときには、まず、それぞれの判定対象画像について、０から１の間の任意の値を閾値として、閾値を境に正常又は非正常と判定する。そして、例えば、複数の判定対象画像のうち、所定の個数以上の非正常があれば、これをもって除去対象物であると判定する。このとき、すべての判定対象画像の正常／非正常の判定後に所定の個数との対比を行ってもよいし、非正常の判定対象画像の数をカウントしていき、所定の個数に到達した時点で除去対象物であると判定してもよい。また、正常又は非正常を判定する閾値よりも更に１に近い別の閾値である即決閾値を設け、ひとつでも即決閾値を超えた判定対象画像があれば、その時点で除去対象物であると判定してもよい。

一方、分類が３つ以上のとき、例えば、判定対象画像の入力に対し、全分類の合計の数値を１として、可能性が高い分類ほど１に対する比の値が大きくなるように各分類の数値が出力されるときには、まず、先に例示した判定対象画像が１つで分類が３つ以上の場合の非正常（除去対象物）の判定方法で、それぞれの判定対象画像の正常／非正常を判定した上で、先に例示した判定対象画像が複数で分類が２つの場合の除去対象物の判定方法で、除去対象物の判定を行うことができる。

複数の判定対象画像を用いて除去対象物であるか否かの判定を行う場合、複数の判定対象画像の選び方は任意である。例えば、図５(b)に示すような検査対象物２の画像において、上側のシール部２ｓと下側のシール部２ｓのそれぞれについて特定された２つの検査範囲Ａの画像を切り出し、これら２つの画像を判定対象画像として用いてもよい。また、上下の検査範囲Ａを、更にそれぞれｎ分割（ｎは２以上の整数）して得られた合計２ｎ個の部分画像を判定対象画像として用いてもよい。また、上下それぞれｎ分割した部分画像から、上下１つずつ抽出して、２つの部分画像を抽出し、当該２つの部分画像を判定対象画像として用いてもよい。

最後に、判定手段１０８は、以上の判定処理により除去対象物と判定された検査対象物に対して、必要な処理を行う。ここで、必要な処理とは、例えば、撮影した画像とともに除去対象物を示す図形（例えば枠）をディスプレイ１４に表示する処理、除去対象物を除去する処理、除去対象物と正常品とを振り分ける処理等である。以上で１単位の検査対象物に対する検査が完了となる。なお、検査対象物が連続して検査装置１に送り込まれる場合、検査装置１は上記の一連の工程を繰り返すことで連続的に検査対象物の検査を実施する。

以上のような構成により、検査装置１は、学習モードにおいて学習用プログラムに入力する教師データを素早く大量に生成することができ、生成した教師データを入力として機械学習することにより学習済みモデルを生成することができる。そして検査モードにおいては、学習モードで生成した学習済みモデルを用いて精度の高い検査を行うことが可能となる。

〔実施形態の変形〕
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。
例えば、上記実施形態では、教師データ生成部１２及び機械学習実行部１３は、検査装置１に内蔵されていたが、教師データ生成部１２及び機械学習実行部１３は、検査装置１に内蔵されずに個別の教師データ生成装置、あるいは学習済みモデル生成装置として提供されてもよい。例えば、上記の教師データ生成部１２及び機械学習実行部１３として機能させるコンピュータプログラムをコンピュータに実行させることにより教師データ生成部１２及び機械学習実行部１３を実現してもよい。

また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。

１ 検査装置
２ 検査対象物
２ｐ 収納部
２ｓ シール部
１０ 検査部
１０１ 搬送部
１０２ 電磁波照射部
１０３ 電磁波検出部
１０４ 画像構成手段
１０５ 記憶部
１０８ 判定手段
１１ 制御部
１２ 教師データ生成部
１０６、１２１ 切り出し手段
１０７、１２２ 抽出手段
１２３ 表示制御手段
１２４ 振分処理手段
１２５ 教師データ記憶部
１３ 機械学習実行部
１４ ディスプレイ
１５ 操作インタフェース
Ａ 検査範囲
Ａ１、Ａ２、Ａ３、Ａ４、Ａ５ 部分
Ｂ 基準点
Ｃ、Ｄ、Ｆ ブロブ
Ｒ１ 学習対象画像表示領域
Ｒ２ 入力画像表示領域
Ｒ３ 情報表示領域

Claims (15)

1. 機械学習に用いられる教師データを生成する教師データ生成装置であって、前記教師データを用いて前記機械学習により生成される学習済みモデルは、検査対象物が写る画像から切り出された判定対象画像を当該学習済みモデルに入力し、出力された判定結果に基づき前記検査対象物が正常であるか否かの検査を行う検査装置で用いられるものであり、
   検査対象物が写る画像の入力を受け付け、前記画像において前記検査対象物の検査範囲を所定の方法により特定し、特定された前記検査範囲を前記画像から切り出す切り出し手段と、
   前記切り出し手段において切り出された前記検査範囲の画像を学習対象画像として、正常と非正常のいずれかに振り分ける振分操作に基づき、前記学習対象画像と振り分けの結果とを対応付ける振分処理手段と、
   前記学習対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶手段とを備える
   ことを特徴とする教師データ生成装置。
2. 前記検査範囲を特定する前記所定の方法は、入力された１以上の基準点の位置情報及び基準点からの距離を示す情報に基づき特定する方法であることを特徴とする請求項１に記載の教師データ生成装置。
3. 前記検査範囲を特定する前記所定の方法は、前記画像の明暗の所定の閾値に基づき画像を二値化し、二値化された画像から検出されたブロブに基づき特定する方法であることを特徴とする請求項１に記載の教師データ生成装置。
4. 前記切り出し手段において切り出された前記検査範囲の画像から、より小さい部分画像を抽出する抽出手段を更に備え、
   前記振分処理手段は、前記部分画像を学習対象画像として、少なくとも正常と非正常のいずれかに振り分ける振分操作に基づき、前記部分画像と振り分けの結果とを対応付ける
   ことを特徴とする請求項１から３のいずれか１項に記載の教師データ生成装置。
5. 前記抽出手段は、隣接する部分画像と部分的に重複するように複数の前記部分画像を抽出することを特徴とする請求項４に記載の教師データ生成装置。
6. ディスプレイと、前記ディスプレイによる表示を制御する表示制御手段とを更に備え、
   前記表示制御手段は、前記ディスプレイの第１領域に複数の前記学習対象画像を並べて表示させるとともに、前記ディスプレイの第２領域に前記検査対象物の画像を、前記学習対象画像に対応する領域を指し示す表示を重畳しつつ表示させることを特徴とする、請求項１から５のいずれか１項に記載の教師データ生成装置。
7. 前記表示制御手段は、前記ディスプレイの第１領域に表示された複数の前記学習対象画像のうちの１つが選択されると、前記ディスプレイの第２領域に表示された前記検査対象物の画像における当該選択された前記学習対象画像に対応する領域を指し示す表示をさせることを特徴とする、請求項６に記載の教師データ生成装置。
8. 検査対象物を搬送し、検査領域を通過させる搬送部と、
   電磁波を前記検査領域に照射する電磁波照射部と、
   前記搬送部を挟んで前記電磁波照射部と対向する位置に配置され、前記検査領域を通過する前記検査対象物を透過した電磁波を検出する電磁波検出部と、
   前記電磁波検出部で検出された電磁波の強度の分布を２次元の画像として構成する画像構成手段と、
   前記画像構成手段において構成された前記検査対象物が写る画像において、前記検査対象物の検査範囲を所定の方法により特定し、特定された前記検査範囲を前記画像から切り出す切り出し手段と、
   前記切り出し手段において切り出された前記検査範囲の画像を判定対象画像として学習済みモデルに入力して、出力された判定結果に基づき前記検査対象物が正常であるか否かの検査を行う判定手段と、
   を備える検査装置。
9. 前記検査範囲を特定する前記所定の方法は、入力された１以上の基準点の位置情報及び基準点からの距離を示す情報に基づき特定する方法であることを特徴とする請求項８に記載の検査装置。
10. 前記検査範囲を特定する前記所定の方法は、前記画像の明暗の所定の閾値に基づき画像を二値化し、検出されたブロブに基づき特定する方法であることを特徴とする請求項８に記載の検査装置。
11. 前記切り出し手段において切り出された前記検査範囲の画像から、より小さい部分画像を抽出する抽出手段を更に備え、
    前記判定手段は、前記部分画像を判定対象画像として前記学習済みモデルに入力して、前記検査対象物の検査を行う
    ことを特徴とする請求項８から１０のいずれか１項に記載の検査装置。
12. 前記抽出手段は、隣接する部分画像と部分的に重複するように複数の前記部分画像を抽出することを特徴とする請求項１１に記載の検査装置。
13. 前記学習済みモデルが出力する判定結果は、入力された前記判定対象画像の正常性を示すスコアであり、
    前記判定手段は、前記スコアに基づき前記検査対象物が正常であるか否かの検査を行う
    ことを特徴とする請求項８から１２のいずれか１項に記載の検査装置。
14. 前記判定対象画像は複数であり、
    前記判定手段は、それぞれの前記判定対象画像を前記学習済みモデルに入力し、それぞれの前記判定対象画像について出力された前記スコアに基づき前記検査対象物が正常であるか否かの検査を行う
    ことを特徴とする請求項１３に記載の検査装置。
15. コンピュータを請求項１から１４のいずれか１項に記載の各手段として機能させるためのプログラム。

Images