JP2021105758A

JP2021105758A - 物品検査装置

Info

Publication number: JP2021105758A
Application number: JP2019235583A
Authority: JP
Inventors: 貴文矢野; Takafumi Yano
Original assignee: Rutilea Inc
Current assignee: Rutilea Inc
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2021-07-26

Abstract

【課題】良品と不良品との識別精度を向上させることができる物品検査装置を提供する。【解決手段】物品検査装置３０は、事前学習された深層学習モデルのうち、入力層５２から予め決められた中間層（出力部６２）までの複数層のみを含む第１学習モデルを実行して特徴データ９４を出力する特徴抽出器５０と、特徴データ９４の統計値を求めることにより特徴データ９４の数よりも少ない数の統計データ９６を求めるデータ削減器７０と、良品に対応する複数の統計データ９６に基づく特徴ベクトルｘのパターンを学習する第２学習モデルを実行し、物品１２が良品か不良品かを識別する識別器８０と、を備える。【選択図】図１

Description

本発明は、物品の画像データに基づいて物品が良品か不良品かを識別する物品検査装置に関する。

特許文献１には、鋳物等の物品の表面に存在する欠陥を検知し、物品が良品か不良品かを識別する装置が開示される。この装置は、物品を撮影した画像に基づいて輝度異常部を検知し、その輝度異常部が欠陥原因であるか否かの判定基準を機械学習（教師なし学習）により作成する。機械学習の学習モデルとしては、マハラノビス距離を用いた手法や１クラスサポートベクターマシンが使用される。

特開２０１９−３２２６８号公報

本発明者らは、特許文献１で示される技術を使用して物品が良品か不良品かを識別する良品検査を行った。しかし、正解率は低く、実際に使用できる程度の識別精度を得られなかった。

本発明はこのような課題を考慮してなされたものであり、良品と不良品との識別精度を向上させることができる物品検査装置を提供することを目的とする。

本発明の態様は、
物品の画像データに基づいて前記物品が良品か不良品かを識別する物品検査装置であって、
前記物品とは異なる物体の前記画像データにより事前学習された深層学習モデルのうち、入力層から予め決められた中間層までの複数層のみを含む第１学習モデルが記憶されており、前記入力層が前記画像データを取り込み、前記中間層が複数の特徴データを順次伝搬させる特徴抽出器と、
前記特徴抽出器から出力される複数の前記特徴データを取り込み、複数の前記特徴データの統計値を求めることにより前記特徴データの数よりも少ない数の統計データを求めるデータ削減器と、
良品に対応する複数の前記統計データに基づく特徴ベクトルのパターンを学習する第２学習モデルが記憶されており、前記データ削減器により求められる複数の前記統計データに基づいて前記特徴ベクトルを求め、前記特徴ベクトルが前記パターンから外れるか否かの判定を行うことにより、前記物品が良品か不良品かを識別する識別器と、
を備える。

本発明によれば、良品と不良品との識別精度が向上する。

図１は物品検査装置を示す概略図である。図２は特徴抽出器の説明に供する図である。図３は物品検査装置の処理フローである。図４はデータ削減器の一例の説明に供する図である。図５はデータ削減器の他の例の説明に供する図である。図６は識別器の説明に供する図である。図７は物品検査装置を用いて行われた良品検査の検査結果を示す図である。

以下、本発明に係る物品検査装置について、好適な実施形態を挙げ、添付の図面を参照して詳細に説明する。

［１．物品検査システム１０の構成］
図１に示されるように、本実施形態に係る物品検査装置３０は、物品検査システム１０の一機能を担う。物品検査システム１０は、物品検査装置３０の他に入力装置２０と出力装置４０を有する。

入力装置２０は、モバイル端末２２（例えばスマートフォン）やカメラ２４等の撮影機能付き装置を有する。入力装置２０は、検査対象となる物品１２を撮影し、物品１２の画像データ９０を、有線または無線の信号線を介して物品検査装置３０に入力する。信号線は通信回線（ネットワーク回線を含む）であってもよい。また、入力装置２０は、物品検査装置３０に画像データ９０を直接入力する代わりに、外部記憶装置（不図示）に画像データ９０を一時的に保存してもよい。

出力装置４０は、モバイル端末２２やモニタ装置４２やスピーカ装置４４等のユーザインターフェースを有する。出力装置４０は、物品検査装置３０から出力される検査データ９８を、有線または無線の信号線を介して入力し、検査データ９８に基づく検査結果を音声または画像等でユーザに報知する。信号線は通信回線（ネットワーク回線を含む）であってもよい。出力装置４０は、物品検査装置３０から検査データ９８を直接入力する代わりに、外部記憶装置（不図示）に一時的に保存される検査データ９８を入力してもよい。

物品検査装置３０は、通信部３２と演算部３４と記憶部３６とを有する。通信部３２は、入力装置２０および出力装置４０とデータ通信を行う通信インターフェースである。演算部３４は、例えばＣＰＵやＧＰＵ等のプロセッサを含んで構成される。演算部３４は、記憶部３６に記憶される各種の学習モデルおよびプログラムを実行することにより各種機能を実現する。本実施形態において、演算部３４は、特徴抽出器５０とデータ削減器７０と識別器８０として機能する。記憶部３６は、ＲＡＭ、ＲＯＭ、ハードディスク等により構成される。記憶部３６は、各種の学習モデルおよびプログラムの他に、演算部３４が行う処理で使用される各種情報を記憶する。

特徴抽出器５０は、演算部３４が記憶部３６に記憶される第１学習モデルを実行することにより実現される。第１学習モデルは、物品１２とは異なる物体の画像データ９０により予め学習された深層学習モデルのうちの複数の層を含んで構成される。具体的には、第１学習モデルは、深層学習モデルにおける入力層と複数の中間層と出力層のうち、入力層から予め決められた中間層までの複数層により構成される。深層学習モデルとしては、公知のモデル、例えばＩｍａｇｅＮｅｔで学習済みのＶＧＧ１６が使用される。

図２に示されるように、ＶＧＧ１６は、中間層として１３層の畳み込み層５４と３層の全結合層５８とを有する畳み込みニューラルネットワークである。更に、ＶＧＧ１６は、１３層の畳み込み層５４を５つのブロックに分けており、各ブロックの最終層にプーリング層５６を有する。本明細書では、上述した予め決められた中間層を特徴抽出器５０の出力部６２と称する。

畳み込み層５４は、上位層から出力される特徴マップ９２にフィルタをかけて、新たな特徴マップ９２を作成し下位層に出力する。本明細書では、特徴マップ９２に含まれる各画素の画素値を特徴データ９４と称する。

出力部６２としては、ＶＧＧ１６の１３層の畳み込み層５４のいずれかが選択される。図２は、その一例として、ＶＧＧ１６の３層目の畳み込み層５４が出力部６２として選択された特徴抽出器５０を示す。但し、出力部６２は、ＶＧＧ１６の３層目の畳み込み層５４に限られない。

本発明者らは、ＶＧＧ１６の中間層のうち出力部６２として最適な畳み込み層５４を、異常検知試験を行うことにより選択することを考える。例えば、本発明者らは、ＶＧＧ１６の個別の畳み込み層５４の出力をデータ削減器７０の入力とする複数の物品検査装置３０を用意し、物品１２の異常検知試験を行えばよいと考える。更に、本発明者らは、各試験結果を比較し、精度が最も高い物品検査装置３０を特定し、その物品検査装置３０で出力部６２とされている畳み込み層５４を、実際に使用する出力部６２として決定すればよいと考える。

なお、深層学習モデルとしては、ＶＧＧ１６の代わりに、所定のデータセットで学習済みの他の畳み込みニューラルネットワーク、例えばＡｌｅｘＮｅｔやＲｅｓＮｅｔが使用されてもよい。

データ削減器７０は、演算部３４が記憶部３６に記憶される所定のプログラムを実行することにより実現される。所定のプログラムは、特徴抽出器５０から出力される複数の特徴データ９４を取り込み、複数の特徴データ９４の統計値を演算することにより、取り込んだ特徴データ９４の数よりも少ない数の統計データ９６（図４、図５）を算出するように構成される。特徴データ９４を削減するということは、次元数を少なくすることと同義である。

識別器８０は、演算部３４が記憶部３６に記憶される第２学習モデルを実行することにより実現される。第２学習モデルは、外れ値検知を行う機械学習モデルにより構成される。機械学習モデルとしては、公知の教師なし学習の外れ値検知モデル、例えば１クラスサポートベクターマシンが使用される。識別器８０は、物品１２の画像データ９０を用いる教師なし学習により物品１２の特徴ベクトルｘのパターンを予め学習し、良品と不良品とを識別するための閾値ｔを設定する。閾値ｔは、超平面ｈ（図６参照）からの符号付き距離として設定される。本発明者らは、数十サンプル程度の事前学習により精度の高い閾値ｔが得られることを確認している。

なお、機械学習モデルとしては、１クラスサポートベクターマシンの代わりに、他の教師なし学習の外れ値検知モデル、例えばマハラノビス距離を用いる手法が使用されてもよい。

［２．物品検査装置３０の動作］
図３に示されるように、物品検査装置３０は、特徴抽出器５０が行う特徴抽出処理（ステップＳ１）、データ削減器７０が行うデータ削減処理（ステップＳ２）、識別器８０が行う識別処理（ステップＳ３）の順で処理を進める。

図２を用いて図３のステップＳ１で示される特徴抽出処理を説明する。特徴抽出器５０の入力層５２は、通信部３２を介して、入力装置２０が取得した画像データ９０を取り込む。特徴抽出器５０の各畳み込み層５４は、上位層から伝搬されるデータの特徴を抽出する。具体的には、各畳み込み層５４は、上位層から伝搬されるデータ（画像データ９０または特徴マップ９２）にフィルタをかけて、その層に応じたサイズおよび枚数の特徴マップ９２を生成する。各プーリング層５６は、上位層の畳み込み層５４から出力される特徴マップ９２のサイズを縮小する。例えば、出力部６２は、サイズがａ×ｂ、枚数がｃの特徴マップ９２を出力する。

図４を用いて図３のステップＳ２で示されるデータ削減処理の一例を説明する。データ削減器７０は、入力した特徴マップ９２毎に、特徴マップ９２に含まれる各画素の特徴データ９４の統計データ９６、ここでは算術平均を演算する。すなわち、データ削減器７０は、特徴マップ９２の枚数をそのままにして、各特徴マップ９２のサイズを１×１にする。その結果、入力した各特徴マップ９２に含まれるａ×ｂの特徴データ９４は１つの統計データ９６に圧縮される。このようにしてデータ削減器７０はデータ数をａ×ｂ×ｃからｃまで削減する。なお、データ削減器７０は、特徴マップ９２のサイズを１×１にする他の手法として、各特徴マップ９２に含まれる複数の特徴データ９４の中から中間値を示す特徴データ９４を選択してもよい。

図５を用いて図３のステップＳ２で示されるデータ削減処理の他の例を説明する。データ削減器７０は、入力した全ての特徴マップ９２の同一画素の特徴データ９４に対して統計データ９６、ここでは算術平均を演算する。すなわち、データ削減器７０は、特徴マップ９２のサイズをそのままにして、特徴マップ９２の数を１にする。その結果、入力した全ての特徴マップ９２の同一画素の特徴データ９４は１つの統計データ９６に圧縮される。このようにしてデータ削減器７０はデータ数をａ×ｂ×ｃからａ×ｂまで削減する。なお、データ削減器７０は、特徴マップ９２の数を１にする他の手法として、入力した全ての特徴マップ９２の同一画素に位置する複数の特徴データ９４の中から中間値を示す特徴データ９４を選択してもよい。

図６を用いて図３のステップＳ３で示される識別処理を説明する。識別器８０は、データ削減器７０から出力される統計データ９６に基づいて特徴ベクトルｘ（ｘ₁、ｘ₂、…ｘ_n）（ｎ＝ｃまたはａ×ｂ）を演算し、カーネルを用いて特徴空間に写像する。物品１２が良品である場合、特徴ベクトルｘは特徴空間の原点から離れた位置に分布する。一方、物品１２が不良品である場合、特徴ベクトルｘは原点付近に集まる。識別器８０は、超平面ｈを基準とする特徴ベクトルｘの符号付き距離を求める。識別器８０は、求めた距離がプラスであるか、または、求めた距離がマイナスであってその絶対値が閾値ｔ未満である場合に、特徴ベクトルｘが物品１２のパターンに含まれると判定し、その物品１２を良品と判定する。また、識別器８０は、求めた距離がマイナスであってその絶対値が閾値ｔ以上である場合に、特徴ベクトルｘが物品１２のパターンから外れると判定し、その物品１２を不良品と判定する。識別器８０は、物品１２が良品か不良品かを示す検査データ９８を出力装置４０または外部記憶装置（不図示）に出力する。

［３．検査結果］
図７を用いて本発明者らが物品検査装置３０を用いて実際に行った物品１２の良品検査の検査結果を説明する。この検査で、本発明者らは、１１０個の良品と傷が存在する３４個の不良品を用意し、各物品１２の画像データ９０を物品検査装置３０に入力した。物品検査装置３０は、１１０個の良品のうち１０８個を良品と判定し、２個を不良品と判定した。また、物品検査装置３０は、３４個の不良品のうち１個を良品と判定し、３３個を不良品と判定した。この検査結果において、正解率は約９８％であった。

一方、本発明者らは、特許文献１および非特許文献「２０１８年７月・ＳＥＩテクニカルレビュー・第１９３号違和感を察知するＤｅｅｐＬｅａｒｎｉｎｇ技術“ＳｅｎｓｅＬｅａｒｎｉｎｇ”」に基づき、物品１２の良品検査を行ったが、正解率は２０〜３０％であった。以上の結果から、物品検査装置３０の識別精度は従来技術の識別精度よりも高いということが証明された。

［４．本実施形態の使用範囲］
本実施形態は、あらゆる物品１２の良品検査に使用することができる。例えば、磁粉探傷試験に用いることができる。また、本実施形態は、コネクタ等のように特徴的なパターンを有する物品１２は勿論のこと、特徴的なパターンを有さない物品１２の良品検査も行うことができる。

［５．実施形態から得られる発明］
上記実施形態から把握しうる発明について、以下に記載する。

本発明の態様において、
物品１２の画像データ９０に基づいて前記物品１２が良品か不良品かを識別する物品検査装置３０であって、
前記物品１２とは異なる物体の前記画像データ９０により事前学習された深層学習モデルのうち、入力層５２から予め決められた中間層（出力部６２）までの複数層のみを含む第１学習モデルが記憶されており、前記入力層５２が前記画像データ９０を取り込み、前記中間層（出力部６２）が複数の特徴データ９４を順次伝搬させる特徴抽出器５０と、
特徴抽出器５０から出力される複数の前記特徴データ９４を取り込み、複数の前記特徴データ９４の統計値を求めることにより前記特徴データ９４の数よりも少ない数の統計データ９６を求めるデータ削減器７０と、
良品に対応する複数の前記統計データ９６に基づく特徴ベクトルｘのパターンを学習する第２学習モデルが記憶されており、前記データ削減器７０により求められる複数の前記統計データ９６に基づいて前記特徴ベクトルｘを求め、前記特徴ベクトルｘが前記パターンから外れるか否かの判定を行うことにより、前記物品１２が良品か不良品かを識別する識別器８０と、
を備える。

上記構成によれば、物品１２とは異なる物体の画像データ９０により事前学習された深層学習モデルの出力層でなく、中間層（出力部６２）の出力を後続のデータ削減器７０の入力とする。このため、良品の画像データ９０と不良品の画像データ９０を用意して事前学習をする必要がない。また、上記構成によれば、識別器８０が使用する特徴ベクトルｘの次元数を少なくすることができるため、良品と不良品の判定基準となる閾値ｔを精度良く設定することができる。このため、良品と不良品との識別精度が向上する。

本発明の態様において、
予め決められた前記中間層（出力部６２）から出力される複数の前記特徴データ９４は、上位層から出力される複数の特徴マップ９２に含まれる複数の画素値であり、
前記データ削減器７０は、前記特徴マップ９２毎に、複数の画素値の前記統計値に基づいて１つの画素値を求め前記統計データ９６としてもよい。

本発明の態様において、
予め決められた前記中間層（出力部６２）から出力される複数の前記特徴データ９４は、上位層から出力される複数の特徴マップ９２に含まれる複数の画素値であり、
前記データ削減器７０は、複数の前記特徴マップ９２において、前記統計値に基づいて１つの前記特徴マップ９２を求め前記統計データとしてもよい。

本発明の態様において、
前記第１学習モデルは、ＶＧＧ１６またはＡｌｅｘＮｅｔであってもよい。

本発明の態様において、
前記第２学習モデルは、１クラスサポートベクターマシンまたはマハラノビス距離を用いる手法であってもよい。

第１学習モデルとしてＶＧＧ１６を使用し、第２学習モデルとして１クラスサポートベクターマシンを使用することにより、画像データ９０から抽出する画像サイズを大きくすることができる。このため、画像の分割数を少なくすることができる。ＶＧＧ１６と１クラスサポートベクターマシンを組み合わせた場合、画像の分割数が多くなる場合と比較して、誤検知数が少なくなる。

なお、本発明に係る物品検査装置は、上述の実施形態に限らず、本発明の要旨を逸脱することなく、種々の構成を採り得ることはもちろんである。

１２…物品３０…物品検査装置
５０…特徴抽出器５２…入力層
６２…出力部（予め決められた中間層）７０…データ削減器
８０…識別器９０…画像データ
９２…特徴マップ９４…特徴データ
９６…統計データ

Claims

物品の画像データに基づいて前記物品が良品か不良品かを識別する物品検査装置であって、
前記物品とは異なる物体の前記画像データにより事前学習された深層学習モデルのうち、入力層から予め決められた中間層までの複数層のみを含む第１学習モデルが記憶されており、前記入力層が前記画像データを取り込み、前記中間層が複数の特徴データを順次伝搬させる特徴抽出器と、
前記特徴抽出器から出力される複数の前記特徴データを取り込み、複数の前記特徴データの統計値を求めることにより前記特徴データの数よりも少ない数の統計データを求めるデータ削減器と、
良品に対応する複数の前記統計データに基づく特徴ベクトルのパターンを学習する第２学習モデルが記憶されており、前記データ削減器により求められる複数の前記統計データに基づいて前記特徴ベクトルを求め、前記特徴ベクトルが前記パターンから外れるか否かの判定を行うことにより、前記物品が良品か不良品かを識別する識別器と、
を備える、物品検査装置。
請求項１に記載の物品検査装置であって、
予め決められた前記中間層から出力される複数の前記特徴データは、上位層から出力される複数の特徴マップに含まれる複数の画素値であり、
前記データ削減器は、前記特徴マップ毎に、複数の画素値の前記統計値に基づいて１つの画素値を求め前記統計データとする、物品検査装置。
請求項１に記載の物品検査装置であって、
予め決められた前記中間層から出力される複数の前記特徴データは、上位層から出力される複数の特徴マップに含まれる複数の画素値であり、
前記データ削減器は、複数の前記特徴マップにおいて、前記統計値に基づいて１つの前記特徴マップを求め前記統計データとする、物品検査装置。
請求項１〜３のいずれか１項に記載の物品検査装置であって、
前記第１学習モデルは、ＶＧＧ１６またはＡｌｅｘＮｅｔである、物品検査装置。
請求項１〜４のいずれか１項に記載の物品検査装置であって、
前記第２学習モデルは、１クラスサポートベクターマシンまたはマハラノビス距離を用いる手法である、物品検査装置。