JP2018195119A - 異変検出装置及び異変検出方法 - Google Patents

Abstract

【課題】正常な学習用検査対象データに基づいて学習された機械学習装置を利用して、検査対象データの異変をより確実に検出できるようにすることを目的とする。
【解決手段】異変検出装置２０は、検査対象データを取得する検査対象データ取得部（例えば、撮像部２２）と、学習用検査対象入力データを次元圧縮する中間層を含み、出力データが学習用検査対象入力データと同じになるように機械学習され、その学習結果に基づいて検査対象データの特徴抽出データを出力する機械学習装置４０と、検査対象データと特徴抽出データとに基づいて、検査対象データの異変の有無を判定する異変検出処理部４６とを備える。
【選択図】図２

Description

この発明は、画像データ等の検査対象データの異変を検出する技術に関する。

工業的に生産される部品の良品データ及び不良品データを教師データとして、機械学習装置をディープラーニングさせると、当該機械学習装置によって、部品の良、不良を判別することができる。

非特許文献１は、オートエンコーダを用いて、データの特徴量を自己学習する技術を開示している。

また、非特許文献１は、学習されたオートエンコーダの入力層と中間層とを特徴抽出器として用い、この特徴抽出器の出力を利用して語義の判別を行うことを開示している。

G. E. Hinton and R. Salakhutdinov、"Reducing the Dimensionality of Data with Neural Networks"、Science, vol. 313, p. 504-507 二輪和博、馬青、「Stacked Denoising Autoencoderを用いた語義判別」、言語処理学会第20回年次大会発表論文集、2014年3月、p.539-542

しかしながら、不良品の発生率が低いと、主として良品のデータに基づいてディープラーニングする必要があり、部品の良、不良の判別を学習させることが困難となる。

ここで、特許文献１に開示の技術によると、良品データに基づいて、オートエンコーダにより、良品データの特徴量を自己学習することができる。

しかしながら、工業的に生産される部品の良品、不良品とは、一部のみが僅かに異なることが多く、全体としての特徴はほぼ同じである。このため、良品データ及び不良品データを、オートエンコーダに入力したとしても、その出力層からの出力は、類似してしまう。オートエンコーダの中間層の出力についても同様である。このため、オートエンコーダの出力を利用するだけでは、部品の良、不良を判別することは困難である。

同様の問題は、正常な検査対象データを準備できるが、正常な検査対象データから外れたデータを準備困難な各種分野においても生じ得る。

そこで、本発明は、正常な学習用検査対象データに基づいて学習された機械学習装置を利用して、検査対象データの異変をより確実に検出できるようにすることを目的とする。

上記課題を解決するため、第１の態様に係る異変検出装置は、検査対象データを取得する検査対象データ取得部と、学習用検査対象入力データを次元圧縮する中間層を含み、出力データが前記学習用検査対象入力データと同じになるように機械学習され、その学習結果に基づいて前記検査対象データの特徴抽出データを出力する機械学習装置と、前記検査対象データと前記特徴抽出データとに基づいて、前記検査対象データの異変の有無を判定する異変検出処理部とを備える。

第２の態様は、第１の態様に係る異変検出装置であって、前記検査対象データ取得部は、前記検査対象データとして画像データを取得するものである。

第３の態様は、第１又は第２の態様に係る異変検出装置であって、前記異変検出処理部は、前記検査対象データと前記特徴抽出データとの差に基づく判定用データを生成する判定用データ生成部と、前記判定用データ生成部で生成された判定用データに基づいて前記検査対象データの異変の有無を判定する異変判定部とを含む。

第４の態様は、第３の態様に係る異変検出装置であって、前記判定用データ生成部は、前記検査対象データと前記特徴抽出データとの差分データに基づいて、所定の閾値で規定される差分領域の大きさを求め、その差分領域の大きさを含むデータを、前記判定用データとして生成する。

第５の態様は、第４の態様に係る異変検出装置であって、前記判定用データ生成部には、前記所定の閾値が複数設定されており、前記判定用データ生成部は、前記複数の所定の閾値のそれぞれに対する差分領域の大きさを求め、前記複数の所定の閾値のそれぞれに対する差分領域の大きさを含むデータを、前記判定用データとして生成する。

上記課題を解決するため、第６の態様に係る異変検出方法は、（ａ）入力されたデータを次元圧縮する中間層を含む機械学習装置が、学習用検査対象入力データに基づいて、出力データが前記学習用検査対象入力データと同じになるように機械学習するステップと、（ｂ）検査対象データを取得するステップと、（ｃ）前記ステップ（ａ）によって機械学習した前記機械学習装置が、前記検査対象データの特徴抽出データを出力するステップと、（ｄ）前記前記検査対象データと前記特徴抽出データとに基づいて、前記検査対象データの異変の有無を判定するステップとを備える。

第７の態様は、第６の態様に係る異変検出方法であって、前記ステップ（ｂ）は、前記検査対象データとして画像データを取得するステップとされている。

第８の態様は、第６又は第７の態様に係る異変検出方法であって、前記ステップ（ｃ）は、前記検査対象データと前記特徴抽出データとの差に基づいて、前記検査対象データの異変の有無を判定するステップとされている。

第１の態様によると、機械学習装置は、学習用検査対象入力データを次元圧縮する中間層を含み、出力データが学習用検査対象入力データと同じになるように機械学習されている。このため、機械学習装置によって、検査対象データの特徴を抽出した特徴抽出データを得ることができる。特徴抽出データは、学習用検査対象入力データにおいて共通する特徴が抽出されたデータであるため、このデータと検査対象データとに基づくことで、特徴抽出データに対する検査対象データの異変をより確実に判定することができる。このため、正常な学習用検査対象データに基づいて学習された機械学習装置を利用して、検査対象データの異変をより確実に検出できる。

第２の態様によると、検査対象データとして取得された画像データの異変を検出することができる。

第３の態様によると、検査対象データと特徴抽出データとの差に基づく判定用データに基づいて検査対象データの異変の有無を判定することができる。

第４の態様によると、所定の閾値で規定される差分領域の大きさに基づいて、検査対象データの異変の有無を検出することができる。

第５の態様によると、前記複数の所定の閾値のそれぞれに対する差分領域の大きさを含む判定用データに基づいて、検査対象データの異変の有無を検出できる。

第６の態様によると、機械学習装置は、学習用検査対象入力データを次元圧縮する中間層を含んでおり、出力データが学習用検査対象入力データと同じになるように機械学習されている。このため、機械学習装置によって、検査対象データの特徴を抽出した特徴抽出データを得ることができる。特徴抽出データは、学習用検査対象入力データにおいて共通する特徴が抽出されたデータであるため、このデータと検査対象データとに基づくことで、特徴抽出データに対する検査対象データの異変をより確実に判定することができる。このため、正常な学習用検査対象データに基づいて学習された機械学習装置を利用して、検査対象データの異変をより確実に検出できる。

第７の態様によると、検査対象データとして取得された画像データの異変を検出することができる。

第８の態様によると、検査対象データと特徴抽出データとの差に基づいて検査対象データの異変の有無を判定することができる。

異変検出装置の電気的構成を示すブロック図である。 異変検出装置の機能ブロック図である。 機械学習装置が学習用検査対象入力データに基づいてディープラーニングを行う層構造を示す説明図である。 機械学習装置が学習結果に基づいて検査対象データの特徴抽出データを出力する層構造を示す説明図である。 差分画像データの例を示す図である。 差分画像データの他の例を示す図である。 差分画像データにおいて複数の閾値で規定される差分領域の例を示す図である。 １クラスサポートベクターマシンの識別空間における良品領域、不良品領域、境界の設定例を示す図である。 異変検出方法の全体的な処理を示すフローチャートである。 変形例に係るワイヤーハーネスの良不良検出装置を示す説明図である。 良品のコネクタの例を示す図である。 不良品のコネクタの例を示す図である。

以下、実施形態に係る異変検出装置及び異変検出方法について説明する。図１は異変検出装置２０の電気的構成を示すブロック図である。

異変検出装置２０は、撮像部２２と、処理ユニット３０と、表示装置３８とを備える。

処理ユニット３０は、ＣＰＵ３２、ＲＡＭ３３、記憶部３４等がバスライン３１を介して相互接続された一般的なコンピュータによって構成されている。記憶部３４は、フラッシュメモリ或はハードディスク装置等の不揮発性の記憶装置によって構成されており、基本プログラム、異変検出プログラム３４ａを記憶している。異変検出プログラム３４ａには、ＣＰＵ３２が、機械学習を行うための指令、機械学習結果に基づいて異変検出を行う指令が記述されている。機械学習を行うための処理は、別のコンピュータによって実行されてもよい。

撮像部２２は、ＣＣＤカメラ等によって構成されている。撮像部２２による撮像データが、検査対象データとして、入出力部３６を介して処理ユニット３０に入力される。撮像部２２は、検査対象データを取得する検査対象データ取得部の一例である。なお、撮像部２２と処理ユニット３０とが通信網を介して接続され、撮像を行う箇所とは別箇所で処理ユニットが異変検出処理を行う場合もある。検査対象データ取得部は、通信網を介して検査対象データを受信する受信インターフェースであることも想定される。

また、学習用検査対象入力データが入出力部３６を介して処理ユニット３０に入力される。学習用検査対象入力データは、別の撮像装置によって撮像されたデータであってもよいし、撮像部２２によって撮像されたデータであってもよい。学習用検査対象入力データは、検査対象となる検査対象データの正常データである。

表示装置３８は、液晶表示装置等であり、入出力部３７を介して処理ユニット３０に接続されている。そして、処理ユニット３０による処理結果が表示装置３８に表示される。処理ユニット３０による処理結果は、その他、ブザー、スピーカー等の発音体、ライト等によって報知されてもよい。すなわち、処理ユニット３０による処理結果は、視覚、聴覚等によって、作業者によって認識可能な態様で報知し得る報知部によって報知されるとよい。

図２は処理ユニット３０により実現される異変検出装置２０の機能ブロック図である。処理ユニット３０は、機械学習装置４０と、異変検出処理部４６とを備える。

機械学習装置４０は、学習用検査対象入力データを次元圧縮する中間層を含み、出力データが学習用検査対象入力データと同じになるように機械学習されており、その学習結果に基づいて検査対象データの特徴抽出データを出力する機械学習装置である。

異変検出処理部４６は、検査対象データと特徴抽出データとに基づいて、検査対象データの異変の有無を判定する。ここでは、異変検出処理部４６は、判定用データ生成部４２と異変判定部４４とを含んでいる。判定用データ生成部４２は、検査対象データと特徴抽出データとの差に基づく判定用データを生成する。異変判定部４４は、判定用データ生成部４２で生成された判定用データに基づいて検査対象データの異変の有無を判定する。

上記各部についてより具体的に説明する。

図３は機械学習装置４０が、学習用検査対象入力データに基づいて、多層構造のニューラルネットワークによりディープラーニングを行う層構造を示す説明図である。機械学習装置４０は、入力層４０ａと、コンボリューション層（ＣＯＮＶ層）と、デコンボリューション層（ＤＥＣＯＮＶ層）と、出力層４０ｂとを含む。コンボリューション層（ＣＯＮＶ層）は、学習用検査対象入力データを次元圧縮する層の一例であり、ここでは、コンボリューション層（ＣＯＮＶ層）は、学習用検査対象入力データに対して畳み込み積分を行って次元圧縮する。デコンボリューション層（ＤＥＣＯＮＶ層）は、次元圧縮されたデータを元の次元に復元する層の一例であり、例えば、デコンボリューション層（ＤＥＣＯＮＶ層）は、デコンボリューション層（ＤＥＣＯＮＶ層）とは逆の操作等を行って、コンボリューション層（ＣＯＮＶ層）において畳み込み積分されたデータに対して逆畳み込み処理を行い元の次元に復元する。ここでは、コンボリューション層（ＣＯＮＶ層）及びデコンボリューション層（ＤＥＣＯＮＶ層）が２層である例を示しているが、１層又は３層以上の構造を有していてもよい。

学習用検査対象入力データは、コンボリューション層（ＣＯＮＶ層）で一旦次元圧縮された後、デコンボリューション層（ＤＥＣＯＮＶ層）において元の次元に復元される。

本機械学習装置４０では、学習用検査対象入力データが入力層４０ａに入力され、コンボリューション層（ＣＯＮＶ層）及びデコンボリューション層（ＤＥＣＯＮＶ層）を経て出力される。この際、出力データが元の学習用検査対象入力データと同じになるように機械学習される。かかる機械学習を、複数の正常（つまり異変が無い）な学習用検査対象入力データを用いて行う。機械学習が終了すると、機械学習装置４０は、入力データに対して、正常な学習用検査対象入力データの特徴を抽出した特徴抽出データを出力するようになる。

すなわち、検査対象が工業的に量産される物品１０であると想定し、当該物品１０を撮像してその異変、即ち、良否判定を行うことを想定する。この場合、正常な物品（良品の物品）１０を撮像した画像が、学習用検査対象入力データとして入力される。多数の画像を学習用検査対象入力データとして、機械学習装置４０の機械学習を行うと、機械学習装置４０は、正常な物品（良品の物品）１０を撮像した画像に共通する特徴を抽出したデータを出力するように学習される。なお、正常な物品（良品の物品）１０を撮像した画像には、陰影等が様々な態様で写り込んでいる場合があり得る。しかしながら、陰影の有無に関わらず、物品に共通する特徴が自働で設計・学習される。

図４は機械学習装置４０が、上記学習結果に基づいて検査対象データの特徴抽出データを出力する層構造を示す説明図である。

上記したように、機械学習装置４０は、正常な物品（良品の物品）１０を撮像した画像に共通する特徴を抽出したデータを出力するように学習されていることから、検査対象データが入力されると、検査対象データの特徴抽出データを出力する。

ここで、検査対象データは、上記撮像部２２により検査対象となる物品１０を撮像したデータである。検査対象データとして、正常な物品（良品の物品）が写り込んでいる場合、特徴抽出データは、元の正常な物品（良品の物品）１０がおおよそそのまま写り込んだ画像データとなる。一方、検査対象データが異変を含む場合、例えば、正常な物品（良品の物品）１０に、物品１０以外の異物１２が写り込んでいるとする。この場合、機械学習装置４０は、正常な物品（良品の物品）の学習用検査対象入力データに基づいて機械学習しているため、異物１２等の不良箇所部分を良品の特徴に置換えて出力する。つまり、検査対象データは、機械学習装置４０により、正常な物品（良品の物品）１０を撮像した画像に共通する特徴を抽出した特徴抽出データとして出力される。このため、特徴抽出データにおいては、検査対象データに写り込んだ物品１０を含むものの、異物１２は無くなるか、薄く写り込んだ状態となる。

異変検出処理部４６は、検査対象データと特徴抽出データとに基づいて、検査対象データの異変の有無を判定する。つまり、特徴抽出データは、検査対象データに基づいて、正常な物品（良品の物品）１０を撮像した画像に共通する特徴を抽出したデータである。このため、検査対象データと特徴抽出データとを比較すれば、検査対象データが正常な物品（良品の物品）１０を撮像した画像に共通する特徴に対して相違する要素、或は、検査対象データと正常な物品（良品の物品）１０を撮像した画像に共通する特徴との類似性を把握することができる。このような相違する要素、或は、類似性に基づいて、検査対象データの異変の有無を判定する。しかも、特徴抽出データは、デコンボリューション層（ＤＥＣＯＮＶ層）により元の次元に復元されているため、検査対象データと同次元データとなり、両者を適切に比較できる。

ここでは、異変検出処理部４６は、判定用データ生成部４２と異変判定部４４とを含む。

判定用データ生成部４２は、検査対象データと特徴抽出データとの差に基づく判定用データを生成する。より具体的には、判定用データ生成部４２は、検査対象データと特徴抽出データとの差分データを生成する。

例えば、図５に示すように、検査対象データにおいて塊状の異物１２が写り込んでいるとする。この検査対象データに基づいて生成された特徴抽出データでは、当該異物が無くなっているとする。判定用データ生成部４２は、検査対象データと特徴抽出データとに基づいて差分データを生成する。例えば、判定用データ生成部４２は、検査対象データの各画素の輝度値と特徴抽出データの各画素の輝度値との差分を求めて、差分画像データを生成する。差分画像データは、検査対象データと特徴抽出データとの差である異物１２に対応する塊状の差分領域が抽出されたデータとなる。なお、検査対象データがグレー画像であれば、各画素毎の輝度値の差を求めることで差分画像データを生成することができる。検査対象データがＲＧＢ画像であれば、色成分毎に差分画像データを求めても良いし、各色成分を平均又は加算したデータから差分画像データを求めても良い。

また、例えば、図６に示すように、検査対象データにおいて線状の異物１３が写り込んでいるとする。この場合、検査対象データと特徴抽出データとの差分画像データは、検査対象データと特徴抽出データとの差である異物１３に対応する線状の差分領域が抽出されたデータとなる。

なお、検査対象データに当初から異物等が写り込んでいない場合、検査対象データと特徴抽出データとはほぼ同じとなる。このため、検査対象データと特徴抽出データとの差分画像データは、異物等が写り込まないデータとなる。

判定用データ生成部４２は、さらに、上記差分画像データに基づいて、所定の閾値で規定される差分領域の大きさを求め、その差分領域の大きさを含むデータを判定用データとして生成する。

図７に示す例では、差分画像データにおいて、異物１２の影響等による差分領域Ｒが存在している。判定用データ生成部４２は、所定の閾値で規定される差分領域の大きさを求め、その差分領域の大きさを含むデータを判定用データとして生成する。ここでは、所定の閾値が複数設定されている。判定用データ生成部４２は、複数の所定の閾値のそれぞれに対する差分領域の大きさを求め、複数の所定の閾値のそれぞれに対する差分領域の大きさを含むデータを判定用データとして生成する。

例えば、上記差分領域の外周から中央に向けて徐々に差分が大きくなっているとする。また、第１の閾値Ａ（１）、第２の閾値Ａ（２）、第３の閾値Ａ（３）が設定されているとする（但し、Ａ（１）＜Ａ（２）＜Ａ（３）とする）。第１の閾値Ａ（１）で規定される差分領域Ｒ（１）は、差分の値がＡ（１）を超える又はＡ（１）以上の領域として規定され、第２の閾値Ａ（２）で規定される差分領域Ｒ（２）は、差分の値がＡ（２）を超える又はＡ（２）以上の領域として規定され、第３の閾値Ａ（３）で規定される差分領域Ｒ（３）は、差分の値がＡ（３）を超える又はＡ（３）以上の領域として規定されているとする。上記差分画像データに対して、第１の閾値Ａ（１）、第２の閾値Ａ（２）、第３の閾値Ａ（３）として二値化フィルタ処理を施すことで、差分領域Ｒ（１）を抽出した二値化画像データ、差分領域Ｒ（２）を抽出した二値化画像データ、差分領域Ｒ（３）を抽出した二値化画像データを得ることができる。それぞれの二値化画像データに対して、連続した差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさ（画素数）を求め、連続した差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを含む差分領域データを判定用データとして生成する。なお、ここでは、３つの閾値が設定された例で説明したが、２つ又は４つ以上の閾値が設定されてもよく、好ましくは、８つの閾値が設定される。

なお、第１の閾値Ａ（１）に対して差分領域Ｒ（１）が複数存在する場合には、最も大きい差分領域Ｒ（１）の大きさを、判定用データとして供することが好ましい。第２の閾値Ａ（２）に対する差分領域Ｒ（２）、第３の閾値Ａ（３）に対する差分領域Ｒ（３）についても同様である。これにより、ソルトアンドペッパーノイズのような小さい領域のノイズ成分を排除することができる。

異変判定部４４は、上記判定用データに基づいて、検査対象データの異変の有無を判定する。異変判定は、例えば、上記判定用データに基づき、所定の条件値を超える又は所定の条件値以上となる大きさの差分領域が存在していれば、異変が存在していると判定することができる。

ここでは、複数の差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）に基づいて、異変の有無を判定する。複数の差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）に基づいて、異変の有無を判定することで、二値化を行う際の閾値の違いに基づく差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の変化に基づいて異変の有無を判定することができる。例えば、陰影等に起因する差分領域は、小さい閾値Ａ（１）に対応する差分領域Ｒ（１）で比較的大きくなる一方、大きい閾値Ａ（３）に対応する差分領域Ｒ（３）では比較的小さくなるか又は消失する。これに対して、異物１２、１３等の異変に起因する差分領域は、小さい閾値Ａ（１）から大きい閾値Ａ（３）に対応する差分領域Ｒ（１）、Ｒ（２）、Ｒ（３）において、同じ大きさで現れやすい。そこで、複数の差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）に基づいて、異変の有無を判定することで、二値化を行う際の閾値の違いに基づく差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の変化に基づいて、異変の有無を判定することが可能となる。

ここでは、異変判定部４４は、学習済の１クラスサポートベクターマシンにより構成されている。１クラスサポートベクターマシンは、外れ値を検出する分類器として周知である。ここでは、正常な物品（良品の物品）１０を撮像した学習用検査対象入力データに基づいて、差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを求め、求められた差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを示す差分領域データを、１クラスサポートベクターマシンに対する入力とする。これを、複数の学習用検査対象入力データに対して行うと、図８に示すように、識別空間において、良品領域、不良品領域、境界が設定される。識別空間においては、原点Ｏを基準とする良品の各データの位置が、境界よりも遠くに位置するように、境界が設定される。

検査対象データに基づいて、差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを求め、求められた差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを示す差分領域データを判定用データとして、学習済の１クラスサポートベクターマシンに対して入力する。検査対象データが異変の無いデータ（良品データ）である場合、差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを示すデータは、原点Ｏに対して境界よりも遠くに位置する。検査対象データが異変のあるデータ（不良データ）である場合、差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさを示すデータは、外れデータとして、原点Ｏに対して境界よりも近くに位置する。これにより、検査対象データの異変の有無を検出することができる。

１クラスサポートベクターマシンでは、正常な物品（良品の物品）１０を撮像した学習用検査対象入力データに対応するデータに対するマージンと、原点Ｏに対するマージンとを任意に設定できるため、異変の判定を厳密に行うか、緩やかに行うかを容易に設定できる。

なお、二値化を行う際の閾値の違いに基づく差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の変化に基づいて、異変の有無を判定することは、他の構成によっても実現できる。例えば、差分領域Ｒ（１）、差分領域Ｒ（２）、差分領域Ｒ（３）の大きさが所定の基準値を超える又は以上となるものが、所定数を超える又は以上となるか否かを判定し、肯定的な判断となる場合に、異変有りと判定してもよい。

図９は異変検出方法の全体的な処理を示すフローチャートである。

まず、ステップＳ１において、学習用検査対象入力データに基づく、機械学習が行われる。

次ステップＳ２において、機械学習が終了すると、ステップＳ３に進む。なお、ステップＳ１における機械学習と、ステップＳ３以降の処理は、別々のコンピュータによって行われ、学習結果を反映したプログラムが異変検出用のコンピュータに実装されてもよい。

ステップＳ３以降の処理は、機械学習済の異変検出装置２０によってなされる。

ステップＳ３では、撮像部２２を通じて検査対象データが取得される。

次ステップＳ４では、機械学習装置４０によって検査対象データに基づいて特徴抽出データが生成される。

次ステップＳ５では、判定用データ生成部４２により、検査対象データと特徴抽出データの差分画像データが生成される。

次ステップＳ６では、判定用データ生成部４２により、複数の所定の閾値に対する差分領域の大きさが求められ、各差分領域の大きさを含む判定用データが生成される。

次ステップＳ７では、異変判定部４４により、複数の所定の閾値に対する差分領域の大きさに基づいて、異変（不良）の判定がなされる。異変無しと判定（良品判定）されると、その旨が出力される。出力結果は、必要に応じて、表示装置３８に表示される。または、検査履歴として記憶部等に記憶される。その後、ステップＳ３に戻って、次の検査対象データが取得され、以降の処理が繰返される。これにより、複数の検査対象データに対して順次異変（不良）判定を行うことができる。

ステップＳ７において、異変有りと判定（不良判定）されると、その旨が出力される。出力結果は、表示装置３８等に表示され、作業者に報知される。作業者は、報知結果に応じて、物品の手直し、除去等を行うことができる。

以上のように構成された異変検出装置２０及び異変検出方法によると、機械学習装置４０は、学習用検査対象入力データを次元圧縮する中間層を含んでおり、出力データが学習用検査対象入力データと同じになるように機械学習されている。このため、機械学習装置４０によって、異変の無い正常な検査対象データに従って、検査対象データの特徴を抽出した特徴抽出データを得ることができる。特徴抽出データは、学習用検査対象入力データにおいて共通する特徴が抽出されたデータであるため、このデータと検査対象データとに基づくことで、特徴抽出データに対する検査対象データの異変をより確実に判定することができる。このため、正常な学習用検査対象データに基づいて学習された機械学習装置を利用して、検査対象データの異変をより確実に検出できる。

また、検査対象データとして画像データを取得しているため、画像データの異変を検出することができる。これにより、物品１０の撮像画像に基づく良否判定を行うことができる。

また、異変検出処理部４６は、検査対象データと特徴抽出データとの差に基づく判定用データを生成する判定用データ生成部４２と、判定用データ生成部４２で生成された判定用データに基づいて検査対象データの異変の有無を判定する異変判定部とを含むため、検査対象データと特徴抽出データとの差に基づいて、検査対象データの異変の有無を判定することができる。

また、判定用データ生成部４２は、検査対象データと特徴抽出データとの差分データに基づいて、所定の閾値で規定される差分領域Ｒの大きさを求め、その差分領域Ｒの大きさを含むデータを、判定用データとして生成する。所定の閾値で規定される差分領域の大きさは、検査対象データと特徴抽出データとの違いの大きさを表しているため、検査対象データの異変の有無をより適切に検出することができる。

また、判定用データ生成部４２には、所定の閾値Ａ（１）、Ａ（２）、Ａ（３）が複数設定されており、判定用データ生成部４２は、複数の所定の閾値Ａ（１）、Ａ（２）、Ａ（３）のそれぞれに対する差分領域Ｒ（１）、Ｒ（２）、Ｒ（３）の大きさを求め、複数の所定の閾値Ａ（１）、Ａ（２）、Ａ（３）のそれぞれに対する差分領域Ｒ（１）、Ｒ（２）、Ｒ（３）の大きさを含むデータを、判定用データとして生成する。複数の所定の閾値Ａ（１）、Ａ（２）、Ａ（３）のそれぞれに対する差分領域Ｒ（１）、Ｒ（２）、Ｒ（３）の大きさは、複数の所定の閾値Ａ（１）、Ａ（２）、Ａ（３）に対する差分領域Ｒ（１）、Ｒ（２）、Ｒ（３）の大きさの連続性等を表現している。このため、複数の所定の閾値Ａ（１）、Ａ（２）、Ａ（３）のそれぞれに対する差分領域Ｒ（１）、Ｒ（２）、Ｒ（３）の大きさに基づいて、検査対象データの異変の有無を判定することで、異変の有無をより適切に検出できる。

｛変形例｝
上記実施形態を前提とする変形例について説明する。

図１０に示す変形例では、異変検出装置２０がワイヤーハーネス１００の良不良検出装置１２０として適用された例を示す図である。

ワイヤーハーネス１００は、複数の電線が配設対象となる車両の配線ラインに沿って分岐しつつ結束されたものである。ワイヤーハーネス１００の端部にはコネクタ１１０が取付けられており、ワイヤーハーネス１００の延在方向途中部分には、ワイヤーハーネス１００を車両に固定するための車両固定部品１１２（クランプと呼ばれる部品）が取付けられている。

撮像部２２に対応する撮像部１２２が、コネクタ１１０を前側から撮像可能な位置に設けられている。撮像部１２２は、車両固定部品１１２を撮像可能な位置にも設けられている。

そして、良品のコネクタ１１０の撮像データを学習用検査対象入力データとして、良不良検出装置１２０が機械学習されている。また、別の良不良検出処理において、良品の車両固定部品１１２の撮像データを学習用検査対象入力データとして、良不良検出装置１２０が機械学習されている。

コネクタ１１０の良不良判定について説明する。図１１に示すように、良品のコネクタ１１０を前方から撮像すると、コネクタハウジング１１０ａ内にコネクタ端子１１０ｔが写り込んだ画像が写り込む。この撮像画像に基づいて、良不良検出装置１２０が機械学習されている。

実際のワイヤーハーネス１００の製造現場において、良不良検出装置１２０を利用してコネクタ１１０等の良不良検査がなされる。

コネクタ１１０を撮像した画像に基づく検査対象データにおいて、図１２に示すように、端子１１０ｔａが曲っている場合、端子１１０ｔｂが存在しない場合、コネクタハウジング１１０ａに異物１１１が付着しているような場合が想定される。

このような場合において、検査対象データと、検査対象データから生成された特徴抽出データとを比較すると、端子１１０ｔａが曲っている領域Ｒａ、端子１１０ｔｂが存在しない領域Ｒｂ、コネクタハウジング１１０ａに異物１１１が付着している領域Ｒｃが、差分領域Ｒａ、Ｒｂ、Ｒｃとして抽出される。これらの差分領域Ｒａ、Ｒｂ、Ｒｃから、異変有り（不良）と判定される。

好ましくは、不良と判定された場合、差分領域Ｒａ、Ｒｂ、Ｒｃに異変領域を示すマークＭａ、Ｍｂ、Ｍｃ（例えば、異変領域を囲むマーク）が付される。

車両固定部品１１２についても、同様にして、車両固定部品１１２の欠損、異物付着等を異変有り（不良）として検出することができる。

これにより、作業者は、不良と判定された箇所の確認、手直し等を容易に行える。

上記実施形態では、学習用検査対象入力データ、検査対象データが画像データである例で説明したが、必ずしもその必要は無い。

例えば、車両、製造装置等の各種装置又はシステムの正常状態での振動、熱変化、加速度変化等をセンサで検出し、その検出データに基づいて機械学習装置の機械学習を行い、その学習結果に基づいて、検査対象データを特徴抽出データに変換して、検査対象データと特徴抽出データとを比較することで、各種状態の異変を検出することができる。この場合、検査対象データ取得部は、各状態を検出するセンサである。

上記実施形態では、検査対象データと特徴抽出データとに基づく異変の検出を、それらの差分データに基づいて行ったが、異変の検出はこれに限らず行うことができる。

例えば、検査対象データが周期性を示すデータである場合には、検査対象データと特徴抽出データとを周波数解析し、解析された周波数の共通性等に基づいて異変の有無を判定してもよい。また、検査対象データと特徴抽出データとの共通性を、相関係数等で評価して、異変の有無を判定してもよい。

なお、上記実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組合わせることができる。

以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 物品
１２、１３ 異物
２０ 異変検出装置
２２ 撮像部
３０ 処理ユニット
３４ 記憶部
３４ａ 異変検出プログラム
４０ 機械学習装置
４２ 判定用データ生成部
４４ 異変判定部
４６ 異変検出処理部
１１０ コネクタ
１１０ａ コネクタハウジング
１１０ｔ コネクタ端子
１１２ 車両固定部品
１２０ 良不良検出装置
１２２ 撮像部
ＣＯＮＶ層 コンボリューション層
ＤＥＣＯＮＶ層 デコンボリューション層

Claims (8)

1. 検査対象データを取得する検査対象データ取得部と、
   学習用検査対象入力データを次元圧縮する中間層を含み、出力データが前記学習用検査対象入力データと同じになるように機械学習され、その学習結果に基づいて前記検査対象データの特徴抽出データを出力する機械学習装置と、
   前記検査対象データと前記特徴抽出データとに基づいて、前記検査対象データの異変の有無を判定する異変検出処理部と、
   を備える異変検出装置。
2. 請求項１に記載の異変検出装置であって、
   前記検査対象データ取得部は、前記検査対象データとして画像データを取得する、異変検出装置。
3. 請求項１又は請求項２に記載の異変検出装置であって、
   前記異変検出処理部は、
   前記検査対象データと前記特徴抽出データとの差に基づく判定用データを生成する判定用データ生成部と、前記判定用データ生成部で生成された判定用データに基づいて前記検査対象データの異変の有無を判定する異変判定部とを含む、異変検出装置。
4. 請求項３に記載の異変検出装置であって、
   前記判定用データ生成部は、前記検査対象データと前記特徴抽出データとの差分データに基づいて、所定の閾値で規定される差分領域の大きさを求め、その差分領域の大きさを含むデータを、前記判定用データとして生成する、異変検出装置。
5. 請求項４に記載の異変検出装置であって、
   前記判定用データ生成部には、前記所定の閾値が複数設定されており、前記判定用データ生成部は、前記複数の所定の閾値のそれぞれに対する差分領域の大きさを求め、前記複数の所定の閾値のそれぞれに対する差分領域の大きさを含むデータを、前記判定用データとして生成する異変検出装置。
6. （ａ）入力されたデータを次元圧縮する中間層を含む機械学習装置が、学習用検査対象入力データに基づいて、出力データが前記学習用検査対象入力データと同じになるように機械学習するステップと、
   （ｂ）検査対象データを取得するステップと、
   （ｃ）前記ステップ（ａ）によって機械学習した前記機械学習装置が、前記検査対象データの特徴抽出データを出力するステップと、
   （ｄ）前記前記検査対象データと前記特徴抽出データとに基づいて、前記検査対象データの異変の有無を判定するステップと、
   を備える異変検出方法。
7. 請求項６に記載の異変検出方法であって、
   前記ステップ（ｂ）は、前記検査対象データとして画像データを取得するステップである、異変検出方法。
8. 請求項６又は請求項７に記載の異変検出方法であって、
   前記ステップ（ｃ）は、前記検査対象データと前記特徴抽出データとの差に基づいて、前記検査対象データの異変の有無を判定するステップである、異変検出方法。

Images