JP2020041889A - ワーク検査方法及びワーク検査システム - Google Patents

ワーク検査方法及びワーク検査システム Download PDF

Info

Publication number
JP2020041889A
JP2020041889A JP2018168806A JP2018168806A JP2020041889A JP 2020041889 A JP2020041889 A JP 2020041889A JP 2018168806 A JP2018168806 A JP 2018168806A JP 2018168806 A JP2018168806 A JP 2018168806A JP 2020041889 A JP2020041889 A JP 2020041889A
Authority
JP
Japan
Prior art keywords
work
learning
image
defect
pass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018168806A
Other languages
English (en)
Other versions
JP7054450B2 (ja
Inventor
悠介 高澤
Yusuke Takazawa
悠介 高澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Electric Glass Co Ltd
Original Assignee
Nippon Electric Glass Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Glass Co Ltd filed Critical Nippon Electric Glass Co Ltd
Priority to JP2018168806A priority Critical patent/JP7054450B2/ja
Publication of JP2020041889A publication Critical patent/JP2020041889A/ja
Application granted granted Critical
Publication of JP7054450B2 publication Critical patent/JP7054450B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】脆性を有するワークの欠陥の有無を適切に検査して、当該ワークの良否判定の信頼性を高める。【解決手段】ワークWを撮像して、ワーク画像G3を抽出し、機械学習により構築された良否判定学習モデルを用いて、抽出されたワーク画像G3について欠陥の有無を検査してワークWの良否判定をする第一判定工程13と、機械学習を含まないアルゴリズムプログラムを用いて、抽出されたワーク画像G3について欠陥の有無を検査してワークWの良否判定をする第二判定工程14とを有する。【選択図】図4

Description

本発明は、ワーク検査方法及びワーク検査システムに係り、詳しくは、脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をする方法及びシステムに関する。
周知のように、ワーク製造工場等では、ワークを製造して出荷するまでの間に、ワークの欠陥の有無を検査してワークの良否判定を行い、良と判定されたワークのみを荷積み等することが行われる。このワークの良否判定をする手法としては、従来より種々の画像処理方法が利用されている。
具体的には、撮像手段により撮像されたワークの画像に対して、コンピュータプログラムを使用して各種の処理を施すことで、必要な画像に加工し、その画像に基づいてワークの良否判定をすることが行われている(例えば、特許文献1参照)。
特開2017‐167047号公報
ところで、ワークが脆性を有する場合には、その製造方法の特異性等に起因して、金属製ワーク等と比較して、多種多様な欠陥が存在するだけでなく、予測できない欠陥も存在し得る。
そのため、脆性を有するワークに存在し得る欠陥については、上記例示した手法では、適切に検査をすることができず、ワークの良否判定の信頼性が損なわれる事態を招き得る。
以上の観点から、本発明は、脆性を有するワークの欠陥の有無を適切に検査して、当該ワークの良否判定の信頼性を高めることを課題とする。
上記課題を解決するために創案された本発明に係る方法は、脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、前記ワークを撮像して、ワーク画像を抽出し、機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有することに特徴づけられる。ここで、「機械学習により構築された良否判定学習モデル」とは、人工知能(AI)を用いた処理やニューラルネットワークを用いた処理によって構築されたワークの良否判定用の学習モデルを意味する(以下、同様)。また、「機械学習を含まないアルゴリズムプログラム」とは、人工知能(AI)を用いた処理やニューラルネットワークを用いた処理を含まないアルゴリズムプログラムを意味する(以下、同様)。
このような方法によれば、機械学習を利用した第一判定工程と、機械学習を利用しない第二判定工程とのそれぞれの利点が有効活用され、脆性を有するワークの欠陥の有無が適切に検査され、ワークの良否判定の信頼性を高めることが可能となる。詳述すると、既述のように、脆性を有するワークは、多種多様な欠陥や予測できない欠陥が存在し得るため、単一の判定工程のみでは、信頼性の高い判定結果を得ることが困難である。しかし、本発明のように異なる利点を有する二つの判定工程を有していれば、脆性を有するワークの良否判定の信頼性を十分に高めることができる。
この場合、前記第一判定工程を前記第二判定工程よりも先に行い、前記第一判定工程で前記ワークが不良と判定された場合に、前記第二判定工程を行わないようにしてもよい。従って、前記第一判定工程で前記ワークが良と判定された場合には、前記第二判定工程を行い、この第二判定工程での良否判定の結果が優先される。
このようにすれば、二つの判定工程を有しているにも関わらず、ワークの良否判定に要する時間が有効に短縮され、生産性が高められる。加えて、仮に第一判定工程で良を不良とする判定ミスが生じた場合であっても、良品のみを回収して出荷等することを最優先する立場からすれば、信頼性や品質保証面で優れることになる。
なお、前記第二判定工程を前記第一判定工程よりも先に行い、前記第二判定工程で前記ワークが良と判定された場合に、前記第一判定工程をさらに行うようにしてもよい。この場合、第二判定工程で前記ワークが不良と判定された場合には、前記第一判定工程をさらに行ってもよく或いは行わなくてもよい。また、第一判定工程と第二判定工程とを同時期に行うようにしてもよい。このようにする場合には、第一判定工程の良否判定の結果が不良である場合にその結果を優先し、第二判定工程の良否判定の結果が良である場合にその結果を優先するようにしてもよい。
以上の方法において、前記第一判定工程では、前記ワークが良である確率を演算すると共に、前記確率と、その確率に対して予め定められた閾値とに基づいて、前記ワークの良否判定の結果を得るようにしてもよい。
このようにすれば、単に「良」か「不良」かが判定結果として得られるだけでなく、入念に算出された判定結果が得られるため、第一判定工程での良否判定の信頼性がより一層高められる。
以上の方法において、前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、一のワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、他のワーク画像を得るようにしてもよい。
このようにすれば、ワークを裏返すことなく、ワークの表面と裏面とについてワーク画像を抽出することができるため、第一判定工程及び第二判定工程を迅速且つ効率よく行うことができる。
以上の方法において、前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、前記良否判定学習モデルを構築するために用いる一の学習用ワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、前記良否判定学習モデルを構築するために用いる他の学習用ワーク画像を得るようにしてもよい。
このようにすれば、良否判定学習モデルを構築するために用いる学習用ワーク画像の個数を2倍に増加させることができる。しかも、透明基板を介して撮像して抽出された学習用ワーク画像と、透明基板を介さずに撮像して抽出された学習用ワーク画像との異なる二種の学習用ワーク画像を得ることができる。そのため、多種多様な多数の学習用ワーク画像によって、前記ワークの良否判定を高精度で行い得る良否判定学習モデルを構築することができる。
この場合、前記良否判定学習モデルの構築に用いるために得られた前記一の学習用ワーク画像と前記他の学習用ワーク画像との少なくとも一方の学習用ワーク画像を所定角度だけ回転させる一の改変処理と、該一の学習用ワーク画像と該他の学習用ワーク画像との少なくとも一方の学習用ワーク画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用ワーク画像を作成し、該新たな学習用ワーク画像と改変処理前の学習用ワーク画像とを用いて前記良否判定学習モデルを構築するようにしてもよい。
このようにすれば、簡単な処理で良否判定学習モデルを構築するために用いる学習用ワーク画像の個数をさらに増加させることができる。そのため、ワークの良否判定処理をより一層高精度で行い得る良否判定学習モデルを構築することが可能となる。
以上の方法において、前記第一判定工程では、ワークの縁部の欠け、ワークの縁部の厚み方向にはみ出すバリ、ワークに散在して付着した黒点異物の少なくとも一つをワークの前記欠陥と認識することが好ましい。
このようにすれば、ワークが脆性を有することに起因して発生し得る特殊な異常部分が欠陥と認識されるため、第一判定工程での良否判定の信頼性向上につながる。
この場合、前記ワークに散在して付着した黒点異物については、該黒点異物の大きさ、個数、及び密集状態に応じて前記欠陥であるか否かを認識することが好ましい。
このようにすれば、上述のワークに散在して付着した黒点異物のうちの全てが欠陥として認識されるわけではないため、欠陥の認識が緻密に行われ、さらなる第一判定工程での良否判定の信頼性向上につながる。
なお、前記第一判定工程では、前記ワークの一部に付着した埃、塵を、ワークの欠陥と認識しないようにすることができる。従って、本来、欠陥ではない埃、塵を、欠陥と認識してしまう判定ミスが生じ難くなり、第一判定工程での良否判定の信頼性向上につながる。
以上の方法において、前記第一判定工程と前記第二判定工程とから得られるワークの良否判定の結果が不良である場合に、機械学習により構築された欠陥分類学習モデルを用いて、該不良のワーク画像中の欠陥が、予め複数に区分された欠陥の種類のうちの何れの種類に属するかの分類をする欠陥分類工程を行うようにしてもよい。ここで、「機械学習により構築された欠陥分類学習モデル」とは、人工知能(AI)を用いた処理やニューラルネットワークを用いた処理によって構築された欠陥分類用の学習モデルを意味する(以下、同様)。
このようにすれば、欠陥分類工程が行われるごとに、複数に区分された種類ごとの欠陥の累積個数が判明するため、ワークの製造時の欠陥発生事由等を知得することができる。従って、その欠陥発生事由等に応じて製造条件等を変更すれば、欠陥の発生を低減することができる。しかも、欠陥分類工程が、機械学習により構築された欠陥分類学習モデルを用いて行われるため、欠陥を複数の種類に分類する処理の信頼性が高められる。
この方法において、前記良否判定学習モデルを構築する際に用いた複数個の学習用ワーク画像の中から、複数個の不良の学習用ワーク画像を選択し、それら不良の学習用ワーク画像から、欠陥とその周辺領域のみとからなる部分画像としての複数個の学習用欠陥画像を抽出し、それら学習用欠陥画像を用いて、前記欠陥分類学習モデルを構築するようにしてもよい。
このようにすれば、良否判定学習モデルを構築する際に用いた学習用ワーク画像が、欠陥分類学習モデルを構築するために有効利用され、画像処理の簡略化が図られる。
この場合、前記欠陥分類学習モデルの構築に用いるために得られた前記学習用欠陥画像を所定角度だけ回転させる一の改変処理と、該学習用欠陥画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用欠陥画像を作成し、該新たな学習用欠陥画像と改変処理前の学習用欠陥画像とを用いて前記欠陥分類学習モデルを構築するようにしてもよい。
このようにすれば、簡単な処理で欠陥分類学習モデルの構築に用いる学習用ワーク画像の個数を増加させることができる。そのため、欠陥の分類処理をより一層高精度で行い得る欠陥分類学習モデルを構築することが可能となる。
以上の方法において、前記欠陥分類工程では、ワークの一部に発生した割れと、ワークの一部に付着した黒色異物とを、異なる種類の欠陥として分類することが好ましい。
このようにすれば、欠陥を複数の種類に分類する際に、上記の二種の欠陥を、同種の欠陥に分類してしまう分類ミスが生じ難くなり、欠陥分類工程での処理の信頼性が高められる。
また、前記欠陥分類工程では、ワークの一部に付着した白色系または黒色系の立体状異物と、前記立体状異物と同色系の平面状異物とを、異なる種類の欠陥として分類することが好ましい。
このようにすれば、欠陥を複数の種類に分類する際に、上記の二種の欠陥を、同種の欠陥に分類してしまう分類ミスが生じ難くなり、欠陥分類工程での処理の信頼性が高められる。
以上の方法において、前記第一判定工程での良否判定の結果の正解率が低下した場合に、該正解率が低下し始める以前に行われた全ての前記欠陥分類工程において前記複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像を、学習用ワーク画像として用いて機械学習することで、前記良否判定学習モデルを更新するようにしてもよい。
ここで、本発明者等は、第一判定工程で良否判定の結果の正解率が低下していく理由が、その正解率が低下し始める以前に行われた全ての欠陥分類工程において複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像が出現していることによって生じたものであることを知見した。そこで、そのような不良のワーク画像を有効利用して、良否判定学習モデルを更新することを案出した。そして、この良否判定学習モデルの更新によって、判定ミスが生じ難くなり、上記の正解率が回復するため、良否判定の信頼性の低下を阻止することができる。
以上の方法において、前記ワークは、タブレット状のセラミック焼結品であって、前記ワーク画像は、前記ワークを厚み方向に視て撮像したものであってもよい。
このようにすれば、タブレット状のセラミック焼結品の表面や裏面に存在し得る特殊な欠陥や予測できない欠陥についての良否判定ミスや欠陥分類ミスが生じ難くなる。
以上の方法において、前記機械学習のアルゴリズムは、ディープラーニングであることが好ましい。
このようにすれば、既述の良否判定学習モデル及び欠陥分類学習モデルの構築が高精度で行われ、第一判定工程及び欠陥分類工程の信頼性向上が確実化される。
なお、以上の方法においては、前記ワークにリング照明が当てられた状態で該ワークを撮像することで、ワーク画像を得るようにすることができる。ここで、リング照明は、ドーム照明等の他の照明と比較して、凹凸に対して反応し易いという特性を備えている。従って、リング照明を用いてワーク画像を抽出すれば、ワークに存在する凸状の欠陥と凹状の欠陥とを明確に認識することができる。従って、他の照明を用いた場合には認識することが困難或いは不可能であった凸状の欠陥や凹状の欠陥が認識できることになって、認識可能な欠陥の種類が増加し、ワークの良否判定にミスが生じ難くなる。しかも、凸状の欠陥と凹状の欠陥との種類の判別もミス無く行えるようになる。
また、以上の方法においては、前記ワークにリング照明が当てられた状態で該ワークを撮像することで、前記学習モデル(良否判定学習モデル及び欠陥分類学習モデル)を構築するために用いる学習用ワーク画像を得るようにすることもできる。このようにした場合には、他の照明を用いた場合よりも多種類の欠陥を有するワーク画像を学習用ワーク画像とすることができる。これにより、前記ワークの良否判定や前記欠陥分類を高精度で行うことが可能な学習モデルを構築することができる。
上記課題を解決するために創案された本発明に係るシステムは、脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査システムであって、前記ワークを撮像する撮像手段と、前記撮像手段によって撮像された画像からワーク画像を抽出するワーク画像抽出処理部と、機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定処理部と、機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定処理部とを有することに特徴づけられる。
このシステムは、既述の対応する方法とカテゴリーが相違するものの実質的に構成が同一であるので、当該方法と実質的に同一の作用効果が得られる。
以上の方法及びシステムにおいて、前記良否判定学習モデルは、入力層と出力層との間に、入力層側から順に、第一の畳み込み層と、プーリング層と、第二の畳み込み層と、結合層と、ドロップアウト層とを含む4層のニューラルネットワークによる学習モデルであることが好ましい。
この場合、前述のニューラルネットワークは、前述の第一の畳み込み層の入力層側に、学習用ワーク画像をランダム加工する処理層を有することが好ましい。
また、前述のニューラルネットワークは、最も入力層側に存する結合層のニューロン数が512以下であることが好ましい。
さらに、前述のニューラルネットワークは、フィルタサイズが5以上であることが好ましい。
以上のようなニューラルネットワークの構成であれば、ワークの良否判定処理を高精度で行うことが可能な良否判定学習モデルを得ることができる。
以上の方法及びシステムにおいて、前記欠陥分類学習モデルは、入力層と出力層との間に、入力層側から順に、8層の畳み込み層と、結合層と、ソフトマックス層とを含む3層のニューラルネットワークによる学習モデルであることが好ましい。また、このニューラルネットワークは、フィルタサイズが3以上であることが好ましい。
このようなニューラルネットワークの構成であれば、欠陥の分類処理を高精度で行うことが可能な欠陥分類学習モデルを得ることができる。
なお、本発明に係る方法及びシステムは、第二判定工程(第二判定処理部)を廃止してもよく、そのようにした場合であっても、上記課題を解決して、脆性を有するワークの良否判定の信頼性を高めることができる。
本発明によれば、脆性を有するワークの欠陥の有無を適切に検査して、当該ワークの良否判定の信頼性を高めることができる。
本発明の実施形態に係るワーク検査方法の実施に用いられる脆性を有するワークを示す斜視図である。 本発明の実施形態に係るワーク検査システムを示す概略正面図である。 図3(a)、(b)、(c)は、それぞれ、本発明の実施形態に係るワーク検査方法において、ワーク画像を抽出していく過程での画像を示す正面図である。 本発明の実施形態に係るワーク検査方法における良否判定についての各工程を示す概略図である。 本発明の実施形態に係るワーク検査方法における第一判定工程での良否判定を行う手順を示すフローチャートである。 本発明の実施形態に係るワーク検査方法における第一判定工程で用いられる良否判定学習モデルを構築する場合の手順を示すフローチャートである。 図7(a)、(b)、(c)、(d)は、それぞれ、本発明の実施形態に係るワーク検査方法における良否判定を行う対象となるワーク画像を示す正面図である。 本発明の実施形態に係るワーク検査方法における第一判定工程で用いられる良否判定学習モデルを更新する場合の手順を示すフローチャートである。 本発明の実施形態に係るワーク検査方法における第二判定工程での良否判定を行う手順を示すフローチャートである。 本発明の実施形態に係るワーク検査方法における欠陥分類工程を行う手順を示すフローチャートである。 本発明の実施形態に係るワーク検査方法における欠陥分類工程で用いられる欠陥分類学習モデルを構築する場合の手順を示すフローチャートである。 図12(a)、(b)は、それぞれ、本発明の実施形態に係るワーク検査方法における欠陥分類工程を行う対象となる欠陥画像を示す正面図である。 図13(a)、(b)は、それぞれ、本発明の実施形態に係るワーク検査方法における欠陥分類工程を行う対象となる欠陥画像を示す正面図である。 図14(a)、(b)は、それぞれ、本発明の実施形態に係るワーク検査方法における欠陥分類工程を行う対象となる欠陥画像を示す正面図である。 本発明の実施形態に係るワーク検査システムをより詳細に示す概略構成図である。
以下、本発明の実施形態に係るワーク検査方法及びワーク検査システムについて添付図面を参照しつつ説明する。
図1は、この実施形態での検査対象物である脆性を有するワークWを例示している。同図に示すように、ワークWは、タブレット状をなす。詳しくは、このワークWは、円板状体または円柱状体の中央部に円形の貫通孔Whが形成されたセラミック焼結品である。より詳細には、このワークWは、例えば、PbO−SiO2−B2О3系ガラスや、SiO2−Al2О3−B2О3−R2О系(R2Оはアルカリ金属酸化物)ガラスや、結晶性ビスマス系ガラス等から成るガラス粉末とフィラー粉末を混合焼成したものである。そして、このワークWは、表面W1及び裏面W2を含む全面が、微小凹凸を有するざらついた面であって、表面W1及び裏面W2が、欠陥検査の対象面とされている。
図2は、この実施形態に係るワーク検査システムを示す概略構成図である。同図に示すように、ワーク検査システム1は、撮像手段2を備えている。この撮像手段2は、透明基板(例えばガラス基板)3上に載置されたワークWの表面W1と裏面W2とを、ワークWの表側と裏側とからそれぞれ撮像する2機のカメラ4、5を有する。ワークWの表面W1には、リング照明6が直接当てられ、ワークWの裏面W2には、透明基板3を介してリング照明7が当てられている。上側のカメラ4によってワークWの表面W1が撮像されると共に、下側のカメラ5によって透明基板3を介してワークWの裏面W2が撮像される。
さらに、ワーク検査システム1は、2機のカメラ4、5によって撮像された画像に基づいて各種の処理を行う処理部8と、処理部8に対して作業者が必要な情報やデータ等を入力する入力部9と、処理部8による各種の処理の結果等を表示する表示部10とを備える。処理部8は、各種の情報やデータさらには各種の処理や手順を遂行するためのコンピュータプログラムを記憶する記憶手段が内蔵されたコンピュータ装置等の電子情報処理装置を有する。例えば、電子情報処理装置には、コンピュータプログラムを実行するためのCPU等の制御手段(画像処理手段等を含む)や、メモリやハードディスク等の記憶手段などが含まれる。入力部9は、作業者が操作するタッチパネルやキーボードあるいはマウス等で構成することができる。この入力部9は、上述の電子情報処理装置の構成要素であってもよく、独立した専用の入力機器等であってもよい。表示部10は、ディスプレイデバイスやモニタスクリーン等で構成することができる。この表示部10も、上述の電子情報処理装置の構成要素であってもよく、独立した専用の表示機器等であってよい。そして、後述する図5、図6、図8〜図11にそれぞれ示すフローチャートにおける各ステップでの処理や手順は、上述の処理部8、入力部9及び表示部10によって遂行される。
次に、この実施形態に係るワーク検査方法を詳細に説明する。図3は、2機のカメラ4、5によって撮像された画像からワーク画像をそれぞれ抽出する過程を示す正面図である。具体的には、図3(a)に示す画像G1は、カメラ4(5)によって撮像された画像であって、ワークWの周辺領域Xが広くなっている。この画像G1からは、図3(b)に示すように、ワークWの周辺領域Xが狭くなった画像G2が切り取られる。その後、画像G2を全体的に縮小することで、図3(c)に示す画像G3が得られる。以上の処理は、処理部8に備えられている画像処理手段によって行われる。そして、図3(c)に示す画像G3が、ワーク画像(ワークの全体画像)である。このワーク画像G3は、デジタル画像であって、ピクセル数が例えば200〜300と少ないため、後述する画像処理を簡易に行うことができる。
図4は、ワーク検査方法における良否判定を行う場合の主たる工程を示す概略図である。同図に示すように、ワーク検査方法は、撮像手段2でワークWの表面W1及び裏面W2を撮像する撮像工程11と、ワーク画像G3を抽出するワーク画像抽出工程12と、ワーク画像G3について第一判定及び第二判定をそれぞれ行う第一判定工程13及び第二判定工程14とを有する。なお、ワーク画像抽出工程12は、既述の図3に示す手順で行われる。
第一判定工程13では、機械学習により構築された良否判定学習モデルを用いて、ワーク画像G3について欠陥の有無を検査してワークWの良否判定が行われる。第二判定工程14では、機械学習を含まないアルゴリズムプログラムを用いて、ワーク画像G3について欠陥の有無を検査してワークWの良否判定が行われる。そして、一個のワークWについては、基本的に、第一判定工程13と第二判定工程14とが行われる。後続のワークWについても、上記の各工程11〜14が繰り返して行われる。ワーク画像抽出工程12が繰り返し行われることで複数回に亘って抽出されるワーク画像G3は、その都度、処理部8に備えられている記憶手段に記憶される。この場合、第一判定工程13における機械学習のアルゴリズムは、ディープラーニングである。
第一判定工程13及び第二判定工程14では、ワークWに一つでも欠陥があると判断した場合に、そのワークWは不良と判定され、ワークWに一つも欠陥がないと判断した場合に、そのワークWは良と判定される。この実施形態では、撮像手段2の構成に起因して、一個のワークWについて二個のワーク画像G3が抽出されるため、一個のワーク画像G3に一つでも欠陥があれば、そのワークWは不良と判定される。従って、二個のワーク画像G3の何れにも欠陥がない場合に、そのワークWは良と判定される。
図5は、上記の各工程を時系列で示すフローチャートである。同図に示すように、フローチャートのステップS1で撮像工程11を行い、ステップS2でワーク画像抽出工程12を行い、その後にステップS3で第一判定工程13を先に行う。そして、ステップS4で第一判定工程13による良否判定の結果が不良である場合には、そのワークWは不良として処理され、第二判定工程14を行わない。一方、ステップS4で第一判定工程13による良否判定の結果が良である場合には、ステップS5でさらに第二判定工程14を行う。そして、ステップS6で第二判定工程14による良否判定の結果が不良である場合には、そのワークWは不良として処理され、第二判定工程14による判定結果が良である場合には、そのワークは良として処理される。
なお、上記のフローチャートに示す動作は一例であって、第二判定工程14を第一判定工程13よりも先に行い、第二判定工程14による良否判定の結果が良である場合には、第一判定工程13をさらに行うようにしてもよい。この時の第一判定工程13による良否判定の結果が良である場合には、そのワークWは良として処理され、第一判定工程13よる良否判定の結果が不良である場合には、そのワークWは不良として処理される。なお、先に行う第二判定工程14による良否判定の結果が不良である場合には、第一判定工程13をさらに行ってもよく或いは行わなくてもよい。また、第一判定工程13と第二判定工程14とを同時期に行うようにして、第一判定工程13の良否判定の結果が不良である場合にはその結果を優先し、第二判定工程14の良否判定の結果が良である場合にはその結果を優先するなどのようにしてもよい。
第一判定工程13は、ワークWが良である確率を演算する工程をさらに含んでいる。そして、第一判定工程13では、上記演算により得られた確率と、その確率に対して予め定められた閾値とに基づいて、ワークWが良であるか不良であるかの結果が得られる。具体的には、ワークWが良である確率がパーセンテージで表わされると共に、閾値は例えば90%に設定されている。従って、ワークWを良であるとする確率が90%以上である場合には、そのワークWは良とされ、その確率が90%未満である場合は、そのワークWは不良とされる。
図6は、第一判定工程13で使用する良否判定学習モデルを構築する手順を示す概略のフローチャートである。同図に示すように、先ずステップS11で、複数個(例えば1000個以上)の学習用ワーク画像を収集する。これらの学習用ワーク画像は、複数個のワークWの表面W1及び裏面W2(図1参照)をそれぞれ撮像手段2で撮像し、それらの撮像した画像から抽出したものである。この学習用ワーク画像を抽出する手順は図3に示す手順と同一であって、その処理は、処理部8の画像処理手段によって行われる。また、この抽出した学習用ワーク画像の態様は、図3(c)に示すワーク画像G3の態様と同一である。そして、複数回に亘って抽出される複数個の学習用ワーク画像は、その都度、処理部8の記憶手段に記憶される。
この場合、ステップS12では、上記の抽出した学習用ワーク画像に基づいて、新たな学習用ワーク画像が作成される。具体的には、上記の抽出した複数個の学習用ワーク画像の全てまたは一部を、45°、135°、225°、315°の角度ごとにそれぞれ画像面内で回転させる改変処理をすることで、新たな学習用ワーク画像を複数個作成する。この改変処理は、ワークWの表面W1と裏面W2との少なくとも一方から抽出した学習用ワーク画像について行われる。また、これに代えてまたはこれと共に、上記の抽出した複数個の学習用ワーク画像の全てまたは一部を、その中央部を通る直線の両側で反転させる改変処理を、上記の直線の傾斜角度を複数に変更して行うことで、新たな学習用ワーク画像を複数個作成する。この改変処理も、ワークWの表面W1と裏面W2との少なくとも一方から抽出した学習用ワーク画像について行われる。
次に、ステップS13で、収集した複数個の学習用ワーク画像と、新たに作成した学習用ワーク画像とを、良の学習用ワーク画像と、不良の学習用ワーク画像とに分類する。この分類は、作業者が、表示部10に表示される学習用ワーク画像を見ながら入力部9を操作することによって行う。ここで、良の学習用ワーク画像とは、そのワーク画像中に欠陥の候補が全くないか、或いは、そのワーク画像中に欠陥の候補があっても、それが小さい等の理由によって欠陥に該当せず、ワークWが不良にならないようなワーク画像である。また、不良の学習用ワーク画像とは、そのワーク画像中に少なくとも一個の欠陥の候補があり、そのうちの少なくとも一個が欠陥に該当して、ワークWが不良になるようなワーク画像である。
その後、ステップS14で、良の学習用ワーク画像と、不良の学習用ワーク画像とを使用して、ディープラーニングによる学習で良否判定学習モデルを構築する。この良否判定学習モデルは、ニューラルネットワークによる学習モデルである。なお、この良否判定学習モデルの構築によって計算式が作成される。従って、厳密には、第一判定工程13では、この計算式を用いてワークWの良否判定が行われる。ここでのニューラルネットワークは、入力層と出力層との間に、入力層側から順に、第一の畳み込み層と、プーリング層と、第二の畳み込み層と、結合層と、ドロップアウト層とを含む4層を備えている。また、このニューラルネットワークは、上述の第一の畳み込み層の入力層側に、学習用ワーク画像をランダム加工する処理層を有している。さらに、このニューラルネットワークは、最も入力層側に存する結合層のニューロン数が512以下であって、且つ、フィルタサイズが5以上である。
ここで、良の学習用ワーク画像を6067個、不良の学習用ワーク画像を4500個として、ディープラーニングによる学習で良否判定学習モデルを構築した後、2000個のワークWについて、第一判定工程13を行った。その結果、従来においては欠陥と認識できなかったために良と判定されていたワークWを、正確に不良と判定したものが17個存在していた。この正確な判定をしたワークWの代表例を、図7(a)〜図7(d)に示す。
図7(a)に示すワーク画像G3(1)では、ワークWの貫通孔Whの内周縁部に欠けZ1が発生している。図7(b)に示すワーク画像G3(2)では、ワークWの外周縁部に厚み方向にはみ出すバリZ2が発生している。図7(c)に示すワーク画像G3(3)では、ワークWの貫通孔Whの内周縁部に厚み方向にはみ出すバリZ3が発生している。上述の内周縁部の欠けZ1、外周縁部の厚み方向にはみ出すバリZ2、内周縁部の厚み方向にはみ出すバリZ3は、何れも、欠陥と正確に認識されている。また、図7(d)に示すワーク画像G3(4)では、ワークWに黒点異物Z4が散在して付着している。この図7(d)に示す態様では、黒点異物Z4の大きさ、個数、及び密集状態に応じて、欠陥であるか否かが認識されるが、図示の態様では、欠陥と正確に認識されている。これらの欠陥は、ワークWが脆性を有し、特にセラミック焼結品であるため、予測できない欠陥である。そのため、これらを欠陥と認識することが、従来においては不可能であったが、本発明者等が、これらの欠陥に着目して、鋭意研究を重ねつつ上述の良否判定学習モデルを用いた結果、これらを欠陥と正確に認識できるようになった。
また、従来においては、ワークWの一部に付着した埃や塵を、欠陥と認識してしまう判定ミスが生じていた。しかしながら、本発明では、上記のように2000個のワークについて、第一判定工程13を行った結果、ワークWに埃や塵が付着していても、そのワークWのワーク画像G3からは、埃や塵が欠陥と認識されなくなった。これについても、本発明者等が、埃や塵に着目して、鋭意研究を重ねつつ上述の良否判定学習モデルを用いた結果、埃や塵を欠陥と認識してしまう判定ミスをなくすことができるようになった。
第一判定工程13を繰り返し行っている間には、第一判定工程13での良否判定の正解率が低下していく場合がある。ここで、この実施形態では、良否判定が正解であるか否かは、作業者によって判断され、作業者は、その判断結果を入力部9を通じて処理部8に入力するようになっている。処理部8は、その判断結果を集計して正解率を算出し、表示部10にその正解率を表示させることができる。この場合、正解率がどの程度まで低下したかの判断は、処理部8によって行うことができる。従って、処理部8が、その正解率が予め設定された所定値よりも低下したことを把握した場合には、第一判定工程13を中断させることが好ましい。この第一判定工程13の中断は、処理部8からの指令によって行わせることができる。なお、正解率が所定値よりも低下したことの判断や第一判定工程13の中断は、作業者によって行うようにしてもよい。ここで、本発明者等は、この正解率の低下が、突発的に現われた不良のワーク画像G3によってもたされていることを知見した。ここでいう突発的に現われた不良のワーク画像G3とは、正解率が低下し始める以前に行われた全ての欠陥分類工程(後述する)において複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像G3を意味する。そこで、本発明者等は、この知見に基づいて、正解率が低下し始める以前には存在していなかった種類の欠陥を有する不良のワーク画像を用いて、良否判定学習モデルを更新するようにした。
図8は、良否判定学習モデルを更新する手順の一例を示す概略のフローチャートである。同図に示すように、先ずステップS21で、複数個の突発的に現れた不良のワーク画像を学習用ワーク画像として収集する。この学習用ワーク画像は、第一判定工程13を行っている間に処理部8の記憶手段に記憶されていたものであって、表示部10に表示された学習用ワーク画像を作業者が見ることで、突発的に現われた不良であるか否かを確認した上で収集される。この場合、ステップS22で、上記の収集した学習用ワーク画像に基づいて、新たな学習用ワーク画像が作成される。具体的には、上記の収集した全て或いは一部の学習用ワーク画像を、45°、135°、225°、315°の角度ごとにそれぞれ画像面内で回転させる改変処理を行うことで、新たな学習用ワーク画像を複数個作成する。また、これに代えてまたはこれと共に、上記の収集した学習用ワーク画像を、その中央部を通る直線の両側で反転させる改変処理を、上記の直線の傾斜角度を複数に変更して行うことで、新たな学習用ワーク画像を複数個作成する。この新たな学習用ワーク画像の作成は、処理部8の画像処理手段によって行われる。次に、ステップS23で、上記の収集した学習用ワーク画像と、新たに作成した学習用ワーク画像とを使用して、ディープラーニングによる学習で良否判定学習モデルを更新する。そして、この更新された良否判定学習モデル(厳密には計算式)は、中断していた第一判定工程13が再び行われる際に使用される。
なお、上記の良否判定学習モデルの更新は、突発的に現れた不良のワーク画像G3だけでなく、それ以外の良否判定にミスがあったワーク画像G3も含めて、上記と同様の手順で行うようにしてもよい。また、このような良否判定学習モデルの更新は、定期的に行うようにしてもよい。
図9は、第二判定工程14で使用される機械学習を含まないアルゴリズムプログラムによる良否判定の概略の手順を示すフローチャートである。この良否判定は、ワークに存在する欠陥が何種類あるかが、予め行われたワークの欠陥検査によって知得された上で行われる。そして、複数種類の欠陥の態様は予め二値化画像として処理部8の記憶手段に記憶されている。同図は、9種類の欠陥がある場合を例示している。同図に示すステップS31でのワークWの撮像と、ステップS32でのワーク画像G3の抽出とは、既に撮像工程11とワーク画像抽出工程12とで行われている(図4参照)。その後、ステップS33〜S41で、ワーク画像G3に、第1〜第9の欠陥の種類に該当する欠陥が存在しているか否かを順々に検査していく。ここで、第1〜第9の欠陥の種類とは、例えば、欠け、割れ、バリ、黒色系異物、白色系異物、燃えカス、粉、繊維、窪みである。そして、ステップS33〜S41の何れかで、該当する種類の欠陥が存在していることが判定された時点で、そのワークWは不良として処理される。そして、何れのステップでも、該当する種類の欠陥が存在しないと判定された場合に限り、そのワークWは良として処理される。ここでのワーク画像G3の欠陥検査は、ワーク画像G3を二値化して、処理部8の記憶手段に記憶されている二値化画像と対比しつつ、閾値を用いて判定することで行われる。この第二判定工程14が複数回に亘って行われる場合には、全ての欠陥の種類について検査をしなくても済むのが大半であるため、処理の迅速化が図られ、作業効率が向上する。
図10は、第一判定工程13と第二判定工程14とから得られるワークWの良否判定の結果が不良である場合の後処理の手順を示す概略のフローチャートである。同図に示すように、ワークWが不良と判定された場合には、ステップS41で、一個のワークWについての二個のワーク画像G3の中から不良とされたワーク画像G3を取り込む。この不良とされたワーク画像G3は、図4のワーク画像抽出工程12で既に抽出され且つ処理部8の記憶手段に記憶されていたワーク画像G3の中に存在していたものである。次に、ステップS42で、取り込まれたワーク画像G3から欠陥画像を抽出する。この欠陥画像は、欠陥とその周辺領域のみとからなる部分画像である。具体的には、この欠陥画像は、後述する図12〜図14に符号G4(1)〜G4(6)で示すような画像であって、欠陥Z5〜Z10が、それぞれの欠陥画像G4(1)〜G4(6)の中央に存在するように切り取られる。ここでのワークWが不良であるか否かの判断は、処理部8の制御手段によって行われると共に、欠陥画像の抽出は、処理部8の画像処理手段によって行われる。
その後、図10のステップS43で、ディープラーニングによる学習で構築された欠陥分類学習モデルを用いて、欠陥画像に存在する欠陥が、予め複数(例えば10程度)に区分された欠陥の種類のうちの何れの種類に属するかを分類する欠陥分類工程を行う。ここでの欠陥の種類としては、欠け、割れ、バリ、黒色系の立体状異物、黒色系の平面状異物、白色系の立体状異物、白色系の平面状異物、燃えカス(黒色異物)、粉、繊維、窪みなどが挙げられる。そして、ステップS44で、その欠陥が属する種類の欠陥個数を一個だけ加算する。この後は、複数の種類ごとの欠陥の累積個数を、その都度、表示部10に棒グラフ等として表示させてもよく、ステップS41〜S44を繰り返し実行した後に、表示部10に棒グラフ等として表示させてもよい。そして、表示部10を作業者が見ることで、どの種類の欠陥が多く、どの種類の欠陥が少ないかを知得することができる。このようにすることで、作業者は、ワークWについての各種の製造条件のうち、どの製造条件が悪いか等を認識できるため、ワークWに生じる欠陥を低減することができる。
図11は、欠陥分類工程で使用する欠陥分類学習モデルを構築する手順を示す概略のフローチャートである。同図に示すように、先ずステップS51で、複数個(例えば1000個以上)の不良のワーク画像を学習用ワーク画像として収集する。この不良のワーク画像は、上述の良否判定学習モデルを構築する際に処理部8の記憶手段に記憶されていた複数個のワーク画像G3から選択したものである。不良のワーク画像であることの識別は、作業者が表示部10に表示されたワーク画像を見ることで行う。次に、ステップS52で、複数個の学習用ワーク画像から学習用欠陥画像をそれぞれ抽出して収集する。この学習用欠陥画像は、欠陥とその周辺領域のみとからなる部分画像である。この学習用欠陥画像の態様は、後述する図12〜図14に符号G4(1)〜G4(6)で示す画像の態様と同一である。この学習用欠陥画像を抽出する処理は、処理部8の画像処理手段によって行われる。
この場合、ステップS53では、上記の抽出した学習用欠陥画像に基づいて、新たな学習用欠陥画像が作成される。具体的には、上記の抽出した複数個の学習用欠陥画像の全てまたは一部を、45°、135°、225°、315°の角度ごとにそれぞれ画像面内で回転させる改変処理を行うことで、新たな学習用欠陥画像を複数個作成する。また、これに代えてまたはこれと共に、上記の抽出した複数個の学習用欠陥画像の全てまたは一部を、その中央を通る直線の両側で反転させる改変処理を、上記の直線の傾斜角度を複数に変更して行うことで、新たな学習用欠陥画像を複数個作成する。この新たな学習用欠陥画像の作成は、処理部8の画像処理手段によって行われる。
その後、ステップS54で、上記の抽出した複数個の学習用欠陥画像と、新たに作成した複数個の学習用欠陥画像とを、複数の種類に分類して、種類ごとに複数個の学習用欠陥画像を得る。ここでの分類は、作業者が表示部10に表示された学習用欠陥画像を見ることによって行う。その後、ステップS55で、種類ごとの複数個の学習用欠陥画像を使用して、ディープラーニングによる学習で欠陥分類学習モデルを構築する。この欠陥分類学習モデルは、ニューラルネットワークによる学習モデルである。なお、この欠陥分類学習モデルの構築によって計算式が作成される。ここでのニューラルネットワークは、入力層と出力層との間に、入力層側から順に、8層の畳み込み層と、結合層と、ソフトマックス層とを含む3層を備えている。また、このニューラルネットワークは、最も入力層側に存する結合層のニューロン数が512以下であり、且つ、フィルタサイズが3以上である。
ここで、15000個以上の学習用欠陥画像を使用して、ディープラーニングによる学習で欠陥分類学習モデルを構築した後、その欠陥分類学習モデル(厳密には計算式)を使用して、欠陥分類工程を行った。その結果、従来においては正確な分類が困難或いは不可能であった欠陥画像であるにも関わらず、正確に分類できるようになったものが多数存在していた。そのような欠陥画像の代表例を、図12〜図14に示す。
図12(a)に示す欠陥画像G4(1)では、欠陥の種類が割れZ5であって、図12(b)に示す欠陥画像G4(2)では、欠陥の種類が黒色異物Z6である。この両者Z5、Z6は、何れも黒色に見えるため、従来は判別ができなかった。しかし、本発明に係る欠陥分類工程では、割れZ5の形状的特徴と、黒色異物Z6の形状的特徴とから、この両者Z5、Z6を異なる種類に正確に分類することができるようになった。
図13(a)に示す欠陥画像G4(3)では、欠陥の種類が白色系の立体状異物Z7であって、図13(b)に示す欠陥画像G4(4)では、欠陥の種類が白色系の平面状異物Z8である。この両者Z7、Z8は、何れも白色に見えるため、従来は判別ができなかった。しかし、本発明に係る欠陥分類工程では、立体状異物Z7については影があり、平面状異物Z8については影がないため、この両者Z7、Z8を異なる種類に正確に分類することができるようになった。
図14(a)に示す欠陥画像G4(5)では、欠陥の種類が黒色系の立体状異物Z9であって、図14(b)に示す欠陥画像G4(6)では、欠陥の種類が黒色系の平面状異物Z10である。この両者Z9、Z10は、何れも黒色に見えるため、従来は判別ができなかった。しかし、本発明に係る欠陥分類工程では、立体状異物Z9については一様に黒色ではなく、平面状異物Z10については一様に黒色であるため、この両者Z9、Z10を異なる種類に正確に分類することができるようになった。
なお、欠陥分類工程を繰り返し行っている間に、分類ミスが生じたり、突発的な欠陥が現れることによって、欠陥分類の正解率が低下した場合には、図8に示した良否判定学習モデルの更新と同様の要領で、欠陥分類学習モデルを更新するようにしてもよい。また、この欠陥分類学習モデルの更新は、定期的に行うようにしてもよい。ここで、突発的な欠陥とは、正解率が低下し始める以前に行われた全ての欠陥分類工程において複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を意味する。
図15は、この実施形態に係るワーク検査システム1をより詳細に示す概略構成図である。同図に示すように、ワーク検査システム1は、ワークWを撮像する上述の撮像手段2と、撮像手段2からの信号を受けてワーク画像抽出工程12を行うワーク画像抽出処理部15と、ワーク画像抽出処理部15で抽出されたワーク画像に基づいて第一判定工程13を行う第一判定処理部16と、ワーク画像抽出処理部15で抽出されたワーク画像に基づいて第二判定工程14を行う第二判定処理部17とを備える。この場合、ワーク画像抽出処理部15、第一判定処理部16及び第二判定処理部17は、何れも、図2に示す処理部8に備えられている。
さらに、このワーク検査システム1は、第一判定処理部16及び第二判定処理部17での判定結果が不良である場合に、不良のワーク画像から欠陥画像を抽出する欠陥画像抽出処理部18と、欠陥画像抽出処理部18で抽出された欠陥画像に基づいて上述の欠陥分類工程を行う欠陥分類処理部19とを備える。この欠陥画像抽出処理部18及び欠陥分類処理部19も、図2に示す処理部8に備えられている。
従って、このワーク検査システム1におけるワーク画像抽出処理部15、第一判定処理部16、第二判定処理部17、欠陥画像抽出処理部18及び欠陥分類処理部19での各動作やこれら相互間を接続する一連の動作は、例えば、コンピュータプログラムを実行するためのCPU等の制御手段(画像処理手段等を含む)や、メモリやハードディスク等の記憶手段などを有する電子情報処理装置によって実行される。
以上の実施形態では、脆性を有するワークWの形状が円板状または円柱状であるが、四角形或いは多角形の板状や柱状であってもよく、また貫通孔は二個以上であってもよく或いはなくてもよい。
以上の実施形態では、機械学習のアルゴリズムが、ディープラーニングであるが、いわゆる教師あり学習であれば他の機械学習であってもよい。
以上の実施形態における第二判定工程(第二判定処理部)での各処理は、上述したものに限定されるものではなく、機械学習を含まないアルゴリズムを用いるものであれば、他の各処理を行うものであってもよい。
以上の実施形態では、第一判定工程13(第一判定処理部16)と、第二判定工程14(第二判定処理部17)との二つで、ワークWの良否判定を行うようにしたが、第二判定工程14(第二判定処理部17)を廃止して、第一判定工程13(第一判定処理部16)のみでワークWの良否判定を行うようにしてもよい。
1 ワーク検査システム
2 撮像手段
3 透明基板
11 撮像工程
12 ワーク画像抽出工程
13 第一判定工程
14 第二判定工程
15 ワーク画像抽出処理部
16 第一判定処理部
17 第二判定処理部
18 欠陥画像抽出処理部
19 欠陥分類処理部
W ワーク
W1 ワークの表面
W2 ワークの裏面
G3 ワーク画像
G4 欠陥画像
Z10 平面状異物
Z2 バリ
Z3 バリ
Z4 黒点異物
Z5 割れ
Z6 黒色異物
Z7 白色系の立体状異物
Z8 白色系の平面状異物
Z9 黒色系の立体状異物
Z10 黒色系の平面状異物

Claims (17)

  1. 脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査方法であって、
    前記ワークを撮像して、ワーク画像を抽出し、
    機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定工程と、
    機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定工程とを有することを特徴とするワーク検査方法。
  2. 前記第一判定工程を前記第二判定工程よりも先に行い、前記第一判定工程で前記ワークが不良と判定された場合に、前記第二判定工程を行わないことを特徴とする請求項1に記載のワーク検査方法。
  3. 前記第一判定工程では、前記ワークが良である確率を演算すると共に、前記確率と、その確率に対して予め定められた閾値とに基づいて、前記ワークの良否判定の結果を得ることを特徴とする請求項1または2に記載のワーク検査方法。
  4. 前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、一のワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、他のワーク画像を得ることを特徴とする請求項1〜3の何れかに記載のワーク検査方法。
  5. 前記ワークの表面及び裏面が欠陥検査の対象面であって、該ワークを透明基板上に載置し、該ワークを表側から撮像することで、前記良否判定学習モデルを構築するために用いる一の学習用ワーク画像を得ると共に、該ワークを前記透明基板を介して裏側から撮像することで、前記良否判定学習モデルを構築するために用いる他の学習用ワーク画像を得ることを特徴とする請求項1〜4の何れかに記載のワーク検査方法。
  6. 前記良否判定学習モデルの構築に用いるために得られた前記一の学習用ワーク画像と前記他の学習用ワーク画像との少なくとも一方の学習用ワーク画像を所定角度だけ回転させる一の改変処理と、該一の学習用ワーク画像と該他の学習用ワーク画像との少なくとも一方の学習用ワーク画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用ワーク画像を作成し、該新たな学習用ワーク画像と改変処理前の学習用ワーク画像とを用いて前記良否判定学習モデルを構築することを特徴とする請求項5に記載のワーク検査方法。
  7. 前記第一判定工程では、ワークの縁部の欠け、ワークの縁部の厚み方向にはみ出すバリ、ワークに散在して付着した黒点異物の少なくとも一つをワークの前記欠陥と認識することを特徴とする請求項1〜6の何れかに記載のワーク検査方法。
  8. 前記ワークに散在して付着した黒点異物については、該黒点異物の大きさ、個数、及び密集状態に応じて前記欠陥であるか否かを認識することを特徴とする請求項7に記載のワーク検査方法。
  9. 前記第一判定工程と前記第二判定工程とから得られるワークの良否判定の結果が不良である場合に、機械学習により構築された欠陥分類学習モデルを用いて、該不良のワーク画像中の欠陥が、予め複数に区分された欠陥の種類のうちの何れの種類に属するかの分類をする欠陥分類工程を行うことを特徴とする請求項1〜8の何れかに記載のワーク検査方法。
  10. 前記良否判定学習モデルを構築する際に用いた複数個の学習用ワーク画像の中から、複数個の不良の学習用ワーク画像を選択し、それら不良の学習用ワーク画像から、欠陥とその周辺領域のみとからなる部分画像としての複数個の学習用欠陥画像を抽出し、それら学習用欠陥画像を用いて、前記欠陥分類学習モデルを構築することを特徴とする請求項9に記載のワーク検査方法。
  11. 前記欠陥分類学習モデルの構築に用いるために得られた前記学習用欠陥画像を所定角度だけ回転させる一の改変処理と、該学習用欠陥画像をその中央部を通る直線の両側で反転させる他の改変処理とのうち、少なくとも一方の改変処理を行うことで、新たな学習用欠陥画像を作成し、該新たな学習用欠陥画像と改変処理前の学習用欠陥画像とを用いて前記欠陥分類学習モデルを構築することを特徴とする請求項10に記載のワーク検査方法。
  12. 前記欠陥分類工程では、ワークの一部に発生した割れと、ワークの一部に付着した黒色異物とを、異なる種類の欠陥として分類することを特徴とする請求項9〜11の何れかに記載のワーク検査方法。
  13. 前記欠陥分類工程では、ワークの一部に付着した白色系または黒色系の立体状異物と、前記立体状異物と同色系の平面状異物とを、異なる種類の欠陥として分類することを特徴とする請求項9〜12の何れかに記載のワーク検査方法。
  14. 前記第一判定工程での良否判定の結果の正解率が低下した場合に、該正解率が低下し始める以前に行われた全ての前記欠陥分類工程において前記複数に区分された欠陥の種類の何れの種類にも属していなかった欠陥を有する不良のワーク画像を、学習用ワーク画像として用いて機械学習することで、前記良否判定学習モデルを更新することを特徴とする請求項9〜13の何れかに記載のワーク検査方法。
  15. 前記ワークは、タブレット状のセラミック焼結品であって、前記ワーク画像は、前記ワークを厚み方向に視て撮像したものであることを特徴とする請求項1〜14の何れかに記載のワーク検査方法。
  16. 前記機械学習のアルゴリズムは、ディープラーニングであることを特徴とする請求項1〜15の何れかに記載のワーク検査方法。
  17. 脆性を有するワークの欠陥の有無を検査して該ワークの良否判定をするワーク検査システムであって、
    前記ワークを撮像する撮像手段と、
    前記撮像手段によって撮像された画像からワーク画像を抽出するワーク画像抽出処理部と、
    機械学習により構築された良否判定学習モデルを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第一判定処理部と、
    機械学習を含まないアルゴリズムプログラムを用いて、前記抽出されたワーク画像について欠陥の有無を検査して前記ワークの良否判定をする第二判定処理部とを有することを特徴とするワーク検査システム。
JP2018168806A 2018-09-10 2018-09-10 ワーク検査方法 Active JP7054450B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018168806A JP7054450B2 (ja) 2018-09-10 2018-09-10 ワーク検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168806A JP7054450B2 (ja) 2018-09-10 2018-09-10 ワーク検査方法

Publications (2)

Publication Number Publication Date
JP2020041889A true JP2020041889A (ja) 2020-03-19
JP7054450B2 JP7054450B2 (ja) 2022-04-14

Family

ID=69798027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168806A Active JP7054450B2 (ja) 2018-09-10 2018-09-10 ワーク検査方法

Country Status (1)

Country Link
JP (1) JP7054450B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052044A (ja) * 2018-09-21 2020-04-02 古河電気工業株式会社 画像判定装置、画像検査装置、端子付き電線製造システム、および画像判定方法
JP2022118292A (ja) * 2021-02-02 2022-08-15 株式会社日立ソリューションズ・クリエイト 不良品判定システム、不良品判定システムによる不良品判定方法及びプログラム
WO2023022537A1 (ko) * 2021-08-20 2023-02-23 티엔에스에이아이 주식회사 Ai 기반 차량 디스크 불량 검출 시스템
KR102503877B1 (ko) * 2022-02-03 2023-02-28 티엔에스에이아이 주식회사 Ai 기반 차량 디스크 불량 검출 시스템
WO2023095756A1 (ja) * 2021-11-29 2023-06-01 日本電気硝子株式会社 ガラス板の製造方法
JP7382524B1 (ja) 2022-07-05 2023-11-16 株式会社ジーテクト プレス機および検査装置
JP7423368B2 (ja) 2020-03-23 2024-01-29 イビデン株式会社 不良検出装置及び不良検出方法
WO2024057644A1 (ja) * 2022-09-13 2024-03-21 株式会社日立産業制御ソリューションズ 検査装置、および、検査方法
JP7469740B2 (ja) 2020-05-27 2024-04-17 京セラドキュメントソリューションズ株式会社 ベルト検査システムおよびベルト検査プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255282A (ja) * 2000-03-13 2001-09-21 Seiko Instruments Inc 圧電セラミックスの欠陥検査方法及び欠陥検査装置
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2010175660A (ja) * 2009-01-28 2010-08-12 Hoya Corp マスクブランク用基板の製造方法、およびマスクブランクの製造方法
JP2017102755A (ja) * 2015-12-02 2017-06-08 池上通信機株式会社 機械学習支援装置
JP2017133953A (ja) * 2016-01-28 2017-08-03 住友電気工業株式会社 錠剤検査装置
US20180060702A1 (en) * 2016-08-23 2018-03-01 Dongfang Jingyuan Electron Limited Learning Based Defect Classification
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255282A (ja) * 2000-03-13 2001-09-21 Seiko Instruments Inc 圧電セラミックスの欠陥検査方法及び欠陥検査装置
JP2005156334A (ja) * 2003-11-25 2005-06-16 Nec Tohoku Sangyo System Kk 疑似不良画像自動作成装置及び画像検査装置
JP2010175660A (ja) * 2009-01-28 2010-08-12 Hoya Corp マスクブランク用基板の製造方法、およびマスクブランクの製造方法
JP2017102755A (ja) * 2015-12-02 2017-06-08 池上通信機株式会社 機械学習支援装置
JP2017133953A (ja) * 2016-01-28 2017-08-03 住友電気工業株式会社 錠剤検査装置
US20180060702A1 (en) * 2016-08-23 2018-03-01 Dongfang Jingyuan Electron Limited Learning Based Defect Classification
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052044A (ja) * 2018-09-21 2020-04-02 古河電気工業株式会社 画像判定装置、画像検査装置、端子付き電線製造システム、および画像判定方法
JP7423368B2 (ja) 2020-03-23 2024-01-29 イビデン株式会社 不良検出装置及び不良検出方法
JP7469740B2 (ja) 2020-05-27 2024-04-17 京セラドキュメントソリューションズ株式会社 ベルト検査システムおよびベルト検査プログラム
JP2022118292A (ja) * 2021-02-02 2022-08-15 株式会社日立ソリューションズ・クリエイト 不良品判定システム、不良品判定システムによる不良品判定方法及びプログラム
JP7252991B2 (ja) 2021-02-02 2023-04-05 株式会社日立ソリューションズ・クリエイト 不良品判定システム
WO2023022537A1 (ko) * 2021-08-20 2023-02-23 티엔에스에이아이 주식회사 Ai 기반 차량 디스크 불량 검출 시스템
WO2023095756A1 (ja) * 2021-11-29 2023-06-01 日本電気硝子株式会社 ガラス板の製造方法
KR102503877B1 (ko) * 2022-02-03 2023-02-28 티엔에스에이아이 주식회사 Ai 기반 차량 디스크 불량 검출 시스템
JP7382524B1 (ja) 2022-07-05 2023-11-16 株式会社ジーテクト プレス機および検査装置
WO2024009643A1 (ja) * 2022-07-05 2024-01-11 株式会社ジーテクト プレス機
JP2024007322A (ja) * 2022-07-05 2024-01-18 株式会社ジーテクト プレス機および検査装置
WO2024057644A1 (ja) * 2022-09-13 2024-03-21 株式会社日立産業制御ソリューションズ 検査装置、および、検査方法

Also Published As

Publication number Publication date
JP7054450B2 (ja) 2022-04-14

Similar Documents

Publication Publication Date Title
JP7054450B2 (ja) ワーク検査方法
JP4014379B2 (ja) 欠陥レビュー装置及び方法
US6556955B2 (en) Method of determining lethality of defects in circuit pattern inspection, method of selecting defects to be reviewed, and inspection system of circuit patterns involved with the methods
US20090290782A1 (en) Method and a system for establishing an inspection-recipe
WO2013153891A1 (ja) 荷電粒子線装置
JP5543872B2 (ja) パターン検査方法およびパターン検査装置
JP4799574B2 (ja) 線状パターンの検知方法および装置
JP4617970B2 (ja) 欠陥検査装置及び欠陥検査方法
TWI751372B (zh) 用於缺陷偵測之系統及方法
CN104183517B (zh) 智能型弱点图形诊断方法与系统
TWI641961B (zh) 設計佈局為主的快速線上缺陷診斷、分類及取樣方法及系統
CN1983023A (zh) 波纹缺陷检查方法和系统及光掩模的制造方法
JP2010258353A (ja) 観察欠陥選択処理方法、欠陥観察方法、観察欠陥選択処理装置、欠陥観察装置
JP2003085558A (ja) パターン検査方法及び検査装置
WO2015191906A1 (en) Automatic recipe stability monitoring and reporting
KR102043664B1 (ko) 기판 내 결함을 검출하고 리페어하는 오토 리페어 시스템 및 방법
JP5323457B2 (ja) 観察条件決定支援装置および観察条件決定支援方法
JP2014025763A (ja) 欠陥検査方法、及び欠陥検査装置
JP2018091771A (ja) 検査方法、事前画像選別装置及び検査システム
JP2002310937A (ja) 欠陥検査方法及び装置
JP2000028539A (ja) 欠陥検出方法
US20220139744A1 (en) Wafer defect analysis method and system, device and medium
JP2011002280A (ja) 欠陥検査方法
JP2006105946A (ja) 表面検査装置および表面検査方法
JP7195977B2 (ja) 基板検査装置、基板検査方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220316

R150 Certificate of patent or registration of utility model

Ref document number: 7054450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150