JP2014153906A - 検査装置、検査方法及びプログラム - Google Patents

検査装置、検査方法及びプログラム Download PDF

Info

Publication number
JP2014153906A
JP2014153906A JP2013022907A JP2013022907A JP2014153906A JP 2014153906 A JP2014153906 A JP 2014153906A JP 2013022907 A JP2013022907 A JP 2013022907A JP 2013022907 A JP2013022907 A JP 2013022907A JP 2014153906 A JP2014153906 A JP 2014153906A
Authority
JP
Japan
Prior art keywords
teacher data
type
inspection
unit
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013022907A
Other languages
English (en)
Other versions
JP6061713B2 (ja
Inventor
Toshiya Watanabe
寿也 渡辺
Minoru Furubayashi
実 古林
禎年 ▲辻▼
Sadatoshi Tsuji
Masatoshi Shibata
匡利 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013022907A priority Critical patent/JP6061713B2/ja
Publication of JP2014153906A publication Critical patent/JP2014153906A/ja
Application granted granted Critical
Publication of JP6061713B2 publication Critical patent/JP6061713B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】所定の検査事項に関する種類を適切に判別する検査装置、検査方法及びプログラムを提供する。
【解決手段】検査対象物の画像情報の特徴ベクトルを抽出する特徴ベクトル抽出部104と、特徴ベクトルが属する種類を判別することで複数の判別結果を得る種類判別部105と、複数の判別結果において一致しないものがある場合、前記画像情報に対応する画像を表示装置500に表示させる表示制御部109と、表示装置500に表示される前記画像に対応する特徴ベクトルと、入力装置500を介して入力される種類とを対応付けて、新たな教師データとして追加する教師データ追加部110と、追加された教師データを含めて、複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する学習処理部112と、を備える。
【選択図】図1

Description

本発明は、検査対象物の画像情報に基づいて、所定の検査事項に関して検査する検査装置、検査方法及びプログラムに関する。
従来、燃料電池等の検査対象物を撮像して画像情報を取得し、当該画像情報に基づいて欠陥の有無を検査する検査装置が知られている。
例えば、特許文献1には、画像入力手段によって取り込んだ画像情報から特徴量を抽出し、判別関数を用いることで群予測手段によって前記特徴量の群予測値を算出し、当該群予測値に基づいて検査項目の判定を行う画像判定装置について記載されている。
また、特許文献2には、外観検査対象事項の良否判定する際の判定基準データを再設定する判定基準データ再設定工程を含む外観検査方法について記載されている。
特開平7−318508号公報 特開平11−258180号公報
しかしながら、特許文献1に記載の技術では、特徴量の群予測で用いる判別関数を変化させ得る構成にはなっていない。そうすると、それまで想定されていなかった種類の欠陥が新たに出現した場合、誤判定してしまう可能性がある。
また、特許文献2に記載の技術では、検査項目を判定する際の判別基準が一つである。そうすると、ある種類の欠陥に対してそれまで適切な判別結果(例えば、不良と判定)を出力していたにも関わらず、検査対象物の型式等が変わることで同種の欠陥について誤判定(例えば、良と判定)してしまう可能性がある。このような場合、検査対象物の再判定を検査要員に促すことができず、検査の信頼性が低くなるという問題がある。
そこで、本発明は、所定の検査事項に関する種類を適切に判別する検査装置、検査方法及びプログラムを提供することを課題とする。
前記課題を解決するために、本発明に係る検査装置は、外部から入力される検査対象物の画像情報に基づいて、所定の検査事項に関して種類の判別を含む検査を行う検査装置であって、前記画像情報の特徴ベクトルを抽出する特徴ベクトル抽出手段と、互いに異なる複数の種類判別アルゴリズムが、教師あり学習に基づく独自の判別基準をそれぞれ用いて、前記特徴ベクトルが属する前記種類を判別して複数の判別結果を得る種類判別手段と、前記複数の判別結果において一致しないものがある場合、前記画像情報に対応する画像を表示手段に表示させる表示制御手段と、前記表示手段に表示される前記画像に対応する特徴ベクトルと、入力手段を介して入力される種類と、を対応付けて、新たな教師データとして追加する教師データ追加手段と、追加された前記教師データを含めて、前記複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する再学習手段と、を備え、前記種類判別手段は、再学習した前記判別基準を用いて、前記複数の種類判別アルゴリズムによる判別処理を続行することを特徴とする。
このような構成によれば、種類判別手段は、特徴ベクトル抽出手段によって抽出された特徴ベクトル(検査対象物の画像情報に対応する。)の種類を、複数の種類判別アルゴリズムを用いて判別する。そして、表示制御手段は、複数の種類判別アルゴリズムによる判別結果において一致しないものがある場合、前記画像情報に対応する画像を表示手段に表示させる。つまり、当該画像に関して検査事項(欠陥等)の種類を適切に判別できなかった種類判別アルゴリズムが少なくとも一つ存在する場合、表示手段に検査対象物の画像が表示される。
なお、前記した「検査事項」とは、検査装置が検査すべき事項(例えば、欠陥の有無)を意味している。
そして、教師データ追加手段は、表示手段に表示される画像に対応する特徴ベクトルと、入力手段を介して入力される種類と、を対応付けて、新たな教師データとして追加する。したがって、表示手段に表示される画像を視た者(検査要員等)の操作に応じて、適切な教師データを新たに設定できる。
さらに、再学習手段は、追加された教師データを含めて複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する。このように判別基準を再学習することで、検査対象物の型式等が変化した場合に柔軟に対応でき、検査処理を続行できる。
また、本発明に係る前記検査装置において、前記複数の種類判別アルゴリズムは、教師データを前記種類ごとに分類するための超平面を規定する判別関数に基づいて、前記特徴ベクトルが属する前記種類を判別するSVM(Support Vector Mchine)アルゴリズムと、前記種類が共通する教師データの重心座標を求め、それぞれの種類の重心座標と前記特徴ベクトルとのマハラノビス距離に基づいて、当該特徴ベクトルが属する前記種類を判別するマハラノビス距離アルゴリズムと、を含むことが好ましい。
このような構成によれば、種類判別手段が用いる複数の種類判別アルゴリズムとして、SVMアルゴリズムと、マハラノビス距離アルゴリズムと、を採用することができる。SVMアルゴリズムとマハラノビス距離アルゴリズムとは、検査事項(欠陥等)の種類を判別する際のアルゴリズムが大きく異なる。
このように、互いに異なる特性を有する種類判別アルゴリズムを用いることで、一方が誤判別した場合でも、他方の判別結果と比較することによって結果の妥当性をチェックできる。
また、本発明に係る前記検査装置において、前記教師データ追加手段によって教師データを追加したとき、教師データの個数が所定値を超える場合、前記超平面までの距離が長い教師データを優先的に削除する教師データ数調整手段を備えることが好ましい。
このような構成によれば、教師データ追加手段によって教師データを追加したとき、教師データの個数が所定値を超える場合、教師データ数調整手段が他の教師データを削除する。したがって、教師データの個数を前記した所定値以下に抑えることができ、検査装置の演算量・演算時間が増大することを防止できる。
また、SVMアルゴリズムで用いる判別関数を決定する際、前記した超平面付近の教師データが重要な役割を果たす。このような重要な教師データを残すことで、検査対象物の型式等が変化しても柔軟かつ適切に対応できる。
また、本発明に係る前記検査装置において、前記教師データ追加手段によって教師データを追加したとき、教師データの個数が所定値を超える場合、当該教師データとのマハラノビス距離が所定値以下である他の教師データを優先的に削除する教師データ数調整手段を備えることが好ましい。
このような構成によれば、教師データ数調整手段は、追加した教師データとのマハラノビス距離が所定値以下である他の教師データを優先的に削除する。したがって、互いのマハラノビス距離が非常に近い(つまり、非常に似ている)特徴ベクトルが、教師データとして複数存在する事態を回避できる。その結果、マハラノビス距離アルゴリズムに適切な重心座標を算出させることができる。
また、本発明に係る前記検査装置において、前記教師データ追加手段によって教師データを追加する際に交差検定を実行し、前記交差検定の結果、前記教師データの追加によって前記種類判別手段の判別精度が低下した場合、当該教師データの追加を禁止する交差検定手段を備えることが好ましい。
このような構成によれば、交差検定の結果、教師データの追加によって種類判別手段の判別精度が低下した場合、交差検定手段は当該教師データの追加を禁止する。すなわち、教師データを追加する際、事前に交差検定手段によって教師データの適性をチェックする。これによって、教師データを追加することで検査装置の判別精度が低下することを確実に防止できる。
また、本発明に係る検査方法は、外部から入力される検査対象物の画像情報に基づいて、所定の検査事項に関して種類の判別を含む検査を行う検査装置が実行する検査方法であって、前記検査装置は、前記画像情報の特徴ベクトルを抽出する特徴ベクトル抽出ステップと、互いに異なる複数の種類判別アルゴリズムが、教師あり学習に基づく独自の判別基準をそれぞれ用いて、前記特徴ベクトルが属する前記種類を判別して複数の判別結果を得る種類判別ステップと、前記複数の判別結果において一致しないものがある場合、前記画像情報に対応する画像を表示手段に表示させる表示制御ステップと、前記表示手段に表示される前記画像に対応する特徴ベクトルと、入力手段を介して入力される種類と、を対応付けて、新たな教師データとして追加する教師データ追加ステップと、追加された前記教師データを含めて、前記複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する再学習ステップと、再学習した前記判別基準を用いて、前記複数の種類判別アルゴリズムによる判別処理を続行する判別処理続行ステップと、を含む処理を実行することを特徴とする。
このような構成によれば、検査装置は、特徴ベクトル抽出ステップにおいて抽出された特徴ベクトルの種類を、複数の種類判別アルゴリズムを用いて判別する(種類判別ステップ)。そして、判別結果において一致しないものがある場合、検査装置は前記画像情報に対応する画像を表示手段に表示させる(表示制御ステップ)。このように、複数の種類判別アルゴリズムを用いることで、判別結果の妥当性をチェックできる。
また、検査装置は、入力手段を介した操作に応じて新たな教師データを追加し(教師データ追加ステップ)、追加された教師データを含めて複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する(再学習ステップ)。このように判別基準を再学習することで、検査対象物の型式等が変化した場合に柔軟に対応でき、検査処理を続行できる(判別処理続行ステップ)。
また、本発明に係るプログラムは、前記検査方法をコンピュータである前記検査装置に実行させることを特徴とする。
このような構成によれば、所定の検査事項に関する種類を適切に判別できる検査方法を、コンピュータである検査装置に実行させることができる。
本発明によれば、所定の検査事項に関する種類を適切に判別する検査装置、検査方法及びプログラムを提供できる。
本発明の第1実施形態に係る検査装置の構成図である。 (a)は検査対象物の画像の説明図であり、(b)は2値化処理部による2値化処理後の画像の説明図であり、(c)はフィルタ処理部によるフィルタ処理後の画像の説明図である。 検査装置が備える種類判別部の構成図である。 (a)は第1、第2SVM判別部が用いる判別基準の説明図であり、(b)はマハラノビス距離判別部が用いる判別基準の説明図である。 検査装置が実行する処理の流れを示すフローチャートである。 検査装置が実行する処理の流れを示すフローチャートである。 本発明の第2実施形態に係る検査装置が備える教師データ追加部の構成図である。 教師データ追加部が実行する処理の流れ(図6のステップS200)を示すフローチャートである。 本発明の第3実施形態に係る検査装置が備える教師データ追加部の構成図である。 教師データ追加部が実行する処理の流れ(図6のステップS200)を示すフローチャートである。
以下、本発明を実施するための形態について、適宜図面を参照しながら詳細に説明する。
以下では一例として、検査対象となる物(検査対象物)が燃料電池の電極等であり、検査すべき事項(検査事項)が電極等の表面における欠陥の有無である場合について説明する。
なお、前記した「欠陥」とは、検査対象物に存在する不良箇所であり、例えば、欠落(窪み)又は異物が存在する箇所である。
≪第1実施形態≫
<検査装置の構成>
図1は、本発明の第1実施形態に係る検査装置の構成図である。検査装置100は、検査対象物の欠陥の有無を、当該検査対象物の画像情報に基づいて検査する装置である。
検査装置100は、主として、領域情報生成部101と、特徴ベクトル抽出領域決定部102と、フィルタ処理部103と、特徴ベクトル抽出部104と、種類判別部105と、判別結果評価部108と、表示制御部109と、教師データ追加部110と、学習処理部112と、を備えている。
検査装置100は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、各種インタフェース等の電子回路(図示せず)を含んで構成され、ROMに記憶されたプログラムを読み出してRAMに展開し、CPUが各種処理を実行する。
検査装置100が実行する処理は、以下に示す(1)〜(3)に大別される。
(1)検査処理の開始前、教師データに基づいて行う初期学習。
(2)初期学習の後、検査処理を行いつつ教師データを追加して行う再学習。
(3)初期学習(又は、初期学習及び再学習)の結果に基づいた検査処理。
説明の便宜上、以下では、検査装置100が行う一連の検査処理(前記(3))に関わる構成について最初に説明する。続いて、検査装置100が行う初期学習(前記(1))及び再学習(前記(2))に関わる構成について説明する。
(検査処理に関わる構成)
領域情報生成部101は、撮像装置300から入力される検査対象物の画像情報に基づいて欠陥候補領域に含まれる画素を抽出し、欠陥候補ごとの識別情報であるラベリング値と対応付けて欠陥候補の領域情報を生成する。
なお、前記した「欠陥候補」とは、検査対象物のうち欠陥に該当する可能性がある箇所を意味している。
例えば、検査対象物が燃料電池の固体高分子膜M及び電極Eである場合、図2(a)に示す画像に対応する画像情報(以下、単に画像情報と記す。)が撮像装置300から入力される。
なお、図2(a)には、電極Eの紙面右上に欠落P1が存在し、電極Eの紙面左下に異物Q1が存在する場合の画像を示した。領域情報生成部101に入力される画像情報は、例えば、照明装置(図示せず)によって光を照射された検査対象物を、CCD(Charge Coupled Device)カメラ等の撮像装置300で撮像することで得られる。
領域情報生成部101は、輝度情報生成部101aと、2値化処理部101bと、を有している。
輝度情報生成部101aは、撮像装置300から入力される画像情報の全ての画素についてRGBデータからYUVデータに変換し、各画素のY値(輝度値)を輝度情報として2値化処理部101bに出力する。
2値化処理部101bは、輝度情報生成部101aから入力される輝度情報に基づいて2値化処理を行う。例えば、2値化処理部101bは、輝度値のヒストグラムから2群が最も分離される2値化閾値を算出し、輝度値が前記2値化閾値以上である画素に‘1’を対応させ、前記2値化閾値未満である画素に‘0’を対応させる。
さらに、2値化処理部101bは、画素値が‘1’である画素のうち隣接する(又はユークリッド距離が所定値以下である)画素同士を同じ領域として識別し、それぞれの領域に対してラベリングする。
例えば、輝度情報生成部101aは、欠落P1に対応する領域P2(図2(b)参照)、及び、異物Q1に対応する領域Q2(図2(b)参照)の画素値を‘1’とし、それ以外の領域の画素値を全て‘0’とする。
さらに、2値化処理部101bは、図2(b)に示す領域P2,Q2に対して欠陥候補ごとの識別情報であるラベリング値と、各欠陥候補に含まれる画素(それぞれの欠陥候補内の一群の画素)の座標値と、を対応付けた欠陥候補の領域情報を生成する。
2値化処理部101bは、生成した欠陥候補の領域情報を特徴ベクトル抽出領域決定部102に出力する。
特徴ベクトル抽出領域決定部102は、領域情報生成部101よって生成された欠陥候補の領域情報に基づいて、欠陥候補ごとの特徴ベクトルを抽出する領域(以下、「特徴ベクトル抽出領域」と記す。)を決定する。
すなわち、特徴ベクトル抽出領域決定部102は、領域情報生成部101から入力されるそれぞれの欠陥候補について、欠陥候補の領域を囲む矩形領域を特定し(図2(b)の符号TP2,TQ2を参照)、その座標値を前記したラベリング値と対応付けて特徴ベクトル抽出部104に出力する。
フィルタ処理部103は、撮像装置300から入力される検査対象物の画像情報(つまり、入力される画像情報の全ての画素)に対してバイラテラルフィルタ(Bilateral Filter)をかけ、特徴ベクトル抽出部104に出力する。ちなみに、フィルタ処理部103に入力される画像情報に対して2値化処理は行われていない。
前記したバイラテラルフィルタはエッジ保持型平滑化フィルタであり、画像全体として平滑化処理を行うことによって画像全体での濃淡変化や細かいノイズをキャンセルしつつ、エッジ(輪郭)を強調するものである。これによって、後記する特徴ベクトル抽出部104で適切かつ正確に欠陥候補の特徴ベクトルを抽出できる。
なお、フィルタ処理部103による画像処理と、領域情報生成部101による画像処理と、は並列的に実行される。これによって、検査装置100の処理を高速化できる。
特徴ベクトル抽出部104(特徴ベクトル抽出手段)は、特徴ベクトル抽出領域決定部102によって決定された特徴ベクトル抽出領域に対して高次局所自己相関処理(Higher-Order Local Auto-Correlation:HLAC)を行い、欠陥候補ごとの特徴ベクトルを抽出する。なお、前記した領域の画素値として、フィルタ処理部103から入力される情報が用いられる。
このように、欠陥が存在する可能性がある矩形領域(図2(b)の符号TP2,TQ2を参照)についてのみ限定的に特徴ベクトルを抽出することで、検査処理を行う際の演算量を大幅に低減し、処理時間を短縮できる。
特徴ベクトル抽出部104は、欠陥候補を含む矩形領域に対応する特徴ベクトルを抽出し、前記したラベリング値と対応付けて種類判別部105に出力する。
種類判別部105(種類判別手段)は、教師あり学習を行うことで予め算出した判別基準を用いて、複数の種類判別アルゴリズムにより特徴ベクトルが属する種類(つまり、欠陥候補の種類)を判別する。当該判別を行う際の判別基準は、後記する学習処理(初期学習及び再学習)で取得される。
図3は、検査装置が備える種類判別部の構成図である。
図3に示すように、種類判別部105は、第1SVM判別部105aと、第2SVM判別部105bと、マハラノビス距離判別部105cと、比較部105dと、指令信号生成部105eと、を有している。
第1SVM判別部105aは、サポートベクターマシン(SVM:Support Vector Mchine)を用いることによって、検査対象に対応する特徴ベクトルの種類を判別する(SVMアルゴリズム)。
図4(a)は、第1、第2SVM判別部が用いる判別基準の説明図である。なお、図4(a)の縦軸x及び横軸xは、例えば、カーネル関数を用いて高次元空間に写像される特徴ベクトルの成分を表している(図4(b)も同様。)
図4(a)に示す教師データH1,Ha1は、検査装置100の設定を行う者(以下、設定者と記す。)によって所定種類の欠陥と対応付けられた特徴ベクトルであり、教師データ記憶部111(図1参照)に格納されている。教師データH2,Ha2は、前記した教師データH1,Ha1とは異なる種類に対応する特徴ベクトルである。
第1SVM判別部105aは、線形分離関数に基づいて特徴ベクトルが属する種類を判別する。ここで、線形分離関数とは、教師データを種類ごとに分類するための超平面Wを規定する関数(判別関数、判別基準)である。また、図4(a)に示す教師データHa1,Ha2はサポートベクターとも称され、超平面Wとの距離ΔM(マージンともいう。)を最大化する際に用いられる特徴ベクトルである。
前記した線形分離関数は、初期学習又は再学習を行う際に学習処理部112(図1参照)によって求められ、学習結果記憶部113に格納されている。
ちなみに、サポートベクターマシンの判別能力を規定するパラメータとして、例えば、パラメータ:γと、パラメータ:Costと、を用いることができる。
パラメータ:γは、いわゆる正則化パラメータであり、その値を調整することで多数種類に分類する際の適応性や、必要な教師データ数等を変化させることができる。ちなみに、パラメータ:γの値が小さいほど、ノイズの許容度が高くなる(つまり、ソフトマージン法に近づく)。
一方、パラメータ:Costは、線形分離関数によって規定される空間から外れた教師データに課すペナルティの程度を規定するパラメータである。
パラメータ:γ,Costの値は、検査装置100の初期設定を行う際、入力装置200を介した操作に応じて適宜設定される。
第2SVM判別部105bも、第1SVM判別部105aと同様にサポートベクターマシンを用いた判別処理を実行する(SVMアルゴリズム)。なお、第2SVM判別部105bに関しては、パラメータ:γの値を第1SVM判別部105aのパラメータ:γの値よりも大きく設定した。つまり、第2SVM判別部105bのほうが、第1SVM判別部105aよりもノイズの許容度が低い(ハードマージン法に近い)。
第2SVM判別部105bで用いるパラメータ:Costに関しては、第1SVM判別部105aで設定したもの同一の値を用いた。
マハラノビス距離判別部105cは、欠陥候補の種類が共通する教師データの重心座標を求め、それぞれの種類の重心座標と特徴ベクトルとのマハラノビス距離に基づいて、検査対象となる特徴ベクトルが属する種類を判別する(マハラノビス距離アルゴリズム)。
図4(b)は、マハラノビス距離判別部が用いる判別基準の説明図である。図4(b)に示す教師データH1,H2は、それぞれ異なる種類に対応付けられた特徴ベクトルであり、教師データ記憶部111に格納されている。重心G1は複数の教師データH1の重心座標であり、重心G2は複数の教師データH2の重心座標である。重心G1,G2(判別基準)は、学習処理部112によって初期学習又は再学習時に算出され、学習結果記憶部113に格納されている。
マハラノビス距離判別部105cは、検査対象となる特徴ベクトル(つまり、画像情報)の種類を判別する際、当該特徴ベクトルとのマハラノビス距離を最も小さくする重心を特定する。そして、マハラノビス距離判別部105cは、前記した特徴ベクトルが、当該重心に対応する欠陥候補の種類に属していると判定する。ちなみに、マハラノビス距離とは、ユークリッド距離を分散で標準化した距離である。
このように判別処理においてマハラノビス距離を用いることで、各次元の尺度によらずデータ間の相関関係を反映できると共に、欠陥候補が属する種類を精度よく判別できる。
種類判別部105は、欠陥候補の種類を判別する際、第1SVM判別部105aと、第2SVM判別部105bと、マハラノビス距離判別部105cと、による判別処理を並行して実行する。これによって、種類判別処理に要する時間を短縮化できる。種類判別部105が有する各判別部105a〜105cは、判別した欠陥候補の種類を、当該欠陥候補のラベリング値と対応付けて判別結果記憶部106に格納する。
比較部105dは、各判別部105a〜105cから入力される種類判別結果の中に一致しないものがあるか否かを判定し、その結果を指令信号生成部105eに出力する。
指令信号生成部105eは、比較部105dから入力される情報に応じて、判別結果評価部108又は表示制御部109に対して指令信号を出力する。すなわち、指令信号生成部105eは、以下に示す動作を行う。
(A)各判別部105a〜105cによる種類判別結果が全て同一である場合、指令信号生成部105eは、判別結果評価部108に対して評価指令信号を出力する。
この場合、種類判別部105による判別結果の信頼性が非常に高い。したがって、その後、判別結果評価部108での総合評価に基づく検査処理が自動的に進められる。
(B)各判別部105a〜105cによる種類判別結果の中に一致しないものがある場合、指令信号生成部105eは、表示制御部109に対して表示指令信号を出力する。
この場合、種類判別部105による判別結果の信頼性は(A)に比べて低い。したがって、表示装置500(モニタ等)に検査領域の画像を拡大表示して検査要員に視認させ、欠陥種類の再検討を促す。この後の処理については後記する。
再び、図1に戻って説明を続ける。
判別結果記憶部106には、検査領域に対応する画像情報に関して、各判別部105a〜105cによる種類判別結果が当該画像情報のラベリング値に対応付けて格納される。また、判別結果記憶部106には、各判別部105a〜105cによる種類判別結果が一致していたか否かを示す情報も併せて格納される。
評価基準記憶部107には、欠陥候補が、欠陥に該当するか否かの評価基準(つまり、どの種類が欠陥に該当し、どの種類が欠陥に該当しないかを特定する情報)が予め格納されている。
なお、前記した評価基準情報として欠陥候補の種類の他、欠陥候補の位置及び面積も含めて総合的に判定することが好ましい。この場合、欠陥に該当するか否かの閾値となる位置及び面積が、欠陥候補の種類と対応付けて評価基準記憶部107に予め格納される。
判別結果評価部108は、種類判別部105によって判別される欠陥候補の種類に応じて(又は、欠陥候補の種類・位置・面積に応じて)、検査対象物に含まれる欠陥候補が欠陥に該当するか否かを総合評価し、その結果を搬送装置400に出力する。
すなわち、検査対象物に欠陥が少なくとも一つ存在する場合、判別結果評価部108は搬送装置400に制御指令を出力し、検査対象物を別ラインに搬送させる。欠陥を有する当該検査対象物は、再利用又は廃棄される。
一方、検査対象物に欠陥が存在しない場合、判別結果評価部108は搬送装置400に制御指令を出力し、検査対象物を組立等の次段階の処理に移す。
表示制御部109(表示制御手段)は、それぞれの各判別部105a〜105c(図3参照)による種類判別結果の中に一致しないものがある場合、検査領域の画像を表示装置500に表示させる。
すなわち、表示制御部109は、指令信号生成部105e(図3参照)から表示指令が入力された場合、検査領域(例えば、矩形領域TP2:図2(b)参照)の拡大画像を表示装置500に表示させる。なお、当該画像として、フィルタ処理部103による処理後の拡大画像を表示することが好ましい。これによって、表示装置500の画面を視た検査要員は、欠陥候補の特徴を正確に把握できる。
(初期学習及び再学習に関わる構成)
初期学習又は再学習は、入力装置200を介して所定の学習開始指令(初期学習又は再学習の開始指令)が入力された場合に実行される。
教師データ追加部110(教師データ追加手段)は、入力装置200を介した操作に応じて教師データを取得して教師データ記憶部111に格納するとともに、教師データを追加した旨を学習処理部112に通知する。
なお、教師データとは、所定の教師画像情報に基づいて抽出された特徴ベクトルと、欠陥候補の種類と、が対応付けられたデータである。
初期学習を行う際には、設定者が予め用意した欠陥候補が教師データとして用いられる。
一方、再学習を行う際には、表示装置500に表示された画像を視た検査要員によって教師データの追加要否が判断され、必要に応じて追加される。
教師データ記憶部111には、欠陥候補に対応する特徴ベクトルと、当該欠陥候補の種類と、が対応付けられた教師データが格納されている。なお、特徴ベクトルの抽出処理等については、検査処理で行う場合と同様であるから説明を省略する。
学習処理部112(再学習手段)は、初期学習又は再学習を行う際、種類判別部105の各判別部105a〜105c(図3参照)に対応する判別基準を学習する機能を有している。
なお、前記した第1SVM判別部105a及び第2SVM判別部105bの判別基準は、特徴ベクトルを各種類のクラスに分類する超平面を規定するための線形分離関数(判別関数)に相当する。
マハラノビス距離判別部105cの判別基準は、種類ごとの特徴ベクトルの重心座標に相当する。
学習結果記憶部113には、各判別部105a〜105cに適用すべき判別基準と、欠陥候補の種類を特定する識別記号と、が対応付けて格納されている。また、再学習によって新たな教師データが追加されると、当該教師データを含めて再学習された判別基準が学習結果記憶部113に格納される。
<検査処理の手順>
図5、図6は、検査装置が実行する処理の流れを示すフローチャートである。なお、ステップS101,S102が、前記した初期学習に相当する。また、ステップS103〜S119が、前記した検査処理及び再学習に相当する。つまり、検査装置100は、検査対象物を順次検査しつつ、必要に応じて再学習を実行する。
ステップS101において検査装置100(教師データ追加部110)は、設定者によって予め用意された教師データを教師データ記憶部111に格納する。
ステップS102において検査装置100(学習処理部112)は、入力装置200からの指令に応じて初期学習を実行する。前記したように、当該初期学習では、各判別部105a〜105cそれぞれに対応する判別基準(線形分離関数及び重心座標)が算出される。
ステップS103において検査装置100は、入力装置200を介して検査開始指令が入力されたか否かを判定する。検査開始指令が入力された場合(S103→Yes)、検査装置100の処理はステップS104に進む。一方、検査開始指令が入力されていない場合(S103→No)、検査装置100はステップS103の処理を繰り返す。
ステップS104において検査装置100は、n=1とする。なお、値nは一つの検査対象物うち検査している欠陥候補が何個目であるかを示す値である。すなわち、検査装置100は、一つ又は複数存在する欠陥候補のうち、1つ目の欠陥候補について検査処理を開始する。
ステップS105において検査装置100(特徴ベクトル抽出部104)は、欠陥候補の画像情報に対応する特徴ベクトルを抽出する(特徴ベクトル抽出ステップ)。
ステップS106において検査装置100(種類判別部105)は、欠陥候補の種類判別処理を実行する(種類判別ステップ)。すなわち、検査装置100は、ステップS102の初期学習において算出した判別基準を用いて、各判別部105a〜105c(図3参照)により並列的に種類判別処理を行う。
図6のステップS107において検査装置100(比較部105d)は、各判別部105a〜105cによる種類判別の結果が全て一致しているか否かを判定する。種類判別の結果が全て一致している場合(S107→Yes)、検査装置100の処理はステップS108に進む。この場合、種類判別部105による判別結果の信頼性が非常に高いため、検査要員による精査は不要である。
ステップS108において検査装置100(判別結果評価部108)は、ステップS106の種類判別結果を評価する。すなわち、検査装置100は、評価基準記憶部107(図1参照)に格納されている評価基準(例えば、欠陥候補の種類・面積・位置)と、特徴ベクトルの種類等とを比較する。
なお、評価基準として面積及び位置を用いる場合、検査対象である欠陥候補の位置(例えば、重心座標)及び面積も予め算出しておく。
ステップS109において検査装置100(判別結果評価部108)は、検査対象である欠陥候補が欠陥に該当するか否かを判定する。欠陥に該当する、つまり、検査対象物の表面に欠陥が存在する場合(S109→Yes)、検査装置100の処理はステップS110に進む。
ステップS110において検査装置100は、搬送装置400(図1参照)に制御指令を出力し、検査対象物を別ラインに搬送させる。当該検査対象物は再利用又は廃棄される。
一方、検査対象としている欠陥候補が欠陥に該当しない場合(S109→No)、検査装置100の処理はステップS111に進む。
ステップS111において検査装置100は、撮像装置300から入力された画像中で発見した全ての欠陥候補について、検査したか否かを判定する。全ての欠陥候補について検査した場合(S111→Yes)、検査装置100は当該検査対象物の検査処理を終了し(END)、次の検査対象物の検査に移る。一方、未検査である欠陥候補が少なくとも一つ存在する場合(S111→No)、検査装置100の処理はステップS112に進む(図5参照)。
ステップS112において検査装置100は、前記したnの値をインクリメントし、次の欠陥候補について検査するためにステップS105の処理に戻る。
また、図6のステップS107において各判別部105a〜105cによる種類判別結果のうち一致していないものがある場合(S107→No)、検査装置100の処理はステップS113に進む。
ステップS113において検査装置100(表示制御部109)は、検査対象物の画像等を表示装置500に表示させる(表示制御ステップ)。当該画像は、例えば、特徴ベクトル抽出領域決定部102で決定された領域に対してフィルタ処理部103でバイラテラルフィルタをかけた拡大画像である(図2(c)参照)。
なお、図示は省略するが、検査装置100は、各判別部105a〜105cそれぞれによる種類判別結果を表示装置500に表示させる。また、検査装置100は、検査要員が欠陥候補の種類を特定するボタン(図示せず)と、検査要員が欠陥に該当するか否かを判定するボタン(図示せず)と、検査要員が教師データとして追加するか否かを選択するボタン(図示せず)と、を表示装置500に表示させる。検査要員は、欠陥候補の輪郭が強調表示された拡大画像を目視し、自ら判断して欠陥候補の種類を入力する。
また、検査要員は、各判別部105a〜105cがどのような種類として欠陥候補を判別したかを参考にしつつ、必要に応じて検査装置100に再学習させる。
ステップS114において検査装置100は、検査要員によって種類判別結果や教師データの追加指令等が入力されたか否かを判定する。種類判別結果等が入力された場合(S114→Yes)、検査装置100の処理はステップS115に進む。一方、種類判別結果等が入力されていない場合(S114→No)、検査装置100はステップS114の処理を繰り返す。
ステップS115において検査装置100は、検査要員によって欠陥候補が欠陥に該当するという情報が入力されたか否かを判定する。欠陥に該当する場合(S115→Yes)、検査装置100の処理はステップS116に進む。一方、欠陥に該当しない場合(S115→No)、検査装置100の処理はステップS117に進む。
ステップS116において検査装置100は、搬送装置400(図1参照)に搬送指令を出力し、検査対象物を別ラインに搬送させる。
ステップS117において検査装置100(教師データ追加部110)は、入力装置200を介して教師データの追加指令が入力されたか否かを判定する。教師データの追加指令が入力された場合(S117→Yes)、検査装置100の処理はステップS118に進む。一方、教師データの追加指令が入力されていない場合(S117→No)、検査装置100の処理はステップS111に進む。
ステップS118において検査装置100(教師データ追加部110)は、表示装置500に表示した欠陥候補に対応する特徴ベクトルを、その種類と対応付けて、新たな教師データとして追加する(教師データ追加ステップ)。
ステップS119において検査装置100(学習処理部112)は、初期学習(S102)において取得した教師データと、ステップS118で追加された教師データと、を含めて再学習を実行する(再学習ステップ)。すなわち、検査装置100は、ステップS118で追加された教師データを含めて、各判別部105a〜105cそれぞれに対応する判別基準を再学習する。再学習の具体的な処理は、ステップS102の初期学習と同様であるから説明を省略する。
再学習が終了した後、検査装置100の処理はステップS111に進む。このように、検査装置100は、再学習によって新たに算出した判別基準を用いて、複数の種類判別アルゴリズムを用いた判別処理を続行する(判別処理続行ステップ)。
<効果>
本実施形態によれば、欠陥候補の種類判別結果が一致しない場合(S107→No)、検査装置100は検査要員による入力に応じて新たな教師データを追加し(S118)、再学習を行って判別基準を設定し直す(S119)。これによって、例えば、検査対象物の型式が変わったり、検査対象物を撮像する際の条件が微妙に変化した場合でも(いわゆるドリフト現象)、これに追従するように適切な判別基準を設定することができる。
また、サポートベクターマシンは、高精度な判別処理を実行できるという長所を有するものの、必要となる教師データ数や判別能力を調整するパラメータ(γ,Cost等)を最適な値に設定することは難しい。
一方、マハラノビス距離を用いる場合、特徴ベクトルと重心座標(図4(b)の重心G1,G2)との距離を比較して判別処理を実行するため、前記したパラメータ設定の困難性はない。その一方、欠陥の種類ごとの教師データ数が異なる場合、ベクトル空間において多数の教師データを有する側に重心座標が寄ってしまう傾向がある。
このように、各判別アルゴリズムの特性が大きく異なるため、初期学習では得られなかった種類の欠陥候補が検査対象物に存在している場合、それぞれの種類判別結果が完全には一致しない可能性が高い。この場合、検査装置100は検査要員に対し確認を促すことで、新たな種類の欠陥候補を誤って既知の種類として判別することを防止できる。また、検査装置100は、目視によって精査すべき欠陥候補のみを表示装置500に表示させ、それ以外は自動で処理するため、検査要員の負担を大幅に軽減できる。
また、初期学習の段階において最適な判別基準を求めることは困難であるが、検査装置100は複数の判別部105a〜105cを用いることで誤判定をチェックし、必要に応じて再学習する。これによって、初期学習によって取得した判別基準を、徐々に最適な判別基準に近付けることができる。
その結果、初期学習時における教師データの個数が比較的少ない場合でも誤判定を防止し、検査装置100の設定者が膨大な教師データを収集する必要がなくなる。
また、特性が異なる判別部105a〜105cの種類判別結果が全て一致している場合(S107→Yes)、その信頼性は非常に高いといえる。したがって、本実施形態によれば、欠陥候補の種類の判別を高精度に行うことができ、検査の信頼性を向上できる。
また、検査装置100は、特徴ベクトル抽出領域決定部102から入力される特徴ベクトル抽出領域(矩形領域)についてのみ高次局所自己相関処理を行う。したがって、特徴ベクトル抽出処理に要する演算量を大幅に低減し、欠陥検査に要する時間を短縮できる。
≪第2実施形態≫
第2実施形態は、教師データ追加部110A(図7参照)が教師データの個数を調整する機能を有する点が第1実施形態と異なるが、その他の点は第1実施形態の場合と同様である。したがって、当該異なる部分(教師データ追加部110Aの構成)について説明し、第1実施形態と重複する部分については説明を省略する。
<教師データ追加部の構成>
図7は、本発明の第2実施形態に係る検査装置が備える教師データ追加部の構成図である。
教師データ追加部110Aは、教師データ数比較部110aと、第1距離算出部110bと、第1距離比較部110cと、記憶部110dと、第2距離算出部110eと、第2距離比較部110fと、教師データ数調整部110gと、を有している。
教師データ数比較部110aは、入力装置200を介した操作に応じて教師データを追加した場合の教師データ数mと、予め設定された閾値M1(例えば、600個)とを比較し、その結果を第1距離算出部110bに出力する。
第1距離算出部110bは、教師データ数mが閾値M1を超えている場合において、追加した教師データと、既に存在する複数の教師データと、の距離kをそれぞれ算出し、記憶部110dに格納する。
第1距離比較部110cは、第1距離算出部110bによって算出された各距離kのうち閾値K1以下である教師データ(既存の教師データ)のラべリング値を記憶部110dから読み出し、教師データ数調整部110gに出力する。閾値K1の値は、新たな教師データが既存の教師データと非常に類似しているか否かの判定基準となる値である。
記憶部110dには、第1距離算出部110b及び第2距離算出部110eによる算出結果、教師データ数比較部110a、第1距離比較部110c、及び第2距離比較部110fによる比較結果が格納される。
第2距離算出部110eは、既存の各教師データについて、その座標位置と線形分離関数で規定される超平面との距離をそれぞれ算出し、ラべリング値と対応付けて記憶部110dに格納する。
第2距離比較部110fは、第2距離算出部110eによって算出したそれぞれの距離の長短を比較し、当該距離が最大である教師データ(つまり、境界面から最も遠い位置に存在する教師データ)のラべリング値を教師データ数調整部110gに出力する。
ちなみに、前記した超平面は複数存在する。したがって、例えば、複数の教師データそれぞれについて各超平面との距離を算出し、その最大値に対応する教師データDmを検索してもよいし、各超平面との距離の平均値を比較することで教師データDmを検索してもよい。
教師データ数調整部110g(教師データ数調整手段)は、教師データ数比較部110a、第1距離比較部110c、及び第2距離比較部110fから入力される情報に基づいて、新たな教師データを教師データ記憶部111に追加すると共に、必要に応じて不要な教師データを教師データ記憶部111から削除する。なお、教師データ数調整部110gが行う処理(図8参照)の詳細については、後記する。
<検査処理の手順>
本実施形態に係る検査装置100が実行する処理は、第1実施形態で説明したフローチャート(図5、図6)のステップS118をステップS200に置き換えたものであり、その他は第1実施形態の場合と同様である。したがって、ステップS200(教師データ数の調整処理)についてのみ説明する。
図6のステップS200において検査装置100は、新たな教師データを追加するとともに、不要な教師データを削除することで教師データ数mを調整する。
図8は、教師データ追加部100Aが実行する処理の流れ(図6のステップS200)を示すフローチャートである。ステップS201において教師データ追加部110Aは、新たな教師データを追加し、教師データ記憶部111に格納する。
なお、当該処理は、入力装置200を介して検査要員による教師データの追加指令がなされた場合に実行される(S117→Yes:図6参照)。
ステップS202において教師データ追加部110A(教師データ数比較部110a)は、新たな教師データを追加した場合の教師データ数mが、閾値M1よりも大きいか否かを判定する。教師データ数mが閾値M1以下である場合(S202→No)、教師データ追加部110Aは処理を終了する(END)。この場合、教師データ追加部110Aは、既存の教師データを削除することなく新たな教師データを追加する。
一方、教師データ数mが閾値M1よりも大きい場合(S202→Yes)、教師データ追加部110Aの処理はステップS203に進む。
ステップS203において教師データ追加部110A(第1距離算出部110b、第1距離比較部110c)は、既存の各教師データについて、新たに追加する教師データとの距離kを算出し、閾値K1以下であるものが存在するか否かを判定する。距離kが閾値K1以下の教師データが存在する場合(S203→Yes)、教師データ追加部110Aの処理はステップS204に進む。
ステップS204において教師データ追加部110A(教師データ数調整部110g)は、距離kが閾値K1以下である教師データ(つまり、新たに追加する教師データと非常に似ている既存の教師データ)のうち、最も古い教師データを教師データ記憶部111から削除する。これによって、特徴ベクトルの座標が略重複している教師データを削除し、教師データの個数を閾値M1以下に維持できる。
ステップS203において距離kが閾値K1以下である教師データが存在しない場合(S203→No)、教師データ追加部110Aの処理はステップS205に進む。ステップS205において教師データ追加部110A(第2距離算出部110e、第2距離比較部110f)は、既存の各教師データについて線形分離関数で規定される超平面との距離が最大である教師データDmを検索する。
ステップS206において教師データ追加部110A(教師データ数調整部110g)は、ステップS205で検索した教師データDmを削除する。これによって、サポートベクターマシンの種類判別精度に寄与していない(つまり、境界である超平面から遠い)教師データを優先的に削除できる。
<効果>
本実施形態に係る検査装置100は、教師データを追加した場合の教師データの個数mが閾値M1よりも大きい場合(S202→Yes)、当該教師データとの距離kが閾値K1以下である他の教師データを優先的に削除する(S203→Yes,S204)。
仮に教師データが増えすぎると、再学習や種類判別の処理に要する演算量が膨大になり、処理時間が長くなるという事態が起こる。本実施形態によれば、教師データの個数mを閾値M1以下に抑制することによって、前記した事態を回避できる。
また、検査装置100は、既存の教師データを削除する際、特徴ベクトルの座標が略重複する教師データを除外することで、教師データの特徴ベクトルの分布が一部に偏在することを防止できる。その結果、マハラノビス距離判別部105c(図3参照)で用いる重心座標を適切な値に近づけることができる。
さらに、検査装置100は、古い教師データを優先的に削除することで(S204)、検査対象物の型式等が変化した場合にも柔軟に対応できる。また、仮に、初期学習時に与えられた教師データにノイズが含まれていた場合でも、前記した手順を実行することでノイズの個数を低減できる。
また、検査装置100は、教師データを追加した場合の教師データの個数mが閾値M1よりも大きい場合(S202→Yes)、線形分離関数で規定される超平面までの距離が長い教師データを優先的に削除する(S205,S206)。これによって、サポートベクターマシンの種類判別精度に寄与している既存の教師データを、誤って削除してしまうことを防止できる。
≪第3実施形態≫
第3実施形態は、第2実施形態で説明した教師データ追加部110Aの構成から第1距離算出部110b及び第1距離比較部110cを省略し、交差検定部110h(図9参照)を追加した点が異なるが、その他の点は第2実施形態と同様である。したがって、当該異なる部分について説明し、第2実施形態と重複する部分については説明を省略する。
<教師データ追加部の構成>
図9は、本発明の第3実施形態に係る検査装置が備える教師データ追加部の構成図である。教師データ追加部110Bは、交差検定部110h等を有している。
交差検定部110hは、第2距離比較部110fから入力される情報(線形分離関数で規定される超平面との距離が最大となる教師データを特定する情報)に基づいて交差検定を実行する。
交差検定の結果、教師データの追加によって正答率(つまり、種類判別精度)が低下することが判明した場合、交差検定部110hは、当該教師データの追加を禁止する指令信号を教師データ数調整部110gに出力する。
交差検定として、例えば、K−分割交差検定(K-fold cross validation:KFCV)を用いることができる。この場合、交差検定部110hは、第2距離比較部110fから入力される既存の教師データ(超平面からの距離が最も大きい教師データ)をいったん除外し、新たな教師データを追加した教師データ全体の集合をK個に分割する。
次に、交差検定部110hは、当該K個のグループから1つのグループを除外した(K−1)個のグループの教師データを用いて、それぞれの判別部105a〜105c(図3参照)の正答率を算出する。さらに、交差検定部110hは、前記した除外するグループを順次変更して正答率の算出をK回繰り返し、例えば、正答率の平均値を算出する。
<検査処理の手順>
本実施形態に係る検査装置100が実行する処理は、教師データを追加する際の処理(S200の内容:図6参照)を除いて、第1実施形態に係る検査装置100の処理(図5、図6参照)と同様である。したがって、図6に示すステップS200の内容についてのみ説明し、それ以外の処理については説明を省略する。
図10は、教師データ追加部110Bが実行する処理の流れ(図6のステップS200)を示すフローチャートである。
ステップS201において教師データ追加部110Bは、新たな教師データを追加し、教師データ記憶部111に格納する。
ステップS202において教師データ追加部110B(教師データ数比較部110a)は、新たな教師データを追加した場合の教師データ数mが、閾値M1よりも大きいか否かを判定する。教師データ数mが閾値M1以下である場合(S202→No)、教師データ追加部110Bは処理を終了する(END)。この場合、教師データ追加部110Bは、既存の教師データを削除することなく新たな教師データを追加する。
一方、教師データ数mが閾値M1よりも大きい場合(S202→Yes)、教師データ追加部110Bの処理はステップS211に進む。ステップS211において教師データ追加部110B(第2距離算出部110e、第2距離比較部110f)は、線形分離関数で規定される超平面との距離が最大となる教師データDmを検索する。
次に、ステップS212において教師データ追加部110B(交差検定部110h)は、ステップS211で検索した教師データDmを交差検定の対象からいったん除外する。
ステップS213において教師データ追加部110B(交差検定部110h)は、新たな教師データを追加した上で交差検定を実行する。つまり、教師データ追加部110Bは、ステップS211で検索した既存の教師データDmを削除して新たな教師データを追加した、と仮定した場合の欠陥種類の正答率(種類判別精度)を算出する。
ステップS214において教師データ追加部110B(教師データ数調整部110g)は、ステップS213の交差検定で算出した正答率が閾値S%以上低下したか否かを判定する。正答率の低下が閾値S%以上である場合(S214→Yes)、教師データ追加部110Bの処理はステップS215に進む。
ステップS215において教師データ追加部110B(教師データ数調整部110g)は、新たな教師データの追加を取消し、ステップS212で交差検定の対象から除外した教師データDmを残す。これによって、教師データの個数をM個以下に抑えつつ、不適当な教師データの追加による種類判別精度の低下を抑制できる。
ステップS214において正答率の低下が閾値S%未満である場合(S214→No)、教師データ追加部110Bの処理はステップS216に進む。
ステップS216において教師データ追加部110B(教師データ数調整部110g)は、新たな教師データを追加した状態を維持し、ステップS212で交差検定の対象から除外した教師データDmを教師データ記憶部111(図1参照)から削除する。これによって、教師データの個数をM個以下に抑えつつ、検査対象の型式等の変化に対し柔軟に対応できる。
<効果>
本実施形態に係る検査装置100によれば、入力装置200を介して新たな教師データを追加する際、事前に交差検定を行う。
教師データを追加して再学習することで、検査対象物の型式等の変化に柔軟に対応することが好ましいが、適切な教師データを検査要員が目視で選別することは容易でない。例えば、教師データを追加することで、予想に反して種類判別部105の種類判別精度が落ちる可能性もある。
これに対して、本実施形態に係る検査装置100は、教師データを追加する際、交差検定部110hによって事前に交差検定を行うことで正答率を算出し(S213)、正答率の低下が所定閾値S%以上である場合(S214→Yes)、新たな教師データを追加しない(S215)。これによって、新たな教師データの追加に起因して種類判別精度が低下することを防止できる。
つまり、人間の目視に基づく判断結果の妥当性を交差検定によって再検討することで、高い種類判別精度を維持しつつ検査対象物等の変化に柔軟に対応できる。
≪変形例≫
以上、本発明に係る検査装置100について各実施形態により説明したが、本発明はこれらの記載に限定されるものではなく、種々の変更等を行うことができる。
例えば、前記実施形態では、種類判別部105が、第1SVM判別部105aと、第2SVM判別部105bと、マハラノビス距離判別部105cと、を有する場合について説明したが、他の種類判別アルゴリズムを用いた判別部を追加してもよい。
すなわち、種類判別部105は、学習結果記憶部113から読み出した線形分離関数で規定される各超平面(境界面)と、特徴ベクトルにより特定される座標点と、の距離をそれぞれ算出し、当該距離に基づいて種類判別処理を実行するSVM境界面距離判別部を含んでもよい。このSVM境界面距離判別部は、前記したパラメータγ,Cost等を考慮せず、境界面からの距離(境界面のどちら側に特徴ベクトルが存在するか)のみを用いて判別処理を実行する。
また、種類判別部105は、最短距離法や群平均法等の階層的クラスタリング、又はk-means法等の非階層的クラスタリングを用いたクラスタリング判別部を含んでもよい。
また、種類判別部105は、特徴ベクトル抽出部104から入力される特徴ベクトルの次元数(例えば、33次元)を、変数減少法(Backward Elimination Method)等によって減少させ(例えば、3次元)、標準ユークリッド距離に基づいて判別処理を行う標準ユークリッド距離判別部を含んでもよい。
また、種類判別部105は、自己組織化写像によって高次元の特徴ベクトルを低次元の特徴ベクトルに変換し、既に取得した画像データの特徴ベクトルと競合させることで学習するSOM(Self-organizing maps)判別部を含んでもよい。
種類判別部105が有する複数の種類判別アルゴリズムは、検査装置100の設定段階において、シミュレーション結果等に基づき設定者によって適宜選択・設定される。
また、第2、第3実施形態では、教師データを1個追加した場合に、教師データ数が閾値Mよりも大きい場合(S202→Yes:図8、図10参照)、不要な教師データを1個削除する場合について説明したが、これに限らない。例えば、入力装置200を介した操作に応じて、複数個(例えば、100個)の不要な教師データを一気に削除してもよい。
また、第2、第3実施形態において教師データを追加する際、当該追加の直前における教師データ数mが閾値Mに達している場合(m=M)、不要な教師データを削除した後、新たな教師データを追加してもよい。
また、第1〜第3実施形態を適宜組み合わせてもよい。例えば、第2実施形態のステップS204の処理(教師データDmの削除:図8参照)を行う前に、教師データ追加部110Bが交差検定を実行することとしてもよい(ステップS213等:図10参照)。
また、第2実施形態において、教師データ数mが閾値M1よりも大きい場合(S202→Yes:図8参照)、前記した距離kに関する処理(S203,S204)を省略し、超平面からの距離が最大となる教師データの検索・削除処理(S205,S206)のみを実行してもよい。
また、前記実施形態では、検査対象物が、燃料電池に用いられる電極E及び固体高分子膜M(図2参照)である場合について説明したが、これに限らない。すなわち、リチウムイオン電池や半導体材料等、さまざまな検査対象物について欠陥の有無を検査することができる。
また、前記実施形態では、検査装置100が検査すべき事項(検査事項)が検査対象物の欠陥の有無である場合について説明したが、これに限らない。例えば、撮像装置500によって撮像された物品の種類を判別し、その判別結果に応じて物品を仕分け(検査する)するなど、他の検査事項についても同様の方法を用いることができる。
また、前記実施形態では、外部の撮像装置300から画像情報が入力されることとしたが、これに限らない。画像情報は、記録媒体に記憶されているものであってもよいし、ネットワークを介して受信するものであってもよい。
また、前記各実施形態に係る処理は、コンピュータとソフトウェアプログラムによって実現することができ、そのプログラムをコンピュータが読み取り可能な記録媒体に記録して提供することが可能であり、また、ネットワークを介して提供することも可能である。
100 検査装置
101 領域情報生成部
102 特徴ベクトル抽出領域決定部
103 フィルタ処理部
104 特徴ベクトル抽出部(特徴ベクトル抽出手段)
105 種類判別部(種類判別手段)
105a 第1SVM判別部(サポートベクターマシン)
105b 第2SVM判別部(サポートベクターマシン)
105c マハラノビス距離判別部(マハラノビス距離アルゴリズム)
106 判別結果記憶部
107 評価基準記憶部
108 判別結果評価部
109 表示制御部(表示制御手段)
110,110A,110B 教師データ追加部(教師データ追加手段、教師データ数調整手段)
110g 教師データ数調整部(教師データ数調整手段)
110h 交差検定部(交差検定手段)
111 教師データ記憶部
112 学習処理部(再学習手段)
113 学習結果記憶部
200 入力装置(入力手段)
300 撮像装置
400 搬送装置
500 表示装置(表示手段)

Claims (7)

  1. 外部から入力される検査対象物の画像情報に基づいて、所定の検査事項に関して種類の判別を含む検査を行う検査装置であって、
    前記画像情報の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
    互いに異なる複数の種類判別アルゴリズムが、教師あり学習に基づく独自の判別基準をそれぞれ用いて、前記特徴ベクトルが属する前記種類を判別して複数の判別結果を得る種類判別手段と、
    前記複数の判別結果において一致しないものがある場合、前記画像情報に対応する画像を表示手段に表示させる表示制御手段と、
    前記表示手段に表示される前記画像に対応する特徴ベクトルと、入力手段を介して入力される種類と、を対応付けて、新たな教師データとして追加する教師データ追加手段と、
    追加された前記教師データを含めて、前記複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する再学習手段と、を備え、
    前記種類判別手段は、再学習した前記判別基準を用いて、前記複数の種類判別アルゴリズムによる判別処理を続行する
    ことを特徴とする検査装置。
  2. 前記複数の種類判別アルゴリズムは、
    教師データを前記種類ごとに分類するための超平面を規定する判別関数に基づいて、前記特徴ベクトルが属する前記種類を判別するSVM(Support Vector Mchine)アルゴリズムと、
    前記種類が共通する教師データの重心座標を求め、それぞれの種類の重心座標と前記特徴ベクトルとのマハラノビス距離に基づいて、当該特徴ベクトルが属する前記種類を判別するマハラノビス距離アルゴリズムと、を含む
    ことを特徴とする請求項1に記載の検査装置。
  3. 前記教師データ追加手段によって教師データを追加したとき、教師データの個数が所定値を超える場合、前記超平面までの距離が長い教師データを優先的に削除する教師データ数調整手段を備える
    ことを特徴とする請求項2に記載の検査装置。
  4. 前記教師データ追加手段によって教師データを追加したとき、教師データの個数が所定値を超える場合、当該教師データとのマハラノビス距離が所定値以下である他の教師データを優先的に削除する教師データ数調整手段を備える
    ことを特徴とする請求項2に記載の検査装置。
  5. 前記教師データ追加手段によって教師データを追加する際に交差検定を実行し、前記交差検定の結果、前記教師データの追加によって前記種類判別手段の判別精度が低下した場合、当該教師データの追加を禁止する交差検定手段を備える
    ことを特徴とする請求項2に記載の検査装置。
  6. 外部から入力される検査対象物の画像情報に基づいて、所定の検査事項に関して種類の判別を含む検査を行う検査装置が実行する検査方法であって、
    前記検査装置は、
    前記画像情報の特徴ベクトルを抽出する特徴ベクトル抽出ステップと、
    互いに異なる複数の種類判別アルゴリズムが、教師あり学習に基づく独自の判別基準をそれぞれ用いて、前記特徴ベクトルが属する前記種類を判別して複数の判別結果を得る種類判別ステップと、
    前記複数の判別結果において一致しないものがある場合、前記画像情報に対応する画像を表示手段に表示させる表示制御ステップと、
    前記表示手段に表示される前記画像に対応する特徴ベクトルと、入力手段を介して入力される種類と、を対応付けて、新たな教師データとして追加する教師データ追加ステップと、
    追加された前記教師データを含めて、前記複数の種類判別アルゴリズムそれぞれに対応する判別基準を再学習する再学習ステップと、
    再学習した前記判別基準を用いて、前記複数の種類判別アルゴリズムによる判別処理を続行する判別処理続行ステップと、を含む処理を実行する
    ことを特徴とする検査方法。
  7. 請求項6に記載の検査方法を、コンピュータである前記検査装置に実行させるためのプログラム。
JP2013022907A 2013-02-08 2013-02-08 検査装置、検査方法及びプログラム Expired - Fee Related JP6061713B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013022907A JP6061713B2 (ja) 2013-02-08 2013-02-08 検査装置、検査方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013022907A JP6061713B2 (ja) 2013-02-08 2013-02-08 検査装置、検査方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014153906A true JP2014153906A (ja) 2014-08-25
JP6061713B2 JP6061713B2 (ja) 2017-01-18

Family

ID=51575721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013022907A Expired - Fee Related JP6061713B2 (ja) 2013-02-08 2013-02-08 検査装置、検査方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6061713B2 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016143352A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016143355A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
JP2016143351A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016143354A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016143353A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2018509712A (ja) * 2015-03-11 2018-04-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated 物体認識システムのためのオンライントレーニング
JP2019032268A (ja) * 2017-08-09 2019-02-28 日立金属株式会社 表面欠陥判定方法および表面欠陥検査装置
WO2019176988A1 (ja) * 2018-03-14 2019-09-19 オムロン株式会社 検査システム、識別システム、及び識別器評価装置
WO2020071162A1 (ja) * 2018-10-01 2020-04-09 株式会社システムスクエア 教師データ生成装置及び教師データ生成プログラム
WO2020095909A1 (ja) * 2018-11-07 2020-05-14 株式会社 東芝 画像処理装置、画像処理方法及びプログラム
WO2020110766A1 (ja) * 2018-11-30 2020-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP2020153764A (ja) * 2019-03-19 2020-09-24 株式会社 システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2020187071A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
JP2020536328A (ja) * 2018-08-27 2020-12-10 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド バッテリー検出方法及び装置
JP2020204812A (ja) * 2019-06-14 2020-12-24 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN112567426A (zh) * 2018-12-27 2021-03-26 欧姆龙株式会社 图像判定装置、图像判定方法及图像判定程序
CN112950547A (zh) * 2021-02-03 2021-06-11 佛山科学技术学院 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法
JP2021152489A (ja) * 2020-03-24 2021-09-30 株式会社 システムスクエア 教師データ生成装置、検査装置及びプログラム
WO2022202366A1 (ja) * 2021-03-25 2022-09-29 パナソニックIpマネジメント株式会社 データ支援システム、データ支援方法、プログラム、統合システム、及び処理装置
JP7496543B2 (ja) 2020-05-08 2024-06-07 アース環境サービス株式会社 異物の混入時期特定方法及びシステム
WO2024121970A1 (ja) * 2022-12-07 2024-06-13 株式会社Fuji 良否判定装置および良否判定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200356A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2010170202A (ja) * 2009-01-20 2010-08-05 Secom Co Ltd 物体検出装置
JP2011013720A (ja) * 2009-06-30 2011-01-20 Jfe Steel Corp カテゴリ判定ルールの作成方法、装置およびコンピュータプログラム
JP2011145791A (ja) * 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP2011253528A (ja) * 2010-06-01 2011-12-15 Mitsubishi Electric Research Laboratories Inc 識別器を特定のシーン内のオブジェクトを検出するように適応させるためのシステム及び方法
WO2012117966A1 (ja) * 2011-02-28 2012-09-07 日本電気株式会社 データ判別装置、方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000200356A (ja) * 1999-01-08 2000-07-18 Hitachi Ltd 欠陥分類方法およびその装置
JP2010170202A (ja) * 2009-01-20 2010-08-05 Secom Co Ltd 物体検出装置
JP2011013720A (ja) * 2009-06-30 2011-01-20 Jfe Steel Corp カテゴリ判定ルールの作成方法、装置およびコンピュータプログラム
JP2011145791A (ja) * 2010-01-13 2011-07-28 Hitachi Ltd 識別器学習画像生成プログラム、方法、及びシステム
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP2011253528A (ja) * 2010-06-01 2011-12-15 Mitsubishi Electric Research Laboratories Inc 識別器を特定のシーン内のオブジェクトを検出するように適応させるためのシステム及び方法
WO2012117966A1 (ja) * 2011-02-28 2012-09-07 日本電気株式会社 データ判別装置、方法及びプログラム

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016143352A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016143355A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 感性評価装置、感性評価方法、およびプログラム
JP2016143351A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016143354A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2016143353A (ja) * 2015-02-04 2016-08-08 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
JP2018509712A (ja) * 2015-03-11 2018-04-05 クゥアルコム・インコーポレイテッドQualcomm Incorporated 物体認識システムのためのオンライントレーニング
JP7372730B2 (ja) 2015-03-11 2023-11-01 クゥアルコム・インコーポレイテッド 物体認識システムのためのオンライントレーニング
JP2019032268A (ja) * 2017-08-09 2019-02-28 日立金属株式会社 表面欠陥判定方法および表面欠陥検査装置
WO2019176988A1 (ja) * 2018-03-14 2019-09-19 オムロン株式会社 検査システム、識別システム、及び識別器評価装置
US11158044B2 (en) 2018-08-27 2021-10-26 Beijing Baidu Netcom Science And Technology Co., Ltd. Battery detection method and device
KR102494946B1 (ko) * 2018-08-27 2023-02-06 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 배터리 검출 방법 및 장치(battery detection method and device)
JP7018135B2 (ja) 2018-08-27 2022-02-09 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド バッテリー検出方法及び装置
JP2020536328A (ja) * 2018-08-27 2020-12-10 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド バッテリー検出方法及び装置
KR20210010541A (ko) * 2018-08-27 2021-01-27 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 배터리 검출 방법 및 장치(battery detection method and device)
JP6754155B1 (ja) * 2018-10-01 2020-09-09 株式会社 システムスクエア 教師データ生成装置、検査装置およびコンピュータプログラム
WO2020071162A1 (ja) * 2018-10-01 2020-04-09 株式会社システムスクエア 教師データ生成装置及び教師データ生成プログラム
CN112789499A (zh) * 2018-10-01 2021-05-11 世高株式会社 教师数据生成装置和教师数据生成程序
CN112955929A (zh) * 2018-11-07 2021-06-11 株式会社东芝 图像处理装置、图像处理方法以及程序
JP7443244B2 (ja) 2018-11-07 2024-03-05 株式会社東芝 画像処理装置、画像処理方法及びプログラム
US11875547B2 (en) 2018-11-07 2024-01-16 Kabushiki Kaisha Toshiba Image processing apparatus, image processing method, and storage medium
WO2020095909A1 (ja) * 2018-11-07 2020-05-14 株式会社 東芝 画像処理装置、画像処理方法及びプログラム
JPWO2020095909A1 (ja) * 2018-11-07 2021-09-02 株式会社東芝 画像処理装置、画像処理方法及びプログラム
WO2020110766A1 (ja) * 2018-11-30 2020-06-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20210271913A1 (en) * 2018-11-30 2021-09-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN112567426A (zh) * 2018-12-27 2021-03-26 欧姆龙株式会社 图像判定装置、图像判定方法及图像判定程序
CN112567426B (zh) * 2018-12-27 2024-06-07 欧姆龙株式会社 图像判定装置、图像判定方法及其程序的记录媒体
US11915143B2 (en) 2018-12-27 2024-02-27 Omron Corporation Image determination device, image determination method, and non-transitory computer readable medium storing program
JP2020153765A (ja) * 2019-03-19 2020-09-24 株式会社 システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
WO2020189044A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
WO2020189043A1 (ja) * 2019-03-19 2020-09-24 株式会社システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2020153764A (ja) * 2019-03-19 2020-09-24 株式会社 システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
JP2020187071A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
JP7271306B2 (ja) 2019-05-16 2023-05-11 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
JP2020204812A (ja) * 2019-06-14 2020-12-24 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7433782B2 (ja) 2019-06-14 2024-02-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021152489A (ja) * 2020-03-24 2021-09-30 株式会社 システムスクエア 教師データ生成装置、検査装置及びプログラム
JP7496543B2 (ja) 2020-05-08 2024-06-07 アース環境サービス株式会社 異物の混入時期特定方法及びシステム
CN112950547B (zh) * 2021-02-03 2024-02-13 佛山科学技术学院 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法
CN112950547A (zh) * 2021-02-03 2021-06-11 佛山科学技术学院 一种基于深度学习的锂电池隔膜缺陷机器视觉检测方法
WO2022202366A1 (ja) * 2021-03-25 2022-09-29 パナソニックIpマネジメント株式会社 データ支援システム、データ支援方法、プログラム、統合システム、及び処理装置
WO2024121970A1 (ja) * 2022-12-07 2024-06-13 株式会社Fuji 良否判定装置および良否判定方法

Also Published As

Publication number Publication date
JP6061713B2 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
JP6061713B2 (ja) 検査装置、検査方法及びプログラム
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
TWI639824B (zh) 用於自動及手動缺陷分類之整合的方法、設備及非暫態電腦可讀取儲存媒介
US9715723B2 (en) Optimization of unknown defect rejection for automatic defect classification
TWI579775B (zh) A matching processing device, a matching processing method and an inspection device using the same
JP6632193B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3502966A1 (en) Data generation apparatus, data generation method, and data generation program
JP2013167596A (ja) 欠陥検査装置、欠陥検査方法及びプログラム
TWI525317B (zh) 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US10891508B2 (en) Image processing apparatus, method, and non-transitory computer-readable storage medium
JP7137487B2 (ja) 画像評価装置及び方法
TWI791930B (zh) 用於分類半導體樣本中的缺陷的系統、方法及電腦可讀取媒體
CN117115147B (zh) 一种基于机器视觉的纺织品检测方法及系统
JP2019016249A (ja) 判定装置、判定方法および判定プログラム
JP2010231254A (ja) 画像解析装置、画像解析方法およびプログラム
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
JP2019215728A (ja) 情報処理装置、情報処理方法及びプログラム
CN115362445A (zh) 数据分类装置、数据分类方法以及数据分类程序
JP2007018176A (ja) 学習装置、学習方法、学習プログラム、記録媒体、パターン認識装置およびパターン認識方法
JP6504682B2 (ja) 部品種類自動判別方法及び部品種類自動判別システム並びに画像処理用部品データ作成方法及び画像処理用部品データ作成システム
Kofler et al. Classifying defects in topography images of silicon wafers
US20230325413A1 (en) Error Factor Estimation Device and Error Factor Estimation Method
KR20140140953A (ko) 얼굴 검출 방법 및 그 장치
KR101139913B1 (ko) 판정불능집단을 함께 분류하는 패턴 분류방법
JP6939186B2 (ja) 判定装置、判定方法および判定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161213

R150 Certificate of patent or registration of utility model

Ref document number: 6061713

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees