JP2023077057A - 外観検査装置及び外観検査方法 - Google Patents

Abstract

【課題】推論モデルの検証が容易に行えるようにする。【解決手段】推論モデルの良否判定性能を検証するための検証用の不良品画像または良品画像にそれぞれ不良品または良品であることを示す第１フラグを付与する。検証用の不良品画像または良品画像を推論モデルに入力して、良否判定結果を得る。第１フラグが付与された不良品画像または良品画像よりも良否判定が難しい検証用の画像に対して付与する第２フラグの入力を受け付ける。第２フラグが付与された画像を推論モデルに入力して、良否判定結果を得る。第２フラグが付与された画像に対する検証結果を、第１フラグが付与された画像に対する検証結果と区別して表示装置に表示させる。【選択図】図９

Description

本発明は、ワークの外観を検査する外観検査装置及び外観検査方法に関する。

例えば特許文献１には、コンピュータによる機械学習を用いて、ワークが良品であるか不良品であるかの判定を行う処理装置が開示されている。特許文献１の処理装置は、良品データを対象とした教師ありの機械学習を行って良品学習モデルを生成するとともに、不良品データを対象とした教師ありの機械学習を行って不良品学習モデルを生成した後、判定対象となるワークのデータを入力し、良品学習モデル及び不良品学習モデルによってワークが良品であるか不良品であるかの判定が行えるように構成されており、このような装置はワークの外観検査装置とも呼ばれている。

特開２０１９－２０４３２１号公報

ところで、外観検査装置では、良品学習モデル及び不良品学習モデル（以下、推論モデルという）の生成後、検証用の画像を推論モデルに入力して良否判定性能を確かめることが行われる。推論モデルに入力される画像の中にはユーザでも良品であるか否か、不良品であるか否かの判断に迷う画像が存在する。例えば、ワークに小さな傷が付いているが、その程度の小さな傷なら良品と判断してもよい場合や、不良品として一旦判断し、後からユーザが良品ラインに戻してもよい場合があり、このような画像の検査では良品、不良品のいずれで判断しても構わない。つまり、真の正解をもたない画像の場合、推論モデルも良品、不良品のどちらであるか判断できないにもかかわらず、従来の手法では良品か不良品の二者択一のフラグを付与するしかなかった。その結果、推論モデルが十分な性能を発揮していたとしても、真の正解をもたない画像のせいで、推論モデルの調整の試行錯誤が本当に必要であるのか否かの判断が難しかった。

本開示は、かかる点に鑑みたものであり、その目的とするところは、推論モデルの検証が容易に行えるようにすることにある。

上記目的を達成するために、本開示の一態様では、機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査装置を前提することができる。外観検査装置は、学習処理後の推論モデルを記憶する記憶部と、前記推論モデルの良否判定性能を検証するための検証用の不良品画像または良品画像にそれぞれ不良品または良品であることを示す第１フラグを付与する入力部と、前記検証用の不良品画像または良品画像を前記推論モデルに入力して、良否判定結果を得る検査部と、前記検査部が得た良否判定結果に基づいて、前記推論モデルの良否判定性能の検証結果を表示部に表示させる表示制御部と、備えている。前記入力部は、前記第１フラグが付与された不良品画像または良品画像よりも良否判定が難しい検証用の画像に対して付与する第２フラグの入力を受け付けることができる。また、前記検査部は、前記第２フラグが付与された画像を前記推論モデルに入力して、良否判定結果を得ることができる。さらに、前記表示制御部は、前記第２フラグが付与された画像に対する検証結果を、前記第１フラグが付与された画像に対する検証結果と区別して前記表示部に表示できる。

この構成によれば、例えば、不良品画像であるか、良品画像であるかを明確に判断できる検証用の画像に対しては、第１フラグが付与される。一方、不良品画像であるか、良品画像であるかを明確に判断できない画像や、どちらで判断しても許容できる画像のように、真の正解をもたない検証用の画像に対しては、第２フラグが付与される。検査部は、第１フラグが付与された１枚または複数枚の画像を推論モデルに入力して良否判定結果を得るとともに、第２フラグが付与された１枚または複数枚の画像についても推論モデルに入力して良否判定結果を得る。表示部には、第１フラグが付与された画像の検証結果と、第２フラグが付与された画像の検証結果とを区別して表示できるので、真の正解をもたない画像を除いた場合の推論モデルの良否判定性能をユーザが把握できる。これにより、推論モデルが既に十分な性能を発揮しているのか、それとも、推論モデルの調整の試行錯誤がまだ必要であるのかをユーザが容易に判断できる。

他の態様に係る表示制御部は、前記第２フラグが付与された画像に対する検証結果を除外して、前記第１フラグが付与された画像に対する良否判定の正答数に関する情報を表示可能に構成されている。

この構成によれば、正解をもたない画像に対する検証結果を除外し、不良品画像であるか、良品画像であるかを明確に判断可能な画像に対する良否判定結果を表示することができるので、推論モデルが既に十分な性能を発揮しているのか否かを的確に判断できる。

他の態様に係る入力部は、前記第２フラグが付与された画像に対する良否判定結果を除外するか否かの選択を受付可能に構成されている。また、前記表示制御部は、前記第２フラグが付与された画像に対する良否判定結果を除外するとの選択を前記入力部が受け付けた場合には前記第２フラグが付与された画像に対する検証結果を除外して、前記第１フラグが付与された画像に対する良否判定の正答数に関する情報を表示する一方、前記第２フラグが付与された画像に対する良否判定結果を除外しないとの選択を前記入力部が受け付けた場合には前記第２フラグが付与された画像に対する検証結果と前記第１フラグが付与された画像に対する良否判定とを合わせた正答数に関する情報を表示可能に構成されている。

すなわち、真の正解をもたない画像に対する検証結果を完全に無視して推論モデルの性能を判断したいユーザと、真の正解をもたない画像に対する検証結果についても参考としたいユーザとが存在する場合、いずれのユーザにも対応できる。

他の態様では、表示制御部は、複数の前記検証用の画像を前記表示部に一覧表示させ、前記入力部は、前記表示部に一覧表示された複数の前記検証用の画像の中から選択された画像に対して前記第１フラグまたは前記第２フラグの付与を受け付けることができるので、ユーザによるフラグの付与処理を容易に行うことができる。

他の態様に係る表示制御部は、前記検証用の画像の中から、前記第１フラグと前記第２フラグの両方が付与されていない画像を選択して前記表示部に表示させるものであってもよい。

すなわち、第１フラグと第２フラグの両方が付与されていない画像に対して第１フラグまたは第２フラグの付与をユーザに促すことができる。その結果、第１フラグが付与された画像に対して良否判定が正確に行われている場合には、推論モデルが既に十分な性能を発揮していると判断できる。一方、第１フラグが付与された画像に対して良否判定が正確に行われていない場合には、推論モデルの性能が不十分である判断できる。

他の態様に係る表示制御部は、前記検証用の画像の中から、前記推論モデルが良否判定できなかった画像を選択して前記表示部に表示させるものであってもよい。

この構成によれば、推論モデルが良否判定できなかった画像が正解をもたない画像であるか否かを判断できる。仮に、推論モデルが良否判定できなかった画像が正解をもたない画像である場合には、その判定結果を除外して推論モデルの性能を判断すればよい。一方、推論モデルが良否判定できなかった画像が、正解をもっている画像である場合には、推論モデルの性能が不十分である判断できる。

他の態様に係る表示制御部は、良品画像であると判定された度数と不良品画像であると判定された度数とに基づく累積ヒストグラムを生成して前記表示部に表示させることができる。

他の態様に係る表示制御部は、前記累積ヒストグラムを生成する際に前記第２フラグが付与された画像の度数を含めるか否かの選択可能なユーザーインターフェース画面を生成して前記表示部に表示させ、前記第２フラグが付与された画像の度数を含めることが選択された場合には、前記第２フラグが付与された画像の度数を含めて前記累積ヒストグラムを生成する一方、前記第２フラグが付与された画像の度数を含めないことが選択された場合には、前記第２フラグが付与された画像の度数を含めないで前記累積ヒストグラムを生成するものであってもよい。

この構成によれば、真の正解をもたない画像の度数を含んだ累積ヒストグラムと、真の正解をもたない画像の度数を含まない累積ヒストグラムとをユーザが自由に選択して表示させることができる。

他の態様では、前記機械学習ネットワークに学習用データを入力して学習させ、前記推論モデルを生成する学習部をさらに備えていてもよい。

また、入力部は、第１フラグが付与された不良品画像よりも不良品度合いが小さい検証用の画像に対して付与する第２フラグの入力を受け付けてもよいし、第１フラグが付与された良品画像よりも良品度合いが小さい検証用の画像に対して付与する第２フラグの入力を受け付けてもよい。

以上説明したように、不良品画像であるか、良品画像であるかを明確に判断できる画像の検証結果と、正解をもたない画像の検証結果とを表示部に区別して表示できるので、推論モデルの検証を容易に行うことができる。

本発明の実施形態に係る外観検査装置の構成を示す模式図である。 前記外観検査装置のハードウエア構成を示すブロック図である。 学習処理の手順の一例を示すフローチャートである。 良品画像、判断に迷う画像及び不良品画像の例を示す図である。 検証処理の手順の一例を示すフローチャートである。 第１フラグ及び第２フラグを入力する場合のユーザーインターフェースの例を示す図である。 第１フラグ及び第２フラグが付与された画像の枚数を表示したユーザーインターフェースの例を示す図である。 結果表示画面の例を示す図である。 判定結果の度数に基づく累積ヒストグラムの表示例を示す図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

図１は、本発明の実施形態に係る外観検査装置１の構成を示す模式図である。外観検査装置１は、例えば各種部品や製品等のような検査対象であるワークを撮像して取得されたワーク画像の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。具体的には、外観検査装置１の内部には機械学習ネットワークが構築されている。生成された機械学習ネットワークに、検査対象のワークを撮像したワーク画像を入力し、当該ワーク画像の良否判定を機械学習ネットワークによって行うことができるようになっている。

ワークは、それ全体が検査対象であってもよいし、ワークの一部のみが検査対象であってもよい。また、１つのワークに複数の検査対象が含まれていてもよい。また、ワーク画像には、複数のワークが含まれていてもよい。

外観検査装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示部）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ５を使用して各種情報や画像を表示させることもできるし、パーソナルコンピュータ５の機能を制御ユニット２に組み込むことや、表示装置４に組み込むことができる。

図１では、外観検査装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。

（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３を備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。

照明モジュール１５は、ワークを含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５１と、ＬＥＤ１５１を制御するＬＥＤドライバ１５２とを備えている。ＬＥＤ１５１による発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５２によって任意に制御することができる。ＬＥＤ１５１は、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。

（表示装置４の構成）
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有している。制御ユニット２から出力されたワーク画像やユーザーインターフェース画像等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。

（操作機器）
外観検査装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。

キーボード５１やマウス５２のユーザによる操作は制御ユニット２で検出可能になっている。また、タッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、ユーザのタッチ操作は制御ユニット２で検出可能になっている。他のポインティングデバイスを用いた場合も同様である。

（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、プロセッサ１３ａが設けられている。プロセッサ１３ａは、接続されている各基板及びモジュールの動作を制御する。例えば、プロセッサ１３ａは、照明モジュール１５のＬＥＤドライバ１５２に対してＬＥＤ１５１の点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５２は、プロセッサ１３ａからの照明制御信号に応じて、ＬＥＤ１５１の点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５１の光量等を調整する。

また、プロセッサ１３ａは、カメラモジュール１４の撮像基板１４２に、ＣＭＯＳセンサ１４３を制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４３は、プロセッサ１３ａからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、プロセッサ１３ａから出力される撮像制御信号に応じてＣＭＯＳセンサ１４３の視野範囲内を撮像し、視野範囲内にワークがあれば、ワークを撮像することになるが、ワーク以外の物が視野範囲内にあれば、それも撮像することができる。例えば、外観検査装置１は、機械学習ネットワークの学習用の画像として、撮像ユニット３により、良品に対応する良品画像と不良品に対応する不良品画像とを撮像することができる。学習用の画像は、撮像ユニット３で撮像された画像でなくてもよく、他のカメラ等で撮像された画像であってもよい。

一方、外観検査装置の運用時には、撮像ユニット３により、ワークを撮像することができる。また、ＣＭＯＳセンサ１４３は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。

ＣＭＯＳセンサ１４３による撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のプロセッサ１３ａに入力されて処理されるとともに、メイン基板１３のメモリ１３ｂに記憶されるようになっている。メイン基板１３のプロセッサ１３ａによる具体的な処理内容の詳細については後述する。尚、メイン基板１３には、ＦＰＧＡやＤＳＰ等の処理装置が設けられていてもよい。ＦＰＧＡやＤＳＰ等の処理装置が統合されたプロセッサ１３ａであってもよい。

メイン基板１３には、表示制御部１３ｃが設けられている。表示制御部１３ｃは、表示画面を生成するとともに、表示装置４を制御し、表示画面を表示装置４に表示させる部分である。表示制御部１３ｃの具体的な動作については後述する。

コネクタ基板１６は、電源インターフェース１６１に設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４１に駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３のプロセッサ１３ａからのＡＦ制御信号に応じて、ＡＦ用モータ１４１に供給する電力を調整する。

通信基板１７は、メイン基板１３と表示装置４及びパーソナルコンピュータ５との通信、メイン基板１３と外部制御機器（図示せず）との通信等を実行する部分である。外部制御機器は、例えばプログラマブルロジックコントローラ等を挙げることができる。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。

制御ユニット２には、例えばソリッドステートドライブ、ハードディスクドライブ等からなる記憶装置（記憶部）１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。プログラムファイル８０は、外部サーバから通信回線を利用してダウンロードされるものであってもよい。また、記憶装置１９には、例えば、上記画像データ等を記憶させておくこともできるし、後述する学習処理後に得られた推論モデルを構築するためのパラメータ等も記憶させておくことができる。

図２では、記憶装置１９が制御ユニット２と一体化されたものとして表現しているが、記憶装置１９は制御ユニット２とは別体のものであってもよい。そのような記憶装置１９の例としては、ネットワーク対応ストレージ（ＮＡＳ：Network Attached Storage）等を挙げることができる。ＮＳＡと制御ユニット２とは有線ＬＡＮや無線ＬＡＮ等の通信回線によって接続される。

すなわち、外観検査装置１では、学習用データを使用して機械学習ネットワークを学習させることで、機械学習ネットワークのパラメータが調整されて推論モデルが生成される。推論モデルに検査対象のワークを撮影したワーク画像を入力し、入力されたワーク画像に基づいてワークの良否判定を行うことができる。この外観検査装置１を使用することで、ワーク画像に基づいてワークの良否判定を行う外観検査方法を実行できる。

（プロセッサの構成）
図２に示すように、プロセッサ１３ａには、学習部１３ｄ、入力部１３ｅ及び検査部１３ｆが設けられている。学習部１３ｄ、入力部１３ｅ及び検査部１３ｆは、ハードウエアで構成された部分であってもよいし、ソフトウエアを実行することによって構成される部分であってもよい。また、学習部１３ｄ、入力部１３ｅ及び検査部１３ｆは、必ずしもメイン基板１３に設けられていなくてもよく、これらの一部または全部がメイン基板１３以外の基板に設けられていてもよい。尚、本例において、学習部１３ｄは必須なものではない。

学習部１３ｄは、機械学習ネットワークに学習用データを入力して学習させ、入力画像の良否判定を行うための推論モデルを生成する部分である。学習部１３ｄは、例えば制御ユニット２とは別の学習用計算機で構成されていてもよい。学習用計算機は、機械学習を高速で行うことが可能に構成されている。学習用計算機と制御ユニット２とを通信可能に接続しておくことで、学習用計算機で生成された推論モデルを構築するパラメータを記憶装置１９に送信して記憶させることができる。これにより、制御ユニット２に推論モデルを構築できる。

（学習処理）
次に、図３に示すフローチャートに基づいて学習処理の手順の一例について説明する。スタート後のステップＳＡ１では、学習部１３ｄが、未学習の機械学習ネットワークを用意する。未学習の機械学習ネットワークは、例えば、パラメータの初期値が無作為に決定されたものである。ステップＳＡ２では、学習部１３ｄが記憶装置１９に記憶されている複数の学習用画像を読み出して機械学習ネットワークに順次入力する。その後、ステップＳＡ３では、機械学習ネットワークのパラメータ調整を行う。このとき、良品画像のみ入力して良品学習を行ってもよいし、不良品画像のみ入力して不良品学習をおこなってもよいし、両方の学習を行ってもよい。ステップＳＡ３で得られたパラメータは学習処理済みの推論モデルを構築するためのパラメータであり、ステップＳＡ４で記憶装置１９に記憶される。ステップＳＡ４が記憶ステップである。

例えば、学習用画像が不良品画像である場合、ステップＳＡ２で機械学習ネットワークに入力するまでに、当該不良品画像にアノテーションを実行しておく。すなわち、不良品画像に、不良品画像であることを明示する処理、不良品画像の不良箇所を指定する処理等をユーザが事前に行っておく。アノテーションによって付与された情報は、該当する不良品画像と関連付けられた状態で記憶装置１９に記憶されている。よって、不良品学習の際には、予め付与されている情報を利用して機械学習ネットワークのパラメータを調整すればよい。

上記機械学習ネットワークの学習の手法は特に限定されないが、例えば次の方法を利用することができる。すなわち、Ｌｏｓｓ関数を最小化することで機械学習ネットワークの学習を行うことができる。Ｌｏｓｓの定義は様々であるが、Mean Square Error（ＭＳＥ）を例して挙げることができる。

ここで、Ｔは目標異常度マップ、０は出力画像（異常度マップ）、ｎは画像Ｔが０の画素数、ｘ、ｙは画素位置である。尚、Binary Cross EntropyなどのＬｏｓｓ関数も使用可能である。以上はあくまでも例示である。

（ワーク画像の例）
図４には、良品のワークＷ１を撮像した良品画像２００と、不良品のワークＷ２を撮像した不良品画像２０１と、良品、不良品の判断がつきにくいワークＷ３を撮像した画像（判断に迷う画像）２０２とを示している。図４に示す良品のワークＷ１には、傷等が全く無いので、良品であるという判断はユーザが容易に行える。また、不良品のワークＷ２には、大きくて目立つ傷Ｗａがあるので、不良品であるという判断はユーザが容易に行える。ところが、判断がつきにくいワークＷ３には目立ち難い傷Ｗｂがある。この程度の傷ＷｂがあるワークＷ３は、良品として判断しても問題ないものであるが、不良品として判断し、後から良品のラインに戻してもよい場合がある。つまり、ワークＷ３は、ユーザであっても良品、不良品の判断が困難であり、どちらで判断しても特に問題が生じないもの、いわゆる真の正解をもたないワークである。このようなワークＷ３を撮像した画像２０２は、学習済みの推論モデルに入力したとしても、判断がつかないことがある。

ここで、基本的に学習処理は、良品、不良品の判定ミスがなくなることを目指して行われる。例えば良品画像なのに、不良品であると判定されたり、判断がつかない画像であると判定されると、その良品画像が良品であると判定されることを目指して推論モデルの調整の試行錯誤が行われ、また、不良品画像なのに、良品であると判定されたり、判断がつかない画像であると判定されると、その不良品画像が不良品であると判定されることを目指して推論モデルの調整の試行錯誤が行われる。

しかし、判定ミスが起きている画像が、図４に示す判断に迷う画像２０２のように、そもそも判定ミスしてもよい画像であれば、それ以上の推論モデルの調整は不要であるにもかかわらず、ユーザは推論モデルの調整を試行錯誤することになり、過度な負担をユーザに強いることになる。一方、判定ミスが起きている画像が図４に示す良品画像２００や不良品画像２０１のように明確に判定すべき画像であれば、推論モデルの更なる調整が必要であるので、ユーザは試行錯誤すべき状況である。このように、これまでの機械学習は、ユーザが試行錯誤すべき状況であるのか否かの判断がつきにくかった。

（検証処理）
これまでの機械学習における問題点、すなわちユーザがまだ学習調整の試行錯誤をすべき状況であるのか否かの判断がつきにくいという問題を解決するために、本実施形態では推論モデルの検証処理に工夫を凝らしている。以下、図５に示すフローチャートに基づいて説明する。

スタート後のステップＳＢ１では、入力部１３ｅが推論モデルの良否判定性能を検証するための検証用の画像を取得する。検証用の画像は、不良品画像のみであってもよいし、良品画像のみであってもよいし、不良品画像と良品画像の両方であってもよい。検証用の画像は、検証処理の前に取得した画像であってもよいし、検証処理のために新たに取得した画像であってもよいし、外観検査装置１の運用時に取得された画像であってもよい。検証用の画像が記憶装置１９に記憶されている場合には、入力部１３ｅが検証用の画像を記憶装置１９から読み込むことで取得できる。

ステップＳＢ２では、検証用の画像に不良品ラベルまたは良品ラベルを付与する処理を実行する。不良品ラベル及び良品ラベルは、検証用の画像の良否に関する属性を示すものである。不良品ラベルは、検証用の画像が不良品に対応した不良品画像であることを示すラベルである。一方、良品ラベルは、検証用の画像が良品に対応した良品画像であることを示すラベルである。ユーザは、検証用の画像を表示装置４に表示させて１枚１枚確認しながら、マウス５２等を操作して、不良品に対応した不良品画像であれば不良品ラベルを指定し、良品に対応した良品画像であれば良品ラベルを指定していく。また、複数の不良品画像を１つのフォルダにまとめておいて、そのフォルダ内の不良品画像に対して一括して不良品ラベルの付与を指定することや、複数の良品画像を１つのフォルダにまとめておいて、そのフォルダ内の良品画像に対して一括して良品ラベルの付与を指定することもできる。指定された不良品ラベルまたは良品ラベルは、入力部１３ｅにより、対応する検証用の画像にそれぞれ付与される。どのラベルが付与されているかを示す情報は、ラベルの付与に関する情報として、対応する画像と関連付けられた状態で記憶装置１９に記憶される。

不良品ラベルまたは良品ラベルを一括して付与する方法の一例を説明すると、ステップＳＢ２の処理で、まず、入力部１３ｅが図６に示すようなユーザーインターフェース画面２５０を生成し、表示制御部１３ｃが表示装置４に表示させる。ユーザーインターフェース画面２５０には、枚数情報表示領域２５１と、一覧表示領域２５２と、拡大表示領域２５３とが設けられている。枚数情報表示領域２５１には、第１表２６０が表示される。枚数情報表示領域２５１に表示されている第１表２６０には、ラベルの付与に関する情報として良品ラベル及び不良品ラベルのいずれも付与されてない「ラベルなし」の画像の枚数、良品ラベルが付与されている「良品ラベル」の画像の枚数、及び不良品ラベルが付与されている「不良品ラベル」の画像の枚数がそれぞれ表示される。

枚数情報表示領域２５１に表示されている第１表２６０には、「ラベルなし」の画像を一覧表示領域２５２に表示させるか否かの選択、「良品ラベル」の画像を一覧表示領域２５２に表示させるか否かの選択、及び「不良品ラベル」の画像を一覧表示領域２５２に表示させるか否かの選択を行うための「表示」の列も設けられている。「表示」の列をユーザがマウス５２等によって操作することで、その操作が入力部１３ｅによって受け付けられる。

枚数情報表示領域２５１に表示されている第１表２６０には、「一括付与」の列も設けられている。「ラベルなし」の画像には、良品ラベルと不良品ラベルのいずれも付与されていないので、ユーザがマウス５２等によって「一括付与」を操作することで、「ラベルなし」の画像の全てに対して「良品ラベル」または「不良品ラベル」を一括して付与することができる。「良品ラベル」または「不良品ラベル」が付与された画像は、第１表２６０の「良品ラベル」の画像または「不良品ラベル」の画像に分類されて「枚数」が更新される。一括して付与されたラベルの情報は、対応する画像と関連付けられた状態で記憶装置１９に記憶される。

一覧表示領域２５２には、上記第１表２６０の「表示」列の操作によって選択された画像が表示される。具体的には、入力部１３ｅが、ユーザによって上記第１表２６０の「表示」列が操作されたことを検出すると、その操作を受け付けて、対応する画像を一覧表示領域２５２に表示する。例えば、「良品ラベル」の画像が選択操作された場合には、「良品ラベル」の画像を一覧表示領域２５２に表示し、「不良品ラベル」の画像が選択操作された場合には、「不良品ラベル」の画像を一覧表示領域２５２に表示し、「ラベルなし」の画像が選択操作された場合には、「ラベルなし」の画像を一覧表示領域２５２に表示する。同時に複数種の画像を表示することもできる。

拡大表示領域２５３には、一覧表示領域２５２に表示されている画像のうち、ユーザの選択した任意の１枚が拡大して表示される。具体的には、入力部１３ｅが、ユーザのマウス５２等の操作により、一覧表示領域２５２に表示されている画像の中から１枚が選択されたことを検出すると、その選択された画像を、一覧表示領域２５２に表示されているものよりも大きくして拡大表示領域２５３に表示させる。

以上がステップＳＢ２における処理である。その後、ステップＳＢ３に進む。ステップＳＢ３では、検証用の画像に第１フラグまたは第２フラグを付与する処理を実行する。第１フラグは、図４に示す良品画像２００や不良品画像２０１のように良否判定が容易な検証用の画像に対して付与するものであり、良品ラベル及び不良品ラベルの情報を含んでいる。これにより不良品画像または良否画像にそれぞれ不良品または良品であることを明示できる。

一方、第２フラグは、第１フラグが付与された不良品画像または良品画像よりも良否判定が難しい検証用の画像に対して付与するものである。例えば、第１フラグが付与された不良品画像よりも不良品度合いが小さい検証用の画像に対して第２フラグを付与する。また、第１フラグが付与された良品画像よりも良品度合いが小さい検証用の画像に対して第２フラグを付与する。どのユーザであっても不良品画像であると判断する画像、及び良品であると判断する画像に対しては、第１フラグを付与すればよい。一方、どのユーザであっても不良品画像（または良品画像）であるかどうか判断に迷う画像、あるユーザによっては不良品画像（または良品画像）であると判断するが別のユーザは良品画像（または不良品画像）であると判断するような画像には、第２フラグを付与する。また、完全に良品画像ではないが、良品として扱ってもよいという基準を満たす画像に対しては、第２フラグを付与する。第１フラグを付与した後に、第２フラグを付与してもよいし、反対に第２フラグを付与した後に、第１フラグを付与してもよい。ステップＳＢ３は、第１フラグ付与ステップと、第２フラグ付与ステップを構成している。第１フラグ付与ステップと、第２フラグ付与ステップとは、フロー上、分離していてもよい。

第１フラグまたは第２フラグの付与方法は特に限定されるものではないが、その一例を図６に示す。図６のユーザーインターフェース画面２５０の一覧表示領域２５２に表示されている検証用の画像のうち、ユーザが第１フラグまたは第２フラグを付与しようとする検証用の画像上またはその近傍でマウス５２を右クリック等すると、入力部１３ｅがそのことを検出し、第１フラグまたは第２フラグを付与するためのウインドウ２５４を生成する。生成されたウインドウ２５４は表示制御部１３ｃが表示装置４に表示させる。

ウインドウ２５４には、第１フラグの一例としての「Ｍｕｓｔ」（Ｍｕｓｔフラグともいう）と、第２フラグの一例としての「Ｗａｎｔ」（Ｗａｎｔフラグともいう）とが表示されており、「Ｍｕｓｔ」と「Ｗａｎｔ」とのうち、一方をユーザがマウス５２の操作によって選択可能になっている。図６では、「Ｍｕｓｔ」が選択された状態を示している。「Ｍｕｓｔ」と「Ｗａｎｔ」のどちらが選択されたかが識別可能に表示される。ユーザにより選択された「Ｍｕｓｔ」または「Ｗａｎｔ」は、入力部１３ｅがその入力を受け付ける。入力が受け付けられた「Ｍｕｓｔ」または「Ｗａｎｔ」は、対応する検証用の画像と関連付けられた状態で記憶装置１９に記憶される。「Ｍｕｓｔ」または「Ｗａｎｔ」が選択されると、「Ｍｕｓｔ」または「Ｗａｎｔ」を検証用の画像に表示してもよい。

「Ｍｕｓｔ」が付与された検証用の画像は、判定が容易な画像であることから、全てを推論モデルに必ず入力して推論モデルが正確に判定できるようにしたい画像である。一方、「Ｗａｎｔ」が付与された検証用の画像は、推論モデルが判断ミスをしても許容できる画像である。本例では、第１フラグと第２フラグを「Ｍｕｓｔ」と「Ｗａｎｔ」の２段階で付与可能にしているが、これに限らず、例えば「重要度」のような表現として、３段階以上での付与を可能にしてもよい。３段階以上とする場合には、例えば「１～１０」の１０段階とし「１」を重要度が最も低い「Ｗａｎｔ」として推論モデルの判断ミスを許容できる検証用の画像に対して付与する。「Ｗａｎｔ」に対応する数値は、例えば「１～５」とすることができる。「６～１０」は「Ｍｕｓｔ」に対応する数値とし、数値が大きくなる程、推論モデルで正確に判断する必要性の高い画像として、対応する数値を付与すればよい。数値以外の記号や文字等で第１フラグまたは第２フラグを付与してもよい。

検証用の画像に第１フラグまたは第２フラグが付与されると、図７に示すように、表示制御部１３ｃは、ユーザーインターフェース画面２５０の枚数情報表示領域２５１に第２表２６１を表示する。第２表２６１には、第１フラグまたは第２フラグの付与情報として、第１フラグ及び第２フラグのいずれも付与されてない「フラグなし」の画像の枚数、Ｍｕｓｔフラグが付与されている「Ｍｕｓｔ」の画像の枚数、及びＷａｎｔフラグが付与されている「Ｗａｎｔ」の画像の枚数がそれぞれ表示される。

第２表２６１の欄のうち、円２６２で囲まれた数字をユーザがマウス５２でクリック操作すると、プロセッサ１３ａは、良品ラベルが付与され、かつ、Ｍｕｓｔフラグが付与された検証用の画像のみを抽出する。表示制御部１３ｃは、プロセッサ１３ａにより抽出された検証用の画像をユーザーインターフェース画面２５０の一覧表示領域２５２に表示する。円２６２は一例であり、円２６２を実際に表示する必要はない。第２表２６１の別の欄または当該欄内の数字をユーザが選択した場合には、その欄または数字に対応する検証用の画像が抽出されて一覧表示領域２５２に表示される。

図５に示すステップＳＢ４では、検査部１３ｆが記憶装置１９から学習済みの推論モデルのパラメータを読み込み、推論モデルを構築する。推論モデルを構築した後、ステップＳＢ５に進み、検証用の画像を推論モデルに入力する。具体的には、検査部１３ｆは、検証用の不良品画像または良品画像を推論モデルに入力して、良否判定結果を得る部分であり、Ｍｕｓｔフラグが付与された検証用の画像及びＷａｎｔフラグが付与された検証用の画像を推論モデルに入力する。ステップＳＢ５では、Ｍｕｓｔフラグ及びＷａｎｔフラグのいずれも付与されていない検証用の画像を推論モデルに入力してもよい。ステップＳＢ５は、検査ステップである。

ステップＳＢ６では、ステップＳＢ５で推論モデルに入力した検証用の画像に対する判定結果を検査部１３ｆが取得する。この良否判定結果は、検証用の画像に対するものなので、推論モデルの各画像に対する検証結果ということもできる。上述したステップＳＢ５では、推論モデルに、Ｍｕｓｔフラグが付与された検証用の画像と、Ｗａｎｔフラグが付与された検証用の画像とが入力されているので、ステップＳＢ６では、Ｍｕｓｔフラグが付与された検証用の画像に対する推論モデルの検証結果と、Ｗａｎｔフラグが付与された検証用の画像に対する推論モデルの検証結果との両方を取得できる。

ステップＳＢ７では、検証結果を表示装置４に表示する。表示制御部１３ｃは、検査部１３ｆが得た良否判定結果に基づいて、推論モデルの良否判定性能の検証結果を表示装置４に表示させる部分である。具体的には、表示制御部１３ｃは、Ｗａｎｔフラグが付与された画像に対する推論モデルの検証結果を、Ｍｕｓｔフラグが付与された画像に対する推論モデルの検証結果と区別して表示装置４に表示可能に構成されている。このステップＳＢ７は、表示ステップである。

表示制御部１３ｃは、検証用の画像の中から、ＭｕｓｔフラグとＷａｎｔフラグの両方が付与されていない画像を選択して表示装置４に表示させる。例えば図８に示すような結果表示画面２６３を表示制御部１３ｃが生成して表示装置４に表示させることができる。結果表示画面２６３には、良品ラベルが付与された検証用の画像の良否判定結果と、不良品ラベルが付与された検証用の画像の良否判定結果とが表示されている。この例では、不良品ラベルが付与されている検証用の画像の中で、１枚だけ判定不可であった画像が存在している。判定不可とは、推論モデルが良否判定できなかった画像である。

判定不可であった画像に、Ｍｕｓｔフラグ及びＷａｎｔフラグのいずれも付与されていない場合、その画像を表示制御部１３ｃが選択する。選択した画像を表示制御部１３ｃが表示装置４に表示することで、ユーザに対してＭｕｓｔフラグまたはＷａｎｔフラグの一方を付与するように促す。判定不可であり、かつ、Ｍｕｓｔフラグ及びＷａｎｔフラグのいずれも付与されていない画像が複数ある場合には、その複数の画像を表示制御部１３ｃが選択して表示装置４に表示させる。これら複数の画像１枚１枚に、ＭｕｓｔフラグまたはＷａｎｔフラグの一方を付与するように、ユーザに対して促すことができる。判定不可の中の画像に、Ｍｕｓｔフラグを付与すべき画像が１枚でも存在する場合、推論モデルの調整の試行錯誤を行う必要があることにユーザを気付かせることができる。

一方、判定不可の画像の全てにＷａｎｔフラグを付与することができるのであれば、Ｍｕｓｔフラグが付与された画像の全てを正確に判定できているということであるので、ユーザは、その時点で推論モデルの学習が完了したと判断できる。推論モデルの学習が完了したことの判断をユーザに任せるのではなく、例えば、検査部１３ｆが、判定不可の画像の全てにＷａｎｔフラグが付与されたか否かを検出し、そのことを検出した場合に、ユーザに対して推論モデルの学習が完了したと報知するようにしてもよい。

Ｍｕｓｔフラグ及びＷａｎｔフラグ以外にも保留フラグを検証用の画像に付与してもよい。良品画像とも不良品画像とも判断がつかない画像や、不良品画像であるが不良箇所を特定することが難しい画像に保留フラグを付与し、保留フラグと、付与された検証用の画像とを関連付けて記憶装置１９に記憶させておくことができる。この場合、保留フラグが付与された画像を含めた検証結果と、保留フラグが付与された画像を含めない検証結果とを表示装置４に表示可能にする。どちらの検証結果を表示させるかを、ユーザが選択可能にする。

（検証結果の表示形態の具体例）
次に、Ｍｕｓｔフラグが付与された画像に対する検証結果と、Ｗａｎｔフラグが付与された画像に対する検証結果の表示形態について説明するが、検証結果の表示形態は以下に説明する形態に限られるものではなく、様々な表示形態を用いることができる。

図９では、検証結果の表示形態の一例として、累積ヒストグラムを表示した場合を示している。すなわち、検査部１３ｆが複数の検証用の画像の各々に対する良否判定結果を得ると、表示制御部１３ｃは、良品画像であると判定された度数と、不良品画像であると判定された度数とを検査部１３ｆから取得する。表示制御部１３ｃは、良品画像であると判定された度数と、不良品画像であると判定された度数とに基づく累積ヒストグラムを生成して表示装置４に表示させる。累積ヒストグラムは、良品画像であると判定された正答数と、不良品画像であると判定された正答数との度数を表すものなので、累積ヒストグラムを表示させることにより、良否判定の正答数に関する情報を表示できる。正答数に関する情報としては、度数に限られるものではなく、正答数に基づいて算出される正答率等であってもよい。

例えば、ユーザーインターフェース画面に図９に示すようなヒストグラム表示領域２７０を設け、ヒストグラム表示領域２７０内に累積ヒストグラムを表示させることができる。ヒストグラム表示領域２７０には、推論モデルに入力された検証用の画像の中から、Ｗａｎｔフラグが付与された画像に対する良否判定結果を除外するか否かの選択を受け付けるための選択部２７１が設けられている。選択部２７１は、例えばユーザによるマウス５２等の操作によってチェックを入れたり、外したりすることが可能なチェックボックスや、各種ボタン等で構成されている。

図９のＦＩＧ．９Ａは、ユーザが選択部２７１を操作して、「Ｗａｎｔフラグが付与された画像を結果に含める」にチェックをしている場合を示しており、この場合、Ｗａｎｔフラグが付与された画像に対する良否判定結果を除外しない。一方、図９のＦＩＧ．９Ｂは、ユーザが選択部２７１を操作して、「Ｗａｎｔフラグが付与された画像を結果に含める」にチェックをしていない場合を示しており、この場合、Ｗａｎｔフラグが付与された画像に対する良否判定結果を除外する。入力部１３ｅは、ユーザの選択部２７１による選択、即ち、Ｗａｎｔフラグが付与された画像に対する良否判定結果を除外するか否かの選択を受付可能に構成されている。

入力部１３ｅが受け付けた選択結果は、表示制御部１３ｃに出力される。表示制御部１３ｃは、選択部２７１にチェックがされていない場合には、Ｗａｎｔフラグが付与された画像に対する良否判定結果を除外して、Ｍｕｓｔフラグが付与された画像に対する良否判定の度数に基づく累積ヒストグラムを生成して表示装置４に表示させる（ＦＩＧ．９Ｂ参照）。一方、表示制御部１３ｃは、選択部２７１にチェックがされている場合には、Ｗａｎｔフラグが付与された画像に対する良否判定結果を除外せずに、Ｗａｎｔフラグが付与された画像に対する良否判定の度数と、Ｍｕｓｔフラグが付与された画像に対する良否判定の度数とに基づく累積ヒストグラムを生成して表示装置４に表示させる（ＦＩＧ．９Ａ参照）。

ＦＩＧ．９Ａでは、Ｗａｎｔフラグが付与された画像に対する良否判定結果を含めて累積ヒストグラムを生成しているので、良品判定と不良品判定との区分が明確になっていないが、ＦＩＧ．９Ｂでは、Ｗａｎｔフラグが付与された画像に対する良否判定結果を含めずに累積ヒストグラムを生成しているので、良品判定と不良品判定との区分が明確になっている。したがって、ユーザは推論モデルの判定性能が十分であるか否かを、累積ヒストグラムを見ることによって判断できる。

（実施形態の作用効果）
以上説明したように、不良品画像であるか、良品画像であるかを明確に判断できる検証用の画像に対してはユーザがＭｕｓｔフラグを付与する一方、真の正解をもたない検証用の画像に対してはユーザがＷａｎｔフラグを付与する。検査部１３ｆは、Ｍｕｓｔフラグが付与された画像を推論モデルに入力して良否判定結果を得るとともに、Ｗａｎｔフラグが付与された画像も推論モデルに入力して良否判定結果を得る。その後、表示装置４には、Ｍｕｓｔフラグが付与された画像の検証結果と、Ｗａｎｔフラグが付与された画像の検証結果とを区別して表示できるので、真の正解をもたない画像を除いた場合の推論モデルの良否判定性能をユーザが把握できる。これにより、推論モデルが既に十分な性能を発揮しているのか、それとも、推論モデルの調整の試行錯誤がまだ必要であるのかをユーザが容易に判断できる。

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

以上説明したように、本発明は、ワークの外観を検査する場合に利用できる。

１ 外観検査装置
４ 表示装置（表示部）
１３ａ プロセッサ
１３ｂ メモリ
１３ｃ 表示制御部
１３ｄ 学習部
１３ｅ 入力部
１３ｆ 検査部

Claims (12)

1. 機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査装置であって、
   学習処理後の推論モデルを記憶する記憶部と、
   前記推論モデルの良否判定性能を検証するための検証用の不良品画像または良品画像にそれぞれ不良品または良品であることを示す第１フラグを付与する入力部と、
   前記検証用の不良品画像または良品画像を前記推論モデルに入力して、良否判定結果を得る検査部と、
   前記検査部が得た良否判定結果に基づいて、前記推論モデルの良否判定性能の検証結果を表示部に表示させる表示制御部と、備え、
   前記入力部は、前記第１フラグが付与された不良品画像または良品画像よりも良否判定が難しい検証用の画像に対して付与する第２フラグの入力を受け付け可能であり、
   前記検査部は、前記第２フラグが付与された画像を前記推論モデルに入力して、良否判定結果を得るように構成され、
   前記表示制御部は、前記第２フラグが付与された画像に対する検証結果を、前記第１フラグが付与された画像に対する検証結果と区別して前記表示部に表示可能に構成されている外観検査装置。
2. 請求項１に記載の外観検査装置において、
   前記表示制御部は、前記第２フラグが付与された画像に対する検証結果を除外して、前記第１フラグが付与された画像に対する良否判定の正答数に関する情報を表示可能に構成されている外観検査装置。
3. 請求項１または２に記載の外観検査装置において、
   前記入力部は、前記第２フラグが付与された画像に対する良否判定結果を除外するか否かの選択を受付可能に構成され、
   前記表示制御部は、前記第２フラグが付与された画像に対する良否判定結果を除外するとの選択を前記入力部が受け付けた場合には前記第２フラグが付与された画像に対する検証結果を除外して、前記第１フラグが付与された画像に対する良否判定の正答数に関する情報を表示する一方、前記第２フラグが付与された画像に対する良否判定結果を除外しないとの選択を前記入力部が受け付けた場合には前記第２フラグが付与された画像に対する検証結果と前記第１フラグが付与された画像に対する良否判定とを合わせた正答数に関する情報を表示可能に構成されている外観検査装置。
4. 請求項１から３のいずれか１つに記載の外観検査装置において、
   前記表示制御部は、複数の前記検証用の画像を前記表示部に一覧表示させ、
   前記入力部は、前記表示部に一覧表示された複数の前記検証用の画像の中から選択された画像に対して前記第１フラグまたは前記第２フラグの付与を受け付ける外観検査装置。
5. 請求項４に記載の外観検査装置において、
   前記表示制御部は、前記検証用の画像の中から、前記第１フラグと前記第２フラグの両方が付与されていない画像を選択して前記表示部に表示させる外観検査装置。
6. 請求項４または５に記載の外観検査装置において、
   前記表示制御部は、前記検証用の画像の中から、前記推論モデルが良否判定できなかった画像を選択して前記表示部に表示させる外観検査装置。
7. 請求項１から６のいずれか１つに記載の外観検査装置において、
   前記表示制御部は、良品画像であると判定された度数と不良品画像であると判定された度数とに基づく累積ヒストグラムを生成して前記表示部に表示可能に構成されている外観検査装置。
8. 請求項７に記載の外観検査装置において、
   前記表示制御部は、前記累積ヒストグラムを生成する際に前記第２フラグが付与された画像の度数を含めるか否かの選択可能なユーザーインターフェース画面を生成して前記表示部に表示させ、前記第２フラグが付与された画像の度数を含めることが選択された場合には、前記第２フラグが付与された画像の度数を含めて前記累積ヒストグラムを生成する一方、前記第２フラグが付与された画像の度数を含めないことが選択された場合には、前記第２フラグが付与された画像の度数を含めないで前記累積ヒストグラムを生成する外観検査装置。
9. 請求項１から８のいずれか１つに記載の外観検査装置において、
   前記機械学習ネットワークに学習用データを入力して学習させ、前記推論モデルを生成する学習部をさらに備えている外観検査装置。
10. 請求項１から９のいずれか１つに記載の外観検査装置において、
    前記入力部は、前記第１フラグが付与された不良品画像よりも不良品度合いが小さい検証用の画像に対して付与する第２フラグの入力を受け付け可能である外観検査装置。
11. 請求項１から１０のいずれか１つに記載の外観検査装置において、
    前記入力部は、前記第１フラグが付与された良品画像よりも良品度合いが小さい検証用の画像に対して付与する第２フラグの入力を受け付け可能である外観検査装置。
12. 機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査方法であって、
    学習処理後の推論モデルを記憶する記憶ステップと、
    前記推論モデルの良否判定性能を検証するための検証用の不良品画像または良品画像にそれぞれ不良品または良品であることを示す第１フラグを付与する第１フラグ付与ステップと、
    前記第１フラグが付与された不良品画像または良品画像よりも良否判定が難しい検証用の画像に対して付与する第２フラグの入力を受け付ける第２フラグ付与ステップと、
    前記第１フラグが付与された画像及び前記第２フラグが付与された画像を前記推論モデルに入力して、良否判定結果を得る検査ステップと、
    前記第２フラグが付与された画像に対する検証結果を、前記第１フラグが付与された画像に対する検証結果と区別して表示部に表示させる表示ステップとを備えている外観検査方法。

Images