JP2023077055A - 外観検査装置及び外観検査方法 - Google Patents

Abstract

【課題】不良品学習が必要に応じてスムーズに行えるようにする。【解決手段】外観検査装置は、不良箇所である可能性が高い領域を検出する検出処理と、検出された領域に基づいて不良箇所を自動的に特定し、特定した不良箇所をユーザに提示するとともに、不良箇所のユーザによる登録を受け付ける受付処理と、不良品画像を機械学習ネットワークに入力するとともに、受付処理で登録を受け付けた不良箇所が抽出されるように機械学習ネットワークのパラメータを調整する調整処理とを実行する。【選択図】図３

Description

本発明は、ワークの外観を検査する外観検査装置及び外観検査方法に関する。

例えば特許文献１には、コンピュータによる機械学習を用いて、ワークが良品であるか不良品であるかの判定を行う処理装置が開示されている。特許文献１の処理装置は、良品データを対象とした教師ありの機械学習を行って良品学習モデルを生成するとともに、不良品データを対象とした教師ありの機械学習を行って不良品学習モデルを生成した後、判定対象となるワークのデータを入力し、良品学習モデル及び不良品学習モデルによってワークが良品であるか不良品であるかの判定が行えるように構成されており、このような装置はワークの外観検査装置とも呼ばれている。

特開２０１９－２０４３２１号公報

ところで、不良品データを対象とした教師あり学習を行う場合、そのワークのどこが不良箇所であるかをユーザ自身が明示する作業、いわゆるアノテーションが必要になる。不良品学習によって生成された不良品学習モデルによる判定性能は、アノテーションを詳細に行うほど向上する傾向にあるので、アノテーションをより詳細に行いたい。

しかしながら、ワークの生産現場では不良品が殆ど発生しないので、不良品データを収集するのは難しい。また、収集した不良品データに対するアノテーションには手間がかかるので、不良品データの数が多ければ多いほどユーザの負担が増加する。

本開示は、かかる点に鑑みたものであり、その目的とするところは、不良品学習が必要に応じてスムーズに行えるようにすることにある。

上記目的を達成するために、本開示の一態様では、機械学習ネットワークを記憶する記憶部と、前記機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行うプロセッサとを備える外観検査装置を前提とすることができる。前記プロセッサは、不良箇所を有する不良品に対応する不良品画像を抽出するとともに、前記不良箇所である可能性が高い領域を検出する検出処理を実行する。また、前記プロセッサは、前記検出処理により検出された前記領域に基づいて、前記不良品画像内の前記不良箇所を自動的に特定し、特定した前記不良箇所をユーザに提示するとともに、前記不良箇所のユーザによる登録を受け付ける受付処理を実行する。また、前記プロセッサは、前記不良品画像を前記機械学習ネットワークに入力するとともに、前記受付処理で登録を受け付けた前記不良箇所が抽出されるように前記機械学習ネットワークのパラメータを調整する調整処理を実行する。さらに、前記プロセッサは、前記調整処理でパラメータが調整された前記機械学習ネットワークに前記ワーク画像を入力し、前記不良箇所が抽出されるか否かに基づいて、前記ワークの良否判定を行う検査処理とを実行する。

この構成によれば、検出処理において、不良品画像を抽出するとともに、前記不良箇所である可能性が高い領域を検出することができ、この検出処理は、例えば機械学習ネットワークを使用して実行してもよいし、機械学習ネットワークではない、いわゆるルールベースで実行してもよい。検出処理後、不良箇所である可能性が高い領域に基づいて、不良品画像内の不良箇所が自動的に特定されるので、ユーザが不良品画像の抽出及び不良箇所の特定を行わずに済む。特定された不良箇所はユーザに提示されるので、ユーザは不良箇所を確認しながら、必要に応じて不良箇所を登録でき、このとき仮に不良箇所が誤検出されている場合、すなわち不良箇所でないのに不良箇所であると検出されている場合には誤検出されている不良箇所を登録せずに済ませることができる。

不良箇所がユーザによって登録されると、その不良箇所が抽出されるように、不良品学習によって機械学習ネットワークのパラメータが調整されるので、機械学習ネットワークの検出能力がより一層高まる。従って、ユーザの手間が増加するのを抑えながら、不良品の取り逃がしが極めて少ない機械学習ネットワークが得られる。

他の態様に係るプロセッサは、前記検出処理の前に、良品に対応する良品画像を前記機械学習ネットワークに入力することにより、前記機械学習ネットワークのパラメータを調整する良品学習処理を実行することができる。

この構成によれば、良品学習処理によってパラメータが調整された機械学習ネットワークを用いてワークの良否判定を行っているときに不良品画像が抽出されると、不良品画像内の不良箇所を自動的に特定してユーザに提示することができる。これにより、不良品学習によって機械学習ネットワークのパラメータを再度調整して検出能力を高めることができる。

他の態様に係るプロセッサは、前記受付処理において、前記不良箇所である可能性が高い領域を示すマップ画像を生成して表示部に表示させることができる。

この構成によれば、ユーザにマップ画像を提示することができるので、不良箇所である可能性の高い領域の位置や大きさ、形状等をユーザが具体的に把握できる。

他の態様に係るプロセッサは、前記受付処理において、前記表示部に表示された前記マップ画像上の前記領域を自動的に特定し、特定した前記領域の調整指示をユーザから受け付けることができる。

この構成によれば、不良箇所である可能性の高い領域をマップ画像上で自動的に特定するので、ユーザの手間を軽減できる。この場合、前記領域が正確なものでないときには、ユーザが前記領域の位置や大きさ、形状等を調整することで、前記領域を実際の不良箇所に対応したものにすることができる。これにより、調整処理において機械学習ネットワークのパラメータを適切に調整できる。

他の態様に係るプロセッサは、前記検出処理で複数の不良品画像が抽出された場合、抽出された複数の不良品画像に対して、前記受付処理で一括してアノテーションを実行し、前記調整処理において、前記アノテーションが実行された不良品画像が抽出されるように前記機械学習ネットワークのパラメータを調整することができるので、ユーザの手間を軽減できる。

他の態様に係るプロセッサは、前記検出処理で複数の不良品画像が抽出された場合、抽出された複数の不良品画像を表示部に一覧表示させることができるので、各不良品画像に対してアノテーションが正しく行われているか否かをユーザが容易に確認できる。

他の態様に係るプロセッサは、前記検出処理において、不良品に対応する不良品画像であることを示すラベルが付与されているにも関わらず不良として判定されなかった場合、当該不良として判定されなかった画像を前記調整処理で前記機械学習ネットワークに入力するものである。この構成によれば、不良品の取り逃がしが起こらないように機械学習ネットワークの検出能力をさらに高めることができる。

他の態様に係るプロセッサは、前記受付処理において、前記不良箇所のユーザによる登録を受け付けると、前記不良箇所である可能性が高い領域を抽出し、抽出した前記不良箇所である可能性が高い領域を囲む枠を生成するとともに、前記不良箇所である可能性が高い領域に対して領域抽出アルゴリズムを用いて詳細に抽出した領域をアノテーション領域とし、前記不良画像、前記不良箇所である可能性が高い領域、抽出した前記不良箇所である可能性が高い領域を囲む枠及び前記詳細に抽出した領域を表示装置に表示させてユーザによる登録を受け付け、前記調整処理において、前記アノテーション領域が抽出されるように前記機械学習ネットワークのパラメータを調整することができる。この構成によれば、領域抽出アルゴリズムを用いることで、自動的にアノテーションを実行することができる。

以上説明したように、抽出した不良品画像の不良箇所である可能性が高い領域に基づいて自動的に特定した不良箇所をユーザに提示して不良箇所のユーザによる登録を受け付け、登録を受け付けた不良箇所が抽出されるように機械学習ネットワークのパラメータを調整することができるので、例えば良品学習後に不良品学習へ移行する際にその移行をスムーズに行うことができる。

本発明の実施形態に係る外観検査装置の構成を示す模式図である。 前記外観検査装置のハードウエア構成を示すブロック図である。 前記外観検査装置が実行する処理の一例を示す制御フローチャートである。 良品学習処理を説明する図である。 前記外観検査装置に表示されるユーザーインターフェースの一例を示す図である。 マップ画像の一例を示す図である。 マップ画像、不良箇所の抽出画像、調整後画像及びアノテーション後画像の遷移を示す図である。 外観検査装置の運用時の手順の一例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。

図１は、本発明の実施形態に係る外観検査装置１の構成を示す模式図である。外観検査装置１は、例えば各種部品や製品等のような検査対象であるワークを撮像して取得されたワーク画像の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。具体的には、外観検査装置１の内部には機械学習ネットワークが構築されており、この機械学習ネットワークは、良品に対応する良品画像と、不良品に対応する不良品画像とを学習することにより生成されている。生成された機械学習ネットワークに、検査対象のワークを撮像したワーク画像を入力し、当該ワーク画像の良否判定を機械学習ネットワークによって行うことができるようになっている。

ワークは、それ全体が検査対象であってもよいし、ワークの一部のみが検査対象であってもよい。また、１つのワークに複数の検査対象が含まれていてもよい。また、ワーク画像には、複数のワークが含まれていてもよい。

外観検査装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示部）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ５を使用して各種情報や画像を表示させることもできるし、パーソナルコンピュータ５の機能を制御ユニット２に組み込むことや、表示装置４に組み込むことができる。

図１では、外観検査装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。

（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３を備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。

照明モジュール１５は、ワークを含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５１と、ＬＥＤ１５１を制御するＬＥＤドライバ１５２とを備えている。ＬＥＤ１５１による発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５２によって任意に制御することができる。ＬＥＤ１５１は、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。

（表示装置４の構成）
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有している。制御ユニット２から出力されたワーク画像やユーザーインターフェース画像等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。

（操作機器）
外観検査装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。

キーボード５１やマウス５２のユーザによる操作は制御ユニット２で検出可能になっている。また、タッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、ユーザのタッチ操作は制御ユニット２で検出可能になっている。他のポインティングデバイスを用いた場合も同様である。

（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、プロセッサ１３ａが設けられている。プロセッサ１３ａは、接続されている各基板及びモジュールの動作を制御する。例えば、プロセッサ１３ａは、照明モジュール１５のＬＥＤドライバ１５２に対してＬＥＤ１５１の点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５２は、プロセッサ１３ａからの照明制御信号に応じて、ＬＥＤ１５１の点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５１の光量等を調整する。

また、プロセッサ１３ａは、カメラモジュール１４の撮像基板１４２に、ＣＭＯＳセンサ１４３を制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４３は、プロセッサ１３ａからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、プロセッサ１３ａから出力される撮像制御信号に応じてＣＭＯＳセンサ１４３の視野範囲内を撮像し、視野範囲内にワークがあれば、ワークを撮像することになるが、ワーク以外の物が視野範囲内にあれば、それも撮像することができる。例えば、外観検査装置１は、機械学習ネットワークの学習用の画像として、撮像ユニット３により、良品に対応する良品画像と不良品に対応する不良品画像とを撮像することができる。学習用の画像は、撮像ユニット３で撮像された画像でなくてもよく、他のカメラ等で撮像された画像であってもよい。

一方、外観検査装置の運用時には、撮像ユニット３により、ワークを撮像することができる。また、ＣＭＯＳセンサ１４３は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。

ＣＭＯＳセンサ１４３による撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のプロセッサ１３ａに入力されて処理されるとともに、メイン基板１３のメモリ１３ｂに記憶されるようになっている。メイン基板１３のプロセッサ１３ａによる具体的な処理内容の詳細については後述する。尚、メイン基板１３には、ＦＰＧＡやＤＳＰ等の処理装置が設けられていてもよい。ＦＰＧＡやＤＳＰ等の処理装置が統合されたプロセッサ１３ａであってもよい。

コネクタ基板１６は、電源インターフェース１６１に設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４１に駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３のプロセッサ１３ａからのＡＦ制御信号に応じて、ＡＦ用モータ１４１に供給する電力を調整する。

通信基板１７は、メイン基板１３と表示装置４及びパーソナルコンピュータ５との通信、メイン基板１３と外部制御機器（図示せず）との通信等を実行する部分である。外部制御機器は、例えばプログラマブルロジックコントローラ等を挙げることができる。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。

制御ユニット２には、例えばソリッドステートドライブ、ハードディスクドライブ等からなる記憶装置（記憶部）１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。プログラムファイル８０は、外部サーバから通信回線を利用してダウンロードされるものであってもよい。また、記憶装置１９には、例えば、上記画像データや、外観検査装置１の機械学習ネットワークを構築するためのパラメータ等を記憶させておくこともできる。

すなわち、外観検査装置１のプロセッサ１３ａは、記憶装置１９に記憶されたパラメータ等を読み出して機械学習ネットワークを構築し、構築した機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力されたワーク画像に基づいてワークの良否判定を行うように構成されている。この外観検査装置１を使用することで、ワーク画像に基づいてワークの良否判定を行う外観検査方法を実行できる。

（制御フローチャート）
次に、図３に示すフローチャートに基づいて外観検査装置１が実行する処理について説明する。スタート後のステップＳＡ１では、未学習の機械学習ネットワークを用意する。未学習の機械学習ネットワークは、例えば、パラメータの初期値が無作為に決定されたものである。ステップＳＡ２では、プロセッサ１３ａが良品に対応する良品画像を取得する。ここで取得する良品画像は、図４に示すように良品のワークＷを含む良品画像２００であり、カラー画像であってもよいし、白黒画像であってもよい。例えば、撮像ユニット３のカメラモジュール１４で良品のワークＷを撮像することで、良品画像２００を取得することができる。良品画像２００は、１枚だけ取得してもよいし、異なる良品を撮像することによって複数枚取得してもよい。取得した良品画像２００は、例えば記憶装置１９に記憶しておく。

その後、図３に示すフローチャートのステップＳＡ３に進んでプロセッサ１３ａが良品学習処理を実行する。図４に示すように、良品学習処理では、良品に対応する良品画像２００を機械学習ネットワークに入力することにより、機械学習ネットワークのパラメータを調整する。良品学習処理では、複数の良品画像２００を機械学習ネットワークに入力し、機械学習ネットワークから出力される出力画像に基づいた判定結果が良品となるように、機械学習ネットワークのパラメータを調整していく。判定結果がある程度の正確性を持つようなった段階で良品学習処理を終了する。

このように、アノテーションが不要かつ簡単に多くの枚数を収集可能な良品画像２００を使用した良品学習から始めるユーザが多い。その理由は、ステップＳＡ３の良品学習のみで外観検査を始めても全く対応できないケースは少なく、大部分の不良品判定が正確に行えるからである。しかし、取り逃がしてしまう僅かな不良品に対しても取り逃がさないように、機械学習ネットワークの検出能力を向上させたい場合には、不良品学習が必要になる。以下、不良品学習への移行について詳しく説明する。

ステップＳＡ３で良品学習処理が終了するとステップＳＡ４に進む。尚、ステップＳＡ３の良品学習処理を実行することなく、ステップＳＡ１からＳＡ４へ直接移行してもよい。ステップＳＡ４では、プロセッサ１３ａがワーク画像を機械学習ネットワークに入力する。具体的には、検査対象のワークを撮像ユニット３で撮像してワーク画像を取得した後、取得したワーク画像を、ステップＳＡ３で良品学習処理が終了した機械学習ネットワーク、または良品学習処理を行っていない機械学習ネットワークに入力する。

ワーク画像は、例えば記憶装置１９に記憶しておいてもよく、この場合、記憶装置１９から読み出したワーク画像を機械学習ネットワークに入力する。ワーク画像には、良品を撮像した画像、即ち良品に対応する良品画像と、不良品を撮像した不良品画像との両方が含まれている。不良品画像は、不良箇所を有する不良品に対応する画像であることから、良否画像とは異なる特徴を有している。

ステップＳＡ３では、プロセッサ１３ａが、例えば図５に一例として示すようなユーザーインターフェース３００を生成して表示装置４に表示させる。ユーザーインターフェース３００は表示装置４に表示されるものであることから、ユーザーインターフェース３００に表示される各種画像等はそのまま表示装置４に表示されることになる。

ユーザーインターフェース３００には良品画像表示領域３０１が設けられている。良品画像表示領域３０１には、複数の良品画像２００の表示が可能になっている。例えば、記憶装置１９に記憶されている複数の良品画像２００を読み込んで良品画像表示領域３０１に表示させることができる。さらに、良品画像表示領域３０１には、表示されている各良品画像２００に対応して選択部３０１ａが設けられている。選択部３０１ａは、チェックボックスのようにユーザによって操作可能な部分である。ユーザが選択部３０１ａを操作すると、対応する良品画像２００が選択されたことを示す目印が当該選択部３０１ａに表示される。プロセッサ１３ａは、選択された良品画像２００のみ機械学習ネットワークに入力する。尚、良品画像表示領域３０１に表示されている良品画像２００の全てを一括して選択可能な選択部（図示せず）が設けられていてもよいし、良品画像表示領域３０１に表示されている良品画像２００の一部を無作為に選択可能な選択部（図示せず）が設けられていてもよい。また、ユーザの選択操作によらず、良品画像表示領域３０１に表示されている良品画像２００の全てを機械学習ネットワークに入力してもよい。

その後、ステップＳＡ５に進む。ステップＳＡ５では、プロセッサ１３ａが、不良箇所を有する不良品に対応する不良品画像を抽出するとともに、不良箇所である可能性が高い領域を検出する検出処理を実行する。この検出処理は、外観検査方法の検出ステップに相当する。検出処理は、機械学習ネットワークを使用して実行することもできるし、機械学習ネットワークを使用しないで実行することもできる。機械学習ネットワークを使用しないで検出処理を実行する場合、例えば各種ルールベースの方法であってもよく、ルールベースの方法であっても、不良箇所である可能性が高い領域を検出することができる。

例えば、色抽出アルゴリズム等を用いて不良箇所と類似している色の箇所のみを、不良箇所である可能性が高い領域として抽出することができる。この場合、ノイズとなる細かい領域は所定の面積閾値を予め設定しておき、当該閾値以下の面積を持つ部分は除外する。そして、残った領域に対して例えばＧｒａｂＣｕｔ等のアルゴリズムを用いてアノテーション領域を抽出する。また、色抽出アルゴリズム以外にも、例えばエッジやコントラスト等の特徴量を用いた不良箇所の抽出手法を用いることができる。これらの特徴量が周囲と大きく異なる部分を異常があるとし、不良箇所である可能性が高い領域として抽出できる。

以下の説明では、機械学習ネットワークを使用して検出処理を実行する場合について説明する。

具体的には、図４に示すような良品画像２００がワーク画像として機械学習ネットワークに入力されると、当該ワーク画像は良品であると判定するが、図６に示すような不良品ワークＷ１を撮像した不良品画像２０１が入力されると、不良品ワークＷ１が有する不良箇所Ｗａが、不良箇所である可能性が高い領域として検出される。不良箇所である可能性が高い領域は、説明の便宜上、符号２１０で示す長円形状の枠で囲んだ領域として示している。具体的には、プロセッサ１３ａが、不良箇所である可能性が高い領域を抽出した後、その不良箇所である可能性が高い領域を囲む枠２１０を生成する。

詳細は後述するが、不良箇所である可能性が高い領域に対して領域抽出アルゴリズムを用いて詳細に抽出した領域をアノテーション領域とする。アノテーション領域を取得した後、プロセッサ１３ａは、不良画像、不良箇所である可能性が高い領域、枠２１０及び領域抽出アルゴリズムで詳細に抽出した領域を表示装置４に表示させてユーザによる登録を受け付けることができる。

以下、符号２１０で示す長円形状の枠で囲んだ領域を第１領域２１０ａと呼ぶ。第１領域２１０ａが検出されると、そのワーク画像は不良品画像２０１であるとしてプロセッサ１３ａが抽出する。

機械学習ネットワークは、不良品画像２０１の不良箇所Ｗａに対しては強く反応し、不良箇所Ｗａの近傍に対しては相対的に弱く反応する特性を持っている。第１領域２１０ａは、不良箇所Ｗａに対して強く反応した領域である。第１領域２１０ａの外側でかつ不良箇所Ｗａに対して相対的に弱く反応した領域も、不良箇所である可能性が高い領域として含まれてもよく、この場合、説明の便宜上、符号２１１で示す長円形状の枠で囲んだ領域として示している。以下、符号２１１で示す長円形状の枠で囲んだ領域（相対的に弱く反応した領域）を第２領域２１１ａと呼ぶ。尚、第２領域２１１ａは、不良箇所である可能性が高い領域として含まれなくてもよい。

図５に示すユーザーインターフェース３００には、不良品画像表示領域３０２が設けられている。プロセッサ１３ａは、不良箇所である可能性が高い領域を有する画像は不良品画像２０１であるとして、不良品画像表示領域３０２に表示させる。複数の不良品画像２０１が抽出された場合、プロセッサ１３ａは、抽出された複数の不良品画像２０１を不良品画像表示領域３０２に表示する。

図６に示す不良品画像２０１では、第１領域２１０ａと第２領域２１１ａとが互いに異なる色で着色されている。例えば、第１領域２１０ａを赤色に着色した場合には、第２領域２１１ａを黄色等に着色して第１領域２１０ａと第２領域２１１ａとを明確に区別できるようにする。このようにして、プロセッサ１３ａは、ステップＳＡ６において、不良箇所である可能性が高い領域（第１領域２１０ａ及び第２領域２１１ａ）を示すマップ画像２０２を生成する。生成されたマップ画像の例を図７に「マップ画像」として示す。図７では、不良箇所である可能性が高い領域として３つの領域が示されている。

図５に示すユーザーインターフェース３００には、マップ画像表示領域３０３が設けられている。プロセッサ１３ａは、マップ画像２０２を生成した後、マップ画像表示領域３０３にマップ画像２０２を表示させる。プロセッサ１３ａは、ステップＳＡ７において、機械学習ネットワークが抽出した第１領域２１０ａ及び第２領域２１１ａに基づいて、不良品画像２０１内の不良箇所Ｗａを自動的に特定できる。マップ画像２０２には、プロセッサ１３ａが自動的に特定した不良箇所Ｗａが第１領域２１０ａ及び第２領域２１１ａとして表示されている。これにより、プロセッサ１３ａは、ステップＳＡ８において、特定した不良箇所Ｗａを、表示装置４を介してユーザに提示する。図７では、「不良箇所の抽出」の画像として示しており、不良箇所である可能性が高い３つの領域をそれぞれ矩形の枠で囲んで示している。

次いで、ステップＳＡ９では、ユーザがユーザーインターフェース３００のマップ画像表示領域３０３に表示されているマップ画像２０２を見て、不良箇所Ｗａを確認するか否か判定する。ユーザが不良箇所Ｗａを確認する場合にはＹＥＳであるため、ステップＳＡ１０に進む一方、ユーザが不良箇所Ｗａを確認しない場合にはＮＯであるため、ステップＳＡ１１に進む。ユーザが不良箇所Ｗａを確認するか否かは、ユーザによる設定操作や選択操作に基づいて判定でき、例えば、ユーザが不良箇所Ｗａを確認するという設定操作や選択操作が行われている場合には、プロセッサ１３ａがＹＥＳと判定する一方、ユーザが不良箇所Ｗａを確認しないという設定操作や選択操作が行われている場合には、プロセッサ１３ａがＮＯと判定する。

ステップＳＡ９でＹＥＳと判定された場合、ユーザはマップ画像２０２に基づいて不良箇所Ｗａの位置や形状を把握できるので、不良品ワークＷ１のどこに、どのような不良箇所Ｗａがあるかを容易に確認できる。尚、機械学習ネットワークが不良箇所Ｗａであると抽出している部分が実際には不良箇所でない場合、即ち誤検出の場合もあり得るので、ユーザによる確認を行うことで、誤検出の有無も判断できる。誤検出の場合には、良品画像２００として機械学習ネットワークに入力し、学習に使用してもよい。

ユーザが不良箇所Ｗａを確認する場合、ステップＳＡ１０に進むと、プロセッサ１３ａは、不良箇所である可能性が高いとして特定した領域の調整指示をユーザから受け付ける。例えば、不良箇所である可能性が高いとして特定した領域が実際の不良箇所よりも大きな場合、当該領域を実際の不良箇所と同程度の大きさとなるまで縮小する。図７の「不良箇所の調整」の画像として示す例は、不良箇所である可能性が高いとして特定した領域が実際の不良箇所よりも大きかったので、枠を縮小している。また、他の２つの領域については、不良箇所ではなかったので、枠を削除している。

また、不良箇所である可能性が高いとして特定した領域が実際の不良箇所の一部を含んでいない場合、当該領域を実際の不良箇所の全てが含まれる形状及び大きさとなるまで修正する。また、不良箇所である可能性が高いとして特定した領域が実際の不良箇所よりも小さな場合、当該領域を実際の不良箇所と同程度の大きさとなるまで拡大する。また、不良箇所である可能性が高いとして特定した領域の位置が実際の不良箇所からずれている場合、当該領域の位置を変更する。また、不良箇所である可能性が高いとして特定した領域が、実際には不良箇所でない場合には、当該領域を削除する。削除するか否かの判断はユーザが行うことになるが、機械学習ネットワークで不良箇所として抽出された各領域の反応の強さは数値化されているので、プロセッサ１３ａは、複数の領域が抽出された場合に、当該複数の領域を反応の弱い順または強い順に並べてユーザに提示できる。これにより、削除するか否かの判断が容易に行えるようになる。

本明細書では、上述した領域の縮小、拡大、修正、変更、削除等を「領域の調整」というものとする。尚、領域の調整の必要が無ければ、ステップＳＡ１０を省略すればよい。

ステップＳＡ４～ＳＡ９は、ループ処理によって複数回行うことができる。複数回行う際、不良品画像が抽出される都度、ステップＳＡ９でユーザが確認してステップＳＡ１０において領域の調整指示を受け付ける。つまり、ユーザは、不良品画像２０１を１枚１枚確認し、必要に応じて調整指示を行えばよいので、全ての不良品画像２０１をユーザ自身が初めからアノテーションする場合に比べて負担を軽減できる。図７には、「アノテーション完了」の画像として詳細に抽出した領域をアノテーション領域とした画像が示されている。

このようにして、複数の不良品画像が収集された場合には、プロセッサ１３ａが、図５に示すユーザーインターフェース３００の不良品画像表示領域３０２に複数の不良品画像２０１を表示させる。このとき、複数の不良品画像２０１が一覧表示されるので、ユーザは複数の不良品画像２０１を容易に確認できる。尚、不良品画像２０１の数が多く、全ての不良品画像２０１を不良品画像表示領域３０２に一度に表示できない場合には、一部の不良品画像２０１のみ表示しておき、スクロールによって他の不良品画像２０１を閲覧可能にしてもよい。

ステップＳＡ１２では、不良品画像表示領域３０２に表示されている不良品画像２０１の不良箇所の登録をユーザから受け付ける。具体的には、プロセッサ１３ａが、図５に示すユーザーインターフェース３００に一括アノテーションボタン３０４を表示させておく。ユーザが一括アノテーションボタン３０４を操作したことを、プロセッサ１３ａが検出すると、不良品画像表示領域３０２に表示されている複数の不良品画像２０１の不良箇所が登録される。つまり、抽出された複数の不良品画像２０１に対して、一括してアノテーションを実行することができる。尚、抽出された複数の不良品画像２０１のうち、一部の不良品画像２０１の不良箇所のみ登録してもよく、この場合は、図示しないが個別にアノテーション可能なボタン等をユーザーインターフェース３００に設けておけばよい。

ステップＳＡ１１では、アノテーションを完了させる。その手法について一例を説明すると、まず、図６に示すように、不良箇所である可能性が高い第１領域２０１ａ及び第２領域２１１ａを囲む枠３１０を生成する。枠３１０の形状は矩形状に限られるものではなく、第１領域２０１ａ及び第２領域２１１ａを囲む形状であればどのような形状であってもよく、第２領域２１１ａの外形に沿った形状であってもよい。

枠３１０を生成した後、枠３１０内の領域に対して領域抽出アルゴリズムを用いて領域抽出を実行する。領域抽出アルゴリズムは、どのようなアルゴリズムを用いてもよいが、例えばＧｒａｂＣｕｔ等のアルゴリズムを用いることができる。ＧｒａｂＣｕｔアルゴリズムによって抽出された領域は、不良箇所のみであり、不良箇所の周囲の領域が抽出されないので、不良箇所の精密指定が自動的に行われる。これにより、ユーザの負担を軽減できる。

ただし、ＧｒａｂＣｕｔアルゴリズムの場合、不良箇所の精密指定が失敗する場合があり、この場合、不良箇所の周囲の領域まで含まれてしまう。このような場合、ＧｒａｂＣｕｔアルゴリズムの実行後、ストローク修正を行うか、クリック修正を行うことにより、前景背景をユーザが細かく指定していき、ＧｒａｂＣｕｔによって自動抽出された領域の形状の修正を受け付けることができるようにしてもよい。領域抽出アルゴリズムを用いて抽出した領域は、プロセッサ１３ａがアノテーション領域として登録しておく。尚、枠３１０の生成、領域抽出アルゴリズムの実行、アノテーション領域の登録は、ユーザによるストローク修正やクリック修正を伴わない場合には、バックグラウンドで行うことができる。

尚、第１領域２０１ａ及び第２領域２１１ａを囲む枠３１０をユーザが生成してもよい。一例として、矩形状の枠３１０を生成する際には、例えば左上の頂点に対応する位置にマウス５２のポインタを置いて斜め右下にドラッグすることで、所望の位置に所望の大きさ及び形状の枠３１０を生成できる。枠３１０の大きさや位置はマウス５２の操作によって変更可能になっている。また、図示しないが、３つの点を指定して円形の枠を生成してもよいし、任意の複数の点を指定し、この点を繋ぐ形状の枠を生成してもよいし、自由形状の枠を生成してもよい。上記ステップＳＡ６～ＳＡ１２で構成される処理が受付処理である。この受付処理は、外観検査方法の受付ステップに相当する。

アノテーション領域の登録後、ステップＳＡ１３に進む。ステップＳＡ１３では、アノテーション領域が登録された不良品画像２０１を機械学習ネットワークに入力するとともに、登録を受け付けた不良箇所が抽出されるように機械学習ネットワークのパラメータを調整する調整処理を実行する。この調整処理は、不良品画像２０１を使用した不良品学習処理であり、外観検査方法の調整ステップに相当する。調整処理では、プロセッサ１３ａが、アノテーション領域が抽出されるように、即ちステップＳＡ１１でアノテーションが実行された不良品画像２０１が抽出されるように機械学習ネットワークのパラメータを調整する。

調整処理の後、ステップＳＡ１４に進み、ステップＳＡ１３で調整されたパラメータを記憶装置１９に記憶する。

図５に示すように、ユーザーインターフェース３００には、学習結果表示領域３０５が設けられている。学習結果表示領域３０５には、プロセッサ１３ａが生成した累積ヒストグラムを表示する。プロセッサ１３ａは、判定結果として、良品画像であると判定された度数と不良品画像であると判定された度数とを取得する。良品画像であると判定された度数と不良品画像であると判定された度数とに基づいて上記累積ヒストグラムを生成する。ユーザは、累積ヒストグラムにおいて良品画像の領域（図中にＯＫと記載された領域）と不良品画像の領域（図中にＮＧと記載された領域）とが分離できているか否かを判断できる。良品画像の領域と不良品画像の領域とが分離できていない場合には、機械学習ネットワークの推論性能が不十分であると考えられるので、不良品学習処理を実行することで、機械学習ネットワークの推論性能を向上させる。一方、良品画像の領域と不良品画像の領域とが分離できている場合には、機械学習ネットワークの推論性能が十分であると考えられる。

その後、ステップＳＡ１５の検査処理に移行する。検査処理は、外観検査方法の検査ステップに相当しており、ステップＳＡ１３の調整処理でパラメータが調整された機械学習ネットワークにワーク画像を入力し、不良箇所が抽出されるか否かに基づいて、ワークの良否判定を行う。不良箇所が抽出されなければ、そのワーク画像のワークは良品であると判定する一方、不良箇所が抽出されれば、そのワーク画像のワークは不良品であると判定する。良否判定の結果は、プロセッサ１３ａが表示装置４に表示させるとともに、記憶装置１９に記憶させる。

検査処理は、外観検査装置１の運用時に行ってもよいし、外観検査装置１の設定時に行ってもよい。外観検査装置１の運用時に検査処理を行う場合には、外観検査装置１の運用時に取得されるワーク画像を機械学習ネットワークに入力すればよい。また、外観検査装置１の設定時に検査処理を行う場合には、予め用意している検査用画像を機械学習ネットワークに入力すればよい。

プロセッサ１３ａは、検出処理において、不良品に対応する不良品画像２０１であることを示すラベルが付与されているにも関わらず、その不良品画像２０１が不良として判定されなかった場合、当該不良として判定されなかった不良品画像２０１を調整処理で機械学習ネットワークに入力する。すなわち、機械学習ネットワークの学習を行う際には、良品画像２００には良品であることを示す良品ラベルが、不良品画像２０１には不良品であることを示す不良品ラベルがそれぞれ付与されている。不良品ラベルが付与されている不良品画像２０１を機械学習ネットワークに入力したとき、第１領域２１０ａや第２領域２１１ａが抽出されないケースがあり得る。このような不良品画像２０１は、良品学習では抽出できない不良箇所を有する不良品画像２０１である。良品学習では抽出できない不良箇所を有する不良品画像２０１は、表示装置４に表示させることで、ユーザにアノテーションを促すことができる。ユーザがアノテーションを実行した後、ステップＳＡ１３に進んで機械学習ネットワークの当該画像を入力し、機械学習ネットワークのパラメータを調整する。

（機械学習ネットワークの学習の具体的な方法）
次に、機械学習ネットワークの学習の具体的な方法の一例について説明する。例えば、Ｌｏｓｓ関数を最小化することで機械学習ネットワークの学習を行うことができる。Ｌｏｓｓの定義は様々であるが、Mean Square Error（ＭＳＥ）を例して挙げることができる。

ここで、Ｔは目標異常度マップ、０は出力画像（異常度マップ）、ｎは画像Ｔが０の画素数、ｘ、ｙは画素位置である。尚、Binary Cross EntropyなどのＬｏｓｓ関数も使用可能である。以上はあくまでも例示であり、機械学習ネットワークの学習方法は、これらの方法に限られるものではない。

（外観検査装置１の運用時）
次に、外観検査装置１の運用時について、図８に示すフローチャートに基づいて説明する。スタート後のステップＳＣ１では、プロセッサ１３ａが、記憶装置１９に記憶されているパラメータ等を読み込んで学習済みの機械学習ネットワークを用意する。ステップＳＣ２では、検査対象のワークを撮像ユニット３で撮像してワーク画像を取得する。その後、ステップＳＣ３に進み、ステップＳＣ２で取得したワーク画像をステップＳＣ１で用意した機械学習ネットワークに入力する。

次いで、ステップＳＣ４では、機械学習ネットワークがステップＳＣ３で入力されたワーク画像の推論処理を実行する。その後、ステップＳＣ５では、機械学習ネットワークが推論処理の結果としてマップ画像を出力する。

しかる後、ステップＳＣ６では、ステップＳＣ５で出力されたマップ画像に基づいてワークの良否判定を行う。ステップＳＣ２～ＳＣ６は、ワークが変わる都度、実行することができる。

（実施形態の作用効果）
以上説明したように、この実施形態によれば、プロセッサ１３ａがワーク画像を機械学習ネットワークに入力すると不良品画像２０１を抽出することができ、図６に示すように、不良品画像２０１中、不良箇所である可能性が高い領域２１０ａ、２１１ａが検出される。不良箇所である可能性が高い領域２１０ａ、２１１ａに基づいて、不良品画像２０１内の不良箇所Ｗａが自動的に特定されるので、ユーザが不良品画像２０１の抽出及び不良箇所Ｗａの特定を行わずに済む。特定された不良箇所Ｗａは表示装置４によってユーザに提示されるので、ユーザは不良箇所Ｗａを確認しながら、必要に応じて不良箇所Ｗａを登録できる。不良箇所Ｗａが登録されると、その不良箇所Ｗａが抽出されるように、不良品学習によって機械学習ネットワークのパラメータが調整されるので、良品学習のみで学習した場合に比べて検出能力がより一層高まる。従って、ユーザの手間が増加するのを抑えながら、不良品の取り逃がしが極めて少ない機械学習ネットワークが得られる。

上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

以上説明したように、本発明は、ワークの外観を検査する場合に利用できる。

１ 外観検査装置
１３ａ プロセッサ

Claims (9)

1. 機械学習ネットワークを記憶する記憶部と、前記機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行うプロセッサとを備える外観検査装置であって、
   前記プロセッサは、
   不良箇所を有する不良品に対応する不良品画像を抽出するとともに、前記不良箇所である可能性が高い領域を検出する検出処理と、
   前記検出処理により検出された前記領域に基づいて、前記不良品画像内の前記不良箇所を自動的に特定し、特定した前記不良箇所をユーザに提示するとともに、前記不良箇所のユーザによる登録を受け付ける受付処理と、
   前記不良品画像を前記機械学習ネットワークに入力するとともに、前記受付処理で登録を受け付けた前記不良箇所が抽出されるように前記機械学習ネットワークのパラメータを調整する調整処理と、
   前記調整処理でパラメータが調整された前記機械学習ネットワークに前記ワーク画像を入力し、前記不良箇所が抽出されるか否かに基づいて、前記ワークの良否判定を行う検査処理とを実行可能に構成された外観検査装置。
2. 請求項１に記載の外観検査装置において、
   前記プロセッサは、前記検出処理の前に、良品に対応する良品画像を前記機械学習ネットワークに入力することにより、前記機械学習ネットワークのパラメータを調整する良品学習処理を実行可能に構成された外観検査装置。
3. 請求項１または２に記載の外観検査装置において、
   前記プロセッサは、前記受付処理において、前記不良箇所である可能性が高い領域を示すマップ画像を生成して表示部に表示させる外観検査装置。
4. 請求項３に記載の外観検査装置において、
   前記プロセッサは、前記受付処理において、前記表示部に表示された前記マップ画像上の前記領域を自動的に特定し、特定した前記領域の調整指示をユーザから受け付ける外観検査装置。
5. 請求項１から４のいずれか１つに記載の外観検査装置において、
   前記プロセッサは、
   前記検出処理で複数の不良品画像が抽出された場合、抽出された複数の不良品画像に対して、前記受付処理で一括してアノテーションを実行し、
   前記調整処理において、前記アノテーションが実行された不良品画像が抽出されるように前記機械学習ネットワークのパラメータを調整する外観検査装置。
6. 請求項５に記載の外観検査装置において、
   前記プロセッサは、前記検出処理で複数の不良品画像が抽出された場合、抽出された複数の不良品画像を表示部に一覧表示させる外観検査装置。
7. 請求項１から６のいずれか１つに記載の外観検査装置において、
   前記プロセッサは、前記検出処理において、不良品に対応する不良品画像であることを示すラベルが付与されているにも関わらず不良として判定されなかった場合、当該不良として判定されなかった画像を前記調整処理で前記機械学習ネットワークに入力する外観検査装置。
8. 請求項１から７のいずれか１つに記載の外観検査装置において、
   前記プロセッサは、
   前記受付処理において、前記不良箇所のユーザによる登録を受け付けると、前記不良箇所である可能性が高い領域を抽出し、抽出した前記不良箇所である可能性が高い領域を囲む枠を生成するとともに、前記不良箇所である可能性が高い領域に対して領域抽出アルゴリズムを用いて詳細に抽出した領域をアノテーション領域とし、前記不良画像、前記不良箇所である可能性が高い領域、抽出した前記不良箇所である可能性が高い領域を囲む枠及び前記詳細に抽出した領域を表示装置に表示させてユーザによる登録を受け付け、
   前記調整処理において、前記アノテーション領域が抽出されるように前記機械学習ネットワークのパラメータを調整する外観検査装置。
9. 機械学習ネットワークに検査対象のワークを撮影したワーク画像を入力し、入力された前記ワーク画像に基づいてワークの良否判定を行う外観検査方法であって、
   不良箇所を有する不良品に対応する不良品画像を抽出するとともに、前記不良箇所である可能性が高い領域を検出する検出ステップと、
   前記検出ステップで検出された前記領域に基づいて、前記不良品画像内の前記不良箇所を自動的に特定し、特定した前記不良箇所をユーザに提示するとともに、前記不良箇所のユーザによる登録を受け付ける受付ステップと、
   前記不良品画像を前記機械学習ネットワークに入力するとともに、前記受付ステップで登録を受け付けた前記不良箇所が抽出されるように前記機械学習ネットワークのパラメータを調整する調整ステップと、
   前記調整ステップでパラメータが調整された前記機械学習ネットワークに前記ワーク画像を入力し、前記不良箇所が抽出されるか否かに基づいて、前記ワークの良否判定を行う検査ステップとを備えている外観検査方法。

Images