JP2022150065A - 検査装置、コンピュータプログラム、および、検査方法 - Google Patents

Abstract

【課題】機械学習モデルを用いて対象物が良品であるか否かを精度良く判定する。
【解決手段】対象物の外観を検査する検査装置は、対象物の外観を含む撮像画像を示す入力画像データを学習済みモデルに入力することによって、撮像画像に対応する出力画像を示す出力画像データを生成する生成部と、出力画像データを用いて、線状領域の所定の特徴に関する特徴量を特定する特徴特定部と、線状領域の特徴量に基づいて、対象物が良品であるか否かを判定する良否判定部と、を備える。学習済みモデルは、撮像画像内の対象物が線状のキズを含む場合に、出力画像が線状のキズを示す線状領域を示すようにトレーニングされた機械学習モデルである。
【選択図】 図３

Description

本明細書は、機械学習モデルを用いて対象物の外観を検査する技術に関する。

特許文献１に開示された検査装置は、学習済みの推定器を利用して製品の良否を判定する。推定器は、製品の写る画像データが入力されると、製品に含まれる欠陥の種別および範囲を推定した結果を示す出力値を出力する。検査装置は、出力値が製品に欠陥が含まれることを示す場合に製品は良品ではないと判定し、出力値が製品に欠陥が含まれないことを示す場合に製品は良品であると判定する。

特開２０２０－６０８７９号公報 特開２０２０－９８５８８号公報

しかしながら、対象物（例えば製品）の外観に線状のキズが含まれる場合に、必ずしも対象物が良品ではないとは限らない。このために、上記技術では、対象物が良品であるか否かを精度良く判定できない可能性があった。

本明細書は、機械学習モデルを用いて対象物が良品であるか否かを精度良く判定できる技術を開示する。

本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］対象物の外観を検査する検査装置であって、前記対象物の外観を含む撮像画像を示す入力画像データを学習済みモデルに入力することによって、前記撮像画像に対応する出力画像を示す出力画像データを生成する生成部であって、前記学習済みモデルは、前記撮像画像内の前記対象物が線状のキズを含む場合に、前記出力画像が線状のキズを示す線状領域を示すようにトレーニングされた機械学習モデルである、前記生成部と、前記出力画像データを用いて、前記線状領域の所定の特徴に関する特徴量を特定する特徴特定部と、前記線状領域の前記特徴量に基づいて、前記対象物が良品であるか否かを判定する良否判定部と、を備える、検査装置。

上記構成によれば、機械学習モデルを用いて生成される出力画像データを用いて線状のキズを示す線状領域を特定し、線状領域の特徴量に基づいて、対象物が良品であるか否かを判定するので、機械学習モデルを用いて対象物が良品であるか否かを精度良く判定することができる。

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、検査装置、検査方法、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

本実施例の検査システム１０００の構成を示すブロック図。 生成ネットワークＧＮの構成を示すブロック図。 第１実施例の検査処理のフローチャート。 検査処理で用いられる画像の一例を示す図。 第１実施例の検査処理において実行される画像処理の説明図。 トレーニング装置２００の構成を示すブロック図。 学習画像データ生成処理のフローチャート。 学習画像データ生成処理で用いられる画像の一例を示す図。 トレーニング処理のフローチャート。 第２実施例の検査処理のフローチャート。 第２実施例の検査処理において実行される画像処理の説明図。

Ａ．第１実施例
Ａ－１．データ生成装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、検査装置１００と、撮像装置４００と、を含んでいる。検査装置１００と撮像装置４００とは、通信可能に接続されている。

検査装置１００は、例えば、パーソナルコンピュータなどの計算機である。検査装置１００は、検査装置１００のコントローラとしてのＣＰＵ１１０と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブなどの不揮発性記憶装置１３０と、マウスやキーボードなどの操作部１５０と、液晶ディスプレイなどの表示部１４０と、通信部１７０と、を備えている。通信部１７０は、外部機器、例えば、撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、検査装置用のコンピュータプログラムＰＧｉが格納されている。

コンピュータプログラムＰＧｉは、例えば、検査装置１００の製造者によって提供される。コンピュータプログラムＰＧｉは、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧｉを実行することにより、後述する検査処理を実行する。

コンピュータプログラムＰＧｉは、後述する生成ネットワーク（generator）ＧＮの機能をＣＰＵ１１０に実現させるコンピュータプログラムである生成ネットワークプログラムＮＰをモジュールとして含んでいる。

撮像装置４００は、光学的に被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像装置４００は、検査装置１００の制御に従って、撮像画像データを生成し、検査装置１００に送信する。本実施例では、撮像装置４００は、検査処理の検査対象である製品（以下、ワーク３００とも呼ぶ）を撮像して、ワーク３００の外観を含む撮像画像を示す撮像画像データを生成するために用いられる。ワーク３００は、例えば、金属や樹脂製の製品である。

Ａ－２．生成ネットワークＧＮの構成
生成ネットワークプログラムＮＰによって実現される生成ネットワークＧＮの構成について説明する。図２は、生成ネットワークＧＮの構成を示すブロック図である。生成ネットワークＧＮは、入力データＩＤに対して、複数個の演算パラメータを用いて、演算処理を実行して、入力データＩＤに対応する出力データＯＤを生成する。

本実施例では、入力データＩＤは、所定のサイズ、例えば、縦５７２画素×横５７２画素の矩形の画像データである。入力データＩＤは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。入力データＩＤは、画素ごとの輝度を表す輝度画像データであっても良い。後述するように、本実施例では、ワーク３００の外観を含む撮像画像を示す撮像画像データの一部である部分撮像画像データが入力データＩＤとして想定されている。このために、入力データＩＤによって示される画像は、ワーク３００の外観の一部を含む。

出力データＯＤは、所定のサイズ、例えば、入力データＩＤと同一のサイズの矩形の画像データである。出力データＯＤは、複数個の画素を含む画像を示すビットマップデータである。出力データＯＤの各画素の値は、例えば、０～１の範囲の値を取る。出力データＯＤは、対応する入力データＩＤによって示される画像内のワーク３００が線状のキズを含む場合に、線状のキズを示す線状領域を示す。例えば、出力データＯＤにおいて、線状領域を構成する画素の値は、１に近い値となり、線状領域とは異なる部分を構成する画素の値は、０に近い値となる。すなわち、生成ネットワークＧＮは、ワーク３００の外観の一部を含む画像を示す入力データＩＤが入力される場合に、線状領域を示す出力データＯＤを出力するようにトレーニングされている。生成ネットワークＧＮのトレーニング処理については後述する。

生成ネットワークＧＮは、セマンティックセグメンテーションに用いられる機械学習モデルであり、畳み込みニューラルネットワークである。本実施事例の生成ネットワークＧＮは、Ｕ－ｎｅｔと呼ばれる公知のモデルである。Ｕ－ｎｅｔは、例えば、論文「Ronneberger, Olaf, Philipp Fischer, and Thomas Brox."U-Net: Convolutional Networks for Biomedical Image Segmentation." arXiv preprint arXiv:1505.04597, 2015.」に開示されている。以下では、生成ネットワークＧＮの構成を説明する。

生成ネットワークＧＮは、図２に示すように、複数個の層ＬＹ１～ＬＹ１７を備えている。畳込層ＬＹ１には、入力データＩＤが入力される。ｎ番目（ｎは、２～１６の整数）の層には、（ｎ－１）番目の層によって出力されるデータが入力される。

畳込層ＬＹ１、ＬＹ３、ＬＹ５、ＬＹ７、ＬＹ９、ＬＹ１１、ＬＹ１３、ＬＹ１５は、それぞれ、入力されるデータに対して２回の畳込処理(convolution)を実行する。各畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。本実施例では、活性化関数には、いわゆるReLU（Rectified Linear Unit）が用いられる。各畳込処理のフィルタサイズは、例えば、３×３である。

畳込層ＬＹ１７は、入力されるデータに対して、３回の畳込処理を実行する。各畳込処理のフィルタサイズは、例えば、最初の２回の畳込処理では３×３であり、最後の１回の畳込処理では１×１である。最後の１回の畳込処理後の値は、所定の活性化関数、例えば、ソフトマックス関数に入力されたうえで、出力される。

プーリング層ＬＹ２、ＬＹ４、ＬＹ６、ＬＹ８は、入力されるデータに対して、所定のサイズのウインドウ内の最大値を出力値として選択するマックスプーリングを実行する。これによって、入力されるデータの次元数が削減されて出力される。

転置畳込層ＬＹ１０、ＬＹ１２、ＬＹ１４、ＬＹ１６は、入力されるデータに対して、転置畳込処理(up-convolution)を実行する。これによって、入力されるデータの次元数が増大されて出力される。各転置畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。本実施例では、活性化関数には、いわゆるReLU（Rectified Linear Unit）が用いられる。各転置畳込処理のフィルタサイズは、例えば、２×２である。

なお、畳込層ＬＹ１１には、転置畳込層ＬＹ１０が出力するデータに加えて、畳込層ＬＹ７が出力するデータが入力される。畳込層ＬＹ１３には、転置畳込層ＬＹ１２が出力するデータに加えて、畳込層ＬＹ５が出力するデータが入力される。畳込層ＬＹ１５には、転置畳込層ＬＹ１４が出力するデータに加えて、畳込層ＬＹ３が出力するデータが入力される。畳込層ＬＹ１７には、転置畳込層ＬＹ１６が出力するデータに加えて、畳込層ＬＹ１が出力するデータが入力される。これによって、各層の処理の過程で、入力データＩＤによって示される画像内の被写体の位置情報が失われることを抑制して、セグメンテーションの精度を向上できる。

なお、畳込層ＬＹ７が出力するデータのサイズが、転置畳込層ＬＹ１０が出力するデータのサイズと一致しない場合には、畳込層ＬＹ７が出力するデータは、転置畳込層ＬＹ１０が出力するデータのサイズにクロッピングされた上で、畳込層ＬＹ１１に入力される。畳込層ＬＹ１３、ＬＹ１５、ＬＹ１７に入力されるデータについても同様である。

以上説明した畳込処理および転置畳込処理に用いられるフィルタの重み、および、バイアスは、後述するトレーニング処理によって調整される演算パラメータである。

Ａ－３．検査処理
検査処理は、検査の対象物であるワーク３００が良品であるか否かを判定する処理である。本実施例では、ワーク３００の表面は、回転式の研磨装置によって研磨されている。このために、円または円弧の形状を有する線状のキズ（以下、円キズとも呼ぶ）がワーク３００の表面に形成される場合がある。検査処理では、ワーク３００の外観を損なうレベルの円キズがワーク３００の表面に存在する場合に、ワーク３００は不良品であると判定され、ワーク３００の外観を損なうレベルの円キズがワーク３００の表面に存在しない場合に、ワーク３００は良品であると判定される。図３は、第１実施例の検査処理のフローチャートである。図４は、検査処理で用いられる画像の一例を示す図である。検査処理は、例えば、ワーク３００の検査範囲が撮像装置４００の撮影範囲に位置するようにワーク３００が所定の位置に配置された状態で、検査者が実行指示を検査装置１００に入力した場合、開始される。

Ｓ１００では、検査装置１００のＣＰＵ１１０は、ワーク３００の撮像画像データを取得する。ＣＰＵ１１０は、撮像装置４００に撮影指示を供給する。撮像装置４００は、撮影指示に応じて、ワーク３００を撮像し、撮像画像データを生成する。ＣＰＵ１１０は、撮像装置４００から、撮像画像データを取得する。

図４（Ａ）には、撮像画像データによって示される撮像画像ＩＩが図示されている。撮像画像ＩＩは、ワーク３００の外観（表面）を示している。図４（Ａ）の撮像画像ＩＩは、ワーク３００の表面のうち、円キズＳＣの無い部分（無キズ部Ｂｇとも呼ぶ）と、円キズＳＣと、を含み得る。撮像画像ＩＩは、円キズＳＣを含まない場合もある。また、撮像画像ＩＩは、外観の見栄え上の問題にならない微少なキズＳｍを含み得る（図４（Ａ））。

Ｓ１０５では、ＣＰＵ１１０は、撮像画像データを用いて、撮像画像ＩＩを複数個の部分画像ＰＩＩに分割して、複数個の部分画像データを生成する。部分画像ＰＩＩは、生成ネットワークＧＮの入力データＩＤとして想定されている所定のサイズ（例えば、縦５７２画素×横５７２画素のサイズ）の画像である。撮像画像ＩＩのサイズによっては、撮像画像ＩＩの縁部に対応する一部の部分画像ＰＩＩのサイズが所定のサイズより小さくなる場合があるが、この場合には、該一部の部分画像ＰＩＩには、所定のサイズを有するように、予め準備された無キズ部Ｂｇの画像が適宜に付加（パディング）される。図４（Ａ）の例では、撮像画像ＩＩは、縦５個×横３個の１５個の部分画像ＰＩＩに分割されている。図４（Ｂ）には、１つの部分画像ＰＩＩが例示されている。

Ｓ１１０では、ＣＰＵ１１０は、複数個の部分画像データのそれぞれを生成ネットワークＧＮに入力して、複数個の部分推定画像データを生成する。以下では、特定の部分画像データを生成ネットワークＧＮに入力データＩＤとして入力した場合に生成ネットワークＧＮによって生成される出力データＯＤを、特定の部分画像データに対応する部分推定画像データと呼ぶ。

Ｓ１１３では、ＣＰＵ１１０は、複数個の部分推定画像データのそれぞれを二値化して、複数個の二値化済みの部分推定画像データを生成する。具体的には、ＣＰＵ１１０は、複数個の部分推定画像データによって示される画像内の複数個の画素の値を、所定の閾値を用いて、線状のキズを示すキズ領域ＳＡを構成する画素と、無キズ部Ｂｇを示す無キズ領域ＢＡを構成する画素と、のいずれかに分類する。これによって、分類結果を示す二値化済みの部分推定画像データが生成される。

図４（Ｃ）には、図４（Ｂ）の部分画像ＰＩＩを示す部分画像データに対応する二値化済みの部分推定画像データによって示される部分推定画像ＰＯＩが示されている。部分推定画像ＰＯＩでは、キズ領域ＳＡが無キズ領域ＢＡと分離されて特定されている。

Ｓ１１５では、ＣＰＵ１１０は、複数個の二値化済みの部分推定画像データを用いて、１個の推定画像データを生成する。図４（Ｄ）には、推定画像データによって示される推定画像ＯＩの一例が示されている。図４（Ｄ）の推定画像ＯＩは、図４（Ａ）の撮像画像ＩＩに対応する画像である。推定画像ＯＩは、推定画像ＯＩにおける各部分推定画像ＰＯＩの相対的な位置と、撮像画像ＩＩにおける対応する部分画像ＰＩＩの相対的な位置と、が一致するように、複数個の部分推定画像ＰＯＩを結合して得られる画像である。

図４（Ｄ）の推定画像ＯＩでは、キズ領域ＳＡとして、円キズＳＣに対応するキズ領域ＳＡ１、ＳＡ２と、微細なキズＳｍに対応するキズ領域ＳＡ３と、が特定されている。図示は省略するが、推定画像ＯＩは、例えば、無キズ部Ｂｇに対応するにも関わらずに、誤ってキズ領域ＳＡとして特定された微少領域（ノイズ領域とも呼ぶ）を含み得る。

Ｓ１２０では、ＣＰＵ１１０は、推定画像データに対してハフ変換処理を実行して、推定画像ＯＩにおいて円キズＳＣに対応する円ＣＬを特定する。ハフ変換処理のアルゴリズムは、画像内の円や直線を特定するアルゴリズムとして公知であるので、その説明を省略する。なお、ハフ変換処理の前に、ハフ変換処理による特定精度を向上するために、ノイズ除去処理が実行されても良い。ハフ変換処理では、円ＣＬの中心ＣＰの座標と半径ｒとが決定されることによって、円ＣＬが特定される。本実施例では、ＣＰＵ１１０は、ハフ変換処理を用いて、推定画像ＯＩ内のキズ領域ＳＡを構成する画素によって形成される全ての円ＣＬを特定するのではなく、特定サイズの円ＣＬのみを特定する。具体的には、ＣＰＵ１１０は、円キズＳＣとして想定される範囲内の半径を有する円ＣＬのみを特定する。円キズＳＣとして想定される半径の範囲は、例えば、多数のワーク３００を調査することによって実験的に決定される。

図５は、実施例の検査処理において実行される画像処理の説明図である。図５（Ａ）では、推定画像ＯＩにおいて、２個の円ＣＬ１、ＣＬ２（中心ＣＰ１、ＣＰ２と半径ｒ１、ｒ２）が特定されている。円ＣＬ１は、撮像画像ＩＩの円キズＳＣ１が位置するキズ領域ＳＡ１に対応している。円ＣＬ２は、撮像画像ＩＩの円キズＳＣ２が位置するキズ領域ＳＡ２に対応している。

円ＣＬが特定される個数（図５（Ａ）の例では２個）は、撮像画像ＩＩに応じて変動する。例えば、撮像画像ＩＩが円キズＳＣを含まない場合には推定画像ＯＩにて円キズＳＣが位置するキズ領域ＳＡは特定されないので、円ＣＬは特定されない。

Ｓ１２５では、ＣＰＵ１１０は、ハフ変換処理によって、推定画像ＯＩにて１個以上の円ＣＬが特定されたか否かを判断する。円ＣＬが特定されない場合には（Ｓ１２５：ＮＯ）、Ｓ１６０にて、ＣＰＵ１１０は、ワーク３００は良品であると判定して、判定結果を出力する。例えば、ＣＰＵ１１０は、表示部１４０に判定結果を表示する。円ＣＬが特定された場合には（Ｓ１２５：ＹＥＳ）、ＣＰＵ１１０は、Ｓ１３０に処理を進める。

Ｓ１３０では、ＣＰＵ１１０は、特定された１以上の円ＣＬの中から、１個の注目円を選択する。Ｓ１３５では、ＣＰＵ１１０は、展開画像ＤＩを示す展開画像データを生成する。展開画像ＤＩは、注目円の周方向を横方向に、注目円の径方向を縦方向に変換した画像である。

図５（Ａ）の円ＣＬ１が注目円である場合を例にして説明する。図５（Ｂ）には、図５（Ａ）の円ＣＬ１が注目円である場合に生成される展開画像ＤＩが例示されている。ＣＰＵ１１０は、円ＣＬ１の中心ＣＰ１を起点として、径方向に延びるＮ本の参照線Ｌｎ（ｎは、１～Ｎの整数）を設定する。Ｎ本の参照線Ｌｎと円ＣＬ１とが交差するＮ個の交点Ｐｎの周方向の位置は、互いに所定の角度θずつずれている。Ｎ個の交点Ｐｎが円ＣＬ１の全周に亘って分散して配置されるように、Ｎ本の参照線Ｌｎが配置される。例えば、所定の角度θが１度である場合には、３５９本の参照線Ｌｎが配置される（Ｎ＝３６０）。図５（Ａ）には、図の煩雑を避けるために、３本の参照線Ｌ１～Ｌ３と交点Ｐ１～Ｐ３のみが図示されている。

展開画像ＤＩは、Ｎ本の参照線Ｌｎと一対一で対応するＮ本のラスタラインＲＬｎによって構成される画像である。各ラスタラインは、展開画像ＤＩの縦方向に延びる複数個の画素によって構成されるラインである。Ｎ本のラスタラインＲＬｎは、展開画像ＤＩの横方向に並んでいる。図５（Ｂ）には、図５（Ａ）の３本の参照線Ｌ１～Ｌ３に対応する３本のラスタラインＲＬ１～ＲＬ３が図示されている。１本のラスタラインを構成する複数個の画素は、該ラスタラインに対応する１本の参照線上に位置する推定画像ＯＩ内の複数個の画素である。ＣＰＵ１１０は、Ｎ本の参照線Ｌｎのそれぞれについて、参照線上の複数個の画素の値を取得することで、Ｎ本のラスタラインＲＬｎのそれぞれのラスタラインデータを生成する。ＣＰＵ１１０は、Ｎ本分のラスタラインデータを用いて、展開画像ＤＩを示す展開画像データを生成する。図５（Ｂ）に示すように、展開画像ＤＩは、推定画像ＯＩと同様に、キズ領域ＳＡと無キズ領域ＢＡとを示す二値画像データである。

Ｓ１４０では、ＣＰＵ１１０は、展開画像データを用いて、注目円に対応するキズ領域ＳＡの幅ｄを算出する。注目円が図５（Ａ）の円ＣＬ１である場合には、図５（Ｂ）の展開画像ＤＩを示す展開画像データを用いて、円ＣＬ１に対応する円弧状のキズ領域ＳＡ１の幅ｄ１が特定される。図５（Ｃ）には、図５（Ｂ）の展開画像ＤＩの一部分ＡＡの拡大図が示されている。拡大図において、升目状に配置された複数個の矩形は、複数個の画素を示す。拡大図においてハッチングされた画素は、キズ領域ＳＡ１を構成する画素であり、ハッチングされていない画素は、無キズ領域ＢＡを構成する画素である。

例えば、ＣＰＵ１１０は、展開画像ＤＩのＮ本のラスタラインＲＬｎのうち、キズ領域ＳＡ１が存在する複数本のラスタラインのそれぞれについて、キズ領域ＳＡ１を構成する画素数をカウントする。ＣＰＵ１１０は、カウントされた画素数の平均値をキズ領域ＳＡ１の幅ｄ１として算出する。Ｎ本のラスタラインＲＬｎのうち、キズ領域ＳＡ１が存在しないラスタラインについては、画素数のカウントは行われない。すなわち、キズ領域ＳＡ１が存在しないラスタラインは、幅ｄ１の算出には用いられない。図５（Ｂ）の例では、横方向の範囲Ｒ１、Ｒ２内に位置するラスタラインを用いて、範囲Ｒ１、Ｒ２外に位置するラスタラインを用いずに、幅ｄ１の算出が行われる。キズ領域ＳＡ１の幅ｄ１は、撮像画像ＩＩ内の対応する円キズＳＣ１の幅を示している。

Ｓ１４５では、ＣＰＵ１１０は、キズ領域の幅ｄが基準以上であるか否かを判断する。例えば、キズ領域の幅ｄが、外観上問題があるキズの最小の幅に基づいて実験的に定められた閾値ＴＨ以上である場合には、キズ領域の幅ｄは基準以上であると判定される。キズ領域の幅ｄが、閾値ＴＨ未満である場合には、キズ領域の幅ｄは基準未満であると判定される。

キズ領域の幅ｄが基準以上である場合には（Ｓ１４５：ＹＥＳ）、Ｓ１５０にて、ＣＰＵ１１０は、ワーク３００は不良品であると判定して、判定結果を出力する。

キズ領域の幅ｄが基準未満である場合には（Ｓ１４５：ＮＯ）、Ｓ１５５にて、ＣＰＵ１１０は、特定された全ての円ＣＬを注目円として処理したか否かを判断する。未処理の円ＣＬがある場合には（Ｓ１５５：ＮＯ）、ＣＰＵ１１０は、Ｓ１３０に処理を戻す。全ての円ＣＬが処理された場合には（Ｓ１５５：ＹＥＳ）、Ｓ１６０にて、ＣＰＵ１１０は、ワーク３００は良品であると判定して、判定結果を出力する。ＣＰＵ１１０は、判定結果を出力すると、検査処理を終了する。

このように、基準以上の幅を有する円キズが少なくとも１個存在する場合には、ワーク３００は不良品であると判定され、基準以上の幅を有する円キズが存在しない場合には、ワーク３００は、良品であると判定される。

Ａ－４．生成ネットワークＧＮのトレーニング
生成ネットワークＧＮを事前にトレーニングして、上述した検査装置１００のコンピュータプログラムＰＧｉにモジュールとして組み込まれる学習済みの生成ネットワークＧＮを生成する処理について説明する。

図６は、トレーニング装置２００の構成を示すブロック図である。トレーニング装置２００のハードウエア構成は、上述した図１の検査装置１００と同様の構成を有する計算機である。トレーニング装置２００の構成要素２１０～２７０は、図１の検査装置１００の同名の構成要素１１０～１７０と同様の構成要素であるので、その説明を省略する。

トレーニング装置２００の不揮発性記憶装置２３０には、検査装置用のコンピュータプログラムＰＧｉに代えて、トレーニング装置用のコンピュータプログラムＰＧｔが格納されている。

コンピュータプログラムＰＧｔは、例えば、コンピュータプログラムＰＧｉと同様に、検査装置１００の製造者によって提供される。コンピュータプログラムＰＧｔは、コンピュータプログラムＰＧｉと同様に、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧｔを実行することにより、後述する学習画像データ生成処理とトレーニング処理とを実行する。

コンピュータプログラムＰＧｔは、トレーニング前の生成ネットワークＧＮの機能をＣＰＵ１１０に実現させるコンピュータプログラムである生成ネットワークプログラムＮＰをモジュールとして含んでいる。

不揮発性記憶装置２３０には、さらに、複数個の撮像画像データを含む撮像画像データ群ＩＧが格納されている。撮像画像データは、例えば、検査システム１０００の撮像装置４００を用いて、検査処理（図３）のＳ１００にて撮像画像データを取得する際と同様の条件で、ワーク（図示省略）を撮像することによって生成される。撮像されるワークは、検査対象のワーク３００（図１）と同一の製造工程によって製造された製品である。

Ａ－４－１．学習画像データ生成処理
学習画像データ生成処理は、後述するトレーニング処理にて用いられる学習画像データと、学習画像データに対応する教師画像データと、を生成する処理である。図７は、学習画像データ生成処理のフローチャートである。図８は、学習画像データ生成処理で用いられる画像の一例を示す図である。

Ｓ２００では、ＣＰＵ２１０は、ワーク（図示省略）の複数個の撮像画像データを取得する。取得される複数個の撮像画像データは、不揮発性記憶装置２３０に格納された撮像画像データ群ＩＧの全部または一部である。図８（Ａ）には、撮像画像データによって示される撮像画像ＩＩｔの一例が示されている。図８（Ａ）の撮像画像ＩＩｔは、全体が無キズ部Ｂｇであり、円キズを含んでいない。

Ｓ２１０では、ＣＰＵ１１０は、複数個の撮像画像データを用いて、複数個の撮像画像ＩＩｔのそれぞれを複数個の部分画像ＰＩＩｔに分割して、Ｌ個の部分画像データを生成する。各撮像画像ＩＩｔの分割は、検査処理（図３）のＳ１０５と同様に実行される。したがって、部分画像ＰＩＩｔは、生成ネットワークＧＮの入力データＩＤとして想定されている所定のサイズ（例えば、縦５７２画素×横５７２画素のサイズ）の画像である。生成される部分画像データの個数Ｌは、２以上の整数であり、例えば、数百個である。

Ｓ２２０では、ＣＰＵ２１０は、疑似的なキズを含む画像を示すＫ個の疑似画像データを生成する。疑似画像データは、撮像画像データと同様にＲＧＢ画像データである。図８（Ｃ）には、疑似画像データによって示される疑似画像ＣＩｔの一例が示されている。疑似画像ＣＩｔのサイズは、部分画像ＰＩＩｔのサイズ（例えば、縦５７２画素×横５７２画素のサイズ）と同一である。疑似画像ＣＩｔは、単色の背景ＢＰ（例えば、黒）に、疑似的な円キズＳＣを示す円弧ＳＩが配置された画像である。円弧ＳＩは、円キズＳＣの色として想定される色（例えば、白や明るいグレー）の単色の画像である。円弧ＳＩの半径、円弧ＳＩの周方向の長さ、円弧ＳＩの線幅は、想定される円キズＳＣの半径、周方向の長さ、幅の範囲内でランダムに決定される。円弧ＳＩの線幅の範囲は、検査処理において不良品であると判定される幅と、検査処理において良品であると判定される幅と、の両方を含む範囲である。円キズＳＣが配置される位置、角度は、ランダムに決定される。図８（Ｃ）の例では、円弧ＳＩの始点Ｐｓが疑似画像ＣＩｔの左端に位置し、円弧ＳＩの終点Ｐｅが疑似画像ＣＩｔの内部に位置している。これに限らず、円弧ＳＩの始点Ｐｓと終点Ｐｅとの両方が画像端（上端、下端、左端、右端のいずれか）に位置する疑似画像ＣＩｔと、円弧ＳＩの始点Ｐｓと終点Ｐｅとの両方が画像の内部に位置する疑似画像ＣＩｔと、円弧ＳＩの始点Ｐｓと終点Ｐｅとのうちの一方が画像端に位置し、他方が画像の内部に位置する疑似画像ＣＩｔとが、所定の比率で生成される。また、円弧ＳＩが配置されない疑似画像ＣＩｔ（単色の背景ＢＰのみの画像）が所定数含まれても良い。疑似画像データが生成される個数Ｋは、２以上の整数、例えば、数千個である。

Ｓ２３０では、ＣＰＵ２１０は、複数個の疑似画像データをそれぞれ二値化して、教師画像データを生成する。教師画像データは、対応する疑似画像データを用いて生成される学習画像データが、入力データＩＤとして生成ネットワークＧＮに入力される場合に、生成ネットワークＧＮが出力すべき理想的な出力データＯＤである。例えば、ＣＰＵ２１０は、疑似画像ＣＩｔの複数個の画素のうち、背景ＢＰを構成する画素を「０」とし、円弧ＳＩを構成する画素を「１」とする二値画像データを教師画像データとして生成する。複数個の疑似画像データと一対一で対応する同数の教師画像データが生成される。

Ｓ２４０では、ＣＰＵ２１０は、複数個の疑似画像データのそれぞれに対して、アンチエイリアス処理を実行して、複数個の処理済みの疑似画像データを生成する。アンチエイリアス処理は、単色のオブジェクト（文字や線）の見栄えが自然な見栄えになるように、オブジェクトと背景との境界部分に、オブジェクトと背景との中間色の画素を適宜に配置する公知の処理である。アンチエイリアス処理を実行することによって、疑似画像ＣＩｔにおける円弧ＳＩを、実際に撮像された撮像画像における円キズＳＣに近づけることができる。

Ｓ２５０では、ＣＰＵ２１０は、部分画像データとアンチエイリアス処理済みの疑似画像データとを合成して、学習画像データを生成する。具体的には、ＣＰＵ２１０は、Ｋ個の疑似画像データのそれぞれを注目疑似画像データとして、以下の処理を実行する。ＣＰＵ２１０は、Ｌ個の部分画像データの中から１つの画像データを、注目疑似画像データと合成する画像データとしてランダムに選択する。ＣＰＵ２１０は、選択された部分画像データによって示される部分画像ＰＩＩｔ内の複数個の画素のうち、合成すべき疑似画像ＣＩｔ内の円弧ＳＩを構成する画素と対応する画素の値を、円弧ＳＩを構成する画素の値に置換する。これによって、Ｋ個の学習画像データが生成される。図８（Ｄ）には、学習画像データによって示される学習画像ＴＩの一例が示されている。図８（Ｄ）の学習画像ＴＩは、部分画像ＰＩＩｔの無キズ部Ｂｇの（図８（Ｂ））上に、アンチエイリアス処理済みの円弧ＳＩ（図８（Ｃ））が合成された画像である。

Ｓ２６０では、ＣＰＵ２１０は、Ｋ個の学習画像データのそれぞれに、教師画像データを一対一で対応付けて不揮発性記憶装置２３０に保存する。１つの学習画像データに対応付けられる教師画像データは、Ｓ２５０にて該学習画像データを生成する際に用いられた疑似画像データに対応する教師画像データである。

以上説明した学習画像データ生成処理によって、Ｋ個のデータペアが生成される。各データペアは、学習画像データと、該学習画像データと対応する教師画像データと、のペアである。

Ａ－４－２．トレーニング処理
トレーニング処理は、学習画像データ生成処理によって生成されたＫ個のデータペアを用いて、生成ネットワークＧＮをトレーニングする処理である。図９は、トレーニング処理のフローチャートである。

Ｓ３００では、ＣＰＵ２１０は、生成ネットワークＧＮの複数個の演算パラメータを初期化する。例えば、これらの演算パラメータの初期値は、同一の分布（例えば、正規分布）から独立に取得された乱数に設定される。

Ｓ３１０では、ＣＰＵ２１０は、不揮発性記憶装置２３０に格納されたＫ個のデータペアから、バッチサイズ分のデータペア、例えば、Ｖ個（Ｖは、１以上の整数）のデータペアを選択する。選択されるデータペアの個数Ｖは、例えば、数百個であり、具体的には、１２８、２５６、５１２等である。Ｋ個のデータペアをそれぞれ含む複数個のグループ（バッチ）に予め分割し、これらのグループから１個のグループが順次に選択されても良い。これに代えて、Ｖ個ずつのデータペアは、Ｋ個のデータペアから、毎回、ランダムに選択されても良い。

Ｓ３２０では、ＣＰＵ２１０は、選択されたＶ個のデータペアに含まれるＶ個の学習画像データをそれぞれ、入力データＩＤとして生成ネットワークＧＮに入力して、Ｖ個の出力データＯＤを生成する。

Ｓ３３０では、ＣＰＵ２１０は、Ｖ個の出力データＯＤのそれぞれについて、出力データＯＤと、対応する教師画像データと、の間の誤差値Ｅを算出する。誤差値Ｅには、所定の損失関数が用いられる。例えば、本実施例では、出力データＯＤの各画素の値と、教師画像データの対応する画素の値と、の間のクロスエントロピー誤差が算出される。そして、全ての画素のクロスエントロピー誤差の合計値が、誤差値Ｅとして算出される。

Ｓ３４０では、ＣＰＵ２１０は、Ｓ３３０にて算出されたＶ個の誤差値Ｅを用いて、生成ネットワークＧＮの複数個の演算パラメータを調整する。具体的には、ＣＰＵ２１０は、Ｖ個の誤差値Ｅの合計値が小さくなるように、所定の最適化アルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（例えば、Ａｄａｍ）が用いられる。

Ｓ３５０では、ＣＰＵ１１０は、トレーニングが完了したか否かを判断する。本実施例では、作業者からの完了指示が入力された場合にはトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にはトレーニングが完了していないと判断する。例えば、ＣＰＵ１１０は、トレーニング処理に用いられた学習画像データとは別の複数個のテスト用の画像データを生成ネットワークＧＮに入力して、複数個の出力データＯＤを生成する。ＣＰＵ１１０は、生成された出力データＯＤによって示される画像を表示部１４０に表示する。作業者は、表示された画像を確認して、最終的な画像として十分な精度でキズ領域が特定されているか否かを確認し、確認結果に応じて、操作部１５０を介して、トレーニングの完了指示または継続指示を入力する。変形例では、例えば、Ｓ３１０～Ｓ３４０の処理が所定回数だけ繰り返された場合に、トレーニングが完了されたと判断されても良いし、誤差値Ｅが閾値以下になった場合に、トレーニングが完了されたと判断されても良い。

トレーニングが完了していないと判断される場合には（Ｓ３５０：ＮＯ）、ＣＰＵ１１０は、Ｓ３１０に処理を戻す。トレーニングが完了したと判断される場合には（Ｓ３５０：ＹＥＳ）、ＣＰＵ１１０は、トレーニング処理を終了する。このトレーニング処理によれば、トレーニング処理が終了した時点で、生成ネットワークＧＮは、演算パラメータが調整された学習済みモデルになっている。学習済みモデルを実現する生成ネットワークプログラムＮＰは、検査用のコンピュータプログラムＰＧｉにモジュールとして組み込まれて（図１）、上述した検査処理（図３）に用いられる。

以上説明した本実施例によれば、検査装置１００のＣＰＵ１１０は、撮像画像ＩＩを示す撮像画像データを学習済みの生成ネットワークＧＮに入力することによって、撮像画像ＩＩに対応する出力画像データ、具体的には、複数個の部分推定画像データを生成する（図３のＳ１００～Ｓ１１０）。学習済みの生成ネットワークＧＮは、撮像画像ＩＩ内のワーク３００が線状のキズを含む場合に、出力画像が線状のキズを示す線状のキズ領域ＳＡを示すようにトレーニングされた機械学習モデルである（図９等）。ＣＰＵ１１０は、出力画像データを用いて、キズ領域ＳＡの幅ｄを特定する（図３のＳ１３５、Ｓ１４０）。ＣＰＵ１１０は、キズ領域ＳＡの幅ｄに基づいて、ワーク３００が良品であるか否かを判定する（図３のＳ１４５～Ｓ１６０）。

この結果、生成ネットワークＧＮを用いて生成される複数個の部分推定画像データを用いて線状のキズを示すキズ領域ＳＡを特定し、該キズ領域ＳＡの幅ｄに基づいて、ワーク３００が良品であるか否かを判定するので、生成ネットワークＧＮを用いてワーク３００が良品であるか否かを精度良く判定することができる。例えば、検査員による目視などでワーク３００が良品であるか否かを判断する場合には、検査員の熟練度などに応じて、検査精度や検査速度が低下し得るが、本実施例によれば、このような問題を抑制できる。さらに、キズ領域ＳＡの幅ｄを特定し、該幅ｄに基づいて、ワーク３００が良品であるか否かを判定するので、生成ネットワークＧＮを用いて、単に、ワーク３００が線状のキズを含むか否かを判断する場合と比較して、ワーク３００が良品であるか否かを精度良く判断できる。例えば、ワーク３００が線状のキズを有する場合であっても、キズの幅が十分に小さい場合には、外観上問題はなく、良品であると判断すべき場合もある。本実施例によれば、例えば、ワーク３００が線状のキズを有する場合であっても該キズが外見上問題ないレベルであれば、ワーク３００は良品であると判断できる。

さらに、本実施例によれば、ＣＰＵ１１０は、複数個の部分推定画像データに基づく推定画像データを用いて、キズ領域ＳＡのうち、円キズＳＣに対応する領域、すなわち、円または円弧形状のキズ領域を特定する（図３のＳ１２０、Ｓ１２５）。ＣＰＵ１１０は、該円または円弧形状のキズ領域の幅ｄを特定し（図３のＳ１３０、Ｓ１４０）、該幅ｄに基づいて、ワーク３００が良品であるか否かを判定する（図３のＳ１４５～Ｓ１６０）。本実施例のワーク３００の外観には、製造工程における研磨の態様（回転式の研磨）に起因して円または円弧状のキズが含まれやすい。本実施例によれば、円または円弧状のキズが含まれやすいワーク３００が良品であるか否かを精度良く判定することができる。

さらに、本実施例では、ＣＰＵ１１０は、円または円弧状の領域であり、かつ、特定サイズの領域を特定する（図３のＳ１２０）。すなわち、上述したように、ＣＰＵ１１０は、ハフ変換処理を用いて円ＣＬを特定する際に、円キズＳＣとして想定される範囲内の半径を有する円ＣＬのみを特定する。本実施例のワーク３００は、製造工程での研磨に用いられる研磨装置のサイズに起因して特定サイズの円または円弧状のキズが含まれやすい。本実施例によれば、特定サイズの円キズＳＣが含まれやすいワーク３００が良品であるか否かを精度良く判定することができる。

さらに、本実施例では、ＣＰＵ１１０は、推定画像データに対して線検出アルゴリズムに従う画像処理であるハフ変換処理を実行して、円または円弧状のキズ領域ＳＡに対応する円ＣＬを特定し（図３のＳ１２０）、円ＣＬを構成する線と直交する方向（すなわち、円ＣＬの径方向）に沿ってキズ領域ＳＡの幅ｄを特定する（図３のＳ１３５、Ｓ１４０、図５）。この結果、ハフ変換処理を利用して、円または円弧状のキズ領域ＳＡの幅、換言すれば、ワーク３００上の円キズＳＣの幅を精度良く特定できる。したがって、ワーク３００が良品であるか否かをさらに精度良く判定することができる。

さらに、本実施例の生成ネットワークＧＮをトレーニング処理（図９）で用いられる複数個の学習画像データは、ワーク３００を撮像することによって生成される部分画像ＰＩＩｔに対して、疑似的に作成された円キズＳＣを示す線状画像である円弧ＳＩを合成することによって生成される画像データである（図７のＳ２２０、Ｓ２４０、Ｓ２５０、図８）。そして、学習画像データに対応する教師画像データは、学習画像ＴＩ内の円弧ＳＩが合成された領域を示すデータである（図７のＳ２３０）。この結果、複数個の学習画像データと複数個の教師画像データとを生成するための負担を軽減することができる。例えば、一般的には、ワークは、不良品の割合よりも良品の割合が大幅に高い。このために、円キズを含む撮像画像を示す複数個の撮像画像データを準備することは困難である。円キズを含まない撮像画像ＩＩｔ（図８（Ａ））を示す複数個の撮像画像データを準備することは比較的容易である。このために、本実施例では、円キズを含まない撮像画像ＩＩｔを用いて学習画像データを生成できるので、多数の学習画像データを少ない負担で容易に生成できる。さらに、実際の円キズＳＣを撮影して得られる画像データに対応する教師画像データは、例えば、オペレータが該画像内の円キズＳＣの位置を確認しながら作成される。本実施例では、疑似画像データを二値化するだけで教師画像データを作成できる（図７のＳ２３０）ので、多数の教師画像データを少ない負担で容易に生成できる。

さらに、本実施例では、学習画像データの生成の際に、部分画像ＰＩＩｔに合成される円弧ＳＩは、アンチエイリアス処理が適用された線の画像である（図７のＳ２４０）。この結果、アンチエイリアス処理が行われない場合と比較して、疑似的に作成されたキズを示す円弧ＳＩを、ワーク３００の円キズＳＣを撮像して得られるキズの画像に類似させることができる。この結果、本実施例の学習画像データを用いることで、ワーク３００の円キズＳＣをより精度良く特定できるように生成ネットワークＧＮをトレーニングすることができる。

さらに、本実施例では、学習画像データの生成の際に、複数個（Ｌ個）の部分画像ＰＩＩｔがベースの画像として用いられる。すなわち、本実施例で生成される複数個（Ｋ個）の学習画像データは、第１の部分画像に対して疑似的に作成された円弧ＳＩを合成することによって生成される第１の学習画像データと、第２の部分画像に対して疑似的に作成された円弧ＳＩを合成することによって生成される第２の学習画像データと、を含む。仮に、１種類の部分画像ＰＩＩｔをベースにして生成される学習画像データのみを用いて生成ネットワークＧＮをトレーニングすると、１種類の部分画像ＰＩＩｔの特徴の影響が過度に大きくなり、例えば、過学習が発生する。この場合には、生成ネットワークＧＮは、学習画像データについてはキズ領域ＳＡを精度良く特定できたとしても、実際の検査処理ではキズ領域ＳＡを精度良く特定できない。上記構成によれば、過学習の発生を抑制して、キズ領域ＳＡを精度良く特定できるように機械学習モデルをトレーニングすることができる。

以上の説明から解るように、本実施例のワーク３００は対象物の例であり、キズ領域ＳＡの幅ｄは、線状領域の特徴量の例であり、円キズＳＣに対応するキズ領域ＳＡ１、ＳＡ２は、特定形状の領域の例である。また、撮像画像データは、入力画像データの例であり、複数個の部分推定画像データの全体は、出力画像データの例である。部分画像ＰＩＩｔは、ベース画像の例であり、疑似画像ＣＩｔの円弧ＳＩは、線状画像の例である。

Ｂ．第２実施例
（１）上記第１実施例では、円または円弧状の円キズＳＣを検査の対象のキズとして、検査処理が行われている。これに代えて、任意の形状の線状のキズを検査の対象のキズとして、検査処理が行われても良い。例えば、ワーク３００の製造工程に起因して、ワーク３００の表面に様々な形状の線状のキズが現れる可能性がある場合に、本変形例は有効である。図１０は、第２実施例の検査処理のフローチャートである。図１０では、図３の第１実施例の検査処理と同一の処理には、図３と同一の符号が付され、図３の実施例の検査処理とは異なる処理には、符号の末尾に「Ｂ」が付されている。

図１０の検査処理では、図３の実施例の検査処理のＳ１２０、Ｓ１２５、Ｓ１３０、Ｓ１３５、Ｓ１４０、Ｓ１５０に代えて、Ｓ１２０Ｂ、Ｓ１２５Ｂ、Ｓ１３０Ｂ、Ｓ１３５Ｂ、Ｓ１４０Ｂ、Ｓ１５０Ｂが実行される。

図１０のＳ１００～Ｓ１１５では、図３のＳ１００～Ｓ１１５と同一の処理が実行されて、推定画像データが生成される。図１１は、第２実施例の検査処理において実行される画像処理の説明図である。図１１（Ａ）には、変形例において生成される推定画像データによって示される推定画像ＯＩｂが示されている。図１１（Ａ）の推定画像ＯＩｂは、キズ領域ＳＡｂとして、曲線上のキズ領域ＳＡｂ１、ＳＡｂ２と、無キズ領域ＢＡｂと、が特定されている。

Ｓ１２０Ｂでは、ＣＰＵ１１０は、キズ領域ＳＡｂ１、ＳＡｂ２をベクトル化することによって、キズ領域ＳＡｂ１、ＳＡｂ２に対応する線を特定する。具体的には、推定画像データに対して、キズ領域ＳＡｂを構成する画素（以下、キズ画素と呼ぶ）にラベリングするラベリング処理を実行する。ラベリング処理では、ＣＰＵ１１０は、連続する一つながりの複数個のキズ画素で構成される画素群に、１個の識別子を割り当て、互いに離れた複数個のキズ画素で構成される複数個の画素群に、互いに異なる識別子を割り当てる。これによって、図１１（Ａ）の例では、キズ領域ＳＡｂ１とキズ領域ＳＡｂ２とは互いに離れているので、キズ領域ＳＡｂ１を構成する複数個のキズ画素と、キズ領域ＳＡｂ２を構成する複数個のキズ画素とは、互いに異なる識別子が割り当てられる。すなわち、キズ領域ＳＡｂ１とキズ領域ＳＡｂ２とが、別々の領域として特定される。

ＣＰＵ１１０は、特定された各キズ領域に細線化処理を実行して、キズ領域を細線化する。細線化の処理には、公知の処理が用いられる。例えば、公開された画像処理のライブラリであるＯｐｅｎＣＶでは、細線化処理(thinning)のための関数が準備されている。ＣＰＵ１１０は、細線化された各キズ領域上に等間隔のＭ個（Ｍは２以上の整数）の基準点Ｐｂｍ（ｍは１≦ｍ≦Ｍを満たす整数）を設定する。ＣＰＵ１１０は、隣り合う２個の基準点を結ぶベクトルを算出することによって、各キズ領域をベクトル化する。例えば、図１１（Ａ）では、キズ領域ＳＡｂ１に設定された基準点のうちの４個の基準点Ｐｂ１～Ｐｂ４が図示されている。キズ領域ＳＡｂ１に対応する線は、基準点Ｐｂ１と基準点Ｐｂ２とを結ぶベクトルと、基準点Ｐｂ２と基準点Ｐｂ３とを結ぶベクトルと、基準点Ｐｂ３と基準点Ｐｂ４とを結ぶベクトルと、を含む（Ｍ－１）本のベクトルで定義される。

Ｓ１２５Ｂでは、ＣＰＵ１１０は、推定画像ＯＩにて１個以上のキズの線が特定されたか否かを判断する。キズの線が特定されない場合には（Ｓ１２５Ｂ：ＮＯ）、Ｓ１６０にて、ＣＰＵ１１０は、ワーク３００は良品であると判定して、判定結果を出力する。キズの線が特定された場合には（Ｓ１２５Ｂ：ＹＥＳ）、ＣＰＵ１１０は、Ｓ１３０Ｂに処理を進める。

Ｓ１３０Ｂでは、ＣＰＵ１１０は、特定された１以上のキズの線の中から、１個の注目線を選択する。Ｓ１３５Ｂでは、ＣＰＵ１１０は、展開画像ＤＩｂを示す展開画像データを生成する。展開画像ＤＩｂは、注目線に沿う方向を横方向に、注目線の法線方向を縦方向に変換した画像である。

図１１（Ａ）のキズ領域ＳＡｂ１に対応する線が注目線である場合を例にして説明する。キズ領域ＳＡｂ１に対応する線は、上述のように（Ｍ－１）本のベクトルで定義される線である。図１１（Ｂ）には、図１１（Ａ）のキズ領域ＳＡｂ１に対応する線が注目線である場合に生成される展開画像ＤＩｂが例示されている。ＣＰＵ１１０は、（Ｍ－１）本のベクトルのそれぞれに対応する（Ｍ－１）本の参照線を設定する。各参照線は、対応するベクトルの中心を通り、かつ、該ベクトルと直交する所定の長さの直線である。図１１（Ａ）には、（Ｍ－１）本の参照線のうち、３本の参照線Ｌｂ１～Ｌｂ３が図示されている。参照線Ｌｂ１は、基準点Ｐｂ１と基準点Ｐｂ２とを結ぶベクトルに対応する。参照線Ｌｂ２は、基準点Ｐｂ２と基準点Ｐｂ３とを結ぶベクトルに対応する。参照線Ｌｂ３は、基準点Ｐｂ３と基準点Ｐｂ４とを結ぶベクトルに対応する。

展開画像ＤＩｂは、（Ｍ－１）本の参照線と一対一で対応するＮ本のラスタラインによって構成される画像である。各ラスタラインは、展開画像ＤＩｂの縦方向に延びる複数個の画素によって構成されるラインである。（Ｍ－１）本のラスタラインは、展開画像ＤＩｂの横方向に並んでいる。図１１（Ｂ）には、図１１（Ａ）の３本の参照線Ｌｂ１～Ｌｂ３に対応する３本のラスタラインＲＬｂ１～ＲＬｂ３が図示されている。１本のラスタラインを構成する複数個の画素は、該ラスタラインに対応する１本の参照線上に位置する推定画像ＯＩｂ内の複数個の画素である。図１１（Ｂ）に示すように、展開画像ＤＩｂは、推定画像ＯＩｂと同様に、キズ領域ＳＡｂと無キズ領域ＢＡｂとを示す二値画像データである。

Ｓ１４０Ｂでは、ＣＰＵ１１０は、展開画像データを用いて、注目線に対応するキズ領域ＳＡｂの幅を算出する。例えば、ＣＰＵ１１０は、展開画像ＤＩｂの（Ｍ－１）本のラスタラインのそれぞれについて、キズ領域ＳＡｂを構成する画素数をカウントする。ＣＰＵ１１０は、カウントされた画素数の平均値をキズ領域ＳＡｂの幅として算出する。

Ｓ１４５では、ＣＰＵ１１０は、キズ領域の幅が基準以上であるか否かを判断する。キズ領域の幅が基準以上である場合には（Ｓ１４５：ＹＥＳ）、Ｓ１５０にて、ＣＰＵ１１０は、ワーク３００は不良品であると判定して、判定結果を出力する。キズ領域の幅が基準未満である場合には（Ｓ１４５：ＮＯ）、Ｓ１５５Ｂにて、ＣＰＵ１１０は、特定された全てのキズの線を注目線として処理したか否かを判断する。未処理の線がある場合には（Ｓ１５５Ｂ：ＮＯ）、ＣＰＵ１１０は、Ｓ１３０Ｂに処理を戻す。全ての円ＣＬが処理された場合には（Ｓ１５５Ｂ：ＹＥＳ）、Ｓ１６０にて、ＣＰＵ１１０は、ワーク３００は良品であると判定して、判定結果を出力する。ＣＰＵ１１０は、判定結果を出力すると、検査処理を終了する。

以上説明した第２実施例によれば、ＣＰＵ１１０は、推定画像データを用いて、キズ領域ＳＡｂに対応する線であってキズ領域ＳＡｂの形状に応じて決定される線を特定する（図１０のＳ１２０Ｂ）。ＣＰＵ１１０は、決定された線と直交する方向に沿ってキズ領域ＳＡｂの幅を特定する（図１０のＳ１３５Ｂ、Ｓ１４０Ｂ）。この結果、任意の形状の線状のキズ領域ＳＡｂの幅を精度良く特定できる。換言すれば、任意の形状の線状のキズの幅を精度良く特定できる。

Ｃ．変形例：
（１）上記各実施例では、キズ領域ＳＡ、ＳＡｂの特徴量として、キズ領域の幅が用いられている。これに代えて、キズ領域ＳＡ、ＳＡｂの輝度が特徴量として用いられても良い。この場合には、ＣＰＵ１１０は、キズ領域ＳＡ、ＳＡｂの輝度に基づいて、ワーク３００が良品であるか否かを判定しても良い。例えば、ＣＰＵ１１０は、キズ領域ＳＡ、ＳＡｂに対応する撮像画像ＩＩの複数個の画素の平均輝度を、キズ領域ＳＡ、ＳＡｂの輝度として算出する。ＣＰＵ１１０は、キズ領域ＳＡ、ＳＡｂの輝度と無キズ部Ｂｇの輝度との差分が閾値以上である場合に、ワーク３００は不良品であると判断し、キズ領域ＳＡ、ＳＡｂの輝度と無キズ部Ｂｇの輝度との差分が閾値未満である場合に、ワーク３００は良品であると判断しても良い。キズ領域ＳＡ、ＳＡｂの輝度と無キズ部Ｂｇの輝度との差分が大きいほど、キズ領域ＳＡ、ＳＡｂに位置するキズが目立ち易いと考えられる。このために、キズ領域ＳＡ、ＳＡｂの輝度が特徴量として用いられる場合にも、ワーク３００が良品であるか否かを精度良く判定することができる。

また、キズ領域ＳＡ、ＳＡｂの特徴量として、キズ領域の幅や輝度とは異なる値、例えば、キズ領域の色と背景ＢＰの色との色差が用いられても良い。

（２）上記各実施例の検査処理（図３、図１０）は一例であり、適宜に変更される。例えば、生成ネットワークＧＮの入力データＩＤが十分に大きなサイズである場合には、撮像画像データは、分割されることなく、そのまま生成ネットワークＧＮに入力されても良い。この場合には、生成ネットワークＧＮから出力される出力データＯＤを二値化したデータが、推定画像データになる。

また、キズ領域ＳＡ、ＳＡｂの幅や輝度に基づいて、ワーク３００が良品であるか否かを判断するための判断基準は、様々は変形が可能である。例えば、線状のキズ領域ＳＡ、ＳＡｂのうち、第１の閾値以上の幅を有する部分の長さが第２の閾値以上である場合に、ワーク３００は不良品であると判断され、線状のキズ領域ＳＡ、ＳＡｂのうち、第１の閾値以上の幅を有する部分の長さが第２の閾値未満である場合に、ワーク３００は良品であると判断されても良い。

上記第１実施例では、円または円弧状のキズ領域が特定され、該キズ領域の幅に基づいて、ワーク３００は良品であるか否かが判断されている。これに代えて、他の特定の形状、例えば、楕円、多角形などのキズ領域が特定されても良い。例えば、製造工程などを考慮して、ワーク３００に現れ得る１種以上の特定形状を有するキズ領域が特定される。また、これらの特定形状を有するキズ領域の全てが検査の対象として特定されても良いし、これらの特定形状を有するキズ領域のうち、基準以上のサイズを有するキズ領域のみが特定されても良い。

上記第１実施例では、円または円弧状のキズ領域に対応する円ＣＬを特定する線検出アルゴリズムとして、ハフ変換処理が用いられている。これに限らず、他のアルゴリズム、例えば、パターンマッチングが用いられても良い。

上記第２実施例では、キズ領域の形状に応じた線を特定するために、ベクトル化が行われている。これに代えて、例えば、最小二乗法などの公知の手法を用いてキズ領域の形状に近似する近似曲線を特定することによって、キズ領域の形状に応じた線が特定されても良い。

（３）上記第１実施例の学習画像データ生成処理（図７）は、一例であり、これに限られない。例えば、図７のＳ２４０のアンチエイリアス処理は省略されても良い。また、生成ネットワークＧＮの入力データＩＤが十分に大きなサイズである場合には、１個の撮像画像データを分割する必要がないので、図７のＳ２１０は省略されても良い。

図７のＳ２２０では、ＣＰＵ２１０が自動で疑似画像データを生成しているが、オペレータが、公知の画像作成アプリケーションプログラムを用いて、疑似画像データを生成しても良い。

また、図７の学習画像データ生成処理では、生成される全ての学習画像データが、部分撮像画像データと疑似画像データとを合成して得られる画像データである。これに代えて、学習画像データの全部または一部は、円キズＳＣを有するワークを撮像して得られる撮像画像データ、もしくは、該撮像画像データを分割した部分撮像画像データであっても良い。この場合には、該学習画像データに対応する教師画像データは、例えば、オペレータが撮像画像内の円キズＳＣの位置を確認しながら作成する画像データである。

（４）上記第１実施例のトレーニング処理（図９）は、一例であり、これに限られない。誤差値Ｅは、クロスエントロピー誤差に代えて、他の種類の誤差値、例えば、平均二乗誤差が用いられても良い。また、誤差値Ｅは、クロスエントロピー誤差の項に加えて、他の補助的な項、例えば、正則化項が加えられても良い。

（５）生成ネットワークＧＮの具体的な構成は、図２に示す構成に限られず、他の様々な構成であっても良い。例えば、生成ネットワークＧＮにおいて、畳込層や転置畳込層やプーリングの層数は、適宜に変更されて良い。また、各層で出力された値に対して実行される後処理も任意の様々な構成が採用される。例えば、後処理に用いられる活性化関数は、任意の他の関数、例えば、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられても良い。

また、生成ネットワークＧＮは、Ｕ－ｎｅｔとは、異なる機械学習モデルであっても良い。例えば、ＳｅｇＮｅｔなどのＦＣＮ(Fully Convolutional Networks)、ＰＳＰＮｅｔなど、セマンティックセグメンテーションのための他の機械学習モデルが採用されても良い。

（６）図１の検査装置１００や図６のトレーニング装置２００のハードウェア構成は、一例であり、これに限られない。例えば、検査装置１００やトレーニング装置２００のプロセッサは、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（application specific integrated circuit）、あるいは、これらとＣＰＵとの組み合わせであっても良い。また、トレーニング装置２００や検査装置１００の全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）であっても良い。

（７）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、生成ネットワークＧＮは、プログラムモジュールに代えて、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実現されてよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１００…検査装置,１０００…検査システム,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…表示部,１５０…操作部,１７０…通信部,２００…トレーニング装置,２１０…ＣＰＵ,２３０…不揮発性記憶装置,２４０…表示部,２５０…操作部,２７０…通信部,４００…撮像装置,ＧＮ…生成ネットワーク,ＩＩ,ＩＩｔ…撮像画像,ＮＰ…生成ネットワークプログラム,ＯＩ,ＯＩｂ…推定画像,ＰＧｉ…コンピュータプログラム,ＰＧｔ…コンピュータプログラム,ＳＡ,ＳＡｂ…キズ領域,ＴＩ…学習画像

Claims (14)

1. 対象物の外観を検査する検査装置であって、
   前記対象物の外観を含む撮像画像を示す入力画像データを学習済みモデルに入力することによって、前記撮像画像に対応する出力画像を示す出力画像データを生成する生成部であって、前記学習済みモデルは、前記撮像画像内の前記対象物が線状のキズを含む場合に、前記出力画像が線状のキズを示す線状領域を示すようにトレーニングされた機械学習モデルである、前記生成部と、
   前記出力画像データを用いて、前記線状領域の所定の特徴に関する特徴量を特定する特徴特定部と、
   前記線状領域の前記特徴量に基づいて、前記対象物が良品であるか否かを判定する良否判定部と、
   を備える、検査装置。
2. 請求項１に記載の検査装置であって、さらに、
   前記出力画像データを用いて、前記線状領域のうち、特定形状の領域を特定する特定形状特定部を備え、
   前記特徴特定部は、前記特定形状の領域の前記特徴量を特定し、
   前記良否判定部は、前記特定形状の領域の前記特徴量に基づいて、前記対象物が良品であるか否かを判定する、検査装置。
3. 請求項２に記載の検査装置であって、
   前記特定形状は、円または円弧であり、
   前記特徴特定部は、前記円または円弧状の前記線状領域の前記特徴量を特定し、
   前記良否判定部は、前記円または円弧状の前記線状領域の前記特徴量に基づいて、前記対象物が良品であるか否かを判定する、検査装置。
4. 請求項２または３に記載の検査装置であって、
   前記特定形状特定部は、前記特定形状の領域であり、かつ、特定サイズの領域を特定する、検査装置。
5. 請求項１～４のいずれかに記載の検査装置であって、
   前記特徴特定部は、前記特徴量として、前記線状領域の幅を特定する幅特定部である、検査装置。
6. 請求項５に記載の検査装置であって、さらに、
   前記出力画像データを用いて、前記線状領域のうち、特定形状の領域を特定する特定形状特定部を備え、
   前記特定形状特定部は、前記出力画像データに対して所定の線検出アルゴリズムに従う画像処理を実行して、前記特定形状の領域に対応する前記特定形状の線を特定し、
   前記幅特定部は、前記特定形状の線と直交する方向に沿って前記特定形状の領域の幅を特定する、検査装置。
7. 請求項５に記載の検査装置であって、さらに、
   前記出力画像データを用いて、前記線状領域に対応する線であって前記線状領域の形状に応じて決定される線である対応線を特定する線特定部を備え、
   前記幅特定部は、前記対応線と直交する方向に沿って前記線状領域の幅を特定する、検査装置。
8. 請求項１～４のいずれかに記載の検査装置であって、
   前記特徴特定部は、前記特徴量として、前記線状領域の輝度を特定する輝度特定部である、検査装置。
9. 請求項１に記載の検査装置であって、
   前記学習済みモデルをトレーニングする処理は、
   複数個の学習画像データを前記機械学習モデルに入力することによって、前記複数個の学習画像データに対応する複数個の出力画像データを生成する処理と、
   前記複数個の出力画像データと、前記複数個の学習画像データに対応する複数個の教師画像データと、を用いて、前記出力画像データと前記教師画像データとの差が小さくなるように、前記学習済みモデルの複数個の演算パラメータを調整する処理と、
   を含み、
   前記複数個の学習画像データは、前記対象物を撮像することによって生成されるベース画像に対して、疑似的に作成されたキズを示す線状画像を合成することによって生成される合成画像を示す合成画像データを含み、
   前記複数個の教師画像データのうち、前記合成画像データに対応するデータは、前記合成画像内の前記線状画像が合成された領域を示すデータである、検査装置。
10. 請求項９に記載の検査装置であって、
    前記線状画像は、アンチエイリアス処理が適用された線の画像である、検査装置。
11. 請求項９または１０に記載の検査装置であって、
    前記ベース画像は、第１のベース画像と、前記第１のベース画像とは異なる第２のベース画像と、を含み、
    前記複数個の学習画像データは、前記第１のベース画像に対して前記線状画像を合成することによって生成される第１の合成画像データと、前記第２のベース画像に対して前記線状画像を合成することによって生成される第２の合成画像データと、を含む、検査装置。
12. 請求項１～１１のいずれかに記載の検査装置であって、
    前記機械学習モデルは、Ｕ－ｎｅｔである、検査装置。
13. コンピュータプログラムであって、
    対象物の外観を含む撮像画像を示す入力画像データを学習済みモデルに入力することによって、前記撮像画像に対応する出力画像を示す出力画像データを生成する生成機能であって、前記学習済みモデルは、前記撮像画像内の前記対象物が線状のキズを含む場合に、前記出力画像が線状のキズを示す線状領域を示すようにトレーニングされた機械学習モデルである、前記生成機能と、
    前記出力画像データを用いて、前記線状領域の所定の特徴に関する特徴量を特定する特徴特定機能と、
    前記線状領域の前記特徴量に基づいて、前記対象物が良品であるか否かを判定する良否判定機能と、
    をコンピュータに実現させる、コンピュータプログラム。
14. 対象物の外観を検査する検査方法であって、
    前記対象物の外観を含む撮像画像を示す入力画像データを学習済みモデルに入力することによって、前記撮像画像に対応する出力画像を示す出力画像データを生成する生成工程であって、前記学習済みモデルは、前記撮像画像内の前記対象物が線状のキズを含む場合に、前記出力画像が線状のキズを示す線状領域を示すようにトレーニングされた機械学習モデルである、前記生成工程と、
    前記出力画像データを用いて、前記線状領域の所定の特徴に関する特徴量を特定する特徴特定工程と、
    前記線状領域の前記特徴量に基づいて、前記対象物が良品であるか否かを判定する良否判定工程と、
    を備える、検査方法。
    
    
    
    

Images