JP2022096093A - 外観面の画像検査システム及び画像検査方法 - Google Patents

Abstract

【課題】被検査体は透明品でも不透明品でもよく、簡単な構造で正確かつ短時間で外観面の欠陥を判定することができる外観面の画像検査システムを提供すること。【解決手段】天面が光反射性を有する被検査体３０を載置し回転する検査台１０、天面に帯状の線状投射光Ｓ１を照射する照明ユニット２０、天面を挟んで照明ユニット２０と対抗するように配置され、天面に投影された線状投射光Ｓ１により形成されるストライプ縞の天面の表面での反射光Ｓ２を一定の回転タイミングごとに撮像する撮像装置２３、を備える画像検査装置２と、被検査体３０の検査画像Ｇ２を予め機械学習し記憶してある判定モデルＭにより処理することで、被検査体３０の天面の傷や欠け、凹凸等の欠陥を非常に簡単に検出し被検査体３０の良否判定を行う情報処理装置３とで構成した外観画像検査システムと画像検査方法。【選択図】 図１

Description

本願発明は、被検査体の外観表面における傷や欠陥の有無を画像診断で良否判定を行う外観面の画像検査システム及び画像検査方法に関する。

従来、被検査体の表面に縞模様のスリット光を照射する照射手段と、被検査体の表面で反射された反射光を撮像する撮像手段を設け、撮像された画像を解析することにより被検査体の表面の傷や欠陥の有無を判別する方法が提案されている。また、被検査体が透明品の場合は被検査体を挟んでスリット光照射手段と反対側に撮像手段を設けて、透過するスリット光の画像から表面の傷や欠陥の有無を判別する提案もされている。

例えば特許文献１には、被写体の中心軸を中心にして、被写体の胴部にストライプ（例えば、縞模様）状に光を照射する照明装置と、照明装置と被写体を挟んで略対向するように配置され、被写体の胴部で反射された反射光を撮像する複数のカメラ、とで構成された円筒状金属缶の座屈検査装置が提案されている。

また、特許文献２には、明暗が交互の規則性をもった識別パターンとして透明物体の検査領域に照射し、その透過光を、焦点が検査領域の後方に位置するようにした固体撮像素子カメラで撮影し、該カメラの出力の高低を固体撮像素子の配列順序に従って検出してその高低の変化量が急峻な画素数を計数し、その画素数が予め設定された個数以上存在しているとき欠陥有りと判定する透明物体の欠陥検出方法とその装置が提案されている。

特開２０１６－９０３２８号公報 特開平５－２２３７４６号公報

しかしながら、特許文献１の場合には、被検査体が円筒の金属缶に対して放射状のストライプ光を照射し、その反射光を反対側に配置した複数のカメラで撮像し、撮像画像のストライプのラインの乱れと輝度変化を検出することで被検査体の良否判定をするもので、コンベア上を搬送される円筒の金属缶に対しての検査方法であり、コンベア装置や複数のカメラが必要となり、装置が非常に大掛かりになってしまうという問題点があった。また、被検査体が透明体の場合は反射光と透過光が絡み合い正確な判定が行えない欠点があった。

さらに、従来の画像処理を用いた検査手法では、画像を人間が判定し不良品画像として登録する必要があり、判定基準の設定が難しい問題があった。また、被検査体が変わるたびに多量の不良品画像を登録しなければならず、多くの工数がかかり多品種の外観検査への対応が困難であるという問題もあった。

一方、特許文献２の場合には、被検査体が透明体のものを透過するスリット光の画像変化で欠陥を判定するものであり、例えば、不透明体を基材にしてその表面を透明物で被覆するような検査体は検査できないという問題があった。

本願発明は、上記問題点に鑑みその目的は、被検査体は透明品でも不透明品でもよく、簡単な構造で正確かつ短時間で外観面の欠陥を判定することができる外観面の画像検査システム及び画像検査方法を提供することを目的とする。

本願発明に係る手段１は、天面が光反射性を有する被検査体を載置し回転する検査台、
天面に帯状の線状投射光を照射する照明ユニット、
天面を挟んで照明ユニットと対抗するように配置され、天面に投影された線状投射光により形成されるストライプ縞の天面の表面での反射光のみを一定の回転タイミングごとに撮像する撮像装置、
とを備える画像検査装置と、
前記反射光を、撮像縞を含む領域を画像として取り込んだ撮像画像から、予め機械学習し記憶してある判定モデルにより良否判定を行う情報処理装置と、
を具備したことである。

本願発明の手段１によれば、簡単な構造の画像検査装置で、天面に光反射性を有する被検査体を回転させながら、天面に帯状の線状投射光を照射し、投影された線状投射光により形成されるストライプ縞の天面の表面での反射光のみを、一定の回転量ごとに撮像縞を含む領域を画像として取り込んだ撮像画像から、予め機械学習し記憶してある判定モデルにより、被検査体の天面の傷や欠け、凹凸等の欠陥を、非常に簡単に検出し被検査体の良否判定を行うことができる。また、被検査体は表面に光反射性を有しストライプ縞が映り込むものであれば透明品でも不透明品でもよく、透明品であっても反射光で表面の欠陥を非常に簡単に検出でき、撮像装置の配置の自由度も向上するため検査が簡単になる利点がある。さらに、予め機械学習し記憶してある判定モデルにより良否判定を行うことで、短時間で簡単に良否判定を行うことができる。

本願発明によれば、被検査体は透明品でも不透明品でもよく、簡単な構造で正確かつ短時間で外観面の欠陥を判定する外観面の画像検査システム及び画像検査方法を提供することができる。

（課題を解決するための他の手段）
本願発明に係る手段２は、情報処理装置は、演算処理を行う演算処理部と、撮像画像を機械学習し判定モデルを構築する学習プログラム部と、該判定モデルを記憶する記憶部と、
を備え、学習プログラム部は、一定数の良品画像又は一定数の良品画像と一定数の不良品画像を機械学習し、判定モデルを構築したことである。

本願発明に係る手段２によれば、機械学習用データとして一定数の良品画像又は一定数の良品画像と一定数の不良品画像を学習させることで、各種の判定モデルを構築することができるため、多数の不良品の画像は必要とはせず、非常に簡単で短時間に学習させることができる。さらに、検査対象が変更になった場合にも簡単に判定モデルを構築することができるため、多品種の外観検査への対応が簡単に行える利点がある。

本願発明に係る手段３は、前述の外観面の画像検査システムを用い、検査対象の被検査体を回転させながら撮像装置で一定の回転タイミングごとに撮像縞を含む領域を画像として撮像する撮像工程と、
撮像工程にて撮像した撮像画像を検査画像とし、予め機械学習し記憶してある判定モデルにより良否判定を行う良否判定工程と、
を備えたことである。

本願発明に係る手段３によれば、予め機械学習し記憶してある判定モデルにより良否判定を行うことができるため、非常に簡単に短時間で被検査体の良否判定を行える利点がある。さらに、多品種にも対応可能となる効果がある。

本願発明に係る手段４は、前述の判定モデルは、予め良品とわかっている一定数の被検査体を、一定の回転タイミングごとに撮像した撮像画像に“良好”ラベルを付け、機械学習により学習プログラム部で判定モデルを構築し、良品判定モデルとしたことである。

本願発明に係る手段４によれば、予め良品と分かっている一定数の被検査体を学習する場合に、一括で撮像画像を良品画像としてラベル付けし学習できるので非常に簡単に良品判定モデルを構築することができる。また、検査画像の良否判定を行う際に比較的明瞭な見分け易い欠陥や予期せぬ欠陥も検出できる利点がある。

本願発明に係る手段５は、前述の判定モデルは、予め良品とわかっている一定数の被検査体を、一定の回転タイミングごとに撮像した撮像画像に“良好”ラベルを付け、さらに、予め不良品とわかっている一定数の被検査体を、一定の回転タイミングごとに撮像した撮像画像の欠陥箇所にマーキングをし“不良”ラベルを付け、 “良好”ラベルを付けた撮像画像と “不良”ラベルを付けた撮像画像から、機械学習により学習プログラム部で判定モデルを構築し、良品及び不良品判定モデルとしたことである。

本願発明に係る手段５によれば、良品画像を定義すると共に、不良品画像の欠陥箇所にマーキングをして不良品画像と定義をし、良品画像と不良品画像の両方の画像を使用して学習をし、良品及び不良品判定モデルを構築することで、検査画像の良否判定を行う際に比較的不明瞭な見分け難い欠陥も検出できる利点がある。また、多量の不良品画像を必要とせず、簡単に良品及び不良品判定モデルを構築することができる。

本願発明に係る手段６は、前述の良否判定工程は、撮像工程にて撮像した検査画像を良品判定モデルにより良否判定を行う第1の良否判定工程又は、
検査画像を良品及び不良品判定モデルにより良否判定を行う第２の良否判定工程の、少なくともいずれか一方を備えたことである。

本願発明に係る手段６によれば、検査画像と良品判定モデルを使用し第1の良否判定を実施する場合は、比較的明瞭な見分け易い欠陥や予期せぬ欠陥を簡単に検出できる。また、良品及び不良品判定モデルを使用し、第２の良否判定を実施する場合は、比較的不明瞭な見分け難い欠陥も簡単に検出できる効果がある。
また、検査画像と良品判定モデルを使用し第1の良否判定を実施し、比較的明瞭な見分け易い欠陥や予期せぬ欠陥を検出した後、一度良品判定された被検査体の検査画像に対し、良品及び不良品判定モデルを使用し、再度第２の良否判定を実施することで、比較的不明瞭な見分け難い欠陥も検出でき、良品判定モデルを使用した第1の良否判定で見落とされた不良品を検出排除できる効果がある。また逆に、良品及び不良品判定モデルを使用し第２の良否判定を実施し、比較的不明瞭な欠陥を検出した後、一度良品判定された被検査体の検査画像に対し、再度良品判定モデルを使用し第1の良否判定を実施することで、予期せぬ欠陥を検出できる効果がある。このように、２段階で良否判定を実施することで一層不良品を検出排除できる効果がある。

本願発明の実施形態における画像検査システムの全体構成を示す図である。 図１における画像検査装置の斜視図である。 図２における画像検査装置を撮像装置側から見た図である。 本願発明における被検査体の構成を示す図で、（ａ）は分解斜視図、（ｂ）は断面図である。 本願発明において、照明装置によりスリット板を介して被検査体に線状投射光を照射した状態を示す図である。 図５における被検査体表面からの反射光を撮像装置側から見た図である。 図６において傷、欠けや凹凸等がある場合の撮像例を示す図である。 本願発明において、（ａ）学習行程において判定モデルを構築するフローチャート、（ｂ）判定モデルを使用し検査を行う場合の各工程を示すフローチャートである。 本願発明における良否判定工程において検査画像を良否判定するアルゴリズムの例を示す図である。 本願発明における照明ユニットの変形例を示す分解斜視図である。 本願発明における撮像装置側から見た撮像画像（図面代用写真）の例である。 本願発明における第1の実施態様における（ａ）良品学習工程において良品判定モデルを構築するフローチャート、（ｂ）良品判定モデルを使用し検査を行う場合の検査工程を示すフローチャートである。 本願発明における（ａ）撮像画像と（ｂ）“良好”ラベル付け作業をした良品画像の図面代用写真である。 本願発明における第２の実施態様における（ａ）良品及び不良品学習工程において良品及び不良品判定モデルを構築するフローチャート、（ｂ）良品及び不良品判定モデルを使用し検査を行う場合の検査工程を示すフローチャートである。 本願発明における（ａ）撮像画像と（ｂ）“不良”ラベル付け作業をした不良品画像の図面代用写真である。 本願発明における第３の実施態様を示す良品判定モデルと良品及び不良品判定モデルの両方の判定モデルを使用して検査を行う場合の検査工程を示すフローチャートである。 本願発明の実施例に使用した画像検査装置の図面代用写真である。 実施例において使用した被検査体（ボタン）の図面代用写真で、（ａ）は正面、（ｂ）は側面である。 実施例１において学習した（ａ）良品画像の図面代用写真と（ｂ）スコア値分布を示すヒストグラムである。 実施例１において撮像した不良品画像の検出結果の図面代用写真の例である。 実施例１における全ボタンの検証後の結果を纏めた（ａ）分布グラフと（ｂ）コンフュージョンマトリックスである。 実施例１における全ボタンの検証後のスコア値分布を示すヒストグラムである。 実施例２における全ボタンの検証後の結果を纏めた（ａ）分布グラフと（ｂ）コンフュージョンマトリックスである。 実施例２における全ボタンの検証後のスコア値分布を示すヒストグラムである。 実施例３における、実施例１の結果に対して良品及び不良品判定モデルを使用し追加検証した結果を纏めた（ａ）分布グラフと（ｂ）コンフュージョンマトリックスである。 実施例３における、実施例１の結果に対して良品及び不良品判定モデルを使用し追加検証した結果のスコア値分布を示すヒストグラムである。 実施例４における、実施例２の結果に対して良品判定モデルを使用し追加検証した結果を纏めた（ａ）分布グラフと（ｂ）コンフュージョンマトリックスである。

本願発明に係る実施の形態について、図１から図３を用いてそのシステム構成を説明する。図１には、外観画像検査システム１の構成要素とその接続関係が示されており、画像検査装置２はローカルエリアネットワーク（ＬＡＮ）６または専用ケーブルを介して情報処理装置（コンピュータ）３に接続されている。また、コンピュータ３には学習プログラム４がインストールされており、学習プログラム４の処理は画像検査装置２にて取り込まれた被検査体３０の撮像画像Ｇ１を学習処理し、良否判定を行うための判定モデルＭを構築して記憶部５に保存する判定モデル構築処理と、検査対象である被検査体３０の検査画像Ｇ２を取り込み、記憶部５に保存された判定モデルＭにより良否判定を行う良否判定処理を備えている。

画像検査装置２は図２、図３のように、中央部に検査台１０が設けられ、回転テーブル１１上に検査治具１２を介して扁平な被検査体３０が載置され、回転テーブル１１は図示せぬ回転駆動手段で回転可能になっている。すなわち、被検査体３０は回転テーブル１１の回転中心にて回転する構造となっている。

この検査台１０の一方の斜め上方には、ＬＥＤ等の照明装置２１とスリット板２２で構成された照明ユニット２０が配設され、検査台１０を挟んで被検査体３０の天面３２ａの表面のみで反射した光を撮像する位置に撮像装置２３が配設されている。スリット板２２は、図３に示すように全面に垂直方向に細かいスリット溝２２ａが貫通して設けられ、照明装置２１からの光は、スリット溝２２ａを通過した光と遮光された光で明暗のストライプ模様を成す線状投射光Ｓ１となって被検査体３０の表面に投影される。一方、被検査体３０の天面３２ａ（図４参照）の表面で反射した線状投射光Ｓ１が、反射光Ｓ２となって撮像装置２３で撮像される。

被検査体３０は、例えば服飾品などに用いられるボタンであり、図４（ａ）、（ｂ）に示すように略円形の薄い円筒形状を成し、金属などの不透明のベース３１とアクリル樹脂やエポキシ樹脂などの透明なボディー３２で構成され、全体的に円盤状となっている。なお、被検査体３０は略円形ばかりでなく楕円形や四角形、六角形などの多角形であってもかまわない。

ベース３１は、底面３１ａに蒸着や彫刻等で装飾面３１ｂのような模様が装飾された亜鉛合金や錫合金等の金属で作製されている。尚、図４では装飾面３１ｂは突起状にて表現しているが、必ずしも突起の必要はない。一方、ボディー３２は平滑な曲面形状の天面３２ａを有し、鏡のような完全な鏡面ではないが光の反射には十分な光沢を有する巨視的な鏡面となっており、被検査体３０は、ベース３１に対してボディー３２をアクリル樹脂やエポキシ樹脂などの透明材料をポッティング加工やインサート射出成形により作製されている。

次に、被検査体３０の天面３２ａに対して、明暗のストライプ模様を成す線状投射光Ｓ１を投影した状態を説明する。図５は天面３２ａ上に線状投射光Ｓ１を投影した状態で発生する投影縞（以降ストライプ縞と称す）Ｓ３の状態を示しており、線状投射光Ｓ１は天面３２ａの曲面に沿って略平行なストライプ縞となっている。

一方、天面３２ａの表面で反射した反射光Ｓ２を撮像装置２３で撮像した結果は図６のようになる。天面３２ａは平滑な曲面形状で、巨視的な鏡面となっており、表面で巨視的鏡面反射した反射光Ｓ２を撮像装置２３で撮像すると図６のように天面３２ａの曲面に沿って中央部に集中する模様の撮像縞Ｓ４が得られる。尚、天面３２ａが曲面形状の場合は前述のような撮像縞Ｓ４となるが、天面３２ａが平滑な平面の場合はストライプ縞Ｓ３とほぼ同等な略平行な撮像縞となる。なお、本説明では天面３２ａは透明で滑らかな面として説明したが、線状投射光Ｓ１が巨視的鏡面反射し反射光Ｓ２が撮像できれば巨視的な鏡面を有する金属加工面やプラスチック表面であっても構わない。

なお、検査台１０の一方の斜め上方に配置した照明ユニット２０と、反射光Ｓ２を撮像する撮像装置２３の角度関係は、上記被検査体３０の天面３２ａの表面で反射した光のみ撮像し、ベース３１の底面３１ａや装飾面３１ｂからの反射光Ｓ２を撮像しないような角度に設定され、天面３２ａを挟んで対抗するように配置されている。

被検査体３０の天面３２ａにおける傷、欠けや凹凸などの欠陥を、画像検査装置２を使用して撮像する方法について説明する。先ず、図２に示すように被検査体３０を検査治具１２に天面３２ａを上向きにセットし、回転テーブル１１を一定速度で一方向に回転させながら、照明ユニット２０にて線状投射光Ｓ１を天面３２ａの曲面に投射する。次に、天面３２ａの表面で反射した反射光Ｓ２による撮像縞Ｓ４を含む領域を予め定めたタイミングで撮像装置２３にて撮像する。（撮像した画像は撮像画像Ｇ１とする。）

尚、回転テーブル１１を回転することは、反射光Ｓ２の撮像縞Ｓ４の明暗部の位置をずらしながら撮像して表面を漏れなく検査するためである。また、被検査体３０の天面３２ａが曲面の場合は照射ユニット２０側に対向する面からの反射光Ｓ２が受光できずに撮像縞Ｓ４が撮像装置２３で取り込めないこともあり、被検査体３０を回転することにより検査面を順次ずらし撮像縞Ｓ４を取り込むためでもある。

図７に、天面３２ａに傷や欠け、凹凸等の欠陥を有する被検査体３０の撮像縞Ｓ４の例を示してある。例えば、表面に傷や欠けがある場合には、天面３２ａでの反射光Ｓ２は本来反射すべき方向には向かず、異なる方向に反射する。この結果、撮像縞Ｓ４の明部の一部に暗部突起Ｓ４ａが出現し、さらに状態が悪い場合には明部縞が切断される。また、天面３２ａにヒケ等の歪んだ状態がある場合は、撮像縞Ｓ４の一部の縞に歪曲部Ｓ４ｂが出現する。尚、上記は表面における欠陥の一例で、他の状態の縞が発生する場合もある。この撮像縞Ｓ４の状態を検出して、本来の良品の場合の撮像縞Ｓ４と比較すれば、被検査体３０が良品か不良品かを判別することが出来る。

以降、撮像装置２３で撮像された撮像画像Ｇ１を使用して、被検査体３０の良否判定を行う方法について説明する。図８（ａ）は複数の被検査体３０の撮像画像Ｇ１を取り込んで、学習プログラム４により機械学習を行い、判定モデルＭを構築し記憶部５に保存する学習行程Ｐ１を示しており、図８（ｂ）は検査対象の被検査体３０の撮像縞Ｓ４を含む領域を撮像し、記憶部５に保存されている上記の判定モデルＭにより、良否判定を行う検査工程のフローチャートを示している。

＜学習工程Ｐ１＞
学習工程Ｐ１は以下の作業となる。被検査体３０を検査治具１２にセットし、回転テーブル１１を一定速度で回転させながら一定のタイミングで撮像装置２３にて複数枚の撮像縞Ｓ４を含む領域を撮像する。撮像縞Ｓ４は天面３２ａが滑らかな面の場合は、図６のように規則正しい撮像縞Ｓ４が撮像される。この作業を被検査体３０が一定数に達するまで交換セットし直して、複数の撮像縞Ｓ４を含む領域を撮像し、撮像画像Ｇ１として記憶部５に保存する。一定数の撮像画像Ｇ１から機械学習により判定モデルＭを構築し、記憶部５に保存する。

判定モデルＭは、例えばニューラルネットワークを用いた教師なし学習により構築される。教師なし学習とは、学習データセットに正解ラベルを付けずに学習させる方法であり、良品画像のみからニューラルネットワークが自動で良品画像の特徴を学習する。ニューラルネットワークとしては、例えばＡｕｔｏＥｎｃｏｄｅｒ（自己符号化器）などの生成モデルが使用される。なお、ここで扱う判定モデルとは、入力に対して学習済みニューラルネットワークを介して出力し、入力と出力から特徴を抽出するまでの一連の処理の判定モデルも含む。

検査工程は、主に以下の撮像工程Ｐ２と良否判定工程Ｐ３から成っている。
＜撮像工程Ｐ２＞
撮像工程Ｐ２は、検査対象の被検査体３０を撮像する工程である。被検査体３０を検査治具１２にセットし回転テーブル１１を一定速度で回転させながら一定のタイミングで撮像装置２３にて撮像縞Ｓ４を含む領域を撮像する。撮像された撮像縞Ｓ４を含む領域を検査画像Ｇ２として記憶部５に保存する。
＜良否判定工程Ｐ３＞
良否判定工程Ｐ３は、検査対象の被検査体３０の良否を判定する工程である。記憶部５に保存された検査画像Ｇ２を、同じく記憶部５に保存された判定モデルＭを使用して良否判定する。

図９は良否判定工程Ｐ３における検査画像Ｇ２を判定モデルＭにより処理するアルゴリズムの例を示しており、例えば、良品画像のみで学習させた生成モデルの学習済みニューラルネットワークに欠陥の写った画像を入力すると、学習済みニューラルネットワークからは欠陥が除去された画像が出力される。そこで、入力画像（検査画像Ｇ２）と出力画像の差分を取ると、欠陥領域のみが抽出された画像が得られる。この画像から、欠陥領域抽出画像の面積などに応じて不良度を計算する。判定モデルＭにより検査画像Ｇ２の不良度がスコア値として出力される。図８（ｂ）の良否判定工程Ｐ３では、不良度が予め定めた基準値以下であれば検査画像Ｇ２は良品として判定され、基準値より大きければ不良品として判定される。

本願発明の画像検査装置２における変形例として、他の照明ユニット４０を図１０に示す。箱形のケース４３内の底部には基板４４上に実装されたＬＥＤ素子４５が規則正しく配列／実装されており、通電することでＬＥＤ素子４５が発光し照明装置４１となる。また、透明なガラスやプラスチックで作製され、表面部は縦縞の遮光部４２ａが黒インク等で規則正しく印刷され、光の透過部と遮光部で白黒のスリットパターンが形成されたスリット板４２が、取付面４３ａに取り付けられ照明装置４１と組み合わさり照明ユニット４０となっている。本変形例では、白黒のスリットパターンの輝度が均一化できる利点がある。
なお、照明ユニット４０は照明装置４１とスリット板４２で構成して説明したが、パーソナルコンピュータなどの液晶表示装置に濃淡パターンを表示させ、直接濃淡パターンを天面３２ａの曲面に投射しても構わない。

図１２は本願発明の画像検査方法における第1の実施態様を示しており、図１２（ａ）の良品学習工程Ｐ４で作成した良品判定モデルＭ１を使用して、図１２（ｂ）の検査工程において第１の良否判定工程Ｐ５で良否判定を行うフローチャートを示す。なお、撮像画像Ｇ１としては後述の実施例で使用した図１１に示す実際の写真画像を用いて説明する。照明ユニット４０の線状投射光Ｓ１は、被検査体３０の透明な曲面状の天面３２ａの表面にて巨視的鏡面反射をし、反射縞となって現れる。天面３２ａが滑らかな曲面の場合は図１１の様に整った線となり中央部近傍に集まってくる。この反射縞を撮像装置２３で撮像したものが撮像縞Ｓ４を含む領域の撮像画像Ｇ１となる。なお、図中で一点鎖線は天面３２ａの稜線を表している。この稜線より照明ユニット４０側の面は反射光が撮像できないため、被検査体３０を回転させて順次撮像することになる。

以降、図１２のフローチャートにしたがって説明する。
＜良品学習工程Ｐ４＞
先ず、予め良品とわかっている被検査体３０を回転テーブル１１上で回転させながら、一定のタイミングでこの反射縞を撮像し、撮像縞Ｓ４を含む領域を撮像画像Ｇ１として記憶部５に保存する。この作業を良品の被検査体３０を交換しながら、予め決めた一定数になるまで撮像画像Ｇ１として記憶部５に保存する。保存した撮像画像Ｇ１に対して “良好”ラベルＧＬを付け良品画像Ｇ３として登録する。図１３は（ａ）撮像画像Ｇ１に対して（ｂ） “良好”ラベルＧＬを付ける方法の例であり、画像の右上隅に斜帯で表示している（実際は緑色帯）。“良好”ラベルＧＬを付けた画像は、良品画像Ｇ３として記憶部５に保存する。なお、学習時の撮像画像Ｇ１は、予めすべて良品の被検査体３０のため、すべて良品画像であり一括して良品画像Ｇ３として登録することになる。

次に、保存した一定数の良品画像Ｇ３のみから、例えばＡｕｔｏＥｎｃｏｄｅｒ（自己符号化器）などの教師なし学習により良品判定モデルＭ１を構築し記憶部５に保存する。この良品判定モデルＭ１を構築することで、ニューラルネットワークは学習済みニューラルネットワークとなる。

検査工程は、主に前述の撮像工程Ｐ２と以下の第１の良否判定工程Ｐ５から成っている。
＜第１の良否判定工程Ｐ５＞
検査対象の被検査体３０を検査する場合は、撮像工程Ｐ２にて撮像された検査画像Ｇ２の良否判定を行う第１の良否判定工程Ｐ５で判定する。図１２において、検査画像Ｇ２を記憶部５から呼び出し、順次良品判定モデルＭ１にて良否判定を行う。図９に示す欠陥領域抽出画像から求められる不良度の数値（後述するスコア値ＳＣ）が予め定めた基準値（後述する閾値ＳＬ）以下ならば良品、それ以上ならば不良品と判定される。

図１４は本願発明の画像検査方法における第２の実施態様を示しており、良品及び不良品学習工程Ｐ６で作成した良品及び不良品判定モデルＭ２を使用し、第２の良否判定工程Ｐ７にて良否判定を行うフローチャートを示す。
＜良品及び不良品学習工程Ｐ６＞
良品学習工程Ｐ４と同様に、先ず、予め良品とわかっている被検査体３０を回転テーブル１１上で回転させながら、一定のタイミングでこの反射縞を撮像し、撮像縞Ｓ４を含む領域を撮像画像Ｇ１として記憶部５に保存する。この作業を良品の被検査体３０を交換しながら、予め決めた一定数になるまで撮像画像Ｇ１として記憶部５に保存する。保存した撮像画像Ｇ１に対して “良好”ラベルＧＬを付け良品画像Ｇ３として登録する。なお、ここまでは良品学習工程Ｐ４と同様の作業であり、同様に一括して良品画像Ｇ３として登録する。

次に、予め不良品とわかっている被検査体３０を回転テーブル１１上で回転させながら、一定のタイミングでこの反射縞を撮像し、撮像縞Ｓ４を含む領域を撮像画像Ｇ１として記憶部５に保存する。この作業を不良品の被検査体３０を交換しながら、予め決めた一定数になるまで撮像画像Ｇ１として記憶部５に保存する。さらに、撮像画像Ｇ１の欠陥ＤＥの部分に欠陥マークＤＭをマーキングし撮像画像Ｇ１に“不良”ラベルＢＬを付け不良品画像Ｇ４として登録する。なお、上述の良品画像Ｇ３と不良品画像Ｇ４の作成の順番は逆であっても構わない。

図１５は不良品画像Ｇ４の例であり、（ａ）撮像画像Ｇ１の一部に欠陥ＤＥが現れており、（ｂ）撮像画像Ｇ１の欠陥ＤＥに対応する位置に欠陥マークＤＭ（赤色）が付けられ、画像の右上隅に斜帯（実際は赤色帯）で“不良”ラベルＢＬを付けた図となっている。 “不良”ラベルＢＬを付けた画像は、不良品画像Ｇ４として記憶部５に保存される。なお、欠陥マークＤＭは点状、円状、異形状、筋状等で各種マーキングは異なり、その形状に合わせてマーキングをする。

記憶部５に保存した上記の良品画像Ｇ３と不良品画像Ｇ４から、機械学習により良品及び不良品判定モデルＭ２を構築し、記憶部５に保存する。例えばこの画像を教師データとしてニューラルネットワークの入力層に入力し、隠れ層で複数回の重み付け係数を付加したのち出力層に出力される出力データと入力した教師データとの誤差をとり、この誤差が最小となるように何度も重み付け係数を変更して調整する誤差逆伝播法によりニューラルネットワークは学習される。特に、画像をピクセルに分割しピクセルにラベル付けをする画像セグメンテーション法を用いて学習させ、良品及び不良品判定モデルＭ２を作成することが有効である。

検査工程は、主に前述の撮像工程Ｐ２と以下の第２の良否判定工程Ｐ７から成っている。
＜第２の良否判定工程Ｐ７＞
検査対象の被検査体３０を検査する場合は、撮像工程Ｐ２にて撮像された検査画像Ｇ２の良否判定を行う第２の良否判定工程Ｐ７で判定する。図１４（ｂ）において、検査画像Ｇ２を記憶部５から呼び出し、順次良品及び不良品判定モデルＭ２にて良否判定を行う。図９に示す欠陥領域抽出画像から求められる不良度の数値（後述するスコア値ＳＣ）が予め定めた基準値（後述する閾値ＳＬ）以下ならば良品、それ以上ならば不良品と判定される。

図１６は本願発明の画像検査方法における第３の実施態様を示しており、良品判定モデルＭ１と良品及び不良品判定モデルＭ２の両方の判定モデルを使用し、第１の良否判定工程Ｐ５と第２の良否判定工程Ｐ７の両方の工程を含む第３の良否判定工程Ｐ８にて良否判定を行うフローチャートを示す。先ず、上記第３の良否判定工程Ｐ８を実施する前に、前述の方法で予め、良品判定モデルＭ１と良品及び不良品判定モデルＭ２を構築しておく。
検査工程は、主に前述の撮像工程Ｐ２と以下の第３の良否判定工程Ｐ８から成っている。
＜第３の良否判定工程Ｐ８＞
検査対象の被検査体３０を検査する場合は、先ず、撮像工程Ｐ２にて撮像された検査画像Ｇ２を記憶部５から呼び出し、前述の良品判定モデルＭ１にて判定し、結果が予め定めた基準値（後述する閾値ＳＬ）以上ならば不良品として終了する。一方結果が基準値以下の場合は、前述の良品及び不良品判定モデルＭ２にて追加判定を行う。結果が予め定めた基準値（後述する閾値ＳＬ）値以下ならば良品とし、結果が基準値以上ならば不良品として終了する。

上記の第３の良否判定工程Ｐ８は、一旦、判定結果が予め定めた基準値（後述する閾値ＳＬ）以下の場合でも、異なる観点で作成した判定モデルで別々に判定することにより、比較的不明瞭な見分け難い欠陥も検出でき、一度見落とされた不良品を検出排除できる利点がある。なお、後述する実施例４で説明するが、第４の実施態様として第３の良否判定工程Ｐ８において、判定の順番を入れ替えて、良品及び不良品判定モデルＭ２にて判定を行った後に良品判定モデルＭ１にて追加判定しても構わない。

以上、４種類の実施態様において学習工程Ｐ１として、２種類の学習工程（良品学習工程Ｐ４、良品及び不良品学習工程Ｐ６）と、良否判定工程Ｐ３として、３種類の良否判定工程（第１の良否判定工程Ｐ５と第２の良否判定工程Ｐ７、第３の良否判定工程Ｐ８）について説明したが、学習工程Ｐ１と良否判定工程Ｐ３は各々独立した工程であり、一旦、学習工程Ｐ１にて何種類かの判定モデルＭを作成し記憶しておけば、検査工程は検査対象の被検査体３０の撮像工程Ｐ２と良否判定工程Ｐ３のみの工程となり、良否判定時に必要な判定モデルＭを呼び出して良否判定することができる。これは、同一種類の被検査体を繰り返し検査する場合に非常に有効である。
また、判定モデルＭの作成も必ずしも多量の不良品画像を必要とせず、比較的簡単に判定モデルＭを作成することができる。
以下、各実施態様に対して実施例を基に説明する。

本願発明の実施例に使用した画像検査装置２の写真を図１７に示す。中央部の回転テーブル１１には検査治具１２が設けられ被検査体（ボタン）３０が載置されて図中矢印方向に回転している。照明ユニット４０からの線状投射光Ｓ１がボタン３０の表面に投射され、撮像装置２３で反射光Ｓ２を撮像している。

本実施例に使用したボタン３０の外観写真を図１８に示す。亜鉛合金のベース３１の表面を透明なエポキシ樹脂にてポッティング加工でボディー３２が形成されている。ボディー３２の表面は平滑な曲面形状をした天面３２ａが形成されており、天面３２ａで光が巨視的鏡面反射するようになっている。

実施例において、撮像装置２３にて撮像縞Ｓ４を含む領域を撮像した結果の撮像画像Ｇ１は前述したように図１１である。なお、ボタン３０の寸法は図１８に示すように外形は約φ２０ｍｍ、曲面部の高さは約２ｍｍのボタンとした。
本願発明の実施例にて使用した各種機器を以下に示す。
・撮像装置２３は、ＩＤＳ Ｉｍａｇｉｎｇ Ｄｅｖｅｌｏｐｍｅｎｔ Ｓｙｓｔｅｍｓ社のカメラでＵＩ－６２８０ＳＥ－Ｃ－ＨＱ Ｒｅｖ．３
・照明ユニット４０は、シーシーエス株式会社のＬＦＸ３－１００ＳＷ－ＰＴ－Ｂで、濃淡のスリット間隔は各２ｍｍを使用。
・学習プログラム４は、コグネックスコーポレーションのＶｉｓｉｏｎ Ｐｒｏ ＶｉＤｉという学習・判定ソフトウェア
を使用して実験を行った。

以下表１に実施例１～実施例４までの実験条件の一覧を示す。

（実施例１）
以下、実施例１として第1の実施態様の場合の例で、実際のボタン３０を用いて検証した条件／手順を説明する。先ず、良品学習工程Ｐ４としての作業で、予め良品と分かっているボタン３０を検査治具１２に配設し、回転テーブル１１を図１７に示す矢印方向に一定速度で回転させながら、ボタン３０が約３回転する間に撮像装置２３にて４０枚の撮像縞Ｓ４を含む領域を撮像する。本実験では良品のボタン３０を１０個用いて、合計４００枚の撮像画像Ｇ１を撮像した。

次に、図１３に示すように、上記で撮像した（ａ）の撮像画像Ｇ１を学習・判定ソフトウェアＶｉＤｉにて良品画像Ｇ３として（ｂ）に示す“良好”ラベルＧＬ（緑色の帯）を付与する。このとき、学習・判定ソフトウェアＶｉＤｉでは撮像画像Ｇ１を読み取り、撮像縞Ｓ４の歪みや欠け、変形の大きさや量等から内部処理にてスコア値ＳＣを求める。図１９（ａ）には実際の良品学習時に出力したスコア値ＳＣと良品画像Ｇ３として良品マークＧＭ（外形の枠：緑色外枠）を付与した画像を表示している。

図１９（ｂ）は、上記良品学習工程Ｐ４で１０個の良品のボタン３０を学習させ、４００枚の良品画像Ｇ３から得られたスコア値ＳＣの分布を示したヒストグラムであり、スコア値ＳＣの平均値ＡＶＥ＝４．０２，標準偏差σ＝０．２６５が得られている。この結果を基に、４００枚のスコア値ＳＣが全て良品となるように閾値ＳＬ＝５．０４を決定し、４００枚の良品画像Ｇ３から学習・判定ソフトウェアＶｉＤｉにて良品判定モデルＭ１を構築した。尚、閾値ＳＬは自動で設定も出来るし、任意に設定も出来る。

以降は実際の検査工程で、撮像工程Ｐ２として検査対象のボタン３０を２０個用意し、上記学習時と同様に撮像縞Ｓ４を含む領域を撮像した。この撮像された８００枚の検査画像Ｇ２を、図９で示すように、入力画像として順次学習済みニューラルネットワークを介して構築された良品判定モデルＭ１により処理することで出力画像が得られる。スコア値ＳＣは、良品判定モデルＭ１により処理された出力画像と入力画像の差分を取ったときの欠陥領域抽出画像から求められた差分を数値化した数値である。

実際に、第１の良否判定工程Ｐ５として４００枚（ボタンが１０個）の良品画像Ｇ３と８００枚（ボタン２０個）の検査画像Ｇ２合わせて１２００枚（ボタンが３０個）を学習・判定ソフトウェアＶｉＤｉで良否判定をした。図２０は不良品画像Ｇ４の検出結果（写真）の例であり、（ａ）では実際の検査画像Ｇ２の連続した６枚を抜き出した例である。目視でも欠陥ＤＥが回転に伴い右から順に左側に移動していることが分かる。（ｂ）はこの欠陥ＤＥを有する検査画像Ｇ２の判定結果である。欠陥ＤＥのある部分にエラーマークＥＭ（赤色）が自動で付加され、不良品画像Ｇ４としてスコア値ＳＣと不良品マークＢＭ（外形の枠：赤色外枠）が自動で表示される。スコア値ＳＣを見ると、閾値ＳＬ＝５．０４からは大幅に外れていることが分かる。

上記のボタン３０を検査し良否判定した結果の（ａ）分布グラフと（ｂ）コンフュージョンマトリックスを図２１に示す。図２１には閾値ＳＬ＝５．０４近傍における各良品画像Ｇ３と不良品画像Ｇ４の数の分布状況が示されている。閾値ＳＬの左側が良品領域ＧＡで、右側が不良品領域ＢＡになっており、実際の不良品のボタン３０を画像検査して良品として判定された交差領域ＣＡ１と実際の良品のボタン３０を不良品として判定された交差領域ＣＡ２が閾値ＳＬを挟んで表れている。

本来はこの交差領域が存在しないことが理想である。また、実際の撮像画像１２００枚に対して、判定した結果を図２１（ｂ）のコンフュージョンマトリックスにした。実際の良品を良品として正しく判定したものは１１４４枚（（イ）部分）、実際の不良品を不良品として正しく判定したものは３５枚（（ニ）部分）であり、実際の良品を不良品と誤判定した６枚（（ロ）部分）は交差領域ＣＡ２、実際の不良品を良品と誤判定した１５枚（（ハ）部分）は交差領域ＣＡ１に相当している。このことは、学習・判定ソフトウェアＶｉＤｉが欠陥画像を認識できなかった、若しくは正常画像を欠陥として判定した結果であるが、閾値ＳＬを任意に移動することにより、実際の不良品を良品と判定する確率を減らすように設定することも可能である。また、閾値ＳＬは２段階で設定することも可能であり、その閾値ＳＬの間は偽判定領域になるが、本実施例１では閾値ＳＬは共通とした。

全画像のスコア値ＳＣの分布を表すヒストグラムを図２２に示す。全画像では不良品も検出されているため、スコア値ＳＣの平均値ＡＶＥ＝４．２２と良品画像Ｇ３のみの場合より０．２程度大きくなっており、さらに不良品画像の影響で閾値ＳＬ＝５．０４を越えるスコア値ＳＣが散見されて、バラツキ具合を示す標準偏差σ＝０．６１２と２倍以上に大きくなっている。この結果、閾値ＳＬ＝５．０４とすると、平均値ＡＶＥと標準偏差σから推定不良率が約９％と計算される。なお、実際本システムの学習・判定ソフトウェアＶｉＤｉで検出された１２００枚の画像の不良率は３．４２％となった。（図２１における（ロ）と（ニ）の部分の不良率）

（実施例２）
次に実施例２として本願発明の第２の実施態様の場合の例で説明する。先ず、前述の良品画像Ｇ３の４００枚と、予め不良品と分かっているボタン３０の欠陥ＤＥに対応する位置に欠陥マークＤＭと“不良”ラベルＢＬを付けた不良品画像Ｇ４を９枚用意した。この良品画像Ｇ３と不良品画像Ｇ４を使用して学習・判定ソフトウェアＶｉＤｉにて良品及び不良品判定モデルＭ２を構築し、記憶部５に保存した。さらに、第２の良否判定工程Ｐ７として、この良品及び不良品判定モデルＭ２を用いて、全１２００枚の検査画像Ｇ２の良否判定を実施した。

図２３にその結果の（ａ）分布グラフと（ｂ）コンフュージョンマトリックスを示す。本実施例２では第１の閾値ＳＬ１＝０．１５、第２の閾値ＳＬ２＝０．３０が設定されている。この結果、実際の良品を良品として正しく判定したものは９６３枚（（ホ）部分）、実際の不良品を不良品として正しく判定したものは３５枚（（ヌ）部分）であり、実際の良品を不良品と誤判定した２３枚（（ト）部分）、実際の不良品を良品と誤判定した５枚（（チ）部分）となった。さらに、第１の閾値ＳＬ１＝０．１５と第２の閾値ＳＬ２＝０．３０の間は偽判定領域となっており、実際の不良品の判定不可が１０枚（（リ）部分）発生した。

図２４に本実施例２における全１２００枚の画像のスコア値ＳＣの分布を示す。第２の閾値ＳＬ２＝０．３０の場合では、平均値ＡＶＥ＝０．１１と標準偏差σ＝０．１０６から推定不良率が約３．７３％と計算される。なお、実際不良品検出率は４．８３％（図２３(ト)と（ヌ）部分）となっている。また、偽判定領域（図２３（ヘ）と（リ）部分）が発生する結果となっている。

（実施例３）
次に実施例３として本願発明の第３の実施態様を例に説明する。第３の良否判定工程Ｐ８として、先ず、実施例１において良品判別モデルＭ１を使用して、全１２００枚の画像の良否判定を行った後、良品として通過した良品画像Ｇ３の１１５９枚（図２１の（イ）と（ハ）の部分の合計）に対して、上記良品及び不良品判定モデルＭ２を使用して追加で良否判定を行う２段階の良否判定を行った。

図２５にその結果の（ａ）分布グラフと（ｂ）コンフュージョンマトリックスを示す。本実施例３では第１の閾値ＳＬ１＝０．１５、第２の閾値ＳＬ２＝０．３０が設定されている。この結果、実際の良品を良品として正しく判定したものは１１５９枚中１０５７枚（（ル）部分）、実際の不良品を不良品として正しく判定したものは１１枚（（タ）部分）、実際の良品を不良品と誤判定したものは９枚（（ワ）部分）、実際の不良品を良品と誤判定したものは１枚（（カ）部分）となった。さらに、第１の閾値ＳＬ１＝０．１５と第２の閾値ＳＬ２＝０．３０の間は偽判定領域となっており、実際の不良品の画像の判定不可が３枚（（ヨ）部分）発生した。

図２６に本実施例３における１１５９枚の実施例１で良品とされた画像を追加検証したスコア値ＳＣの分布を示す。実施例３においては、実施例１で良品として通過してしまった実際の不良品の１５枚（図２１の（ハ）の部分）の画像を、第２の閾値ＳＬ２＝０．３０で緩めに良否判定したとしても、誤判定で通過する枚数は４枚（図２５（カ）と（ヨ）部分）と大幅に減少し、実際の不良品が不良品画像Ｇ４として１１枚検出され正しく判定されている（図２５（タ）部分）。すなわち、実施例１で誤判定となった１５枚の内１１枚は良品及び不良品判定モデルＭ２を使用した再判定で正しく不良品画像と判定されたこととなる。なお、実施例２の図２４のグラフに対して平均値ＡＶＥ＝０．０７、標準偏差σ＝０．０８２と数値が小さくなった原因は、実施例２は全１２００画像の結果であるが、実施例３は一旦実施例１で良品判定された画像の１１５９画像のみを使用して追加検証した結果のため数値が小さくなっている。

（実施例４）
最後に、実施例４として本願発明の第４の実施態様を例に説明する。実施例３では第３の良否判定工程Ｐ８は、良品判別モデルＭ１を使用して、全１２００枚の画像の良否判定を行った後、良品として通過した良品画像Ｇ３の１１５９枚に対して、上記良品及び不良品判定モデルＭ２を使用して追加で良否判定を行う工程としたが、実施例４では、この良否判定工程の順番を逆としている。即ち、実施例２で良品及び不良品判定モデルＭ２を使用して、全１２００枚の画像の良否判定を行った後、良品及び判定不可となった１１４２枚（図２３の（ホ）、（ヘ）、（チ）、（リ）の部分の合計）の画像に対して、良品判別モデルＭ１を使用して、追加で良否判定を行った。

図２７にその結果の（ａ）分布グラフと（ｂ）コンフュージョンマトリックスを示す。本実施例４では閾値ＳＬ＝５．０４が設定されている。この結果、実際の良品を良品として正しく判定したものは１１４２枚中１１２１枚（（レ）部分）、実際の不良品を不良品として正しく判定したものは６枚（（ネ）部分）、実際の良品を不良品と誤判定したものは６枚（（ツ）部分）、実際の不良品を良品と誤判定したものは９枚（（ソ）部分）となった。

以上、実施例１及び実施例２にて実際の不良品の５０枚の不良画像を別々の判定モデルで判定した結果と、実施例３及び実施例４として、実施例１にて良品判定された画像及び実施例２にて良品判定／判定不可とされた画像を、それぞれ別の判定モデルで追加判定（２段階判定）した結果を表２に纏めた。

実施例１では実際の不良品画像の５０枚は、誤判定（良品画像と判定）が１５枚（（ハ）部分）、正解判定（不良品画像と判定）３５枚（（ニ）部分）となった。
実施例２では、実際の不良品画像の５０枚は、誤判定（良品画像と判定）が５枚（（チ）部分）、正解判定（不良品画像と判定）３５枚（（ヌ）部分）、１０枚（（リ）部分）の画像は判定不可となった。
実施例３では、実際の不良品画像の５０枚のうち実施例１で不良品画像と正しく判定された３５枚（（ニ）部分）を除いて、誤判定（良品画像と判定）した１５枚（（ハ）部分）の画像を、良品及び不良品判定モデルＭ２を使用して追加判定した結果が、誤判定（良品画像と判定）が１枚（（カ）部分）、正解判定（不良品画像と判定）１１枚（（タ）部分）、３枚（（ヨ）部分）の画像は判定不可となった。
実施例４では、実際の不良品画像の５０枚のうち実施例２で不良品画像と正しく判定された３５枚（（ヌ）部分）を除いて、誤判定（良品画像と判定）及び判定不可の１５枚（（チ）と（リ）部分）の画像を、良品判定モデルＭ１を使用して追加判定した結果が、誤判定（良品画像と判定）が９枚（（ソ）部分）、正解判定（不良品画像と判定）６枚（（ネ）部分）となった。

以上の結果から、表２の破線で囲む部分を参考に、実施例１では明らかな誤判定が１５枚（（ハ）部分）発生したが、実施例２では、明らかな誤判定が５枚（（チ）部分）、実施例３では１枚（（カ）部分）、実施例４では9枚（（ソ）部分）まで減少する結果となった。なお、判定不可まで含めて誤判定とした表２の一点鎖線で囲む部分の場合でも、実施例２では１５枚（（チ）と（リ）部分）と変わらないが、実施例４では９枚（（ソ）部分）となり、２段階で別の判定モデルを使用して良否判定をすることにより、一度良品判定されたボタン３０の検査画像Ｇ２に対し、見落とされた不良品を検出排除できる効果があることがわかる。
特に実施例３では誤判定が４枚（（カ）と（ヨ）の部分）まで減少しており、先ず実施例１で良品判定モデルＭ１を使用し第１の良否判定を実施し、比較的明瞭な見分け易い欠陥を簡単に検出した後、一度良品判定されたボタン３０の検査画像Ｇ２に対し、良品及び不良品判定モデルＭ２を使用し、再度、第２の良否判定を実施することで、傷や低コントラストの汚れ、線状の亀裂や割れ目等の比較的不明瞭な見分け難い欠陥も検出でき、良品判定モデルＭ１を使用した第１の良否判定で見落とされた不良品を、良品及び不良品判定モデルＭ２を使用して追加で第２の良否判定を行うことで検出排除できる大きな効果があることがわかる。

また、実施例３では実際の良品画像を不良品画像と誤判定した結果が９枚（図２５（ワ）の部分）発生したが、良品がはじかれるだけで、不良品が混入しないように安全サイドで考えると許容できるレベルとなった。なお、良品を不良品と誤判定した結果と、不良品を良品と誤判定した結果を併せて、不良品の混入リスクと良品の歩留まりを考慮しながら、何度か第２の閾値ＳＬ２を調整することで最適な良否判定が行える。

また、実施例１や実施例２のように目的に合わせて各実施態様に添って良否判定を行うことで、作業効率と判定の正確性を見ながら良否判定ができる。さらに、実施例３、実施例４のように２段階で良否判定を行うことで、一層判定確度の高い判定方法が適用できる。なお、実施例３では、良品判定モデルＭ１を使用し第１の良否判定を実施した後、一度良品判定されたボタン３０の検査画像Ｇ２に対し、良品及び不良品判定モデルＭ２を使用し、再度第２の良否判定を実施したが、さらに別の良品及び不良品判定モデルＭ３を使用し追加で良否判定を実施する等、複数回実施しても構わない。

一般に被検査体（ボタン）３０は、図４に示す様なベース３１の底面３１ａや装飾面３１ｂの面にも傷、打痕、凹凸や欠け、汚れ等の欠陥が存在する場合があり、透明部分の欠陥を検査する本検査方法だけでは十分ではない。そこで、本検査システムを利用し、照明ユニット２０と撮像装置２３の配置を変更し、底面３１ａや装飾面３１ｂの反射光を撮像して、学習プログラム４で検査し良否判定することで、本システムの検査と併用して使用すれば、より効果的に検査が可能となる。尚、底面３１ａや装飾面３１ｂの反射光を撮像の場合は、必ずしも被検査体３０は回転する必要はない。

以上、本願発明の実施の形態や実施例に基づいて詳細に説明してきたが、実施形態はこれに限定されるものでなく、本願発明の要旨を逸脱することなく、その他種々の構成をとり得ることは勿論である。

１ ：外観画像検査システム
２ ：画像検査装置
３ ：情報処理装置（コンピュータ）
４ ：学習プログラム
５ ：記憶部
１０ ：検査台
１１：回転テーブル
１２：検査治具
２０、４０：照明ユニット
２１、４１：照明装置
２２：スリット板
２２ａ：スリット溝
２３：撮像装置
３０ ：被検査体（ボタン）
３１ ：ベース
３１ａ：底面
３１ｂ：装飾面
３２ ：ボディー
３２ａ：天面
４２ ：スリット板
４２ａ：遮光部
４３ ：ケース
４３ａ：取付面
４４ ：基板
４５ ：ＬＥＤ素子

Ｓ１：線状投射光
Ｓ２：反射光
Ｓ３：投影縞（ストライプ縞）
Ｓ４：撮像縞
Ｓ４ａ：暗部突起
Ｓ４ｂ：歪曲部
Ｐ１：学習工程
Ｐ２：撮像工程
Ｐ３：良否判定工程
Ｐ４：良品学習工程
Ｐ５：第１の良否判定工程
Ｐ６：良品及び不良品学習工程
Ｐ７：第２の良否判定工程
Ｐ８：第３の良否判定工程
Ｇ１：撮像画像
Ｇ２：検査画像
Ｇ３：良品画像
Ｇ４：不良品画像
Ｍ：判定モデル
Ｍ１：良品判定モデル
Ｍ２：良品及び不良品判定モデル
ＳＬ：閾値
ＳＬ１：第１の閾値
ＳＬ２：第２の閾値
ＳＣ：スコア値
ＤＥ：欠陥
ＤＭ：欠陥マーク
ＧＬ：”良好“ラベル
ＢＬ：”不良“ラベル
ＧＭ：良品マーク
ＢＭ：不良品マーク
ＥＭ：エラーマーク
ＧＡ：良品領域
ＢＡ：不良品領域
ＣＡ１、ＣＡ２：交差領域

Claims (6)

1. 天面が光反射性を有する被検査体を載置し回転する検査台、
   前記天面に帯状の線状投射光を照射する照明ユニット、
   前記天面を挟んで前期照明ユニットと対抗するように配置され、前記天面に投影された前記線状投射光により形成されるストライプ縞の前期天面の表面での反射光のみを、一定の回転タイミングごとに撮像する撮像装置、
   とを備える画像検査装置と、
   前記反射光を、撮像縞を含む領域を画像として取り込んだ撮像画像から、予め機械学習し記憶してある判定モデルにより良否判定を行う情報処理装置と、
   を具備する外観面の画像検査システム。
2. 前記情報処理装置は、演算処理を行う演算処理部と、
   前記撮像画像を機械学習し前記判定モデルを構築する学習プログラム部と、
   該判定モデルを記憶する記憶部と、
   を備え、前記学習プログラム部は、一定数の良品画像又は一定数の良品画像と一定数の不良品画像を機械学習し、前記判定モデルを構築することを特徴とする請求項１に記載の外観面の画像検査システム。
3. 天面が光反射性を有する被検査体を載置し回転する検査台、
   前記天面に帯状の線状投射光を照射する照明ユニット、
   前記天面を挟んで前期照明ユニットと対抗するように配置され、前記天面に投影された線状投射光により形成されるストライプ縞の前期天面の表面での反射光のみを一定の回転タイミングごとに撮像する撮像装置、
   とを備える画像検査装置と、
   前記反射光を、撮像縞を含む領域を画像として取り込んだ撮像画像から、予め機械学習し記憶してある判定モデルにより良否判定を行う情報処理装置と、
   を具備する画像検査システムを用い、
   検査対象の前記被検査体を回転させながら前記撮像装置で一定の回転タイミングごとに前記撮像縞を含む領域を画像として撮像する撮像工程と、
   前記撮像工程にて撮像した前記撮像画像を検査画像とし、予め機械学習し記憶してある前記判定モデルにより良否判定を行う良否判定工程と、
   を備えた外観面の画像検査方法。
4. 前記判定モデルは、予め良品とわかっている一定数の前記被検査体を、一定の回転タイミングごとに撮像した撮像画像に“良好”ラベルを付け、機械学習により前記学習プログラム部で判定モデルを構築し、良品判定モデルとしたことを特徴とする請求項３に記載の外観面の画像検査方法。
5. 前記判定モデルは、予め良品とわかっている一定数の前記被検査体を、一定の回転タイミングごとに撮像した撮像画像に“良好”ラベルを付け、さらに、予め不良品とわかっている一定数の前記被検査体を、一定の回転タイミングごとに撮像した撮像画像の欠陥箇所にマーキングをし“不良”ラベルを付け、前記 “良好”ラベルを付けた撮像画像と 前記“不良”ラベルを付けた撮像画像から、機械学習により前記学習プログラム部で判定モデルを構築し、良品及び不良品判定モデルとしたことを特徴とする請求項３に記載の外観面の画像検査方法。
6. 前記良否判定工程は、前記撮像工程にて撮像した前記検査画像を、前記良品判定モデルにより良否判定を行う第1の良否判定工程又は、
   前記検査画像を前記良品及び不良品判定モデルにより良否判定を行う第２の良否判定工程の、少なくともいずれか一方を備えたことを特徴とする請求項４及び請求項５に記載の外観面の画像検査方法。

Images