JP2021092887A - 外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラム - Google Patents

Abstract

【課題】ニューラルネットワークを用いて高速かつ精度よく外観検査を実行できる外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラムを提供する。【解決手段】識別器は、検査対象が検査位置に到達するとＳ５０１：ＹＥＳ、検査対象を撮影してＳ５０２、検査画像を生成しＳ５０３、当該検査画像に欠陥が写っているか判定する。欠陥が写っている場合にはＳ５０４：ＹＥＳ、ＣＮＮを用いて欠陥サイズを判定するＳ５０５。当該ＣＮＮは、検査画像を入力としてセマンティックセグメンテーションを行うことなく、画像に写っている欠陥のサイズがどのクラスに属するかの確率を出力し、計算量が抑制される。欠陥サイズが閾値φthよりも大きい場合にはＳ５０６：ＹＥＳ、修正が必要と記録するＳ５０７。判定した欠陥サイズが閾値φth以下である場合にはＳ５０６：ＮＯ、修正が不要と記録するＳ５０８。【選択図】図５

Description

本開示は、外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラムに関し、特に検査対象の画像を用いた自動検査を高速化する技術に関する。

従来、さまざまな製品の製造工程における品質管理のために外観の目視検査が行われてきている。目視検査は、検査項目が多数に上る一方、検査員に熟練した検査技能が求められるので、効率化を図ることが難しい。このため、目視検査を自動化する技術が求められている。

このような要望に対して、例えば、ルールベースＡＩ（Artificial Intelligence）を適用して目視検査の自動化を図ることが考えられる。具体的には、製品を撮影した検査画像から複数の特徴量を抽出し、抽出した特徴量からルールベースに基づいた推論を行うことによって検査対象物の良否を判定する。従って、ルールベースＡＩを用いれば、熟練した検査員を要することなく、目視検査を実施することができる。

特開２０１９−００２８３０号公報

Vijay Badrinarayanan, Alex Kendall and Roberto Cipolla, "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation." Olaf Ronneberger, Philipp Fischer, Thomas Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation" Karen Simonyan, Andrew Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition", arXiv:1409.1556 (2015). インターネット＜URL: https://keras.io/＞ Yuji Tokozume, Yoshitaka Ushiku, Tatsuya Harada, "Between-class Learning for Image Classification" Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, "SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation", arXiv:1511.00561 (2016). Olaf Ronneberger, Philipp Fischer, Thomas Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597 (2015). Jonathan Long, Evan Shelhamer, Trevor Darrell, "Fully Convolutional Networks for Semantic Segmentation", arXiv:1411.4038 (2015). Diederik P. Kingma, Jimmy Ba, "Adam: A Method for Stochastic Optimization", arXiv:1412.6980 (2015).

しかしながら、多品種少量生産の場合などでは、検査対象となるワークの材質や形状などが多岐に亘るため、検査項目数が膨大になり、これに合わせてルールベースＡＩもまた膨大なルールを用意しなければならない上に、ルールベースの開発には検査対象に関する高度に専門的な知識が必要になるという困難が伴う。

このような問題に対して、近年、進歩が著しいニューラルネットワークを利用すれば、膨大なルールベースを構築する手間を省いたり、検査時間を短縮したりすることができると期待される。ニューラルネットワークは、検査結果が良の検査画像と、検査結果が不良の検査画像とを用いて学習させれば、多種多様なワーク・欠陥種に対応することができる。ニューラルネットワークを学習させる際には、ルールベースを構築する際に必要とされるような高度に専門的な知識を有していなくてもよく、検査技能に熟練している必要もないので、誰でも簡単に設定することができる。

外観検査に関しては、例えば、Ｓｅｇｎｅｔ（非特許文献１を参照。）やＵ−ｎｅｔ（非特許文献２を参照。）といったニューラルネットワークを用いた領域分割（Semantic Segmentation）技術を応用して、検査画像を画素単位でどのクラスに属するか分類すれば（pixel labeling）、検査画像に含まれている欠陥部分を画素単位で検出することができる。

欠陥を修正すべきか否かについては、基準となるサイズがメーカー毎に規定されている。このため、欠陥部分を画素単位で検出して、そのサイズを特定すれば、基準サイズを超えているかを判定することができる。

しかしながら、領域分割技術を利用して、検査画像のすべての画素についてクラス分類を実行するために必要となる計算量は膨大に上るため、どうしても処理時間が長くならざるを得ない。製造ラインにおいて高い生産性を達成するためには、検査ライン上で次々に搬送されてくる製品の外観検査を滞りなく実施しなければならないが、現状の領域分割技術では生産現場での実用に耐え得る処理時間内に欠陥画像の検出を完了することができてない。

一方、修正サイズ基準を超えるサイズの欠陥を見逃しては製品の品質を十分に管理することができない。一方、修正サイズ基準を超えないサイズの欠陥まで欠陥であると判定してしまうと、欠陥修正の要否は製品の製造コストに大きく影響するため、不要なコストが増大してしまう。

本開示は、上述のような問題に鑑みて為されたものであって、ニューラルネットワークを用いて高速かつ精度よく画像検査を実行することができる外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラムを提供することを目的とする。

上記目的を達成するため、本開示の一形態に係る外観検査装置は、欠陥が写った被検査画像を用いて検査対象の外観を検査する外観検査装置であって、学習用検査画像と、当該学習用検査画像に写った欠陥の程度と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された検査モデルを用いて、被検査画像からクラスごとの関連度を出力する検査手段と、前記検査手段が出力したクラスごとの関連度の高さから、当該被検査画像に写っている欠陥の程度を推定する欠陥推定手段と、を備えることを特徴とする。

この場合において、前記複数クラスは、欠陥の程度に応じた順序関係を有しており、前記欠陥推定手段は、関連度が最も高い第１クラスと、前記順序関係において前記第１クラスと隣り合うクラスのうち、関連度が高い方のクラスを第２クラスとして特定し、前記第１、第２クラスの関連度の比から、欠陥の程度を推定してもよい。

また、前記複数クラスは、欠陥の程度に応じた順序関係を有しており、前記教師データとして用いる学習用検査画像は、前記順序関係において隣り合うクラスに対応する程度の欠陥が写った２つの学習用検査画像を合成した画像を含み、前記合成画像を教師データとする場合は、前記２つの学習用検査画像の合成比率を、前記２つの学習用検査画像に写った欠陥の程度に対応する各クラスの関連度としてもよい。

また、前記欠陥の程度の大小は、欠陥のサイズの大小であってもよい。

また、前記検査モデルは、畳み込みニューラルネットワークであって、入力層から出力層へ向かって、層ごとの出力サイズが単調に減少するのが望ましい。

また、本開示の一形態に係る外観検査システムは、本開示の一形態に係る外観検査装置と、検査対象を撮影して欠陥が写った検査画像を取得する検査画像取得装置と、を備え、前記外観検査装置は、前記検査画像取得装置にて取得した検査画像を被検査画像として、検査対象の外観を検査することを特徴とする。

また、本開示の一形態に係る特徴量推定装置は、画像を用いて当該画像に写った対象に関する特徴量を推定する特徴量推定装置であって、学習用画像と、当該学習用画像に写った対象に関する特徴量と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された分類モデルを用いて、画像からクラスごとの関連度を出力する分類手段と、前記分類手段が出力したクラスごとの関連度の高さから、当該画像に写った対象に関する特徴量を、一次元的に配列することができるスカラー量として推定する推定手段と、を備えることを特徴とする。

また、本開示の一形態に係る外観検査プログラムは、欠陥が写った被検査画像を用いた外観検査をコンピューターに実行させる外観検査プログラムであって、学習用検査画像と、当該学習用検査画像に写った欠陥の程度と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された検査モデルを用いて、被検査画像からクラスごとの関連度を出力する検査ステップと、前記検査ステップで出力したクラスごとの関連度の高さから、当該被検査画像に写っている欠陥の程度を推定する欠陥推定ステップと、をコンピューターに実行させることを特徴とする。

このようにすれば、学習用検査画像と、当該学習用検査画像に写った欠陥の程度と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された検査モデルを用いて、被検査画像からクラスごとの関連度を出力させ、当該関連度を用いて欠陥の程度を推定するので、セマンティックセグメンテーションを用いて推定した欠陥領域から欠陥の程度を推定する場合と比較して、検査モデルの計算負荷を低減することができる。

本開示の実施の形態に係る外観検査システム１の主要な構成を示す図である。 外観検査システム１を用いた検査対象１５０の撮影状況を説明する図である。 識別器１００の主要な構成を示すブロック図である。 照明機器１１２の構成を説明する図である。 識別器１００の動作を説明するフローチャートである。 （ａ）は位相シフト法における元画像の画素値を位相角０度と１８０度とについて例示するグラフであり、（ｂ）は（ａ）のグラフを重ね合わせたグラフであり、（ｃ）は（ｂ）における２つのグラフの最大値をとったグラフと、最小値をとったグラフであり、（ｄ）は（ｃ）の２つのグラフの差分をとったグラフである。 検査画像の入力を受ける畳み込み層７０１から出力層７１３に至るＣＮＮ７の層構成を説明する図である。 欠陥サイズの判別精度に関する実験結果を紹介する表である。 ＣＮＮ７の機械学習に用いる教師データを生成する手順を説明する図である。 Ｓｅｇｎｅｔの層構成を説明する図である。

以下、本開示に係る外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラムの実施の形態について、図面を参照しながら説明する。
［１］外観検査システムの構成
まず、本実施の形態に係る外観検査システムの構成について説明する。

図１に示すように、外観検査システム１は、識別器１００、撮影機器ユニット１１０、１２０、１３０を備えている。撮影機器ユニット１１０、１２０、１３０はそれぞれ撮影機器１１１、１２１、１３１と照明機器１１２、１２２、１３２を有しており、ケーブル１０１、１０２、１０３を用いて識別器１００に接続されている。

識別器１００は、撮影機器ユニット１１０、１２０、１３０をそれぞれ矢印Ａ、Ｂ、Ｃ方向に移動させたり、照明機器１１２、１２２、１３２を点消灯させたりして撮影条件を制御したり、撮影機器１１１、１２１、１３１を制御して検査対象（図１、２においては車両）１５０の外観を撮影したりする。検査対象１５０はコンベヤー１４０を用いて搬送されており、識別器１００は不図示のセンサーを用いて検査対象１５０の位置を検出し、撮影タイミングを決定する。

これによって、例えば、図２に示すように、コンベヤー１４０によって搬送されている検査対象１５０の外面のうち所定の領域２０１ａ〜２０１ｇを、撮影ユニット１１０の撮影機器１１１ａ〜１１１ｇにて撮影することによって、画像２０２ａ〜２０２ｇが生成される。この画像２０２ａ〜２０２ｇが識別器１００による外観検査に供される。

識別器１００は、撮影機器ユニット１１０、１２０、１３０を制御して取得した画像に前処理を施して、欠陥を検出したら、ニューラルネットワークを用いて欠陥のサイズを識別し、外観検査を実施する。この意味において、識別器１００は外観検査装置として機能する。識別器１００は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）といった通信ネットワーク１０４を経由してストレージ１０５に接続されており、検査画像や検査結果をストレージ１０５に保存する。
［２］識別器１００の構成
次に、識別器１００の構成について説明する。

図３に示すように、識別器１００は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３等を備えている。ＣＰＵ３０１は、リセット信号を入力されると、ＲＯＭ３０２からブートプログラムを読み出して起動し、ＲＡＭ３０３を作業用記憶領域として、ＨＤＤ（Hard Disk Drive）３０４から読み出した前処理プログラム３０５や欠陥サイズ判定プログラム３０６、ＯＳ（Operating System）３０７等のプログラムを実行する。

前処理プログラム３０５は、撮影機器１１１、１２１、１３１を用いて撮影した画像に後述のような前処理を施す。欠陥サイズ判定プログラム３０６は、前処理後の画像から、機械学習した検査モデルを用いて、検査対象１５０に生じた欠陥のサイズに関する情報を生成する。

撮影機器インターフェイス３０８は、撮影機器１１１、１２１、１３１を制御して、検査画像を撮影するためのインターフェイスである。照明機器インターフェイス３０９は、照明機器１１２、１２２、１３２を制御して、適切な撮影条件を実現するためのインターフェイスである。図４に示すように、照明機器１１２は光源４０１とグレーチング４０２とを備えており、光源４０１を点灯させた状態でグレーチング４０２を経由して、撮影機器１１１にて検査対象１５０に縞状の明暗パターンを有する照明光を照射する。

更に、グレーチング４０２を矢印Ｅ方向に移動させることによって、縞状の明暗パターンを縞模様の幅方向へ移動させ、縞状の明暗パターンの位相を変化させる。撮影機器１１１は、互いに位相が異なる明暗パターンで照明された検査対象１５０の撮像範囲（領域２０１ａ等）を撮影する。なお、グレーチング４０２は、矢印Ｅ方向が撮影機器１１１の撮影画像における主走査方向に一致するように移動する。従って、撮影機器１１１の撮影画像は縦縞状になる。

撮影機器１２１と照明機器１２２、撮影機器１３１と照明機器１３２についても上記と同様である。

検査対象１５０には、外装塗装として、本体板金４１３上にまず塗料が塗布されることによって塗料層４１２が形成され、さらに、塗料層４１２を保護するためのクリアコート層４１１が形成されている。例えば、異物４３１のように、クリアコート層４１１の表面近くにある場合や、異物４３２のように、クリアコート層４１１内部に入っている場合には、異物４３１、４３２のところで縞状の明暗パターンの位相がシフトする。この位相のシフトを検出すれば、異物を検出することができる。

ＮＩＣ（Network Interface Card）３１０は、通信ネットワーク１０４を経由してストレージ１０５にアクセスするための通信処理を実行する。
［３］識別器１００の動作
次に、識別器１００の動作について説明する。

図５に示すように、識別器１００は検査対象１５０がコンベヤー１４０によって検査位置まで搬送されたことを検出すると（Ｓ５０１：ＹＥＳ）、撮影機器１１１、１２１、１３１を用いて検査対象１５０を撮影して（Ｓ５０２）、前処理プログラム３０５によって検査画像を生成し（Ｓ５０３）、当該検査画像に欠陥が写っているか判定する。欠陥が写っている場合には（Ｓ５０４：ＹＥＳ）、欠陥サイズ判定プログラム３０６を用いて欠陥サイズを判定する（Ｓ５０５）。

判定した欠陥サイズが閾値φthよりも大きい場合には（Ｓ５０６：ＹＥＳ）、当該欠陥を修正する必要がある旨を記録する（Ｓ５０７）。判定した欠陥サイズが閾値φth以下である場合には（Ｓ５０６：ＮＯ）、当該欠陥を修正する必要はない旨を記録する（Ｓ５０８）。その後、ステップＳ５０１へ進んで、上記の処理を繰り返す。
（３−１）前処理プログラム３０５
前処理プログラム３０５は、撮影機器１１１、１２１、１３１が撮影した画像に欠陥が写っているかどうかを判定する。欠陥の有無を判定する方法は特に限定されない。本実施の形態においては、一例として、位相シフト法を用いて欠陥の有無を検出する。

位相シフト法では、例えば特許文献１に記載されているように、図４に示すグレーチング４０２を矢印Ｅ方向へ移動させて、縞状の明暗パターンの位相が１８０度シフトした２枚の画像を撮像する。図６（ａ）は、縞状の明暗パターンの幅方向に沿った画素値の変化を例示するグラフである。縞状の明暗パターンの位相角が１８０度シフトすると、画素値が反転する。

次に、当該２枚の画像を用いて画素ごとに画素値を比較して、当該画素ごとに大きい方の画素値（最大値）を採用した画像と、小さい方の画素値（最小値）を採用した画像とを生成した後、生成した２枚の画像の差分画像を生成する。図６（ｂ）は、位相角が１８０度シフトした画像を重ね合わせたグラフである。位置合わせをした状態で最大値画像と最小値画像とを求めると、図６（ｃ）に例示するグラフが得られる。この例では、最大値画像と最小値画像との差分画像は、図６（ｄ）に示すようになり、欠陥部分が強調される。

このようにすれば、画像に重畳したノイズを抑制することができるので、当該差分画像の画素ごとの画素値を閾値と比較することによって、精度よく欠陥を検出することができる。次に説明する欠陥サイズ判定プログラムでは、当該差分画像を検査画像として使用する。

なお、位相シフト法以外の方法としては、検査対象１５０を搬送しながら複数枚の画像を撮影して、画像毎にＡＫＡＺＥ（Accelerated KAZE）特徴点を検出し、画像どうしでＡＫＡＺＥ特徴点を比較することによって、欠陥を検出してもよい。また、サポートベクターマシン（SVM: Support Vector Machine）を用いて欠陥検出を行ってもよい。
（３−２）欠陥サイズ判定プログラム３０６
次に、欠陥サイズ判定プログラム３０６について説明する。

欠陥サイズ判定プログラム３０６は、後述するような方法で機械学習を行ったニューラルネットワークを用いて検査画像に写っている欠陥のサイズを判定する。本実施の形態においては、ベースアルゴリズムとしてＶＧＧ１６（非特許文献３を簡略化したＣＮＮ（Convolutional Neural Network）を用いるが、ＶＧＧ１６そのものや他のＣＮＮをベースアルゴリズムに使用して欠陥サイズを判別してもよい。

図７に示すように、ＣＮＮ７は１０層の畳み込み層７０２、７０４、７０６、７０８、７１０、７１２、５層のプーリング層７０３、７０５、７０７、７０９、７１１および出力層７１３からなる畳み込みニューラルネットワークであって、検査画像７０１として縦横２２４画素のＲＧＢ画像が入力される。ＣＮＮ７は、入力層である畳み込み装置７０２から出力層７１３に向かって、層ごとの出力サイズが単調に減少する。

畳み込み層７０２等においては、オープンソースニューラルネットワークライブラリであるＫｅｒａｓ（非特許文献４を参照。）の３×３のＣｏｎｖ２Ｄを使用し、活性化関数としてＲｅＬＵ（Rectified Linear Unit。正規化線形関数やランプ関数とも呼ばれる。）を用いている。出力サイズは、畳み込み層７０２が２２４×２２４×６４、畳み込み層７０４が１１２×１１２×１２８、畳み込み層７０６が５６×５６×２５６、畳み込み層７０８がそれぞれ２８×２８×５１２、畳み込み層７１０がそれぞれ１４×１４×５１２、畳み込み層７１２がそれぞれ７×７×１，０２４である。

プーリング層７０３等においては、ＭａｘＰｏｏｌｉｎｇによって所定の近傍ごとに先行する層の出力の最大値が選択される。選択した最大値が、当該プーリング層に後続する畳み込み層の入力となる。出力サイズは、プーリング層７０３が１１２×１１２×１２８、プーリング層７０５が５６×５６×２５６、プーリング層７０７が２８×２８×５１２、プーリング層７０９が１４×１４×５１２、プーリング層７１１が７×７×１，０２４である。

出力層７１３は、所定の近傍ごとに先行する層の出力の平均値を算出するＡｖｅｒａｇｅＰｏｏｌｉｎｇと、出力値の合計が１になるように、ＡｖｅｒａｇｅＰｏｏｌｉｎｇで算出した平均値を正規化するＳｏｆｔｍａｘとを行う。出力層７１３の出力サイズは１×１×１，０００であり、１，０００個の出力値を出力する。しかしながら、１，０００個すべてを使用する必要は無く、欠陥サイズのクラス数と同じだけ使用すればよい。

どの出力を使用するかは、出力層７１３の各出力と検査画像７０１に写っている欠陥のサイズのクラスとに対応づける教師データを用いて機械学習させる。図８の例では、クラス数が８個で、クラス１は欠陥径が０．３ｍｍ未満の欠陥サイズに対応し、クラス２は欠陥径が０．３ｍｍ以上、０．５ｍｍ未満の欠陥サイズに対応する。

欠陥サイズ判定プログラム３０６は、このようなＣＮＮ７に検査画像７０１を入力し、その結果得られた出力層７１３の出力値を用いて欠陥サイズを判定する。例えば、図８に例示するクラス定義で、出力層７１３の出力値ベクトルが（０、０、０、０．５、０．５、０、０）である場合には、クラス４、５に対応する出力値がいずれも０．５であり、他のクラスに対応する出力値が０であるため、欠陥サイズはクラス４、５の中間だということになる。

クラス４は欠陥径が０．８ｍｍ以上、１．２ｍｍ未満の欠陥サイズに対応し、その中央値は１．０ｍｍである。また、クラス５は欠陥径が１．２ｍｍ以上、１．８ｍｍ未満の欠陥サイズに対応し、その中央値は１．５ｍｍである。これらから欠陥径φは、
φ ＝ （１．０ × ０．５）＋（１．５ × ０．５）＝１．２５ …（１）
と推定される。

出力値ベクトルの各成分は、上述のように正規化されているので、欠陥サイズが当該クラスに属する確率あるいは関連度をＣＮＮ７が推定したものになっている。
［４］識別器１００の機械学習
機械学習させたニューラルネットワークを用いて欠陥検出を行うためには、教師データとして欠陥が写っている検査画像が必要になる。

しかしながら、長年にわたる品質管理技術の進歩によって、検査結果が不良となる製品が極めて少なくなっており、ニューラルネットワークを学習させるために十分な枚数の検査画像を収集することは現実的に難しい。また、製品に生じ得る欠陥の形状は一定せず、また検査画像の撮影条件（焦点距離・画面上での欠陥位置・ピントズレ・分解能・ワーク角度・ワーク曲率・ワーク距離など）もまた多種多様であるため、すべての可能性を考慮してニューラルネットワークの教師データを用意することは困難と言わざるを得ない。

このような問題に対して、シミュレーションによって欠陥を有する検査画像を生成したり、データ拡張（Data Augmentation）技術を用いて既存の検査画像から新たな検査画像を生成したりすれば教師データの不足を補うことができるので、製品に生じた欠陥の場所や形状をニューラルネットワークに精度よく検査させることができる。例えば、Ｓｅｇｎｅｔ（非特許文献６）やＵ−ｎｅｔ（非特許文献７）といったニューラルネットワークを用いて検査画像の領域分割セマンティックセグメンテーションを行えば、検査画像に含まれている欠陥画像を検出することができる。

しかしながら、セマンティックセグメンテーションでは、検査画像の画素ごとに、当該画素が欠陥画像に含まれているかどうかを判定するため、計算量が膨大に上り、処理時間の短縮を図るのが難しい。製造ラインにおいて高い生産性を達成するためには、検査ライン上で次々に搬送されてくる製品の外観検査を滞りなく実施しなければならないが、現状のニューラルネットワークでは生産現場での実用に耐え得る処理時間内に欠陥画像の検出を完了することができてない。

ＦＣＮ（非特許文献８）はＡｌｅｘ ｎｅｔやＶＧＧにおけるすべての結合層を畳み込み層に置き換えることで画像を画素単位で推定し、セマンティックセグメンテーションを行う。しかしながら、出力画像の画素数が入力画像の画素数よりも少なく、解像度が粗くなるので、出力画像から欠陥サイズを直接求めることができない。

以上のような問題に考慮して、本実施の形態においては、セマンティックセグメンテーションによって検出した欠陥画像から欠陥サイズを特定するのではなく、ＣＮＮ７を用いて検査画像から直接、欠陥サイズを判定する。検査画像に含まれる画素数（例えば、２２４×２２４×３＝１５０，５２８個。）に比べて、欠陥サイズのクラス数（例えば、８個。）は格段に少ないので、計算量もまた格段に少なくなり、処理時間の大幅な短縮が期待される。

また、本実施の形態においては、教師データの不足を補うためにＢｅｔｗｅｅｎ−Ｃｌａｓｓ Ｌｅａｒｎｉｎｇ（以下、「ＢＣラーニング」と略称する。）を利用する。ＢＣラーニングは、教師データを足し合わせることによって新たな教師データを合成し、この足し合わせの比率を機械学習させるというものである（非特許文献５を参照。）。

なお、非特許文献５では、画像分類を目的としているために、教師データを足し合わせるクラスの組み合わせが多くなる。一方、本実施の形態においては、クラスどうしで欠陥サイズに対応した順序関係があるので、この順序関係において隣り合うクラスのみで教師データの足し合わせを行う。当該順序関係において隣り合うクラス間で欠陥サイズを判別することができれば、欠陥サイズの判定にとっては十分である。また、このようにすれば、教師データが不必要に多くならずに済むので、機械学習を効率的に行うことができる。

図９を用いて説明すると、まず、欠陥が写っている画像データを収集し（Ｓ９０１）、前処理プログラム３０５を用いて検査画像を生成する（Ｓ９０２）。画像データに写っている欠陥は欠陥サイズが特定されており、当該画像データから生成した検査画像と対応付けることによって、検査画像ごとに欠陥サイズを特定する（Ｓ９０３）。特定した欠陥サイズに応じて、更に検査画像をクラス分類する（Ｓ９０４）。

次に、欠陥サイズの範囲が隣り合うクラスに属する検査画像どうしを足し合わせて教師画像を合成する（Ｓ９０５）。例えば、クラス１に属する検査画像１とクラス２に属する検査画像２とを足し合わせ比率０．３：０．７で足し合わせた教師画像を生成して、足し合わせ比率を機械学習させる場合には、検査画像１、２における対応する画素１、２の画素値１、２に足し合わせ比率を乗算して足し合わせ、教師画像の画素値３を算出する。

画素値３ ＝ （画素値１ × ０．３）＋（画素値２ × ０．７） …（２）
更に、教師画像のクラスを表す教師ベクトルとして、合成比率を採用する（Ｓ９０６）。上の例では、（０．３、０．７、０、０、０、０、０、０）を教師画像に対応する教師ベクトルとする。

その後、教師画像をＣＮＮ７に入力して出力値ベクトルを取得し、出力値ベクトルと教師ベクトルとの誤差を算出し、この誤差を用いた誤差逆伝播法（バックプロパゲーション）によってＣＮＮ７のパラメーターを更新する。

本実施の形態の効果を確認するために、欠陥径が０．１０ｍｍから３．０６ｍｍの欠陥が写っている１０１×１０１画素の教師画像を２，１００枚用いて機械学習（バッチ学習）を行った。どの教師画像にも欠陥領域を精度よく定義すること難しい欠陥が１つだけ写っている。また、バッチサイズは３２で、エポック数は１００とした。深層学習の勾配法（optimizer）にはＡｄａｍを推奨パラメーター（α＝０．００１）で使用し（非特許文献９）、損失計算にはＳｏｆｔｍａｘ Ｃｒｏｓｓ Ｅｎｔｒｏｐｙを用いた。更に、欠陥の切り出し位置をランダムに変更するシフト型のデータ拡張を行って教師画像数を増加させた。

その結果、図８に示すように、クラス１からクラス７までのどのクラスでの高い精度で欠陥サイズを推定することができた。その結果、当然ながら、全体としての推定精度も約９４．８％と極めて高いものになっている。
［５］従来技術との比較
従来技術としてセマンティックセグメンテーションを行うニューラルネットワークと本実施の形態とを比較する。

図１０に示すように、Ｓｅｇｎｅｔは前段部分がエンコーダー１００１、公団部分がデコーダー１００２になっており、エンコーダー１００１はＶＧＧ１６のうち全結合層と出力層とを除いた部分と同じ構成になっている。デコーダー１００２は、アップサンプリング層と畳み込み層とからなっている。アップサンプリング層は、エンコーダー１００１のプーリング層からプーリングインデックスを取得し、入力値をプーリングインデックスが示すニューロンへ出力することによって、出力サイズを画像サイズに戻す。

上述のように、本実施の形態に係るＣＮＮ７はＶＧＧ１６を簡略化した構成をとっているのに対して、Ｓｅｇｎｅｔはエンコーダー１００１だけでＶＧＧ１６に近い構成を備えており、更にデコーダー１００２も必要になる。従って、Ｓｅｇｎｅｔを使用してセマンティックセグメンテーションを行う際の計算量と比較して、ＣＮＮ７を使用して欠陥サイズを判定する際の計算量は大幅に少なくなる。

ＦＣＮは、上述のように、Ａｌｅｘ ｎｅｔやＶＧＧのすべての層を畳み込み層に置き換えたものである。例えば、ＶＧＧではプーリング層が畳み込み層に置き換えられるため、エンコーダー部分だけとっても計算量が増大する。また、Ｓｅｇｎｅｔと同様にデコーダーが必要になるため、この意味においても計算量が増大する。

Ｕ−ｎｅｔもまたエンコーダーとデコーダーとから構成されているので、計算量の増大を免れない。当然ながら、セマンティックセグメンテーションを行っただけでは欠陥サイズを判定することができない。このため、欠陥サイズを判定する処理を追加すれば、更に計算量が増大する。

このため、本実施の形態に係るＣＮＮ７を用いて欠陥サイズを判定すれば、Ｓｅｇｎｅｔ等を用いてセマンティックセグメンテーションを行って欠陥領域を検出したうえで欠陥サイズを判定する場合と比較して、計算量を大幅に削減することができる。
［６］変形例
以上、本開示を実施の形態に基づいて説明してきたが、本開示が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（６−１）上記実施の形態においては、検査対象１５０が車両である場合を図示して説明したが、本開示がこれに限定されないのは言うまでもなく、車両以外の検査対象１５０についても、本開示を適用することによって欠陥サイズを判定するための処理負荷を低減することができる。
（６−２）上記実施の形態においては、欠陥サイズを判定する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。上記実施の形態において、ＣＮＮ７の出力値ベクトルの各成分に対応する各クラスは欠陥サイズの範囲に対応しており、欠陥サイズの大小に対応する順序関係を有している。また、出力値ベクトルの各成分の値は、当該検査画像と各クラスとの関連度を表わすものになっている。

このため、検査画像に写っている欠陥のサイズは、当該検査画像と最も関連度が高いクラスに対応する欠陥サイズの範囲内にあるか、または最も関連度が高いクラスと２番目に関連度が高いクラスとの中間の欠陥サイズになっていると判定することができる。

欠陥画像における欠陥の程度を１次元的な尺度で評価できる特徴量であれば、欠陥サイズでなくても、ＣＮＮ７を用いて同様の判定を行うことができる。例えば、欠陥部分の色の濃さや色の変化度といった特徴量もまたＣＮＮ７を用いて判定することができる。欠陥部分は周囲の部分との色の濃さの差が大きいほど目立ち易くなり、また、周囲の部分との色の濃さの変化が急激であるほど目立ち易くなるので、このような特徴量をリアルタイムで判定することができれば、検査対象の品質管理に有効である。
（６−３）上記実施の形態においては、検査対象１５０の外観を撮影することによって検査画像を生成する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて、非破壊的な計測手段を用いて生成した検査画像における欠陥の特徴量を判定してもよいし、非侵襲的な計測手段を用いて生成した診断画像における病変の特徴量を判定してもよい。

このような特徴量を推定する特徴量推定装置は、検査画像に写った検査対象に関する特徴量が、２次元以上の特徴ベクトルとは異なって、一次元的に配列することができるスカラー量であるので、本開示を適用すれことによって計算量を削減することができる。従って、当該特徴量を迅速に推定することができる。検査画像以外の画像についても、同様に、当該画像に写っている対象の特徴量を一次元的に配列することができるスカラー量として迅速に推定することができる。
（６−４）上記実施の形態においては、欠陥サイズの大小に対応したクラスの順序関係において隣り合うクラスどうしで検査画像を足し合わせることによって教師画像を生成する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに加えてシミュレーションによって教師画像を生成してもよい。

このようにすれば、実写では得られていない様々な教師画像を生成可能であり、実写画像が不足しているクラスに対応する教師画像を補充することができる。また、欠陥サイズだけでなく、異物の付着や外装のキズ、塗装の浮きといった欠陥の種類も容易に規定することができるので、欠陥の種類に応じた機械学習を行うこともできる。
（６−５）上記実施の形態においては、欠陥サイズ判定プログラム３０６を用いて判定した欠陥サイズを用いて、当該欠陥を修正する必要があるかどうかを記録する場合を例にとって説明したが、本開示がこれに限定されないのは言うまでもなく、これに代えて、欠陥の大小に応じて検査対象を選別してもよい。検査対象を選別する場合には、例えば、欠陥サイズが閾値φthよりも大きい場合には当該検査対象を廃棄し、欠陥サイズが閾値φth以下である場合には当該検査対象を維持する。

青果のキズや変色のように修正することができない欠陥を検査する場合には、欠陥サイズの判定結果を用いて検査対象を選別するのが有用である。また、漁獲物のように、規定のサイズに満たない物を選別して放流しなければならない場合にも、本開示を適用すれば、迅速に選別を行うことができる。
（６−６）上記実施の形態においては、識別器１００がＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４などから構成されるコンピューターシステムであるとしたが、これらの一部または全部は、システムＬＳＩ（Large Scale Integration: 大規模集積回路）から構成されているとしてもよい。
（６−７）上述のように、識別器１００はマイクロプロセッサーとメモリとを備えたコンピューターシステムである。メモリは、コンピューター・プログラムを記憶しており、マイクロプロセッサーは、コンピューター・プログラムに従って動作するとしてもよい。

ここで、コンピューター・プログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピューター・プログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピューター・プログラムを、有線又は無線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、識別器１００が、当該コンピューター・プログラムを実行することによって、使用する方法であるとしてもよい。

本開示に係る外観検査装置、外観検査システム、特徴量推定装置および外観検査プログラムは、検査対象の外観画像を用いて高速に自動検査を行う装置およびプログラムとして有用である。

１………外観検査システム
７………ＣＮＮ
１００…識別器
１１０、１２０、１３０…撮影機器ユニット
１４０…コンベヤー
１５０…検査対象

Claims (8)

1. 欠陥が写った被検査画像を用いて検査対象の外観を検査する外観検査装置であって、
   学習用検査画像と、当該学習用検査画像に写った欠陥の程度と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された検査モデルを用いて、被検査画像からクラスごとの関連度を出力する検査手段と、
   前記検査手段が出力したクラスごとの関連度の高さから、当該被検査画像に写っている欠陥の程度を推定する欠陥推定手段と、を備える
   ことを特徴とする外観検査装置。
2. 前記複数クラスは、欠陥の程度に応じた順序関係を有しており、
   前記欠陥推定手段は、
   関連度が最も高い第１クラスと、
   前記順序関係において前記第１クラスと隣り合うクラスのうち、関連度が高い方のクラスを第２クラスとして特定し、
   前記第１、第２クラスの関連度の比から、欠陥の程度を推定する
   ことを特徴とする請求項１に記載の外観検査装置。
3. 前記複数クラスは、欠陥の程度に応じた順序関係を有しており、
   前記教師データとして用いる学習用検査画像は、前記順序関係において隣り合うクラスに対応する程度の欠陥が写った２つの学習用検査画像を合成した画像を含み、
   前記合成画像を教師データとする場合は、前記２つの学習用検査画像の合成比率を、前記２つの学習用検査画像に写った欠陥の程度に対応する各クラスの関連度とする
   ことを特徴とする請求項１に記載の外観検査装置。
4. 前記欠陥の程度の大小は、欠陥のサイズの大小である
   ことを特徴とする請求項１から３のいずれかに記載の外観検査装置。
5. 前記検査モデルは、
   畳み込みニューラルネットワークであって、
   入力層から出力層へ向かって、層ごとの出力サイズが単調に減少する
   ことを特徴とする請求項１から４のいずれかに記載の外観検査装置。
6. 請求項１から５の何れかに記載の外観検査装置と、
   検査対象を撮影して欠陥が写った検査画像を取得する検査画像取得装置と、を備え、
   前記外観検査装置は、前記検査画像取得装置にて取得した検査画像を被検査画像として、検査対象の外観を検査する
   ことを特徴とする外観検査システム。
7. 画像を用いて当該画像に写った対象に関する特徴量を推定する特徴量推定装置であって、
   学習用画像と、当該学習用画像に写った対象に関する特徴量と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された分類モデルを用いて、画像からクラスごとの関連度を出力する分類手段と、
   前記分類手段が出力したクラスごとの関連度の高さから、当該画像に写った対象に関する特徴量を、一次元的に配列することができるスカラー量として推定する推定手段と、を備える
   ことを特徴とする特徴量推定装置。
8. 欠陥が写った被検査画像を用いた外観検査をコンピューターに実行させる外観検査プログラムであって、
   学習用検査画像と、当該学習用検査画像に写った欠陥の程度と複数クラスのそれぞれとの関連度と、を教師データとして機械学習された検査モデルを用いて、被検査画像からクラスごとの関連度を出力する検査ステップと、
   前記検査ステップで出力したクラスごとの関連度の高さから、当該被検査画像に写っている欠陥の程度を推定する欠陥推定ステップと、をコンピューターに実行させる
   ことを特徴とする外観検査プログラム。

Images