JP2021060962A - 教師データの生成方法、学習済の学習モデル、及びシステム - Google Patents

Abstract

【課題】 画像データの数を減らしながら、良否判定に必要な数の教師データを得ることができる。【解決手段】 一形態に係る教師データの生成方法は、画像認識用の教師データを生成する方法であって、ワークを撮像した画像データを取得する工程と、前記画像データを複数の第１領域に分割し、前記複数の第１領域のそれぞれに対して所定の情報を含むか否かを付して、複数の教師データを生成する工程と、を備える。【選択図】 図４

Description

本発明は教師データの生成方法、学習済の学習モデル、及びシステムに関する。

工場内で生産される製品（ワーク）を認識するシステムが知られている。例えば、ワークの外観検査において、欠陥の有無を判定するために、撮像装置により取得された画像データから、人間の目視ではなく、機械が欠陥を認識する検査システムが挙げられる。特許文献１には、撮像装置がワークを撮像し、撮像装置により得られた画像データが人工知能によって構成された処理装置に入力されて欠陥検査を行う検査システムが開示されている。

特開２０１８−１６４２７２号公報

特許文献１に記載された検査システムのように、人工知能を用いて検査を行う場合には、学習済モデルの生成が行われる。特許文献１では、良品画像と不良品画像とを複数個ずつ含む教師データを学習モデルに入力して学習済モデルを生成している。特許文献１では教師データの数と同じ数の良品画像及び不良品画像が必要となる。本発明は、画像データの数を減らしながら、良否判定に必要な数の教師データを得ることを目的とする。

本発明に係る教師データを生成する方法の一側面は、画像認識用の教師データを生成する方法であって、ワークを撮像した画像データを取得する工程と、前記画像データを複数の第１領域に分割し、前記複数の第１領域のそれぞれに対して所定の情報を含むか否かを付して、複数の教師データを生成する工程と、を備える。

本発明に係る学習方法の一側面は、第１の背景色の第１部分と前記第１の背景色とは異なる第２の背景色の第２部分とを含む画像データを入力し、前記第１部分における複数の第１領域のそれぞれに対して所定の情報を含むか否かを付した複数の教師データを用いて機械学習させ、前記第２部分における前記複数の第１領域のそれぞれに対して前記所定の情報を含むか否かを付した複数の教師データを用いて機械学習させる。

本発明に係るシステムの一側面は、撮像装置と、前記撮像装置により撮像した画像データが入力される学習モデルを有する処理装置と、を備えるシステムであって、前記処理装置は、前記撮像装置によって第１のワークを撮像することで得られた画像データの複数の第１領域のそれぞれに対して所定の情報を含むか否かが付された学習済の学習モデルを含み、前記撮像装置によって第２のワークを撮像することで得られた第２の画像データを前記学習済の学習モデルに入力し、前記第２の画像データから前記第２のワークに関する判定を行う。

本発明に係るシステムの一側面は、撮像装置と、前記撮像装置により撮像した画像データが入力される学習モデルを有する処理装置と、を備えるシステムであって、前記処理装置は、前記撮像装置によって良品のワークを撮像することで得られた画像データと、前記撮像装置によって不良品のワークを撮像することで得られた画像データと、の差分画像を含む学習済の学習モデルを含み、前記撮像装置によって第２のワークを撮像することで得られた第２の画像データと前記良品のワークを撮像することで得られた画像データとの差分画像を前記学習済の学習モデルに入力し、前記第２のワークに関する判定を行う。

本発明によれば、画像データの数を減らしながら、良否判定に必要な数の教師データを得ることができる。

システムの概要を示す図である。 システムの処理フローを示す図である。 システムで利用する学習モデルについて説明する図である。 第１の実施形態に係る教師データの生成方法について説明する図である。 第１の実施形態に係る教師データの生成方法について説明する図である。 第１の実施形態に係る教師データの生成方法について説明する図である。 第２の実施形態に係る教師データの生成方法について説明する図である。 第３の実施形態に係る教師データの生成方法について説明する図である。 第３の実施形態に係る教師データの生成方法について説明する図である。 第３の実施形態に係る教師データの生成方法について説明する図である。 第３の実施形態に係る教師データの生成方法について説明する図である。

以下に示す実施形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。なお、各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略する。

図１は、システムの一例としての検査システムの基本的構成を示したものである。本実施形態に係るシステムは、検査システムのほかにも、種々のシステムに採用することができる。種々のシステムとしては、例えば、画像データに特定のものが存在するか否かを特定する画像認識用のシステムや、配送センターの自動振り分けシステム等が挙げられる。

以下、図２に示す処理フローとともに、本実施形態に係る検査システムを説明する。

（撮像装置）
まず、センサ１０を用いて所定の範囲内におけるワーク（対象物）の有無を検知する（図２：Ｓ１）。センサ１０は、例えば、生産ライン上で高速で移動するワークを検知するためのセンサであり、例えば赤外線センサを用いる。センサ１０により、所定の範囲内においてワークが検知されると、センサ１０からトリガ生成回路２０に対して信号が出力される。トリガ生成回路２０は、センサ１０からの信号に基づき撮像トリガ信号を生成する（図２：Ｓ２）。

トリガ生成回路２０は、例えばＦＰＧＡ（Ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのロジック回路から構成されている。トリガ生成回路２０は、センサ１０から入力された信号に対してハードウエア処理をし、ハードウエア処理された撮像のためのトリガ信号が撮像装置３０に伝達される。そして、撮像装置３０がワークを撮像する（図２：Ｓ３）。

本実施形態によれば、トリガ生成回路２０はロジック回路により構成されており、ハードウエア処理により並列処理がなされる。そして、トリガ生成回路２０からの信号を、ソフトウエア処理を介することなく、撮像装置３０に入力している。したがって、逐次処理を行うソフトウエア処理と比較して、無駄な遅延が生じにくい。トリガ生成回路２０から、撮像装置３０へのトリガ信号の伝達は有線で行うことが好ましい。

撮像装置３０は、レンズ部と、撮像素子と、撮像素子から出力される信号を処理する信号処理部と、信号処理部により生成された画像データを出力する出力部と、トリガ信号が入力される入力部と、を有する。

入力部にトリガ信号が入力されると、撮像装置３０は撮像を開始する。レンズ部は、撮像装置から取り外し可能に設けられており、対象物の大きさや、撮影シーンに応じて、適切なレンズ部を選択することができる。信号処理部は、撮像素子から出力される信号から画像データを生成する。出力部は、信号処理部で生成された画像データを出力する。

撮像素子は、光電変換部がアレイ状に配置された素子であって、例えば、ＣＭＯＳセンサである。撮像素子は、各行で露光期間の開始と終了が異なるローリングシャッタ形式の撮像素子でもよいし、全行一括で露光期間の開始と終了が同時であるグローバル電子シャッター形式の撮像素子でもよい。

（処理装置４０）
撮像装置３０から出力された画像データは、処理装置４０に入力されて画像データの推定が行われる（図２：Ｓ４）。処理装置４０では、画像データの対象物に関する推定が行われる。ここで、画像データの対象物に関する推定は、システムの用途に応じた処理を行う。以下では推定の処理として、撮像対象としてのワークが欠陥を有するかどうかを判定する外観検査処理を説明する。この他にも例えば、画像データに特定の対象物が存在するか否かを特定するシステムの場合は、特定する処理が推定の処理に相当する。また、自動振り分けシステムの場合は、例えば、ワークのサイズにより判別する処理が推定の処理に相当する。撮像装置３０から処理装置４０への画像データの伝送は、有線で行うことが好ましい。

処理装置４０は、学習済モデルを有しており、学習済モデルを用いてワークの良否を判断する。ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４２はデータをより多く並列処理することで効率的な演算を行うことができる。したがって、複数層のニューラルネットワークを用いる機械学習やディープラーニングのような学習モデルを用いて学習を行う場合にはＧＰＵ４２で処理を行うことができる。なお、機械学習やディープラーニングは、処理装置４０の内部ではなく、クラウドで行ってもよい。クラウドで行うことにより、機械学習やディープラーニングの処理速度を向上させることができる。そこで本実施形態では、処理装置４０における処理にはＣＰＵ４１に加えてＧＰＵ４２を用いる。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ４１とＧＰＵ４２が協同して演算を行うことで学習を行う。なお、処理装置４０の処理はＣＰＵ４１またはＧＰＵ４２のみにより演算が行われても良い。また、学習モデルを含む学習プログラムの実行は、クラウドで行っても良い。

ＣＰＵ４１とＧＰＵ４２のそれぞれは、メモリを有しており、これらのメモリには、撮像装置から出力された画像データが保持される。上記のとおり、トリガ生成回路２０により、ＣＰＵ４１とＧＰＵ４２のメモリには、同時刻の画像データが保持されることになる。なお、処理装置４０がＣＰＵ４１のメモリ及びＧＰＵ４２の主メモリとは異なるメモリを備えていてもよい。この場合は、画像データが主メモリに保持される。そして、必要に応じて、主メモリに保持された画像データがＣＰＵ４１のメモリ及びＧＰＵ４２のメモリに書き込まれる。

ＧＰＵ４２は、メモリに保持された画像データにアクセスし、並列的に画像データを処理する。ＧＰＵ４２は、学習済のモデルを用いて、ワークに欠陥があるか否かを判断する。ＧＰＵ４２は、ＣＰＵ４１よりも定型的な膨大な計算処理を行うのに適しており、ＧＰＵ４２によれば推定処理を速く行うことができる。

処理装置４０は、撮像装置３０により取得された画像データに基づき、画像データの領域に欠陥が有るか否かを判定する（図２：Ｓ５）。処理装置４０により行われた判定結果は、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）５０に出力される、ワークに欠陥があるという最終判定結果の場合、ＰＬＣ５０は、ロボット６０に動作制御用の信号を入力する。ロボット６０は、ワークの移動動作を切り替え、欠陥があると判定されたワークを生産ラインから移動させる（図２：Ｓ６）。

処理装置４０から、ＰＬＣ５０へ判定結果を出力する際には、高速の信号伝送は要求されていない。そのため、Ｅｔｈｅｒｎｅｔなどの汎用規格の有線や無線などを使って、信号転送を行うことができる。

（学習済モデル４３０）
図３は、処理装置４０のＧＰＵ４２で行われるワークの欠陥判定を行うＡＩを説明するための図である。図４、図５、及び図６は、学習フェーズでの教師データの生成方法を説明するための図である。

図３（Ａ）は、学習フェーズの概念図である。学習モデル４２０に対して、教師データを入力することにより欠陥判定のアルゴリズムが形成される。教師データの詳細は図４、図５、及び図６を参照しながら後述するが、教師データは、１つの画像データを複数の領域に分割した画像データである。正解ありの学習（教師あり学習：Ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を行う場合は、１つの画像データから得られる複数の領域に所定の情報が含まれるか否かをマーキングしたデータである。所定の情報とは、例えば、欠陥の有無である。欠陥の有無とは、例えば、ワークが金属表面を有する部品の場合は金属の剥がれの有無であり、ワークが色付けされた部品の場合は所定の色とは異なる色の付着の有無である。学習モデル４２０に教師データを入力し、誤差逆伝播法などによってアルゴリズムを変更し、所定の情報の有無についてより精度の高い情報を出力するように学習させたものが学習済モデル４３０である。この学習フェーズの処理は、ＣＰＵ４１およびＧＰＵ４２の少なくともいずれか一方によって行われる。なお、学習フェーズの処理は、クラウドで行うことが好ましい。学習フェーズの処理を処理装置４０で行う場合は処理装置４０の性能として一定以上の性能が求められる。これに対して、学習フェーズの処理をクラウドで行うことにより、処理装置４０の性能を問わずにワークの欠陥判定を行うことができる。

学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどの機械学習を利用してもよい。また、学習のアルゴリズムは、ニューラルネットワークを利用して、特徴量、結合重みづけ係数を自ら生成するディープラーニングであってもよい。たとえば、深層学習のモデルとして、ＣＮＮモデル（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ）を用いてもよい。

図３（Ｂ）は、推定フェーズの概念図である。学習フェーズにより構築した学習済モデル４３０に対して、ワーク画像４４０を入力すると、欠陥有無の判定結果４５０が出力される。この学習済モデル４３０を用いた処理はＧＰＵ４２によって実行される。ワーク画像４４０とは、具体的には、検査をしたいワークを撮像装置３０で撮像した画像データである。

（第１の実施形態）
次に、図４を参照しながら、第１の実施形態の教師データの生成方法について説明する。

まず、良品のワーク、第１の欠陥を含むワーク、第１の欠陥とは異なる第２の欠陥を含むワーク等を撮像した画像データを準備する。そして、１つの画像データを複数の領域（第１領域）に分割し、領域ごとに所定の情報を含むか否かマーキングする。

図４では、各第１領域は、欠陥のある領域Ｒ１と欠陥のない領域Ｒ２とに分類される。そして、マーキングされた領域のデータを学習モデルに入力している。本実施形態によれば、複数の領域に分割して教師データを作成することにより、１つの画像データから複数の教師データを得ることができる。したがって、教師データに使うことのできる画像データが少ない場合であっても、画像データのワークに関する推定の処理の精度を高くすることができる。また、欠陥のある領域について解像度を落とさずに学習させることができるため、判定精度を高めることができる。

本実施形態では、同じ画像データにおいて、分割位置をずらして複数の第２領域に分割し、各第２領域を領域Ｒ１と領域Ｒ２とに分類してマーキングされた領域のデータを学習モデルに入力している。これにより、１枚の画像データから得られる教師データを増やしている。本実施形態によれば、１枚の画像データから欠陥の位置がずれた領域Ｒ１を複数生成することができ、１枚の画像から得られる教師データをさらに増やすことができる。図４では、分割位置をずらした図を１つ示しているが、分割位置を少しずつずらして教師データを増やすことが好ましい。

また、複数の領域の分割位置を回転させてもよい。これにより、１枚の画像データから得られる教師データを増やすことができる。

教師データとして、ワークのＸＹ座標を変えて撮像した画像データ、ワークを回転させて撮像した画像データをさらに用いてもよい。これらの画像データを教師データとして学習モデルに入力することにより、ワークが所定の位置からずれている場合にも精度を下げることなく良否判定を行うことができる。

図５に、本実施形態に係る教師データの生成のフローチャートを示す。本実施形態では図４で説明した各領域のそれぞれにおいて、複数の成分に分解し、分解した成分の情報を教師データとして用いている。つまり、領域ごとに複数の成分に分解し、複数の成分のそれぞれを学習モデルに入力して学習済モデルを生成している。複数の成分とは、色成分、色相（Ｈ：Ｈｕｅ）、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖ：Ｖａｌｕｅ）である。これらの成分の値を出し、各値に基づいて学習済モデルが推定を行う。これにより、学習済モデルの判定精度を向上させることができる。

まず、図５に示す、欠陥のある領域Ｒ１と欠陥のない領域Ｒ２とをそれぞれ、色画像データ、Ｈ画像データ、Ｓ画像データ、Ｖ画像データで分解する。色画像データは、具体的には、赤色（Ｒ）画像データ、緑色（Ｇ）画像データ、および青色（Ｂ）画像データである。

そして、領域Ｒ１の各データと領域Ｒ２の各データとを学習モデルに学習させる。このとき、それぞれの画像群に対して、良品又は不良品の情報をマーキングして学習させる。つまり、各画像データに対して、良品又は不良品の２クラス分類学習を行う。これにより、Ｒ、Ｇ、Ｂ、Ｈ、Ｓ、Ｖの良品又は不良品の推定値が学習された学習済モデルが生成される。推定フェーズでは、得られた推定値とワークの画像の各データとを比較することにより、良否判定を行う。

本実施形態では、背景デザインが異なる場合に、デザインごとに前述の学習済モデルを作成している。例えば、図６では、背景デザインとして背景色が異なる場合について示している。図６では、赤色の背景の領域（第１部分）と青色の背景の領域（第２部分）とがあるワークを用いている。そして、図６では、撮像画像データの第１部分について学習させた学習済モデルＡと、第２部分について学習させた学習済モデルＢと、を生成している。つまり、背景デザインごとに学習済モデルを生成している。背景デザインが異なる場合は、学習済モデルに入力する教師データの数を増やさなければ精度よく良否判定を行えない可能性がある。例えば、ワークが色付けされた部品の場合に、背景色が赤色の領域に対して赤色以外の色が付着した場合と、背景色が青色の領域に対して青色以外の色が付着した場合と、では色ごとの変化量が異なる。このように背景色も異なり、付着する色も異なる場合は、一方のみが異なる場合に比較して学習済モデルの精度を上げるための教師データの数が多くなりやすい。本実施形態のように、背景色ごとに学習済モデルを生成しておけば、良否判定のみを行えばよいため、所定数の教師データから良否判定を行うことができる。

なお、上述の説明では、背景デザインとして背景色を用いているが、背景色以外に、背景の模様や、背景の材質の違いも背景デザインとして含むものとする。

上述の説明では、ワークとして、良品のワークと第１の欠陥を含むワークと第２の欠陥を含むワークとを用いているが、少なくとも１つの欠陥を含むワークを用いればよい。この場合でも、複数の領域に分割することにより欠陥の位置の異なる複数の教師データを得ることができる。一方で、例えば、ワークが色付けされた部品の場合は、欠陥の形状が異なることが考えられる。上述の説明のような、形状などの種類の異なる欠陥を含むワークを複数用いることにより、良否判定の精度を向上させることができる。

また、上述の説明では、教師データとして良品画像４１１から得られる領域にマーキングしたデータを入力しているが、このデータはなくてもよい。例えば、欠陥１画像４１２から得られる領域にマーキングしたデータと欠陥２画像４１３から得られる領域のデータとを教師データとして用いてもよい。欠陥１画像４１２から得られる領域や欠陥２画像４１２から得られる領域から欠陥のない領域Ｒ２の情報を教師データとして入力することが可能であるためである。

図１では、処理装置４０で学習済モデルの生成を行うが、生成された学習済モデルを処理装置４０に入力してもよい。例えば、撮像装置で撮像した画像データを情報端末に伝達し、情報端末で学習済モデルの生成を行い、所定の精度以上の学習済モデルを処理装置４０に入力してもよい。情報端末とは、例えば、パソコン等のコンピュータである。

上述の説明では、色画像データと色相データ等とを学習モデルに入力しているがこれに限られない。例えば、色ごとに演算パラメータを調整し、そのデータをもとに学習済モデルを生成してもよい。

（第２の実施形態）
図７は、第２の実施形態に係る学習済モデルの生成方法である。本実施形態は、不良品と良品との差分情報を学習モデルに入力する点が第１の実施形態とは異なる。以下で説明する事項以外は、第１の実施形態と同様である。

図７に示すように、ワークが色付けされた部品である場合に、ワークの形状や背景色が同じでも機種ごとに印字されている文字や図柄が異なる場合がある。このような場合に、すべての機種に対してそれぞれ学習済モデルを作成すると膨大な数の教師データが必要となる。これに対して、本実施形態では、欠陥あり画像データと欠陥なし（良品）画像データとの差分情報から学習済モデルを生成している。具体的には、機種１について、欠陥あり画像データ（第１のワークの撮像画像データ）と良品画像データ（第３のワークの撮像画像データ）との差分情報を不良品として学習モデルに入力する。そして、良品画像データ（第２のワークの撮像画像データ）と良品画像データ（第４のワークの撮像画像データ）との差分情報を良品として学習モデルに入力している。これを機種ごとに行うことにより、学習済モデルを生成している。

差分情報を生成する前には、欠陥あり画像データと良品画像データとのパターンマッチング等による画像の位置合わせを行い、その後差分情報を生成することが好ましい。これにより、差分情報の精度を高めることができる。ワークとして、印字されたラベルが貼られた部品である場合は、ワークのラベルの位置を合わせて差分情報を生成することが好ましい。ラベルの位置を合わせることにより、ワークごとにラベルの位置がずれている場合でも、良否判定を正確に行うことができる。

本実施形態では、学習済モデルを使用して良否判定を行う場合においても、良品画像データと実際にワークを撮影した画像データとの差分情報を生成して学習済モデルに入力し、学習済モデルから良否判定結果を出力している。

本実施形態によれば、機種ごとに印字されている文字や図柄が異なる場合であっても、同じ学習済モデルを用いて良否判定を行うことができる。

図７では、異なる機種の差分情報を入力しているが、同じ機種で複数の欠陥に対する差分情報を生成して入力してもよい。推定フェーズにおいて、良否判定を行う機種の良品データと実際のワークを撮影した画像データとの差分情報を学習済モデルに入力すればある程度の精度を維持しながら良否判定を行うことができる。

（第３の実施形態）
図８〜図１１は、第３の実施形態に係る学習済モデルの生成方法を説明する図である。本実施形態は、１つのワークにおいて、撮像画像データと、シフト画像データとの差分情報を学習モデルに入力する点が第２の実施形態とは異なる。つまり、本実施形態ではワーク間の差分ではなく、ワーク内での差分を見ている点が第２の実施形態とは異なる。一般的に、機種によって図柄や文字に小さな相違があっても学習済モデルに影響するため、機種ごとに異なる学習済モデルを生成する必要がある。本実施形態のように、所定の繰り返しパターンを有する１つのワークにおける差分画像で欠陥の有無を判定することにより、図柄や文字の相違による影響を排除できる。以下で説明する事項以外は、第２の実施形態と同様である。

本実施形態で想定するワークは、所定の繰り返しパターンを含む領域を有する製品を想定している。例えば、壁紙、シール、木目化粧紙、織布、食器が挙げられる。これらの製品において、模様や材質が所定の繰り返しパターンを有するものをワークとして想定している。所定の繰り返しパターンとは同じパターンを２以上含むものを指す。同じパターンとは、図９に示すような繰り返し周期を指しており、繰り返し周期における欠陥の有無に差があるものは同じパターンに含まれるものとする。つまり、欠陥があっても、所定のパターンが繰り返し配されていれば、所定の繰り返しパターンを有するものとする。

図８（Ａ）は、学習フェーズの概念図である。本実施形態に係る学習フェーズは、画像取得の工程Ｐ１１、画像回転の工程Ｐ１２、シフト位置検出の工程Ｐ１３、差分画像生成の工程Ｐ１４、画像分割の工程Ｐ１５、アノテーションの工程Ｐ１６、機械学習の工程Ｐ１７を含む。

画像取得の工程Ｐ１１では、ワーク（第１のワーク）において、所定の繰り返しパターンを含む領域を撮像した撮像画像を取得する。

画像回転の工程Ｐ１２では、差分を適切に算出できるよう、所定の繰り返しパターンの回転方向を調整する。例えば、図９に示すようなパターンの場合は、撮像画像の外縁である直線部分が水平になるように撮像画像を回転して回転方向における向きを調整する。この他にも、回転方向を算出する方法としては、所定の繰り返しパターンに含まれるパターン方向を検出する方法や、ワーク（第１のワーク）の端の直線を検出する方法等が挙げられる。なお、画像回転の工程Ｐ１２は必須の構成ではなく、画像取得の工程Ｐ１１の後に、シフト位置検出の工程Ｐ１３を行ってもよい。

シフト位置検出の工程Ｐ１３では、シフト画像の生成を行うための撮像画像からのシフト位置を検出する。そして、シフト位置におけるシフト画像を算出する。シフト位置は適宜設定することが可能である。シフト位置の検出を行うにあたり、まず、基準位置を設定する。例えば、所定のパターンの端を基準位置として設定する。次に、１以上の所定のパターン分だけ離れた位置をシフト位置として検出し、シフト画像として算出する。シフト位置の検出方法の一例を以下で説明するが、シフト位置の検出方法はこれに限られない。

所定の周期パターンが行方向（横方向）に並ぶ場合に、基準となる所定の周期パターンを行方向にシフトさせた際に最も類似度が高いパターンとされるパターンを検出する必要がある。例えば、図９において、領域ａ１と領域ｂ１を含む周期パターンとの類似度が最も高いパターンを検出する必要がある。類似度は、基準位置のパターンの各画素の輝度値（画素値）と、基準位置から行方向に所定量離れたパターンの各画素の画素値との差分を算出し、差分の標準偏差を算出して求めることができる。標準偏差が最小となるパターンを類似度が最も高いパターンとし、その類似度が最も高いパターンの画像をシフト画像として生成する。なお、図９では周期パターンが行方向のみに並ぶ場合を示したが、列方向（縦方向）や斜め方向に周期パターンが並ぶ場合には、列方向にシフトした際に類似度が高いパターン、行および列方向にシフトした際に類似度が高いパターンをそれぞれシフト画像として生成してもよい。

次に、差分画像生成の工程Ｐ１４を行う。図９に示すように、差分画像生成の工程Ｐ１４では、撮像画像とシフト画像との差分画像を生成する。差分画像では、撮像画像とシフト画像との差分を取るため所定の繰り返しパターンの影響を受けにくくなる。つまり、差分画像では、欠陥の有無のみが確認できる状態となる。これにより欠陥の有無を判断することが可能となる。

なお、図９に示すように、撮像画像に欠陥がある場合に、シフト位置によってはシフト画像にも欠陥が残る場合がある。この場合、差分画像のみで判断するとワークに２つの欠陥がある場合のみが欠陥ありと判定される。そのため、シフト画像に欠陥がある場合であっても、シフト画像に欠陥が入らない場合には欠陥なしと判断されてしまうという不都合が生じる。そこで、シフト画像が有する欠陥の影響をなくす必要がある。

本実施形態では、図１０に示すように、撮像画像とシフト画像との差分値を算出し、差分値の絶対値が所定の閾値を超えるか否かで欠陥の有無を補正する処理を行う。補正処理は対象物に応じて変えることができる。

図１０（Ａ）は撮像画像の画像データであり、図１０（Ｃ）はシフト画像の画像データである。図１０（Ａ）、図１０（Ｃ）では、説明の便宜上、撮像画像とシフト画像において欠陥のみを図示しており所定の周期パターンは図示していない。図１０（Ｅ）は図１０（Ａ）と図１０（Ｃ）との差分画像であり、図１０（Ｇ）は欠陥の有無を補正する処理を行った後の画像である。図１０（Ｂ）、図１０（Ｄ）、図１０（Ｆ）、図１０（Ｈ）は、それぞれ、図１０（Ａ）、図１０（Ｃ）、図１０（Ｅ）、図１０（Ｇ）の破線における画素値を示す図である。図１０（Ａ）および図１０（Ｃ）において、欠陥のない領域の画素値は２５５であり、欠陥のある領域の画素値は１２８である。図１０（Ｆ）の差分画像は、撮像画像の画素値からシフト画像の画素値を減算して算出することができる。例えば、図１０（Ｂ）の欠陥の画素値は、減算を行うことで１２８−２５６＝−１２８となる（図１０（Ｆ））。撮像画像の画素値からシフト画像の画素値を減算した結果が負の値の場合に欠陥あり領域とし、減算した結果が正の値の場合に欠陥なし領域とする補正を行う。これにより、処理後画像においては、シフト画像で検出された欠陥領域を欠陥なしと補正することができる。

なお、差分画像の生成においては、欠陥のコントラストを大きくするために、減算した結果を所定の値で乗算してもよい。例えば、減算した結果×２＋２５５の式で処理後の画素値を算出すれば、コントラストを大きくした状態で補正できる。したがって、補正処理を正確に行い、撮像画像における欠陥のみのデータを抽出することが可能となる。したがって、撮像画像における欠陥のみのデータを学習させることが可能となる。

また、図１０の例では、欠陥がある場合に画素値（階調）が低くなるワークを補正する処理を想定している。例えば、対象物が繊維であり、対象物を透過した光を撮像装置で撮像して検査する例である。この例とは逆に、欠陥がある場合に画素値が高くなるワークを補正する場合は、減算した結果が負の値の場合に欠陥なし領域とし、減算した結果が正の値の場合に欠陥あり領域と補正してもよい。

次に、画像分割の工程Ｐ１５を行う。画像分割の工程Ｐ１５では、ＡＩ学習／推論を実行するためのサイズに画像を分割する。なお、画像分割の境界部分に欠陥が存在すると欠陥検出をしにくくなる。したがって、図１１に示すように、画像分割を行うにあたり、領域が重なりあるように分割位置を決定することが好ましい。

次に、画像分割の工程Ｐ１５で得られた画像データにおいて、良品又は不良品の情報をマーキングして学習モデルに学習させる（アノテーションの工程Ｐ１６）。アノテーションの工程Ｐ１６では、画像分割の工程Ｐ１５で得られた画像データの回転や平行移動をさせた画像を生成し、学習画像データの枚数を増加させてもよい。なお、画像分割をせずに処理後の差分画像を用いてアノテーションを行ってもよい。これらのデータを用いて学習モデルに学習させる（機械学習の工程Ｐ１７）。

図８（Ｂ）に示す推論フェーズでは、実際に検査を行うワーク（第２のワーク）を用いて、画像取得の工程Ｐ２１、画像回転の工程Ｐ２２、シフト位置検出の工程Ｐ２３、差分画像生成の工程Ｐ２４，画像分割の工程Ｐ２５までを行う。そして、推論の工程Ｐ２６において、ワークの良品、不良品の判定を行うことが可能となる。推論フェーズにおいても、学習フェーズと同様に、画像回転の工程Ｐ２２は必須ではない。

本実施形態によれば、ワークの機種によって図柄や文字が少し異なる場合でも、機種ごとの別の学習モデルを作ることなく検査を行うことが可能となる。また、別機種の差分画像を同じ学習モデルに入力して学習済モデルを作成することにより、別機種を同じ学習済モデルで判定することも可能となる。

３０ 撮像装置
４０ 処理装置

Claims (24)

1. 画像認識用の教師データを生成する方法であって、
   ワークを撮像した画像データを取得する工程と、
   前記画像データを複数の第１領域に分割し、前記複数の第１領域のそれぞれに対して所定の情報を含むか否かを付して、複数の教師データを生成する工程と、を備えることを特徴とする教師データの生成方法。
2. 前記複数の教師データを作成する工程において、
   前記画像データを分割する位置をずらして複数の第２領域に分割し、前記複数の第２領域のそれぞれに対して前記所定の情報を含むか否かを付して、複数の教師データを生成することを特徴とする請求項１に記載の教師データの生成方法。
3. 前記所定の情報は、欠陥の有無であることを特徴とする請求項１又は２に記載の教師データの生成方法。
4. 前記ワークは色付けされた部品であり、
   前記所定の情報は所定の色とは異なる色の付着の有無であることを特徴とする請求項１乃至３のいずれか１項に記載の教師データの生成方法。
5. 前記画像データを取得する工程と、前記複数の教師データを生成する工程と、を良品のワーク及び欠陥を含むワークの各々に対して行うことを特徴とする請求項１乃至４のいずれか１項に記載の生成方法。
6. 請求項１乃至５のいずれか１項に記載の教師データの生成方法により生成された教師データを学習モデルに入力する工程を含む、機械学習を行う方法。
7. ワークを撮像した画像データは第１の背景デザインの第１部分と、前記第１の背景デザインとは異なる第２の背景デザインの第２部分と、を含み、
   前記第１部分および前記第２部分のそれぞれを複数の第１領域に分割し、
   学習済の学習モデルは、第１の前記学習済の学習モデルと、第２の前記学習済の学習モデルと、を含み、
   前記第１の学習済の学習モデルは、前記第１部分における前記複数の第１領域のそれぞれに対して所定の情報を含むか否かを付した複数の教師データを用いて機械学習されており、
   前記第２の学習済の学習モデルは、前記第２部分における前記複数の第１領域のそれぞれに対して前記所定の情報を含むか否かを付した複数の教師データを用いて機械学習されていることを特徴とする学習済の学習モデル。
8. 前記所定の情報を含む領域と、前記所定の情報を含まない領域と、のそれぞれを複数の成分に分解し、
   前記所定の情報を含む領域における前記複数の成分のそれぞれの推定値を求めた教師データと、前記所定の情報を含まない領域における前記複数の成分のそれぞれの推定値を求めた教師データと、を学習モデルに入力して機械学習させることを特徴とする請求項７に記載の学習済の学習モデル。
9. 前記複数の成分は、色成分、色相、彩度、及び明度を含むことを特徴とする請求項８に記載の学習済の学習モデル。
10. 前記学習モデルは、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、又はニューラルネットワークを用いることを特徴とする請求項６乃至９のいずれか１項に記載の学習済の学習モデル。
11. 第１の背景デザインの第１部分と前記第１の背景デザインとは異なる第２の背景デザインの第２部分とを含む画像データを入力し、
    前記第１部分における複数の第１領域のそれぞれに対して所定の情報を含むか否かを付した複数の教師データを用いて機械学習させ、
    前記第２部分における前記複数の第１領域のそれぞれに対して前記所定の情報を含むか否かを付した複数の教師データを用いて機械学習させる学習方法。
12. 前記所定の情報を含む領域と、前記所定の情報を含まない領域と、のそれぞれを複数の成分に分解し、
    前記所定の情報を含む領域における前記複数の成分のそれぞれの推定値を求めた教師データと、前記所定の情報を含まない領域における前記複数の成分のそれぞれの推定値を求めた教師データと、学習モデルに入力して機械学習させることを特徴とする請求項１１に記載の学習方法。
13. ワークを撮像した画像データを入力し、
    前記画像データを、所定の情報を含む第１領域と、前記所定の情報を含まない第２領域と、に分割し、
    前記第１領域と前記第２領域のそれぞれを複数の成分に分解し、
    前記第１領域における前記複数の成分のそれぞれの推定値を求めた教師データと、前記第２領域における前記複数の成分のそれぞれの推定値を求めた教師データと、を機械学習させる学習方法。
14. 前記所定の情報は、欠陥の有無であることを特徴とする請求項１１乃至１３のいずれか１項に記載の学習方法。
15. 前記複数の成分は、色成分、色相、彩度、及び明度を含むことを特徴とする請求項１３に記載の学習方法。
16. 撮像装置と、前記撮像装置により撮像した画像データが入力される学習済の学習モデルを有する処理装置と、を備えるシステムであって、
    前記学習済の学習モデルは、前記撮像装置によって第１のワークを撮像することで得られた画像データの複数の第１領域のそれぞれに対して所定の情報を含むか否かを付して作成されており、
    前記撮像装置によって第２のワークを撮像することで得られた第２の画像データを前記学習済の学習モデルに入力し、前記第２の画像データから前記第２のワークに関する判定を行う、
    ことを特徴とするシステム。
17. 撮像装置と、前記撮像装置により撮像した画像データが入力される学習済の学習モデルを有する処理装置と、を備えるシステムであって、
    前記学習済の学習モデルは、前記撮像装置によって第１のワークを撮像することで得られた第１の画像データと、前記第１の画像データとは異なる第２の画像データとの差分情報を入力して作成されており、
    前記撮像装置によって第２のワークを撮像することで得られた第３の画像データと前記第３の画像データとは異なる第４の画像データとの差分情報を前記学習済の学習モデルに入力し、前記第２のワークに関する判定を行う、
    ことを特徴とするシステム。
18. 前記第２の画像データと第４の画像データは、良品のワークを撮影した画像データであることを特徴とする請求項１７に記載のシステム。
19. 前記第１のワークは繰り返しパターンを含み、
    前記第２の画像データは、前記第１のワークを撮像した画像データにおいて、前記第１の画像データから１以上の繰り返しパターン分だけシフトしたシフト画像であり、
    前記第４の画像データは、前記第２のワークを撮像した画像データにおいて、前記第３の画像データから１以上の繰り返しパターン分だけシフトしたシフト画像であることを特徴とする請求項１７又は１８に記載のシステム。
20. 前記学習モデルに入力される前記第１の画像データと前記第２の画像データとの差分情報は、所定の処理が行われた情報であり、
    前記所定の処理は、前記第２の画像データと前記第１の画像データとの差分情報で差分がある領域において、当該領域の差分値の絶対値が所定の閾値を超える場合に、当該領域を差分が無い領域と処理することを特徴とする請求項１９に記載のシステム。
21. 前記所定の情報は、欠陥の有無であることを特徴とする請求項１６乃至２０のいずれか１項に記載のシステム。
22. 前記第１のワークは色付けされた部品であり、
    前記所定の情報は所定の色とは異なる色の付着の有無であることを特徴とする請求項１６乃至２１のいずれか１項に記載のシステム。
23. 前記システムは、センサと、前記撮像装置に撮像トリガ信号を伝達するトリガ生成回路と、を備え、
    前記センサは、所定の範囲内に前記第２のワークがあることを検知すると前記トリガ生成回路に信号を出力し、
    前記撮像装置は、前記信号に基づき出力される前記トリガ生成回路からの前記撮像トリガ信号に基づき前記第１のワークを撮像することを特徴とする請求項１６乃至２２のいずれか１項に記載のシステム。
24. 前記システムは、ロボットを備え、
    前記学習済の学習モデルによって欠陥を有すると判断されたワークを移動させることを特徴とする請求項２３に記載のシステム。

Images