JP2023067732A

JP2023067732A - 機械学習モデル、コンピュータプログラム、および、方法

Info

Publication number: JP2023067732A
Application number: JP2022107396A
Authority: JP
Inventors: 真樹近藤; Maki Kondo
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2021-11-01
Filing date: 2022-07-01
Publication date: 2023-05-16

Abstract

【課題】機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減する。【解決手段】対象物の異常を検出するための機械学習モデルは、検査対象の対象物を撮像して得られる撮像画像データが入力される場合に検査対象の対象物の特徴データを生成するエンコーダを含む。エンコーダをトレーニングするための学習用画像データと、トレーニング済みのエンコーダに入力することによって正常な対象物の特徴データを生成するための抽出用画像データとのうちの少なくとも一方は、対象物の画像を示す元画像データであって対象物の作成に用いられる元画像データ、もしくは、対象物を撮像して得られる元画像データに対して、所定の処理を実行して得られる画像データである。【選択図】図５

Description

本明細書は、対象物の異常検出に用いられる機械学習モデル、該異常を検出するためのコンピュータプログラム、および、方法に関する。

画像データを生成する機械学習モデルである画像生成モデルを用いた異常検出が知られている。非特許文献１に開示された技術では、正常な製品を撮像して得られる複数個の撮像画像データが予めトレーニングされたＣＮＮ（Convolutional Neural Network）に入力されて、複数個の撮像画像データのそれぞれの特徴マップが生成される。これらの特徴マップに基づいて正常な製品の特徴を示すガウシアンパラメータのマトリクスが生成される。検査時には、検査対象の製品を撮像して得られる撮像画像がＣＮＮに入力されて、特徴マップが生成され、該特徴マップに基づいて検査品の特徴を示す特徴ベクトルが生成される。正常な製品のマトリクスと、検査対象の製品の特徴ベクトルと、を用いて、検査品の異常検出が行われる。

T. Defard, A. Setkov, A. Loesch, and R. Audigier, "Padim: a patch distribution modeling framework for anomaly detection and localization",arXiv:2011.08785(2020),https://arxiv.org/abs/2011.08785,投稿日17 Nov 2020

しかしながら、上記技術では、多数の撮像画像データが必要となる場合があった。例えば、正常な製品の特徴を示すマトリクスの生成のために、正常な製品の多数の撮像画像データが必要になる場合があった。また、ＣＮＮを製品の撮像画像を用いてトレーニングする場合には、トレーニングのために製品の多数の撮像画像データが必要になる場合があった。

本明細書は、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる技術を開示する。

本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］対象物の異常検出に用いられる機械学習モデルであって、検査対象の対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、前記エンコーダは、学習用画像データを用いてトレーニングされ、前記学習用画像データは、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して特定の画像処理を実行して得られる画像データである、機械学習モデル。

上記構成によれば、学習用画像データとして、対象物の作成に用いられる元画像データに対して特定の画像処理を実行して得られる画像データが用いられる。この結果、トレーニングにおいて機械学習モデルに入力するための十分な撮像画像データが得られない場合であっても作成できる機械学習モデルが提供される。したがって、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる。

［適用例２］機械学習モデルを用いて対象物の異常を検出するためのコンピュータプログラムであって、前記機械学習モデルは、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、前記コンピュータプログラムは、正常な前記対象物を示す特徴抽出用画像データであって、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成する機能と、前記特徴抽出用画像データを、トレーニング済みの前記エンコーダに入力することによって、正常な前記対象物の特徴データを生成する機能と、をコンピュータに実現させ、前記対象物の異常検出は、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、コンピュータプログラム。

上記構成によれば、特徴抽出用画像データとして、対象物の作成に用いられる元画像データに対して第１調整処理を実行して得られる画像データが用いられる。この結果、十分な撮像画像データが得られなくても、正常な対象物の特徴データを生成することができる。したがって、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる。

［適用例３］対象物の異常検出に用いられる機械学習モデルであって、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、前記エンコーダは、学習用画像データを用いてトレーニングされ、前記学習用画像データは、前記対象物を撮像して得られる元画像データに対して特定の画像処理を実行して得られる画像データであり、前記対象物の異常検出は、正常な前記対象物を示す特徴抽出用画像データであって、前記元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成し、前記特徴抽出用画像データを、トレーニング済みの前記機械学習モデルに入力することによって、正常な前記対象物の特徴データを生成し、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、機械学習モデル。

上記構成によれば、学習用画像データとして、対象物を撮像して得られる元画像データに対して特定の画像処理を実行して得られる画像データが用いられる。この結果、トレーニングにおいて機械学習モデルに入力するための十分な撮像画像データが得られない場合であっても作成できる機械学習モデルが提供される。また、特徴抽出用画像データとして、対象物を撮像して得られる元画像データに対して第１調整処理を実行して得られる画像データが用いられる。この結果、十分な撮像画像データが得られなくても、正常な対象物の特徴データを生成することができる。したがって、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる。

［適用例４］機械学習モデルを用いて対象物の異常を検出するためのコンピュータプログラムであって、前記機械学習モデルは、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、前記コンピュータプログラムは、正常な前記対象物を示す特徴抽出用画像データであって、前記対象物を撮像して得られる元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成する機能と、前記特徴抽出用画像データを、トレーニング済みの前記エンコーダに入力することによって、正常な前記対象物の特徴データを生成する機能と、をコンピュータに実現させ、前記対象物の異常検出は、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、コンピュータプログラム。

上記構成によれば、特徴抽出用画像データとして、対象物を撮像して得られる元画像データに対して第１調整処理を実行して得られる画像データが用いられる。この結果、十分な撮像画像データが得られなくても、正常な対象物の特徴データを生成することができる。したがって、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる。

なお、本明細書に開示される技術は、他の種々の形態で実現することが可能であり、例えば、機械学習モデルのトレーニング方法、検査装置、検査方法、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

本実施例の検査システム１０００の構成を示すブロック図。製品３００の説明図。第１実施例の機械学習モデルＤＮの構成を示すブロック図。本実施例にて用いられる画像の一例を示す図。第１実施例の検査準備処理のフローチャート。正常画像データ生成処理のフローチャート。異常画像データ生成処理のフローチャート。トレーニング処理のフローチャート。マトリクスおよびマップの説明図。検査処理のフローチャート第２実施例の機械学習モデルＧＮの構成を示すブロック図。第２実施例の検査準備処理のフローチャート。

Ａ．第１実施例
Ａ－１．検査装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、検査装置１００と、撮像装置４００と、を含んでいる。検査装置１００と撮像装置４００とは、通信可能に接続されている。

検査装置１００は、例えば、パーソナルコンピュータなどの計算機である。検査装置１００は、検査装置１００のコントローラとしてのＣＰＵ１１０と、ＧＰＵ１１５と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブなどの不揮発性記憶装置１３０と、マウスやキーボードなどの操作部１５０と、液晶ディスプレイなどの表示部１４０と、通信部１７０と、を備えている。通信部１７０は、外部機器、例えば、撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

ＧＰＵ（Graphics Processing Unit）１１５は、ＣＰＵ１１０の制御に従って、３次元グラフィックスなどの画像処理のための計算処理を行うプロセッサである。本実施例では、後述する機械学習モデルＤＮの演算処理を実行するために利用される。

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、検査装置用のコンピュータプログラムＰＧと版下画像データＲＤとが格納されている。版下画像データＲＤについては後述する。

コンピュータプログラムＰＧは、後述する機械学習モデルＤＮの機能をＣＰＵ１１０とＧＰＵ１１５とが協働して実現させるコンピュータプログラムをモジュールとして含んでいる。コンピュータプログラムＰＧは、例えば、検査装置１００の製造者によって提供される。コンピュータプログラムＰＧは、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、後述する検査処理やトレーニング処理を実行する。

撮像装置４００は、光学的に被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像画像データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。撮像画像データは、画素ごとの輝度を表す輝度画像データであっても良い。

撮像装置４００は、検査装置１００の制御に従って、撮像画像データを生成し、検査装置１００に送信する。本実施例では、撮像装置４００は、検査処理の検査対象であるラベルＬが貼付された製品３００を撮像して、撮像画像を示す撮像画像データを生成するために用いられる。

図２は、製品３００の説明図である。図２（Ａ）には、製品３００の斜視図が示されている。製品３００は、本実施例では、略直方体の筐体３０を有するプリンタである。製造工程において、筐体３０の前面３１（＋Ｙ側の面）には、矩形のラベルＬが所定の貼付位置に貼付される。

図２（Ｂ）には、ラベルＬが示されている。ラベルＬは、例えば、背景Ｂと、製造者や製品のブランドロゴ、型番、ロット番号等の各種の情報を示す文字ＴやマークＭと、を含んでいる。

Ａ－２．機械学習モデルＤＮの構成
機械学習モデルＤＮの構成について説明する。図３は、第１実施例の機械学習モデルＤＮの構成を示すブロック図である。機械学習モデルＤＮは、入力画像データＩＤに対して、複数個の演算パラメータを用いて、演算処理を実行して、入力画像データＩＤに対応する出力データＯＤを生成する。

機械学習モデルＤＮは、画像の識別結果を示す出力データを生成する画像識別モデルであり、エンコーダＥＣと分類部ｆｃとを含んでいる。エンコーダＥＣは、入力画像データＩＤに対して次元削減処理を実行して、入力された画像の特徴を抽出する。エンコーダＥＣは、Ｎ個（Ｎは２以上の整数）の畳込層ｃｏｎｖ１～ｃｏｎｖＮを含むＣＮＮ（Convolutional Neural Network）である。各畳込層は、所定サイズのフィルタを用いて畳込処理(convolution)を実行して特徴マップを生成する。各畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。各畳込層から出力される特徴マップは次の層（畳込層または分類部ｆｃの全結合層）に入力される。活性化関数には、いわゆるReLU（Rectified Linear Unit）等の公知の関数が用いられる。

分類部ｆｃは、１以上の全結合層を含む。分類部ｆｃは、エンコーダＥＣから出力される特徴マップの次元数を削減して、出力データＯＤを生成する。

以上説明した畳込処理に用いられるフィルタの重みおよびバイアスと、分類部ｆｃの全結合層の演算に用いられる重みおよびバイアスは、後述するトレーニング処理によって調整される演算パラメータである。

なお、本実施例の機械学習モデルＤＮには、ＲｅｓＮｅｔと呼ばれる公知のモデルが用いられている。このモデルは、例えば、論文「K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in ICML, 2016.」に開示されている。

本実施例では、入力画像データＩＤは、所定のサイズ、例えば、数百画素×数百画素の矩形の画像データである。入力画像データＩＤは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ画像データである。後述するように、本実施例では、上述したラベルＬを含む撮像画像を示す撮像画像データが入力画像データＩＤとして想定されている。

図４は、本実施例にて用いられる画像の一例を示す図である。図４（Ａ）には、撮像画像データによって示される撮像画像ＤＩ１の一例が示されている。撮像画像ＤＩ１は、背景ＢＢ１と、ラベルＢＬ１と、を含む。このように、撮像画像ＤＩ１に示されるラベルには、実物のラベルＬ１と区別するために符号「ＢＬ１」を付す。ラベルＢＬ１の背景ＢＢ１は、製品３００の筐体３０の前面３１を示している。

撮像画像ＤＩ１内のラベルＢＬ１は、文字ＢＸ１とマークＢＭ１とを含む。撮像画像ＤＩ１におけるラベルＢＬ１の位置、角度には、バラツキが生じる。撮像画像ＤＩ１の左上の頂点Ｐ１に対するラベルＢＬ１の左上の頂点ＰＬ１の位置には、例えば、撮像対象の製品３００に対するラベルＬの貼付位置のバラツキや撮像装置４００に対する製品３００の設置位置のバラツキに起因して、バラツキが生じる。同様に、撮像画像ＤＩ１の下辺と、ラベルＢＬ１の下辺と、の間の角度θ１にもバラツキが生じる。

また、撮像画像ＤＩ１内のラベルＢＬ１の色は、照明の明るさなどの撮像条件によって、実物のラベルＬや後述する版下画像内のラベルＢＬ３の色とは、差異がある。また、ラベルＢＬ１の色は、撮像画像ごとにバラツキが生じる。同様に、撮像画像ＤＩ１内の背景ＢＢ１にも、撮像画像ごとに色のバラツキが生じる。また、撮像画像ＤＩ１は、イメージセンサを用いて生成されるために、実物のラベルや後述する版下画像には含まれないボケやノイズが含まれる。これらのボケやノイズには、撮像画像ごとにバラツキが生じる。

また、撮像対象の実物のラベルＬは、キズ、汚れ、欠けなどの様々な欠陥を含み得るので、撮像画像ＤＩ１のラベルＢＬ１も、これらの欠陥を含み得る。図４（Ａ）の例では、ラベルＢＬ１は、キズｄｆ１を含んでいる。

出力データＯＤは、入力画像データＩＤによって示される画像（本実施例では撮像画像）の被写体の種類を識別した識別結果を示すデータである。例えば、本実施例では、後述するように、機械学習モデルＤＮは、撮像画像内のラベルが欠陥を含む異常品であるか、欠陥を含まない正常品であるかを識別するようにトレーニングされる。このために、出力データＯＤは、その識別結果、すなわち、撮像画像内のラベルが異常品であるか正常品であるかを示すデータである。

Ａ－３．検査準備処理
検査準備処理は、機械学習モデルＤＮをトレーニングするとともに、トレーニング済みの機械学習モデルＤＮを用いて、正常品の特徴マトリクス（後述）を生成する処理である。検査準備処理は、後述する検査処理に先立って実行される。図５は、第１実施例の検査準備処理のフローチャートである。

Ｓ１００では、ＣＰＵ１１０は、不揮発性記憶装置１３０から版下画像ＤＩ２を示す版下画像データＲＤを取得する。図４（Ｂ）には、版下画像ＤＩ２の一例が示されている。版下画像データＲＤは、ラベルＬの作成に用いられるデータである。例えば、ラベルＬは、版下画像データＲＤを用いて、ラベル用のシートに版下画像ＤＩ２を印刷することによって作成される。ただし、版下画像ＤＩ２のサイズ（縦横の画素数）は、検査処理のために、機械学習モデルＤＮの入力画像データＩＤと同一のサイズに調整（拡大または縮小）されており、実際にラベルの印刷に用いられるサイズとは異なっていても良い。版下画像データＲＤは、撮像画像データと同様のビットマップデータ、本実施例では、ＲＧＢ画像データである。版下画像ＤＩ２は、ラベルＢＬ２を示す画像である。このように版下画像ＤＩ２に示されるラベルを、実物のラベルＬ１と区別するために符号「ＢＬ２」を付す。ラベルＢＬ２は、実物のラベルＬを表現したＣＧ画像であり、文字ＢＸ２とマークＢＭ２と、を含む。

ＣＧ画像は、コンピュータによって生成される画像であり、例えば、オブジェクトを描画するための描画コマンドを含むベクタデータのレンダリング（ラスタライズとも呼ばれる）によって、生成される。

本実施例では、版下画像ＤＩ２は、ラベルＢＬ２のみを含み、背景を含んでいない。また、版下画像ＤＩ２においてラベルＢＬ２は傾いていない。すなわち、版下画像ＤＩ２の矩形の四辺と、矩形のラベルＢＬ２の四辺とは一致している。

Ｓ１１０では、ＣＰＵ１１０は、版下画像データＲＤを用いて、正常画像データ生成処理を実行する。正常画像データ生成処理は、欠陥を含まない正常品の画像（以下、正常画像とも呼ぶ）を示す正常画像データを生成する処理である。図６は、正常画像データ生成処理のフローチャートである。

Ｓ２１０では、ＣＰＵ１１０は、版下画像データＲＤに対して明度補正処理を実行する。明度補正処理は、画像の明度を変更する処理である。例えば、明度補正処理は、各画素のＲＧＢ値の３個の成分値（Ｒ値、Ｇ値、Ｂ値）のそれぞれを、ガンマカーブを用いて変換することによって、行われる。ガンマカーブのγ値は、例えば、０．７～１．３の範囲内でランダムに決定される。γ値は、明度補正の程度を決定付けるパラメータである。γ値が１未満である場合には、補正によって（Ｒ値、Ｇ値、Ｂ値）が大きくなるので明度は高くなる。γ値が１より大きい場合には、補正によって（Ｒ値、Ｇ値、Ｂ値）が小さくなるので明度は低くなる。

Ｓ２２０では、ＣＰＵ１１０は、明度補正処理済みの版下画像データＲＤに対して、平滑化処理を実行する。平滑化処理は、画像を平滑化する処理である。平滑化処理によって、画像内のエッジがぼける。平滑化処理には、例えば、ガウシアンフィルタを用いる平滑化処理が用いられる。例えば、ガウシアンフィルタのパラメータである標準偏差σは、０～３の範囲内でランダムに決定される。これによって、エッジのぼけ方にバラツキを持たせることができる。なお、変形例では、ラプラシアンフィルタやメディアンフィルタを用いる平滑化処理が用いられても良い。

Ｓ２３０では、ＣＰＵ１１０は、平滑化処理済みの版下画像データＲＤに対して、ノイズ付加処理を実行する。ノイズ付加処理は、画像に対して、例えば、正規分布に従うノイズであり、例えば全ての画素に対して平均０、分散１０のパラメータによって生成される正規分布乱数によるノイズを付加する処理である。

Ｓ２４０では、ＣＰＵ１１０は、ノイズ付加処理済みの版下画像データＲＤに対して回転処理を実行する。回転処理は、特定の回転角度で画像を回転させる処理である。特定の回転角度は、例えば、－３度～＋３度の範囲内でランダムに決定される。例えば、正の回転角度は時計回りの回転を示し、負の回転角度は反時計回りの回転を示す。回転は、例えば、版下画像ＤＩ２の重心を中心として実行される。

Ｓ２５０では、ＣＰＵ１１０は、回転処理後の版下画像データＲＤに対して、シフト処理を実行する。シフト処理は、画像内のラベルの部分をシフト量分だけずらす処理である。縦方向のシフト量は、例えば、版下画像ＤＩ２の縦方向の画素数の数％の範囲、本実施例では、－２０～＋２０画素の範囲内でランダムに決定される。同様に、横方向のシフト量は、例えば、横方向の画素数の数％の範囲でランダムに決定される。

Ｓ２６０では、ＣＰＵ１１０は、Ｓ２１０～Ｓ２５０の処理が実行された後の処理済みの版下画像データＲＤを正常画像データとして、不揮発性記憶装置１３０に保存する。図４（Ｃ）には、正常画像データによって示される正常画像ＤＩ３が示されている。正常画像ＤＩ３のラベルＢＬ３では、版下画像ＤＩ２のラベルＢＬ２と比較して、例えば、全体の明るさ、方向き、重心の位置、マークＢＭ３や文字ＢＸ３のぼけの程度が異なっている。また、正常画像ＤＩ３のサイズ（横方向および縦方向の画素数）は、版下画像ＤＩ２のサイズと同一である。このために、上述した回転処理およびシフト処理によって、正常画像ＤＩ３のラベルＢＬ３には、欠けｌｋが生じている。また、上述した回転処理およびシフト処理によって、正常画像ＤＩ３の４辺と、ラベルＢＬ３の４辺と、の間には、隙間ｎｔが生じている。隙間ｎｔの領域は、所定の色、例えば、白色の画素によって埋められている。

Ｓ２７０では、ＣＰＵ１１０は、所定数（例えば、数百～数千）の正常画像データを生成したか否かを判断する。所定数の正常画像データが生成されていない場合には（Ｓ２７０：ＮＯ）、ＣＰＵ１１０は、Ｓ２１０に戻る。所定数の正常画像データが生成された場合には（Ｓ２７０：ＹＥＳ）、ＣＰＵ１１０は、正常画像データ生成処理を終了する。

正常画像データ生成処理後の図５のＳ１２０では、ＣＰＵ１１０は、生成された正常画像データを用いて異常画像データ生成処理を実行する。異常画像データ生成処理は、欠陥を含む異常品の画像（以下、異常画像とも呼ぶ）を示す異常画像データを生成する処理である。図７は、異常画像データ生成処理のフローチャートである。

Ｓ３００では、ＣＰＵ１１０は、Ｓ１１０の正常画像データ生成処理にて生成済みの複数個の正常画像データの中から、１個の処理対象の正常画像データを選択する。この選択は、例えば、ランダムに行われる。

Ｓ３１０では、ＣＰＵ１１０は、処理対象の正常画像データに対して、欠陥付加処理を実行する。欠陥付加処理は、キズ、汚れ、欠けなどの疑似的な欠陥を、正常画像ＤＩ３に対して付加する処理である。Ｓ３３０では、ＣＰＵ１１０は、欠陥付加処理済みの正常画像データを、異常画像データとして不揮発性記憶装置１３０に保存する。

異常画像データによって示される異常画像ＤＩ４は、疑似的な欠陥を含むラベルＢＬ４を示す画像である。例えば、図４（Ｄ）の異常画像ＤＩ４は、疑似的な欠陥として、線状のキズを疑似的に示す画像（以下、疑似キズｄｆ４とも呼ぶ）と、を含んでいる。疑似キズｄｆ４は、例えば、ベジエ曲線やスプライン曲線などの曲線である。例えば、ＣＰＵ１１０は、ベジエ曲線の制御点の位置や個数、線の太さ、線の色を、所定の範囲内でランダムに決定することによって、疑似キズｄｆ５を生成する。ＣＰＵ１１０は、生成された疑似キズｄｆ５を正常画像ＤＩ３に合成する。これによって、異常画像ＤＩ４を示す異常画像データが生成される。なお、キズに代えて、他の欠陥、例えば、疑似的な汚れが合成された異常画像データも生成される。疑似的な汚れは、例えば、微小な多数の点を所定の領域に配置することによって生成される。なお、疑似的な欠陥は、該欠陥を撮像して得られる画像から該欠陥部分を抜き出すことによって生成されても良い。

Ｓ３３０では、ＣＰＵ１１０は、Ｓ３１０、Ｓ３２０の処理がＭ回（Ｍは２以上の整数）繰り返されたか否かを判断する。換言すれば、１個の正常画像データに基づいてＭ個の互いに異なる異常画像データが生成されたか否かが判断される。Ｓ３１０～Ｓ３２０の処理がＭ回繰り返されていない場合には（Ｓ３３０：ＮＯ）、ＣＰＵ１１０は、Ｓ３１０に戻る。Ｓ３１０、Ｓ３２０の処理がＭ回繰り返された場合には（Ｓ３３０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ３４０に処理を進める。Ｍは、例えば、１～５の範囲の値である。

Ｓ３４０では、ＣＰＵ１１０は、所定数（例えば、数百～数千）の異常画像データを生成したか否かを判断する。所定数の異常画像データが生成されていない場合には（Ｓ３４０：ＮＯ）、ＣＰＵ１１０は、Ｓ３００に戻る。所定数の異常画像データが生成された場合には（Ｓ３４０：ＹＥＳ）、ＣＰＵ１１０は、異常画像データ生成処理を終了する。

異常画像データ生成処理後のＳ１３０では、ＣＰＵ１１０は、トレーニング処理を実行する。トレーニング処理は、正常画像データと異常画像データとを入力画像データＩＤとして用いて、機械学習モデルＤＮの演算パラメータを調整する処理である。

図８は、トレーニング処理のフローチャートである。Ｓ４００では、ＣＰＵ１１０は、機械学習モデルＤＮの複数個の演算パラメータを初期化する。例えば、これらの演算パラメータの初期値は、同一の分布（例えば、正規分布）から独立に取得された乱数に設定される。

Ｓ４１０では、ＣＰＵ１１０は、複数個の入力画像データ（本実施例では、正常画像データと異常画像データ）の中から、バッチサイズ分の入力画像データＩＤを選択する。例えば、複数個の入力画像データＩＤは、Ｖ個（Ｖは２以上の整数、例えば、Ｖ＝１００）ずつの入力画像データＩＤをそれぞれ含む複数個のグループ（バッチ）に分割される。ＣＰＵ１１０は、これらの複数個のグループから１個のグループを順次に選択することによって、Ｖ個の使用すべき入力画像データＩＤを選択する。これに代えて、Ｖ個ずつの入力画像データは、複数個の入力画像データＩＤから、毎回、ランダムに選択されても良い。

Ｓ４２０では、ＣＰＵ１１０は、選択されたＶ個の入力画像データを機械学習モデルＤＮに入力して、Ｖ個の入力画像データＩＤと一対一で対応するＶ個の出力データＯＤを生成する。入力画像データＩＤに対応する出力データＯＤは、該入力画像データＩＤを機械学習モデルＤＮに入力した場合に、機械学習モデルＤＮによって生成される出力データＯＤを意味する。

Ｓ４３０では、ＣＰＵ１１０は、Ｖ個の出力データＯＤのそれぞれについて、出力データＯＤと、該出力データＯＤに対応する教師データと、の間の誤差値ＥＶを算出する。出力データＯＤに対応する教師データは、出力されるべき出力データＯＤの目標値を示すデータである。例えば、出力データＯＤに対応する教師データは、出力データＯＤに対応する入力画像データＩＤが正常画像データである場合には、正常画像であること（換言すれば画像内のラベルが正常品であること）を示すデータである。出力データＯＤに対応する教師データは、出力データＯＤに対応する入力画像データＩＤが異常画像データである場合には、異常画像であること（換言すれば画像内のラベルが異常品であること）を示すデータである。

誤差値ＥＶは、所定の損失関数に基づいて算出される。例えば、誤差値ＥＶの算出には、平均二乗誤差（MSE（Mean Squared Error））が用いられる。

Ｓ４４０では、ＣＰＵ１１０は、Ｖ個の誤差値ＥＶを用いて、機械学習モデルＤＮの複数個の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、誤差値ＥＶが小さくなるように、すなわち、出力データＯＤと教師データとの差分が小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（例えば、ａｄａｍ）が用いられる。

Ｓ４５０では、ＣＰＵ１１０は、トレーニングが完了したか否かを判断する。本実施例では、作業者からの完了指示が入力された場合にはトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にはトレーニングが完了していないと判断する。本実施例では、機械学習モデルＤＮが異常画像と正常画像とを完全に識別できるまでトレーニングを行うことは不可能であり、その必要もない。機械学習モデルＤＮによってラベルＬの特徴が十分に学習された時点でトレーニングは終了される。例えば、作業者は、トレーニングの過程における誤差値ＥＶの変化を監視し、誤差値ＥＶが下降傾向である場合には、継続指示を入力し、誤差値ＥＶが下降傾向から横ばい傾向または上昇傾向に転じたと判断する場合に、完了指示を入力する。変形例では、例えば、Ｓ４１０～Ｓ４４０の処理が所定回数だけ繰り返された場合に、トレーニングが完了されたと判断されても良い。

トレーニングが完了していないと判断される場合には（Ｓ４５０：ＮＯ）、ＣＰＵ１１０は、Ｓ４１０に処理を戻す。トレーニングが完了したと判断される場合には（Ｓ４５０：ＹＥＳ）、ＣＰＵ１１０は、パラメータ調整処理を終了する。パラメータ調整処理が終了すると機械学習モデルＤＮのトレーニングは終了である。トレーニングが終了した時点で、機械学習モデルＤＮは、演算パラメータが調整されたトレーニング済みモデルになっている。

トレーニング処理の後の図５のＳ１４０、Ｓ１５０では、Ｋ個の正常画像データＩＤｎを用いて、正常品の特徴の抽出が行われる。Ｋは、１以上の整数であり、例えば、１０～１００の範囲の値である。図３（Ｂ）には、正常品の特徴抽出が概念的に図示されている。特徴抽出のための複数個の正常画像データＩＤｎは、トレーニング処理にて用いられた正常画像データの中からランダムに選択される。

Ｓ１４０では、ＣＰＵ１１０は、Ｋ個の正常画像データＩＤｎのそれぞれを、入力画像データＩＤとしてトレーニング済みの機械学習モデルＤＮ（エンコーダＥＣ）に入力して、複数個の特徴マップｆｍを生成する（図３（Ｂ））。本実施例では、１個の正常画像データＩＤｎを機械学習モデルＤＮに入力することによって、３種の特徴マップｆｍ１、ｆｍ２、ｆｍ３が生成される。図３（Ａ）に示すように、特徴マップｆｍ１は、１層目の畳込層ｃｏｎｖ１によって生成される特徴マップである。特徴マップｆｍ２は、２層目の畳込層ｃｏｎｖ２によって生成される特徴マップである。特徴マップｆｍ３は、３層目の畳込層ｃｏｎｖ３によって生成される特徴マップである。各特徴マップｆｍは、所定のサイズの画像データである。１つの正常画像データＩＤについて生成される特徴マップｆｍ１の個数と特徴マップｆｍ２の個数と特徴マップｆｍ３の個数との合計をＰとすると、本実施例では、Ｋ個の正常画像データＩＤｎを用いて（Ｐ×Ｋ）個の特徴マップｆｍが生成される。Ｐは、例えば、数百～数千である。

Ｓ１５０では、ＣＰＵ１１０は、（Ｐ×Ｋ）個の特徴マップｆｍを用いて、正常品のガウシアンマトリクスＧＭを生成する。図３および図９を参照して特徴マトリクスＧＭの生成について説明する。例えば、ＣＰＵ１１０は、１つの正常画像データＩＤについて生成されるＰ個の特徴マップｆｍ（図３（Ｂ））からランダムにＬ個（例えば、数十～数百個）の使用マップＵｍ（図３（Ｃ））を選択する。Ｌ個の使用マップＵｍのサイズ（画素数）が異なる場合には、Ｌ個の使用マップＵｍのサイズは、拡大または縮小処理によって１つのサイズに調整される。ＣＰＵ１１０は、Ｌ個の使用マップＵｍを用いて、正常画像の特徴マトリクスＦＭ（図３（Ｄ））を生成する。具体的には、１つの正常画像データを用いて生成されたＰ個の特徴マップｆｍ（図３（Ｂ））から選択された使用マップＵｍ（図３（Ｃ））を用いて、該正常画像データによって示される正常画像の特徴マトリクスＦＭが生成される。特徴マトリクスＦＭは、使用マップＵｍの各画素と一対一で対応する特徴ベクトルＶ（ｉ、ｊ）を要素とするマトリクスである。（ｉ、ｊ）は、使用マップＵｍの対応する画素の座標を示す。特徴ベクトルは、Ｌ個の使用マップＵｍにおける座標（ｉ、ｊ）の画素の値を要素とするベクトルである。このために１つの特徴ベクトルは、Ｌ次元のベクトル（要素数がＬのベクトル）である（図３（Ｄ））。

正常画像の特徴マトリクスＦＭは、正常画像ごと（正常画像データごと）に生成される。本実施例では、正常画像データの個数はＫ個であるから、Ｋ個の特徴マトリクスＦＭ１～ＦＭＫが生成される。図９は、本実施例で用いられるマトリクスおよびマップの説明図である。図９（Ａ）には、正常画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫの一例が図示されている。ＣＰＵ１１０は、正常画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫを用いて、正常品の特徴を示すガウシアンマトリクスＧＭを生成する。ガウシアンマトリクスＧＭは、使用マップＵｍの各画素と一対一で対応するガウシアンパラメータを要素とするマトリクスである。座標（ｉ、ｊ）の画素に対応するガウシアンパラメータは、平均ベクトルμ（ｉ、ｊ）と、共分散行列Σ（ｉ、ｊ）と、を含む。平均ベクトルμ（ｉ、ｊ）は、正常画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫの特徴ベクトルＶ（ｉ、ｊ）の平均である。共分散行列Σ（ｉ、ｊ）は、正常画像のＫ個の特徴マトリクスＦＭ１～ＦＭＫの特徴ベクトルＶ（ｉ、ｊ）の共分散行列である。このように、Ｋ個の正常画像データに対して、１つのガウシアンマトリクスＧＭが生成される。

正常品の特徴を示すガウシアンマトリクスＧＭが算出されると、検査準備処理は終了される。なお、本準備処理にて生成されたトレーニング済みの機械学習モデルＤＮ、および、正常品の特徴を示すガウシアンマトリクスＧＭは、検査処理にて用いられる。このために、これらの機械学習モデルＤＮ、および、正常品の特徴を示すガウシアンマトリクスＧＭは、不揮発性記憶装置１３０に保存される。

Ａ－３．検査処理
図１０は、検査処理のフローチャートである。検査処理は、検査すべきラベルＬが欠陥を含む異常品であるか、欠陥を含まない正常品であるかを検査する処理である。検査処理は、ラベルＬごとに実行される。検査処理は、ユーザ（例えば、検査の作業者）が処理の開始指示を、操作部１５０を介して検査装置１００に入力した場合に、開始される。例えば、ユーザは、検査すべきラベルＬが貼り付けられた製品３００を、撮像装置４００を用いて撮像するための所定の位置に配置した状態で、検査処理の開始指示を入力する。

Ｓ５００では、ＣＰＵ１１０は、検査すべきラベルＬ（以下、検査品とも呼ぶ）を含む撮像画像を示す撮像画像データＩＤｔを取得する。例えば、ＣＰＵ１１０は、撮像装置４００に撮像指示を送信して、撮像装置４００に撮像画像データを生成させ、撮像装置４００から撮像画像データを取得する。この結果、例えば、上述した図４（Ａ）の撮像画像ＤＩ１を示す撮像画像データが取得される。

Ｓ５１０、Ｓ５２０では、撮像画像データＩＤｔを用いて、検査品の特徴の抽出が行われる。

Ｓ５１０では、ＣＰＵ１１０は、取得された撮像画像データＩＤｔを、入力画像データＩＤとしてトレーニング済みの機械学習モデルＤＮに入力することによって、撮像画像データＩＤｔに対応するＰ個の特徴マップｆｍを生成する。本実施例では、図３（Ｂ）に示すように、Ｐ個の特徴マップｆｍ１～ｆｍ３が生成される。

Ｓ５２０では、ＣＰＵ１１０は、Ｐ個の特徴マップｆｍ１～ｆｍ３を用いて、検査品の特徴マトリクスＦＭｔを生成する。検査品の特徴マトリクスＦＭｔは、上述した正常画像の特徴マトリクスＦＭ（図３（Ｄ））と同様の処理によって生成される。すなわち、Ｓ５１０にて生成されるＰ個の特徴マップｆｍ１～ｆｍ３のうちのＬ個の使用マップＵｍを用いて、検査品の特徴マトリクスＦＭｔが生成される。特徴マトリクスＦＭｔは、使用マップＵｍの各画素と一対一で対応する特徴ベクトルＶ（ｉ、ｊ）を要素とするマトリクスである。

Ｓ５３０では、ＣＰＵ１１０は、正常品の特徴を示すガウシアンマトリクスＧＭと検査品の特徴マトリクスＦＭｔとを用いて、異常度マップＡＭ（図９（Ｄ））を生成する。異常度マップＡＭは、特徴マトリクスＦＭｔと同じサイズ（画素数）の画像データである。異常度マップＡＭの各画素の値は、マハラノビス距離である。座標（ｉ、ｊ）におけるマハラノビス距離Ｄ（ｉ、ｊ）は、検査品の特徴マトリクスＦＭの特徴ベクトルＶ（ｉ、ｊ）と、正常品のガウシアンマトリクスＧＭの平均ベクトルμ（ｉ、ｊ）および共分散行列Σ（ｉ、ｊ）と、を用いて、算出される。マハラノビス距離Ｄ（ｉ、ｊ）は、座標（ｉ、ｊ）におけるＫ個の正常画像と検査品との間の差異の程度を示す値である。このために、マハラノビス距離Ｄ（ｉ、ｊ）は、座標（ｉ、ｊ）における検査品の異常度を示す値であると、言うことができる。

図４（Ｅ）には、異常度マップＡＭの一例として、異常度マップＡＭａが示されている。図４（Ｅ）の異常度マップＡＭａには、異常領域ｄｆ５が示される。異常領域ｄｆ５は、例えば、マハラノビス距離が閾値ＴＨ以上である画素によって構成される領域である。異常領域ｄｆ５は、図５（Ａ）の撮像画像ＤＩ１に含まれるキズｄｆ１が位置する領域を示している。異常度マップＡＭａを参照することで、撮像画像ＤＩ１に含まれるキズなどの欠陥の位置、大きさ、形状を特定することができる。撮像画像ＤＩ１にキズなどの欠陥が含まれない場合には、異常度マップＡＭａにおいても、異常領域は特定されない。

Ｓ５４０では、ＣＰＵ１１０は、異常度マップＡＭａにおける異常領域ｄｆ５の面積が閾値ＴＨｊ以上であるか否かを判断する。異常領域ｄｆ５の面積が閾値ＴＨｊ未満である場合には（Ｓ５４０：ＮＯ）、Ｓ５６０にて、ＣＰＵ１１０は、検査すべきラベルＬは正常品であると判定する。異常領域ｄｆ５の面積が閾値ＴＨｊ以上である場合には（Ｓ５４０：ＹＥＳ）、Ｓ５５０にて、ＣＰＵ１１０は、検査すべきラベルは異常品であると判定する。Ｓ５７０では、ＣＰＵ１１０は、検査結果を表示部１４０に表示して、検査処理を終了する。このように機械学習モデルＤＮを用いて、検査すべきラベルＬが正常品であるか異常品であるかを精度良く判定することができる。

なお、特徴マトリクスＦＭ、ＦＭｔ、ガウシアンマトリクスＧＭ、異常度マップＡＭの生成の詳細については、Ｐａｄｉｍモデルの論文「T. Defard, A. Setkov, A. Loesch, and R. Audigier, “Padim: a patch distribution modeling framework for anomaly detection and localization”,arXiv:2011.08785(2020),https://arxiv.org/abs/2011.08785」に開示されている。

以上説明した本実施例によれば、上記実施例の機械学習モデルＤＮは、検査すべき対象物であるラベルＬの撮像画像データが入力される場合にラベルＬの特徴データ（本実施例では特徴マップｆｍ１～ｆｍ３）を生成するエンコーダＥＣを含む（図３（Ａ））。エンコーダＥＣは、学習用画像データ（本実施例では、正常画像データと異常画像データ）を用いてトレーニングされる（図５、図８）。学習用画像データは、ラベルＬ１の作成に用いられる版下画像データＲＤに対して特定の画像処理を実行して得られる画像データである（図６、図７）。

この結果、トレーニングにおいて機械学習モデルＤＮに入力するための十分な撮像画像データが得られない場合であっても作成できる機械学習モデルが提供される。したがって、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる。仮に、学習用画像データとして、異常品や正常品の実物のラベルＬを撮像装置４００で撮像して得られる撮像画像データを用いる場合には、多量の実物のラベルＬを準備する必要がある。特に、異常品については、ラベルＬに多様なキズや汚れなどの欠陥を付けたうえで、撮像を行う必要がある。このために、機械学習モデルＤＮを作成するユーザの負担が過度に大きくなる場合がある。本実施例では、版下画像データＲＤを用いて学習画像データが生成されるので、機械学習モデルＤＮのトレーニングのためのユーザの負担を軽減して、機械学習モデルＤＮを容易にトレーニングできる。

なお、本実施例では、特定の画像処理として、正常画像データの生成では、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理（図６のＳ２１０～Ｓ２５０）が実行され、異常画像データの生成では、これらの処理に加えて、さらに、欠陥付加処理（図７のＳ３１０）が実行される。撮像画像の属性、具体的には、明度、ぼけの程度、ノイズの程度、傾き、位置には、撮像条件等に起因してバラツキが生じ得る。本実施例によれば、このようなバラツキを含む撮像画像データが入力される場合でも、適切な特徴マップｆｍ、ひいては、特徴マトリクスＦＭｔが生成されるように、エンコーダＥＣをトレーニングすることができる。

さらに、本実施例では、学習用画像データは、正常な対象物（本実施例ではラベル）を示す正常画像データと、異常を含む対象物を示す異常画像データと、を含む（図５～図７）。エンコーダＥＣのトレーニングは、エンコーダＥＣから出力されるデータを用いて画像の識別結果を示す出力データＯＤを生成する画像識別モデル（図２の機械学習モデルＤＮ）を構成して実行される。すなわち、トレーニングは、エンコーダＥＣに学習用画像データ（正常画像データまたは異常画像データ）が入力される場合に、出力データＯＤが、学習用画像データによって示されるラベルが正常品であるか異常品であるかを識別するように実行される。換言すれば、該トレーニングは、出力データＯＤが、学習用画像データが正常画像データであるか異常画像データであるかを示すように、実行される。この結果、正常画像データと異常画像データとを含む学習用画像データを用いて適切にトレーニングされたエンコーダＥＣが提供される。

さらに、本実施例によれば、版下画像データＲＤに対して実行される特定の画像処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性（例えば、明度、ぼけの程度、ノイズの程度、傾き、位置）を調整する第１画像処理（例えば、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理（図６のＳ２１０～Ｓ２５０））を含む。さらに、特定の画像処理は、欠陥を画像に擬似的に付加する第２画像処理（図７のＳ３１０の欠陥付加処理像処理）を含む。そして、１回の第１画像処理によって生成される１つの正常画像データに対して、Ｍ種類（Ｍは２以上の整数）の第２画像処理が実行されることによって、Ｍ種類の異常画像データが生成される（図７のＳ３００～Ｓ３３０）。この結果、１つの正常画像データを用いて、Ｍ個の異常画像データを生成できるので、効率的に異常画像データを生成することができる。

さらに、本実施例では、ｎ種類（ｎは２以上の整数）の正常画像データのそれぞれについて、Ｍ種類の第２画像処理が実行されることによって、（ｎ×Ｍ）個の異常画像データが生成される（図７のＳ３３０、Ｓ３４０）。この結果、多数（例えば、数千個）の異常画像データを効率的に生成することができる。

さらに、本実施例では、ラベルＬの異常は、特徴抽出用の正常画像データをトレーニング済みの機械学習モデルＤＮに入力することによって、正常なラベルＬの特徴マップｆｍを生成し（図５のＳ１４０、図３（Ｂ））、検査すべきラベルＬの特徴マップｆｍと、正常なラベルＬの特徴マップｆｍと、を用いて、実行される（図１０のＳ５１０～Ｓ５６０）。特徴抽出用の正常画像データは、版下画像データＲＤに対して属性を調整する処理（例えば、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理（図６のＳ２１０～Ｓ２５０））を実行して得られる画像データである。この構成によれば、十分な撮像画像データがなくても、正常なラベルＬの特徴マップを生成することができる。したがって、機械学習モデルＤＮを用いた異常検出のために必要な撮像画像データの数を低減できる。仮に、特徴抽出用の正常画像データとして、正常品の実物のラベルＬを撮像装置４００で撮像して得られる撮像画像データを用いる場合には、多量の実物のラベルＬを準備する必要がある。このために、機械学習モデルＤＮを用いた異常検出を実行するユーザの負担が過度に大きくなる場合がある。本実施例では、版下画像データＲＤを用いて特徴抽出用の正常習画像データが生成されるので、機械学習モデルＤＮを用いた異常検出のためのユーザの負担を軽減することができる。

以上の説明から解るように、本実施例の明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理の全体は、第１画像処理の例であり、欠陥付加処理は、第２画像処理の例である。本実施例の正常画像データは、学習用画像データ、第１種の画像データ、特徴抽出用画像データの例であり、異常画像データは、学習用画像データ、第２種の画像データの例であり、版下画像データＲＤは、元画像データの例である。

Ｂ．第２実施例

第１実施例では、エンコーダＥＣは、エンコーダＥＣを含む画像識別モデルである機械学習モデルＤＮを構成し、該機械学習モデルＤＮをトレーニングすることによって、トレーニングされている。エンコーダをトレーニングする手法は、これに限られない。

図１１は、第２実施例の機械学習モデルＧＮの構成を示すブロック図である。第２実施例の機械学習モデルＧＮは、エンコーダＥＣｂを含む画像生成モデルである。具体的には、機械学習モデルＧＮは、オートエンコーダと呼ばれるニューラルネットワークであり、エンコーダＥＣｂとデコーダＤＣとを含んでいる。

例えば、エンコーダＥＣｂは、第１実施例と同様に、複数個の畳込層を含むＣＮＮ（Convolutional Neural Network）である。デコーダＤＣには、エンコーダＥＣｂから出力される特徴マップｆｍ、すなわち、最後の畳込層によって生成される特徴マップｆｍが入力される。デコーダＤＣは、特徴マップｆｍに対して次元復元処理を実行して、出力画像データＯＤｂを生成する（図１１）。デコーダＤＣは、図示しない複数個の転置畳込層を含んでいる。各転置畳込層は、所定サイズのフィルタを用いて転置畳込処理(up-convolution)を実行する。各転置畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。本実施例では、活性化関数には、上述したReLU等の公知の関数が用いられる。出力画像データＯＤｂは、例えば、入力画像データＩＤと同一のサイズを有するＲＧＢ画像データである。

エンコーダＥＣｂの畳込処理に用いられるフィルタの重みおよびバイアスと、デコーダＤＣの転置畳込処理に用いられる重みおよびバイアスは、本実施例のトレーニング処理によって調整される演算パラメータである。

図１２は、第２実施例の検査準備処理のフローチャートである。図１２のＳ１００、Ｓ１１０は、図５のＳ１１０、Ｓ１１０と同一の処理である。第２実施例の検査準備処理では、図５のＳ１２０の異常画像データ生成処理は実行されず、異常画像データは生成されない。図５のＳ１３０ｂでは、ＣＰＵ１１０は、第１実施例のＳ１３０とは異なり、正常画像データのみを用いて、機械学習モデルＧＮのトレーニングを実行する。具体的には、機械学習モデルＧＮは、エンコーダＥＣｂに正常画像データが入力される場合に、デコーダＤＣによって生成される出力画像データＯＤｂが、入力された正常画像データを再現するように、トレーニングされる。

例えば、バッチサイズ分のＶ個の正常画像データが機械学習モデルＧＮに入力され、Ｖ個の正常画像データに対応するＶ個の出力画像データＯＤｂが生成される。所定の損失関数を用いて、正常画像データと、対応する出力画像データＯＤｂと、の間の誤差値が、正常画像データと出力画像データＯＤｂとのペアごとに算出される。所定の損失関数には、例えば、画素ごとの平均二乗誤差が用いられる。そして、Ｖ個の誤差値が小さくなるように、正常画像データと出力画像データＯＤｂとの差分が小さくなるように、所定のアルゴリズムに従って演算パラメータが調整される。以上の処理が複数回繰り返されることによって、機械学習モデルＧＮがトレーニングされる。

図１２のＳ１４０ｂでは、ＣＰＵ１１０は、図５のＳ１４０と同様に、トレーニング処理にて用いられた正常画像データの中からランダムに選択されたＫ個の正常画像データのそれぞれを、入力画像データＩＤとしてトレーニング済みの機械学習モデルＧＮ（エンコーダＥＣｂ）に入力して、複数個の特徴マップｆｍ１ｂ～ｆｍ３ｂを生成する（図１１）。特徴マップｆｍ１ｂ～ｆｍ３ｂは、エンコーダＥＣｂを構成する複数個の畳込層から選択される３つの畳込層によってそれぞれ生成される。

図５のＳ１５０ｂでは、ＣＰＵ１１０は、図５のＳ１５０と同様に、Ｓ１４０ｂにて生成された複数個の特徴マップを用いて、正常品のガウシアンマトリクスを生成する。

第２実施例の検査処理は、第１実施例の検査処理（図１０）と同様に実行される。

以上説明した本実施例では、上述のように、エンコーダＥＣｂのトレーニングでは、エンコーダＥＣｂと、エンコーダＥＣｂから出力されるデータを用いて出力画像データＯＤｂを生成するデコーダＤＣと、を含む画像生成モデルである機械学習モデルＧＮが構成される（図１１）。そして、エンコーダＥＣｂに正常画像データが入力される場合に、デコーダＤＣによって生成される出力画像データＯＤｂが、正常画像データを再現するように、実行される（図１２）。この構成によれば、正常画像データを用いて、異常画像データを用いることなく、エンコーダＥＣｂをトレーニングできる。この結果、第１実施例よりもさらに学習用画像データを準備する負荷を低減することができる。

Ｂ．変形例：
（１）上記第１実施例では、エンコーダＥＣのトレーニングに用いられる正常画像データと、正常品のガウシアンマトリクスＧＭの生成に用いられる正常画像データとは、同じデータが用いられている。これに代えて、エンコーダＥＣのトレーニングに用いられる正常画像データと、正常品のガウシアンマトリクスＧＭの生成に用いられる正常画像データとの間で、画像の属性の調整処理（具体的には、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理）の調整幅を変えても良い。例えば、ガウシアンマトリクスＧＭの生成に用いられる正常画像データを生成する際におけるこれらの調整処理を第１の調整処理とし、トレーニング処理に用いられる正常画像データを生成する際におけるこれらの調整処理を第２の調整処理とする。本変形例では、第２の調整処理における属性の調整量の最大値は、第１調整処理における属性の調整量の最大値よりも大きくされる。例えば、第１の調整処理としての明度補正処理では、例えば、ガンマカーブのγ値は、例えば、０．７～１．３の範囲内でランダムに決定され、第２の調整処理としての明度補正処理では、ガンマカーブのγ値は、例えば、０．４～１．６の範囲内でランダムに決定される。第１の調整処理としての平滑化処理では、例えば、ガウシアンフィルタの標準偏差σは、０～１．５の範囲内でランダムに決定され、第２の調整処理としての平滑化処理では、例えば、ガウシアンフィルタの標準偏差σは、０～３の範囲内でランダムに決定される。第１の調整処理としてのノイズ付加処理では、例えば、ノイズの割合は、０～６％の範囲内でランダムに決定され、第２の調整処理としてのノイズ付加処理では、例えば、ノイズの割合は、０～１２％の範囲内でランダムに決定される。回転処理、シフト処理についても同様である。

本変形例によれば、エンコーダＥＣは、属性のバラツキが大きな入力画像データＩＤが入力される場合であっても適切に特徴マップｆｍ、ひいては、ガウシアンマトリクスＧＭを生成できるように、トレーニングできる。このために、エンコーダＥＣの汎用性が高くなる。したがって、例えば、１種類のラベルＬの正常画像データを用いてエンコーダＥＣをトレーニングした場合であっても、複数種類のラベルＬの正常画像データを用いて、各ラベルの正常品のガウシアンマトリクスＧＭを適切に生成することができる。

例えば、下地の色や文字の色などの概略構成は同じであっても、仕向地によってラベルに記載される品番などが互いに異なる場合がある。このような場合に、１つの仕向地（例えば、日本）用の版下画像データＲＤを用いて生成された正常画像データを用いてエンコーダＥＣのトレーニングが実行される。そして、そのエンコーダＥＣに対して、他の仕向地（例えば、米国）用のラベルの版下画像データＲＤを用いて生成された正常画像データを用いて、正常品のガウシアンマトリクスＧＭを生成できる。換言すれば、１つのエンコーダＥＣを用いて、複数の仕向地用のラベルＬの検査を実行することができる。

（２）上記実施例では、撮像画像ＤＩ１においてバラツキに起因して変動する特定の属性としてラベルの明度、ぼけの程度、ノイズ量、傾き、位置が考慮されている。これに限らず、他の属性が考慮されても良い。例えば、撮像画像ＤＩ１は、撮像装置４００を用いて生成されるために、実物のラベルや後述する版下画像には含まれないサイズのバラツキや歪みを含み得る。このために、検査品の撮像画像ＤＩ１においてサイズや歪みのバラツキが生じたとしても、検査品の特徴マトリクスＦＭｔが適切に生成できるように、機械学習モデルＤＮがトレーニングされても良い。この場合には、例えば、正常画像データを生成する際には、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理の少なくとも一部とともに、あるいは、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理の少なくとも一部に代えて、画像にサイズを変更する処理や歪みを付加する処理が追加される。サイズを変更する処理は、所定の倍率で画像を縮小または拡大処理が用いられる。歪みを付加する処理は、例えば、台形歪みやレンズ歪みを疑似的に付加する処理が用いられる。

（３）上記実施例では、異常画像データは、正常画像データに対して、欠陥付加処理を実行することによって生成される（図７）。これに代えて、異常画像データは、版下画像データＲＤに対して、欠陥付加処理を実行した後に、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理を実行することによって生成されても良い。この場合には、異常画像データの作成の効率は実施例より低下するものの、より自然な撮像画像風の画像を示す異常画像データを生成できる。明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理は、撮像条件に起因するバラツキの影響を画像に加味するための処理である。実際の撮像でも、欠陥に対して撮像条件に起因するバラツキの影響があるため、疑似的な欠陥の画像に対しても該影響が加味されることが好ましいと考えられる。

（４）上記実施例では、１つの正常画像データから、Ｍ個（Ｍは２以上の整数）の異常画像データが生成される。これに代えて、１つの正常画像データから１つの異常画像データが生成されても良い。

（５）上記実施例では、機械学習モデルＤＮ、ＧＮをトレーニングするための学習用画像データ（正常画像データや異常画像データ）と、正常品のガウシアンマトリクスＧＭを生成するための正常画像データと、の両方が、版下画像データＲＤを用いて生成されている。これに代えて、機械学習モデルＤＮ、ＧＮをトレーニングするための学習用画像データと、正常品のガウシアンマトリクスＧＭを生成するための正常画像データと、のうちの一方は、例えば、実物のラベルＬを撮像することによって生成されても良い。

（６）上記実施例では、検査の対象物は、ラベルである。これに限らず、検査の対象物は、他の物、例えば、工業的に製造される様々な製品、例えば、最終的に市場で販売される最終製品や、最終製品の製造に用いられる部品であっても良い。この場合には、例えば、正常画像データは、版下画像データＲＤに代えて、製品の作成に用いられる設計図面データを用いて、図６の正常画像データ生成処理を実行することによって生成される。

（７）上記実施例の正常画像データ生成処理（図６）は、一例であり、適宜に省略や変更が行われ得る。例えば、本実施例の明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理のうち、例えば、検査処理の態様によって考慮する必要性が低い属性を調整する処理は、省略されても良い。例えば、安定して明るさで撮像されることが保証されている環境下で、ラベルの撮像が行われる場合には、明度補正処理が省略されても良い。

また、全ての学習用画像データ（正常画像データや異常画像データ）が版下画像データＲＤを用いて生成される必要はない。版下画像データＲＤを用いて生成された学習用画像データと、撮像によって生成された学習用画像データと、の両方を用いて、トレーニング処理が行われても良い。また、正常品のガウシアンマトリクスＧＭを生成するための全ての正常画像データが版下画像データＲＤを用いて生成される必要はない。版下画像データＲＤを用いて生成された正常画像データと、撮像によって生成された正常画像データと、の両方を用いて、正常品のガウシアンマトリクスＧＭが生成されても良い。

（８）上記実施例では、全ての学習用画像データ（正常画像データや異常画像データ）が版下画像データＲＤを用いて生成されている。これに代えて、全ての学習用画像データが、版下画像データＲＤなどのラベルの作成に用いられる画像データとは異なる画像データを用いて生成されても良い。例えば、全ての学習用画像データが、実物のラベルＬをデジタルカメラ等によって撮像して得られる撮像画像データであって良い。例えば、光源の種類や明るさ、ラベルに対するデジタルカメラの位置などの撮像条件を、ユーザが適当と考える範囲で変更しながら撮像された複数個の撮像画像データが、複数個の学習用画像データとして用いられても良い。

あるいは、全ての学習用画像データが、実物のラベルＬをデジタルカメラに等よって撮像して得られる撮像画像データを元画像データとして用いて生成されても良い。例えば、元画像データとしての１つの撮像画像データに対して、明度補正処理、平滑化処理、ノイズ付加処理、回転処理、シフト処理などを含む互いに異なる複数の画像処理を実行することで、互いに異なる複数個の学習用画像データ（正常画像データや異常画像データ）が生成されても良い。例えば、上記第１実施例の図５の検査準備処理のＳ１００にて、ＣＰＵ１１０は、版下画像データＲＤに代えて、１つの撮像画像データを取得し、該撮像画像データを用いて、Ｓ１１０の正常画像データ生成処理を実行して、正常画像データを生成する。ＣＰＵ１１０は、さらに、撮像画像データを用いて生成される正常画像データを用いて、Ｓ１２０の異常画像データ生成処理を実行して、異常画像データを生成する。そして、ＣＰＵ１１０は、撮像画像データを用いて生成される異常画像データや正常画像データを用いて、Ｓ１３０～Ｓ１５０の処理を実行する。この結果、例えば、１つの撮像画像データを用いて、多様な正常画像データや異常画像データが生成できるので、十分な撮像画像データが得られない場合であっても機械学習モデルのトレーニングや、正常な対象物の特徴データの生成を実現できる。したがって、機械学習モデルを用いた異常検出のために必要な撮像画像データの数を低減できる。

（９）上記実施例の機械学習モデルＤＮ、ＧＮは、一例であり、これに限られない。例えば、第１実施例の機械学習モデルＤＮとしては、ＣＮＮ含むエンコーダを少なくとも含む任意の画像識別モデル、例えば、ＶＧＧ１６、ＶＧＧ１９が用いられ得る。また、第２実施例の機械学習モデルＧＮとしては、ＣＮＮを含むエンコーダと、デコーダと、を含む任意の画像生成モデルが用いられ得る。機械学習モデルＧＮとしては、例えば、通常のオートエンコーダに限らず、ＶＱ－ＶＡＥ（Vector Quantized Variational Auto Encoder）、ＶＡＥ（Variational Autoencoder）が用いられても良いし、いわゆるＧＡＮ（Generative Adversarial Networks）に含まれる画像生成モデルが用いられても良い。どのような機械学習生成モデルが用いられる場合であっても、畳込層、転置畳込層などの具体的な層の構成や層数は、適宜に変更されて良い。また、機械学習モデルの各層で出力された値に対して実行される後処理も適宜に変更され得る。例えば、後処理に用いられる活性化関数は、任意の関数、例えば、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられ得る。

（１０）上記実施例では、検査準備処理と検査処理とは、図１の検査装置１００によって実行されている。これに代えて、検査準備処理と検査処理とは、それぞれ、別の装置によって実行されても良い。この場合には、例えば、検査準備処理によって生成されたトレーニング済みのエンコーダＥＣ、ＥＣｂや正常品のガウシアンマトリクスＧＭは、検査処理を実行する装置の記憶装置に格納される。検査準備処理と検査処理との全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）によって実行されても良い。また、検査処理を行うコンピュータプログラムと、検査準備処理を行うコンピュータプログラムとは、異なるコンピュータプログラムであっても良い。

（１１）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、検査データ生成処理と検査処理との全部または一部は、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実行されてよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１００…検査装置,１０００…検査システム,１１０…ＣＰＵ,１１５…ＧＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…表示部,１５０…操作部,１７０…通信部,３０…筐体,３００…製品,３１…前面,４００…撮像装置,Ｌ…ラベル,ＰＧ…コンピュータプログラム

Claims

対象物の異常検出に用いられる機械学習モデルであって、
検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、
前記エンコーダは、学習用画像データを用いてトレーニングされ、
前記学習用画像データは、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して特定の画像処理を実行して得られる画像データである、機械学習モデル。
請求項１に記載の機械学習モデルであって、
前記学習用画像データは、正常な前記対象物を示す画像データであり、
前記エンコーダのトレーニングは、
前記エンコーダと、前記エンコーダから出力されるデータを用いて出力画像データを生成するデコーダと、を含む画像生成モデルを構成し、
前記エンコーダに前記学習用画像データが入力される場合に、前記デコーダによって生成される前記出力画像データが、前記学習用画像データを再現するように、実行される、機械学習モデル。
請求項１に記載の機械学習モデルであって、
前記学習用画像データは、正常な前記対象物を示す第１種の画像データと、異常を含む前記対象物を示す第２種の画像データと、を含み、
前記エンコーダのトレーニングは、
前記エンコーダから出力されるデータを用いて画像の識別結果を示す出力データを生成する画像識別モデルを構成し、
前記エンコーダに前記学習用画像データが入力される場合に、前記出力データが、前記学習用画像データが前記第１種の画像データであるか前記第２種の画像データであるかを示すように、実行される、機械学習モデル。
請求項３に記載の機械学習モデルであって、
前記特定の画像処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する第１画像処理と、前記欠陥を画像に擬似的に付加する第２画像処理と、を含み、
１回の前記第１画像処理によって生成される１つの前記第１種の画像データに対して、Ｍ種類（Ｍは２以上の整数）の前記第２画像処理が実行されることによって、Ｍ種類の前記第２種の画像データが生成される、機械学習モデル。
請求項３に記載の機械学習モデルであって、
前記特定の画像処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する第１画像処理と、前記欠陥を画像に擬似的に付加する第２画像処理と、を含み、
ｎ種類（ｎは２以上の整数）の前記第１画像処理によって生成されるｎ種類の前記第１種の画像データに対して、ｍ種類（ｍは１以上の整数）の前記第２画像処理が実行されることによって、（ｎ×ｍ）種類の前記第２種の画像データが生成される、機械学習モデル。
請求項１に記載の機械学習モデルであって、
前記対象物の異常検出は、
正常な前記対象物を示す特徴抽出用画像データであって、前記元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成し、
前記特徴抽出用画像データを、トレーニング済みの前記機械学習モデルに入力することによって、正常な前記対象物の特徴データを生成し、
正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、機械学習モデル。
請求項６に記載の機械学習モデルであって、
前記第１調整処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する処理であり、
前記特定の画像処理は、前記属性を調整する第２調整処理を含み、
前記第２調整処理における前記属性の調整量の最大値は、前記第１調整処理における前記属性の調整量の最大値よりも大きい、機械学習モデル。
請求項１～７のいずれかに記載の機械学習モデルであって、
前記対象物は、製品に貼付されるラベルである、機械学習モデル。
機械学習モデルを用いて対象物の異常を検出するためのコンピュータプログラムであって、
前記機械学習モデルは、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、
前記コンピュータプログラムは、
正常な前記対象物を示す特徴抽出用画像データであって、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成する機能と、
前記特徴抽出用画像データを、トレーニング済みの前記エンコーダに入力することによって、正常な前記対象物の特徴データを生成する機能と、
をコンピュータに実現させ、
前記対象物の異常検出は、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、コンピュータプログラム。
請求項９に記載のコンピュータプログラムであって、
前記エンコーダは、学習用画像データを用いてトレーニングされ、
前記学習用画像データは、前記元画像データに対して特定の画像処理を実行して得られる画像データである、コンピュータプログラム。
請求項１０に記載のコンピュータプログラムであって、
前記第１調整処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する処理であり、
前記特定の画像処理は、前記属性を調整する第２調整処理を含み、
前記第２調整処理における前記属性の調整量の最大値は、前記第１調整処理における前記属性の調整量の最大値よりも大きい、コンピュータプログラム。
請求項９～１１のいずれかに記載のコンピュータプログラムであって、
前記対象物は、製品に貼付されるラベルである、コンピュータプログラム。
機械学習モデルを用いて、対象物の異常を検出するための方法であって、
前記機械学習モデルは、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、
学習用画像データを用いて、前記エンコーダをトレーニングするトレーニング工程と、
特徴抽出用画像データを、トレーニング済みの前記エンコーダに入力することによって、正常な前記対象物の特徴データを生成する工程と、
を備え、
前記対象物の異常検出は、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行され、
前記学習用画像データと前記抽出用画像データとのうちの少なくとも一方は、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して、所定の処理を実行して得られる画像データである、方法。
対象物の異常検出に用いられる機械学習モデルであって、
検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、
前記エンコーダは、学習用画像データを用いてトレーニングされ、
前記学習用画像データは、前記対象物を撮像して得られる元画像データに対して特定の画像処理を実行して得られる画像データであり、
前記対象物の異常検出は、
正常な前記対象物を示す特徴抽出用画像データであって、前記元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成し、
前記特徴抽出用画像データを、トレーニング済みの前記機械学習モデルに入力することによって、正常な前記対象物の特徴データを生成し、
正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、機械学習モデル。
請求項１４に記載の機械学習モデルであって、
前記学習用画像データは、正常な前記対象物を示す画像データであり、
前記エンコーダのトレーニングは、
前記エンコーダと、前記エンコーダから出力されるデータを用いて出力画像データを生成するデコーダと、を含む画像生成モデルを構成し、
前記エンコーダに前記学習用画像データが入力される場合に、前記デコーダによって生成される前記出力画像データが、前記学習用画像データを再現するように、実行される、機械学習モデル。
請求項１４に記載の機械学習モデルであって、
前記学習用画像データは、正常な前記対象物を示す第１種の画像データと、異常を含む前記対象物を示す第２種の画像データと、を含み、
前記エンコーダのトレーニングは、
前記エンコーダから出力されるデータを用いて画像の識別結果を示す出力データを生成する画像識別モデルを構成し、
前記エンコーダに前記学習用画像データが入力される場合に、前記出力データが、前記学習用画像データが前記第１種の画像データであるか前記第２種の画像データであるかを示すように、実行される、機械学習モデル。
請求項１６に記載の機械学習モデルであって、
前記特定の画像処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する第１画像処理と、前記欠陥を画像に擬似的に付加する第２画像処理と、を含み、
１回の前記第１画像処理によって生成される１つの前記第１種の画像データに対して、Ｍ種類（Ｍは２以上の整数）の前記第２画像処理が実行されることによって、Ｍ種類の前記第２種の画像データが生成される、機械学習モデル。
請求項１６に記載の機械学習モデルであって、
前記特定の画像処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する第１画像処理と、前記欠陥を画像に擬似的に付加する第２画像処理と、を含み、
ｎ種類（ｎは２以上の整数）の前記第１画像処理によって生成されるｎ種類の前記第１種の画像データに対して、ｍ種類（ｍは１以上の整数）の前記第２画像処理が実行されることによって、（ｎ×ｍ）種類の前記第２種の画像データが生成される、機械学習モデル。
請求項１４に記載の機械学習モデルであって、
前記第１調整処理は、異常と判定すべき欠陥とは異なるバラツキに起因して変動する画像の属性を調整する処理であり、
前記特定の画像処理は、前記属性を調整する第２調整処理を含み、
前記第２調整処理における前記属性の調整量の最大値は、前記第１調整処理における前記属性の調整量の最大値よりも大きい、機械学習モデル。
請求項１４～１９のいずれかに記載の機械学習モデルであって、
前記対象物は、製品に貼付されるラベルである、機械学習モデル。
機械学習モデルを用いて対象物の異常を検出するためのコンピュータプログラムであって、
前記機械学習モデルは、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、
前記コンピュータプログラムは、
正常な前記対象物を示す特徴抽出用画像データであって、前記対象物を撮像して得られる元画像データに対して第１調整処理を実行して得られる前記特徴抽出用画像データを生成する機能と、
前記特徴抽出用画像データを、トレーニング済みの前記エンコーダに入力することによって、正常な前記対象物の特徴データを生成する機能と、
をコンピュータに実現させ、
前記対象物の異常検出は、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行される、コンピュータプログラム。
機械学習モデルを用いて、対象物の異常を検出するための方法であって、
前記機械学習モデルは、検査対象の前記対象物を撮像して得られる撮像画像データが入力される場合に検査対象の前記対象物の特徴データを生成するエンコーダであってＣＮＮ（Convolutional Neural Network）を含む前記エンコーダを含み、
学習用画像データを用いて、前記エンコーダをトレーニングするトレーニング工程と、
特徴抽出用画像データを、トレーニング済みの前記エンコーダに入力することによって、正常な前記対象物の特徴データを生成する工程と、
を備え、
前記対象物の異常検出は、正常な前記対象物の特徴データと、検査対象の前記対象物の特徴データと、を用いて、実行され、
前記学習用画像データと前記抽出用画像データとのうちの少なくとも一方は、前記対象物を撮像して得られる元画像データに対して、所定の処理を実行して得られる画像データである、方法。