JP2023067464A - 画像生成モデル、および、画像生成モデルのトレーニング方法 - Google Patents

Abstract

【課題】十分な撮像画像データが準備できない場合であっても、撮像画像データが入力される場合に調整画像を示す調整画像データを出力する画像生成モデルを作成する。【解決手段】対象物を撮像して得られる撮像画像データが入力される場合に調整画像を示す調整画像データを出力する画像生成モデルは、学習用画像データと、学習用画像データに対応する参照画像データと、をそれぞれ含む複数組のデータセットを用いて、学習用画像データが入力される場合に、対応する参照画像データを生成するようにトレーニングされている。学習用画像データは、対象物の画像を示す元画像データであって対象物の作成に用いられる元画像データに対して特定の画像処理を実行して得られる画像データである。【選択図】 図６

Description

本明細書は、撮像画像データが入力される場合に、調整画像を示す調整画像データを出力する画像生成モデル、および、該画像生成モデルのトレーニング方法に関する。

画像データを生成する機械学習モデルである画像生成モデルが知られている。特許文献１に開示された技術では、半導体をＳＥＭで撮像することによって得られるＳＥＭ画像を入力画像とし、対応する設計データ画像を教師画像として用いて、ＳＥＭ画像から予測される設計データ画像を生成する画像生成モデルをトレーニングする。この技術では、検査対象の半導体のＳＥＭ画像から画像生成モデルを用いて予測される設計データ画像と、実際の設計データ画像と、を比較することによって、検査対象の半導体が欠陥品であるか正常品であるかを検査する。

特開２０１９－１２９１６９号公報

しかしながら、上記技術では、画像生成モデルをトレーニングする際に、多数のＳＥＭ画像が必要である。このために、十分な数のＳＥＭ画像が準備できない場合には、適切にトレーニングされた画像生成モデルを作成できない可能性があった。

本明細書は、十分な撮像画像データが準備できない場合であっても、撮像画像データが入力される場合に調整画像を示す調整画像データを出力する画像生成モデルを作成できる技術を開示する。

本明細書に開示された技術は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］対象物を撮像して得られる撮像画像データが入力される場合に、調整画像を示す調整画像データを出力する画像生成モデルであって、前記調整画像は、前記撮像画像データによって示される撮像画像の特定の属性が調整された画像であり、前記画像生成モデルは、学習用画像データと、前記学習用画像データに対応する参照画像データと、をそれぞれ含む複数組のデータセットを用いて、前記学習用画像データが入力される場合に、対応する前記参照画像データを生成するようにトレーニングされた学習済みの機械学習モデルであり、前記学習用画像データは、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して特定の画像処理を実行して得られる画像データである、画像生成モデル。

上記構成によれば、学習用画像データとして、対象物の作成に用いられる元画像データに対して特定の画像処理を実行して得られる画像データが用いられる。この結果、トレーニングにおいて画像生成モデルに入力するための十分な撮像画像データが準備できない場合であっても作成できる画像生成モデルが提供される。

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、画像生成モデルのトレーニング方法、検査装置、検査方法、これらの装置および方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

本実施例の検査システム１０００の構成を示すブロック図。 製品３００の説明図。 画像生成モデルＧＮの構成を示すブロック図。 検査処理のフローチャート。 本実施例にて用いられる画像の一例を示す第１の図。 トレーニング処理のフローチャート。 本実施例にて用いられる画像の一例を示す第２の図。 パラメータ調整処理のフローチャート。

Ａ．実施例
Ａ－１．検査装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、本実施例の検査システム１０００の構成を示すブロック図である。検査システム１０００は、検査装置１００と、撮像装置４００と、を含んでいる。検査装置１００と撮像装置４００とは、通信可能に接続されている。

検査装置１００は、例えば、パーソナルコンピュータなどの計算機である。検査装置１００は、検査装置１００のコントローラとしてのＣＰＵ１１０と、ＧＰＵ１１５と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブなどの不揮発性記憶装置１３０と、マウスやキーボードなどの操作部１５０と、液晶ディスプレイなどの表示部１４０と、通信部１７０と、を備えている。通信部１７０は、外部機器、例えば、撮像装置４００と通信可能に接続するための有線または無線のインタフェースを含む。

ＧＰＵ（Graphics Processing Unit）１１５は、ＣＰＵ１１０の制御に従って、３次元グラフィックスなどの画像処理のための計算処理を行うプロセッサである。本実施例では、後述する画像生成モデルＧＮの演算処理を実行するために利用される。

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、検査装置用のコンピュータプログラムＰＧと版下画像データＲＤとが格納されている。版下画像データＲＤについては後述する。

コンピュータプログラムＰＧは、後述する画像生成モデルＧＮの機能をＣＰＵ１１０とＧＰＵ１１５とが協働して実現させるコンピュータプログラムをモジュールとして含んでいる。コンピュータプログラムＰＧは、例えば、検査装置１００の製造者によって提供される。コンピュータプログラムＰＧは、例えば、サーバからダウンロードされる形態で提供されても良く、ＤＶＤ－ＲＯＭなどに格納される形態で提供されてもよい。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、後述する検査処理やトレーニング処理を実行する。

撮像装置４００は、光学的に被写体を撮像することによって被写体を表す画像データ（撮像画像データとも呼ぶ）を生成するデジタルカメラである。撮像画像データは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、３個の色成分の階調値（以下、成分値とも呼ぶ）、すなわち、Ｒ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。Ｒ値、Ｇ値、Ｂ値は、例えば、所定の階調数（例えば、２５６）の階調値である。撮像画像データは、画素ごとの輝度を表す輝度画像データであっても良い。

撮像装置４００は、検査装置１００の制御に従って、撮像画像データを生成し、検査装置１００に送信する。本実施例では、撮像装置４００は、検査処理の検査対象であるラベルＬが貼付された製品３００を撮像して、撮像画像を示す撮像画像データを生成するために用いられる。

図２は、製品３００の説明図である。図２（Ａ）には、製品３００の斜視図が示されている。製品３００は、本実施例では、略直方体の筐体３０を有するプリンタである。製造工程において、筐体３０の前面３１（＋Ｙ側の面）には、矩形のラベルＬが所定の貼付位置に貼付される。

図２（Ｂ）には、ラベルＬが示されている。ラベルＬは、例えば、背景Ｂと、製造者や製品のブランドロゴ、型番、ロット番号等の各種の情報を示す文字ＴやマークＭと、を含んでいる。

Ａ－２．画像生成モデルＧＮの構成
画像生成モデルＧＮの構成について説明する。図３は、画像生成モデルＧＮの構成を示すブロック図である。画像生成モデルＧＮは、入力画像データＩＤに対して、複数個の演算パラメータを用いて、演算処理を実行して、入力画像データＩＤに対応する出力画像データＯＤを生成する。

画像生成モデルＧＮは、オートエンコーダとも呼ばれるニューラルネットワークであり、エンコーダＥＣとデコーダＤＣとを含んでいる。エンコーダＥＣは、入力画像データＩＤに対して次元削減処理を実行して、入力された画像の特徴を示す特徴データＣＤを生成する。エンコーダＥＣは、複数個の畳込層を含むＣＮＮ（Convolutional Neural Network）によって構成される。各畳込層は、所定サイズのフィルタを用いて畳込処理(convolution)を実行する。各畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。活性化関数には、いわゆるReLU（Rectified Linear Unit）等の公知の関数が用いられる。

デコーダＤＣは、特徴データＣＤに対して次元復元処理を実行して、出力画像データＯＤを生成する（図１）。デコーダＤＣは、複数個の転置畳込層を含んでいる。各転置畳込層は、所定サイズのフィルタを用いて転置畳込処理(up-convolution)を実行する。各転置畳込処理の算出値は、バイアスが加算されたうえで、所定の活性化関数に入力されて変換される。本実施例では、活性化関数には、上述したReLU等の公知の関数が用いられる。

以上説明した畳込処理および転置畳込処理に用いられるフィルタの重み、および、バイアスは、後述するトレーニング処理によって調整される演算パラメータである。

なお、本実施例の画像生成モデルＧＮでは、オートエンコーダとして、ＶＱ－ＶＡＥ（Vector Quantized Variational Auto Encoder）と呼ばれるモデルを採用して、特徴データＣＤ（潜在変数とも呼ばれる）を、離散的な埋め込み表現で表現している。ＶＱ－ＶＡＥモデルは、例えば、論文「A. v. d. Oord, O. Vinyals, and K. Kavukcuoglu. Neural discrete representation learning. arXiv preprint arXiv:1711.00937, 2017.」に開示されている。

本実施例では、入力画像データＩＤは、所定のサイズ、例えば、数百画素×数百画素の矩形の画像データである。入力画像データＩＤは、複数個の画素を含む画像を示すビットマップデータであり、具体的には、ＲＧＢ画像データである。後述するように、本実施例では、上述したラベルＬ１を含む撮像画像を示す撮像画像データが入力画像データＩＤとして想定されている。

出力画像データＯＤは、所定のサイズ、本実施例では、入力画像データＩＤと同一のサイズの矩形の画像データである。出力画像データＯＤは、複数個の画素を含む画像を示すビットマップデータである。出力画像データＯＤは、例えば、入力画像データＩＤと同様のＲＧＢ画像データである。後述するように、本実施例では、入力画像データＩＤによって示される画像（例えば、撮像画像）をコンピュータグラフィックス画像（以下、ＣＧ画像とも呼ぶ）に近づけた画像を示す画像データが、出力画像データＯＤとして想定されている。

Ａ－３．検査処理
図４は、検査処理のフローチャートである。検査処理は、検査すべきラベルＬが欠陥を含むか否かを検査する処理である。検査処理は、ラベルＬごとに実行される。検査処理は、ユーザ（例えば、検査の作業者）が処理の開始指示を、操作部１５０を介して検査装置１００に入力した場合に、開始される。例えば、ユーザは、検査すべきラベルＬが貼り付けられた製品３００を、撮像装置４００を用いて撮像するための所定の位置に配置した状態で、検査処理の開始指示を入力する。

Ｓ１００では、ＣＰＵ１１０は、検査すべきラベルＬを含む撮像画像を示す撮像画像データを取得する。例えば、ＣＰＵ１１０は、撮像装置４００に撮像指示を送信して、撮像装置４００に撮像画像データを生成させ、撮像装置４００から撮像画像データを取得する。

図５は、本実施例にて用いられる画像の一例を示す第１の図である。図５（Ａ）には、撮像画像データによって示される撮像画像ＤＩ１の一例が示されている。撮像画像ＤＩ１は、背景ＢＢ１と、ラベルＢＬ１と、を含む。このように、撮像画像ＤＩ１に示されるラベルには、実物のラベルＬ１と区別するために符号「ＢＬ１」を付す。ラベルＢＬ１の背景ＢＢ１は、製品３００の筐体３０の前面３１を示している。

撮像画像ＤＩ１内のラベルＢＬ１は、文字ＢＸ１とマークＢＭ１とを含む。撮像画像ＤＩ１におけるラベルＢＬ１の位置、大きさ、角度には、バラツキが生じる。撮像画像ＤＩ１の左上の頂点Ｐ１に対するラベルＢＬ１の左上の頂点ＰＬ１の位置には、例えば、撮像対象の製品３００に対するラベルＬの貼付位置のバラツキや撮像装置４００に対する製品３００の設置位置のバラツキに起因して、バラツキが生じる。同様に、撮像画像ＤＩ１の下辺と、ラベルＢＬ１の下辺と、の間の角度θ１にもバラツキが生じる。また、撮像画像ＤＩ１内のラベルＢＬ１の大きさには、撮像装置４００と製品３００との間の距離のバラツキに起因して、バラツキが生じる。

また、撮像画像ＤＩ１内のラベルＢＬ１の色は、照明の明るさなどの撮像条件によって、実物のラベルＬや後述する版下画像内のラベルＢＬ３の色とは、差異がある。また、ラベルＢＬ１の色は、撮像画像ごとにバラツキが生じる。同様に、撮像画像ＤＩ１内の背景ＢＢ１にも、撮像画像ごとに色のバラツキが生じる。

また、撮像対象の実物のラベルＬは、キズ、汚れ、欠けなどの様々な欠陥を含み得るので、撮像画像ＤＩ１のラベルＢＬ１も、これらの欠陥を含み得る。図５（Ａ）の例では、ラベルＢＬ１は、キズｄｆ１を含んでいる。

なお、本実施例の検査処理では、ラベルＬの貼付位置については検査の合否判定の対象とせず、ラベルＬが欠陥を含むか否かのみを検査の合否判定の対象とする。

Ｓ１１０では、ＣＰＵ１１０は、取得された撮像画像データを、入力画像データＩＤとして画像生成モデルＧＮに入力することによって、撮像画像データに対応する出力画像データＯＤを生成する。以下では、撮像画像データに対応する出力画像データＯＤは、撮像画像データが入力画像データＩＤとして画像生成モデルＧＮに入力される場合に、画像生成モデルＧＮから出力される出力画像データＯＤのことを意味する。

図５（Ｂ）には、出力画像データＯＤによって示される出力画像ＤＩ２の一例が示されている。図５（Ｂ）の出力画像ＤＩ２を示す出力画像データは、図５（Ａ）の撮像画像ＤＩ１を示す撮像画像データと対応している。出力画像ＤＩ２は、ラベルＢＬ２を示す画像である。このように出力画像ＤＩ２に示されるラベルを、実物のラベルＬ１と区別するために符号「ＢＬ２」を付す。ラベルＢＬ２は、文字ＢＸ２とマークＢＭ２と、を含む。

ここで、出力画像ＤＩ２の説明のために、先に版下画像について説明する。図５（Ｃ）には、版下画像ＤＩ３の一例が示されている。版下画像ＤＩ３は、版下画像データＲＤ（図１）によって示される画像である。版下画像データＲＤは、ラベルＬの作成に用いられるデータである。例えば、ラベルＬは、版下画像データＲＤを用いて、ラベル用のシートに版下画像ＤＩ３を印刷することによって作成される。ただし、版下画像ＤＩ３のサイズ（縦横の画素数）は、検査処理のために、出力画像ＤＩ２と同一のサイズに調整（拡大または縮小）されており、実際にラベルの印刷に用いられるサイズとは異なっていても良い。版下画像データＲＤは、出力画像データＯＤと同様のビットマップデータ、本実施例では、ＲＧＢ画像データである。版下画像ＤＩ３は、ラベルＢＬ３を示す画像である。このように版下画像ＤＩ３に示されるラベルを、実物のラベルＬ１と区別するために符号「ＢＬ３」を付す。ラベルＢＬ３は、実物のラベルＬを表現したＣＧ画像であり、文字ＢＸ３とマークＢＭ３と、を含む。

ＣＧ画像は、コンピュータによって生成される画像であり、例えば、オブジェクトを描画するための描画コマンドを含むベクタデータのレンダリング（ラスタライズとも呼ばれる）によって、生成される。

本実施例では、版下画像ＤＩ３は、ラベルＢＬ３のみを含み、背景を含んでいない。また、版下画像ＤＩ３においてラベルＢＬ３は傾いていない。すなわち、版下画像ＤＩ３の矩形の四辺と、矩形のラベルＢＬ３の四辺とは一致している。

図５（Ｂ）の出力画像ＤＩ２内のラベルＢＬ２は、図５（Ａ）の撮像画像ＤＩ１内のラベルＢＬ１をＣＧ画像風に表現した画像である。本実施例では、画像生成モデルＧＮは、特定のラベルＬのための専用のモデルである。画像生成モデルＧＮの入力画像データＩＤおよび出力画像データＯＤの縦横比は、ラベルＬの縦横比と同一とされている。

出力画像ＤＩ２は、撮像条件に起因する色の差異が低減されるように調整されている。例えば、出力画像ＤＩ２のラベルＢＬ２の下地や文字ＢＸ２の色は、撮像画像ＤＩ１のラベルＢＬ１の下地や文字ＢＸ１と比較して、版下画像ＤＩ３のラベルＢＬ３の下地や文字ＢＸ３の色に近い。また、出力画像ＤＩ２は、ラベルの傾きや大きさが調整されている。例えば、出力画像ＤＩ２のラベルＢＬ２は傾いていない。さらに、出力画像ＤＩ２のラベルＢＬ２の大きさは、出力画像ＤＩ２の大きさとほぼ等しい。このために、出力画像ＤＩ２は、ラベルＢＬ２のみを含み、背景を含んでいない。すなわち、出力画像ＤＩ２の矩形の四辺と、矩形のラベルＢＬ２の四辺とはほぼ一致している。この結果、出力画像ＤＩ２のラベルＢＬ２は、撮像画像ＤＩ１のラベルＢＬ１と比較して、版下画像ＤＩ３のラベルＢＬ３に近づいている。このように、出力画像ＤＩ２は、撮像画像ＤＩ１の特定の属性（具体的には、ラベルの色、傾き、大きさ）が調整された調整画像である、と言うことができ、出力画像データＯＤは、調整画像データとも言うことができる。

ただし、撮像画像ＤＩ１内のラベルＢＬ１が欠陥を含む場合には、出力画像ＤＩ２内のラベルＢＬ２にも欠陥が含まれる。例えば、図５（Ａ）のラベルＢＬ１は、キズｄｆ１を含んでいるので、図５（Ｂ）のラベルＢＬ２にもキズｄｆ１と同様のキズｄｆ２が含まれている。このように、検査の対象となる欠陥が撮像画像ＤＩ１内のラベルＢＬ１に含まれる場合には、出力画像ＤＩ２内のラベルＢＬ２においても当該欠陥が維持され、検査の対象とならない要素であって撮像画像ごとにバラツキがある差異については、ラベルＢＬ２ではラベルＢＬ１よりも低減される。このような出力画像ＤＩ２を示す出力画像データＯＤの生成は、後述するトレーニング処理によって画像生成モデルＧＮをトレーニングすることによって実現されている。

Ｓ１２０では、ＣＰＵ１１０は、出力画像データＯＤと版下画像データＲＤとを用いて、差分画像ＤＩ４を示す差分画像データを生成する。図５（Ｄ）には、差分画像ＤＩ４の一例が示されている。図５（Ｄ）の差分画像ＤＩ４は、図５（Ｂ）の出力画像ＤＩ２と図５（Ｃ）の版下画像ＤＩ３との差分を示す画像である。例えば、出力画像データＯＤにノイズ除去処理が実行された後に、出力画像ＤＩ２と版下画像ＤＩ３とが画素ごとに比較される。そして、出力画像ＤＩ２の複数個の画素のうち、版下画像ＤＩ３の対応する画素とのＲＧＢ値の差が基準以上である画素が差分画素として特定される。差分画像ＤＩ４は、例えば、差分画素と、差分画素とは異なる画素と、を示す二値データである。

図５（Ｄ）の差分画像ＤＩ４には、キズｄｆ４が含まれる。差分画像ＤＩ４のキズｄｆ４は、複数個の差分画素によって構成されるオブジェクトであり、図５（Ｂ）の出力画像ＤＩ２に含まれるキズｄｆ２を示している。差分画像ＤＩ４を参照することで、出力画像ＤＩ２に含まれる欠陥の位置、大きさ、形状を特定することができる。出力画像ＤＩ２にキズなどの欠陥が含まれない場合には、出力画像ＤＩ２と版下画像ＤＩ３とはほぼ同じ画像であるために、差分画像ＤＩ４において、差分画素はほとんど特定されない。仮に、撮像画像ＤＩ１と版下画像ＤＩ３との差分画像を生成する場合には、撮像画像ＤＩ１に含まれる色の差異、位置、大きさなどのバラツキによって、欠陥とは異なる部分にも多数の差分画素が生じて、差分画像を用いて欠陥を適切に特定できない可能性が増大する。本実施例では、画像生成モデルＧＮを用いて、撮像画像ＤＩ１を出力画像ＤＩ２に変換してから、該出力画像ＤＩ２と版下画像ＤＩ３との差分画像ＤＩ４が生成されるので、上述のバラツキによる変動が大きな撮像画像ＤＩ１であっても差分画像ＤＩ４を用いて欠陥を精度良く特定できる。したがって、撮影条件などのバラツキに起因して検査の精度が低下することが抑制できる。

Ｓ１３０では、ＣＰＵ１１０は、差分画像において、差分画素によって構成される差分領域の面積が閾値ＴＨｊ以上であるか否かを判断する。差分領域の面積が閾値ＴＨｊ未満である場合には（Ｓ１３０：ＮＯ）、Ｓ１５０にて、ＣＰＵ１１０は、検査すべきラベルＬは合格品であると判定する。差分領域の面積が閾値ＴＨｊ以上である場合には（Ｓ１３：ＹＥＳ）、Ｓ１４０にて、ＣＰＵ１１０は、検査すべきラベルは不合格品であると判定する。Ｓ１６０では、ＣＰＵ１１０は、検査結果を表示部１４０に表示して、検査処理を終了する。このように画像生成モデルＧＮを用いて、検査すべきラベルＬが合格品であるか不合格品であるかを精度良く判定することができる。

Ａ－４．トレーニング処理
トレーニング処理は、画像生成モデルＧＮの複数個の演算パラメータを調整することによって、画像生成モデルＧＮをトレーニングする処理である。上述のように、画像生成モデルＧＮは、撮像画像データが入力される場合に、出力画像ＤＩ２内のラベルＢＬ２を撮像画像ＤＩ１内のラベルＢＬ１よりも版下画像ＤＩ３内のラベルＢＬ３に近づけるとともに、撮像画像ＤＩ１内のラベルＢＬ１に含まれる欠陥を出力画像ＤＩ２内のラベルＢＬ２においても維持するようにトレーニングされる。図６は、トレーニング処理のフローチャートである。

Ｓ２００では、ＣＰＵ１１０は、不揮発性記憶装置１３０から版下画像ＤＩ３を示す版下画像データＲＤを取得する。図７は、本実施例にて用いられる画像の一例を示す第２の図である。図７（Ａ）には、版下画像ＤＩ３の一例が示されている。この版下画像ＤＩ３は、図５（Ｃ）の版下画像ＤＩ３と同一である。

Ｓ２０５では、ＣＰＵ１１０は、版下画像データＲＤを用いて、欠陥付加処理を実行する。欠陥付加処理は、キズ、汚れ、欠けなどの疑似的な欠陥を、版下画像ＤＩ３に対して付加する処理である。Ｓ２１０では、ＣＰＵ１１０は、欠陥付加処理済みの版下画像データＲＤを参照画像データとして、不揮発性記憶装置１３０に保存する。

参照画像データによって示される参照画像ＤＩ５は、疑似的な欠陥が付加された版下画像ＤＩ３である。例えば、図５（Ｂ）の参照画像ＤＩ５ａは、ラベルＢＬ３と、線状のキズを疑似的に示す画像（以下、疑似キズｄｆ５とも呼ぶ）と、を含んでいる。疑似キズｄｆ５は、例えば、ベジエ曲線やスプライン曲線などの曲線である。例えば、ＣＰＵ１１０は、ベジエ曲線の制御点の位置や個数、線の太さ、線の色を、所定の範囲内でランダムに決定することによって、疑似キズｄｆ５を生成する。ＣＰＵ１１０は、生成された疑似キズｄｆ５を版下画像ＤＩ３に合成する。これによって、参照画像ＤＩ５ａを示す参照画像データが生成される。ここで、線の色は、版下画像ＤＩ３のラベルＢＬ３の最頻色とは少なくとも異なる色に決定される。ラベルＢＬ３の最頻色は、通常は、ラベルＢＬ３の下地の色である。本実施例では、線の色は、ラベルＢＬ３の下地の色、および、文字ＢＸ３の色とは異なる色に決定される。例えば、ラベルＢＬ３の下地および文字ＢＸ３の色（例えば、黒や白）の情報が、版下画像データＲＤに関連付けて予め記憶されている。ＣＰＵ１１０は、該情報に基づいて、ラベルＢＬ３の下地および文字ＢＸ３の色を特定する。ＣＰＵ１１０は、下地および文字ＢＸ３の色の彩度および色相とは所定量以上離れた彩度および色相を有する色の中から、疑似キズｄｆ５の色（線の色）を決定する。これに代えて、例えば、ラベルＢＬ３の最頻色が、版下画像データＲＤを解析することによって特定されても良い。例えば、ラベルＢＬ３の最頻色は、版下画像データＲＤのヒストグラムを作成し、該ヒストグラムに基づいて決定される。そして、該最頻色とは異なる色が線の色として決定されても良い。

例えば、図５（Ｃ）の参照画像ＤＩ５ｂは、ラベルＢＬ３と、汚れを疑似的に示す画像（以下、疑似汚れｓｔ５とも呼ぶ）と、を含んでいる。疑似汚れｓｔ５は、例えば、微小な多数の点の集合である。例えば、ＣＰＵ１１０は、点を配置する領域、点の色を、所定の範囲内でランダムに決定し、該領域内にランダムまたは所定のパターンで多数の点を配置することによって、疑似汚れｓｔ５を生成する。ＣＰＵ１１０は、生成された疑似汚れｓｔ５を版下画像ＤＩ３に合成する。これによって、参照画像ＤＩ５ｂを示す参照画像データが生成される。ここで、点の色は、版下画像ＤＩ３のラベルＢＬ３の最頻色とは少なくとも異なる色に決定される。本実施例では、点の色は、疑似キズｄｆ５と同様に、ＢＬ３の下地および文字ＢＸ３の色とは異なる色に決定される。

Ｓ２１５では、ＣＰＵ１１０は、参照画像ＤＩ５に対して縮小処理を実行する。縮小処理は、参照画像ＤＩ５の縦横比を変更せずに、特定の倍率で画像のサイズを小さくする処理である。特定の倍率は、例えば、０．７～０．９５の範囲内でランダムに決定される。

Ｓ２２０では、ＣＰＵ１１０は、縮小処理済みの参照画像に対して回転処理を実行する。回転処理は、特定の回転角度で画像を回転させる処理である。特定の回転角度は、例えば、－１０度～＋１０度の範囲内でランダムに決定される。例えば、正の回転角度は時計回りの回転を示し、負の回転角度は反時計回りの回転を示す。

Ｓ２２５では、ＣＰＵ１１０は、回転処理済みの参照画像に対して明度補正処理を実行する。明度補正処理は、画像の明度を変更する処理である。例えば、明度補正処理は、各画素のＲＧＢ値の３個の成分値（Ｒ値、Ｇ値、Ｂ値）のそれぞれを、ガンマカーブを用いて変換することによって、行われる。ガンマカーブのγ値は、例えば、０．５～２の範囲内でランダムに決定される。γ値は、明度補正の程度を決定付けるパラメータである。γ値が１未満である場合には、補正によって（Ｒ値、Ｇ値、Ｂ値）が大きくなるので明度は高くなる。γ値が１より大きい場合には、補正によって（Ｒ値、Ｇ値、Ｂ値）が小さくなるので明度は低くなる。

Ｓ２３０では、ＣＰＵ１１０は、明度補正処理済みの参照画像に対して背景付加処理を実行する。背景付加処理は、画像に対して背景画像を付加する処理である。Ｓ２３５では、ＣＰＵ１１０は、背景付加処理済みの参照画像を学習用の入力画像データとして、不揮発性記憶装置１３０に保存する。学習用の入力画像データは、該入力画像データを生成する際に用いられた参照画像データと対応付けて保存される。以下では、学習用の入力画像データを生成する際に用いられた参照画像データを、該学習用の入力画像データと対応する参照画像データとも呼ぶ。

図７（Ｄ）には、学習用入力画像ＤＩ６の一例が図示されている。図７（Ｄ）の学習用入力画像ＤＩ６は、図７（Ｃ）の参照画像ＤＩ５ｂに対して縮小処理、回転処理、明度補正処理を行って得られるラベルの画像（以下、ラベルＢＬ６とも呼ぶ）に背景付加処理を実行することによって背景画像ＢＩが付加された画像である。

背景付加処理では、例えば、ＣＰＵ１１０は、縮小処理前の参照画像ＤＩ５と同じサイズの矩形の背景画像ＢＩを生成する。背景画像ＢＩは、単色の画像にノイズＮｚを付加した画像である。背景画像ＢＩの色は、少なくとも参照画像ＤＩ５の最頻色とは異なる色に決定される。本実施例では、背景画像ＢＩの色は、疑似キズｄｆ５と同様に、ラベルＢＬ３の下地および文字ＢＸ３の色とは異なる色に決定される。ノイズＮｚは、白と黒の多数の微小な点で構成されるいわゆるゴマ塩ノイズである。ＣＰＵ１１０は、多数の微小な点を、背景画像ＢＩ上にランダムに配置することによって、背景画像ＢＩにノイズＮｚを付加する。ＣＰＵ１１０は、生成された背景画像ＢＩに、明度補正処理済みの参照画像（例えば、図７（Ｄ）のラベルＢＬ６）を合成する。これによって、学習用入力画像ＤＩ６を示す学習用の入力画像データが生成される。なお、この際には、生成される学習用入力画像ＤＩ６に、明度補正処理済みの参照画像（例えば、図７（Ｄ）のラベルＢＬ６）の全体が含まれるように、参照画像の合成が実行される。

Ｓ２４０では、ＣＰＵ１１０は、Ｓ２１５～Ｓ２３５の処理がＭ回（Ｍは２以上の整数）繰り返されたか否かを判断する。換言すれば、１個の参照画像データに基づいてＭ個の互いに異なる学習用の入力画像データが生成されたか否かが判断される。Ｓ２１５～Ｓ２３５の処理がＭ回繰り返されていない場合には（Ｓ２４０：ＮＯ）、ＣＰＵ１１０は、Ｓ２１５に戻る。Ｓ２１５～Ｓ２３５の処理がＭ回繰り返された場合には（Ｓ２４０：ＹＥＳ）、ＣＰＵ１１０は、Ｓ２４５に処理を進める。

Ｓ２４５では、ＣＰＵ１１０は、Ｓ２０５～Ｓ２４０の処理がＮ回（Ｎは２以上の整数）繰り返されたか否かを判断する。換言すれば、Ｎ個の参照画像データに基づいて（Ｍ×Ｎ）個の互いに異なる学習用の入力画像データが生成されたか否かが判断される。Ｓ２０５～Ｓ２４０の処理がＮ回繰り返されていない場合には（Ｓ２４５：ＮＯ）、ＣＰＵ１１０は、Ｓ２０５に戻る。Ｓ２０５～Ｓ２４０の処理がＮ回繰り返された場合には（Ｓ２４５：ＹＥＳ）、ＣＰＵ１１０は、Ｓ２５０に処理を進める。この時点で、Ｎ個の参照画像データと、（Ｍ×Ｎ）個の学習用画像データと、が生成され、不揮発性記憶装置１３０に保存されている。例えば、Ｎは、１００～２００の範囲の値であり、Ｍは、１０～２０の範囲の値である。

Ｓ２５０では、ＣＰＵ１１０は、パラメータ調整処理を実行する。パラメータ調整処理は、Ｓ２００～Ｓ２４５の処理にて生成されたＮ個の参照画像データと（Ｍ×Ｎ）個の学習用の入力画像データを用いて、画像生成モデルＧＮの複数個の演算パラメータを調整する処理である。図８は、パラメータ調整処理のフローチャートである。

Ｓ３００では、ＣＰＵ１１０は、画像生成モデルＧＮの複数個の演算パラメータを初期化する。例えば、これらの演算パラメータの初期値は、同一の分布（例えば、正規分布）から独立に取得された乱数に設定される。

Ｓ３１０では、ＣＰＵ１１０は、不揮発性記憶装置１３０に格納された（Ｍ×Ｎ）個の学習用の入力画像データから、バッチサイズ分の入力画像データ、例えば、Ｖ個（Ｖは、１以上の整数）の入力画像データを選択する。選択される入力画像データの個数Ｖは、例えば、数百個である。例えば、（Ｍ×Ｎ）個の入力画像データをそれぞれ含む複数個のグループ（バッチ）に予め分割し、これらのグループから１個のグループが順次に選択される。Ｖ個の入力画像データは、（Ｍ×Ｎ）個の入力画像データから、毎回、ランダムに選択されても良い。

Ｓ３２０では、ＣＰＵ１１０は、選択されたＶ個の学習用の入力画像データを、それぞれ、入力画像データＩＤとして画像生成モデルＧＮに入力して、Ｖ個の出力画像データＯＤを生成する。

Ｓ３３０では、ＣＰＵ１１０は、Ｖ個の出力画像データＯＤのそれぞれについて、出力画像データＯＤと、該出力画像データＯＤに対応する参照画像データと、を用いて、誤差値Ｅを算出する。出力画像データＯＤに対応する参照画像データは、出力画像データＯＤを生成する際に画像生成モデルＧＮに入力される入力画像データＩＤと対応する参照画像データである。誤差値Ｅには、所定の損失関数が用いられる。例えば、本実施例では、ＶＱ－ＶＡＥモデルの損失関数が用いられる。この損失関数は、上述したＶＱ－ＶＡＥモデルの論文に開示された公知の関数である。詳細な説明は省略するが、損失関数は、再構築誤差と、潜在変数の埋め込み表現に関する項と、を含む。例えば、再構築誤差は、出力画像データＯＤと、該出力画像データＯＤに対応する参照画像データと、の差を示す誤差であり、例えば、平均二乗誤差やクロスエントロピー誤差が用いられる。

Ｓ３４０では、ＣＰＵ１１０は、Ｓ３３０にて算出されたＶ個の誤差値Ｅを用いて、画像生成モデルＧＮの複数個の演算パラメータを調整する。具体的には、ＣＰＵ１１０は、Ｖ個の誤差値Ｅの合計値が小さくなるように、所定の最適化アルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（例えば、Ａｄａｍ）が用いられる。

Ｓ３５０では、ＣＰＵ１１０は、トレーニングが完了したか否かを判断する。本実施例では、ユーザからの完了指示が入力された場合にはトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にはトレーニングが完了していないと判断する。例えば、ＣＰＵ１１０は、トレーニング処理に用いられた学習用の入力画像データとは別の複数個のテスト用の入力画像データを画像生成モデルＧＮに入力して、複数個の出力画像データＯＤを生成する。ＣＰＵ１１０は、生成された出力画像データＯＤによって示される出力画像を表示部１４０に表示する。ユーザは、表示された出力画像を確認して、出力画像が所望の出力画像（ＣＧ画像風に変換され、かつ、欠陥が維持される画像）であるか否かを確認する。ユーザは、確認結果に応じて、操作部１５０を介して、トレーニングの完了指示または継続指示を入力する。変形例では、例えば、Ｓ３１０～Ｓ３４０の処理が所定回数だけ繰り返された場合に、トレーニングが完了されたと判断されても良いし、誤差値Ｅが閾値以下になった場合に、トレーニングが完了されたと判断されても良い。

トレーニングが完了していないと判断される場合には（Ｓ３５０：ＮＯ）、ＣＰＵ１１０は、Ｓ３１０に処理を戻す。トレーニングが完了したと判断される場合には（Ｓ３５０：ＹＥＳ）、ＣＰＵ１１０は、トレーニング処理を終了する。このトレーニング処理によれば、トレーニング処理が終了した時点で、画像生成モデルＧＮは、演算パラメータが調整された学習済みモデルになっている。学習済みの画像生成モデルＧＮを実現するプログラムは、コンピュータプログラムＰＧにモジュールとして組み込まれて（図１）、上述した検査処理（図４）に用いられる。

以上説明したトレーニング処理の説明から解るように、本実施例の学習済みの画像生成モデルＧＮは、学習用の入力画像データと、学習用の入力画像データに対応する参照画像データと、をそれぞれ含む複数組のデータセットを用いて、学習用の入力画像データが入力される場合に、対応する参照画像データを生成するようにトレーニングされた学習済みの機械学習モデルである。本実施例によれば、学習用の入力画像データは、版下画像データＲＤに対して特定の画像処理（本実施例は、欠陥付加処理、縮小処理、回転処理、明度補正処理、背景付加処理）を実行して得られる画像データである（図６のＳ２０５、Ｓ２１５～Ｓ２３０）。そして、版下画像データＲＤは、対象物であるラベルＬの画像を示す元画像データであって該ラベルＬの作成に用いられる元画像データである（図５（Ｃ））。

この結果、トレーニングにおいて画像生成モデルＧＮに入力するための十分な撮像画像データが準備できない場合であっても作成できる画像生成モデルＧＮが提供される。仮に、学習用の入力画像データとして、欠陥を含む実物のラベルＬを撮像装置４００で撮像して得られる撮像画像データを用いる場合には、多量の実物のラベルＬに多様なキズや汚れなどの欠陥を付けたうえで、撮像を行う必要がある。このために、画像生成モデルＧＮを作成するユーザの負担が過度に大きくなる場合がある。本実施例では、版下画像データＲＤを用いて学習用の入力画像データが生成されるので、画像生成モデルＧＮのトレーニングのためのユーザの負担を軽減して、画像生成モデルＧＮを容易にトレーニングできる。

さらに、本実施例によれば、参照画像ＤＩ５を示す参照画像データも、元画像データである版下画像データＲＤに基づく画像データである。例えば、本実施例の参照画像データは、版下画像データＲＤに対して欠陥付加処理を実行して得られる画像データである（図６のＳ２０５、Ｓ２１０）。この結果、トレーニングに用いられる参照画像データの生成も容易である。

さらに、本実施例によれば、版下画像データＲＤに対して実行される特定の画像処理は、版下画像ＤＩ３に擬似的な欠陥を付加する欠陥付加処理と、背景を付加する背景付加処理と、を含む。欠陥と背景とが付加された画像を示す学習用画像データを容易に準備できるので、作成がより容易な画像生成モデルが提供される。

さらに、本実施例によれば、参照画像データは、版下画像データＲＤに対して、欠陥付与処理を含み、かつ、背景付加処理、縮小処理、回転処理、明度補正処理を含まない処理を実行して得られる画像データである（図６）。この結果、例えば、欠陥と背景とが付加された学習用の入力画像データが入力される場合に、欠陥が付加され、かつ、背景が付加されない参照画像データを生成するように、画像生成モデルがトレーニングされる。また、学習用の入力画像データを生成する過程で生成される欠陥付加処理済みの版下画像データＲＤを参照画像データとして用いることができるので、参照画像データをさらに容易に生成できる。例えば、仮に、学習用の入力画像データとして、撮像画像データを用いる場合には、参照画像データとして版下画像データＲＤに基づく画像データを用いるとしても、例えば、学習用の撮像画像に含まれる欠陥を版下画像に付加する処理が必要になり、処理の負担が大きくなる可能性がある。本実施例では、このような不都合を抑制することができる。

さらに、本実施例によれば、背景画像ＢＩは、学習用の入力画像データごと異なるように、ランダムに付されたノイズＮｚを含む（図７（Ｄ））。この結果、複数個の学習用の入力画像データの背景画像ＢＩが共通の特徴を有することを抑制できるので、背景画像ＢＩの特徴が学習用の入力画像データの特徴として画像生成モデルＧＮに学習されることを抑制できる。したがって、画像生成モデルＧＮが、背景画像ＢＩを除いたラベルの特徴のみを学習するように、画像生成モデルＧＮを適切にトレーニングすることができる。

さらに、本実施例によれば、背景画像ＢＩの色は、学習用の入力画像データごと異なるように、ランダムに決定される。この結果、さらに、複数個の学習用の入力画像データの背景画像ＢＩが共通の特徴を有することを抑制できるので、背景画像ＢＩの特徴が学習用の入力画像データの特徴として画像生成モデルＧＮに学習されることをさらに抑制できる。

さらに、本実施例によれば、学習用の入力画像データを生成する際に版下画像データＲＤに対して実行される特定の画像処理は、ラベルＢＬ３にノイズを付加する処理を含まない（図６）。この結果、学習用入力画像ＤＩ６（図７（Ｄ））において、ラベルＢＬ６にはノイズが含まれず、背景画像ＢＩにはノイズＮｚが含まれるので、背景画像ＢＩの特徴よりもラベルＢＬ６の特徴が画像生成モデルＧＮによって学習されることを促進できる。

さらに、本実施例によれば、背景画像ＢＩの色は、ラベルＢＬ６を構成する最頻色とは異なる色である。この結果、背景画像ＢＩがラベルＢＬ６の一部として、画像生成モデルＧＮによって学習されることを抑制することができる。

さらに、本実施例によれば、学習用の入力画像データを生成する際に版下画像データＲＤに対して実行される画像処理は、さらに、回転処理（図６のＳ２２０）と、明度補正処理（図６のＳ２２５）と、を含む。この結果、例えば、学習用の入力画像データから、回転処理や明度補正処理が実行されていない参照画像データを生成するように、トレーニングを行うことで、撮像画像データに生じ得る傾きや明度のバラツキを調整して適切な出力画像データＯＤを生成するように、画像生成モデルＧＮをトレーニングすることができる。

さらに、本実施例によれば、背景付加処理は、学習用入力画像ＤＩ６に、ラベルＢＬ６の全体が含まれるように、背景画像ＢＩを付加する処理である（図７（Ｄ））。この結果、出力画像ＤＩ２において、ラベルの全体が再現されるように画像生成モデルＧＮをトレーニングすることができる。

さらに、本実施例によれば、学習用の入力画像データを生成する際に版下画像データＲＤに対して実行される特定の画像処理は、欠陥付加処理の後に、縮小処理、回転処理、明度補正処理、背景付加処理を実行する処理である（図６）。この結果、より自然な撮像画像風の画像を示す学習用の入力画像データを生成できる。上述のように、縮小処理、回転処理、明度補正処理、背景付加処理は、撮像条件に起因するバラツキの影響を画像に加味するための処理である。実際の撮像でも、欠陥に対して撮像条件に起因するバラツキの影響があるため、疑似的な欠陥の画像に対しても該影響が加味されることが好ましいと考えられる。

さらに、本実施例では、１回の欠陥付加処理の後に、Ｍ種類の異なる画像処理（縮小処理、回転処理、明度補正処理、背景付加処理のセット）が実行されることによって、Ｍ種類の異なる学習用の入力画像データが生成される。この結果、１個の参照画像データに対応するＭ個の学習用の入力画像データが生成されるので、効率良く、多数の学習用の入力画像データが生成できる。

さらに、本実施例では、欠陥付加処理は、版下画像ＤＩ３のラベルＢＬ３を構成する最頻色とは異なる色の欠陥を付加する処理である。画像生成モデルＧＮは、撮像画像ＤＩ１のラベルＢＬ１を版下画像ＤＩ３のラベルＢＬ３に近づけつつ、ラベルＢＬ１に含まれる欠陥については維持するように、トレーニングされる必要がある。このためには、欠陥は、ラベル自体の特徴とは異なるものとして学習されることが好ましいと考えられる。付加される疑似的な欠陥の色を、ラベルＢＬ３を構成する最頻色とは異なる色とすることで、欠陥が対象物の特徴として学習されることを抑制できる。

さらに、本実施例の検査処理では、画像生成モデルＧＮの出力画像データＯＤは、欠陥を含まないラベルＢＬ１を示す版下画像データＲＤと、比較されることによって、撮像画像ＤＩ１によって示されるラベルが欠陥を含むか否かを検査するために用いられる。そして、トレーニング処理において、欠陥付加処理は、検査の対象となる欠陥を付加する処理であり、他の画像処理（縮小処理、回転処理、明度補正処理、背景付加処理）は、撮像画像ＤＩ１に生じ得るバラツキであって検査の対象とならないバラツキに起因して変動する特定の属性（本実施例では明るさ、大きさ、傾き、位置）を調整する処理である。このような画像処理を実行して生成される学習用の入力画像データを用いて、画像生成モデルＧＮをトレーニングすることで、出力画像ＤＩ２において、撮像画像ＤＩ１のラベルＢＬ１を版下画像ＤＩ３のラベルＢＬ３に近づけつつ、ラベルＢＬ１に含まれる欠陥については維持するように、画像生成モデルＧＮをトレーニングすることができる。

以上の説明から解るように、本実施例の欠陥付加処理は、第１画像処理の例であり、縮小処理、回転処理、明度補正処理、背景付加処理の全体は、第２画像処理の例である。本実施例の版下画像データＲＤは、元画像データおよび比較画像データの例である。

Ｂ．変形例：
（１）上記実施例では、撮像画像ＤＩ１において、バラツキに起因して変動する特定の属性としてラベルの明るさ、大きさ、傾き、位置が考慮されている。これに限らず、他の属性が考慮されても良い。例えば、撮像画像ＤＩ１は、イメージセンサを用いて生成されるために、実物のラベルや後述する版下画像には含まれないボケ、ムラ、ノイズ、歪みを含み得る。このために、ボケ、ムラ、ノイズ、歪みの少なくとも一部が低減された出力画像ＤＩ２が生成されるように、画像生成モデルＧＮがトレーニングされても良い。この場合には、学習用の入力画像データを生成する際には、縮小処理、回転処理、明度補正処理、背景付加処理の少なくとも一部とともに、あるいは、縮小処理、回転処理、明度補正処理、背景付加処理の少なくとも一部に代えて、画像に疑似的にボケ、ムラ、ノイズ、歪みを付加する処理が追加される。ボケやムラを付加する処理には、例えば、ガウシアンフィルタ等を用いた平滑化処理や、が用いられる。ノイズを付加する処理は、本実施例において背景画像ＢＩにノイズＮｚを付加する処理と同様の処理が用いられる。歪みを付加する処理は、例えば、台形歪みやレンズ歪みを疑似的に付加する処理が用いられる。また、撮像画像ＤＩ１では、照明の色温度の影響などに起因して、明度だけでなく、彩度も変動し得る。このために、トレーニング処理では、明度補正処理に代えて、または、明度補正処理とともに、画像の彩度を変更する彩度補正処理が実行されても良い。

（２）上記実施例では、検査の対象物は、ラベルである。これに限らず、検査の対象物は、他の物、例えば、工業的に製造される様々な製品、例えば、最終的に市場で販売される最終製品や、最終製品の製造に用いられる部品であっても良い。この場合には、例えば、参照画像データは、製品の作成に用いられる設計図面データに対して、欠陥付加処理を実行して得られる画像データであっても良い。また、学習用の入力画像データは、該設計図面データに対して、欠陥付加処理に加えて、縮小処理、回転処理、明度補正処理、背景付加処理を実行して得られる画像データであっても良い。

（３）上記実施例では、画像生成モデルＧＮによって生成される出力画像データＯＤは、検査処理のために用いられる。これに限らず、他の目的のために用いられる出力画像データを生成する画像生成モデルのトレーニングに、本実施例のトレーニング処理が用いられても良い。例えば、撮像画像の見栄えを向上するために、撮像画像の所定の属性（例えば、歪み、ノイズ）が低減された出力画像データを生成する画像生成モデルのトレーニングに、本実施例のトレーニング処理が用いられても良い。この場合には、撮像される対象物の設計図面データや対象物の画像を印刷するための版下画像データに対して、見栄えを悪化するように所定の属性を調整する画像処理が実行されることによって、学習用の入力画像データが生成されても良い。また、設計図面データや版下画像データに対して、自然で良好な見栄えになるように、所定の属性を調整する画像処理が実行されることによって、参照画像データが生成されても良い。

（４）上記実施例のトレーニング処理（図６）は、一例であり、適宜に省略や変更が行われ得る。例えば、本実施例の縮小処理、回転処理、明度補正処理、背景付加処理のうち、例えば、検査処理の態様によって考慮する必要性が低い属性を調整する処理は、省略されても良い。例えば、安定して明るさで撮像されることが保証されている環境下で、ラベルの撮像が行われる場合には、明度補正処理が省略されても良い。また、背景画像ＢＩの色や疑似的な欠陥の色は、ラベルの色を考慮することなく、ランダムに決定されても良い。また、背景画像ＢＩは、ノイズを含まない単色の画像であっても良い。

また、全ての学習用の入力画像データが版下画像データＲＤを用いて生成される必要はなく、版下画像データＲＤを用いて生成された学習用の入力画像データと、撮像によって生成された学習用の入力画像データと、の両方を用いて、トレーニング処理が行われても良い。

（５）上記実施例では、検査処理において、出力画像データＯＤとの比較のために、差分画像の生成に用いられる比較画像データは、トレーニング処理において学習用の入力画像データの生成に用いられる版下画像データＲＤである。これに代えて、検査処理における比較画像データは、入力画像データの生成に用いられる版下画像データＲＤとは異なる種類のラベルが用いられても良い。例えば、画像生成モデルＧＮは、トレーニングに用いられた版下画像データＲＤによって示されるラベルと同一のラベルだけではなく、版下画像データＲＤによって示されるラベルと類似したラベルの検査にも用いることができる。例えば、仕向地によって異なる品番などが記載された互いに類似した複数種類のラベルの検査に、１つの画像生成モデルＧＮが用いられても良い。この場合には、検査処理における比較画像データには、学習用の入力画像データの生成に用いられた版下画像データＲＤに代えて、検査すべきラベルを示す版下画像データが用いられる。

（６）上記実施例の画像生成モデルＧＮは、一例であり、これに限られない。例えば、画像生成モデルとして、ＶＱ－ＶＡＥとは異なるタイプのオートエンコーダ、例えば、通常のＶＡＥ（Variational Autoencoder）や、ＡＥ（Autoencoder）が画像生成モデルとして用いられても良い。また、どのタイプのオートエンコーダが用いられる場合であっても、畳込層、転置畳込層などの具体的な層の構成や層数は、適宜に変更されて良い。また、画像生成モデルＧＮの各層で出力された値に対して実行される後処理も適宜に変更され得る。例えば、後処理に用いられる活性化関数は、任意の関数、例えば、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられ得る。

また、画像生成モデルとして、いわゆるＧＡＮ（Generative Adversarial Networks）に含まれる画像生成モデルが用いられても良い。例えば、文献「Isola, P. et al ”Image-to-Image Translation with Conditional Adversarial Networks.” IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2017)」にはpix2pixと呼ばれるＧＡＮが開示されている。pix2pixでは、第１のスタイルの画像を示す入力画像データが入力される場合には、第２のスタイルの画像を示す出力画像データが生成されるように、画像生成モデルのトレーニングが実行される。このモデルを用いる場合であっても、例えば、本実施例の学習用の入力画像データが入力される場合に、本実施例の参照画像データが生成されるように、画像生成モデルのトレーニングが実行される。

（７）上記実施例では、トレーニング処理と検査処理とは、図１の検査装置１００によって実行されている。これに代えて、トレーニング処理と検査処理とは、それぞれ、別の装置によって実行されても良い。この場合には、例えば、トレーニング処理によって生成された学習済みの画像生成モデルＧＮのモジュールは、検査処理を実行する装置の記憶装置に格納される。トレーニング処理と検査処理との全部または一部は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）によって実行されても良い。また、検査処理を行うコンピュータプログラムと、画像生成モデルＧＮのトレーニング処理を行うコンピュータプログラムとは、異なるコンピュータプログラムであっても良い。

（８）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、検査データ生成処理と検査処理との全部または一部は、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実行されてよい。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１００…検査装置,１０００…検査システム,１１０…ＣＰＵ,１１５…ＧＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…表示部,１５０…操作部,１７０…通信部,３０…筐体,３００…製品,３１…前面,４００…撮像装置,Ｌ…ラベル,ＰＧ…コンピュータプログラム

Claims (14)

1. 対象物を撮像して得られる撮像画像データが入力される場合に、調整画像を示す調整画像データを出力する画像生成モデルであって、
   前記調整画像は、前記撮像画像データによって示される撮像画像の特定の属性が調整された画像であり、
   前記画像生成モデルは、学習用画像データと、前記学習用画像データに対応する参照画像データと、をそれぞれ含む複数組のデータセットを用いて、前記学習用画像データが入力される場合に、対応する前記参照画像データを生成するようにトレーニングされた学習済みの機械学習モデルであり、
   前記学習用画像データは、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して特定の画像処理を実行して得られる画像データである、画像生成モデル。
2. 請求項１に記載の画像生成モデルであって、
   前記参照画像データは、前記元画像データに基づく画像データである、画像生成モデル。
3. 請求項１または２に記載の画像生成モデルであって、
   前記特定の画像処理は、前記元画像データによって示される元画像に擬似的な欠陥を付加する第１画像処理と、前記元画像に背景を付加する処理を含む第２画像処理と、を含む、画像生成モデル。
4. 請求項３に記載の画像生成モデルであって、
   前記参照画像データは、前記元画像データに対して、前記第１画像処理を含み、かつ、前記第２画像処理を含まない処理を実行して得られる画像データである、画像生成モデル。
5. 請求項３または４に記載の画像生成モデルであって、
   前記背景は、前記学習用画像データごと異なるノイズを含む、画像生成モデル。
6. 請求項５に記載の画像生成モデルであって、
   前記特定の画像処理は、前記元画像内の前記対象物にノイズを付加する処理を含まない、画像生成モデル。
7. 請求項４～６のいずれかに記載の画像生成モデルであって、
   前記背景の色は、前記対象物を構成する最頻色とは異なる色である、画像生成モデル。
8. 請求項４～７のいずれかに記載の画像生成モデルであって、
   前記第２画像処理は、さらに、前記元画像を回転させる処理と、前記元画像の明度と彩度との少なくとも一方を変更する処理と、前記元画像にノイズを付加する処理と、のうちの少なくとも１つの処理を含む、画像生成モデル。
9. 請求項３～８のいずれかに記載の画像生成モデルであって、
   前記第２画像処理に含まれる前記背景を付加する処理は、前記学習用画像データによって示される画像に、前記元画像内に示される前記対象物の全体が含まれるように、前記背景を付加する、画像生成モデル。
10. 請求項３～９のいずれかに記載の画像生成モデルであって、
    前記特定の画像処理は、前記第１画像処理の後に、前記第２画像処理を実行する処理である、画像生成モデル。
11. 請求項１０に記載の画像生成モデルであって、
    １回の前記第１画像処理の後に、Ｍ種類（Ｍは２以上の整数）の第２画像処理が実行されることによって、Ｍ種類の前記学習用画像データが生成される、画像生成モデル。
12. 請求項３～１１のいずれかに記載の画像生成モデルであって、
    前記第１画像処理は、前記元画像内の前記対象物を構成する最頻色とは異なる色の前記欠陥を付加する、画像処理装置。
13. 請求項３～１２のいずれかに記載の画像生成モデルであって、
    前記画像生成モデルによって生成される調整画像データは、欠陥を含まない前記対象物を示す比較画像データと、比較されることによって、前記画像生成モデルに入力される撮像画像データによって示される前記対象物が欠陥を含むか否かを検査するために用いられ、
    前記第１の画像処理は、前記検査の対象となる前記欠陥を付加する処理であり、
    前記第２の画像処理は、前記撮像画像に生じ得るバラツキであって前記検査の対象とならない前記バラツキに起因して変動する前記特定の属性を調整する処理である、画像生成モデル。
14. 対象物を撮像して得られる撮像画像データが入力される場合に、調整画像を示す調整画像データを出力する画像生成モデルであって、前記調整画像は、前記撮像画像データによって示される撮像画像の特定の属性が調整された画像である、前記画像生成モデルのトレーニング方法であって、
    学習用画像データを生成する工程と、
    前記学習用画像データに対応する参照画像データを生成する工程と、
    前記学習用画像データと、前記前記学習用画像データに対応する参照画像データと、をそれぞれ含む複数組のデータセットを用いて、前記学習用画像データが入力される場合に、対応する前記参照画像データを生成するように、前記画像生成モデルの複数個の演算パラメータを調整する工程と、
    を備え、
    前記学習用画像データは、前記対象物の画像を示す元画像データであって前記対象物の作成に用いられる前記元画像データに対して特定の画像処理を実行して得られる画像データである、トレーニング方法。
    
    
    

Images