JP2023067731A - コンピュータプログラム、および、データ処理装置 - Google Patents

コンピュータプログラム、および、データ処理装置 Download PDF

Info

Publication number
JP2023067731A
JP2023067731A JP2022107390A JP2022107390A JP2023067731A JP 2023067731 A JP2023067731 A JP 2023067731A JP 2022107390 A JP2022107390 A JP 2022107390A JP 2022107390 A JP2022107390 A JP 2022107390A JP 2023067731 A JP2023067731 A JP 2023067731A
Authority
JP
Japan
Prior art keywords
image
image data
processing
data
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022107390A
Other languages
English (en)
Inventor
祥司 尾野藤
Shoji Onofuji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to PCT/JP2022/039284 priority Critical patent/WO2023074566A1/ja
Publication of JP2023067731A publication Critical patent/JP2023067731A/ja
Priority to US18/643,168 priority patent/US20240275903A1/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】外観の不具合に関するデータを生成するプログラム及びデータ処理装置を提供する。【解決手段】データ処理装置は、原画像データ７１０ｄを使用して第１画像処理Ｓ９１０を実行することによって、処理済原画像データ７４０ｄを生成し、撮影画像データ６１０ｄを使用して第２画像処理Ｓ９２０を実行することによって処理済撮影画像データ６４０ｄを生成する。第１画像処理は、処理済原画像データと処理済撮影画像データとを使用することによって、外観の不具合に関するデータである出力データを生成する。第１画像処理は、第２画像処理には含まれない第１処理Ｓ８１０を含み、第２画像処理は、第１画像処理には含まれない第２処理Ｓ８２０を含む。【選択図】図７

Description

本明細書は、画像データを処理する技術に関する。
従来から、外観検査などの対象物の外観に関する処理に、撮影された画像データが使用されている。例えば、ワークの撮影された画像が学習済モデルに入力されて、ワークの外観が検査される。モデルの訓練には、教師データが使用される。特許文献１には、教師データを生成する方法として、ワークの撮影された画像を複数の領域に分割し、領域毎に所定の情報を含むか否か付す方法が、提案されている。
特開２０２１－０６０９６２号公報
ところで、外観の不具合に関するデータを生成することは容易ではなく、工夫の余地があった。
本明細書は、外観の不具合に関するデータを生成することができる技術を開示する。
本明細書に開示された技術は、以下の適用例として実現することが可能である。
［適用例１］画像データを処理するコンピュータのためのコンピュータプログラムであって、印刷すべき画像である対象物画像を示す原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成機能と、印刷された対象物画像の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成機能と、前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記印刷された前記対象物画像の外観の不具合に関するデータである出力データを生成する第３生成機能と、をコンピュータに実現させ、前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、前記第２画像処理は、前記第１画像処理には含まれない第２処理を含む、コンピュータプログラム。
この構成によれば、処理済原画像データは、第２画像処理には含まれない第１処理を含む第１画像処理を実行することによって生成され、処理済撮影画像データは、第１画像処理には含まれない第２処理を含む第２画像処理を実行することによって生成されるので、処理済原画像データと処理済撮影画像データとを使用することによって、印刷された対象物画像の外観の不具合に関する適切な出力データを生成できる。
［適用例２］画像データを処理するコンピュータのためのコンピュータプログラムであって、注目対象物の設計画像である対象物画像を示す原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成機能と、前記注目対象物の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成機能と、前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記注目対象物の外観の不具合に関するデータである出力データを生成する第３生成機能と、をコンピュータに実現させ、前記第３画像処理は、訓練済の機械学習モデルを使用する処理を含み、前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、前記第２画像処理は、前記第１画像処理には含まれない第２処理を含み、前記第１処理は、ノイズ付加処理とぼかし処理との一方または両方を含む前処理を含み、前記機械学習モデルは、前記原画像データに、前記前処理と同じ処理を含む処理を実行することによって生成される訓練画像データを使用して、訓練されている、コンピュータプログラム。
この構成によれば、処理済原画像データは、第２画像処理には含まれない第１処理を含む第１画像処理を実行することによって生成され、処理済撮影画像データは、第１画像処理には含まれない第２処理を含む第２画像処理を実行することによって生成され、機械学習モデルは、第１処理に含まれる前処理と同じ処理を含む処理を原画像データに実行することによって生成される訓練画像データを使用して訓練されているので、処理済原画像データと処理済撮影画像データとを使用して、訓練済の機械学習モデルを使用する処理を含む第３画像処理を実行することによって、注目対象物の外観の不具合に関する適切な出力データを生成できる。
なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法およびデータ処理装置、機械学習モデルの訓練方法および訓練装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、訓練済の機械学習モデル、等の形態で実現することができる。
一実施例としてのデータ処理装置を示す説明図である。 デジタルカメラ１１０と複合機９００とベルト１９０との斜視図である。 （Ａ）は、ラベルシートの例を示す概略図である。（Ｂ）は、ラベルシート８００の設計画像の例を示す概略図である。（Ｃ）は、原画像データ７１０ｄの例を示す概略図である。（Ｄ）は、グレー原画像データ７２０ｄの例を示す概略図である。 （Ａ）は、画像生成モデル３００の例を示すブロック図である。（Ｂ）は、画像生成モデル３００の訓練の概要を示すブロック図である。 訓練画像データの生成処理の例を示すフローチャートである。 画像生成モデル３００の訓練処理の例を示すフローチャートである。 検査処理の例を示すフローチャートである。 検査処理の例を示すフローチャートである。 検査処理で処理される画像の変化の例を示す概略図である。 検査処理で処理される画像の変化の例を示す概略図である。 （Ａ）は、ヒストグラムマッチング処理の例を示す説明図である。（Ｂ）－（Ｇ）は、ヒストグラムの例である。
Ａ．第１実施例：
Ａ１．装置構成：
図１は、一実施例としてのデータ処理装置を示す説明図である。データ処理装置２００は、例えば、パーソナルコンピュータである。データ処理装置２００は、対象物（例えば、複合機などの製品に設けられたラベルシート）の外観の検査のための種々のデータ処理を行う。以下、複合機９００に設けられたラベルシート８００の外観が検査されることとする。
データ処理装置２００は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を備えている。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。
プロセッサ２１０は、データ処理を行うように構成された装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。不揮発性記憶装置２３０は、生成プログラム２３１と、訓練プログラム２３２と、検査プログラム２３３と、物体検出モデルＭ１と、画像生成モデル３００と、複数の訓練画像データＩ１ｔｄと、原稿画像データ７００ｄと、を格納している。本実施例では、物体検出モデルＭ１と画像生成モデル３００とは、それぞれ、機械学習モデルを形成するプログラムモジュールである。プログラム２３１－２３３とモデルＭ１、３００と画像データＤ１、７００ｄとの詳細については、後述する。
表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。ユーザは、操作部２５０を操作することによって、種々の要求と指示をデータ処理装置２００に入力可能である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。通信インタフェース２７０には、デジタルカメラ１１０が接続される。デジタルカメラ１１０は、ラベルシート８００の撮影に使用される。
図２は、デジタルカメラ１１０と複合機９００とベルト１９０との斜視図である。本実施例では、複合機９００が、ベルトコンベアのベルト１９０によって搬送される。図中には、ベルト１９０の一部が示されている。ベルト１９０は、平らな上面１９１を形成する。上面１９１上に、複合機９００の底面９０９が載せられる。ベルトコンベアは、複合機９００がデジタルカメラ１１０の前を搬送方向Ｄ１９０に移動するように、構成されている。搬送方向Ｄ１９０は、デジタルカメラ１１０の撮影方向Ｄ１１０に交差する方向である（例えば、搬送方向Ｄ１９０は、撮影方向Ｄ１１０におおよそ垂直である）。複合機９００の第１側面９０１には、ラベルシート８００が貼られている。デジタルカメラ１１０は、ラベルシート８００を撮影するように、配置される。
Ａ２．ラベルシート：
図３（Ａ）は、ラベルシートの例を示す概略図である。本実施例では、ラベルシート８００は、矩形状のシートである。図３（Ａ）は、不具合の無いラベルシート８００を示している。ラベルシート８００は、種々のオブジェクトを表し得る。本実施例では、ラベルシート８００は、ロゴタイプ８１０と、マーク８２０と、説明文８３０と、を表している。図中では、マーク８２０と説明文８３０との詳細の図示は、省略されている。
図３（Ｂ）は、ラベルシート８００の設計画像の例を示す概略図である。設計画像は、ラベルシート８００などの対象物の設計された画像である。本実施例では、ラベルシート８００は、ラベルシート８００の画像をシートに印刷することによって、製造される。図中の原稿画像７００は、印刷すべきラベルシート８００の画像である対象物画像８００ｉ（設計画像８００ｉとも呼ぶ）と、トリムマーク７９０と、を表している。トリムマーク７９０は、クロップマークとも呼ばれ、原稿画像７００の印刷後に切り落とすべき縁部分を示している。ラベルシート８００の製造では、原稿画像７００の原稿画像データ７００ｄに従って、原稿画像７００がシート上に印刷される。そして、トリムマーク７９０によって定められる縁部分を切り落とすことによって、ラベルシート８００が製造される。原稿画像データ７００ｄは、版下データとも呼ばれる。本実施例では、原稿画像データ７００ｄは、カラーのビットマップデータである。ただし、原稿画像データ７００ｄのデータ形式は、他の任意の形式であってよい。
Ａ３．画像生成モデル３００：
図４（Ａ）は、画像生成モデル３００の例を示すブロック図である。入力画像データＩ１１ｄは、画像生成モデル３００に入力される画像データである。生成画像データＩ１２ｄは、画像生成モデル３００によって生成される画像データである。本実施例では、これらの画像データＩ１１ｄ、Ｉ１２ｄは、グレースケールのビットマップデータである。画像データＩ１１ｄ、Ｉ１２ｄの画像Ｉ１１、Ｉ１２は、それぞれ、第１方向Ｄｘに平行な２辺と、第１方向Ｄｘに垂直な第２方向Ｄｙに平行な２辺と、を有する矩形状の画像である。画像Ｉ１１、Ｉ１２は、第１方向Ｄｘと第２方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値（本実施例では、輝度値）によって、表されている。第１方向Ｄｘの画素数と、第２方向Ｄｙの画素数とは、それぞれ、予め決められており、画像データＩ１１ｄ、Ｉ１２ｄに共通である。
後述するように、画像生成モデル３００には、デジタルカメラ１１０（図２）によって撮影されたラベルシート８００の撮影画像を表す画像データが、入力される。入力画像データＩ１１ｄの入力画像Ｉ１１は、ラベルシート８００の撮影画像Ｉ１１ａを含んでいる。ラベルシート８００は、不具合を含み得る。画像生成モデル３００は、入力画像Ｉ１１から、不具合の無い同じラベルシート８００の画像Ｉ１２ａを含む生成画像Ｉ１２を生成するように、訓練される。生成画像Ｉ１２内のラベルシート８００の画像Ｉ１２ａの位置と大きさとは、入力画像Ｉ１１内のラベルシート８００の画像Ｉ１１ａの位置と大きさと、それぞれ同じである。
本実施例では、画像生成モデル３００は、いわゆる変分オートエンコーダ（Variational auto-encoder : VAE）である。画像生成モデル３００は、エンコーダ３０２とデコーダ３０７とを有している。エンコーダ３０２は、入力画像データＩ１１ｄに対して次元削減処理を実行して、入力画像Ｉ１１の特徴を示す潜在データ３０５を生成する。デコーダ３０７は、潜在データ３０５に対して次元復元処理を実行して、生成画像データＩ１２ｄを生成する。エンコーダ３０２とデコーダ３０７とのそれぞれの構成は、種々の構成であってよい。例えば、エンコーダ３０２は、入力画像データＩ１１ｄを使用して平均と標準偏差とを算出する１以上の全結合層と、平均と標準偏差とを使用して潜在データ３０５を生成する層と、を有してよい。潜在データ３０５の生成では、いわゆる「Reparametrization trick」によって、ノイズが導入されてよい。そして、デコーダ３０７は、潜在データ３０５を使用して生成画像データＩ１２ｄを算出する１以上の全結合層を有してよい。潜在データ３０５の次元数は、画像データＩ１１ｄ、Ｉ１２ｄの次元数よりも小さい種々の値であってよい。平均と標準偏差は、潜在データ３０５の要素毎に算出されてよい。
Ａ４．訓練画像データ生成処理：
図５は、画像生成モデル３００の訓練に使用される訓練画像データの生成処理の例を示すフローチャートである。本実施例では、プロセッサ２１０（図１）は、原稿画像データ７００ｄ（図３（Ｂ））を使用して、撮影画像に類似する画像を示す複数の訓練画像データを生成する。プロセッサ２１０は、生成プログラム２３１に従って、図５の処理を実行する。
Ｓ１１０では、プロセッサ２１０は、不揮発性記憶装置２３０から原稿画像データ７００ｄ（図３（Ｂ））を取得する。Ｓ１２０では、プロセッサ２１０は、原稿画像データ７００ｄから、設計画像８００ｉを含む領域のビットマップデータである原画像データを取得する。図３（Ｃ）は、原画像データ７１０ｄの例を示す概略図である。原画像データ７１０ｄの原画像７１０は、原稿画像７００（図３（Ｂ））のうちの設計画像８００ｉとその周辺部分とを含んでいる。原画像７１０の第１方向Ｄｘの画素数と第２方向Ｄｙの画素数とは、画像生成モデル３００（図４（Ａ））に入力される画像（例えば、入力画像Ｉ１１）のものと同じである。
なお、Ｓ１２０では、プロセッサ２１０は、原稿画像７００（図３（Ｂ））のうちの予め決められた領域を、原画像７１０の領域として抽出する。これに代えて、プロセッサ２１０は、トリムマーク７９０を分析することによって、原画像７１０の領域を決定してよい。
Ｓ１３０では、プロセッサ２１０は、原画像データ７１０ｄのグレースケール変換を実行することによって、グレー原画像データを生成する。この変換により、ＲＧＢの色値は、所定の関係式（例えば、ＲＧＢ色空間からＹＣｂＣｒ色空間への色変換式）を用いることによって、輝度値に変換される。図３（Ｄ）は、グレー原画像データ７２０ｄの例を示す概略図である。グレー原画像データ７２０ｄのグレー原画像７２０は、設計画像８００ｉからグレースケール変換された画像であるグレー設計画像７２０ａを含んでいる。プロセッサ２１０は、生成したグレー原画像データ７２０ｄを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。
Ｓ１４０では、プロセッサ２１０は、グレー原画像データ７２０ｄを使用してＰ個（Ｐは２以上の整数）の訓練画像データを生成する。Ｓ１４０は、Ｓ１５０とＳ１６０とを含んでいる。
Ｓ１５０では、プロセッサ２１０は、グレー原画像データ７２０ｄに対するＰ回のノイズ付加処理を実行することによって、Ｐ個の訓練画像データＩ１ｔｄを生成する。ノイズ付加処理は、撮影画像に類似する訓練画像を生成するために、行われる。本実施例では、プロセッサ２１０は、複数の画素のそれぞれの色値に、ガウス分布に従ってランダムに生成されたノイズ値を加算する（このようなノイズは、ガウシアンノイズとも呼ばれる）。本実施例では、プロセッサ２１０は、画素毎に、ノイズ値を生成する。また、プロセッサ２１０は、画像毎に、ノイズ値を生成する。
ガウス分布の平均値と標準偏差とは、撮影画像を使用して、予め実験的に決定される。例えば、光がデジタルカメラ１１０（図２）に当たらない暗い環境下でデジタルカメラ１１０によって生成された複数枚の撮影画像が使用される。これらの複数枚の撮影画像は、いずれも、黒色の無地の画像である。ただし、複数枚の撮影画像の間では、１個の画素の色値がノイズに起因してばらつき得る。ガウス分布の標準偏差は、この色値のばらつきに相当する値に決定されてよい。ガウス分布の平均値は、ゼロに決定されてよい。
Ｓ１６０では、プロセッサ２１０は、Ｐ個の訓練画像データのそれぞれに、ぼかし処理を実行する。ぼかし処理は、撮影画像に類似する訓練画像を生成するために、行われる。撮影画像上では、ラベルシート８００の画像は、種々の原因に起因して、ぼけ得る。例えば、本実施例では、複合機９００（図２）は、ベルト１９０によって搬送される。デジタルカメラ１１０による撮影は、複合機９００がデジタルカメラ１１０の前で停止した状態で行われる。ベルト１９０が停止した後、ベルト１９０の変形によって、複合機９００は振動し得る。例えば、複合機９００は、搬送方向Ｄ１９０に平行に、振動し得る（この振動は、時間の経過とともに減衰する）。デジタルカメラ１１０によるラベルシート８００の撮影時に複合機９００が振動している場合、ラベルシート８００の画像がぼけ得る。このような被写体の動きに起因するぼけは、モーションブラー（motion blur）とも呼ばれる。
モーションブラーは、点拡がり関数（Point spread function）を使用する畳込み処理によって、再現可能である。点拡がり関数は、１個の画素の色値のモーションブラーに起因する拡がりを示している。本実施例では、複合機９００の動きは、搬送方向Ｄ１９０に平行な直線運動で近似される。直線運動を示す点拡がり関数としては、画像内の角度と長さとの２つのパラメータで定められる線分を使用可能である。点拡がり関数を示す角度と長さとは、撮影画像を使用して、予め実験的に決定される。例えば、検査のためのラベルシート８００の撮影の条件と同じ条件下で、デジタルカメラ１１０を使用してラベルシート８００を撮影する。そして、撮影画像を分析して撮影画像内のラベルシート８００の動きを示す動きベクトルを算出する。この動きベクトルの角度と長さとは、点拡がり関数を示す角度と長さとして採用される。Ｓ１６０では、プロセッサ２１０は、点拡がり関数を使用する畳込み処理を訓練画像データに対して実行することによって、訓練画像データにモーションブラーを付与する。なお、動きベクトルの算出には、複数枚の撮影画像が使用されてよい。例えば、検査用の撮影の露光時間に相当する時間内に撮影された複数の撮影画像から、動きベクトルが算出されてよい。また、露光時間に相当する時間に亘って撮影された動画像データを使用して、動きベクトルが算出されてよい。
Ｓ１４０の処理（具体的には、Ｓ１５０、Ｓ１６０の処理）によって、プロセッサ２１０は、Ｐ個の訓練画像データＩ１ｔｄを生成する。Ｐ個の訓練画像は、それぞれ、ノイズとぼけとを有しており、ラベルシート８００の撮影画像に類似している。
Ｓ１７０では、プロセッサ２１０は、Ｐ個の訓練画像データＩ１ｔｄを記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図５の処理を終了する。なお、訓練画像データＩ１ｔｄの総数Ｐは、画像生成モデル３００を適切に訓練できるように、予め決定される。
Ａ５．画像生成モデル３００の訓練処理：
図６は、画像生成モデル３００（図４（Ａ））の訓練処理の例を示すフローチャートである。図４（Ｂ）は、画像生成モデル３００の訓練の概要を示すブロック図である。本実施例では、画像生成モデル３００は、訓練画像Ｉ１ｔの訓練画像データＩ１ｔｄが入力される場合に、入力される訓練画像Ｉ１ｔと同じ画像を示す生成画像Ｉ１ｘの生成画像データＩ１ｘｄを生成するように、訓練される。プロセッサ２１０（図１）は、訓練プログラム２３２に従って、図６の処理を実行する。
Ｓ２１０では、プロセッサ２１０は、図５の処理で生成されたＰ個の訓練画像データＩ１ｔｄから、複数の訓練画像データＩ１ｔｄで構成されるサブセットを取得する。サブセットとしては、未処理の訓練画像データＩ１ｔｄが選択される。サブセットの訓練画像データＩ１ｔｄの総数は、予め決められている。
Ｓ２２０では、プロセッサ２１０は、サブセットの訓練画像データＩ１ｔｄを画像生成モデル３００に入力することによって、生成画像データＩ１ｘｄを生成する。プロセッサ２１０は、画像生成モデル３００の各層の演算パラメータを使用して各層の演算を行うことによって、生成画像データＩ１ｘｄを生成する。生成画像データＩ１ｘｄの生成は、サブセットに含まれる訓練画像データＩ１ｔｄ毎に行われる。
Ｓ２３０では、プロセッサ２１０は、訓練画像データＩ１ｔｄと生成画像データＩ１ｘｄとを使用して評価値を算出する。評価値の算出は、訓練画像データＩ１ｔｄ毎に行われる。そして、プロセッサ２１０は、サブセットに含まれる複数の訓練画像データＩ１ｔｄから算出される複数の評価値を使用して、損失Ｌを算出する。損失Ｌは、例えば、複数の評価値の合計値であってよい。
評価値の算出方法は、画像生成モデル３００の訓練に適する任意の方法であってよい。本実施例では、画像生成モデル３００は変分オートエンコーダである。この場合、評価値としては、いわゆる変分下限の最大化を可能にする種々の値を採用可能である。例えば、評価値は、再構成誤差と、正則化誤差と、の和であってよい。再構成誤差は、訓練画像Ｉ１ｔと生成画像Ｉ１ｘとの間の差を示すパラメータであり、例えば、交差エントロピー誤差である。正則化誤差は、例えば、潜在データ３０５の算出に使用される平均と標準偏差の組み合わせと、標準正規分布と、の間の差を示すパラメータである。正則化誤差は、例えば、計算式「－（１＋ｌｏｇ（ｓ２）－ｍ２－ｓ２）／２」を使用して算出されてよい（ｍは平均であり、ｓは標準偏差である）。この計算式は、潜在データ３０５の１個の要素の誤差を示している。正則化誤差は、潜在データ３０５の各要素の誤差の和であってよい。
Ｓ２４０では、プロセッサ２１０は、損失が小さくなるように、画像生成モデル３００の複数の演算パラメータを調整する。複数の演算パラメータを調整するためのアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを使用したアルゴリズムが採用されてよい。ここで、いわゆるＡｄａｍの最適化が行われてよい。
Ｓ２５０では、プロセッサ２１０は、訓練終了条件が満たされるか否かを判断する。訓練終了条件は、画像生成モデル３００が適切に訓練されたことを示す任意の条件であってよい。本実施例では、訓練終了条件は、作業者からの終了指示が入力されることである。プロセッサ２１０は、Ｐ個の訓練画像データＩ１ｔｄから訓練に使用されていない所定数の訓練画像データＩ１ｔｄをランダムに取得する。プロセッサ２１０は、取得した複数の訓練画像データＩ１ｔｄのそれぞれを画像生成モデル３００に入力し、複数の生成画像データを取得する。プロセッサ２１０は、訓練画像Ｉ１ｔと生成画像との複数のペアを、表示部２４０に表示する。作業者は、表示部２４０を観察して、生成画像が訓練画像Ｉ１ｔを適切に表しているか否かを確認する。作業者は、確認結果に応じて、操作部２５０を操作して、訓練の終了指示、または、継続指示を入力する。
なお、訓練の終了条件は、他の条件であってよい。例えば、終了条件は、訓練に使用されていない所定数の訓練画像データＩ１ｔｄを使用して算出される損失が、所定の損失閾値以下であることであってよい。
訓練が終了していないと判断される場合（Ｓ２５０：Ｎｏ）、プロセッサ２１０は、Ｓ２１０へ移行し、新たなサブセットの処理を実行する。訓練が終了したと判断される場合（Ｓ２５０：Ｙｅｓ）、Ｓ２６０で、プロセッサ２１０は、訓練済の画像生成モデル３００を、記憶装置２１５（ここでは、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図６の処理を終了する。
訓練済の画像生成モデル３００（図４（Ａ））は、ラベルシート８００の撮影画像Ｉ１１ａを含む入力画像Ｉ１１から、同じラベルシート８００の画像Ｉ１２ａを含む生成画像Ｉ１２を生成する。画像内のラベルシート８００の配置は、入力画像Ｉ１１と生成画像Ｉ１２との間で、同じである。
また、画像生成モデル３００は、不具合の無いラベルシート８００の画像を表す訓練画像データＩ１ｔｄを使用して、同じラベルシート８００、すなわち、不具合の無いラベルシート８００の画像を表す生成画像データを生成するように、訓練される。画像生成モデル３００に入力される画像のラベルシート８００が不具合を有する場合には、画像生成モデル３００は、その不具合を示す部分画像から不具合のない部分画像を適切に再構成し、不具合の無いラベルシート８００の画像を表す生成画像データを生成する。
Ａ６．検査処理：
図７、図８は、検査処理の例を示すフローチャートである。図８は、図７の続きを示している。データ処理装置２００（図１）は、検査処理を実行することによって、複合機９００（図２）のラベルシート８００を検査する。プロセッサ２１０は、検査プログラム２３３に従って、検査処理を実行する。
Ｓ３１０では、プロセッサ２１０は、画像データの取得処理を実行する。Ｓ３１０は、Ｓ３１２、Ｓ３１４、Ｓ３１６、Ｓ３１８を含んでいる。Ｓ３１２で、プロセッサ２１０は、撮影指示をデジタルカメラ１１０（図２）に供給する。デジタルカメラ１１０は、指示に応じて、複合機９００のうちのラベルシート８００を含む部分を撮影し、撮影画像の画像データである撮影検査データを生成する。本実施例では、撮影検査データは、Ｒ（赤）Ｇ（緑）Ｂ（青）の３チャンネルで各画素の色を示すカラービットマップデータである。上述したように、撮影は、複合機９００がデジタルカメラ１１０の前で停止した状態で行われる。例えば、プロセッサ２１０は、ベルトコンベアの駆動装置（図示省略）から、ベルト１９０の動作状態を示すデータを取得する。そして、ベルト１９０が停止している状態で、プロセッサ２１０は、撮影指示をデジタルカメラ１１０に供給する。
Ｓ３１４では、プロセッサ２１０は、撮影検査データから、ラベルシート８００の画像を含む領域のカラービットマップデータである撮影画像データを取得する。図９、図１０は、検査処理で処理される画像の変化の例を示す概略図である。図９の左列の上から１番目の画像６１０は、撮影画像データ６１０ｄの画像６１０の例を示している（撮影ラベル画像６１０と呼ぶ）。撮影ラベル画像６１０は、第１方向Ｄｘに平行な２辺と、第１方向Ｄｘに垂直な第２方向Ｄｙに平行な２辺と、を有する矩形状の画像である。撮影ラベル画像６１０は、ラベルシート８００の撮影画像６１０ａを含んでいる。図９の例では、ラベルシート８００は、傷８０１を有している。ラベルシート８００の撮影画像６１０ａは、撮影ラベル画像６１０に対して斜めに傾いている。撮影ラベル画像６１０は、ノイズとぼけとを有している。
本実施例では、Ｓ３１４（図７）で、プロセッサ２１０は、訓練済の物体検出モデルＭ１（図１）を使用して、撮影検査データの画像からラベルシート８００の画像を含む領域を検出する。そして、プロセッサ２１０は、検出された領域を示す撮影画像データ６１０ｄを、撮影検査データから取得する。本実施例では、物体検出モデルＭ１は、YOLOv4 (You only look once)と呼ばれるモデルであり、ラベルシート８００の画像を検出するように予め訓練されている。なお、物体検出モデルＭ１は、他の種々の物体検出モデル（例えば、SSD (Single Shot MultiBox Detector)、R-CNN (Region Based Convolutional Neural Networks)など）であってよい。物体検出モデルＭ１の訓練方法は、物体検出モデルＭ１に適する任意の方法であってよい。
Ｓ３１６、Ｓ３１８（図７）は、図５のＳ１１０、Ｓ１２０と、それぞれ同じである。プロセッサ２１０は、Ｓ３１６で原稿画像データ７００ｄ（図３（Ｂ））を取得し、Ｓ３１８で原稿画像データ７００ｄから原画像データ７１０ｄを取得する。図９の右列の上から１番目の画像７１０は、原画像データ７１０ｄの原画像７１０の例を示している。この原画像７１０は、図３（Ｃ）の原画像７１０と同じである。
Ｓ３２０（図７）では、プロセッサ２１０は、第１前処理を実行する。Ｓ３２０は、Ｓ３２２、Ｓ３２４、Ｓ３２６、Ｓ３２８を含んでいる。Ｓ３２２では、プロセッサ２１０は、撮影画像データ６１０ｄのグレースケール変換を実行し、グレースケールの撮影画像データを生成する。グレースケール変換の方法は、Ｓ１３０（図５）のグレースケール変換の方法と同じである。図９の左列の２番目の画像６２０は、撮影画像データ６１０ｄから生成されるグレー撮影画像データ６２０ｄのグレー撮影画像６２０の例を示している。グレー撮影画像６２０は、ラベルシート８００の画像６２０ａを含んでいる。
Ｓ３２４（図７）では、プロセッサ２１０は、原画像データ７１０ｄのグレースケール変換を実行することによって、グレー原画像データ７２０ｄを生成する。図９の右列の２番目の画像７２０は、原画像データ７１０ｄから生成されるグレー原画像データ７２０ｄのグレー原画像７２０の例を示している。このグレー原画像７２０は、図３（Ｄ）のグレー原画像７２０と同じである。
Ｓ３２６（図７）では、プロセッサ２１０は、グレー撮影画像データ６２０ｄの色分布をグレー原画像データ７２０ｄの色分布に近づける第２色調整処理を実行する。本実施例では、色調整処理として、ヒストグラムマッチング処理が実行される。図１１（Ａ）は、ヒストグラムマッチング処理の例を示す説明図である。図中には、累積度数割合ＶＣのグラフが示されている。横軸は、輝度値Ｖを示し、縦軸は、累積度数割合ＶＣ（単位は、％）を示している。本実施例では、輝度値Ｖは、ゼロから２５５の２５６段階で表される。累積度数割合ＶＣは、輝度値Ｖのヒストグラムを使用して、算出される。ここで、輝度値Ｖの１個の値が、ヒストグラムの１個の階級（ｂｉｎとも呼ばれる）を形成することとする。注目階級の累積度数割合ＶＣは、ヒストグラムの度数の合計値（すなわち、画素数）に対する、最小の階級から注目階級までの度数の合計（すなわち、累積度数）の割合である。
図中には、第１グラフＣ１と第２グラフＣ２とが示されている。第１グラフＣ１は、色調整の対象の画像データ（対象画像データと呼ぶ）の累積度数割合ＶＣを示している。第２グラフＣ２は、参考色分布を有する画像データの累積度数割合ＶＣを示している。対象画像データの第１輝度値Ｖ１は、第２輝度値Ｖ２に変換される。第２輝度値Ｖ２は、以下のように決定される。対象画像データの第１グラフＣ１を参照して、第１輝度値Ｖ１に対応する累積度数割合ＶＣ１が取得される。第２グラフＣ２を参照して、累積度数割合ＶＣ１に対応する第２輝度値Ｖ２が決定される。他の輝度値Ｖに関しても、同様に、調整後の輝度値Ｖが決定される。
図１１（Ｂ）は、グレー撮影画像６２０（図９）の輝度値ＶＡ１のヒストグラムの例である。このヒストグラムは、背景部分を示す複数の画素によって形成される第１ピークＰ１と、オブジェクト（文字、マークなど）を示す複数の画素によって形成される第２ピークＰ２と、を有している。このヒストグラムは、ピークＰ１、Ｐ２に加えて、複数の他の小さなピークを有している。なお、ラベルシート８００の画像は、３以上の色を使用して構成されてよい。この場合、輝度値のヒストグラムは、３以上の大きなピークを示し得る。
図１１（Ｃ）は、グレー原画像７２０（図９）の輝度値ＶＡ２のヒストグラムの例である。このヒストグラムは、背景部分を示す複数の画素によって形成される第３ピークＰ３と、オブジェクトを示す複数の画素によって形成される第４ピークＰ４と、を有している。
グレー撮影画像６２０（図１１（Ｂ））のピークＰ１、Ｐ２の幅は、グレー原画像７２０（図１１（Ｃ））の対応するピークＰ３、Ｐ４の幅よりも、大きい。この理由は、グレー撮影画像６２０は、グレー原画像７２０とは異なり、種々のノイズと種々のぼけとを有しているからである。
図９の左列の３番目の画像６３０は、Ｓ３２６（図７）によってグレー撮影画像データ６２０ｄから生成される第１前処理済撮影画像データ６３０ｄの第１前処理済撮影画像６３０の例を示している。第１前処理済撮影画像６３０は、グレー撮影画像６２０のラベルシート８００と同じラベルシート８００の画像６３０ａを含んでいる。
図１１（Ｄ）は、第１前処理済撮影画像６３０の輝度値ＶＢ１のヒストグラムの例である。第１調整済ピークＰ１ｘは、第１ピークＰ１（図１１（Ｂ））から変換されたピークであり、第２調整済ピークＰ２ｘは、第２ピークＰ２から変換されたピークである。調整済ピークＰ１ｘ、Ｐ２ｘの輝度値ＶＢ１は、グレー原画像７２０（図１１（Ｃ））の対応するピークＰ３、Ｐ４の輝度値ＶＡ２に、それぞれ近づいている。このように、ピークの位置（ここでは、輝度値）の観点から、ヒストグラムマッチング処理によって、第１前処理済撮影画像６３０の色分布は、グレー原画像７２０の色分布に近づいている。また、調整済ピークＰ１ｘ、Ｐ２ｘの幅は、元のピークＰ１、Ｐ２の幅よりも、それぞれ小さい。ピークの幅が小さくなる理由は、細いピークＰ３、Ｐ４を有する色分布（図１１（Ｃ））がヒストグラムマッチングの参考色分布である場合、広い幅を有するピーク（例えば、ピークＰ１）に含まれる多数の輝度値ＶＡ１が、ヒストグラムマッチングによって、狭い範囲の少数の輝度値ＶＢ１に変換されるからである。このように、ピークの幅の観点から、ヒストグラムマッチング処理によって、第１前処理済撮影画像６３０の色分布は、グレー原画像７２０の色分布に近づいている。
Ｓ３２８（図７）では、プロセッサ２１０は、グレー原画像データ７２０ｄの色分布をグレー撮影画像データ６２０ｄの色分布に近づける第１色調整処理（本実施例では、ヒストグラムマッチング処理）を実行する。図９の右列の３番目の画像７３０は、Ｓ３２８によってグレー原画像データ７２０ｄから生成される第１前処理済原画像データ７３０ｄの第１前処理済原画像７３０の例を示している。第１前処理済原画像７３０は、グレー原画像７２０のグレー設計画像７２０ａから色調整された画像である設計ラベル画像７３０ａを含んでいる。
図１１（Ｅ）は、第１前処理済原画像７３０の輝度値ＶＢ２のヒストグラムの例である。第３調整済ピークＰ３ｘは、第３ピークＰ３（図１１（Ｃ））から変換されたピークであり、第４調整済ピークＰ４ｘは、第４ピークＰ４から変換されたピークである。調整済ピークＰ３ｘ、Ｐ４ｘの輝度値ＶＢ２は、グレー撮影画像６２０（図１１（Ｂ））の対応するピークＰ１、Ｐ２の輝度値ＶＡ１に、それぞれ近づいている。このように、ピークの位置（ここでは、輝度値）の観点から、ヒストグラムマッチング処理によって、第１前処理済原画像７３０の色分布は、グレー撮影画像６２０の色分布に近づいている。なお、調整済ピークＰ３ｘ、Ｐ４ｘの幅は、元のピークＰ３、Ｐ４の幅から、それぞれ、やや大きくなっている。ただし、元のピークＰ３、Ｐ４の幅が小さいので、変換後のピークＰ３ｘ、Ｐ４ｘの幅は、参考色分布（図１１（Ｂ））における対応するピークＰ１、Ｐ２の幅よりも小さい幅であり得る。
図１１（Ｆ）は、グレー撮影画像６２０とグレー原画像７２０との間の同じ画素の輝度差の絶対値（｜ＶＡ１－ＶＡ２｜）のヒストグラムの例である。図１１（Ｇ）は、第１前処理済撮影画像６３０と第１前処理済原画像７３０との間の同じ画素の輝度差の絶対値（｜ＶＢ１－ＶＢ２｜）のヒストグラムの例である。図示するように、色調整済の輝度値の差（図１１（Ｇ））は、色調整処理が行われない場合の輝度値の差（図１１（Ｆ））と比べて、小さくなっている。すなわち、第１前処理済撮影画像６３０と第１前処理済原画像７３０との間の色分布の差が、小さくなっている。後述するように、ラベルシート８００（図９）の傷８０１を検出するために、色調整済の撮影画像の画像データが、画像生成モデル３００に入力される。図５、図６で説明したように、画像生成モデル３００の訓練では、グレー原画像データ７２０ｄから生成された訓練画像データＩ１ｔｄが、画像生成モデル３００に入力される。色調整処理によって、検査のために画像生成モデル３００に入力される撮影画像の色分布が、訓練画像の色分布に近づくので、画像生成モデル３００は、適切な生成画像を生成できる。
Ｓ３３０（図７）では、プロセッサ２１０は、第２前処理を実行する。Ｓ３３０は、第１前処理済撮影画像データ６３０ｄに対する前処理（Ｓ３３２）と、第１前処理済原画像データ７３０ｄに対する前処理（Ｓ３４０）と、を含んでいる。
Ｓ３３２は、Ｓ３３４とＳ３３６と、を含んでいる。Ｓ３３４では、プロセッサ２１０は、第１前処理済撮影画像データ６３０ｄに対するぼけ低減処理を実行する。本実施例では、ぼけ低減処理は、Ｓ１６０（図５）で説明したモーションブラーを低減する処理である（ぼけ低減処理は、デブラー（Deblur）処理とも呼ばれる）。このようなぼけ低減処理は、種々の処理であってよい。本実施例では、プロセッサ２１０は、Ｓ１６０で説明した動きベクトル（具体的には、角度と長さ）を使用して、点拡がり関数を決定する。プロセッサ２１０は、点拡がり関数を使用して、いわゆるウィーナーフィルタ（Wiener filter）を生成する。そして、プロセッサ２１０は、周波数領域におけるウィーナーフィルタを使用する第１前処理済撮影画像データ６３０ｄのフィルタ処理を実行することによって、ぼけ低減済撮影画像データを生成する。
Ｓ３３６では、プロセッサ２１０は、ぼけ低減済撮影画像データに対する平滑化処理を実行する。平滑化処理は、ノイズ低減処理とも呼ばれる。本実施例では、平均化フィルタを使用するフィルタ処理が、行われる。平均化フィルタのカーネルのサイズは、ノイズを適切に低減できるように、予め実験的に決定される。
以上のＳ３３４、Ｓ３３６（すなわち、Ｓ３３２）によって、プロセッサ２１０は、第１前処理済撮影画像データ６３０ｄから第２前処理済撮影画像データ６４０ｄを生成する。図９の左列の４番目の画像６４０は、第２前処理済撮影画像データ６４０ｄの第２前処理済撮影画像６４０の例を示している。第２前処理済撮影画像６４０は、第１前処理済撮影画像６３０のラベルシート８００と同じラベルシート８００の画像６４０ａを含んでいる。第２前処理済撮影画像６４０では、第１前処理済撮影画像６３０と比べて、ノイズとぼけとが低減されている。
Ｓ３４０（図７）は、Ｓ３４２、Ｓ３４４、Ｓ３４６を含んでいる。Ｓ３４２、Ｓ３４４の全体は、第１前処理済原画像データ７３０ｄにノイズを付加する処理であり、図５のＳ１５０のノイズ付加処理と同じである。Ｓ３４２では、プロセッサ２１０は、ガウス分布に従ってランダムに各画素のノイズ値（ガウシアンノイズとも呼ぶ）を生成する。Ｓ３４４では、プロセッサ２１０は、第１前処理済原画像データ７３０ｄとガウシアンノイズとを合成することによって、ノイズ付加済原画像データを生成する。
Ｓ３４６では、プロセッサ２１０は、ノイズ付加済原画像データのぼかし処理を実行する。Ｓ３４６のぼかし処理は、図５のＳ１６０のぼかし処理と同じである。
以上のＳ３４２－Ｓ３４６（すなわち、Ｓ３４０）によって、プロセッサ２１０は、第１前処理済原画像データ７３０ｄから第２前処理済原画像データ７４０ｄを生成する。図９の右列の４番目の画像７４０は、第２前処理済原画像データ７４０ｄの第２前処理済原画像７４０の例を示している。第２前処理済原画像７４０は、第１前処理済原画像７３０の設計ラベル画像７３０ａにノイズとぼかしとが付加された画像である設計ラベル画像７４０ａを含んでいる。
Ｓ３５０（図８）では、プロセッサ２１０は、外形合わせ処理を実行する。Ｓ３５０は、Ｓ３５２－Ｓ３６２を含んでいる。Ｓ３５２では、プロセッサ２１０は、第２前処理済撮影画像データ６４０ｄ（図９）を分析することによって、エッジを抽出する。Ｓ３５４では、プロセッサ２１０は、抽出されたエッジを使用して、ラベルシート８００の画像６４０ａ上の予め決められた４個の部分（本実施例では、ラベルシート８００の４個の角）の第２前処理済撮影画像６４０上の座標を算出する。エッジを抽出する方法は、任意の方法であってよい。例えば、プロセッサ２１０は、ラプラシアンフィルタを使用して各画素のエッジ量を算出し、所定のエッジ閾値以上のエッジ量を有する画素をエッジ画素として抽出する。４個の部分のそれぞれの座標の算出方法は、任意の方法であってよい。例えば、プロセッサ２１０は、エッジを細らせる細線化処理（例えば、Hilditchの細線化）を実行する。プロセッサ２１０は、細線化されたエッジを使用するハフ変換を実行することによって、ラベルシート８００の輪郭を示す４本の直線を検出する。プロセッサ２１０は、４本の直線を使用して、４個の交点（すなわち、４個の角）の座標を算出する。
Ｓ３５６、Ｓ３５８は、第２前処理済撮影画像データ６４０ｄに代えて第２前処理済原画像データ７４０ｄが使用される点を除いて、Ｓ３５２、Ｓ３５４と、それぞれ同じである。プロセッサ２１０は、設計ラベル画像７４０ａ（図９）の４個の角の第２前処理済原画像７４０上の座標を算出する。
Ｓ３６０（図８）では、プロセッサ２１０は、第２前処理済撮影画像６４０（図９）上の４個の部分の座標と第２前処理済原画像７４０上の４個の部分の座標とを使用して、射影変換の射影関数を決定する。この射影関数は、第２前処理済原画像７４０中の設計ラベル画像７４０ａの外形を、第２前処理済撮影画像６４０中のラベルシート８００の画像６４０ａの外形に合わせるための射影関数である。外形は、輪郭の形状である。Ｓ３６２では、プロセッサ２１０は、射影関数に従って第２前処理済原画像データ７４０ｄの射影変換を実行することによって、変換済原画像データ７５０ｄを生成する。図９の右列の５番目の画像７５０は、第２前処理済撮影画像データ６４０ｄと第２前処理済原画像データ７４０ｄとから生成される変換済原画像データ７５０ｄの変換済原画像７５０の例を示している。変換済原画像７５０は、第２前処理済原画像７４０の設計ラベル画像７４０ａから射影変換された画像である設計ラベル画像７５０ａを含んでいる。変換済原画像７５０中の設計ラベル画像７５０ａの外形は、第２前処理済撮影画像６４０中のラベルシート８００の画像６４０ａの外形と、同じである。
なお、射影変換（Ｓ３６０、Ｓ３６２）の方法は、任意の方法であってよい。例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）の射影変換の関数が、使用されてよい。
Ｓ３７２（図８）では、プロセッサ２１０は、第２前処理済撮影画像データ６４０ｄ（図９）のリサイズ処理を行うことによって、リサイズ済の第２前処理済撮影画像データ６４５ｄを生成する（処理済撮影画像データ６４５ｄとも呼ぶ）。このリサイズ処理は、第２前処理済撮影画像データ６４０ｄの画像サイズ（具体的には、第１方向Ｄｘの画素数と第２方向Ｄｙの画素数）を、画像生成モデル３００に入力可能な画像サイズに変換する処理である。リサイズ処理としては、種々の解像度変換処理を採用可能である。図９の左列の５番目の画像６４５は、処理済撮影画像データ６４５ｄの処理済撮影画像６４５の例を示している。処理済撮影画像６４５は、解像度が異なる点を除いて、第２前処理済撮影画像６４０と同じである。処理済撮影画像６４５は、画像６４０ａと同じ画像６４５ａを含んでいる。なお、リサイズ処理は、第２前処理済撮影画像データ６４０ｄに限らず、撮影されたラベルシート８００の画像を表す画像データ６１０ｄ、６２０ｄ、６３０ｄ、６４０ｄのうちの任意の画像データに対して、行われてよい。
Ｓ３７４では、プロセッサ２１０は、処理済撮影画像データ６４５ｄ（図９）を画像生成モデル３００（図４（Ａ））に入力することによって、生成画像データ６５０ｄを生成する。図１０の画像６５０は、処理済撮影画像データ６４５ｄから生成される生成画像データ６５０ｄの生成画像６５０の例を示している。生成画像６５０は、不具合（本実施例では、傷８０１）の無いラベルシート８００の画像６５０ａを含んでいる。図５、図６、で説明したように、画像生成モデル３００は、不具合の無いラベルシート８００の画像を表す生成画像データを生成するように、訓練済である。従って、画像生成モデル３００に入力される画像データ６４５ｄが傷８０１を有するラベルシート８００を示す場合であっても、生成画像データ６５０ｄは、傷８０１の無いラベルシート８００を示している。
Ｓ３７８（図８）では、プロセッサ２１０は、生成画像データ６５０ｄと、画像生成モデル３００に入力された画像データ６４５ｄとの間の差分を示す差分画像データ６６０ｄを生成する。図１０の画像６６０は、差分画像データ６６０ｄの画像６６０の例を示している（差分画像６６０と呼ぶ）。差分画像６６０の各画素は、２枚の画像６４５、６５０の間の対応する画素の色値（ここでは、輝度値）の差を示している。ラベルシート８００の画像６６０ａを示す複数の画素のうち、傷８０１を示す複数の画素は、大きな差を示している。残りの複数の画素は、傷８０１を示す差よりも小さい差（例えば、ゼロに近い値）を示している。
Ｓ３７９（図８）では、プロセッサ２１０は、差分画像データ６６０ｄのリサイズ処理を行うことによって、リサイズ済差分画像データ６６５ｄを生成する。このリサイズ処理は、差分画像データ６６０ｄの解像度を、変換済原画像データ７５０ｄの解像度に合わせる処理である。リサイズ済差分画像データ６６５ｄによって示されるリサイズ済差分画像（図示省略）は、解像度が異なる点を除いて、差分画像データ６６０ｄ（図１０）の差分画像６６０と同じである。リサイズ済差分画像中の対象物画像８００ｉに対応する部分と、変換済原画像７５０（図９）の設計ラベル画像７５０ａとは、同じ解像度と同じ外形とを有している。このリサイズ処理は、例えば、Ｓ３７２のリサイズ処理による解像度変換の逆変換であってよい。これに代えて、プロセッサ２１０は、差分画像６６０と変換済原画像７５０とを分析することによって、リサイズ済差分画像中の対象物画像８００ｉに対応する部分と設計ラベル画像７５０ａとが、同じ解像度と同じ外形とを有するように、リサイズ処理を行ってよい。
Ｓ３８０（図８）では、プロセッサ２１０は、リサイズ済差分画像データ６６５ｄと変換済原画像データ７５０ｄとを合成することによって、リサイズ済差分画像（差分画像６６０と同じ）と変換済原画像７５０との重畳画像を示す重畳画像データ６７０ｄを生成する。図１０の画像６７０は、重畳画像データ６７０ｄの重畳画像６７０の例を示している。重畳画像６７０は、設計ラベル画像７５０ａ（図９）と、リサイズ済差分画像中の対象物画像８００ｉに対応する部分（差分画像６６０（図１０）中の画像６６０ａと同じ）と、の重畳画像であるラベル重畳画像６７０ａを含んでいる。ラベル重畳画像６７０ａは、設計画像８００ｉと傷８０１とを示している。
Ｓ３８２（図８）では、プロセッサ２１０は、重畳画像データ６７０ｄの射影変換を実行することによって、変換済重畳画像データ６８０ｄを生成する。Ｓ３８２では、Ｓ３５０の射影変換の逆変換が行われる。図１０の画像６８０は、変換済重畳画像データ６８０ｄの画像６８０の例を示している（変換済重畳画像６８０と呼ぶ）。変換済重畳画像６８０は、ラベル重畳画像６８０ａを含んでいる。ラベル重畳画像６８０ａは、ラベル重畳画像６７０ａの射影変換によって得られる画像である。ラベル重畳画像６８０ａの外形は、Ｓ３５０の処理対象の画像７４０（図９）の設計ラベル画像７４０ａの外形（すなわち、原画像７１０の設計画像８００ｉの外形）と同じである。ラベル重畳画像６８０ａは、変換済重畳画像６８０に対して傾いていない。
Ｓ３８４（図８）では、プロセッサ２１０は、変換済重畳画像データ６８０ｄを使用して、出力データ６９０ｄを生成する。図１０の画像６９０は、変換済重畳画像データ６８０ｄを使用して生成される出力データ６９０ｄの画像６９０の例を示している（出力画像６９０と呼ぶ）。出力画像６９０は、ラベル重畳画像６９０ａを含んでいる。ラベル重畳画像６９０ａは、ラベル重畳画像６８０ａと、傷８０１を囲む枠６９９と、を示している。本実施例では、プロセッサ２１０は、リサイズ済差分画像を分析することによって所定の差分閾値以上の差分を示す複数の画素が連続する不具合部分を検出し、検出した不具合部分を囲む枠の画像を変換済重畳画像６８０に重畳する。ラベルシート８００が不具合を有していない場合、リサイズ済差分画像からは不具合部分が検出されず、出力画像６９０は、第２前処理済原画像７４０（図９）と実質的に同じ画像である。
Ｓ３８６（図８）では、プロセッサ２１０は、出力データ６９０ｄを使用する結果出力処理を実行する。本実施例では、プロセッサ２１０は、出力データ６９０ｄの出力画像６９０を表示部２４０（図１）に表示する。作業者は、表示部２４０を観察することによって、ラベルシート８００の外観の不具合の有無を容易に認識できる。また、ラベルシート８００が不具合を有する場合には、作業者は、枠（例えば、枠６９９（図１０））を観察することによって、ラベルシート８００上の不具合の位置を容易に認識できる。また、作業者は、表示された出力画像６９０と実際のラベルシート８００とを比較することによって、実際のラベルシート８００の不具合（例えば、傷８０１）を容易に見つけることができる。ここで、出力画像６９０は、撮影画像のように、ノイズとぼけとを有している。従って、作業者が出力画像６９０と実際のラベルシート８００とを目視で比較する場合に作業者に生じる違和感を低減できる。Ｓ３８６の後、プロセッサ２１０は、図７、図８の検査処理を終了する。作業者は、結果出力処理に応じて、種々の処理を実行してよい。例えば、作業者は、ラベルシート８００が不具合を有する場合に、そのラベルシート８００を有する複合機９００を、複合機９００の製造ラインから除いてよい。
以上のように、本実施例では、図７、図８の検査処理で、プロセッサ２１０（図１）は、Ｓ３２４、Ｓ３２８、Ｓ３４０、Ｓ３５０（図７、図８）で構成される第１画像処理Ｓ９１０を実行することによって、原画像データ７１０ｄから変換済原画像データ７５０ｄを生成する。すなわち、プロセッサ２１０は、原画像データ７１０ｄを使用して第１画像処理Ｓ９１０を実行することによって、変換済原画像データ７５０ｄを生成する（以下、変換済原画像データ７５０ｄを、処理済原画像データ７５０ｄとも呼ぶ）。ここで、原画像データ７１０ｄ（図９）は、印刷すべき対象物画像８００ｉを示す画像データである。
プロセッサ２１０は、Ｓ３２２、Ｓ３２６、Ｓ３３２、Ｓ３７２（図７、図８）で構成される第２画像処理Ｓ９２０を実行することによって、撮影画像データ６１０ｄから処理済撮影画像データ６４５ｄを生成する。すなわち、プロセッサ２１０は、撮影画像データ６１０ｄを使用して第２画像処理Ｓ９２０を実行することによって、処理済撮影画像データ６４５ｄを生成する。ここで、撮影画像データ６１０ｄ（図９）は、印刷された対象物画像８００ｉを有するラベルシート８００の撮影画像６１０ａを示している（以下、撮影画像６１０ａを、撮影対象物画像６１０ａとも呼ぶ）。
プロセッサ２１０は、Ｓ３７４、Ｓ３７８、Ｓ３７９、Ｓ３８０、Ｓ３８２、Ｓ３８４（図８）で構成される第３画像処理Ｓ９９０を実行することによって、処理済原画像データ７５０ｄと処理済撮影画像データ６４５ｄとから、出力データ６９０ｄを生成する。図１０に示すように、出力データ６９０ｄは、印刷された対象物画像８００ｉの外観の不具合に関するデータの例である。
ここで、第１画像処理Ｓ９１０（図７、図８）は、第２画像処理Ｓ９２０には含まれない第１処理Ｓ８１０を含んでいる（具体的には、図７のＳ３２８、Ｓ３４２、Ｓ３４４、Ｓ３４６、図８のＳ３５０）。第１処理としては、原画像データ７１０ｄからの処理済原画像データ７５０ｄの生成に適する種々の処理を採用可能である。また、第２画像処理Ｓ９２０は、第１画像処理Ｓ９１０には含まれない第２処理Ｓ８２０を含んでいる（具体的には、図７のＳ３２６、Ｓ３３４、Ｓ３３６、図８のＳ３７２）。第２処理としては、撮影画像データ６１０ｄからの処理済撮影画像データ６４５ｄの生成に適する種々の処理を採用可能である。従って、プロセッサ２１０は、適切に生成された処理済原画像データ７５０ｄと、適切に生成された処理済撮影画像データ６４５ｄと、を使用することによって、印刷された対象物画像８００ｉの外観の不具合に関する適切な出力データ６９０ｄを生成できる。
第１画像処理Ｓ９１０（図７、図８）に含まれる第１処理Ｓ８１０は、ノイズ付加処理（Ｓ３４２－Ｓ３４４）とぼかし処理（Ｓ３４６）との両方を含む前処理（Ｓ３４０）を含んでいる。従って、処理済原画像データ７５０ｄ（図９）は、撮影画像データのように、ノイズとぼけとを有している。プロセッサ２１０は、処理済原画像データ７５０ｄと処理済撮影画像データ６４５ｄとを使用することによって、不具合に関する適切な出力データ６９０ｄを生成できる。例えば、出力画像６９０は、処理済原画像データ７５０ｄの処理済原画像７５０のように、ノイズとぼけとを有し得る。従って、出力画像６９０と実際のラベルシート８００を観察する作業者に生じる違和感は、低減可能である。
また、原画像データ７１０ｄ（図９）によって示される対象物画像８００ｉは、ラベルシート８００の設計画像である。プロセッサ２１０は、このような原画像データ７１０ｄを使用して第１画像処理Ｓ９１０（図７、図８）を実行することによって、処理済原画像データ７５０ｄを生成する。また、プロセッサ２１０は、ラベルシート８００の撮影画像である撮影対象物画像６１０ａを示す撮影画像データ６１０ｄを使用して第２画像処理Ｓ９２０を実行することによって、処理済撮影画像データ６４５ｄを生成する。そして、プロセッサ２１０は、処理済原画像データ７５０ｄと処理済撮影画像データ６４５ｄとを使用して第３画像処理Ｓ９９０を実行することによって、ラベルシート８００の外観の不具合に関するデータである出力データ６９０ｄを生成する。上述したように、第３画像処理Ｓ９９０は、訓練済の画像生成モデル３００を使用する処理（Ｓ３７４）を含んでいる。また、第１画像処理Ｓ９１０は、第２画像処理Ｓ９２０には含まれない第１処理Ｓ８１０を含み、第２画像処理Ｓ９２０は、第１画像処理Ｓ９１０には含まれない第２処理Ｓ８２０を含んでいる。本実施例では、第１処理Ｓ８１０は、ノイズ付加処理（Ｓ３４２－Ｓ３４４）とぼかし処理（Ｓ３４６）との両方を含む前処理（Ｓ３４０）を含んでいる。また、図５、図６で説明したように、画像生成モデル３００は、原画像データ７１０ｄに、Ｓ１３０－Ｓ１６０を含む画像処理である生成処理Ｓ９３０を実行することによって生成される訓練画像データＩ１ｔｄを使用して訓練されている。生成処理Ｓ９３０は、図７の前処理（Ｓ３４０）と同じ処理（Ｓ１４０）を含んでいる。このように、訓練画像データＩ１ｔｄの生成処理Ｓ９３０と、処理済原画像データ７５０ｄを生成する第１画像処理Ｓ９１０とでは、画像に同程度のノイズと同程度のぼけとが付加される。従って、第１画像処理Ｓ９１０と、訓練済の画像生成モデル３００を使用する処理（具体的には、Ｓ３７４）と、の間の整合性が向上する。プロセッサ２１０は、このような処理Ｓ９１０、Ｓ３７４によって生成される画像データ７５０ｄ、６５０ｄを使用することによって、ラベルシート８００の外観の不具合に関する適切な出力データ６９０ｄを生成できる。
また、図４（Ａ）、図４（Ｂ）、図５、図６で説明したように、画像生成モデル３００は、ラベルシート８００の画像Ｉ１ｔａを示す訓練画像データＩ１ｔｄから、不具合の無いラベルシート８００の画像を示す生成画像データＩ１ｘｄを生成するように、訓練されている。この構成によれば、プロセッサ２１０は、画像生成モデル３００によって生成される画像データを使用して、ラベルシート８００の不具合を示すデータ（本実施例では、差分画像データ６６０ｄ）を生成することができる。プロセッサ２１０は、このような差分画像データ６６０ｄを使用して、適切な出力データ６９０ｄを生成できる。
また、第１画像処理Ｓ９１０（図７）に含まれる第１処理Ｓ８１０は、第１色調整処理（Ｓ３２８）を含んでいる。第１色調整処理は、処理すべきグレー原画像データ７２０ｄの色分布を、撮影画像データ６１０ｄに基づくグレー撮影画像データ６２０ｄの色分布に近づける。第２画像処理Ｓ９２０に含まれる第２処理Ｓ８２０は、第２色調整処理（Ｓ３２６）を含んでいる。第２色調整処理は、処理すべきグレー撮影画像データ６２０ｄの色分布を、原画像データ７１０ｄに基づくグレー原画像データ７２０ｄの色分布に近づける。これらの色調整処理（Ｓ３２６、Ｓ３２８）により、第１前処理済撮影画像６３０（図９）と第１前処理済原画像７３０との間の色分布の差は、小さくなる。従って、画像処理Ｓ９１０、Ｓ９２０によって生成される画像データ７５０ｄ、６４５ｄの間の色分布の差は、小さくなる。プロセッサ２１０は、これらの画像データ７５０ｄ、６４５ｄを使用することによって、適切な出力データ６９０ｄを生成できる。
また、第２画像処理Ｓ９２０（図７、図８）に含まれる第２処理Ｓ８２０は、ノイズ低減処理（Ｓ３３６）とぼけ低減処理（Ｓ３３４）との両方を含む前処理（Ｓ３３２）を含んでいる。従って、撮影ラベル画像６１０が意図しない大きいノイズ、または、大きいぼけを有する場合に、ノイズとボケの出力データ６９０ｄに対する影響を緩和できる。例えば、ラベルシート８００が不具合を有する場合に、不具合を示さない出力データ６９０ｄが生成される可能性は、低減される。このように、プロセッサ２１０は、処理済原画像データ７５０ｄと処理済撮影画像データ６４５ｄとを使用することによって、不具合に関する適切な出力データ６９０ｄを生成できる。
第１画像処理Ｓ９１０（図８）に含まれる第１処理Ｓ８１０は、外形合わせ処理（Ｓ３５０）を含んでいる。Ｓ３５０の処理は、処理すべき第２前処理済原画像データ７４０ｄ（図９）の画像７４０のうちの対象物画像８００ｉに対応する部分（ここでは、設計ラベル画像７４０ａ）の外形を、第２前処理済撮影画像６４０のラベルシート８００の画像６４０ａの外形（撮影ラベル画像６１０の撮影対象物画像６１０ａの外形と同じ）に合わせる処理である。従って、画像処理Ｓ９１０、Ｓ９２０によって生成される画像データ７５０ｄ、６４５ｄの間のラベルシート８００の画像の外形の差は、小さくなる。プロセッサ２１０は、これらの画像データ７５０ｄ、６４５ｄを使用することによって、適切な出力データ６９０ｄを生成できる。
第１画像処理Ｓ９１０（図７、図８）に含まれる第１処理Ｓ８１０は、第１色調整処理（Ｓ３２８）と、前処理（Ｓ３４０）と、外形合わせ処理（Ｓ３５０）と、を含んでいる。第１色調整処理（Ｓ３２８）は、原画像データ７１０ｄ（図９）に基づくグレー原画像データ７２０ｄの色分布を、撮影画像データ６１０ｄに基づくグレー撮影画像データ６２０ｄの色分布に近づける。前処理（Ｓ３４０）は、第１色調整処理（Ｓ３２８）による処理済の画像データ７３０ｄに対する処理である。外形合わせ処理（Ｓ３５０）は、前処理（Ｓ３４０）による処理済の画像データ７４０ｄの画像７４０のうちの対象物画像８００ｉに対応する部分（ここでは、設計ラベル画像７４０ａ）の外形を、第２前処理済撮影画像６４０のラベルシート８００の画像６４０ａの外形（撮影ラベル画像６１０の撮影対象物画像６１０ａの外形と同じ）に合わせる処理である。この構成によれば、画像処理Ｓ９１０、Ｓ９２０によって生成される画像データ７５０ｄ、６４５ｄの間で、ラベルシート８００の外観の不具合（傷８０１など）とは異なる差は、小さくなる（具体的には、色分布の差と、ノイズの差と、ぼけの差と、ラベルシート８００の画像の外形の差とが、小さくなる）。プロセッサ２１０は、これらの画像データ７５０ｄ、６４５ｄを使用することによって、適切な出力データ６９０ｄを生成できる。
図８の生成処理Ｓ９９０は、Ｓ３７４、Ｓ３７８、Ｓ３７９、Ｓ３８０、Ｓ３８２、Ｓ３８４を含んでいる。Ｓ３７４、Ｓ３７８では、プロセッサ２１０は、処理済撮影画像データ６４５ｄの処理済撮影画像６４５と不具合の無いラベルシート８００の画像（ここでは、生成画像データ６５０ｄの生成画像６５０）との間の異なる部分を示す差分画像６６０の差分画像データ６６０ｄを生成する。Ｓ３７９では、プロセッサ２１０は、差分画像データ６６０ｄのリサイズによって、リサイズ済差分画像データ６６５ｄを生成する。Ｓ３８０では、リサイズ済差分画像データ６６５ｄと処理済原画像データ７５０ｄとを合成することによって、リサイズ済差分画像（差分画像６６０と同じ）と処理済原画像７５０との重畳画像を示す重畳画像データ６７０ｄを生成する。Ｓ３８２、Ｓ３８４では、重畳画像データ６７０ｄを使用して、出力データ６９０ｄを生成する。本実施例では、Ｓ３８２では、プロセッサ２１０は、重畳画像データ６７０ｄの重畳画像６７０のうちの対象物画像８００ｉに対応する部分６７０ａの外形を、原画像データ７１０ｄ（図９）の対象物画像８００ｉの外形に合わせる。変換済重畳画像６８０中の対象物画像８００ｉに対応する部分６８０ａの外形は、設計画像８００ｉの外形と、同じである。Ｓ３８４では、プロセッサ２１０は、変換済重畳画像６８０と枠の画像（例えば、枠６９９）との重畳画像を示す出力画像６９０の出力データ６９０ｄを生成する。変換済重畳画像６８０は、リサイズ済差分画像データ６６５ｄのリサイズ済差分画像（差分画像データ６６０ｄの差分画像６６０と同じ）と、処理済原画像データ７５０ｄの処理済原画像７５０と、の重畳画像を示している。従って、プロセッサ２１０は、ラベルシート８００の不具合部分を示す適切な出力データ６９０ｄを生成できる。
Ｂ．変形例：
（１）ノイズ低減処理（Ｓ３３６（図７））で使用されるフィルタは、平均化フィルタに代えて、他の種々のフィルタであってよい（例えば、ガウシアンフィルタ、中央値フィルタなど）。また、ノイズ低減処理は、フィルタを使用する処理に代えて、色値を平滑化する種々の処理であってよい。
（２）ノイズ付加処理（Ｓ１５０（図５）、Ｓ３４２－Ｓ３４４（図７）は、上記実施例の処理に代えて、他の種々の処理であってよい。ノイズ付加処理は、例えば、各画素のノイズ値を示すノイズ画像を、処理対象の画像に重畳する処理であってよい。ノイズ画像は、予め実験的に決定されてよい。プロセッサ２１０は、予め準備された複数のノイズ画像から、処理対象の画像に重畳すべきノイズ画像を、ランダムに選択してよい。いずれの場合も、Ｓ３４０（図７）で行われるノイズ付加処理は、訓練画像データの生成処理（図５）で行われるノイズ付加処理と同じ処理であることが好ましい。ただし、それらのノイズ付加処理は、互いに異なる処理であってよい。
（３）ぼけ低減処理（Ｓ３３４（図７）で使用される動きベクトルの決定方法は、任意の方法であってよい。例えば、複合機９００に速度センサが固定されてよい。そして、検査用の撮影時の複合機９００の速度から、動きベクトルが決定されてよい。また、ぼけ低減処理は、点拡がり関数とウィーナーフィルタを使用する上記の方法に代えて、他の任意の方法であってよい。例えば、いわゆるLucy-Richardson deconvolutionが採用されてよい。この方法は、点拡がり関数に基づくぼけを低減することができる。また、「interactive back projection」と呼ばれるアルゴリズムが採用されてよい。また、「Deep Generative Filter for Motion Deblurring」と呼ばれる畳込ニューラルネットワークを使用する技術が採用されてよい。また、モーションブラーに限らず、ラベルシート８００からのカメラの焦点のずれに起因するぼけを低減する処理が、実行されてよい。例えば、「PyLops」と呼ばれるPython用のライブラリの「Image deblurring」と呼ばれる処理が、実行されてよい。
（４）ぼかし処理（Ｓ１６０（図５）、Ｓ３４６（図７））は、上記実施例の処理に代えて、他の種々の処理であってよい。例えば、ぼかし処理は、平滑化フィルタによる平滑化処理を含んでよい。
（５）射影変換（Ｓ３５０：図８）に使用される４個の部分は、ラベルシート８００の４個の角に限らず、ラベルシート８００の任意の部分であってよい。また、４個の部分のそれぞれの座標を算出する方法は、上記実施例の処理に代えて、他の種々の処理であってよい。例えば、４個の部分を示す４個の基準画像を使用するパターンマッチングによって、４個の部分のそれぞれの座標が決定されてよい。
（６）検査処理は、図７、図８の処理に代えて、他の種々の処理であってよい。例えば、第１画像処理Ｓ９１０は、Ｓ３７２と同様に処理済原画像データ７５０ｄのリサイズ処理を含んでよい。また、第１画像処理Ｓ９１０の複数の処理（Ｓ３２４（グレースケール変換）、Ｓ３２８（第１色調整）、Ｓ３４２－Ｓ３４４（ノイズ付加）、Ｓ３４６（ぼかし）、Ｓ３５０（射影変換））の実行順番は、他の種々の順番であってよい。例えば、Ｓ３２８（第１色調整）は、Ｓ３４０（前処理）による処理済の画像データを、処理してよい。なお、第１画像処理Ｓ９１０と第２画像処理Ｓ９２０とは、以下に示すように、同じ観点に注目する画像処理の３個のペアＰＰ１－ＰＰ３を形成している。
（ＰＰ１）Ｓ３２４、Ｓ３２２（色空間）
（ＰＰ２）Ｓ３２６、Ｓ３２６（色分布）
（ＰＰ３）Ｓ３４０、Ｓ３３２（画像の劣化（ノイズとぼけ））
画像処理Ｓ９１０、Ｓ９２０の間の整合性の向上のためには、これら３個のペアＰＰ１－ＰＰ３の順番は、画像処理Ｓ９１０、Ｓ９２０の間で同じであることが好ましい。例えば、第１画像処理Ｓ９１０において、Ｓ３２８（第１色調整）がＳ３４０（前処理）の後に実行される場合、第２画像処理Ｓ９２０において、Ｓ３２４（第２色調整）はＳ３３２（前処理）の後に実行されることが好ましい。
また、第１画像処理Ｓ９１０の複数の処理（Ｓ３２４（グレースケール変換）、Ｓ３２８（第１色調整）、Ｓ３４２－Ｓ３４４（ノイズ付加）、Ｓ３４６（ぼかし）、Ｓ３５０（射影変換））のうち、１以上の任意の処理が、省略されてよい。例えば、撮影時の複合機９００（図２）とデジタルカメラ１１０との間の位置の精度が良好である場合、すなわち、撮影画像内のラベルシート８００の画像の位置のズレが小さい場合、Ｓ３５０（射影変換）は省略されてよい。この場合、Ｓ３８２（射影変換）も省略されてよい。Ｓ３８２は、Ｓ３５０が省略されるか否かに拘わらずに、省略されてよい。また、Ｓ３５０が省略され、代わりに、第２画像処理Ｓ９２０は、Ｓ３８２と同様の射影変換の処理を含んでよい。この場合、第２画像処理Ｓ９２０によって生成される処理済撮影画像６４５中では、ラベルシート８００の画像６４５ａの外形は、原画像７１０の設計画像８００ｉの外形と同じである（例えば、ラベルシート８００の画像６４５ａは、処理済撮影画像６４５に対して傾いていない）。Ｓ３８０では、プロセッサ２１０は、傾いていないラベルシート８００を示す重畳画像データ６７０ｄを生成する。この場合、Ｓ３８２は、省略されてよい。同様に、第２画像処理Ｓ９２０の複数の処理（Ｓ３２２（グレースケール変換）、Ｓ３２６（第２色調整）、Ｓ３３４（ボケ低減）、Ｓ３３６（ノイズ低減）、Ｓ３７２（リサイズ））のうち、１以上の任意の処理が、省略されてよい。なお、第１画像処理Ｓ９１０の複数の処理のうち、上記のペアＰＰ１－ＰＰ３のいずれかを形成する処理が省略される場合には、第２画像処理Ｓ９２０の対応する処理も省略されることが好ましい。ただし、１個のペアを形成する２個の処理のうち、一方のみが省略されてよい。例えば、Ｓ３２８（第１色調整）とＳ３２６（第２色調整）とのうちの一方または両方が省略されてよい。
（７）前処理Ｓ３４０、Ｓ３３２（図７）は、種々の処理であってよい。例えば、前処理Ｓ３４０のＳ３４２－Ｓ３４４（ノイズ付加）とＳ３４６（ぼかし）のうちの一方が省略されてよい。Ｓ３４２－Ｓ３４４（ノイズ付加）が省略される場合、前処理Ｓ３３２の同じ観点に注目するＳ３３６（ノイズ低減）が省略されることが好ましい。Ｓ３４６（ぼかし）が省略される場合、前処理Ｓ３３２の同じ観点に注目するＳ３３４（ボケ低減）が省略されることが好ましい。前処理Ｓ３４０と前処理Ｓ３３２のうちの一方または両方が省略されてよい。
（８）第１画像処理Ｓ９１０（図７、図８）の第１処理Ｓ８１０は、第２画像処理Ｓ９２０に含まれない種々の処理で構成されてよい。例えば、Ｓ３２８（第１色調整）、Ｓ３４２－Ｓ３４４（ノイズ付加）、Ｓ３４６（ぼかし）、Ｓ３５０（射影変換）のうち、１以上の任意の処理が、省略されてよい。同様に、第２画像処理Ｓ９２０の第２処理Ｓ８２０は、第１画像処理Ｓ９１０に含まれない種々の処理で構成されてよい。例えば、Ｓ３２６（第２色調整）、Ｓ３３４（ボケ低減）、Ｓ３３６（ノイズ低減）、Ｓ３７２（リサイズ）のうち、１以上の任意の処理が、省略されてよい。
（９）色調整処理（Ｓ３２８、Ｓ３２６（図７）は、種々の処理であってよい。例えば、第１色調整処理（Ｓ３２８）によって処理すべき画像データは、グレー原画像データ７２０ｄに限らず、原画像データ７１０ｄに基づく種々の画像データであってよい。ここで、原画像データ７１０ｄに基づく画像データは、原画像データ７１０ｄ、または、原画像データ７１０ｄに画像処理を実行することによって得られる画像データである。第１色調整処理（Ｓ３２８）は、例えば、前処理Ｓ３４０による処理済の画像データを処理してよい。また、第１色調整処理（Ｓ３２８）で使用される参考色分布は、グレー撮影画像データ６２０ｄの色分布に限らず、撮影画像データ６１０ｄに基づく種々の画像データの色分布であってよい。ここで、撮影画像データ６１０ｄに基づく画像データは、撮影画像データ６１０ｄ、または、撮影画像データ６１０ｄに画像処理を実行することによって得られる画像データである。第１色調整処理（Ｓ３２８）で使用される参考色分布は、例えば、前処理Ｓ３３２による処理済の画像データの色分布であってよい。なお、参考色分布の色空間は、処理すべき画像データの色空間と同じであることが好ましい。色空間が複数の色成分で表現される場合、色成分毎にヒストグラムマッチングが行われてよい。
同様に、第２色調整処理（Ｓ３２６）によって処理すべき画像データは、グレー撮影画像データ６２０ｄに代えて、撮影画像データ６１０ｄに基づく種々の画像データであってよい。そして、第２色調整処理（Ｓ３２６）で使用される参考色分布は、グレー原画像データ７２０ｄの色分布に限らず、原画像データ７１０ｄに基づく種々の画像データの色分布であってよい。第２色調整処理（Ｓ３２６）においても、参考色分布の色空間は、処理すべき画像データの色空間と同じであることが好ましい。
なお、図７の実施例のように、第１色調整処理（Ｓ３２８）によって処理すべき画像データは、第２色調整処理（Ｓ３２６）で使用される参考色分布を示す画像データであり、第２色調整処理（Ｓ３２６）によって処理すべき画像データは、第１色調整処理（Ｓ３２８）で使用される参考色分布を示す画像データであることが好ましい。この場合、第１色調整処理（Ｓ３２８）と第２色調整処理（Ｓ３２６）との間の整合性が向上する。
なお、処理すべき画像データの色分布を参考色分布に近づける処理は、図１１（Ａ）で説明した処理に代えて、他の種々の処理であってよい。例えば、処理すべき画像データの代表色値（例えば、複数の画素の複数の色値の中央値）を、参考色分布を示す画像データの代表色値に近づけるトーンカーブ調整処理が、実行されてよい。
（１０）訓練画像データの生成処理は、図５の処理に限らず、種々の処理であってよい。例えば、画像の回転処理、画像の移動処理など、データオーギュメンテーションと呼ばれる種々の処理が実行されてよい。回転処理での回転角度と、移動処理での移動方向と移動量とは、訓練画像データＩ１ｔｄ毎にランダムに決定されてよい。また、訓練画像データの生成処理は、訓練画像データＩ１ｔｄ毎にランダムに決定された処理を含んでよい。例えば、ノイズ付加処理と、ぼかし処理と、画像の回転処理と、画像の移動処理と、を含む複数の処理から、ランダムに処理が選択されてよい。なお、ノイズ付加処理とぼかし処理とのうちの一方または両方が、訓練画像データの生成処理と第１処理Ｓ８１０（図７）とに含まれることが好ましい。また、訓練画像データは、グレー原画像データ７２０ｄに代えて、ラベルシート８００の撮影画像データを使用して、生成されてよい。プロセッサ２１０は、撮影画像データを使用するデータオーギュメンテーションによって、複数の訓練画像データを生成してよい。なお、撮影画像データに対するノイズ付加処理とぼかし処理との一方または両方が、省略されてよい。
（１１）ラベルシート８００（図２）は、複合機９００に限らず、ミシン、カッティングマシン、携帯端末など、任意の製品に設けられるラベルシートであってよい。また、検査の対象物は、ラベルシート８００に限らず、任意の製品であってよい（例えば、複合機、ミシン、カッティングマシン、携帯端末など）。ここで、製品の全体、または、製品の一部分が、検査されてよい。
原画像データによって示される対象物画像は、印刷すべき画像に限らず、検査の対象物の適切な外観を示す任意の画像であってよい。例えば、対象物画像は、対象物の設計図、または、対象物の外観の写真であってよい。なお、対象物画像は、印刷すべき画像や設計図などの対象物の設計された画像である設計画像であることが好ましい。この構成によれば、プロセッサ２１０は、対象物の外観の不具合に関する適切な出力データを生成できる。
（１２）画像生成モデル３００は、対象物の撮影画像から、不具合の無い対象物の画像を生成するように、訓練されることが好ましい。この構成によれば、プロセッサ２１０は、画像生成モデル３００に入力される画像データと、画像生成モデル３００によって生成される画像データと、第１画像処理によって生成される処理済原画像データと、を使用して、不具合に関する適切な出力データを生成できる。
画像生成モデル３００は、変分オートエンコーダに代えて、オートエンコーダ、敵対的生成ネットワーク（Generative Adversarial Networks）など、画像データを使用して画像データを生成する種々のモデルであってよい。画像生成モデル３００の訓練処理は、画像生成モデル３００に適する種々の処理であってよい。例えば、以下のように画像生成モデル３００の複数の演算パラメータが調整されてよい。具体的には、不具合の無い対象物の画像データを画像生成モデル３００に入力することによって生成される生成画像データと、画像生成モデル３００に入力される画像データと、の間の差が小さくなるように、画像生成モデル３００が訓練されてよい。この場合、訓練済の画像生成モデル３００は、不具合を有する対象物の画像が入力される場合に、不具合の無い対象物の画像を生成できる。
画像生成モデル３００に入力される画像データは、カラー画像データであってよい。画像生成モデル３００は、カラー画像データから、カラー画像データを生成するように構成されてよい。また、画像生成モデル３００は、カラー画像データから、グレースケール画像データを生成するように構成されてよい。なお、画像生成モデル３００を使用する処理（Ｓ３７４（図８））は、省略されてよい。例えば、プロセッサ２１０は、不具合の無い対象物の基準画像である基準対象物画像を使用するパターンマッチングによって、処理済撮影画像データ６４５ｄの処理済撮影画像６４５中の対象物を検出してよい。そして、Ｓ３７８では、プロセッサ２１０は、検出された対象物の位置に配置された基準対象物画像と、処理済撮影画像データ６４５ｄの画像と、の間の差分を示す差分画像データを生成してよい。
（１３）検査のためのデータ処理は、上述の実施例と変形例の処理に限らず、種々の処理であってよい。例えば、検査のためのデータ処理は、グレースケールの画像データを使用せずに、カラー画像データを使用して、行われてよい。また、検査のためのデータ処理は、カラー画像データを使用せずに、グレースケールの画像データを使用して、行われてよい。また、出力データを生成する第３画像処理は、図８の第３画像処理Ｓ９９０に限らず、種々の処理であってよい。例えば、差分画像と処理済原画像７５０とを重畳するために、差分画像データ６６０ｄのリサイズ処理（Ｓ３７９）に代えて、原画像データ７１０ｄに基づく画像データ（例えば、処理済原画像データ７５０ｄ）のリサイズ処理が行われてよい。また、出力データ６９０ｄは、出力画像６９０（図１０）を示す画像データに代えて、対象物が不具合を有する場合にその不具合を示す任意のデータであってよい。例えば、出力データは、不具合の部分をカラーで表し、他の部分をグレースケールで表す画像データを示してよい。また、出力データは、画像データに限らず、不具合の総数などの不具合に関する任意の情報を示すデータであってよい。
いずれの場合も、プロセッサ２１０は、出力データを使用して不具合に関するデータを出力する処理を実行してよい。不具合に関するデータの出力方法は、Ｓ３８６（図８）の方法に限らず、任意の方法であってよい。例えば、プロセッサ２１０は、検査結果を示す出力データを、記憶装置（例えば、不揮発性記憶装置２３０、または、データ処理装置２００に接続された図示しない外部記憶装置）に出力してよい（これにより、検査結果データが、記憶装置に格納される）。また、プロセッサ２１０は、出力データによって示される画像を、表示部２４０に出力してよい（これにより、検査結果が表示部２４０に表示される）。
（１４）図１のデータ処理装置２００は、パーソナルコンピュータとは異なる種類の装置（例えば、デジタルカメラ、スマートフォン）であってもよい。また、ネットワークを介
して互いに通信可能な複数の装置（例えば、コンピュータ）が、データ処理装置によるデータ処理の機能を一部ずつ分担して、全体として、データ処理の機能を提供してもよい（これらの装置を備えるシステムがデータ処理装置に対応する）。
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図７の色調整処理（Ｓ３２６、Ｓ３２８）の機能を、専用のハードウェア回路によって実現してもよい。
また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。
以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
１１０…デジタルカメラ、１９０…ベルト、１９１…上面、２００…データ処理装置、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３１…生成プログラム、２３２…訓練プログラム、２３３…検査プログラム、２４０…表示部、２５０…操作部、２７０…通信インタフェース、３００…画像生成モデル、３０２…エンコーダ、３０５…潜在データ、３０７…デコーダ、８００…ラベルシート、８０１…傷、９００…複合機、９０１…第１側面、９０９…底面、Ｄ１９０…搬送方向、Ｄ１１０…撮影方向、Ｍ１…物体検出モデル

Claims (18)

  1. 画像データを処理するコンピュータのためのコンピュータプログラムであって、
    印刷すべき画像である対象物画像を示す原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成機能と、
    印刷された対象物画像の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成機能と、
    前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記印刷された前記対象物画像の外観の不具合に関するデータである出力データを生成する第３生成機能と、
    をコンピュータに実現させ、
    前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、
    前記第２画像処理は、前記第１画像処理には含まれない第２処理を含む、
    コンピュータプログラム。
  2. 請求項１に記載のコンピュータプログラムであって、
    前記第１処理は、ノイズ付加処理とぼかし処理との一方または両方を含む前処理を含む、
    コンピュータプログラム。
  3. 画像データを処理するコンピュータのためのコンピュータプログラムであって、
    注目対象物の設計画像である対象物画像を示す原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成機能と、
    前記注目対象物の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成機能と、
    前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記注目対象物の外観の不具合に関するデータである出力データを生成する第３生成機能と、
    をコンピュータに実現させ、
    前記第３画像処理は、訓練済の機械学習モデルを使用する処理を含み、
    前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、
    前記第２画像処理は、前記第１画像処理には含まれない第２処理を含み、
    前記第１処理は、ノイズ付加処理とぼかし処理との一方または両方を含む前処理を含み、
    前記機械学習モデルは、前記原画像データに、前記前処理と同じ処理を含む処理を実行することによって生成される訓練画像データを使用して、訓練されている、
    コンピュータプログラム。
  4. 請求項３に記載のコンピュータプログラムであって、
    前記機械学習モデルは、前記注目対象物の画像を示す入力画像データから、不具合の無い注目対象物の画像を示す生成画像データを生成するように、訓練されている、
    コンピュータプログラム。
  5. 請求項１または３に記載のコンピュータプログラムであって、
    前記第１処理は、処理すべき画像データの色分布を前記撮影画像データに基づく画像データの色分布に近づける第１色調整処理を含み、
    前記第２処理は、処理すべき画像データの色分布を前記原画像データに基づく画像データの色分布に近づける第２色調整処理を含む、
    コンピュータプログラム。
  6. 請求項１または３に記載のコンピュータプログラムであって、
    前記第２処理は、ノイズ低減処理とぼけ低減処理との一方または両方を含む、
    コンピュータプログラム。
  7. 請求項１または３に記載のコンピュータプログラムであって、
    前記第１処理は、処理すべき画像データの画像のうちの前記対象物画像に対応する部分の外形を、前記撮影対象物画像の外形に合わせる第１外形合わせ処理を含む、
    コンピュータプログラム。
  8. 請求項２から４のいずれかに記載のコンピュータプログラムであって、
    前記第１処理は、
    前記原画像データに基づく画像データの色分布を前記撮影画像データに基づく画像データの色分布に近づける第１色調整処理と、
    前記第１色調整処理による処理済の画像データに対する前記前処理と、
    前記前処理による処理済の画像データの画像のうちの前記対象物画像に対応する部分の外形を前記撮影対象物画像の外形に合わせる第１外形合わせ処理と、
    を含む、コンピュータプログラム。
  9. 請求項１または３に記載のコンピュータプログラムであって、
    前記第３生成機能は、
    前記処理済撮影画像データの画像に含まれる撮影対象物画像と、不具合の無い対象物画像との間の異なる部分を示す差分画像の差分画像データを生成する処理と、
    前記差分画像データの差分画像と、前記処理済原画像データの画像と、の重畳画像を示す前記出力データを生成する処理と、
    をコンピュータに実現させる、コンピュータプログラム。
  10. 画像データを処理するように構成されたデータ処理装置であって、
    印刷すべき画像である対象物画像を示す原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成部と、
    印刷された対象物画像の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成部と、
    前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記印刷された前記対象物画像の外観の不具合に関するデータである出力データを生成する第３生成部と、
    を備え、
    前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、
    前記第２画像処理は、前記第１画像処理には含まれない第２処理を含む、
    データ処理装置。
  11. 画像データを処理するように構成されたデータ処理装置であって、
    注目対象物の設計画像である対象物画像を示す原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成部と、
    前記注目対象物の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成部と、
    前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記注目対象物の外観の不具合に関するデータである出力データを生成する第３生成部と、
    を備え、
    前記第３画像処理は、訓練済の機械学習モデルを使用する処理を含み、
    前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、
    前記第２画像処理は、前記第１画像処理には含まれない第２処理を含み、
    前記第１処理は、ノイズ付加処理とぼかし処理との一方または両方を含む前処理を含み、
    前記機械学習モデルは、前記原画像データに、前記前処理と同じ処理を含む処理を実行することによって生成される訓練画像データを使用して、訓練されている、
    データ処理装置。
  12. 画像データを処理するコンピュータのためのコンピュータプログラムであって、
    対象物の外観の写真である原画像データを使用して第１画像処理を実行することによって、処理済原画像データを生成する第１生成機能と、
    印刷された対象物画像の撮影画像である撮影対象物画像を示す撮影画像データを使用して第２画像処理を実行することによって、処理済撮影画像データを生成する第２生成機能と、
    前記処理済原画像データと前記処理済撮影画像データとを使用して第３画像処理を実行することによって、前記印刷された前記対象物画像の外観の不具合に関するデータである出力データを生成する第３生成機能と、
    をコンピュータに実現させ、
    前記第１画像処理は、前記第２画像処理には含まれない第１処理を含み、
    前記第２画像処理は、前記第１画像処理には含まれない第２処理を含む、
    コンピュータプログラム。
  13. 請求項１２に記載のコンピュータプログラムであって、
    前記第１処理は、ノイズ付加処理とぼかし処理との一方または両方を含む前処理を含む、
    コンピュータプログラム。
  14. 請求項１２に記載のコンピュータプログラムであって、
    前記第１処理は、処理すべき画像データの色分布を前記撮影画像データに基づく画像データの色分布に近づける第１色調整処理を含み、
    前記第２処理は、処理すべき画像データの色分布を前記原画像データに基づく画像データの色分布に近づける第２色調整処理を含む、
    コンピュータプログラム。
  15. 請求項１２に記載のコンピュータプログラムであって、
    前記第２処理は、ノイズ低減処理とぼけ低減処理との一方または両方を含む、
    コンピュータプログラム。
  16. 請求項１２に記載のコンピュータプログラムであって、
    前記第１処理は、処理すべき画像データの画像のうちの前記対象物画像に対応する部分の外形を、前記撮影対象物画像の外形に合わせる第１外形合わせ処理を含む、
    コンピュータプログラム。
  17. 請求項１３に記載のコンピュータプログラムであって、
    前記第１処理は、
    前記原画像データに基づく画像データの色分布を前記撮影画像データに基づく画像データの色分布に近づける第１色調整処理と、
    前記第１色調整処理による処理済の画像データに対する前記前処理と、
    前記前処理による処理済の画像データの画像のうちの前記対象物画像に対応する部分の外形を前記撮影対象物画像の外形に合わせる第１外形合わせ処理と、
    を含む、コンピュータプログラム。
  18. 請求項１２に記載のコンピュータプログラムであって、
    前記第３生成機能は、
    前記処理済撮影画像データの画像に含まれる撮影対象物画像と、不具合の無い対象物画像との間の異なる部分を示す差分画像の差分画像データを生成する処理と、
    前記差分画像データの差分画像と、前記処理済原画像データの画像と、の重畳画像を示す前記出力データを生成する処理と、
    をコンピュータに実現させる、コンピュータプログラム。
JP2022107390A 2021-11-01 2022-07-01 コンピュータプログラム、および、データ処理装置 Pending JP2023067731A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/039284 WO2023074566A1 (ja) 2021-11-01 2022-10-21 コンピュータプログラム、および、データ処理装置
US18/643,168 US20240275903A1 (en) 2021-11-01 2024-04-23 Storage medium storing computer-readable instructions causing computer to execute image process on image data to generate output data related to defect in appearance of object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021178700 2021-11-01
JP2021178700 2021-11-01

Publications (1)

Publication Number Publication Date
JP2023067731A true JP2023067731A (ja) 2023-05-16

Family

ID=86326112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022107390A Pending JP2023067731A (ja) 2021-11-01 2022-07-01 コンピュータプログラム、および、データ処理装置

Country Status (1)

Country Link
JP (1) JP2023067731A (ja)

Similar Documents

Publication Publication Date Title
US7684642B2 (en) Correction of redeye defects in images of humans
KR20200043448A (ko) 이미지 처리를 위한 방법 및 장치, 및 컴퓨터 판독 가능 저장 매체
US20090245655A1 (en) Detection of Face Area and Organ Area in Image
JPH1115947A (ja) 画像処理装置
JP2002503840A (ja) 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定
US9727984B2 (en) Electronic device and method for processing an image
US20090028390A1 (en) Image Processing for Estimating Subject Distance
CN116912233B (zh) 基于液晶显示屏的缺陷检测方法、装置、设备及存储介质
CN111915485A (zh) 一种特征点稀疏工件图像的快速拼接方法及系统
Carbajal et al. Blind motion deblurring with pixel-wise Kernel estimation via Kernel prediction networks
JP7160211B2 (ja) 機械学習モデル、生成装置、コンピュータプログラム
US11625886B2 (en) Storage medium storing program, training method of machine learning model, and image generating apparatus
WO2023074566A1 (ja) コンピュータプログラム、および、データ処理装置
JP2023067731A (ja) コンピュータプログラム、および、データ処理装置
JP2003143401A (ja) オリジナル画像の自動的なリアルタイムの修復方法
JP2004219291A (ja) 画面の線欠陥検出方法及び装置
US20240282085A1 (en) Method of producing storage medium storing machine learning model and storage medium storing computer-readable instructions for performing anomaly detection in object with machine learning model
JP2023163317A (ja) コンピュータプログラム、および、データ処理装置
JP2004219072A (ja) 画面のスジ欠陥検出方法及び装置
JP2023173600A (ja) コンピュータプログラム、および、データ処理装置。
JP2008079196A (ja) 画像補正方法と画像補正プログラムと画像補正モジュール
JP2023051343A (ja) 判定データの生成方法、および、コンピュータプログラム
US20240013361A1 (en) Image processing device and method for image processing
JP5760495B2 (ja) 画像鮮明化装置、画像出力装置、画像鮮明化プログラム、画像処理装置及び画像処理プログラム
JP2009217506A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220702