JP2021107947A - 印刷物検査装置、印刷物検査方法、および印刷物検査プログラム - Google Patents

Abstract

【課題】作業量を増大させることなく、ヤレ紙の検出精度を向上できる、印刷物検査装置を提供する。【解決手段】記録媒体への画像の形成と、形成された画像の読取りと、による画像の変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、当該変化後のＲＩＰデータの画像を、推定出力画像としてシミュレーションするシミュレーション部と、入力画像に基づいて記録媒体に形成された画像が読み取られることで得られた出力画像と、推定出力画像とを比較する比較部と、比較結果に基づいて、ヤレ紙を特定する特定部と、を有する。【選択図】図７

Description

本発明は、印刷物検査装置、印刷物検査方法、および印刷物検査プログラムに関する。

画像形成装置により画像形成された印刷物の検査においてヤレ紙の検出が行われる。ヤレ紙の検出方法には主に２つの方法がある。一方は、基準となる参照印刷物、および検査対象の印刷物をそれぞれスキャンして得られたスキャン画像同士の差分を抽出することで汚れ等があるヤレ紙を検出する方法である。他方は、基準となるＲＩＰデータと、検査対象の印刷物をスキャンして得られたスキャン画像との差分を抽出することでヤレ紙を検出する方法である。

前者に関連する技術としては、下記特許文献１に記載されたものがある。すなわち、シート状の印刷物の被検査面をラインセンサーにより撮像した多階調のライン画像と、あらかじめラインセンサーにより撮像しておいた、基準となるマスターの多階調のライン画像とをパターンマチングし、両者の濃度レベルを比較する。そして、両者の濃度レベル差が許容値を超えた部分に対応する被検査面の部分を欠陥と判定する。

後者に関連する技術としては、下記特許文献２に記載されたものがある。すなわち、印刷ジョブから生成したマスター画像と、当該印刷ジョブにより用紙上に形成された検査対象画像とを位置合わせをした後に照合して差分を抽出し、差分が所定の閾値を超えた場合に検査対象画像が欠陥画像であると判定し、当該用紙を再印刷する。位置合わせは、２つの段階で行う。最初の段階では、両画像全体を複数のブロックに分割し、両画像周辺部の複数の領域において画像に重畳させたマーカーの位置の一致度が最も高くなるように両画像の位置を補正する。次の段階では、ブロック内の画像にエッジ成分を豊富に含むブロック等を位置合わせに好適なブロックとして選択し、選択されたブロック内の類似度が最も高くなるように両画像の位置を補正する。

特開平６−２０１６１１号公報 特開２０１３−１８６５６２号公報

しかし、前者の方法は、参照印刷物の作成および読取りが必要になるため、作業量が多くなるという問題がある。後者の方法は、用紙への画像の形成および読取りによる画像の変化が検査対象の印刷物には含まれる一方で、基準となるＲＩＰデータに当該変化が含まれない。このため、基準となるＲＩＰデータと、検査対象の印刷物をスキャンすることで得られたスキャン画像との差分に、当該変化が比較的大きく影響し、ヤレ紙の検出精度を劣化させるという問題がある。

本発明は、このような問題を解決するためになされたものである。すなわち、作業量を増大させることなく、ヤレ紙の検出精度を向上できる、印刷物検査装置、印刷物検査方法、および印刷物検査プログラムを提供することを目的とする。

本発明の上記課題は、以下の手段によって解決される。

（１）画像形成装置による記録媒体への画像の形成と、形成された前記画像の読取装置による読取りと、による前記画像の変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、前記変化後のＲＩＰデータの画像を、推定出力画像としてシミュレーションするシミュレーション部と、前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた出力画像と、前記推定出力画像とを比較する比較部と、前記比較部による比較結果に基づいて、異常の記憶媒体を特定する特定部と、を有する印刷物検査装置。

（２）前記ニューラルネットワークは、ＲＩＰデータの学習用入力画像と、前記学習用入力画像に前記画像の変化が加えられた学習用出力画像と、の組合せの学習用データが入力されたときに、前記学習用出力画像に加えられた前記画像の変化が、前記学習用入力画像に対して再現された前記推定出力画像を出力するようにあらかじめ学習された学習済モデルのニューラルネットワークである、上記（１）に記載の印刷物検査装置。

（３）前記画像の変化は、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかの画質の変化であり、前記ニューラルネットワークは、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラのいずれかを再現するためのチャートの前記学習用入力画像と、前記チャートの前記学習用入力画像に前記画像の変化が加えられた前記学習用出力画像と、の組合せを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、上記（２）に記載の印刷物検査装置。

（４）前記ニューラルネットワークは、文字のチャートの前記学習用入力画像と、前記文字のチャートの前記学習用入力画像に前記画像の変化が加えられた前記学習用出力画像と、の組合せを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、上記（３）に記載の印刷物検査装置。

（５）前記シミュレーション部は、特定の画質の劣化を検出するための前記学習済モデル、ならびに、前記画像形成装置および前記読取装置の使用時間ごとの前記変化をそれぞれ再現するための学習済モデルのうち現在の使用時間に対応する学習済モデル、の複数のニューラルネットワークにより、共通の前記入力画像から前記推定出力画像をそれぞれシミュレーションし、前記シミュレーション部によるシミュレーションにより得られた複数の前記推定出力画像のうち、前記共通の前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像との差異が最も小さい前記推定出力画像を特定し、特定した前記推定出力画像をシミュレーションした前記学習済モデルのニューラルネットワークを決定する決定部をさらに有し、前記シミュレーション部は、前記決定部により決定された前記学習済モデルのニューラルネットワークにより、前記入力画像から前記推定出力画像をシミュレーションする、上記（１）に記載の印刷物検査装置。

（６）画像形成装置による記録媒体への画像の形成と、形成された前記画像の読取装置による読み取りとによる前記画像の変化を、前記変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、前記変化後のＲＩＰデータの出力画像を推定出力画像としてシミュレーションする段階（ａ）と、前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像と、前記推定出力画像とを比較する段階（ｂ）と、前記段階（ｂ）における比較結果に基づいて、異常の記録媒体を特定する段階（ｃ）と、を有する印刷物検査方法。

（７）前記ニューラルネットワークは、前記入力画像と、前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像との組合せの教師データを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、上記（６）に記載の印刷物検査方法。

（８）前記変化は、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかの、画質の変化であり、前記ニューラルネットワークは、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラをそれぞれ再現するためのチャートの前記入力画像と、前記チャートの前記入力画像に対応する前記出力画像との組合せの教師データを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、上記（７）に記載の印刷物検査方法。

（９）前記ニューラルネットワークは、文字のチャートの前記入力画像と、前記文字のチャートの前記入力画像に対応する前記出力画像との組合せの教師データを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、上記（８）に記載の印刷物検査方法。

（１０）前記段階（ａ）は、特定の画質の劣化を検出するための前記学習済モデル、ならびに前記画像形成装置および前記読取装置の少なくともいずれかの使用時間ごとの前記変化をそれぞれ再現するための学習済モデル、のそれぞれのニューラルネットワークにより、共通の前記入力画像から前記推定出力画像をそれぞれシミュレーションし、前記段階（ａ）におけるシミュレーションにより得られた複数の前記推定出力画像のうち、前記共通の前記入力画像に対応する前記出力画像との差分が小さい前記推定出力画像を決定する段階（ｄ）をさらに有し、前記段階（ｂ）は、前記共通の前記入力画像基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像と、前記決定部により決定された前記推定出力画像とを比較する、上記（６）に記載の印刷物検査方法。

（１１）上記（６）〜（１０）のいずれかに記載の印刷物検査方法をコンピュータにより実行するための印刷物検査プログラム。

記録媒体への画像の形成および画像の読み取りによる画像の変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、当該変化後の画像をシミュレーションする。そして、シミュレーションにより得られた画像と、検査対象である印刷物に形成された画像が読み取られることで得られた画像とを比較し、比較結果に基づいてヤレ紙を特定する。これにより、作業量を増大させることなく、ヤレ紙の検出精度を向上できる。

第１実施形態に係る印刷物検査装置を含む画像形成装置の構成を示す概略図である。 画像形成装置の構成を示すブロック図である。 印刷物検査装置の学習時の制御部の機能を示すブロック図である。 学習用入力画像、学習用出力画像、および推定出力画像の例を具体的に示した、印刷物検査装置の学習時の制御部の機能を示すブロック図である。 学習用入力画像、学習用出力画像、および推定出力画像の他の例を具体的に示した、印刷物検査装置の学習時の制御部の機能を示すブロック図である。 文字のチャートの画像データの画像と、当該画像データに基づいて用紙に形成された画像が読み取られることで得られた画像とを示す図である。 印刷物検査装置の印刷物検査時の制御部の機能を示すブロック図である。 シミュレーション部に入力されるＲＩＰデータの入力画像と推定出力画像の例を具体的に示した、印刷物検査時のシミュレーション部の機能を示すブロック図である。 印刷物検査装置の学習時の制御部１１０の動作を示すフローチャートである。 印刷物検査装置の印刷物検査時の制御部１１０の動作を示すフローチャートである。 第２実施形態に係る印刷物検査装置の印刷物検査時の制御部の機能を示すブロック図である。 第３実施形態の印刷物検査装置の印刷物検査時の制御部の機能を示すブロック図である。

以下、図面を参照して、本発明の実施形態に係る、印刷物検査装置、印刷物検査方法、および印刷物検査プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
図１は、第１実施形態に係る印刷物検査装置を含む画像形成装置の構成を示す概略図である。図２は、画像形成装置の構成を示すブロック図である。

画像形成装置１００は、制御部１１０、記憶部１２０、通信部１３０、操作表示部１４０、画像読取部１５０、画像制御部１６０、および画像形成部１７０を有する。これらの構成要素は、バス１８０により互いに通信可能に連結されている。画像形成装置１００は、ＭＦＰ（ＭｕｌｔｉＦｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）により構成され得る。制御部１１０は印刷物検査装置を構成する。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および各種メモリを備えており、プログラムにしたがって上記各部の制御や各種の演算処理を行う。制御部１１０の機能の詳細については後述する。

記憶部１２０は、ＳＤＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）またはＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等により構成され、各種プログラムおよび各種データを記憶する。

通信部１３０は、画像形成装置１００と外部機器との間で通信を行うためのインターフェースである。通信部１３０として、イーサネット（登録商標）、ＳＡＴＡ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられる。また、通信部１３０として、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信インターフェースなどの各種ローカル接続インターフェースなどが用いられる。

操作表示部１４０は、タッチパネル、テンキー、スタートボタン、およびストップボタン等を備えており、各種情報の表示および各種指示の入力に使用される。

画像読取部１５０は、読取装置を構成し、蛍光ランプなどの光源およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサーなどの撮像素子を有する。画像読取部１５０は、所定の読み取り位置にセットされた原稿に光源から光を当て、その反射光を撮像素子で光電変換して、その電気信号から画像データを生成する。

画像制御部１６０は、通信部１３０により受信された印刷ジョブ等に含まれる印刷データのレイアウト処理およびラスタライズ処理を行い、ビットマップ形式の画像データを生成する。

印刷ジョブとは、画像形成装置１００に対する印刷命令の総称であり、印刷データおよび印刷設定が含まれる。印刷データとは、印刷の対象である文書のデータであり、印刷データには、たとえば、イメージデータ、ベクタデータ、テキストデータといった各種データが含まれ得る。具体的には、印刷データは、ＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）データ、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）データまたはＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）データであり得る。印刷設定とは、用紙への画像形成に関する設定であり、たとえば、ページ数、印刷部数、紙種、カラーまたはモノクロの選択、およびページ割付などの各種設定が含まれる。

画像形成部１７０は、作像部４０、定着部５０、給紙部６０、および用紙搬送部７０を有する。

作像部４０は、Ｙ（イエロー）、Ｍ（マゼンタ）、Ｃ（シアン）、およびＫ（ブラック）の各色のトナーに対応した作像ユニット４１Ｙ、４１Ｍ、４１Ｃ、４１Ｋを有する。各作像ユニット４１Ｙ、４１Ｍ、４１Ｃ、４１Ｋにより、画像データに基づいて、帯電、露光、および現像のプロセスを経て形成されたトナー画像は、中間転写ベルト４２上に順次重ねられて、２次転写ローラー４３により用紙９００上に転写される。

定着部５０は、加熱ローラー５１および加圧ローラー５２を有し、両ローラー５１、５２の定着ニップに搬送された用紙９００を加熱および加圧して、用紙９００上のトナー画像をその表面に溶融定着する。

定着部５０によりトナー画像が定着された用紙９００は、印刷物（出力物）として排紙トレイ１９０に排紙される。

給紙部６０は、複数の給紙トレイ６１、６２を有し、給紙トレイ６１、６２に収容された用紙９００を１枚ずつ下流側の搬送経路に送り出す。

用紙搬送部７０は、用紙９００を搬送するための複数の搬送ローラーを有し、作像部４０、定着部５０、および給紙部６０の各部間で用紙９００を搬送する。複数の搬送ローラーには、用紙９００の傾きを矯正するためのレジストローラー７１や、用紙９００に所定量のループを形成するためのループローラー７２が含まれる。

用紙搬送部７０は、画像形成された用紙９００を排紙トレイ９０に排紙する。

制御部１１０の機能の詳細について説明する。

図３は、印刷物検査装置の学習時の制御部の機能を示すブロック図である。上述したように、制御部１１０は印刷物検査装置を構成するため、以下、印刷物検査装置の学習時の主体を印刷物検査装置として説明する。

印刷物検査装置は、第１エンコーダー１１１、特徴変換部１１２、デコーダー１１３、および第２エンコーダー１１４を有する。これらの構成要素はそれぞれニューラルネットワークにより構成され得る。第１エンコーダー１１１、特徴変換部１１２、およびデコーダー１１３は、シミュレーション部１０を構成する。なお、第２エンコーダー１１４は、印刷物検査装置の学習時のみに必要となり、後述する印刷物検査時には不要となる。このため、学習後は、第２エンコーダーは印刷物検査装置に実装されなくてもよい。

印刷物検査装置は、画像形成部１７０による用紙９００への画像の形成と、形成された画像の画像読取部１５０による読取りと、による画像の変化を再現するための学習をする。以下、画像形成部１７０による用紙９００への画像の形成と、形成された画像の画像読取部１５０による読取りと、による画像の変化を、「特定変化」と称する。これにより、学習後の印刷物検査装置は、特定変化した画像データを推定出力画像としてシミュレーションできる。特定変化には、たとえば、画像形成部１７０による用紙９００への画像の形成の際の、潜像形成時の光学系のノイズによる画像の変化やトナー画像の定着時の用紙９００のサイズの変化、ならびに画像読取部１５０による画像の読取り時の光学系のノイズによる画像の変化等が含まれる。

印刷物検査装置は、ＲＩＰデータの学習用入力画像５００と、当該学習用入力画像５００に特定変化が加えられた学習用出力画像６００と、の組合せを学習用データとして学習する。特定変化には、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかの画質の変化が含まれる。階調性とは、たとえば色の濃淡の変化、または濃淡変化の滑らかさの特性である。色再現性とは、たとえばオリジナルの色の再現の程度を示す特性である。先鋭性とは、たとえば画像の明瞭さの特性である。配光ムラとは、たとえば画像空間に対する光度分布が均一でなくなっている様である。

第１エンコーダー１１１には、ＲＩＰデータの学習用入力画像５００と、当該学習用入力画像に特定変化が加えられた学習用出力画像６００とが、学習用データとして入力される。学習用入力画像５００は、たとえばコンテンツＡのビットマップ形式のＲＩＰデータである。学習用入力画像５００は、印刷ジョブに含まれる印刷データが画像制御部１６０によりラスタライズ処理されることで得られる画像データ等を想定している。したがって、学習用入力画像５００は、用紙９００への画像の形成や形成された画像の画像読取部１５０による読取りが行われる前の画像であるため、特定変化は含まれていない。学習用出力画像６００は、印刷ジョブに含まれる印刷データが画像制御部１６０によりラスタライズ処理されて得られる画像データに基づいて画像形成部１７０により用紙９００に画像が形成され当該画像が画像読取部１５０により読取られて得られる画像等である。したがって、学習用出力画像６００には特定変化が含まれている。

第１エンコーダー１１１は、学習用入力画像５００からコンテンツＡの特徴を抽出するとともに、学習用出力画像６００から学習用出力画像６００に含まれる特定変化の特徴を抽出する。

特徴変換部１２は、学習用入力画像５００のコンテンツＡの特徴と学習用出力画像６００に含まれる特定変化の特徴とに基づいて、コンテンツＡの特徴に特定変化の特徴を加える変換を行う。これにより、特徴変換部１１２は、コンテンツＡに特定変化が加わった画像の特徴を算出する。

デコーダー１１３は、コンテンツＡの特徴に特定変化の特徴が加わった特徴から、コンテンツＡに特定変化が加わった画像を、推定出力画像５５０として再現する。

第２エンコーダー１１４は、推定出力画像５５０から、コンテンツＡに特定変化が加わった画像の特徴を抽出する。

印刷物検査装置は、特徴変換部１１２により算出された、コンテンツＡの特徴に特定変化の特徴が加わった特徴と、第２エンコーダー１１４により抽出された、コンテンツＡに特定変化が加わった画像の特徴との差異に基づく第１ロスＬ１を算出する。

第２エンコーダー１１４は、推定出力画像５５０から推定出力画像５５０に含まれる特定変化の特徴を第１特徴として抽出する。第２エンコーダー１１４は、学習用出力画像６００から学習用出力画像６００に含まれる特定変化の特徴を第２特徴として抽出する。

印刷物検査装置は、第１特徴と第２特徴との差異に基づく第２ロスＬ２を算出する。

印刷物検査装置は、第１ロスＬ１と第２ロスＬ２の和を総合ロスとして算出し、総合ロスが最も小さくなるように、第１エンコーダー１１、特徴変換部１２、デコーダー１３、および第２エンコーダー１４を誤差逆伝播法により学習させる。なお、総合ロスは、第１ロスＬ１および第２ロスＬ２に適切な重み付けがなされた後の和であってもよい。

図４は、学習用入力画像、学習用出力画像、および推定出力画像の例を具体的に示した、印刷物検査装置の学習時の制御部の機能を示すブロック図である。

学習用入力画像５０１のコンテンツは、たとえば、内部に色が付されていない円、および内部に濃度の異なる色が付された３つの円を含む４つの円である。学習用出力画像６０１のコンテンツは、たとえば、学習用入力画像５０１のコンテンツと同じである。学習用出力画像６０１には、特定変化としてコンテンツを含む全体にグレーの色を含む。この場合、推定出力画像５５１は、学習用入力画像５０１のコンテンツに、学習用出力画像６０１に含まれる特定変化が反映された画像となる。具体的には、推定出力画像５５１は、内部に色が付されていない円、および内部に濃度の異なる色が付された３つの円を含む４つの円のコンテンツを含む画像全体にグレーの色が特定変化として反映された画像となる。

図５は、学習用入力画像、学習用出力画像、および推定出力画像の他の例を具体的に示した、印刷物検査装置の学習時の制御部の機能を示すブロック図である。

学習用入力画像５０２のコンテンツは、たとえば、内部に色が付されていない円、および内部に濃度の異なる色が付された３つの円を含む４つの円を含むコンテンツＡと同じコンテンツである。学習用出力画像６０２のコンテンツは、たとえば、学習用入力画像５０２のコンテンツ（コンテンツＡ）とは異なり、内部に黒色が付された４つの円のコンテンツ（コンテンツＢ）である。学習用出力画像６０２には、特定変化としてコンテンツを含む全体にグレーの色を含む。この場合、推定出力画像５５２は、学習用入力画像５０２のコンテンツに、学習用出力画像６０２に含まれる特定変化が反映された画像となる。具体的には、推定出力画像５５２は、内部に色が付されていない円、および内部に濃度の異なる色が付された３つの円を含む４つの円のコンテンツを含む画像全体にグレーの色が特定変化として反映された画像となる。すなわち、図４の例と図５の例において、推定出力画像５５０は同じものになる。

図６は、文字のチャートの画像データの画像と、当該画像データに基づいて用紙に形成された画像が読み取られることで得られた画像とを示す図である。図６において、左側の図が文字のチャートの画像データの画像であり、右側の図が文字のチャートの画像データに基づいて用紙に形成された画像が読み取られることで得られた画像である。

図６の例に示すように、用紙９００への画像の形成および用紙９００上の画像が読み取られることにより、文字のエッジが鈍り、色も変化する。また、たとえば文字の近くにノイズがのると、数字の桁が変わる等、文字による情報を大きく棄損させる可能性がある。文字のチャートの学習用入力画像５００と、文字のチャートに特定変化を反映させた学習用出力画像６００との組合せの学習データを用いてシミュレーション部１０を学習させることにより、後述する印刷物検査において、文字を含む印刷物に関するヤレ紙検出精度を効果的に向上させることができる。

図７は、印刷物検査装置の印刷物検査時の制御部の機能を示すブロック図である。上述したように、制御部１１０は印刷物検査装置を構成するため、以下、印刷物検査における主体を、学習時と同様に、印刷物検査装置として説明する。なお、図７においては、説明を簡単にするために、画像形成部１７０および画像読取部１５０も併せて示されている。

印刷物検査装置は、第１エンコーダー１１１、特徴変換部１１２、デコーダー１１３、位置合せ部１１５、比較部１１６、および特定部１１７を有する。

第１エンコーダー１１１、特徴変換部１１２、およびデコーダー１１３は、上述した、特定変化を再現するための学習があらかじめなされている。第１エンコーダー１１１、特徴変換部１１２、およびデコーダー１１３は、シミュレーション部１０を構成する。

印刷物検査の検査対象は、用紙９００に形成された検査対象画像５１３である。

検査対象画像５１３を印刷物として出力させるための印刷ジョブに含まれる印刷データが画像制御部１６０によりラスタライズ処理されることで得られるビットマップ形式のＲＩＰデータである画像データが、入力画像として第１エンコーダー１１１に入力される。図７の例においては、入力画像５０３のコンテンツはコンテンツＣである。

第１エンコーダー１１１は、入力画像５０３からコンテンツＣの特徴を抽出する。第１エンコーダー１１１は、抽出したコンテンツＣの特徴とともに、特定変化の特徴を特徴変換部１１２へ出力する。第１エンコーダー１１１は、あらかじめ学習されることで、コンテンツＣの特徴の抽出および出力、ならびに特定変化の特徴の出力が可能になっている。

特徴変換部１１２は、入力画像５０３のコンテンツＣの特徴に特定変化の特徴を加える変換を行う。

デコーダー１１３は、特徴変換部１１２による変換により得られた特徴から、コンテンツＣに特定変化が加わった画像を、推定出力画像５５３として再現する。

一方、入力画像５０３は、画像形成部１７０により用紙９００に形成されることで検査対象画像（用紙上の画像）５１３となる。

検査対象画像５１３は、印刷物検査のために、画像読取部１５０により読取られることで出力画像（読取画像）５２３となる。

位置合せ部１１５は、たとえば製本時に使用されるいわゆる「トンボ」等マーカーを利用した公知の方法により、出力画像５２３と推定出力画像５５３とを位置合わせする。

比較部１１６は、位置合わせされた、出力画像５２３と基準画像である推定出力画像５５３とを比較する。比較部１１６は、たとえば、推定出力画像５５３と出力画像５２３とを、位置合わせされたことで対応する画素同士の明度、色相、および彩度の少なくともいずれかについて差分を算出することで比較してもよい。

特定部１１７は、比較部１１６による比較結果に基づいて、検査対象画像５１３が形成された用紙（印刷物）９００がヤレ紙かどうか判定する。これにより、特定部１１７は、ヤレ紙を特定する。特定部１１７は、比較部１１６により算出された差分があらかじめ設定された閾値を超えた画素があると判断した場合、当該画素を含む出力画像５２３が読み取られた用紙９００をヤレ紙と判断し得る。当該閾値は、上述した画素同士の明度等の差分の大きさとヤレ紙と判断される場合との相関関係を実験等によりあらかじめ求めておき、当該相関関係に基づいて設定し得る。

図８は、シミュレーション部に入力されるＲＩＰデータの入力画像と推定出力画像の例を具体的に示した、印刷物検査時のシミュレーション部の機能を示すブロック図である。

入力画像５０４のコンテンツは、たとえば、内部に色が付されていない円、および内部に濃度の異なる色が付された３つの円を含む４つの円のコンテンツＣである。図７の例においては、シミュレーション部１０を構成する、第１エンコーダー１１１、特徴変換部１１２、およびデコーダー１１３は、特定変化として、コンテンツを含む画像全体にグレーの色を再現するようにあらかじめ学習されている。

このため、コンテンツＣの入力画像５０４が入力されると、シミュレーション部１０２は、内部に色が付されていない円、および内部に濃度の異なる色が付された３つの円を含む４つの円のコンテンツＣを含む画像全体にグレーの色が特定変化として反映された推定出力画像５５４をシミュレーションして出力する。

制御部１１０の動作について説明する。

図９は、印刷物検査装置の学習時の制御部１１０の動作を示すフローチャートである。本フローチャートは、制御部１１０により、プログラムにしたがい実行され得る。

制御部１１０は、学習用入力画像５００と、学習用出力画像６００との組合せを学習用データとして取得する（Ｓ１０１）。制御部１１０は、あらかじめ記憶部１２０に記憶された学習用データを読み出すことで、学習用データを取得し得る。

制御部１１０は、第１エンコーダー１１１により、学習用入力画像５００のコンテンツの特徴と、学習用出力画像６００に含まれる特定変化の特徴を、学習用データから抽出する（Ｓ１０２）。

制御部１１０は、ステップＳ１０２において抽出したコンテンツの特徴に特定変化の特徴を加える変換を特徴変換部１１２により実行する（Ｓ１０３）。

制御部１１０は、ステップＳ１０４における変換により得られた特徴から、推定出力画像５５０を、デコーダー１１３により再現する（Ｓ１０４）。

制御部１１０は、ステップＳ１０４における変換により得られた特徴と、第２エンコーダー１１４により推定出力画像５５０から抽出した推定出力画像５５０の特徴の差異を第１ロスＬ１として算出する（Ｓ１０５）。

制御部１１０は、ステップＳ１０１で取得した学習用出力画像６００から特定変化の特徴を第１特徴として抽出する（Ｓ１０６）。

制御部１１０は、推定出力画像５５０から特定変化の特徴を第２特徴として抽出する（Ｓ１０７）。

制御部１１０は、第１特徴と第２特徴との差異を第２ロスとして算出する（Ｓ１０８）。

制御部１１０は、第１ロスＬ１と第２ロスＬ２の和が最も小さくなるように、シミュレーション部１０および第２エンコーダー１１４を学習する（Ｓ１０９）。

図１０は、印刷物検査装置の印刷物検査時の制御部の動作を示すフローチャートである。本フローチャートは、制御部１１０により、プログラムにしたがい実行され得る。

制御部１１０は、学習済のシミュレーション部１０により、ＲＩＰデータの入力画像５０３から、推定出力画像５５３をシミュレーションする（Ｓ２０１）。

制御部１１０は、入力画像５０３に基づいて、画像形成部１７０により用紙９００に検査対象画像５１３を形成し、形成された検査対象画像５１３を画像読取部１５０により読み取ることで出力画像５２３を取得する（Ｓ２０２）。

制御部１１０は、比較部１１６により、推定出力画像５５３と出力画像５２３とを比較する（Ｓ２０３）。

制御部１１０は、特定部１１７により、比較部１１６による比較結果に基づいて、推定出力画像５５３と出力画像５２３の差分が閾値を超えたかどうか判断する（Ｓ２０４）。

制御部１１０は、推定出力画像５５３と出力画像５２３の差分が閾値を超えたと判断したときは（Ｓ２０４：ＹＥＳ）、出力画像５２３が読み取られた用紙９００をヤレ紙として特定する（Ｓ２０５）。制御部１１０は、推定出力画像５５３と出力画像５２３の差分が閾値を超えていないと判断したときは（Ｓ２０４：ＮＯ）、処理を終了する。

（第２実施形態）
第２実施形態について説明する。本実施形態と第１実施形態とで異なる点は、本実施形態は、制御部１１０の機能として位置合せ部１１５を有しない点である。それ以外の点は、第１実施形態と同様であるため、重複となる説明は省略する。

図１１は、第２実施形態に係る印刷物検査装置の印刷物検査時の制御部の機能を示すブロック図である。

本実施形態においては、位置合せ部１１５を有しないため、推定出力画像５５３と出力画像５２３との位置合わせを行わない。これにより、単一色のページが印刷される場合等、推定出力画像５５３と出力画像５２３との位置合わせを行う必要性が低い場合に、位置合わせの処理が省略されることで、印刷物検査における演算量を抑制できる。

（第３実施形態）
第３実施形態について説明する。本実施形態と第１実施形態とで異なる点は次の点である。すなわち、本実施形態は、シミュレーション部１０が、異なる学習済モデルの複数のニューラルネットワーク２１〜２５を有し、出力画像との差異が最も小さい推定出力画像をシミュレーションしたニューラルネットワーク２１〜２５を決定する。そして、印刷物検査時に、決定したニューラルネットワーク２１〜２５により、入力画像５０３から推定出力画像５５３をシミュレーションする点である。それ以外の点は、第１実施形態と同様であるため、重複となる説明は省略する。

図１２は、第３実施形態の印刷物検査装置の印刷物検査時の制御部の機能を示すブロック図である。

シミュレーション部１０は、複数のニューラルネットワーク２１〜２５を有する。これらのニューラルネットワーク２１〜２５は、それぞれ、第１実施形態における第１エンコーダー１１１、特徴変換部１１２、およびデコーダー１１３を含むニューラルネットワークに対応する。

第１ニューラルネットワーク２１は、特定の画質Ａの劣化を検出するための学習がされた学習済モデルのニューラルネットワークである。第２ニューラルネットワーク２２は、特定の画質Ｂの劣化を検出するための学習がされた学習済モデルのニューラルネットワークである。第３ニューラルネットワーク２３は、特定の画質Ｃの劣化を検出するための学習がされた学習済モデルのニューラルネットワークである。画質Ａ、画質Ｂ、および画質Ｃはそれぞれ異なる画質であり、たとえば、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかであり得る。

第４ニューラルネットワーク２４は、たとえば、画像形成部１７０の使用時間ごとの特定変化を再現するために学習された学習済モデルのうち現在の使用時間に対応する学習済モデルのニューラルネットワークである。すなわち、現在までの画像形成部１７０の使用時間に対応する特定変化を再現するために学習された学習済モデルのニューラルネットワークである。現在までの使用時間は、たとえば、印刷枚数の累計値を記憶部１２０に記憶しておき、当該累計値に基づいて算出され得る。第５ニューラルネットワーク２５は、たとえば、画像読取部１５０の使用時間ごとの特定変化を再現するために学習された学習済モデルのうち現在の使用時間に対応する学習済モデルのニューラルネットワークである。すなわち、現在までの画像読取部１５０の使用時間に対応する特定変化を再現するために学習された学習済モデルのニューラルネットワークである。現在までの使用時間は、たとえば、読取枚数の累計値を記憶部１２０に記憶しておき、当該累計値に基づいて算出され得る。

決定部１１８は、各ニューラルネットワーク２１〜２５によるシミュレーションにより得られた複数の推定出力画像５５３を取得する。決定部１１８は、取得した複数の推定出力画像５５３のうち、共通の入力画像５０３に基づいて画像形成部１７０により用紙９００に形成された画像が画像読取部１５０により読み取られることで得られた出力画像との差異が最も小さい推定出力画像５５３特定する。決定部１１８は、特定した推定出力画像５５３をシミュレーションしたニューラルネットワーク２１〜２５を決定する。

シミュレーション部１０は、決定されたニューラルネットワーク２１〜２５により、印刷物検査時に、入力画像５０３から推定出力画像５５３をシミュレーションする。

上述した実施形態は、以下の効果を奏する。

記録媒体への画像の形成および画像の読み取りによる特定変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、特定変化後の画像をシミュレーションする。そして、シミュレーションにより得られた画像と、検査対象である印刷物に形成された画像が読み取られることで得られた画像とを比較し、比較結果に基づいてヤレ紙を特定する。これにより、作業量を増大させることなく、ヤレ紙の検出精度を向上できる。

さらに、ニューラルネットワークを、ＲＩＰデータの学習用入力画像と、当該学習用入力画像に特定変化が加えられた学習用出力画像と、の組合せの学習用データが入力されたときに、学習用出力画像に加えられた特定変化が、学習用入力画像に対して再現された推定出力画像を出力するようにあらかじめ学習させる。これにより、ヤレ紙の検出精度をさらに向上できる。

さらに、特定変化を、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかの画質の変化とする。そして、上記ニューラルネットワークを、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラのいずれかを再現するためのチャートの学習用入力画像と、当該チャートの学習用入力画像に上記画像の変化が加えられた学習用出力画像と、の組合せを用いてあらかじめ学習された学習済モデルのニューラルネットワークとする。これにより、より効率的にヤレ紙の検出精度を向上できる。

さらに、上記ニューラルネットワークを、文字のチャートの学習用入力画像と、文字のチャートの学習用入力画像に画像の変化が加えられた学習用出力画像と、の組合せを用いてあらかじめ学習された学習済モデルのニューラルネットワークとする。これにより、文字を含む印刷物に関するヤレ紙検出精度を効果的に向上できる。

さらに、シミュレーション部が、異なる学習済モデルの複数のニューラルネットワークを有するものとし、出力画像との差異が最も小さい推定出力画像をシミュレーションしたニューラルネットワークを決定する。そして、決定したニューラルネットワークにより、入力画像から推定出力画像をシミュレーションする。これにより、現在の装置の劣化度や、特定の画質の劣化の観点から学習された学習済モデルのうち、推定出力画像のシミュレーション精度の最も高い学習済モデルのニューラルネットワークにより推定出力画像をシミュレーションできるため、ヤレ紙検出精度をさらに効果的に向上できる。

本発明は、上述した実施形態に限定されない。

たとえば、実施形態においては、シミュレーション部と第２エンコーダーとを用いたニューラルネットワークによる学習によって特定変化をシミュレーションするための学習をし、学習後のシミュレーション部により特定変化をシミュレーションしている。しかし、他の構造のニューラルネットワークにより、特定変化をシミュレーションするための学習をし、学習後のシミュレーション部により特定変化をシミュレーションしてもよい。また、ニューラルネットワークを用いない機械学習により、特定変化をシミュレーションするための学習をし、学習後のシミュレーション部により特定変化をシミュレーションしてもよい。

また、実施形態においては、ヤレ紙を特定するものとして説明したが、製品基準を満たす微細な異常を判断し、当該異常をもつ用紙を特定してもよい。

また、実施形態においては、記憶媒体として用紙を例に説明したが、記録媒体は用紙に限定されず、樹脂フィルム等であってもよい。

また、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実行され得る。

Ｌ１ 第１ロス、
Ｌ２ 第２ロス、
１０ シミュレーション部、
４０ 作像部、
５０ 定着部、
６０ 給紙部、
７０ 用紙搬送部、
１００ 画像形成装置、
１１０ 制御部、
１１１ 第１エンコーダー、
１１２ 特徴変換部、
１１３ デコーダー、
１１４ 第２エンコーダー、
１１５ 位置合せ部、
１１６ 比較部、
１１７ 特定部、
１１８ 決定、
１２０ 記憶部、
１３０ 通信部、
１４０ 操作表示部、
１５０ 画像読取部、
１６０ 画像制御部、
１７０ 画像形成部、
５００、５０１、５０２ 学習用入力画像、
５０３、５０４ 入力画像、
５１３ 検査対象画像、
５２３ 出力画像、
５５０、５５１、５５２、５５３、５５４ 推定出力画像、
６００、６０１、６０２ 学習量出力画像、
９００ 用紙。

Claims (11)

1. 画像形成装置による記録媒体への画像の形成と、形成された前記画像の読取装置による読取りと、による前記画像の変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、前記変化後のＲＩＰデータの画像を、推定出力画像としてシミュレーションするシミュレーション部と、
   前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた出力画像と、前記推定出力画像とを比較する比較部と、
   前記比較部による比較結果に基づいて、異常の記憶媒体を特定する特定部と、
   を有する印刷物検査装置。
2. 前記ニューラルネットワークは、ＲＩＰデータの学習用入力画像と、前記学習用入力画像に前記画像の変化が加えられた学習用出力画像と、の組合せの学習用データが入力されたときに、前記学習用出力画像に加えられた前記画像の変化が、前記学習用入力画像に対して再現された前記推定出力画像を出力するようにあらかじめ学習された学習済モデルのニューラルネットワークである、請求項１に記載の印刷物検査装置。
3. 前記画像の変化は、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかの画質の変化であり、
   前記ニューラルネットワークは、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラのいずれかを再現するためのチャートの前記学習用入力画像と、前記チャートの前記学習用入力画像に前記画像の変化が加えられた前記学習用出力画像と、の組合せを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、請求項２に記載の印刷物検査装置。
4. 前記ニューラルネットワークは、文字のチャートの前記学習用入力画像と、前記文字のチャートの前記学習用入力画像に前記画像の変化が加えられた前記学習用出力画像と、の組合せを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、請求項３に記載の印刷物検査装置。
5. 前記シミュレーション部は、特定の画質の劣化を検出するための前記学習済モデル、ならびに、前記画像形成装置および前記読取装置の使用時間ごとの前記変化をそれぞれ再現するための学習済モデルのうち現在の使用時間に対応する学習済モデル、の複数のニューラルネットワークにより、共通の前記入力画像から前記推定出力画像をそれぞれシミュレーションし、
   前記シミュレーション部によるシミュレーションにより得られた複数の前記推定出力画像のうち、前記共通の前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像との差異が最も小さい前記推定出力画像を特定し、特定した前記推定出力画像をシミュレーションした前記学習済モデルのニューラルネットワークを決定する決定部をさらに有し、
   前記シミュレーション部は、前記決定部により決定された前記学習済モデルのニューラルネットワークにより、前記入力画像から前記推定出力画像をシミュレーションする、請求項１に記載の印刷物検査装置。
6. 画像形成装置による記録媒体への画像の形成と、形成された前記画像の読取装置による読み取りとによる前記画像の変化を、前記変化を再現するようにあらかじめ学習された学習済モデルのニューラルネットワークにより、ＲＩＰデータの入力画像から、前記変化後のＲＩＰデータの出力画像を推定出力画像としてシミュレーションする段階（ａ）と、
   前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像と、前記推定出力画像とを比較する段階（ｂ）と、
   前記段階（ｂ）における比較結果に基づいて、異常の記録媒体を特定する段階（ｃ）と、
   を有する印刷物検査方法。
7. 前記ニューラルネットワークは、前記入力画像と、前記入力画像に基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像との組合せの教師データを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、請求項６に記載の印刷物検査方法。
8. 前記変化は、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラの少なくともいずれかの、画質の変化であり、
   前記ニューラルネットワークは、階調性、色再現性、先鋭性、ノイズ、濃度、および配光ムラをそれぞれ再現するためのチャートの前記入力画像と、前記チャートの前記入力画像に対応する前記出力画像との組合せの教師データを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、請求項７に記載の印刷物検査方法。
9. 前記ニューラルネットワークは、文字のチャートの前記入力画像と、前記文字のチャートの前記入力画像に対応する前記出力画像との組合せの教師データを用いてあらかじめ学習された学習済モデルのニューラルネットワークである、請求項８に記載の印刷物検査方法。
10. 前記段階（ａ）は、特定の画質の劣化を検出するための前記学習済モデル、ならびに前記画像形成装置および前記読取装置の少なくともいずれかの使用時間ごとの前記変化をそれぞれ再現するための学習済モデル、のそれぞれのニューラルネットワークにより、共通の前記入力画像から前記推定出力画像をそれぞれシミュレーションし、
    前記段階（ａ）におけるシミュレーションにより得られた複数の前記推定出力画像のうち、前記共通の前記入力画像に対応する前記出力画像との差分が小さい前記推定出力画像を決定する段階（ｄ）をさらに有し、
    前記段階（ｂ）は、前記共通の前記入力画像基づいて前記画像形成装置により記録媒体に形成された画像が、前記読取装置により読み取られることで得られた前記出力画像と、前記決定部により決定された前記推定出力画像とを比較する、請求項６に記載の印刷物検査方法。
11. 請求項６〜１０のいずれかに記載の印刷物検査方法をコンピュータにより実行するための印刷物検査プログラム。

Images