JP2019184319A - 画像形成装置、画像検査装置、管理装置およびプログラム - Google Patents

Abstract

【課題】記録媒体上で読み取った画像における目立ちやすさを考慮して画像の欠陥の判定を行うことを可能にする。【解決手段】印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像形成部を制御し、画像形成部で画像形成された記録媒体を読み取った読取画像を取得可能な制御部と、を有し、制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する。【選択図】図４

Description

この発明は、記録媒体を読み取った読取画像に基づいて読取画像上の欠陥の有無を判定可能な画像形成装置、画像検査装置、管理装置およびプログラムに関する。

複写機、プリンター、複合機などの画像形成装置の分野では、用紙上の画像を読み取った読取画像と、印刷用の画像やプルーフ出力の画像などからなる正解画像とを比較することにより、画像の汚れや色ずれ、位置ずれ等の欠陥を含んだヤレ紙を検出することが行われている。

通常、検出された汚れや位置ズレのすべてを欠陥とみなすとは限らず、ユーザーによって欠陥とならない許容範囲がある。求める許容範囲はユーザーにより異なるため、プリンターには欠陥検出パラメーターが複数用意されており、ユーザーが詳細に設定できる機能が搭載されていることが多い。この機能を使用して欠陥検出パラメーターを変更することで、ユーザーは欠陥検出精度を調整できる。

これに対し、プルーフ印刷においてプリンターで検出した欠陥をユーザーに示し、欠陥か非欠陥かを選択させ、欠陥として選ばれたもののみ検出するように欠陥度の閾値を設定する。用紙の読み取りに際しては、検出した欠陥のうち、欠陥度の閾値より小さい場合は非欠陥であると判定する方法が開示されている（特許文献１）。欠陥度は正解画像とスキャン画像の欠陥箇所における差分の大きさであり、欠陥の種類ごとに定義している。

また、特許文献２には、欠陥の判定方法として、検査対象をスキャンして検出した欠陥のエッジ強度とエッジ角度のそれぞれがあらかじめ設定された閾値より小さい場合に、非欠陥であると判定する方法が記載されている。

特開２０１４−１９９２４４号公報 特開２０１０−２３７０１８号公報

L. Itti, C. Koch and E. Niebur: A model of saliency-based visual attention for rapid scene analysis, IEEE Trans. Pattern Analysis and Machine Intelligence(PAMI), Vol.20, No.11, pp.1254-1259(1998).

しかし、ユーザーは最終的な印刷物を見た場合に欠陥がどの程度目立つかを基準に許容範囲を設定するが、特許文献１では、正解画像とスキャン画像との差分の大きさにより欠陥の判定を行うものであるため、「欠陥箇所における差分の大きさは同じだが、目立ちやすさが異なる欠陥」が存在する場合に対応できず、ユーザーの求める品質を満足できないという課題がある。
また、目立ちやすさを左右する要素はエッジだけではないため、特許文献２に記載の方法を用いた場合も欠陥の目立ちやすさを正しく評価することができない。

本発明は上記課題を背景としてなされたものであり、欠陥の目立ちやすさを考慮して画像の欠陥の判定を行うことが可能な画像形成装置、画像検査装置、管理装置およびプログラムを提供することを目的とする。

すなわち、本発明の画像形成装置のうち、第１の形態は、印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、前記画像形成部を制御し、前記画像形成部で画像形成された記録媒体を読み取った読取画像を取得可能な制御部と、を有し、
前記制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、前記欠陥候補の顕著度と所定の閾値とを比較し、比較結果に基づいて、前記欠陥候補が欠陥であるかを判定する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、前記顕著性マップにおける前記欠陥候補が存在する領域での輝度の合算に基づいて、前記欠陥候補の顕著度を算出する。

本発明の他の形態の画像形成装置は、印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、前記画像形成部を制御し、前記画像形成部で画像形成された記録媒体を読み取った読取画像を取得可能な制御部と、を有し、
前記制御部は、正解画像に基づいて正解画像の顕著性マップを作成するとともに、前記読取画像に基づいて読取画像の顕著性マップを作成し、
前記正解画像の顕著性マップと前記読取画像の顕著性マップとを比較する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、前記正解画像の顕著性マップと前記読取画像の顕著性マップとの比較結果に基づいて前記読取画像に欠陥があるかを判定する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、前記読取画像に基づいて最終的な印刷物の見た目と一致する第一画像を作成し、前記第一画像によって前記読取画像に基づく顕著性マップを作成する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、最終的な印刷物が見開きの印刷物の場合は、欠陥の判定を行うページの読取画像と当該ページと隣り合うページの読取画像と、または、欠陥の判定を行うページの印刷用画像と当該ページと隣り合うページの印刷用画像と、に基づいて前記第一画像を作成する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、欠陥の判定を行うページの読取画像と当該ページと隣り合うページの読取画像とに基づいて前記第一画像を作成する場合、前記第一画像を作成する際に隣り合うページの読取画像が未取得であるとき、隣り合うページの読取画像に代えて隣り合うページの印刷用画像を用いて前記第一画像を作成する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、前記記録媒体の読み取り後に、当該記録媒体に追加画像が形成される場合、前記読取画像と前記追加画像とに基づいて前記第一画像を作成する。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、顕著度の異なる欠陥を含むサンプル画像の出力が可能であり、前記サンプル画像を出力するとともに、判定に用いられる閾値を設定可能にする。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、前記サンプル画像を出力するとともに、前記サンプル画像に含まれる欠陥の顕著度に応じた前記閾値を提示する。

他の形態の画像形成装置は、前記形態の発明において、情報を表示する表示部を有し、
前記制御部は、前記サンプル画像の出力では、前記サンプル画像を前記表示部に表示する。

他の形態の画像形成装置は、前記形態の発明において、前記正解画像は、前記記録媒体の読取画像または／および前記印刷用画像に基づいて作成されるものである。

他の形態の画像形成装置は、前記形態の発明において、前記制御部は、画像を複数回サンプリングして当該画像と同一サイズに拡大した第一画像群を作成し、前記第一画像群の各画像について輝度の特徴を抽出した第二画像群を作成し、前記第一画像群の各画像について色相の特徴を抽出した第三画像群を作成し、前記第一画像群の各画像についてエッジの特徴を抽出した第四画像群を作成し、前記第二画像群、前記第三画像群および前記第四画像群のうちの少なくとも一つに基づいて、前記顕著性マップを作成することが可能である。

本発明の画像検査装置のうち、第１の形態は、画像が形成された記録媒体を読み取って読取画像を得る画像読取部と、前記画像読取部を制御する制御部と、を有し、
前記制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する。

本発明の他の形態の画像検査装置は、画像が形成された記録媒体を読み取って読取画像を得る画像読取部と、前記画像読取部を制御する制御部と、を有し、
前記制御部は、正解画像に基づいて正解画像の顕著性マップを作成するとともに、前記読取画像に基づいて読取画像の顕著性マップを作成し、
前記正解画像の顕著性マップと前記読取画像の顕著性マップとを比較する。

本発明の管理装置のうち、第１の形態は、印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取って読取画像を得る画像読取部と、を制御する管理制御部を有し、
前記管理制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する。

本発明の他の形態の管理装置は、印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取る画像読取部と、を制御する管理制御部を有し、
前記管理制御部は、正解画像に基づいて正解画像の顕著性マップを作成するとともに、画像読取部で読み取られた読取画像に基づいて読取画像の顕著性マップを作成し、
前記正解画像の顕著性マップと前記読取画像の顕著性マップとを比較する。

本発明のプログラムのうち、第１の形態は、印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取る画像読取部と、を制御する制御部で実行されるプログラムであって、
前記プログラムは、前記制御部に対し、
正解画像と、前記画像読取部で読み取った読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出するステップと、
前記読取画像に基づいて顕著性マップを作成するステップと、
作成した前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出するステップと、を実行させる。

本発明の他の形態のプログラムは、印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取る画像読取部と、を制御する制御部で実行されるプログラムであって、
前記プログラムは、前記制御部に
正解画像に基づいて正解画像の顕著性マップを作成するステップと、
前記画像読取部で読み取った読取画像に基づいて読取画像の顕著性マップを作成するステップと、
前記正解画像の顕著性マップと、前記読取画像の顕著性マップとを比較するステップとを実行させる。

本発明によれば、記録媒体上の画像の読取において、欠陥の目立ちやすさを考慮して画像の欠陥の判定を行うことが可能になる。

本発明の一実施形態の画像形成システムの構成を示すブロック図である。 同じく、正解画像との差分は同じである画像であって、目立ちやすさが異なる欠陥を有する画像の例を示す図である。 同じく、図２の例において、顕著性マップの白黒反転を行った場合の図である。 同じく、ヤレ紙判定の手順を示すフローチャートである。 同じく、第一画像の作成手順を示すフローチャートである。 同じく、箔押し装置を使用する場合の第一画像の作成手順を示すフローチャートである。 同じく、顕著性マップの作成方法を示す図である。 同じく、印刷物のヤレ紙判定方法の例を示す図である。 同じく、図８に含まれる第一顕著性マップの白黒を反転した図である。 同じく、図８に含まれる判定結果の白黒を反転した図である。

本発明の一実施形態の画像形成装置を含む画像形成システム１の構成を図１に基づいて説明する。
画像形成システム１は、ネットワーク２に接続されており、ネットワーク２には、画像形成装置１０と、クライアントＰＣ２０と、箔押し装置３０とが接続されている。画像形成装置１０は、クライアントＰＣ２０上のジョブ管理ソフトウェア２０３から送信されたジョブを受信し、画像形成を行う。クライアントＰＣ２０は、ジョブの管理や、画像形成装置１０や箔押し装置３０の制御を行うことが可能である。また、箔押し装置３０はクライアントＰＣ２０上のジョブ管理ソフトウェア２０３から送信されたジョブを受信し、画像形成装置１０から出力された印刷物に対して箔押しを行う。
画像形成装置１０、クライアントＰＣ２０、および箔押し装置３０はネットワーク２を介して通信可能となっている。ネットワークの種類は特に限定されず、有線であっても無線であってもよい。

画像形成装置１０は、画像形成装置１０の全てのモジュールを統括制御する制御部１０１を有している。制御部１０１は、ＣＰＵ、ワークエリアとなるＲＡＭ、ＲＯＭ、不揮発メモリー等の記憶部によって構成されており、ＲＯＭや不揮発メモリーに格納されているプログラムを読み出すことにより画像形成装置１０の動作制御を行うことができる。制御部１０１内の記憶部には、画像形成装置の各部を制御するためのプログラムやパラメーターが格納されており、例えば、画像を比較して欠陥候補の検出を行うプログラム、顕著性マップの作成を行うプログラムやパラメーター、顕著度の算出を行うプログラム、欠陥判定の閾値、正解画像のデータ、顕著度の異なる欠陥を含むサンプル画像のデータ等が格納されている。制御部１０１のＣＰＵで動作するプログラムには、本発明のプログラムが含まれる。

画像形成装置１０は、ネットワークを介してジョブを受信するジョブ受信部１００を有している。ジョブ受信部１００は、クライアントＰＣ２０からジョブを受信することができる。受信したジョブのデータは記憶部１０２に記憶され、制御部１０１によって管理される。なお、ジョブの管理は、クライアントＰＣ２０のジョブ管理ソフトウェア２０３によって行うようにしてもよい。また、ジョブのデータに正解画像を含むようにしてもよい。

画像形成装置１０は、情報を記憶する記憶部１０２を有している。記憶部１０２は、印刷用画像やスキャン画像（読取画像）などのデータを記憶する。なお、記憶部１０２は、制御部１０１のＣＰＵで動作するプログラムやパラメーター等を格納するものであってもよい。

画像形成装置１０は、情報の表示および操作入力の受付が可能な表示部１０３を有している。表示部１０３は、タッチパネルを供えたＬＣＤ等により構成することが可能であり、画像の表示やユーザーによる操作入力を可能とする。例えば、表示部１０３では、欠陥判定の閾値を入力することが可能である。また、顕著度の異なる欠陥を含む顕著性マップとなるサンプル画像を表示し、許容できる欠陥をユーザーに判断させることで、欠陥判定の閾値を選択させる動作も可能である。

画像形成装置１０は、さらに、画像データの処理を行う画像処理部１０４を有している。
画像処理部１０４は、画像形成装置１０で必要な画像処理を行うことが可能であり、例えば、受信したジョブの画像データのＲＩＰ処理、読取画像データのＡ／Ｄ変換、画像濃度の補正等、所望の処理を行うことができる。

また、画像形成装置１０は、ヤレ検出部１０５を有している。ヤレ検出部１０５は、画像形成済みの出力物をスキャンすることが可能であり、画像の読取を行うスキャナーや、スキャナーを制御する制御部等によって構成される。ヤレ検出部１０５は、本発明の画像読取部として機能するものである。ただし、ヤレ検出部は、画像形成装置外の構成とするものであってもよい。

画像形成装置１０は、さらに、画像形成部１０６を有している。
画像形成部１０６は、ジョブに含まれる印刷用画像に基づいて用紙に対する画像形成を行う。画像形成の方式は本発明では特に限定されず、例えば、電子写真方式による画像形成を行うものであってもよく、インクジェット方式による画像形成を行うものであってもよい。なお、この形態では、用紙は本発明の記録媒体に相当する。本発明としては記録媒体が用紙に限定されるものではなく、布やプラスチックなどの他の材質からなるものであってもよい。

次に、クライアントＰＣ２０について説明する。
クライアントＰＣ２０は、ＯＳ２００、ＣＰＵ２０１、記憶部２０２、およびジョブ管理ソフトウェア２０３を有している。

ＯＳ２００は、クライアントＰＣ２０のシステム全体を管理するソフトウェアであり、例えばＷｉｎｄｏｗｓ（登録商標）等により構成される。

ＣＰＵ２０１は、演算処理を行うものであり、記憶部２０２から読み出したプログラムを実行することでクライアントＰＣ２０の各部を制御することが可能である。ＣＰＵ２０１およびＣＰＵ２０１で動作するプログラムは、クライアントＰＣ２０の制御部となる。
また、ＣＰＵ２０１は、画像形成装置１０や箔押し装置３０の動作を制御することも可能である。その場合、クライアントＰＣ２０は、画像形成装置１０や箔押し装置３０を管理する管理装置となり、ＣＰＵ２０１およびＣＰＵ２０１で動作するプログラムは本発明の管理制御部に相当する。管理制御部で実行されるプログラムには、本発明のプログラムが含まれるものとしてもよい。
なお、画像形成システム１を管理する場合、画像形成システム１を直接制御してもよく、また、画像形成システム１に制御内容の指示を行い、この指示内容によって画像形成装置１０および箔押し装置３０の制御部において制御が行われるようにしてもよい。

記憶部２０２は、各種データを保存することが可能であり、例えば、クライアントＰＣ２０を制御するプログラムや、画像形成装置１０や箔押し装置３０を制御するプログラム、読取画像と正解画像との比較による欠陥候補の検出、正解画像データ、顕著性マップ作成動作、顕著度の算出等を実行するためのプログラム等を格納することができる。

ジョブ管理ソフトウェア２０３は、画像形成装置１０と箔押し装置３０とにおいて実行されるジョブを管理するものである。

次に、箔押し装置３０について説明する。
箔押し装置３０は、ネットワークを介してジョブを受信するジョブ受信部３００、すべてのモジュールを統括制御する制御部３０１、箔画像などを記憶する記憶部３０２、箔押し装置で必要な画像処理を行う画像処理部３０３、および、ジョブに含まれる箔画像に基づいて箔押しを行う箔押し部３０４、を有する。

ジョブ受信部３００は、クライアントＰＣ２０からジョブを受信することができる。受信したジョブのデータは記憶部３０２に記憶される。

制御部３０１は、全てのモジュールを統括制御するものであり、制御部３０１は、ＣＰＵ、および、ＲＯＭ、ＲＡＭ、不揮発メモリー等の記憶部によって構成されている。制御部３０１は、ＲＯＭ等に格納されているプログラムを読み出すことにより箔押し装置３０の動作制御を行うことができる。

記憶部３０２には、箔押し装置３０を制御するためのプログラムやパラメーター、箔押し用の箔画像等が格納されている。
画像処理部３０３は、箔押し装置で必要な画像処理を行うことが可能である。

箔押し部３０４は、ジョブに含まれる箔画像に基づいて箔押しを行うものである。箔押し部３０４は、画像形成装置１０から出力された印刷物に対して箔像を転写するものであり、例えば箔シートを加熱圧着することで所定の箔像を転写することができる。
なお、箔の色は本発明では特に限定されず、金色、銀色等の所望の色を用いることができる。
箔押し部３０４によって用紙に追加される画像は、本発明の追加画像に相当する。なお、本発明の追加画像は箔画像に限定されるものではなく、用紙の読み取り後に用紙に追加される画像であればよく、例えば、用紙の読み取り後に追い刷りを行う場合には、追い刷り画像が追加画像とされるものであってもよい。

なお、本実施形態では、画像形成システム１は、画像形成装置１０、クライアントＰＣ２０、および箔押し装置３０を有しているが、本発明の構成はこれに限定されず、他の装置をさらに有するものであってもよい。例えば、用紙に対する後処理を行う後処理装置をネットワーク２に接続して、当該後処理装置によって、冊子処理や綴じ処理、ステープル処理等の後処理を実行可能としてもよい。
また、箔押し装置３０は画像形成装置１０と機械的に接続されていない構成を有しており、画像形成装置における画像形成および画像の読取後に箔押しが行われている。しかし、本発明では、箔押し装置３０が画像形成装置１０に機械的に接続されていてもよく、箔押し装置が画像形成装置に含まれる構成であってもよい。
また、画像形成装置１０から画像形成部１０６を除いた構成は、本発明の画像検査装置に相当する。

次に、画像形成装置１０におけるヤレ判定について説明する。
従来、画像形成後の用紙をスキャナーで読み取り、スキャン画像を、印刷用画像や事前にスキャンしたスキャン画像から作成した正解画像と比較して差分を検出し、差分の検出結果に基づいて用紙上の欠陥の有無を判定する方法が知られている。また、差分が検出された箇所を全て欠陥と判定するのではなく、ユーザが設定した閾値を超える差分を有する箇所を欠陥と判定することもできる。

しかし、用紙上には、欠陥箇所における差分の大きさが同じだが、目立ちやすさが異なる欠陥が発生する場合がある。
目立ちやすさが異なる欠陥を有する画像の例を図２に示す。
なお、図２（Ａ）はカラー画像をモノクロ化したものであるため、元のカラー画像の配色を用いて説明を行う。
図２（Ａ）は、用紙をスキャンしたスキャン画像であり、用紙上には、同じ大きさの差分である、青色の欠陥Ｄ１と欠陥Ｄ２が存在している。欠陥Ｄ１と欠陥Ｄ２は、正解画像との差分は同じだが、欠陥Ｄ１付近には黄色の画像（文字）が配置されているのに対し、欠陥Ｄ２の付近には、欠陥と同じ青色の画像（男性のシャツ）や黒い色の画像（男性のジャケット）が存在しているため、欠陥Ｄ２よりも欠陥Ｄ１の方が目立ちやすい。

画像の目立ちやすさを表す顕著性マップを図２（Ｂ）に示す。顕著性マップは、例えば非特許文献１に記載の方法により作成することが可能であり、顕著性マップにおける輝度値が大きい（色が白い）領域が目立ちやすい領域となる。

図２（Ｂ）に示すように、欠陥Ｄ１の領域は顕著性マップにおいて白くなっており、比較的目立ちやすい高い欠陥であることがわかる。一方、欠陥Ｄ２は顕著性マップにおいて黒に近い色となっており、比較的目立ちにくい欠陥であることがわかる。
なお、図２（Ｂ）の画像では顕著性の違いが表示上わかりにくいため、図３に、図２における画像の白黒反転を行った顕著性マップの画像を示す。図３（Ｂ）の顕著性マップ（白黒反転）では、色が黒に近いほど目立ちやすい欠陥であり、色が白に近いほど目立ちにくい欠陥であることを示しており、この図からも、欠陥Ｄ１の方が目立ちやすい欠陥であることがわかる。
このように、同じ大きさの差分であっても目立ちやすさが異なる場合があるため、欠陥の目立ちやすさに応じたヤレ検知を行うことが求められる。

本実施形態では、正解画像との比較により差分が検出された領域について、顕著度が所定値よりも高いかどうかの判定を行い、顕著度が高い差分のみを欠陥と判定する。
具体的には、予め用意した正解画像とスキャン画像を比較して欠陥候補を抽出した後に、印刷物のスキャン画像とジョブの印刷用画像とに基づいて、印刷物の最終的な見た目と一致する画像（第一画像）を作成し、当該画像をもとに画像全体のエッジ・色・輝度から人間の視覚的な注目しやすさを示す顕著性マップを作成し、顕著性マップに基づいて欠陥候補の顕著度を算出する。
そして、ユーザが設定した閾値より顕著度の高い欠陥が存在する場合は、ヤレ紙であると判定する。
なお、「顕著度」とは、人間の視覚的な注目しやすさのことである。具体的には、対象物を見た際に人間の網膜が強く反応するほど対象物の顕著度が高い。欠陥の顕著度は、顕著性マップにおける、欠陥の領域での輝度値を合算することにより求めることができる。

上記のヤレ判定の手順を図４のフローチャートに基づいて説明する。
先ず、印刷物のスキャン画像を取得し（ステップｓ１）、スキャン画像から欠陥を検出する（ステップｓ２）。欠陥検出では、スキャン画像と正解画像との差分を検出し、差分の大きさが所定以上である箇所を欠陥として検出する。なお、正解画像としては、ジョブ実行前のプルーフ印刷時にスキャンした画像や、印刷用画像などを用いることが可能であり、本発明としては特に限定されない。
次に、スキャン画像と印刷用画像とから、最終的な印刷物の見た目となる第一画像を作成する（ステップｓ３）。第一画像の作成手順については、図５、図６のフローチャートに基づいて後述する。
第一画像を作成すると、第一画像から顕著性マップを作成する（ステップｓ４）。顕著性マップの作成手順については、図７のフローチャートに基づいて後述する。

次に、作成した顕著性マップに基づいて、ステップｓ２で検出した欠陥箇所に含まれる顕著性マップ内の画素値を合算して、各欠陥の顕著度を算出する（ステップｓ５）。なお、顕著土の算出方法は上記に限定されるものではなく、適宜の方法により行うことができる。
そして、検出した各欠陥について、欠陥の顕著度を閾値と比較し（ステップｓ６）、顕著度がユーザ設定の閾値より大きい欠陥が存在するかを判定する（ステップｓ７）。閾値は予め設定されて記憶部などに格納しておく。ユーザが変更できるものとしてもよく、ジョブの違いなどによって異なる閾値を用いるものであってもよい。

次に、顕著度がユーザ設定の閾値より大きい欠陥が存在する場合（ステップｓ７、Ｙｅｓ）、スキャンした印刷物をヤレ紙であると判定し（ステップｓ８）、手順を終了する。
顕著度がユーザ設定の閾値より大きい欠陥が存在しない場合（ステップｓ８、Ｎｏ）、スキャンした印刷物をヤレ紙でないと判定し（ステップｓ９）、手順を終了する。

上記の手順によれば、欠陥の目立ちやすさを考慮してヤレ判定を行うことが可能となる。また、ユーザの設定した顕著度の閾値を使用することが可能であるため、欠陥の目立ちやすさがユーザの許容範囲内であれば正常と判定し、欠陥の目立ちやすさがユーザの許容範囲外であれば欠陥であると判定することにより、欠陥の目立ちやすさを考慮した判定を行うことができる。

なお、閾値の設定は、表示部１０３を通じて行うことが可能である。その際に、顕著度の異なる欠陥が振られた顕著性マップとなるようなサンプル画像を記憶部１０２に予め保存しておき、サンプル画像を出力し、どの顕著度の欠陥まで許容できるかをユーザに入力させることで、閾値の設定を行うようにしてもよい。この際には、サンプル画像の欠陥に応じた閾値を選択可能に提示し、ユーザによる設定が容易に行えるようにする。
これにより、ユーザは欠陥の顕著度の閾値を画像形成装置が提示する選択肢から選択すればよいので、煩雑な欠陥検出パラメーター設定などの本番印刷までの準備にかかる時間を短縮することが可能となる。また、最終的な印刷物を見た際の目立ち具合がユーザの許容範囲を超える欠陥のみを検出できるため、ユーザが求める印刷品質を達成できる。

なお、サンプル画像の出力方法は特に限定されず、表示部１０３へサンプル画像を表示してもよく、サンプル画像の印刷を行ってもよい。

次に、第一画像の作成手順について図５、６に基づいて説明する。
顕著性マップを作成するときには、最終的な印刷物と見た目が一致する第一画像を作成し、第一画像に基づいて顕著性マップを作成する。例えば、最終的な印刷物が見開きの印刷物の場合は、隣り合うページの元画像又はスキャン画像を接続して並べて第一画像とする。
また、顕著性マップを作成する際に、見開きにおける隣り合うページの片方のスキャン画像の用意が間に合わない場合、間に合わないスキャン画像を元画像から作成したシミュレーション画像で代用する。

追加画像が形成されない第一画像の作成手順を、図５のフローチャートに基づいて説明する。なお、以下の手順は制御部１０１、またはクライアントＰＣ２０の制御部の制御によって実施される。
まず、ジョブが、小冊子など、最終的な印刷物の見た目に複数ページの印刷用画像を含むものであるか判定する（ステップｓ１０）。複数ページの印刷用画像を含む場合としては、冊子処理や綴じ処理のように最終的に見開きのページが作成される場合や、１ページに複数ページを印刷する場合（Ｎｉｎ１印刷）などが挙げられる。

最終的な印刷物の見た目に複数ページの印刷用画像を含まない場合は（ステップｓ１０、Ｎｏ）、そのまま手順を終了し、スキャン画像を第一画像とする。
最終的な印刷物の見た目に複数ページの印刷用画像を含む場合（ステップｓ１０、Ｙｅｓ）、すべてのページのスキャン画像（読取画像に相当）が既に存在するかを判定する（ステップｓ１１）。すべてのページのスキャン画像が既に存在する場合（ステップｓ１１、Ｙｅｓ）、すべてのページのスキャン画像を用いて最終的な印刷物の見た目となるように並べて接続し（ステップｓ１２）、手順を終了する。
すべてのページのスキャン画像が存在しない場合（ステップｓ１１、Ｎｏ）、スキャン画像が存在しないページに関して用紙シミュレーション画像を作成する（ステップｓ１３）。用紙シミュレーション画像は、印刷用画像に基づいて作成することができる。
そして、スキャン画像と用紙シミュレーション画像を用いて、最終的な印刷物の見た目となるように並べて接続し（ステップｓ１４）、手順を終了する。

また、印刷物のスキャン後に箔押し装置３０において、追加画像が形成される場合は、最終的な印刷物における欠陥の顕著度を算出するために、読取画像に追加画像を追加したものを第一画像とする。

追加画像として箔押しを行う場合の第一画像の作成手順を図６のフローチャートに基づいて説明する。なお、以下の手順は画像形成装置１０の制御部１０１、またはクライアントＰＣ２０の制御部の制御によって実施される。
まず、ジョブが、小冊子など、最終的な印刷物の見た目に複数ページの印刷用画像を含むものかどうかを判定する（ステップｓ２０）。複数ページの印刷用画像を含む場合としては、冊子処理や綴じ処理のように最終的に見開きのページが作成される場合や、１ページに複数ページを印刷する場合（Ｎｉｎ１印刷）などが挙げられる。

最終的な印刷物の見た目に複数ページの印刷用画像を含む場合（ステップｓ２０、Ｙｅｓ）、すべてのページのスキャン画像が既に存在するか判定する（ステップｓ２１）。すべてのページのスキャン画像が既に存在する場合（ステップｓ２１、Ｙｅｓ）、すべてのページのスキャン画像を用いて最終的な印刷物の見た目となるように並べて接続する（ステップｓ２２）。すべてのページのスキャン画像が存在しない場合（ステップｓ２１、Ｎｏ）、スキャン画像が存在しないページに関して用紙シミュレーション画像を作成する（ステップｓ２３）。用紙シミュレーション画像は、印刷用画像に基づいて作成することができる。
スキャン画像と用紙シミュレーション画像を用いて、最終的な印刷物の見た目となるよう並べて接続する（ステップｓ２４）。

画像を並べて接続するステップｓ２２、ｓ２４を終えた後、または、ステップｓ２０において最終的な印刷物の見た目に複数ページの印刷用画像を含まないと判定した場合（ステップｓ２０、Ｎｏ）、箔押しするかの判定を行う（ステップｓ２５）。
箔押しを行う場合（ステップｓ２５、Ｙｅｓ）、印刷用画像に含まれる箔画像を用いて箔押しする領域を箔の色で上書きし（ステップｓ２６）、手順を終了する。箔押しを行わない場合（ステップｓ２５、Ｎｏ）、そのまま手順を終了する。

上記手順によれば、画像のスキャン後に追加画像を形成する場合においても、追加画像を含んだ第一画像を作成することができる。これにより、最終的な印刷物における欠陥の顕著度を算出可能となり、最終印刷物における欠陥の目立ちやすさを考慮した判定を行うことが可能となる。

なお、図５、６における箔画像は、本発明の追加画像に相当するが、箔押し以外の方法によりスキャン後に画像を形成する場合、例えば、スキャン後に追い刷り印刷を行う場合であっても、同様の方法により第一画像を作成することができる。そして、作成された第一画像に基づいて欠陥の顕著度を算出することで、最終的な印刷物における欠陥の目立ちやすさを考慮した欠陥判定を行うことが可能となる。

次に、顕著性マップの作成手順を、図７のフローチャートに基づいて説明する。 まず、対象画像について、繰り返しダウンサンプリングを施して複数レベルのガウシアンピラミッドを作成する（ステップｓ３０）。
次に、ガウシアンピラミッドの全ての画像を対象画像と同サイズに拡大する（ステップｓ３１）。拡大処理時には適宜平滑化処理を行う。
そして、ガウシアンピラミッドの全ての画像を対象画像と同サイズに拡大して第一画像群とする（ステップｓ３２）。第一画像群には、解像度の異なる対象画像が含まれることになる。
第一画像群の各画素に対してガボールフィルタによりエッジを抽出した第二画像群を作成する（ステップｓ３３）。
次に、第一画像群の各画像に対して輝度を計算した第三画像群を作成する（ステップｓ３４）。
第一画像群の各画像に対して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｙ（黄）の色相成分を抽出した第四画像群を作成し（ステップｓ３５）、第四画像群からＲ（赤）とＧ（緑）との差分を抽出した第五画像群を作成し（ステップｓ３６）、第四画像群から、Ｂ（青）とＹ（黄）との差分を抽出した第六画像群を作成する（ステップｓ３７）そして、第二画像群、第三画像群、第五画像群、第六画像群を正規化して合算することで顕著性マップを作成する（ステップｓ３８）。顕著性マップを作成した後、手順を終了する。
上記手順により、顕著性マップを作成することができる。

なお、ステップｓ３８では、第二画像群、第三画像群、第五画像群および第六画像群に基づいて顕著性マップを作成しているが、第二画像群、第三画像群、第四画像群、第五画像群、第六画像群のいずれか一つ以上に基づいて顕著性マップを作成してもよい。
すわなち、輝度、色相、およびエッジの全てに基づいて顕著性マップを作成するのではなく、輝度、色相、およびエッジのいずれか一つ以上に基づいて顕著性マップを作成し、作成した顕著性マップに基づいて欠陥の顕著度を算出するようにしてもよい。

本形態による欠陥検出の例を図８に基づいて説明する。図８は、冊子印刷時の第６ページにおける欠陥の判定を行う例であって、用紙のスキャン後に箔押しが行われる場合を示している。なお、印刷用画像およびスキャン画像（図８の一段目および二段目）は、本来はカラー画像である。

まず、６ページ目のスキャン画像における欠陥の検出を行う（図８の一段目の中央図）。欠陥の検出は、予め用意した正解画像との比較により行うことができ、正解画像との差分が存在する領域を欠陥候補として検出する。ここでは、丸印で囲まれた領域が検出された欠陥候補であり、この時点では欠陥とは確定されない。
次に、印刷物と最終的な見た目が一致する第一画像を作成する。図８の例は、冊子印刷を行う場合であり、検査対象の６ページ目のスキャン画像の他に、見開きの反対ページとなる５ページ目のスキャン画像（図８の一段目の左図）を使用して、５ページ目と６ページ目とを接続する。さらに、冊子の６ページ目の箔画像（図８の一段目の右図）を追加して、第一画像とする（図８の二段目）。

第一画像を作成すると、第一画像の顕著性マップを作成する（図８の三段目）。顕著性マップは、既に説明した手順などを用いることができる。図では、顕著性マップにおける輝度値が大きい（白に近い）領域が目立ちやすい領域である。
顕著性マップにおいて、欠陥候補の領域の顕著度を算出する。顕著度は、欠陥のある領域における顕著性マップの輝度値を合算することにより算出することができる。
次に、欠陥候補の顕著度が、予め設定した閾値との比較によって欠陥があるかを判定する（図８の最下段）。顕著度が閾値を超える場合欠陥があると判定し、ヤレ紙と判定する。
図８の最下段では、欠陥と判定されたものを丸印で示し、非欠陥であると判定されたものを四角印で示している。判定の結果、図８の上段中央で検出された欠陥候補のうち、顕著度が低いものは欠陥と判定されず、顕著度が高いものが欠陥であると判定されている。

なお、図８の顕著性マップでは、顕著性の違いが図上ではわかりにくいため、図８における顕著性マップ（三段目）を白黒反転した画像を図９に示し、図８における判定結果（最下段）を白黒反転した画像を図１０に示す。これらの図では、図８の例において顕著度が高いと判定された領域が黒に近く（輝度値が小さく）示され、顕著度が低いと判定された領域が白に近く（輝度値が大きく）示されており、顕著度の高い欠陥、すなわち目立ちやすい欠陥のみが欠陥と判定されていることがわかる。

本実施形態によれば、ヤレ紙検出において、印刷物の読取画像と印刷用画像から印刷物の最終的な見た目となる画像を作成し、当該画像をもとに画像全体のエッジ・色・輝度から人間の視覚的な注目しやすさの分布を示す顕著性マップを計算して、ユーザが選択した顕著度の閾値より高い欠陥が存在する場合はヤレ紙であると判定することで、煩雑な検出パラメーター設定を行うことなく、ユーザが許容しないレベルで視覚的に目立つ欠陥が含まれることによる印刷物の品質低下を防止できる。

なお、本実施形態では、画像形成後の後処理において画像を変更する処理として箔押しを使用しているが、特色トナーなど箔以外でもよい。

なお、上記実施形態では、先に読取画像と正解画像との比較を行って差分のある領域を抽出した後に、顕著性マップに基づいて、当該領域の顕著度を算出して、顕著度が閾値よりも大きい場合に欠陥であるとの判定を行っている。
しかし、上記の方法を用いずに、読取画像の顕著性マップと、正解画像の顕著性マップとを作成し、その後、読取画像の顕著性マップと、正解画像の顕著性マップとの比較を行い、顕著度の高い差分を欠陥と判定するようにしてもよい。この方法によっても顕著度の高い欠陥を抽出することができる。

以上、本発明について上記実施形態に基づいて説明を行ったが、本発明の技術的範囲は上記説明の内容に限定されるものではなく、本発明の範囲を逸脱しない限りでは上記実施形態に対する適宜の変更が可能である。

１ 画像形成システム
２ ネットワーク
１０ 画像形成装置
２０ クライアントＰＣ
３０ 箔押し装置
１００ ジョブ受信部
１０１ 制御部
１０２ 記憶部
１０３ 表示部
１０４ 画像処理部
１０５ ヤレ検出部
１０６ 画像形成部
２０１ ＣＰＵ
２０２ 記憶部
２０３ ジョブ管理ソフトウェア
３００ ジョブ受信部
３０１ 制御部
３０２ 記憶部
３０３ 画像処理部
３０４ 箔押し部
Ｄ１ 欠陥
Ｄ２ 欠陥

Claims (20)

1. 印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、
   前記画像形成部を制御し、前記画像形成部で画像形成された記録媒体を読み取った読取画像を取得可能な制御部と、を有し、
   前記制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する画像形成装置。
2. 前記制御部は、前記欠陥候補の顕著度と所定の閾値とを比較し、比較結果に基づいて、前記欠陥候補が欠陥であるかを判定する請求項１記載の画像形成装置。
3. 前記制御部は、前記顕著性マップにおける前記欠陥候補が存在する領域での輝度の合算に基づいて、前記欠陥候補の顕著度を算出する請求項１または２に記載の画像形成装置。
4. 印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、
   前記画像形成部を制御し、前記画像形成部で画像形成された記録媒体を読み取った読取画像を取得可能な制御部と、を有し、
   前記制御部は、正解画像に基づいて正解画像の顕著性マップを作成するとともに、前記読取画像に基づいて読取画像の顕著性マップを作成し、
   前記正解画像の顕著性マップと前記読取画像の顕著性マップとを比較する画像形成装置。
5. 前記制御部は、前記正解画像の顕著性マップと前記読取画像の顕著性マップとの比較結果に基づいて前記読取画像に欠陥があるかを判定する請求項４記載の画像形成装置。
6. 前記制御部は、前記読取画像に基づいて最終的な印刷物の見た目と一致する第一画像を作成し、前記第一画像によって前記読取画像に基づく顕著性マップを作成する請求項１〜５のいずれか１項に記載の画像形成装置。
7. 前記制御部は、最終的な印刷物が見開きの印刷物の場合は、欠陥の判定を行うページの読取画像と当該ページと隣り合うページの読取画像と、または、欠陥の判定を行うページの印刷用画像と当該ページと隣り合うページの印刷用画像と、に基づいて前記第一画像を作成する請求項６記載の画像形成装置。
8. 前記制御部は、欠陥の判定を行うページの読取画像と当該ページと隣り合うページの読取画像とに基づいて前記第一画像を作成する場合、前記第一画像を作成する際に隣り合うページの読取画像が未取得であるとき、隣り合うページの読取画像に代えて隣り合うページの印刷用画像を用いて前記第一画像を作成する請求項７記載の画像形成装置。
9. 前記制御部は、前記記録媒体の読み取り後に、当該記録媒体に追加画像が形成される場合、前記読取画像と前記追加画像とに基づいて前記第一画像を作成する請求項６〜８のいずれか１項に記載の画像形成装置。
10. 前記制御部は、顕著度の異なる欠陥を含むサンプル画像の出力が可能であり、
    前記サンプル画像を出力するとともに、判定に用いられる閾値を設定可能にする請求項１〜９のいずれか１項に記載の画像形成装置。
11. 前記制御部は、前記サンプル画像を出力するとともに、前記サンプル画像に含まれる欠陥の顕著度に応じた前記閾値を提示する請求項１０記載の画像形成装置。
12. 情報を表示する表示部を有し、
    前記制御部は、前記サンプル画像の出力では、前記サンプル画像を前記表示部に表示する請求項１０または１１に記載の画像形成装置。
13. 前記正解画像は、前記記録媒体の読取画像または／および前記印刷用画像に基づいて作成されるものである請求項１〜１２のいずれか１項に記載の画像形成装置。
14. 前記制御部は、画像を複数回サンプリングして当該画像と同一サイズに拡大した第一画像群を作成し、前記第一画像群の各画像について輝度の特徴を抽出した第二画像群を作成し、前記第一画像群の各画像について色相の特徴を抽出した第三画像群を作成し、前記第一画像群の各画像についてエッジの特徴を抽出した第四画像群を作成し、前記第二画像群、前記第三画像群および前記第四画像群のうちの少なくとも一つに基づいて、前記顕著性マップを作成することが可能である請求項１〜１３のいずれか１項に記載の画像形成装置。
15. 画像が形成された記録媒体を読み取って読取画像を得る画像読取部と、前記画像読取部を制御する制御部と、を有し、
    前記制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する画像検査装置。
16. 画像が形成された記録媒体を読み取って読取画像を得る画像読取部と、前記画像読取部を制御する制御部と、を有し、
    前記制御部は、正解画像に基づいて正解画像の顕著性マップを作成するとともに、前記読取画像に基づいて読取画像の顕著性マップを作成し、
    前記正解画像の顕著性マップと前記読取画像の顕著性マップとを比較する画像検査装置。
17. 印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取って読取画像を得る画像読取部と、を制御する管理制御部を有し、
    前記管理制御部は、正解画像と前記読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出し、前記読取画像に基づいて顕著性マップを作成し、前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出する管理装置。
18. 印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取る画像読取部と、を制御する管理制御部を有し、
    前記管理制御部は、正解画像に基づいて正解画像の顕著性マップを作成するとともに、画像読取部で読み取られた読取画像に基づいて読取画像の顕著性マップを作成し、
    前記正解画像の顕著性マップと前記読取画像の顕著性マップとを比較する管理装置。
19. 印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取る画像読取部と、を制御する制御部で実行されるプログラムであって、
    前記プログラムは、前記制御部に対し、
    正解画像と、前記画像読取部で読み取った読取画像とを比較し、比較結果に基づいて前記読取画像における欠陥候補を抽出するステップと、
    前記読取画像に基づいて顕著性マップを作成するステップと、
    作成した前記顕著性マップに基づいて、前記欠陥候補の顕著度を算出するステップと、を実行させるプログラム。
20. 印刷用画像に基づいて記録媒体に画像を形成する画像形成部と、画像が形成された記録媒体を読み取る画像読取部と、を制御する制御部で実行されるプログラムであって、
    前記プログラムは、前記制御部に
    正解画像に基づいて正解画像の顕著性マップを作成するステップと、
    前記画像読取部で読み取った読取画像に基づいて読取画像の顕著性マップを作成するステップと、
    前記正解画像の顕著性マップと、前記読取画像の顕著性マップとを比較するステップとを実行させるプログラム。