JP2022098171A - 検品装置とその制御方法及びプログラム、並びに検品装置を有する印刷システム - Google Patents

Abstract

【課題】複数の撮影部の位置ずれや用紙の傾きなどにより特徴点が偏在した場合でも正解画像との位置合わせ処理を可能にできる技術を提供する。【解決手段】複数の撮影部の第１の撮影部が読み取って得られた画像の特徴点が、本来は別の撮影部で読み取って得られる画像の特徴点であると判定した場合、当該特徴点の座標を前記別の撮影部の座標系から前記第１の撮影部の座標系に変換する。抽出された前記特徴点の座標、およびその変換された特徴点の座標から幾何変換パラメータを算出し、その幾何変換パラメータに基づいて、前記印刷用紙の画像と正解画像との位置合わせを行って前記画像と前記正解画像との間で画素ごとの差分を取得する。【選択図】図６

Description

本発明は、検品装置とその制御方法及びプログラム、並びに検品装置を有する印刷システムに関するものである。

技術背景

近年、印刷装置により印刷された用紙の搬送中に、検品装置によってその用紙に印刷された画像を検査できる印刷システムが知られている。このような印刷用紙の検査では、検品装置が、搬送された印刷用紙の画像を読み取り、読み取って得られた画像データを解析して印刷画像が正常であるか否かを判定する。検品装置は、例えばバーコードや罫線の欠け、画像抜け、印刷不良、ページ抜け、色ずれなどを検出することが可能である。こうして印刷用紙が欠陥であると判定された場合には、当該欠陥用紙は正常な用紙とは別の排紙先に排紙される。これにより欠陥用紙が正常な用紙に混入することを防止でき、オペレータは、容易に欠陥用紙を廃棄することができる。

上述の画像データの解析には、事前に印刷した十分な品位のある印刷シートを検品装置で読み取り、これを正解画像（マスタ画像、リファレンス画像）として用いる方法が知られる。この方法では、印刷用紙の画像と、事前に取得した正解画像とを比較し、所定量以上の差分が存在するかどうかによって、その印刷用紙に欠陥が存在するかどうかを検知する。

正解画像との差分を求める手法として、画像特徴量と幾何変換によって画像の位置合わせを行い、画素ごとの画素値の差分を算出する方法が知られる。この方法では、画像特徴量が十分である座標（以下、特徴点）を画像内で複数点検出し、正解画像と読み取り画像でのそれぞれの特徴点の座標関係から幾何変換パラメータを算出する。そして、そのパラメータを用いて幾何変換することで、例え、用紙の搬送に起因する読み取り画像の位置ずれや回転や変倍が生じたとしても、読み取り画像を正解画像へ位置合わせすることが可能となる。このような幾何変換としては、アフィン変換や射影変換が用いられ、それぞれの変換パラメータの算出には、最低でも３点もしくは４点の特徴点が必要となる。また、読み取り画像全体を正確に幾何変換するためには、特徴点が印刷用紙内に偏在せず、用紙全体に均一に存在することが望ましい。

特開２０１３－１２４８６８号公報

検品装置において印刷用紙を読み取る撮影部は、印刷装置で搬送される最大用紙幅未満の小幅なセンサを複数組み合わせて構成される場合がある。この場合、各センサで読み取って得られた画像データのそれぞれを、正解画像に対して位置合わせを行う必要がある。しかしながら、各センサの位置ずれや、印刷画像の特徴点の偏りによっては、各センサで得られた画像データの幾何変換を行うために十分な数の特徴点が得られない場合がある。

本発明の目的は、上記従来技術の課題の少なくとも一つを解決することにある。

本発明の目的は、例えば複数の撮影部の位置ずれや用紙の傾きなどにより特徴点が偏在した場合でも正解画像との位置合わせ処理を可能にできる技術を提供することにある。

上記目的を達成するために本発明の一態様に係る検品装置は以下のような構成を備える。即ち、
印刷用紙を読み取って検査する検品装置であって、
複数の撮影部を使用して前記印刷用紙の画像を読み取る読み取り手段と、
前記複数の撮影部のそれぞれで読み取って得られる画像の特徴点を抽出する抽出手段と、
前記複数の撮影部の第１の撮影部が読み取って得られた画像の特徴点が、本来は別の撮影部で読み取って得られる画像の特徴点かどうか判定する判定手段と、
前記判定手段が、本来、前記別の撮影部で読み取って得られる特徴点であると判定した場合、当該特徴点の座標を前記別の撮影部の座標系から前記第１の撮影部の座標系に変換する変換手段と、
前記抽出手段によって抽出された前記特徴点の座標、および前記変換手段によって変換された特徴点の座標から幾何変換パラメータを算出する算出手段と、
前記幾何変換パラメータに基づいて、前記印刷用紙の画像と正解画像との位置合わせを行って前記画像と前記正解画像との間で画素ごとの差分を取得する取得手段と、を有することを特徴とする。

本発明によれば、複数の撮影部の内のある撮影部で読み取った画像の特徴点が、本来は別の撮影部で読み取る画像の特徴点である場合に、その特徴点の座標を座標変換して幾何変換パラメータを算出する。これにより、例えば複数の撮影部の位置ずれや用紙の傾きなどにより特徴点が偏在した場合でも正解画像との位置合わせ処理が可能となる。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態１に係る印刷システムの全体構成を示す図。 実施形態１に係る外部コントローラ及びクライアントＰＣのハードウェア構成を説明するブロック図。 実施形態１に係る画像形成装置の印刷装置、インサータ、検品装置、大容量スタッカ及びフィニッシャの構成ハードウェア構成を説明するブロック図。 実施形態１に係る画像形成装置の機構を説明する概略断面図。 実施形態１に係る検品装置が正解画像を登録するときの処理を説明するフローチャート（Ａ）と、実施形態１に係る検品装置が検品処理を行うときの処理を説明するフローチャート（Ｂ）。 実施形態１に係る検品装置で搬送される用紙と、２つの撮影部で読み取った画像の例、及び特徴点の座標の例を説明する図。 実施形態１に係る検品装置による、図４のＳ４０３，Ｓ４１３の特徴点の抽出処理を説明するフローチャート。 実施形態２に係る検品装置による特徴点の抽出処理を説明するフローチャート。

以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。尚、以下の説明において、外部コントローラは、画像処理コントローラ、デジタルフロントエンド、プリントサーバ、ＤＦＥなどと呼ばれることもある。また画像形成装置は、複合機、マルチファンクションペリフェラル、ＭＦＰと呼ばれることもある。

［実施形態１］
図１は、本発明の実施形態１に係る印刷システムの全体構成を示す図である。

この印刷システムは、画像形成装置１０１と外部コントローラ１０２とを備える。画像形成装置１０１と外部コントローラ１０２は、内部ＬＡＮ１０５とビデオケーブル１０６を介して通信可能に接続されている。外部コントローラ１０２は、外部ＬＡＮ１０４を介してクライアントＰＣ１０３と通信可能に接続されており、ＰＣ１０３から外部コントローラ１０２に対して印刷指示を行うことができる。

クライアントＰＣ１０３には、印刷データを外部コントローラ１０２で処理可能な印刷記述言語（例えば、ページ記述言語（ＰＤＬ））に変換する機能を有するプリンタドライバがインストールされている。クライアントＰＣ１０３のユーザは、各種アプリケーションから、このプリンタドライバを介して印刷指示を行うことができる。このときプリンタドライバは、ユーザからの印刷指示に基づいて外部コントローラ１０２に対して印刷データを送信する。外部コントローラ１０２は、クライアントＰＣ１０３から印刷指示を受け取ると、その印刷データの解析やラスタライズ処理を行って印刷用の画像データを作成し、その画像データを画像形成装置１０１に投入して印刷指示を行う。

次に画像形成装置１０１について説明する。

画像形成装置１０１には、複数の異なる機能を持つ装置が接続され、製本などの複雑な印刷処理が可能なように構成されている。印刷装置１０７は、印刷装置１０７の下部にある給紙部から搬送される用紙に対してトナーを用いて画像を形成（印刷）する。この印刷装置１０７の構成及び動作原理は次の通りである。画像データに応じて変調された、レーザ光などの光線をポリゴンミラー等の回転多面鏡により反射して走査光として感光ドラムに照射する。このレーザ光により感光ドラム上に形成された静電潜像はトナーによって現像され、転写ドラムに貼り付けられた用紙に、そのトナー像を転写する。この一連の画像形成プロセスをイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）のトナーに対して順次実行することにより、用紙上にフルカラー画像が形成される。こうしてフルカラー画像が形成された転写ドラム上の用紙は定着器へ搬送される。定着器は、ローラやベルト等を含み、ローラ内にハロゲンヒータなどの熱源を内蔵し、トナー像が転写された用紙上のトナーを、熱と圧力によって溶解して用紙に定着させる。

インサータ１０８は、印刷装置１０７で印刷されて搬送された用紙群に対して、任意の位置で用紙を挿入することができる。

検品装置１０９は、搬送された用紙の画像を読み取り、予め登録された正解画像と比較することで、印刷された画像が正常かどうかを判定する。

大容量スタッカ１１０は、大容量の用紙を積載して収納することが可能である。フィニッシャ１１１は、搬送された用紙に対してフィニッシング処理を行う。このフィニッシング処理は、ステイプルやパンチ、中綴じ製本などの処理を含み、フィニッシング処理された用紙束は排紙トレイに排紙される。

尚、図１の印刷システムは、画像形成装置１０１に外部コントローラ１０２が接続された構成であるが、本発明は外部コントローラ１０２が接続された構成に限定されない。即ち、画像形成装置１０１を直接外部ＬＡＮ１０４に接続し、クライアントＰＣ１０３から直接、画像形成装置１０１に対して印刷データを送信する構成でもよい。この場合、画像形成装置１０１において、データ解析やラスタライズ処理が行われて、印刷処理が実行される。

図２Ａ及び図２Ｂは、実施形態１に係る画像形成装置１０１、外部コントローラ１０２、及びクライアントＰＣ１０３のハードウェア構成を説明するブロック図である。

まず図２Ａを参照して、外部コントローラ１０２の構成について説明する。

外部コントローラ１０２は、ＣＰＵ２０８、メモリ２０９、ＨＤＤ２１０、キーボード２１１、ディスプレイ２１２、ＬＡＮＩ／Ｆ（インタフェース）２１３，ＬＡＮＩ／Ｆ２１４、ビデオＩ／Ｆ２１５を有し、これらはバス２１６を介して接続されている。ＣＰＵ２０８は、ＨＤＤ２１０に保存されたプログラムをメモリ２０８に展開し、その展開したプログラムを実行してクライアントＰＣ１０３からの印刷データの受信、ＲＩＰ処理、画像形成装置１０１への印刷データの送信などの処理を実行する。メモリ２０９はＲＡＭを有し、ＣＰＵ２０８が各種処理を行う際に必要なプログラムやデータが記憶され、ワークエリアとして動作する。ＨＤＤ２１０には、印刷処理などの動作に必要なプログラムやデータが記憶される。キーボード２１１は、外部コントローラ１０２への操作指示を入力するための装置である。ディスプレイ２１２には、外部コントローラ１０２の実行アプリケーション等の情報を静止画や動画の映像信号により表示される。ＬＡＮＩ／Ｆ２１３は、外部ＬＡＮ１０４を介してクライアントＰＣ１０３と接続し、印刷指示などの通信を行う。ＬＡＮＩ／Ｆ２１４は、内部ＬＡＮ１０５を介して画像形成装置１０１と接続し、印刷指示などの通信を行う。ビデオＩ／Ｆ２１５は、ビデオケーブル１０６を介して画像形成装置１０１と接続し、画像データなどの通信を行う。

次にクライアントＰＣ１０３の構成について説明する。クライアントＰＣ１０３は、ＣＰＵ２０１、メモリ２０２、ＨＤＤ２０３、キーボード２０４、ディスプレイ２０５、ＬＡＮＩ／Ｆ２０６を有し、これらはバス２０７を介して接続されている。ＣＰＵ２０１は、ＨＤＤ２０３に保存された文書処理プログラムをメモリ２０２に展開し、その展開したプログラムを実行して印刷データの作成や印刷指示を実行する。またＣＰＵ２０１は、システムバスに接続される各デバイスを包括的に制御する。メモリ２０２はＲＯＭやＲＡＭなどを有し、ＣＰＵ２０１が各種処理を行う際に必要となるプログラムやデータを記憶し、ＣＰＵ２０１のワークエリアとして動作する。ＨＤＤ２０３には、印刷処理などの動作に必要なプログラムやデータが記憶される。キーボード２０４は、ＰＣ１０３への操作指示を入力するための装置である。ディスプレイ２０５には、クライアントＰＣ１０３の実行アプリケーション等の情報が静止画や動画の映像信号により表示される。ＬＡＮＩ／Ｆ２０６は、外部ＬＡＮ１０４と接続されており、印刷指示などの通信を行う。

次に図２Ｂを参照して、画像形成装置１０１の印刷装置１０７、インサータ１０８、検品装置１０９、大容量スタッカ１１０及びフィニッシャ１１１の構成について説明する。

画像形成装置１０１の印刷装置１０７は、通信Ｉ／Ｆ２１７、ＬＡＮＩ／Ｆ２１８、ビデオＩ／Ｆ２２０、ＨＤＤ２２１、ＣＰＵ２２２、メモリ２２３、操作部２２４、ディスプレイ２２５を有している。更に印刷装置１０７は、原稿露光部２２６、レーザ露光部２２７、作像部２２８、定着部２２９、給紙部２３０を備える。これら構成要素はシステムバス２３１を介して接続される。

通信Ｉ／Ｆ２１７は、通信ケーブル２５４を介してインサータ１０８、検品装置１０９、大容量スタッカ１１０、及びフィニッシャ１１１と接続され、それぞれの装置の制御のための通信を行う。ＬＡＮＩ／Ｆ２１８は、内部ＬＡＮ１０５を介して外部コントローラ１０２と接続され、印刷指示タなどの通信を行う。ビデオＩ／Ｆ２２０は、ビデオケーブル１０６を介して外部コントローラ１０２と接続され、画像データなどの通信を行う。

ＨＤＤ２２１は、プログラムやデータが保存された記憶装置である。ＣＰＵ２２２は、ＨＤＤ２２１に保存されたプログラムをメモリ２２３に展開し、その展開したプログラムを実行して画像処理制御や印刷の制御を包括的に行う。メモリ２２３はＲＯＭやＲＡＭを有し、ＣＰＵ２２２が各種処理を行う際に必要となるプログラムや画像データを記憶し、またＣＰＵ２２２のワークエリアとして動作する。操作部２２４は、ユーザからの各種設定の入力や操作の指示を受け付ける。ディスプレイ２２５には、画像形成装置１０１の設定情報や印刷ジョブの処理状況などが表示される。

原稿露光部２２６は、コピー機能やスキャン機能を使用する際に原稿を読み込む処理を行う。即ち、原稿露光部２２６は、ユーザにより設置された用紙に対して露光ランプを照らしながらＣＣＤカメラで画像を撮影することで原稿データを読み込む。レーザ露光部２２７は、トナー像を転写するために感光ドラムにレーザ光を照射するための一次帯電や、レーザ露光を行う。レーザ露光部２２７においては、まず感光ドラム表面を均一なマイナス電位に帯電させる一次帯電が行われる。次にレーザードライバによってレーザ光を、ポリゴンミラーで反射角度を調節しながら感光ドラムに照射する。これにより照射した部分のマイナス電荷が中和されて静電潜像が形成される。作像部２２８は、用紙に対してトナーを転写するための装置であり、現像ユニット、転写ユニット、トナー補給部等を有し、感光ドラム上のトナーを用紙に転写する。現像ユニットにおいては、現像シリンダからマイナスに帯電したトナーを感光ドラム表面の静電潜像に付着させて可視像化する。転写ユニットは、一次転写ローラにプラス電位を印加し感光ドラム表面のトナーを転写ベルトに転写する一次転写、転写ローラにプラス電位を印加して転写ベルト上のトナーを用紙に転写する二次転写が行われる。定着部２２９は用紙上のトナーを熱と圧力で用紙に溶解固着するための装置であり、加熱ヒータ、定着ベルト、加圧ベルト等を含む。給紙部２３０は、用紙を給紙するための装置であり、ローラや各種センサにより用紙の給紙動作、搬送動作が制御される。

次に画像形成装置１０１のインサータ１０８の構成について説明する。画像形成装置１０１のインサータ１０８は、通信Ｉ／Ｆ２３２、ＣＰＵ２３３、メモリ２３４、給紙制御部２３５を有し、これらはバス２３６を介して接続される。通信Ｉ／Ｆ２３２は、通信ケーブル２５４を介して印刷装置１０７と接続し、制御に必要な通信を行う。ＣＰＵ２３３は、メモリ２３４に格納された制御プログラムを実行して、給紙に必要な各種制御を行う。メモリ２３４は、制御プログラムが保存された記憶装置である。給紙制御部２２５は、ＣＰＵ２３３からの指示に基づき、ローラとセンサを制御しながら、インサータ１０８の給紙部や、印刷装置１０７から搬送された用紙の給紙、搬送を制御する。

次に画像形成装置１０１の検品装置１０９の構成について説明する。

検品装置１０９は、通信Ｉ／Ｆ２３７、ＣＰＵ２３８、メモリ２３９、撮影部２４０、撮影部２５６、表示部２４１、操作部２４２を有し、これらはバス２４３を介して接続される。通信Ｉ／Ｆ２３７は、通信ケーブル２５４を介して印刷装置１０７と接続し、制御に必要な通信を行う。ＣＰＵ２３８は、メモリ２３９に格納された制御プログラムを実行して、検品に必要な各種制御を行う。メモリ２３９は、ＲＯＭやＲＡＭを有し、制御プログラム等を保存している。尚、メモリ２３９は、正解画像を不揮発に登録する大容量の書き換え可能な不揮発メモリを有しているのが望ましい。撮影部２４０及び撮影部２５６は、ＣＰＵ２３８の指示に基づき、搬送された用紙を撮影して、その用紙に印刷された画像を読み取る。ＣＰＵ２３８は、撮影部２４０及び撮影部２５６によって撮影されて得られた画像データと、メモリ２３９に保存された正解画像とを比較し、印刷された画像が正常かどうかを判定する。表示部２４１は、検品結果や設定画面などを表示する。操作部２４２はユーザによって操作され、検品装置１０９の設定変更や正解画像の登録などの指示を受け付ける。

実施形態１に係る検品装置１０９は、搬送された用紙を２つの撮影部２４０と撮影部２５６で用紙の左側と用紙の右側をそれぞれ撮影する。後述する図３の構成においては、カメラ３３１と３３４が２個並んでおり、これらは撮影部２４０と撮影部２５６にそれぞれ対応している。具体的な例については後述する。

次に画像形成装置１０１の大容量スタッカ１１０の構成について説明する。

大容量スタッカ１１０は、通信Ｉ／Ｆ２４４、ＣＰＵ２４５、メモリ２４６、排紙制御部２４７を有し、これらはバス２４８を介して接続されている。通信Ｉ／Ｆ２４４は、通信ケーブル２５４を介して印刷装置１０７と接続し、制御に必要な通信を行う。ＣＰＵ２４５は、メモリ２４６に格納された制御プログラムを実行して、排紙に必要な各種制御を行う。メモリ２４６はＲＯＭやＲＡＭなどを有し、制御プログラムなどを保存している。排紙制御部２４７は、ＣＰＵ２４５からの指示に基づき、搬送された用紙をスタックトレイ、エスケープトレイ、または後続のフィニッシャ１１１に搬送する。

次に画像形成装置１０１のフィニッシャ１１１の構成について説明する。

フィニッシャ１１１は、通信Ｉ／Ｆ２４９、ＣＰＵ２５０、メモリ２５１、排紙制御部２５２、フィニッシング処理部２５３を有し、これらはバス２５４を介して接続されている。通信Ｉ／Ｆ２４９は、通信ケーブル２５４を介して印刷装置１０７と接続し、制御に必要な通信を行う。ＣＰＵ２５０は、メモリ２５１に格納された制御プログラムを実行して、フィニッシングや排紙に必要な各種制御を行う。メモリ２５１はＲＯＭやＲＡＭ等を有し、制御プログラム等を保存している。排紙制御部２５２は、ＣＰＵ２５０からの指示に基づき、用紙の搬送、排紙を制御する。フィニッシング処理部２５３は、ＣＰＵ２５０からの指示に基づき、ステイプルやパンチ、中綴じ製本等のフィニッシング処理を行う。

以上の説明において、外部コントローラ１０２と画像形成装置１０１は、内部ＬＡＮ１０５とビデオケーブル１０６を介して接続されているが、印刷に必要なデータの送受信が行える構成であればよく、例えば、ビデオケーブル１０６のみの接続構成でもよい。またメモリ２０２、メモリ２０９、メモリ２２３、メモリ２３４、メモリ２３９、メモリ２４６、メモリ２５１はそれぞれ、データやプログラムを保持するための記憶装置であればよい。例えば、揮発性のＲＡＭ、不揮発性のＲＯＭ、内蔵ＨＤＤ、外付けＨＤＤ、ＵＳＢメモリなどで代替した構成でもよい。

図３は、実施形態１に係る画像形成装置１０１の機構を説明する概略断面図である。

まず印刷装置１０７について説明する。給紙デッキ３０１及び３０２は、各種用紙を複数枚収容することが可能である。各給紙デッキは、収容された用紙の最上位の一枚の用紙を分離して用紙搬送パス３０３へ搬送する。現像ステーション３０４～３０７は、カラー画像を形成するために、それぞれＹ、Ｍ、Ｃ、Ｋの有色トナーを用いてトナー像を形成する。ここで形成されたトナー像は中間転写ベルト３０８に一次転写される。中間転写ベルト３０８は、図３で時計回り方向に回転駆動され、二次転写位置３０９で、用紙搬送パス３０３から搬送されてきた用紙にトナー像が転写される。表示装置２２５は、画像形成装置１０１の印刷状況や設定のための情報を表示する。定着ユニット３１１は、用紙上のトナー像を用紙へ定着させる。定着ユニット３１１は、加圧ローラと加熱ローラとを備え、これらローラの間を、トナー像が転写された用紙が通過することにより、トナーを溶融・圧着することで用紙にトナー像を定着させる。定着ユニット３１１を通過した用紙は、用紙搬送パス３１２を通って搬送パス３１５へ搬送される。用紙の種類によって定着のために更に溶融・圧着が必要な場合は、定着ユニット３１１を通過した用紙は、上側の用紙搬送パスを経由して第二定着ユニット３１３へ搬送される。そして、この第二定着ユニット３１３で追加の溶融・圧着が施された用紙は、用紙搬送パス３１４を通って搬送パス３１５へ搬送される。また画像形成モードが両面の場合は、定着後の用紙は用紙反転パス３１６へ搬送され、反転部３１６で用紙の表裏が反転された後、両面搬送パス３１７へ搬送され、二次転写位置３０９で、その用紙の２面目に画像が転写される。

次に用紙を挿入するためのインサータ１０８の構成を説明する。

インサータ１０８はインサータトレイ３２１を備え、用紙搬送パス３２２を通じて給紙された用紙を搬送パス３１５へ合流させる。これにより、印刷装置１０７から搬送される一連の用紙群に、任意の位置で用紙を挿入して後続の装置へ搬送させることが可能となる。

インサータ１０８を通過した用紙は検品装置１０９へ搬送される。検品装置１０９内には、カメラ３３１と３３４、３３２と３３５とが対向する形で配置される。カメラ３３１と３３４は用紙の上面を、カメラ３３２と３３５は用紙の下面を読み取るためのカメラである。検品装置１０９は、用紙搬送パス３３３に搬送された用紙が所定に位置に到達したタイミングで、カメラ３３１と３３４、３３２と３３５を用いて用紙の画像を読み取り、用紙に印刷された画像が正常であるか否か判定することができる。表示装置２４１には検品装置１０９によって行われた検品結果などが表示される。

次に、大容量の用紙を積載することが可能な大容量スタッカ１１０の構成を説明する。

大容量スタッカ１１０は、用紙を積載するトレイとしてスタックトレイ３４１を有する。検品装置１０９を通過した用紙は、用紙搬送パス３４４を通して大容量スタッカ１１０に入力されてくる。用紙は用紙搬送パス３４４から用紙搬送パス３４５を経由して、スタックトレイ３４１に積載される。更に大容量スタッカ１１０は、排紙トレイとしてエスケープトレイ３４６を有する。エスケープトレイ３４６は、検品装置１０９によって欠陥用紙と判定された用紙を排出するために使用される排紙トレイである。エスケープトレイ３４６に排紙する場合は、用紙搬送パス３４４から用紙搬送パス３４７を経由してエスケープトレイ３４６へ用紙が搬送される。尚、大容量スタッカ１１０の後段の後処理装置へ用紙を搬送する場合には、用紙搬送パス３４８を経由して用紙が搬送される。反転部３４９は、用紙の表裏を反転するための機構部である。この反転部３４９は、用紙をスタックトレイ３４１に積載する場合に使用される。入力された用紙の向きと出力時点での用紙の向きが同一となるようにスタックトレイ３４１に積載する場合は、反転部３４９で一度用紙を反転させる。エスケープトレイ３４６や、後続の後処理装置（フィニッシャ１１１）へ搬送する場合は、積載時にフリップせずにそのまま用紙を排出するため、反転部３４９による用紙の反転動作は行わない。

フィニッシャ１１１は、ユーザにより指定された機能に応じて、搬送された用紙に対して後処理を加えることができる。フィニッシャ１１１では、具体的にはステイプル（１個所・２箇所綴じ）やパンチ（２穴・３穴）や中とじ製本等のフィニッシング機能を有する。フィニッシャ１１１は、２つの排紙トレイ３５１，３５２を備え、フィニッシング処理がなされない用紙束は用紙搬送パス３５３を経由して排紙トレイ３５１に出力される。ステイプル等のフィニッシング処理を行う場合、給紙された用紙は用紙搬送パス３５４を経由して処理部３５５に送られ、ユーザにより指定されたフィニッシング機能が実行され、排紙トレイ３５２へ出力される。排紙トレイ３５１及び３５２はそれぞれ昇降することが可能であり、排紙トレイ３５１を下降させ、処理部３５５でフィニッシング処理した用紙を排紙トレイ３５１へ積載することも可能である。中とじ製本が指定された場合は、中とじ処理部３５６で、用紙束の中央にステイプル処理を施した後、その用紙束を二つ折りにして用紙搬送パス３５７を経由して中とじ製本トレイ３５８へ出力する。中とじ製本トレイ３５８はベルトコンベア構成になっており、中とじ製本トレイ３５８上に積載された中とじ製本束は、図３の左側へ搬送される構成となっている。

図４（Ａ）は、実施形態１に係る検品装置１０９が正解画像を登録するときの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、検品装置１０９のＣＰＵ２３８がメモリ２３９に展開された前述のプログラムを実行することにより達成される。

まずＳ４０１でＣＰＵ２３８は、搬送された用紙（印刷済シート）を撮影部２４０（カメラ３３１），２５６（カメラ３３４）で読み取り、その読み取りで得られた画像データをメモリ２３９に保存する。次にＳ４０２に進みＣＰＵ２３８は、その記憶された画像データに対して適宜、各種画像処理（実施形態１では解像度変換およびフィルタ処理）を行う。次にＳ４０３に進みＣＰＵ２３８は、その画像データの特徴点の抽出処理を行う。この特徴点の抽出処理では、各種特徴量算出アルゴリズム（Ｈａｒｒｉｓ Ｃｏｒｎｅｒ ＤｅｔｅｃｔｉｏｎやＦａｓｔ Ｃｏｒｎｅｒ Ｄｅｔｅｃｔｉｏｎ， ＡＫＡＺＥ等）に基づいて特徴点を抽出する。この特徴点の抽出処理の詳細については後述する。そしてＳ４０４に進みＣＰＵ２３８は、メモリ２３９に記憶されている読み取り画像データと、Ｓ４０３で抽出された特徴点の座標とをそれぞれ正解画像としてメモリ２３９に保存して、この処理を終了する。

図４（Ｂ）は、実施形態１に係る検品装置１０９が検品処理を行うときの処理を説明するフローチャートである。尚、このフローチャートで示す処理は、検品装置１０９のＣＰＵ２３８がメモリ２３９に展開された前述のプログラムを実行することにより達成される。

まずＳ４１１でＣＰＵ２３８は、Ｓ４０１と同様に、搬送された用紙（検査対象の印刷済シート）を撮影部２４０，２５６で読み取り、その読み取りで得られた画像データ（検査対象の画像データ）をメモリ２３９に保存する。次にＳ４１２に進みＣＰＵ２３８は、Ｓ４０２と同様して、メモリ２３９に記憶された画像データに対して適宜、各種画像処理（実施形態１では解像度変換およびフィルタ処理）を行う。次にＳ４１３に進みＣＰＵ２３８は、Ｓ４０３と同様にして、その画像データの特徴点を抽出する。次にＳ４１４に進みＣＰＵ２３８は、Ｓ４１３で抽出した検査対象の画像データの特徴点の座標と、Ｓ４０３で抽出して登録されている正解画像の特徴点の座標とから、読み取り画像データを正解画像へ位置合わせするための幾何変換パラメータを算出する。ここでは検査対象の画像データの特徴点の座標行列を行列Ａ、正解画像の特徴点の座標行列を行列Ｂ、幾何変換パラメータを行列Ｘとすると、位置合わせのための幾何変換は以下の式（１）で表される。

Ａ・Ｘ ＝ Ｂ …式（１）
行列Ａの疑似逆行列をＡ^＋とすると、幾何変換パラメータ行列Ｘは、以下の式（２）で表される。

Ｘ ＝ Ａ^＋Ｂ …式（２）
この式（２）により幾何変換パラメータが算出される。

次にＳ４１５に進みＣＰＵ２３８は、Ｓ４１４で算出した幾何変換パラメータを用いて検査対象の画像データを幾何変換することで正解画像に対して位置合わせを行う。次にＳ４１６に進みＣＰＵ２３８は、画素毎に、正解画像と検査対象の画像データの画素の差分を取得する。そしてＳ４１７に進みＣＰＵ２３８は、その画素の差分の最大値に基づいて、検査結果の判定を行う。即ち、ここでは、画素の差分の最大値が閾値以上（所定値以上）であれば、検査対象の画像データが欠陥、即ち、その画像が印刷されている用紙を欠陥（不良）用紙と判定して、例えば表示装置２４１に表示する。また画素の差分の最大値が閾値よりも小さいときは正常用紙と判定する。

図５は、実施形態１に係る検品装置１０９で搬送される用紙と撮影部２４０、撮影部２５６で読み取った画像の例、及び特徴点の座標の例を説明する図である。尚、図５において、用紙は撮影部２４０，２５６に対して図５の下側から上側方向に搬送されるものとする。

図５（ａ）（ｅ）（ｉ）は、撮影部２４０と撮影部２５６の配置を示している。ここで撮影部２４０は、搬送されてくる読み取り対象の用紙の左側を読み取り、撮影部２５６は、その用紙の右側を読み取るよう配置されている。また撮影部２４０と撮影部２５６は、重複して画像を読み取るオーバーラップ領域を持つ。このオーバーラップ領域は、撮影部２５６左端と撮影部２４０右端の間である。オーバーラップ領域は、用紙の搬送ずれも考慮して十分な領域をオーバーラップさせる必要がある。

図５（ｂ）（ｆ）（ｊ）は、読み取り対象の用紙の画像を示している。

図５（ｃ）（ｇ）（ｋ）は、撮影部２４０で読み取った画像を示し、用紙の左側のみを読み取っている。更に図５（ｄ）（ｈ）（ｌ）は、撮影部２５６で読み取った画像を示し、用紙の右側のみを読み取っている。正解画像の登録時、ＣＰＵ２３８は、読み取り画像を撮影部２４０及び撮影部２５６で読み取って得られた画像データを正解画像としてメモリ２３９に登録する。また検品処理時には、ＣＰＵ２３８は、撮影部２４０及び撮影部２５６で読み取って得られた画像データと、メモリ２３９に登録した正解画像とを比較する。

図５（ａ）のように、２つの撮影部２４０，２５６が用紙の搬送方向に対して垂直に取り付けられており、かつ図５（ｂ）のように、用紙が撮影部に対して垂直に搬送された場合、各撮影部が読み取って得られた画像データは、理想的には一切の変形なく読み取られたものとなる。いま用紙上の印刷画像が特徴点ｆ０，ｆ１，ｆ２の３つの特徴点を持つ場合、図５（ｃ），（ｄ）に示すように撮影部２４０では特徴点ｆ０，ｆ１が、撮影部２５６では特徴点ｆ０，ｆ２が読み取られる。

次に図５（ｅ）のように、２つの撮影部２４０，２５６が用紙の搬送方向に対して垂直に取り付けられているが、図５（ｆ）のように、用紙が撮影部に対して傾いた状態で搬送された場合を考える。この場合、図５（ｇ）、（ｈ）のように用紙が傾いている分、画像が回転した状態で読み取られた画像データが得られる。

また図５（ｉ）のように、撮影部２４０が用紙の搬送方向に対して傾いて取り付けられているが、図５（ｊ）のように、用紙が撮影部に対して垂直に搬送された場合を考える。この場合は、図５（ｋ），（ｌ）のように、撮影部２４０の傾き角度分、用紙の左側の画像が平行四辺形状に変形（せん断）した状態で読み取られた画像データが得られる。

上述したように、撮影部によって読み取られて得られた画像データは、用紙の搬送状態（角度、主走査位置）、及び撮影部の取り付け状態（オフセット位置、角度）に応じて変形する。こうして変形した読み取り画像データを正解画像に位置合わせするための幾何変換としてアフィン変換を用いる場合、最低３点の特徴点が必要となる。しかし、用紙の搬送状態や撮影部の取り付け状態によっては、例えば図５（ｃ）、（ｄ）で示すようなアフィン変換に必要な特徴点が、撮影部が読み取って得られた画像データから得られない場合が生じてしまう。

このため実施形態１では、撮影部２４０の読み取り画像に対する幾何変換パラメータを算出するために、撮影部２５６で読み取った特徴点ｆ２の座標を変換して使用する。同様に、撮影部２５６の読み取り画像に対する幾何変換パラメータを算出するために、撮影部２４０で読み取った特徴点ｆ１の座標を変換して使用する。この座標変換について図６で説明する。

図６は、実施形態１に係る検品装置１０９による、図４のＳ４０３，Ｓ４１３の特徴点の抽出処理を説明するフローチャートである。尚、このフローチャートで示す処理は、検品装置１０９のＣＰＵ２３８がメモリ２３９に展開したプログラムを実行することにより達成される。この処理は、特徴量算出アルゴリズムに基づいて撮影部ごとに、読み取った画像の特徴点を抽出するものである。

まずＳ６０１でＣＰＵ２３８は、特徴量の算出アルゴリズムに基づいて、撮影部ごとに、各撮影部が撮影して得られる画像の特徴量に基づいて、各撮影部に対応する画像の特徴点を抽出する。次にＳ６０２でＣＰＵ２３８は、以降の処理を全ての撮影部について繰り返す。ここで、全ての撮影部とは、実施形態１においては撮影部２４０，２５６の２つを指すが、撮影部の個数は２つに限定されるものではない。そしてＳ６０３でＣＰＵ２３８は、以降の処理をＳ６０１で抽出した全ての特徴点について繰り返す。尚、全ての特徴点とは、図５（ｃ）、図５（ｄ）の例では、撮影部２４０で読み取った画像の特徴点ｆ０，ｆ１、及び撮影部２５６で読み取った画像の特徴点ｆ０，ｆ２を表す。尚、特徴点ｆ０については、撮影部２４０，２５６で重複して読み取られているが、図６のフローチャートでは重複した特徴点を別々の特徴点として区別して処理を行う。

次にＳ６０４に進みＣＰＵ２３８は、現在参照する特徴点が、現在参照する撮影部で読み取られたものかどうかを判定する。例として、現在参照する撮影部が撮影部２４０の場合、現在参照する特徴点が撮影部２５６で読み取った特徴点ｆ２である場合は偽となってＳ６０５に進む。一方、撮影部２４０で読み取った特徴点ｆ０，ｆ１である場合は真となってＳ６０６に進む。こうして、現在参照する撮影部で読み取られたものでなければＳ６０５に進みＣＰＵ２３８は、撮影部間での特徴点の座標変換処理を行う。

これは、図５（ｋ），（ｌ）の例でいえば、撮影部２５６で読み取った特徴点ｆ２を、撮影部２４０の読み取り画像へと写像する処理である。言い換えると、本来、撮影部２４０で読み取れない特徴点ｆ２が撮影部２４０で読み取れたと仮定する。そして、このような場合は、特徴点ｆ２の座標を、撮影部２５６の読み取り画像の座標系から撮影部２４０の座標系へと変換する処理である。この写像も幾何変換を用いて行うことが可能である。この特徴点の座標変換処理に必要な幾何変換パラメータは、事前にチャート画像等を流して撮影部２４０と撮影部２５６の相対的な取り付け位置、角度を求めることで得られる。尚、撮影部２４０から撮影部２５６へと座標変換するパラメータと、撮影部２５６から撮影部２４０へと座標変換するパラメータはそれぞれ別である。尚、ここで、撮影部２４０の撮影部２５６の取り付け位置の違いを補正するためのパラメータは、工場出荷時に測定されて検品装置１０９に記憶されているものとする。

Ｓ６０６に進みＣＰＵ２３８は、得られた特徴点の座標を決定する。そしてＳ６０７でＣＰＵ２３８は、全ての特徴点について繰り返し処理が終わったかどうか判定し、終わっていなければＳ６０３へ戻る。こうして全ての特徴点についての処理が終了するとＳ６０８に進みＣＰＵ２３８は、全ての撮影部について繰り返し処理が終わったかどうかを判定し、終わっていなければＳ６０２へ戻る。

以上説明したように実施形態１によれば、複数の撮影部で読み取って得られた画像データごとに正解画像との位置合わせを行う検品装置であっても、それぞれの撮影部で読み取った特徴点の座標を座標変換することで幾何変換パラメータが算出可能となる。これにより、例え印刷用紙を読み取った画像で特徴点が偏在していても、幾何変換による位置合わせ処理が可能となる。

［実施形態２］
上述の実施形態１では、各撮影部で読み取った画像の全ての特徴点に対してＳ６０４からＳ６０６による特徴点の座標変換処理を行った。しかしながら、印刷画像によっては１つの撮影部で幾何変換に必要となる十分な個数の特徴点が読み取れる場合もある。この場合は、処理速度の観点から、撮影部間の特徴点の座標の決定処理を省略する構成が考えられる。これを実施形態２として説明する。尚、実施形態２に係るシステムの構成などは前述の実施形態１と同様であるため、その説明を省略する。

図７は、実施形態２に係る検品装置２０９による特徴点の抽出処理を説明するフローチャートである。尚、このフローチャートで示す処理は、検品装置１０９のＣＰＵ２３８がメモリ２３９に展開された前述のプログラムを実行することにより達成される。尚、図７において、前述の図６と共通する処理は同じ参照符号を使用して、その説明を省略する。

Ｓ７０１でＣＰＵ２３８は、該撮影部で読み取った特徴点の数が幾何変換パラメータを算出するために充足しているかどうかを判定する。そして充足していないと判定するとＳ６０５に進んで、撮影部間での特徴点の座標変換処理を行う。一方、特徴点の数が幾何変換パラメータを算出するために充足していると判定するとＳ６０５をスキップしてＳ６０６に進む。例えば、幾何変換としてアフィン変換を用いる場合は、最低３つの特徴点が必要であり、射影変換を用いる場合は最低４つの特徴点が必要である。但し、この個数はこれらに限定されるものではなく、パラメータ算出のロバスト性向上のために余裕を持った個数を閾値としてもよい。特徴点の数をできる限り多く、かつ抽出した特徴点の座標が用紙全体に万遍なく分散させるようにする。これにより、用紙の搬送に起因する読み取り画像データの部分的な変形が生じても、位置合わせ誤差を抑えることが可能である。このため、処理速度と位置合わせ精度のトレードオフから、この閾値が決定されることになる。

以上説明したように実施形態２によれば、画像の位置合わせを行うための幾何変換処理に必要な数の特徴点が得られた後は、撮影部間での特徴点の座標変換処理を省略する。これにより、印刷用紙１枚あたりの検品処理の速度を向上させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１０１…画像形成装置、１０２…外部コントローラ、１０７…印刷装置、１０９…検品装置、２３８…（検品装置の）ＣＰＵ、２４０，２５６…撮影部、３３１，３３２，３３４，３３５…カメラ

Claims (10)

1. 印刷用紙を読み取って検査する検品装置であって、
   複数の撮影部を使用して前記印刷用紙の画像を読み取る読み取り手段と、
   前記複数の撮影部のそれぞれで読み取って得られる画像の特徴点を抽出する抽出手段と、
   前記複数の撮影部の第１の撮影部が読み取って得られた画像の特徴点が、本来は別の撮影部で読み取って得られる画像の特徴点かどうか判定する判定手段と、
   前記判定手段が、本来、前記別の撮影部で読み取って得られる特徴点であると判定した場合、当該特徴点の座標を前記別の撮影部の座標系から前記第１の撮影部の座標系に変換する変換手段と、
   前記抽出手段によって抽出された前記特徴点の座標、および前記変換手段によって変換された特徴点の座標から幾何変換パラメータを算出する算出手段と、
   前記幾何変換パラメータに基づいて、前記印刷用紙の画像と正解画像との位置合わせを行って前記画像と前記正解画像との間で画素ごとの差分を取得する取得手段と、
   を有することを特徴とする検品装置。
2. 前記複数の撮影部のそれぞれは、前記印刷用紙の互いに異なる領域を読み取り、かつ、これら領域は、オーバーラップするオーバーラップ領域を有することを特徴とする請求項１に記載の検品装置。
3. 前記正解画像を記憶する記憶手段を、更に有し、
   前記正解画像は、前記正解画像の画像データと当該画像データの特徴点の座標とを含むことを特徴とする請求項１又は２に記載の検品装置。
4. 前記取得手段は、前記幾何変換パラメータによるアフィン変換を使用して前記印刷用紙の画像と前記正解画像との位置合わせを行うことを特徴とする請求項１乃至３のいずれか１項に記載の検品装置。
5. 前記判定手段が、本来、前記別の撮影部で読み取って得られる画像の特徴点でないと判定した場合、前記算出手段は、前記抽出手段によって抽出された前記特徴点の座標から前記幾何変換パラメータを算出することを特徴とする請求項１乃至４のいずれか１項に記載の検品装置。
6. 前記変換手段は、前記判定手段が、本来、前記別の撮影部で読み取って得られる画像の特徴点であると判定した場合であっても、前記印刷用紙の画像から抽出した特徴点の数が所定値になると前記座標系の変換を行わないことを特徴とする請求項１乃至５のいずれか１項に記載の検品装置。
7. 前記取得手段により取得された前記差分が所定値以上の場合、前記印刷用紙が不良であることを表示する表示手段を、更に有することを特徴とする請求項１乃至６のいずれか１項に記載の検品装置。
8. 印刷装置と、
   前記印刷装置で印刷された用紙に印刷された画像を検品する請求項１乃至７のいずれか１項に記載の検品装置と、
   前記検品装置で正常用紙と判定されて排出された用紙に後処理を行う後処理装置とを有することを特徴とする印刷システム。
9. 複数の撮影部を使用して印刷用紙の画像を読み取る読み取り手段を有し、印刷用紙を読み取って検査する検品装置の制御方法であって、
   前記複数の撮影部のそれぞれで読み取って得られる画像の特徴点を抽出する抽出工程と、
   前記複数の撮影部の第１の撮影部が読み取って得られた画像の特徴点が、本来は別の撮影部で読み取って得られる画像の特徴点かどうか判定する判定工程と、
   前記判定工程が、本来、前記別の撮影部で読み取って得られる画像の特徴点であると判定した場合、当該特徴点の座標を前記別の撮影部の座標系から前記第１の撮影部の座標系に変換する変換工程と、
   前記抽出工程で抽出された前記特徴点の座標、および前記変換工程で変換された特徴点の座標から幾何変換パラメータを算出する算出工程と、
   前記幾何変換パラメータに基づいて、前記印刷用紙の画像と正解画像との位置合わせを行って前記画像と前記正解画像との間で画素ごとの差分を取得する取得工程と、
   を有することを特徴とする制御方法。
10. コンピュータに、請求項９に記載の制御方法の各工程を実行させるためのプログラム。

Images