JP2021037736A - 画像処理装置とその制御方法、及び検品装置とその制御方法、並びにプログラム - Google Patents

画像処理装置とその制御方法、及び検品装置とその制御方法、並びにプログラム Download PDF

Info

Publication number
JP2021037736A
JP2021037736A JP2019162361A JP2019162361A JP2021037736A JP 2021037736 A JP2021037736 A JP 2021037736A JP 2019162361 A JP2019162361 A JP 2019162361A JP 2019162361 A JP2019162361 A JP 2019162361A JP 2021037736 A JP2021037736 A JP 2021037736A
Authority
JP
Japan
Prior art keywords
image data
sheet
correct
image
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019162361A
Other languages
English (en)
Other versions
JP7466280B2 (ja
JP2021037736A5 (ja
Inventor
弘翼 矢崎
Kosuke Yazaki
弘翼 矢崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019162361A priority Critical patent/JP7466280B2/ja
Priority to US17/009,956 priority patent/US11455129B2/en
Publication of JP2021037736A publication Critical patent/JP2021037736A/ja
Publication of JP2021037736A5 publication Critical patent/JP2021037736A5/ja
Application granted granted Critical
Publication of JP7466280B2 publication Critical patent/JP7466280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1208Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1253Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256User feedback, e.g. print preview, test print, proofing, pre-flight checks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1259Print job monitoring, e.g. job status
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1282High volume printer device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00015Reproducing apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00034Measuring, i.e. determining a quantity by comparison with a standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00045Methods therefor using a reference pattern designed for the purpose, e.g. a test chart
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32609Fault detection or counter-measures, e.g. original mis-positioned, shortage of paper
    • H04N1/32625Fault detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)

Abstract

【課題】紙粉に起因する画像データの不良は、例え正解画像データの取得前後で発生していなくても、正解画像データを取得する時にのみ発生するといったことが十分に考えられるため、従来の手法では、正解画像データの取得時に画像不良が発生しているかどうかを確実に判別できない。
【解決手段】正解画像データの候補となる画像が印刷されたシートを読み取って読取画像データを取得し、その読み取り時に発生した画像不良を含む読取画像データを検出する。そして読取画像データをプレビュー表示し、そのプレビュー表示に基づいて、読取画像データから正解画像データの候補となる画像データを選択させるための提示を行い、その提示に基づいて選択された画像データから正解画像データを生成する。
【選択図】 図5

Description

本発明は、画像処理装置とその制御方法、及び検品装置とその制御方法、並びにプログラムに関するものである。
近年、印刷装置により印刷されたシートを搬送中に検品装置によって検査することにより、印刷済のシートの良否を判別できる印刷システムが知られている。印刷済のシートの検査では、検品装置が搬送されたシートの画像を読み取り、読み取った画像の画像解析に基づいて、印刷された画像が正常であるか否かを判定する。検品装置は、例えばバーコードや罫線の欠け、画像抜け、印刷不良、ページ抜け、色ずれなどを検出することができる。こうして欠陥シートであると判定された場合には、その欠陥シートは正常シートとは別の排紙先に排紙される。これにより欠陥シートが正常シートと混入するのが防止され、また欠陥シートだけを容易に廃棄することができる。
このような検査で実施される画像解析に用いる正解画像(マスタ画像、リファレンス画像)を作成する方法として、事前に印刷した正解画像として十分な品位のある印刷済のシートを検品装置で読み取り、得られた画像データを用いる方法が知られている。検品装置上の、実際の検査工程で使用する読み取りセンサを用いてこのような正解画像を取得することにより、シートの搬送精度やセンサの読み取り精度に起因する検査の誤判定を抑えることが可能となる。
特開2010−173289号公報
しかしながら、正解画像の取得時は、読み取り対象のシートが正解画像として十分な品位で印刷されていることのみならず、そのシートを読み取りセンサで正しく読み取る必要がある。例えば、シートの紙粉が検品装置の読み取りセンサに付着することで、読み取って得られた画像データにスジ状の誤ったデータが含まれる等が考えられる。このようなデータが混入した画像データを正解画像として用いた場合、例え印刷済のシートの画像が十分な品位のある画像であっても、そのシートは印刷不良のシートであると誤判定される可能性がある。
特許文献1には、正解画像データの取得前後に画像不良が発生していないことを確認することで、正解画像データの取得時に印刷不良や読み取り不良が発生していないと判定する技術が記載されている。しかしながら、前述したような紙粉に起因する画像データの不良は、例え正解画像データの取得前後で発生していなくても、正解画像データを取得する時にのみ発生するといったことが十分に考えられる。そのため、正解画像データの取得時に画像不良が発生しているかどうかを確実に判別できないという課題があった。
更に、スジ状の画像不良を機械的に検出して除外する方法では、正常な画像の中に、元々スジ状の画像が含まれている場合、正常な画像であるにも拘わらず、画像不良が発生しているとと誤判定する可能性がある。また或いは、元々スジ状の画像が含まれている正解画像を使用した場合に、正常な印刷物でも印刷不良が発生していると誤検知する可能性がある。
本発明の目的は、上記従来技術の問題点の少なくとも一つを解決することにある。
本発明の目的は、正解画像データの取得時、読み取った画像に画像不良が含まれる画像データを正解画像データを生成するための候補画像から確実に除外して生成画像データを生成できる技術を提供することにある。
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像処理装置であって、
正解画像データの候補となる画像が印刷されたシートを読み取って読取画像データを取得する読取手段と、
前記読取手段による読み取り時に発生した画像不良を含む読取画像データを検出する検出手段と、
前記読取画像データをプレビュー表示する表示手段と、
前記プレビュー表示に基づいて、前記読取画像データから正解画像データの候補となる画像データを選択させるための提示を行う提示手段と、
前記提示手段による提示に基づいて選択された画像データから前記正解画像データを生成する生成手段と、を有することを特徴とする。
本発明によれば、正解画像データの取得時、読み取った画像に画像不良が含まれる画像データを正解画像データを生成するための候補画像から確実に除外して生成画像データを生成できる。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態に係る画像処理システムの構成を説明する図。 実施形態1に係る画像形成装置、外部コントローラ、及びPCの構成を説明するブロック図。 実施形態に係る画像形成装置の機構を説明する概略断面図。 実施形態に係る外部コントローラによる正解画像データの登録処理を説明するフローチャートと(A)、実施形態に係る印刷装置による正解画像データを登録する際の処理を説明するフローチャート(B)。 実施形態に係る検品装置が正解画像データを生成する処理を説明するフローチャート。 実施形態に係る検品装置による検品処理を説明するフローチャート。 実施形態に係る検品装置の起動時に表示部に表示される画面の一例を示す図。 実施形態に係る検品装置において、正解画像データを登録する際に表示部に表示される登録画面の一例を示す図。 実施形態に係る検品装置が、正解画像データの候補画像の読み取り中に表示部に表示する画面の一例を示す図。 実施形態に係る検品装置において、正解画像データの登録のためのシートの読み取りが完了した後に表示部に表示される画面の一例を示す図。 強調ボタンにより、読み取った画像にスジ状の画像不良が含まれているとき、そのスジ部分を強調表示する例を説明する図。 ボタン1005を押下することにより、読取画像と強調画像を並列に表示して比較できるように表示した例を示す図。 ボタン1005を押下することにより、現在の読み取り画像と、他の正常な読取画像とを並列に表示して比較できるように表示した例を示す図。 検品装置に正解画像データが登録されているときの画面例を示す図(A)と、正解画像データを追加登録するときの設定画面の一例を示す図(B)。 実施形態に係る検品装置において検品の設定を行うときに表示部に表示される設定画面の一例を示す図。 S606で検品装置の表示部に表示される画面の一例を示す図。 S608で検品装置の表示部に表示される画面例を示す図。 実施形態に係る外部コントローラの表示部に表示される検品ジョブの設定画面の一例を示す図。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これら複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。尚、以下の説明において、外部コントローラ102は、画像処理コントローラ、デジタルフロントエンド、プリントサーバ、DFEなどと呼ばれることもある。また本発明に係る画像処理装置の一例である画像形成装置101は、複合機、マルチファンクションペリフェラル、MFPと呼ばれることもある。
図1は、本発明の実施形態に係る画像処理システムの構成を説明する図である。
この画像処理システムは、画像形成装置101と外部コントローラ102を備える。画像形成装置101と外部コントローラ102は、内部LAN105とビデオケーブル106を介して通信可能に接続されている。外部コントローラ102は、外部LAN104を介してクライアントPC103(以下、単にPC103と呼ぶ)と通信可能に接続されており、PC103から外部コントローラ102に対して印刷指示が行われる。
PC103には印刷データを外部コントローラ102で処理可能なページ記述言語に変換する機能を有するプリンタドライバがインストールされている。印刷を行ないたいユーザは、各種アプリケーションから、そのプリンタドライバを介して印刷指示を行うことができる。プリンタドライバは、ユーザからの印刷指示に基づいて外部コントローラ102に印刷データを送信する。外部コントローラ102はPC103から印刷指示を受け取ると、データ解析やラスタライズ処理を行い、画像形成装置101に対して印刷データを投入して印刷指示を行う。
次に画像形成装置101について説明する。画像形成装置101には複数の異なる機能を有する装置が接続され、製本などの複雑な処理が可能なように構成されている。
印刷装置107は、印刷装置107の下部にある給紙部から搬送される用紙(シート)に対してトナーを用いて画像を形成(印刷)する。この印刷装置107の構成及び動作原理は次の通りである。画像データに応じて変調された、レーザ光などの光線をポリゴンミラー等の回転多面鏡により反射して走査光として感光ドラムを照射する。このレーザ光により感光ドラム上に形成された静電潜像はトナーによって現像され、転写ドラムに貼り付けられたシートに、そのトナー像を転写する。この一連の画像形成プロセスをイエロー(Y)、マゼンタ(M)、シアン(C)、ブラック(K)のトナーに対して順次実行することにより、シート上にフルカラーの画像が形成される。こうしてフルカラー画像が形成された転写ドラム上のシートは定着器へ搬送される。定着器は、ローラーやベルト等を含み、ローラー内にハロゲンヒータなどの熱源を内蔵し、トナー像が転写されたシート上のトナーを、熱と圧力によって溶解してシートに定着させる。
インサータ108は、搬送されてくるシートの間に挿入シートを挿入する。即ち、印刷装置107で印刷されて搬送されてくるシート群に対して、任意の位置でシートを挿入することができる。検品装置109は、搬送されたシートの画像を読み取り、予め登録された正解画像データと比較することで、そのシートに印刷された画像が正常かどうか判定する。大容量スタッカ110は、大容量のシートを積載することができる。フィニッシャ111は、搬送されたシートに対してフィニッシング処理を行う。このフィニッシング処理は、ステイプルやパンチ、中綴じ製本などを含み、フィニッシング処理がなされた成果物は排紙トレイに排紙される。
尚、図1に示す印刷システムは、画像形成装置101に外部コントローラ102が接続された構成であるが、本発明は外部コントローラ102が接続された構成に限定されない。即ち、画像形成装置101が直接、外部LAN104に接続され、PC103が外部LAN104を介して画像形成装置101に印刷データを送信する構成でもよい。この場合、画像形成装置101において、データ解析やラスタライズ処理が行われて印刷処理が実行される。
図2は、実施形態1に係る画像形成装置101、外部コントローラ102、及びPC103の構成を説明するブロック図である。
まず画像形成装置101の印刷装置107の構成について説明する。
画像形成装置101の印刷装置107は、通信I/F217、LANI/F218、ビデオI/F220、HDD221、CPU222、メモリ223、操作部224、表示部225を有する。更に印刷装置107は、原稿露光部226、レーザ露光部227、作像部228、定着部229、給紙部230を備える。これら構成要素はシステムバス231を介して接続される。
通信I/F217は、通信ケーブル254を介してインサータ108、検品装置109、大容量スタッカ110、及びフィニッシャ111と接続され、それぞれの装置の制御のための通信が行われる。LANI/F218は、内部LAN105を介して外部コントローラ102と接続され、外部コントローラ102との間で印刷データなどの通信が行われる。ビデオI/F220は、ビデオケーブル106を介して外部コントローラ102と接続され、外部コントローラ102との間で画像データなどの通信が行われる。
HDD221は、プログラムやデータを保存する記憶装置である。CPU222は、メモリ223に記憶されたブートプログラムを実行してHDD221に保存されたプログラムをメモリ223に展開し、その展開したプログラムを実行して画像処理制御や印刷などの制御を包括的に行う。メモリ223はブートプログラム等を記憶するROM及びプログラム等の展開に使用されるRAMを含み、CPU222が各種処理を行う際に必要となるプログラムや画像データ等を記憶するのに使用され、またCPU223が制御を実行する際に、各種データを記憶するワークエリアを提供している。操作部224は、ユーザからの各種設定の入力や操作の指示を受け付ける。表示部225には、画像形成装置101の設定情報や印刷ジョブの処理状況などが表示される。尚、表示部225にタッチパネル機能を設け、表示部225が操作部224の機能の一部を代行してもよい。
原稿露光部226は、コピー機能やスキャン機能を使用する際に原稿を読み込む処理を行う。原稿露光部226は、ユーザにより設置されたシート、或いは搬送されたシートに対して露光ランプからの光を照射しCMOSイメージセンサで画像を撮影することで、その画像の画像データを取得する。レーザ露光部227は、トナー像を転写するために感光ドラムにレーザ光を照射するための一次帯電やレーザ露光を行う。レーザ露光部227は、まず感光ドラムの表面を均一なマイナス電位に帯電させる一次帯電を実行する。次にレーザードライバによって半導体レーザを駆動して発光されたレーザ光を、ポリゴンミラーで反射角度を調節しながら感光ドラム上に照射する。これにより照射された部分のマイナス電荷が中和されて、そこに画像データに応じた静電潜像が形成される。作像部228は、シートに対してトナー像を転写する装置であり、現像ユニット、転写ユニット、トナー補給部等を含み、感光ドラム上のトナー像をシートに転写する。現像ユニットは、現像シリンダーからマイナスに帯電したトナーを感光ドラム表面の静電潜像に付着させてトナー像として可視化する。転写ユニットは、一次転写ローラにプラス電位を印加して感光ドラム表面のトナー像を転写ベルトに転写する一次転写、二次転写ローラにプラス電位を印加して転写ベルト上のトナー像をシートに転写する二次転写を行う。定着部229は、シート上のトナー像を熱と圧力でシートに溶解固着する。定着部229は、加熱ヒータ、定着ベルト、加圧ベルト等を有する。給紙搬送部230はシートを給紙するための装置であり、ローラや各種センサによりシートの給紙動作、搬送動作が制御される。
次に画像形成装置101のインサータ108の構成について説明する。
画像形成装置101のインサータ108は、通信I/F232、CPU233、メモリ234、給紙制御部235を有し、これら構成要素はシステムバス236を介して接続される。通信I/F232は、通信ケーブル254を介して印刷装置107と接続され、印刷装置107との間で制御に必要な通信が行われる。CPU233は、メモリ234に格納された制御プログラムに従って、給紙に必要な各種制御を行う。メモリ234は、制御プログラムが保存された記憶装置である。給紙制御部235は、CPU233の指示に基づき、ローラとセンサを制御しながら、インサータ108の給紙部や印刷装置107から搬送されたシートの給紙、搬送を制御する。
次に画像形成装置101の検品装置109の構成について説明する。
画像形成装置101の検品装置109は、通信I/F237、CPU238、メモリ239、撮影部240、表示部241、操作部242を有し、これら構成要素はシステムバス243を介して接続される。通信I/F238は、通信ケーブル254を介して印刷装置107と接続され、印刷装置107との間で制御に必要な通信が行われる。CPU238は、メモリ239に格納された制御プログラムに従って検品に必要な各種制御を行う。メモリ239は、制御プログラム等を記憶する記憶装置である。撮影部240は、CPU238の指示に基づき、搬送されたシートを撮影する。撮影部240は、検査対象の印刷物だけでなく、正解画像データの登録時には、正解画像の候補となる印刷物の読み取りも行う。正解画像候補となる画像を印刷したシートを複数枚読みより、それら読み取って取得した画像データを重畳化、平均化したものを正解画像データとして使用する。これにより、印刷されたシートに含まれる検査精度未満の微小な変動成分を極力排することが可能となる。
検品時、CPU238は、撮影部240によって、検品対象のシートを撮影して得られた画像データと、メモリ239に保存された正解画像データとを比較し、検品対象のシートに印刷された画像が正常かどうかを判定する。表示部241は、検品結果や設定画面等の表示に使用される。操作部242は、ユーザによって操作され、検品装置109の設定変更や正解画像データの登録などの指示を受け付ける。尚、表示部241にタッチパネル機能を設け、表示部241が操作部242の機能の一部を代行してもよい。
次に画像形成装置101の大容量スタッカ110の構成について説明する。
画像形成装置101の大容量スタッカ110は、通信I/F244、CPU245、メモリ246、排紙制御部247を有し、これら構成要素はシステムバス248を介して接続される。通信I/F244は、通信ケーブル254を介して印刷装置107と接続され、印刷装置107との間で制御に必要な通信が行われる。CPU245は、メモリ246に格納された制御プログラムに従って排紙に必要な各種制御を行う。またメモリ239は、制御プログラム等を記憶する記憶装置である。排紙制御部247は、CPU245からの指示に基づき、搬送されたシートをスタックトレイ、エスケープトレイ、又は後続のフィニッシャ111に搬送する制御を行う。
次に画像形成装置101のフィニッシャ111の構成について説明する。
画像形成装置101のフィニッシャ111は、通信I/F249、CPU250、メモリ251、排紙制御部252、フィニッシング処理部253を有し、これら構成要素はシステムバス254を介して接続される。通信I/F249は、通信ケーブル254を介して印刷装置107と接続され、印刷装置107との間で制御に必要な通信が行われる。CPU250は、メモリ251に格納された制御プログラムに従って、フィニッシングや排紙に必要な各種制御を行う。メモリ251は、制御プログラム等を記憶する記憶装置である。排紙制御部252は、CPU250からの指示に基づき、シートの搬送及び排紙を制御する。フィニッシング処理部253は、CPU250からの指示に基づき、ステイプルやパンチ、中綴じ製本等のフィニッシング処理を制御する。
次に外部コントローラ102の構成について説明する。
外部コントローラ102は、CPU208、メモリ209、HDD210、キーボード211、表示部212、LANI/F213,LANI/F214、ビデオI/F215を有し、これらはシステムバス216を介して接続されている。CPU208は、HDD210に保存されたプログラムをメモリ209に展開し、その展開したプログラムを実行することにより、PC103からの印刷データの受信、RIP処理、画像形成装置101への印刷データの送信などの処理を包括的に実行する。メモリ209は、CPU208が各種処理を行う際に必要なプログラムやデータを記憶し、CPU208による制御処理の際に、各種データを記憶するワークエリアを提供する。HDD210は、印刷処理などの動作に必要なプログラムやデータ等を記憶している。キーボード211は、外部コントローラ102の操作指示を入力するための装置である。表示部212には、外部コントローラ102の実行アプリケーション等の情報が、静止画や動画の映像信号に従って表示される。LANI/F213は、外部LAN104を介してPC103と接続され、PC103から印刷指示などを受信する。LANI/F214は、内部LAN105を介して画像形成装置101と接続され、画像形成装置101に対して印刷指示などを行うための通信が行われる。ビデオI/F215は、ビデオケーブル106を介して画像形成装置101と接続され、画像形成装置101に対して印刷データなどを送信する。
次にPC103の構成について説明する。
PC103は、CPU201、メモリ202、HDD203、キーボード204、表示部205、LANI/F206を有し、これらはシステムバス207を介して接続されている。CPU201は、メモリ202のブートプログラムを実行してHDD203に保存された文書処理プログラム等をメモリ202に展開し、その展開したプログラムを実行することにより、印刷データの作成や印刷指示を実行する。またCPU201は、システムバスに接続される各デバイスを包括的に制御する。メモリ202は、ブートプログラムや各種データを記憶するROMと、プログラムの展開領域を提供するRAMとを有し、CPU201が各種処理を行う際に必要となるプログラムや各種データを記憶する。またRAMは、CPU201が各種処理を行う際、各種データを記憶するワークエリアを提供する。HDD203は、印刷処理などの動作に必要なプログラムやデータ等を記憶している。キーボード204は、ユーザがPC103に対して操作指示を入力するためのユーザインタフェースを提供している。表示部205は、PC103の実行アプリケーション等の情報を、静止画や動画の映像信号とともに表示する。表示部205は、タッチパネル機能を有して、ユーザインタフェース機能を提供してもよい。LANI/F206は、外部LAN104と接続されており、外部LAN104を介して外部コントローラ102との間で印刷指示などの通信が行われる。
以上の説明において、外部コントローラ102と画像形成装置101は、内部LAN105とビデオケーブル106とで接続されているが、印刷に必要なデータの送受信が行える構成であればよく、例えば、ビデオケーブルのみの接続でもよい。またメモリ202、メモリ209、メモリ223、メモリ234、メモリ239、メモリ246、メモリ251はそれぞれ、データやプログラムを保持するための記憶装置であればよい。例えば、揮発性のRAM、不揮発性のROM、内蔵HDD、外付けHDD、USBメモリなどで代替した構成でもよい。
図3は、実施形態に係る画像形成装置101の機構を説明する概略断面図である。
給紙デッキ301,302のそれぞれは、各種シートを複数積載して収容できる。各給紙デッキでは、収容されたシートの最上位のシート一枚のみを分離し、シート搬送パス303へ搬送する。現像ステーション304〜307は、カラー画像を形成するために、それぞれY、M、C、Kの有色トナーを用いてトナー像を形成する。ここで形成されたトナー像は、中間転写ベルト308に一次転写される。中間転写ベルト308は、図中、時計回り方向に回転し、二次転写位置309でシート搬送パス303から搬送されてきたシートにトナー像が転写される。表示部225は、画像形成装置101の印刷状況や設定のための情報を表示するのに使用される。定着ユニット311は、トナー像をシートへ定着させる。定着ユニット311は、加圧ローラと加熱ローラとを備え、各ローラの間をシートが通過することにより、トナーを溶融・圧着することでシートにトナー像を定着させる。定着ユニット311を通過したシートは、シート搬送パス312を通って搬送パス315へ搬送される。シートの種類によっては、トナー像の定着のために更に溶融・圧着が必要な場合は、定着ユニット311を通過したシートは、上のシート搬送パスを使って第二定着ユニット313へと搬送され、追加の溶融・圧着が施された後、シート搬送パス314を通って搬送パス315へと搬送される。画像形成モードが両面の場合は、定着済のシートをシート反転パス316へ搬送し、反転パス316でシートを反転させた後、そのシートを両面搬送パス317へ搬送し、二次転写位置309で、そのシートの2面目に対してトナー画像の転写が行われる。
インサータ108は、インサータトレイ321を備え、シート搬送パス322を通じて給紙されたシートを搬送パスへ合流させる。これにより、印刷装置107から搬送される一連のシート群に、任意の位置でシートを挿入させて後続の装置へ搬送させることが可能となる。
インサータ108を通過したシートは検品装置109へ搬送される。検品装置109内にはCIS(Contact Image Sensor)331,332が対向する形で配置される。CIS331は、搬送されてきたシートの上面を、CIS332はシートの下面を読み取るためのセンサである。尚、読み取るイメージセンサはCISではなく、ラインスキャンカメラでもよい。検品装置109は、シート搬送パス333で搬送されたシートが所定に位置に到達したタイミングで、CIS331,332を用いてシートの画像を読み取り、印刷された画像が正常であるかを判定する。表示部241には、検品装置109によって行われた検品結果などが表示される。
大容量スタッカ110は大容量のシートを積載できる。大容量スタッカ110は、シートを積載するトレイとしてスタックトレイ341を有する。検品装置109を通過したシートは、シート搬送パス344を通して大容量スタッカ110に入力されてくる。シートは、シート搬送パス344からシート搬送パス345を経由して、スタックトレイ341に積載される。更にスタッカ110は、排紙トレイとしてエスケープトレイ346を有する。エスケープトレイ346は、検品装置109によって欠陥シートと判定されたシートを排出するための排紙トレイである。エスケープトレイ346にシートを排紙する場合は、シート搬送パス344からシート搬送パス347を経由してエスケープトレイ346へシートが搬送される。尚、大容量スタッカ110の後段のフィニッシャ111へシートを搬送する場合には、シート搬送パス348を経由してシートが搬送される。反転部349は、シートを反転するための反転部である。この反転部349は、シートをスタックトレイ341に積載する場合に使用される。入力されたシートの向きと出力時点でのシートの向きが同一となるように、スタックトレイ341に積載する場合には反転部349で一度シートを反転させる。エスケープトレイ346や、後続のフィニッシャ111へシートを搬送する場合は、積載時にフリップせずにそのままシートを排出するため、反転部349での反転動作は行わない。
フィニッシャ111は、ユーザにより指定された機能に応じて、搬送されたシートに対してフィニッシング処理を行う。フィニッシャ111は、具体的にはステイプル(1個所・2箇所綴じ)やパンチ(2穴・3穴)や中とじ製本等のフィニッシング機能を有する。フィニッシャ111は、2つの排紙トレイ351,352を有し、シートはシート搬送パス353を経由して排紙トレイ351に排紙される。但し、シート搬送パス353ではステイプル等のフィニッシング処理を行うことはできない。ステイプル等のフィニッシング処理を行う場合は、シートはシート搬送パス354を経由して処理部355に送られ、そこでユーザにより指定されたフィニッシング処理が実行されて排紙トレイ352へ排出される。排紙トレイ351,352はそれぞれ昇降することが可能であり、排紙トレイ351を下降させ、処理部355でフィニッシング処理したシートを排紙トレイ351へ積載することも可能である。中とじ製本が指定された場合には、中とじ処理部356で、シート中央にステイプル処理を実施した後、シートを二つ折りにしてシート搬送パス357を経由して中とじ製本トレイ358へ排出される。中とじ製本トレイ358は、ベルトコンベア構成になっており、中とじ製本トレイ358上に積載された中とじ製本束は左側へ搬送される構成となっている。
検品装置109は、予め設定された検査項目に従い、搬送されてきたシートの画像を検査する。シート画像の検査は、予め設定された正解画像データと、搬送されてきたシートの画像を読み取って得られた画像データとを比較して行われる。画像データの比較方法には、画像位置ごとの画素値を比較する方法や、エッジ検出による物体の位置の比較、OCR(Optical Character Recognition)による文字データの抽出などによる方法がある。検査項目には、印刷位置のずれ、画像の色合い、画像の濃度、スジやカスレ、印刷抜けなどがある。
以下、図4〜図6を参照して、実施形態に係る正解画像データの登録処理、及び画像検査処理の流れについて説明する。
図4(A)は、実施形態に係る外部コントローラ102による正解画像データの登録処理を説明するフローチャートである。尚、このフローチャートで示す処理は、外部コントローラ102のCPU208がメモリ209に展開したプログラムを実行することにより実現される。
先ずS401でCPU208は、N部の印刷指示を受信したか否かを判定し、受信していないときはS401を実行するが、その印刷指示を受信したと判定するとS402に進む。S402でCPU208は、印刷装置107に対してN部の印刷指示を含む印刷ジョブを投入して印刷の実行を指示して、この処理を終了する。
図4(B)は、実施形態に係る印刷装置107による正解画像データを登録する際の処理を説明するフローチャートである。尚、このフローチャートで示す処理は、印刷装置107のCPU222がメモリ223に展開したプログラムを実行することにより実現される。
先ずS410でCPU222は、外部コントローラ102から印刷指示を受信するのを待つ。印刷指示を受信していないときはS410を実行するが、印刷指示を受信するとS411に進む。S411でCPU222は、外部コントローラ102から受信したジョブに従って印刷を実行する。このとき外部コントローラ102から受信する印刷ジョブには、画像データの他に、給紙先や排紙先の情報も含まれる。またこのときCPU222は、外部コントローラ102から受信した印刷ジョブの内容に応じて、通信ケーブル254を介してインサータ108、検品装置109、大容量スタッカ110、フィニッシャ111等を制御する。ここでは正解画像データを登録する処理であるため検品装置109への登録指示が含まれることになる。
図5は、実施形態に係る検品装置109が正解画像データを生成する処理を説明するフローチャートである。尚、このフローチャートで示す処理は、検品装置109のCPU238がメモリ239に展開したプログラムを実行することにより実現される。
先ずS501でCPU238は、印刷設定を取得する。ここで取得する印刷設定値には、1部あたりのシートの枚数や、正解画像が印刷されたシート面、更には何枚のシートの画像データを重畳化、平均化して正解画像データを取得するかなどの情報が含まれる。次にS502に進みCPU238は、検品装置109にシートが搬送されてくるのを待つ。S502でシートが搬送されたことを検知するとS503に進み、その搬送されてきたシートの画像をCIS231,CIS232を使用して読み取って、その画像データを取得してメモリ239に保存する。この時、S501で指定されたシート面の画像を読み取る。次にS504に進みCPU238は、S501で取得した枚数分のシートの画像を読み取ったか否かを判定し、S504で、指定された枚数分のシートの画像の読み取りが完了していない場合はS502に進む。
S504で、指定された枚数のシートの画像の読み取りが完了するとS505に進みCPU238は、S503で読み取って保存した画像データの中に、画像不良のデータが含まれていないか検出する処理を開始する。ここではS506でCPU238は、検品装置109の表示部241に、S503で読み取って得られた画像データをプレビュー表示するためのプレビュー画像データを生成する。そしてS507に進みCPU238は、プレビュー画像データを表示部241にUI画面とともに表示する。このときに表示するUI画面の詳細については図10を参照して後述する。
次にS508に進みCPU238は、読み取って得られた全ての画像データにおいて、正解画像データの候補として使用するように操作部242から指示されたかどうか判定する。ここで全ての画像データを、正解画像データの候補として使用するよう指示されたときはS509に進み、S503で取得して保存した画像データを重畳化、平均化することにより正解画像データを生成してメモリ239に保存して、この処理を終了する。尚、S508の判定処理とS510の処理とを行わず、S507の処理の後に、S509の処理を行ってもよい。
また、図5のフローチャートのS506、S507の処理を行わずに、S503で取得された画像データのうち、S505で検出された不良画像以外の画像データを用いて正解画像データを生成してもよい。この場合も、S505の処理の後に、S509の処理を行ってもよい。
一方、S508で、読み取って得られた全ての画像データを正解画像データの候補として使用するように指示されなかった場合はS510に進む。S510でCPU238は、追加でシートを読み込んで画像データを取得するようにUI画面から指示されたかどうか判定し、追加で画像データを取得するように指示されたときはS501に進み、そうでないときはS509に進む。S510の判定処理は図14を参照して後述する。
このようにして検品装置109は、指定された枚数のシートの画像を正解画像データの候補として読み取り、それらが正常に読み取られたときは、それら候補画像データに基づいて正解画像データを生成する。また読取が不良であったシートの分は、更に読み取るシートを追加して、予め設定されている数の候補画像データを取得してから、これら候補画像データに基づいて正解画像データを生成することもできる。
図6は、実施形態に係る検品装置109による検品処理を説明するフローチャートである。尚、このフローチャートで示す処理は、検品装置109のCPU238がメモリ239に展開したプログラムを実行することにより実現される。
まずS601でCPU238は、検品処理の終了指示を受信したかを判定する。ここで終了指示を受信したと判定したときは、この処理を終了するが、そうでないときはS602に進む。S602でCPU238は、前段のインサータ108から検品装置109にシートが搬送されてきたか否かを判定し、シートが搬送されてきていないときはS601に進むが、シートが搬送されてきたときはS603に進む。S603でCPU238は、そのシートの画像をCIS231,CIS232を使用して読み取り、その読み取りにより得られた画像データをメモリ239に保存する。尚、このときCPU238は、シートの検品の対象となっている面、即ち表面、裏面或いは両面の画像を読み取る。尚、例えば、シートの表面のみに画像が印刷されている場合でも、そのシートの裏面が汚れていないかどうかなどを検証する場合もある。次にS604に進みCPU238は、S603で取得して保存した画像データと、図5のフローチャートで示す処理により作成してメモリ239に記憶している正解画像データとを比較する。このとき比較する項目は、図15の1501で設定された検品レベルや、1502で設定された検品種別に基づく。
図15は、実施形態に係る検品装置109において検品の設定を行うときに表示部241に表示される設定画面の一例を示す図である。この設定画面は、図7の検品設定ボタン706が押下されることにより表示される。
検品レベル1501は、検品を実施するレベル(精度)を設定する。ここでは、上下方向のボタンに応じて検品の精度を変更して設定することができる。ここでは検品精度のレベルが高い(レベルの数値が大きい)ほど、正解画像データと、シートを読み取って得られた画像データとのわずかな違いでも欠陥画像と判定する。検品種別1502では、検品目的に応じて検品の項目を設定できる。図15の例では、位置、色合い、スジ、抜けを検品の対象としているが、濃度は検品の対象外として設定されている。OKボタン1503はこの画面の設定を反映させるボタンである。キャンセルボタン1504はこの画面の設定を破棄して元の画面に戻るボタンである。
次にS605に進みCPU238は、正解画像データとの比較結果に基づいて、そのシートの画像が正常画像か、欠陥画像かを判定する。S605でCPU238は、正常画像(検品OK)と判定したときはS606に進みCPU238は、表示部241に検品結果がOKであることを表示する。
図16は、S606で検品装置109の表示部241に表示される画面の一例を示す図である。
プレビュー領域1601には、検品装置109が最後に読み取ったシートの画像が表示される。判定結果1602は、プレビュー領域1601に表示されている画像データと正解画像データとの比較に基づく検品結果が表示されている。図16の例では、正常画像と判定されたため、判定結果は「OK」と表示されている。検品終了ボタン1603は、検品処理の終了を指示するボタンである。検品終了ボタン1603が押下されると、CPU238は検品処理を終了し、図7の画面に戻る。
そしてS607に進みCPU238は、印刷装置107に対して、そのシートを大容量スタッカ110のスタックトレイ341に排紙するよう指示してS601に進む。これにより印刷装置107は、その指示を受け取ると通信ケーブル254を介して大容量スタッカ110を制御して、そのシートを大容量スタッカ110のスタックトレイ341に排紙させる。尚、ここで排紙される排紙先は、後述する図18の設定画面を介して設定された排紙先に基づく。
一方、CPU238は、S605で欠陥画像(検品NG)と判定したときはS608に進みCPU238は、表示部241に検品結果がNGであることを表示する。図17はS608で表示される画面の一例である。
図17は、S608で検品装置109の表示部241に表示される画面例を示す図である。
プレビュー領域1701には、検品装置109が最後に読み取ったシートの画像が表示される。判定結果1702は、プレビュー領域1701に表示されている画像データと正解画像データとの比較に基づく検品結果が表示されている。ここでは読み取り画像データと正解画像データを比較した結果、欠陥画像と判定されたため、判定結果1702には「NG」の表示、及びNGと判定した要因や、その欠陥の位置が表示されている。図17の例では、プレビュー領域1701に表示されているように、スジ1704が検出されたため欠陥画像と判定されたことが示されている。検品終了ボタン1703は、検品処理の終了を指示するボタンである。検品終了ボタン1703が押下されると、CPU238は検品処理を終了し、図7の画面に戻る。
そしてS609に進みCPU238は、印刷装置107に対して、そのシートを大容量スタッカ110のエスケープトレイ346に排紙するよう指示してS601に進む。ここで排紙される排紙先は、後述する図18の設定画面で設定された検品NG時の排紙先に基づく。これにより印刷装置107は、検品装置109の指示に基づき、大容量スタッカ110に対して、その欠陥画像のシートをエスケープトレイ346に排紙するよう指示する。
次に図7〜図14、及び図18を参照して、検品装置109の表示部241に表示される表示画面について説明する。
図7は、実施形態に係る検品装置109の起動時に表示部241に表示される画面の一例を示す図である。
メッセージ701には、正解画像データが登録されていないので検品を開始するには正解画像データの登録が必要である旨が表示されている。正解画像データが登録済みの場合は、例えば図14(A)のように、正解画像データが登録されていることを示すメッセージが表示される。表示領域702には、正解画像データが登録済みの場合に、その登録済みの正解画像データが表示される。図7の例では正解画像データが未登録であるため、「未登録」が表示されている。ボタン703は、正解画像データの登録画面を呼び出すボタンである。検品設定ボタン706は、検品の設定画面を呼び出すためのボタンである。ユーザは、この設定画面を介して、検品目的に応じて検品の項目や検品の精度(正解画像データとの差異がどの程度で欠陥画像と判定するか)を設定する。検品開始ボタン707は、検品の開始を指示するボタンである。この検品開始ボタン707が押下されて、検品処理が開始されるとCPU238は、搬送されてきたシートの画像の検査を開始する。但し、図7の例では、正解画像データが登録されていないので、検品開始ボタン707は無効である。
図8は、実施形態に係る検品装置109において、正解画像データを登録する際に表示部241に表示される登録画面の一例を示す図である。図8の登録画面は、図7のボタン703が押下されることにより表示される。
シート枚数欄801は、正解画像データの登録を行う印刷ジョブの1部あたりのシート枚数を設定する。検品装置109には、1部あたり2枚以上の印刷ジョブである場合には、複数枚のシートの画像を正解画像データとして登録することができる。面設定欄802は、正解画像データの登録を行う際にシートを読み取る面を設定する。取得枚数欄803は、幾つの画像データを取得して重畳化、平均化することにより正解画像データを生成するかを設定する。登録開始ボタン804は、正解画像データの登録を指示する。この登録開始ボタン804が押下された後、検品装置109のCPU238は、搬送されてきたシートの画像を読み取って取得し、後述する処理を行った後、正解画像データを登録する、前述の図5のフローチャートで示す処理を開始する。
図9は、実施形態に係る検品装置109が、正解画像データの候補画像の読み取り中に表示部241に表示する画面の一例を示す図である。この画面は、図8の正解画像データの登録開始を指示するボタン804が押下されることに表示される。ここでは、シート枚数欄801と、取得枚数欄803で設定された枚数のシートの読み取りが完了するまで、この画面が表示される。
中止ボタン901は、正解画像データの登録のためのシートの読み取りの中止を指示する。この中止ボタン901が押下されると、正解画像データの登録を行わずに図7の表示画面に戻る。
図10は、実施形態に係る検品装置109において、正解画像データの登録のためのシートの読み取りが完了した後に表示部241に表示される画面の一例を示す図である。ここでは、正解画像の候補となる画像を印刷したシートを読み取って得られた読取画像データを提示し、その読取画像データを正解画像データを生成するための候補の画像データとして採用するかどうかをユーザに選択させるための画面例を示している。
表示領域1001には、検品装置109で読み取ったシートのプレビュー画像が表示され、複数枚のシートを読み取った場合は、切り替えボタン1002で表示する画像を切り替えることができる。またシートの表と裏の両面の画像を表示する場合は、切り替えボタン1003で、シートの表裏の画像を切り替えることができる。また強調ボタン1004は、読み取った画像にスジ状の画像不良が含まれている場合、その部分を強調表示するように指示できる。またボタン1005により、複数の読み取り画像を並列に表示して比較することができる。
図11は、強調ボタン1004により、読み取った画像にスジ状の画像不良が含まれているとき、そのスジ部分を強調表示する例を説明する図である。
図11(A)は、読み取った画像にスジ1101が含まれて画像不良が発生している例を示す図である。この場合、画像不良部分は微小で画面上では確認しにくい可能性がある。この強調ボタン1004を押すことで、図11(B)のように、そのスジ1101の部分を強調表示することができる。これにより、その画像を正解画像データとして使用できるのかを判定しやすくすることができる。この強調表示のやりかたとしては、本例のように画像不良部分を太く表示するのみに止まらず、目立つ色や点滅等で表示するなどして該当部分を視認できるようにしてもよい。
図12は、更にボタン1005を押下することにより、読取画像と強調画像を並列に表示して比較できるように表示した例を示す図である。
図13は、ボタン1005を押下することにより、現在の読み取り画像と、他の正常な読取画像とを並列に表示して比較できるように表示した例を示す図である。
図13のように、読み取りが完了した正常画像と比較表示して、画像不良部分が本来の画像を誤検出したものなのか、実際に発生した画像不良なのかを比較しながら検討することができるように表示してもよい。これらの表示により、従来よりも的確に、正解画像データの候補となる読み取り画像を選択することが可能になる。
また図11において、画像拡縮ボタン1006で、画像全体や、細部を拡大縮小して確認することができる。尚、各操作ボタンは一例であり、これらの操作ボタンは表示せずに、フリック、ピンチ、スワイプ等のジェスチャー操作をそれぞれの操作に割り当ててもよい。「使用する」ボタン1007は、表示領域1001に表示されている画像データの確認後に、現在表示している画像データを正解画像データの候補画像として使用するように指示するボタンである。こうして、読み取って得られた画像データのうち、「使用する」ボタン1007が押された画像データに対して重畳化、平均化がなされて正解画像データが生成される。一方、「使用しない」ボタン1008は、現在表示領域1001に表示されている画像データを正解画像データの候補画像として使用しないことを指示するボタンである。各取得画像について、「使用しない」ボタン1008が押下された画像データは破棄され、正解画像データの候補画像として使用されない。「一括使用する」ボタン1009は、取得した画像データを一括して正解画像データの候補として使用することを指示する。「一括使用する」ボタン1009が押下されると、取得した画像データの全てを正解画像データの候補として使用することになる。
またボタン1010は、各取得画像データに対して、一括で、検出された画像不良部分を除いた画像データを正解画像データの候補として使用することを指示するボタンである。このボタン1010により、ユーザが画像の不良部分を全て検討する手間を省くことができ省力化することが可能である。尚、各取得画像データの同一部分以外に画像不良が発生している場合は、読み取り時に発生した画像不良を検知できている可能性が高いため、それら不良部分を除外した画像データを正解画像データの候補として扱うように処理してもよい。キャンセルボタン1011は、取得した全ての画像データを破棄して正解画像データの候補として使用しないことを指示するボタンである。「一括使用する」ボタン1009、不良部分を除いて一括使用するボタン1010、キャンセルボタン1011の何れかが押されるか、或いは全ての取得画像データについて、「使用する」ボタン1007、「使用しない」ボタン1008の何れかが押下されると図14の画面に進む。
図14は、実施形態に係る検品装置109に正解画像データが登録されているときに表示部241に表示される画面例を示す図である。
図14(A)は、正解画像データの取得後に表示される画面例を示す。図7の正解画像データの登録前の表示画面と比較すると、メッセージ701には正解画像データが登録されていることが表示されている。また、表示領域部702には、登録された正解画像データが表示されている。尚、ここで表示される正解画像データは、CIS331、332で読み取って得られた複数枚のシート画像を重畳化、平均化して生成されたものである。
「正解画像のクリア」ボタン1401は、登録した正解画像データを消去するボタンである。正解画像データが消去されると、図7の表示画面に戻る。「正解画像の追加登録」ボタン1402は、正解画像データを追加して登録するように指示するボタンである。これは、例えば図10の画面で「使用しない」ボタン1008により、一部の取得画像データを破棄したものの、追加で正解画像データの候補を取得したい場合に、このボタン1402を押すことで追加取得できる。このボタン1402が押されると図14(B)の表示画面に遷移する。
図14(B)は、正解画像データを追加登録する画面の一例を示す図である。
追加するページ1410は、追加して取得するページを指定する。「個別ページ追加」ボタン1411は、追加するページ1410で指定されたページを追加して取得するように指示する。「全ページ一括追加」ボタン1412は、全てのページを一括して追加して取得するように指示する。追加枚数1413は、追加して取得するように指定されたページ毎に何枚の画像データを取得するのかを指定する。「取得開始」ボタン1414は、追加取得の開始を指示するボタンである。「取得開始」ボタン1414が押され、指定された枚数のシートの画像データの取得が完了すると、図10の表示画面に進む。
図18は、実施形態に係る外部コントローラ102の表示部212に表示される検品ジョブの設定画面の一例を示す図である。
前述の図7〜図17に示す画面は、検品装置109に対して検品の設定を行う際に、検品装置109の表示部241に表示される画面例であるが、検品装置109に正解画像データの登録のために印刷済のシートを搬送したり、検品対象の印刷済のシートを搬送する指示は外部コントローラ102から行う。
ジョブの部数180は、検品対象の印刷ジョブに含まれる部数を設定する。図18の例では、1000部を印刷するジョブが検品対象のジョブとして設定されている。排紙先1802は、検品ジョブにおける排紙先を設定する。ここでは、排紙先として大容量スタッカ110が設定され、検品で欠陥画像と判定されたシートを排紙する排紙先としてエスケープトレイ346が設定されている。尚、この設定以外にも、例えば、検品OK時と、NG時のシートの排紙先を同一のトレイに設定してもよい。この場合、不図示の検品結果の一覧に基づいて、後からユーザの手作業で検品NGのシートを抜き取ることになる。また或いは、検品OK時と、NG時のシートの排紙先を同一トレイにした場合は、検品OKのシートと、検品NGのシートの位置をずらして排紙することにより、手作業による検品NGのシートの抜き取り作業が楽になるように構成してもよい。
印刷枚数1803は、正解画像データを取得するためのシートの印刷枚数を指示するボタンである。「正解画像の印刷」ボタン1804は、正解画像データの候補画像をシートに印刷するように指示するボタンである。また印刷開始ボタン1805は、検品対象のジョブによるシートへの印刷の開始を指示する。「印刷開始」ボタン1805で印刷開始が指示されると、外部コントローラ102は、図18の画面の設定に基づいて、検品対象の印刷ジョブを印刷装置107に投入する。
図8の登録開始ボタン804で、検品装置109に正解画像データの登録開始を指示した後に、印刷枚数1803、「正解画像の印刷」ボタン1804で外部コントローラ102からN部印刷指示を含む印刷ジョブを投入すると、印刷装置107による正解画像データの候補となる画像の印刷処理、及び検品装置109による正解画像データの生成処理が行われる。
尚、実施形態以外にも、図8の「正解画像の登録開始」ボタン804が押されると、検品装置109から通信ケーブル254、内部LAN105を介し、外部コントローラ102に対して自動で検品ジョブをN部印刷指示するように構成してもよい。また、同様に図14の正解画像の追加取得時にも、取得開始ボタン1414が押下されると、検品装置109から外部コントローラ102に対して特定のページを追加して印刷する指示を送るように構成されていてもよい。
また図7の「検品開始」ボタン707で検品装置109に検品開始を指示した後に、「印刷開始」ボタン1805で外部コントローラ102に検品対象の印刷ジョブによる印刷開始を指示すると、外部コントローラ102は印刷装置107に印刷データを投入する。そして外部コントローラ102は更に、印刷された印刷シートの検品装置109への搬送を指示する。検品装置109のCPU238は、印刷済のシートが搬送されてくると、そのシートの画像を読み込んで検品処理を行う。
尚、実施形態以外にも、「印刷開始」ボタン1805が押されて検品対象の印刷ジョブの開始が指示されると同時に、外部コントローラ102から検品装置109に対して検品開始指示を行うように構成されていてもよい。この場合、検品装置109から外部コントローラ102へ正解画像データが登録されているか否かを通知することで、正解画像データの未登録時に外部コントローラ102が、検品対象の印刷ジョブを開始をしないように構成してもよい。
以上説明したように実施形態によれば、正解画像データの登録時に、正解画像を印刷したシートを読み取って得られた画像データをプレビュー表示して、ユーザに、その画像の良否を確認させることができる。これによりユーザは、印刷されたシートの目視確認だけでなく、センサで正しく正解画像が読み取られたかどうかを確認した上で、その画像データを正解画像データの候補として採用するかどうかを決定することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から逸脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
101…画像形成装置、102…外部コントローラ、103…PC(情報処理装置)、107…印刷装置、109…検品装置、110…大容量スタッカ、238…検品装置のCPU、240…撮影部、241…検品装置の表示部

Claims (14)

  1. 画像処理装置であって、
    正解画像データの候補となる画像が印刷されたシートを読み取って読取画像データを取得する読取手段と、
    前記読取手段による読み取り時に発生した画像不良を含む読取画像データを検出する検出手段と、
    前記読取画像データをプレビュー表示する表示手段と、
    前記プレビュー表示に基づいて、前記読取画像データから正解画像データの候補となる画像データを選択させるための提示を行う提示手段と、
    前記提示手段による提示に基づいて選択された画像データから前記正解画像データを生成する生成手段と、
    を有することを特徴とする画像処理装置。
  2. 前記提示手段は、前記プレビュー表示された画像データを、前記正解画像データの候補となる画像データとして選択するか否かをユーザに選択させるための提示を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記提示手段は、前記画像不良を含まない読取画像データ及び前記画像不良の部分を除いた画像データを、前記正解画像データの候補となる画像データとして選択させるための提示を行うことを特徴とする請求項1に記載の画像処理装置。
  4. 前記読取手段に対して、前記シートを読み取って得られる読取画像データの数、前記シートの読み取り枚数、前記シートの読み取り面の少なくともいずれかを指示する指示手段を、更に有することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記表示手段は、複数の読取画像データを並べて表示することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記表示手段は、前記画像不良の部分を強調して表示することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記生成手段は、複数の画像データを重畳化、平均化して前記正解画像データを生成することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
  8. 前記読取手段に対して、前記シートを読み取って得られる読取画像データの数が設定されている場合であって、前記画像不良を含む読取画像データが前記正解画像データの候補から除外された場合、前記読取手段により追加のシートを読み取って読取画像データを取得して前記正解画像データを生成するように指示する追加手段を、更に有することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 印刷済のシートの検品を行う検品装置であって、
    請求項1乃至8のいずれか1項に記載の画像処理装置により登録された正解画像データを記憶する記憶手段と、
    検品対象のシートを読み取って取得する取得手段と、
    前記記憶手段に記憶されている前記正解画像データと、前記取得手段により取得された前記検品対象のシートの画像データとに基づいて、前記検品対象のシートの良否を判定する判定手段と、
    を有することを特徴とする検品装置。
  10. 検品装置であって、
    シートを読み取って読取画像データを取得する読取手段と、
    前記読取手段による読み取り時に発生した画像不良を含む読取画像データを検出する検出手段と、
    前記読取画像データをプレビュー表示する表示手段と、
    前記プレビュー表示に基づいて、前記読取画像データから正解画像データの候補となる画像データを選択させるための提示を行う提示手段と、
    前記提示手段による提示に基づいて選択された画像データから前記正解画像データを生成する生成手段と、
    前記生成手段により生成された前記正解画像データを記憶する記憶手段と、
    前記読取手段により検品対象のシートを読み取って、前記検品対象のシートの画像データを取得する取得手段と、
    前記記憶手段に記憶されている前記正解画像データと、前記取得手段により取得された前記検品対象のシートの画像データとに基づいて前記検品対象のシートの良否を判定する判定手段と、
    を有することを特徴とする検品装置。
  11. 画像処理装置を制御する制御方法であって、
    正解画像データの候補となる画像が印刷されたシートを読み取って読取画像データを取得する読取工程と、
    前記読取工程による読み取り時に発生した画像不良を含む読取画像データを検出する検出工程と、
    前記読取画像データをプレビュー表示する表示工程と、
    前記プレビュー表示に基づいて、前記読取画像データから正解画像データの候補となる画像データを選択させるための提示を行う提示工程と、
    前記提示工程による提示に基づいて選択された画像データから前記正解画像データを生成する生成工程と、
    を有することを特徴とする制御方法。
  12. 検品装置を制御する制御方法であって、
    シートを読み取って読取画像データを取得する読取工程と、
    前記読取工程による読み取り時に発生した画像不良を含む読取画像データを検出する検出工程と、
    前記読取画像データをプレビュー表示する表示工程と、
    前記プレビュー表示に基づいて、前記読取画像データから正解画像データの候補となる画像データを選択させるための提示を行う提示工程と、
    前記提示工程による提示に基づいて選択された画像データから前記正解画像データを生成する生成工程と、
    前記生成工程で生成された前記正解画像データをメモリに記憶する記憶工程と、
    前記読取工程により検品対象のシートを読み取って、前記検品対象のシートの画像データを取得する取得工程と、
    前記メモリに記憶されている前記正解画像データと、前記取得工程で取得された前記検品対象のシートの画像データとに基づいて前記検品対象のシートの良否を判定する判定工程と、
    を有することを特徴とする制御方法。
  13. コンピュータを、請求項1乃至8のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  14. コンピュータに、請求項12に記載の制御方法の各工程を実行させるためのプログラム。
JP2019162361A 2019-09-05 2019-09-05 検品装置とその制御方法、並びにプログラム Active JP7466280B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019162361A JP7466280B2 (ja) 2019-09-05 2019-09-05 検品装置とその制御方法、並びにプログラム
US17/009,956 US11455129B2 (en) 2019-09-05 2020-09-02 Image processing apparatus, method of controlling the same, verification apparatus, method of controlling the same, and storage medium that display a defective image in which a defective area is emphasized and is not emphasized

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019162361A JP7466280B2 (ja) 2019-09-05 2019-09-05 検品装置とその制御方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2021037736A true JP2021037736A (ja) 2021-03-11
JP2021037736A5 JP2021037736A5 (ja) 2022-09-13
JP7466280B2 JP7466280B2 (ja) 2024-04-12

Family

ID=74848551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019162361A Active JP7466280B2 (ja) 2019-09-05 2019-09-05 検品装置とその制御方法、並びにプログラム

Country Status (2)

Country Link
US (1) US11455129B2 (ja)
JP (1) JP7466280B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4148550A1 (en) * 2021-09-10 2023-03-15 Canon Kabushiki Kaisha Printing apparatus, image forming apparatus, and control method
US11822840B2 (en) 2021-09-09 2023-11-21 Canon Kabushiki Kaisha Inspection apparatus capable of preventing unnecessary abnormality determination on printed matter, method of controlling the same, and storage medium
US11829669B2 (en) 2021-10-18 2023-11-28 Canon Kabushiki Kaisha Inspection apparatus, control method thereof, inspection system, and storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7418081B2 (ja) * 2019-10-28 2024-01-19 キヤノン株式会社 画像形成装置、画像形成方法、及び、プログラム
JP7501012B2 (ja) * 2020-03-16 2024-06-18 富士フイルムビジネスイノベーション株式会社 文書処理装置、文書管理サーバ及びプログラム
JP2022010930A (ja) * 2020-06-29 2022-01-17 キヤノン株式会社 印刷システム、その制御方法及びプログラム
US11656811B2 (en) * 2021-02-15 2023-05-23 Canon Kabushiki Kaisha Print system, information processing apparatus, printing apparatus, method of controlling the same, and storage medium

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173513A (ja) * 1997-06-25 1999-03-16 Matsushita Electric Works Ltd パターン検査方法及びその装置
JP2003179750A (ja) * 2001-09-27 2003-06-27 Fuji Photo Film Co Ltd 画像処理装置
JP2004047939A (ja) * 2002-05-23 2004-02-12 Hitachi High-Technologies Corp 欠陥分類器の生成方法および欠陥自動分類方法
JP2004338308A (ja) * 2003-05-16 2004-12-02 Ricoh Co Ltd 画像形成装置
JP2011137736A (ja) * 2009-12-28 2011-07-14 Canon Inc 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2014044712A (ja) * 2012-08-02 2014-03-13 Ricoh Co Ltd 画像検査システム及び画像検査方法
JP2014071045A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像評価装置、画像評価方法、及びプログラム
JP2014145685A (ja) * 2013-01-29 2014-08-14 Canon Inc 検品装置およびその制御方法、印刷システム、並びにプログラム
JP2014184649A (ja) * 2013-03-22 2014-10-02 Fuji Xerox Co Ltd 画像検査システムおよび画像検査装置
US20150356717A1 (en) * 2013-01-14 2015-12-10 Crest Solutions Limited A label inspection system and method
JP2016100620A (ja) * 2014-11-18 2016-05-30 コニカミノルタ株式会社 画像形成装置、画像形成方法、及びプログラム
WO2016174926A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置及び画像処理方法及びプログラム
JP2018079581A (ja) * 2016-11-14 2018-05-24 コニカミノルタ株式会社 画像形成装置、画像異常検知装置、管理装置、および制御プログラム
JP2019077052A (ja) * 2017-10-20 2019-05-23 コニカミノルタ株式会社 画像形成装置、検査装置及び検査プログラム
JP2019084773A (ja) * 2017-11-08 2019-06-06 京セラドキュメントソリューションズ株式会社 画像形成装置、及び画像形成システム
JP2019084743A (ja) * 2017-11-07 2019-06-06 コニカミノルタ株式会社 画像形成システム、画像形成装置及びプログラム
JP2019132661A (ja) * 2018-01-30 2019-08-08 ジクス株式会社 印刷物の検査方法および装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3515199B2 (ja) * 1995-01-06 2004-04-05 大日本スクリーン製造株式会社 欠陥検査装置
IL149588A (en) * 2001-05-11 2007-07-24 Orbotech Ltd Image searching defect detector
JP2006025123A (ja) * 2004-07-07 2006-01-26 Olympus Corp 画像処理装置
JP4834387B2 (ja) 2005-11-28 2011-12-14 キヤノン株式会社 画像形成装置及び画像形成方法
JP4626632B2 (ja) * 2007-06-25 2011-02-09 株式会社日立製作所 映像監視システム
JP5531416B2 (ja) 2009-02-02 2014-06-25 セイコーエプソン株式会社 印刷装置、および印刷検査方法
US8305653B2 (en) * 2009-09-24 2012-11-06 Xerox Corporation Printing system with improved scanning functionality
JP5822503B2 (ja) 2011-03-30 2015-11-24 キヤノン株式会社 検品システム、検品システムの制御方法及びプログラム
US8811756B2 (en) * 2011-07-11 2014-08-19 International Business Machines Corporation Image compression
US10404868B2 (en) * 2015-07-15 2019-09-03 Hp Indigo B.V. Image defect detection

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173513A (ja) * 1997-06-25 1999-03-16 Matsushita Electric Works Ltd パターン検査方法及びその装置
JP2003179750A (ja) * 2001-09-27 2003-06-27 Fuji Photo Film Co Ltd 画像処理装置
JP2004047939A (ja) * 2002-05-23 2004-02-12 Hitachi High-Technologies Corp 欠陥分類器の生成方法および欠陥自動分類方法
JP2004338308A (ja) * 2003-05-16 2004-12-02 Ricoh Co Ltd 画像形成装置
JP2011137736A (ja) * 2009-12-28 2011-07-14 Canon Inc 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2014044712A (ja) * 2012-08-02 2014-03-13 Ricoh Co Ltd 画像検査システム及び画像検査方法
JP2014071045A (ja) * 2012-09-28 2014-04-21 Fujifilm Corp 画像評価装置、画像評価方法、及びプログラム
US20150356717A1 (en) * 2013-01-14 2015-12-10 Crest Solutions Limited A label inspection system and method
JP2014145685A (ja) * 2013-01-29 2014-08-14 Canon Inc 検品装置およびその制御方法、印刷システム、並びにプログラム
JP2014184649A (ja) * 2013-03-22 2014-10-02 Fuji Xerox Co Ltd 画像検査システムおよび画像検査装置
JP2016100620A (ja) * 2014-11-18 2016-05-30 コニカミノルタ株式会社 画像形成装置、画像形成方法、及びプログラム
WO2016174926A1 (ja) * 2015-04-30 2016-11-03 富士フイルム株式会社 画像処理装置及び画像処理方法及びプログラム
JP2018079581A (ja) * 2016-11-14 2018-05-24 コニカミノルタ株式会社 画像形成装置、画像異常検知装置、管理装置、および制御プログラム
JP2019077052A (ja) * 2017-10-20 2019-05-23 コニカミノルタ株式会社 画像形成装置、検査装置及び検査プログラム
JP2019084743A (ja) * 2017-11-07 2019-06-06 コニカミノルタ株式会社 画像形成システム、画像形成装置及びプログラム
JP2019084773A (ja) * 2017-11-08 2019-06-06 京セラドキュメントソリューションズ株式会社 画像形成装置、及び画像形成システム
JP2019132661A (ja) * 2018-01-30 2019-08-08 ジクス株式会社 印刷物の検査方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11822840B2 (en) 2021-09-09 2023-11-21 Canon Kabushiki Kaisha Inspection apparatus capable of preventing unnecessary abnormality determination on printed matter, method of controlling the same, and storage medium
EP4148550A1 (en) * 2021-09-10 2023-03-15 Canon Kabushiki Kaisha Printing apparatus, image forming apparatus, and control method
US11829669B2 (en) 2021-10-18 2023-11-28 Canon Kabushiki Kaisha Inspection apparatus, control method thereof, inspection system, and storage medium

Also Published As

Publication number Publication date
US11455129B2 (en) 2022-09-27
JP7466280B2 (ja) 2024-04-12
US20210072933A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP7466280B2 (ja) 検品装置とその制御方法、並びにプログラム
US20220329701A1 (en) Image forming apparatus to verify printed image with master image, image forming method, and storage medium
JP2024050927A (ja) 画像形成装置、画像形成方法、及び、プログラム
JP2022010930A (ja) 印刷システム、その制御方法及びプログラム
JP2021115744A (ja) 画像形成装置、情報処理方法及びプログラム
US11422754B2 (en) Image forming apparatus, verification apparatus, information processing method, and storage medium
JP7471841B2 (ja) 検品システム、検品方法
JP2022131198A (ja) 印刷システム、その制御方法及びプログラム
US11755260B2 (en) Print system, printing apparatus and information processing apparatus, methods of controlling those, and storage medium
JP2021043036A (ja) 検品装置、情報処理方法及びプログラム
JP2021014085A (ja) 画像処理装置とその制御方法、検品装置とその制御方法、及びプログラム
JP2021102322A (ja) 画像形成装置、画像形成方法、及び、プログラム
JP2021097365A (ja) 情報処理装置及び印刷制御方法、画像形成システム、プログラム
US20240179247A1 (en) Inspection apparatus, control method for inspection apparatus, inspection system, control method for inspection system and storage medium
US11822279B2 (en) Image forming apparatus, information processing method, printing system, and storage medium for performing reprinting
JP2021077937A (ja) 画像形成装置、情報処理方法及びプログラム
JP2021123070A (ja) 画像形成システム
JP2021115756A (ja) 画像形成装置、情報処理方法及びプログラム
JP2021045922A (ja) 画像形成装置、情報処理方法及びプログラム
JP2021044672A (ja) 検品装置、情報処理方法及びプログラム
JP2022072778A (ja) 画像形成装置、画像形成装置の制御方法、及びプログラム
JP2024029837A (ja) 検査装置、検査装置の制御方法、及びプログラム
JP2021079596A (ja) 画像形成装置、情報処理方法及びプログラム
JP2023047419A (ja) 印刷システムとその制御方法、印刷装置、及びプログラム
JP2023172714A (ja) 検品装置およびその制御方法、画像処理システム、プログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240402

R150 Certificate of patent or registration of utility model

Ref document number: 7466280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150