JP2016034755A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2016034755A
JP2016034755A JP2015152150A JP2015152150A JP2016034755A JP 2016034755 A JP2016034755 A JP 2016034755A JP 2015152150 A JP2015152150 A JP 2015152150A JP 2015152150 A JP2015152150 A JP 2015152150A JP 2016034755 A JP2016034755 A JP 2016034755A
Authority
JP
Japan
Prior art keywords
image
resolution
data
image data
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015152150A
Other languages
English (en)
Other versions
JP6562754B2 (ja
Inventor
信介 池上
Shinsuke Ikegami
信介 池上
黒沼 明
Akira Kuronuma
明 黒沼
健嗣 久保園
Kenji Kubozono
健嗣 久保園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015152150A priority Critical patent/JP6562754B2/ja
Publication of JP2016034755A publication Critical patent/JP2016034755A/ja
Application granted granted Critical
Publication of JP6562754B2 publication Critical patent/JP6562754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2142Detection of malfunctioning nozzles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01Ink jet
    • B41J2/21Ink jet for multi-colour printing
    • B41J2/2132Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding
    • B41J2/2146Print quality control characterised by dot disposition, e.g. for reducing white stripes or banding for line print heads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/027Test patterns and calibration

Abstract

【課題】 複数のノズルを備える記録ヘッドを用いて、連続した記録媒体に記録された画像の検査を行う際の高速化及び処理負荷の低減。
【解決手段】 入力画像データをもとにノズル配列方向においてノズル解像度よりも低い解像度の判定用基準データを生成する。そして、判定用基準データと、記録された画像を読み取った読み取りデータとを比較することで、記録された画像に色ムラがあるかどうかを判定する。
【選択図】 図6

Description

本発明は、記録装置により記録された記録物を検査するための画像処理装置、画像処理方法およびプログラムに関する。
従来から、記録装置により記録された画像を検査する方法として、記録された画像を読み取った読み取りデータを用いて、色ずれの有無を判定する方法が知られている。
特許文献1には、記録された画像に含まれるランダムな色ムラを検出する方法として、画像データの彩度を用いてモノクロ領域を切り出し、彩度や色の相関に基づいて、スキャナなどで読み取った画像に色ズレが生じているかを判定する方法が記載されている。
特開2003−244469号公報
しかしながら、特許文献1の方法では、画像上の色ずれを検出するため処理を行う解像度によっては、処理負荷が高くなり、色ずれの検出処理に時間がかかってしまうという課題がある。
上記課題を解決するため、本発明は、インクを吐出する複数のノズルが第1方向において第1の解像度で並ぶ記録ヘッドを用いて記録された画像であって、前記第1方向と交差する第2方向に搬送される記録媒体に記録された画像を検査するための画像処理装置であって、画像データに基づいて、前記第1方向における解像度が前記第1の解像度よりも低い第2の解像度である判定用画像データを生成する生成手段と、前記判定用画像データと、前記画像データに基づいて前記記録媒体上に記録された前記画像を読み取った読み取りデータと、を前記第2の解像度で比較することにより、前記画像を検査する検査手段と、を備えることを特徴とする。
このような方法により、比較的低い処理負荷で、画像データと読み取り画像データに基づいて色ずれの検出を行うことができる。また、処理の高速化やデータ転送量の削減を実現することができる。
記録ヘッドと撮像センサと記録媒体を表す概略図 記録ヘッドのノズル配置とセンサのフォトダイオードの配置を表す図 ヘッドシェーディングの概念を説明するための図 ヘッドシェーディングの補正単位説明するための図 ヘッドシェーディング後の吐出量の変化を説明するための図 全体のフローチャートを説明するための図 プリント部のデータフローを説明するための図 画像判定用画像データ生成のデータフローを説明するための図 画像判定用画像データの生成方法を説明するための図 読み取り部のデータフローを説明するための図 画像判定部のデータフローを説明するための図 システム全体構成を説明するための図 システム構成を説明するための図
(第1の実施形態)
(インクジェット記録装置及び撮像センサ)
図1(a)及び(b)は、プリント部101における複数の記録ヘッド、読取部1213、記録媒体103を表す概略図である。図1(a)は、記録ヘッド102、記録媒体103及び読取部1213の斜視図であり、図1(b)は、記録ヘッド102のノズル(吐出口)が形成された吐出口面側から見た平面図である。
本実施形態では、記録ヘッドに設けられたノズルからインクを吐出することにより画像を記録するインクジェットプリンタを用いて説明する。本実施形態のプリンタは、記録媒体としてロール状に巻かれた連続紙を使用する。片面プリント及び両面プリントの両方に対応した高速ラインプリンタであり、例えば、プリントラボのような大量のプリントを行う分野に適している。
プリント部101は、記録ヘッド102により記録媒体103の上に画像を形成するユニットである。記録ヘッド102には、図中Y方向に複数のノズルが配列したノズル列が設けられ、各ノズルからインク滴を吐出することにより、図中Y方向と交差するX方向に搬送される記録媒体上に画像を記録する。記録ヘッド102は、使用が想定される記録媒体のうち、Y方向において最大幅を有する記録媒体に対して1回の搬送で画像を記録することができる。尚、本実施形態において、プリント部101は複数色のインクを吐出可能であり、各インク色に対応した複数の記録ヘッド102が図中X方向に並べられている。それぞれシアンインク用記録ヘッド102(C)、マゼンタインク用記録ヘッド102(M)、イエローインク用記録ヘッド102(Y)、ブラックインク用記録ヘッド102(K)である。本実施形態では、記録素子として発熱素子を用い、この発熱素子を発熱させることによりインクを吐出する所謂サーマルインクジェット方式を採用する。
尚、インク色数はシアン、マゼンタ、イエロー、ブラックの4色に限られるものではなく、記録ヘッドの数も4つに限定されるものではない。また、本発明を適用可能な記録方法は前述のサーマル方式に限るものではなく、ピエゾ素子を用いる方式、静電素子を用いる方式、MEMS素子を用いる方式等、いずれを採用してもよい。
読取部1213は、記録ヘッド102により記録媒体103に記録された画像や検査パターンをスキャナやカメラ等のセンサ105を用いて光学的に読み取るユニットである。これにより、記録ヘッド102の各ノズルの吐出状態、記録媒体の搬送状態、画像位置等を検査することができる。
図2は、図1(b)で示した記録ヘッド102のノズル配置とセンサ105との対応関係を説明するための図である。201は、記録ヘッド102に設け、所定の配列ピッチで並ぶノズルのられたノズル配置を図示したものであり、1インチあたり1200ノズルが並ぶように、すなわち1ノズル1ドットの場合、1200dpiに相当するノズル解像度でノズル203がY方向に並んでいる。202は、センサ105を図示したものである。ナイキストの定理により、ある信号をサンプリングするためには、そのサンプリング解像度の倍の解像度が必要なことから、ノズル単位で処理を行うためには、読み取り素子としてRGBそれぞれのフォトダイオードを2400個/インチ、すなわち2400dpi相当の間隔で配置する必要がある。従って、本実施形態では、ノズルの配列方向であるY方向に沿って2400dpiの間隔でフォトダイオードが配置されたセンサ105を用いる。尚、センサ105は、2400dpiの解像度で記録媒体上に記録された画像や検査パターンの読み取りが可能である他、より低い解像度での読み取りも可能である。
(システム構成)
図13は、本実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置は、ホストコンピュータにおいてプログラムが実行されることによって実現されるものである。CPU1218は、ROM1211に記憶されている情報データや各種プログラムに従って、RAM1301、操作部1302、画像処理部1205、モニター1303、読取部1213、プリント部101の各種制御を行う。ROM1211に記憶されているプログラムとしては、制御プログラムやOS(オペレーティングシステム)、アプリケーションプログラム、色変換処理モジュール、デバイスドライバ等がある。ROM1205は、ハードディスクや不揮発性メモリからなり、後述する情報およびデータを格納、読み出すための記憶部である。読取部1213は、スキャナ105が読み取った信号を処理する。RAM1301は、CPU1218が動作するに際し、各種制御プログラムや操作部1302から入力されるデータの作業領域および一時退避領域として利用することができ、後述するDRAM1204もこのRAM1301に含まれる。
図12は、本実施形態におけるシステム全体構成と制御フローを説明するための図である。本実施形態の制御フローは、ROM1211に記憶されたプログラムをCPU1218が読み出して実行することにより行われる。ここでの画像処理について、後に図6を用いて詳しく説明する。記録装置本体における受信バッファ1203は、ホストPC1201から受信I/F1202を介して印刷する入力画像データを受信する。画像処理部1205は、受信バッファ1203から入力画像データを読み出し、後述する図6のステップ603の量子化処理までを行う。そして量子化された画像データを、記録データバッファ1206に格納する。また、画像処理部1205は、入力画像データに対する画像処理と並行して、判定用の高解像度画像データを生成し、判定用高解像度画像データバッファ1207に格納する。
判定用画像データ生成部1215は、判定用高解像度画像データバッファ1207から判定用の高解像度画像データを読み出し、低解像度化処理を行い、判定用基準画像データを生成する。詳しくは後述するが、ノズルが配列するY方向における解像度がノズル解像度よりも低い、判定用基準画像データを生成する。そして、生成された判定用基準画像データを、判定用基準画像データバッファ1216に格納する。印字制御部1210は、モータ・エンコーダ1208から入力され、且つ、モータ・エンコーダ制御部1209によって生成された印字タイミング信号に基づいて、インクの吐出または非吐出を示す記録データを生成する。この記録データをプリント部101に送信し、記録媒体上に画像を記録する。
読取部1213は、記録された画像をセンサ105が読みとったセンサ信号を処理し、読み取りデータとして読取画像データバッファ1214に格納する。画像判定部1217は、判定用基準画像データバッファ1216に格納された判定用基準画像データと、読取画像データバッファ1214に格納された読み取りデータと、を読み出し、比較する。そして、比較結果に基づいて、記録画像に色ムラがあるかどうかを判定し、判定結果をCPU1218に送信する。
尚、受信バッファ1203、判定用高解像度画像データバッファ1207、判定用基準画像データバッファ1216、記録データバッファ1206、読取画像データバッファ1214は、本システムのDRAM1204等のメインメモリの一部である。しかし、必ずしもDRAMである必要は無く、RAMの定義の範疇に属するメモリであれば、SRAM等のDRAM以外のメモリであっても構わない。
(ヘッドシェーディング処理)
図3及び図4は、ヘッドシェーディング処理(HS処理)の概念を説明するための図である。図3では、青色の画像を記録する場合を例として説明する。基準となるドット配置301は、300dpi×300dpiの単位領域内に配置するシアン(C)ドットとマゼンタ(M)ドットはそれぞれ3ドットずつとする。画像303は、基準量のシアンドットと基準量のマゼンタドットで記録された青色画像である。一方、記録ヘッド102に設けられた各ノズルには製造上のばらつきがあり、これによって吐出されるインク滴の量にもばらつきが生じる。例えば、ドット配置302に示すようにシアンノズルからの吐出量が基準量よりも少ない場合、ドット配置301と同様に3ドットのインク滴を付与したとしても、単位領域中に付与されるCインクの量が少なくなる。その結果、記録される画像304の色は、赤味がかった青色となり、基準量で記録された青色の画像303とは異なる色になってしまう。このような吐出量ばらつきが生じると、入力される画像データの値が同じであっても、記録媒体上に記録される画像においてノズル配列方向に並ぶ単位領域毎に色差が生じ、記録媒体の搬送される方向に連続したスジ状の色ムラができてしまう。
このような吐出量ばらつきに起因する色差に対しては、記録すべき画像データに対して後述するHS処理部707において補正処理を行う。ここでは、図3のドット配置305のようにシアンドットの数を3ドットから4ドットに調整する。これにより、ヘッドシェーディングによる補正処理が行われた画像データに基づいて記録された画像306の色を、基準量で記録された画像303と同じ色とすることができる。このように、単位領域毎にそれぞれドット数を調整する補正を行うことで、複数の単位領域間に生じる色差を低減することができる。
次に、補正処理で用いる補正パラメータを生成する処理について図4を用いて説明する。まず、記録ヘッド401を用いて吐出量を測定するためのメンテナンスパターンを記録する。このパターンは、記録ヘッド401のノズル406で構成されるノズル列の(a)の部分および(b)の部分、その他複数の異なる部分のノズルによって記録される。このパターンは、C、M、Y、Kのインク色毎に記録され単色パターンである。そしてこれらのパターンをセンサ402のRGBのフォトダイオードセンサを利用して読み取り、読取結果を取得する。403で示されるのは記録されたパターンのドットの様子であり、ノズル列の(a)の部分で記録されたパターンでは4つのドットの大きさは均一であるが、(b)の部分で記録されたパターンではドットの大きさにばらつきがある。ここで読み取られた読み取りデータは、各ノズルに対応する濃度情報404である。そして、読み取りデータに基づいて、次に画像を記録する際に吐出量をどれだけ増減させるかを示す補正パラメータを生成する。
尚、1ノズル単位で補正パラメータを用意してもよいが、複数ノズル単位で行うのが一般的である。これは、近年のプリンタは1200dpi程度の高解像度でノズルが配置されている一方、人間の目で視認できる色ムラの大きさや処理負荷を考慮すると、1ノズル単位で補正しなくとも画像形成上は十分に同じ色味を再現することができるからである。従って、記録すべき画像データに対する補正処理は、処理負荷の低減および高速化を行うため、色ムラが視認できない程度の最適な解像度を選択すればよい。本実施形態では、300dpi、すなわち4ノズル単位で補正テーブルを生成し、画像データへフィードバックする。そのために図4のようにノズル列の部分(a)、(b)それぞれについて、濃度情報を平均化し、405のような300dpi相当の読み取りデータを生成し、この読み取りデータに基づいて補正を行う。このように、リアルタイムに補正パラメータを切り換えながら、複数ノズル単位でヘッドシェーディング処理を行うことで、記録画像における色ムラを低減し、安定して画像を出力することができる。
(本実施形態における特徴構成)
上述したようなヘッドシェーディング処理により、ノズルからの吐出量ばらつきによる色ムラを低減することができる。しかし、ヘッドシェーディング処理を行った後であっても、記録媒体がロール状に巻かれた連続紙に対して画像を記録する場合など、連続して記録を行うと、吐出量が変化してしまう可能性がある。
図5は、連続記録による吐出量変化を示す模式図である。ドット配置501は、ヘッドシェーディング後のドット配置であり、画像502はドット配置501によって記録された色を示す。ヘッドシェーディング処理を行った直後は、基準量で記録された画像と同じ色で記録することができるが、連続して記録し続けると、ドット配置503のようにCドットの吐出量が減少してしまう。すると、単位領域に対してCインクが付与される量が少なくなり、記録される画像504は赤味がかった青色となり、再度色ムラが発生してしまう。
そこで、本実施形態では、記録媒体上に記録すべき画像データに基づいて、ノズルの配列する方向(図中Y方向)における解像度が、ノズルが配列するピッチ(以下、ノズル解像度と呼ぶ)よりも低い判定用基準画像データを生成する。そして、センサ105が記録媒体上に記録された画像を読み取った読み取りデータと、判定用基準画像データと、を比較することで、色ムラがあるかどうかを判定する。このような構成により、記録装置を停止させてパターンの記録及び測定をせずとも、連続紙に記録された実画像を読み取りながら、検出精度を下げることなく且つ高速に、記録された画像の検査を行うことができる。
尚、本実施形態では、ノズル解像度が1200dpiであるのに対し、判定用基準画像データのY方向の解像度を300dpiとしている。判定用基準画像データのY方向の解像度は、人間の目が色ムラを視認できない程度の解像度であり、ヘッドシェーディング処理の補正単位である300dpiと同じ解像度に合わせている。
図6は、本実施形態における全体の制御プログラムに係るフローチャートである。本制御プログラムは、ROM1211に格納されており、CPU1218が読み出して実行する。ステップS601において、記録装置が、ホストPC1201から入力画像データを受信する。ステップS602において、あらかじめ記憶しておいた補正パラメータを用いて、入力画像データに画像処理を行う。ステップS603において、画像処理後のデータに対し、量子化処理を行う。ステップS602及びステップS603の処理については、図7を用いて後述する。ステップS604において、量子化された画像データをプリント部101に送信し、記録媒体の搬送速度に合わせてインクドットを吐出することにより、記録媒体上に画像が記録される。
一方、ステップS602からステップS603のフローと並行して、ステップS605において、判定用の基準画像データを生成する。画像処理された画像データに基づいて解像度変換(平均化)及び精度変換を行い、判定用基準画像データが生成される。これらの処理については、図8乃至図9を用いて後述する。ステップS606において、生成された判定用基準画像データが画像判定部に送信される。判定用の基準画像データを生成する処理は、必ずしも入力画像データに対する画像処理と並行して同時に行う必要はなく、いずれか一方を先に行う形態であってもよい。
ステップS607において、読取部1213が、記録媒体がセンサ105を通過するタイミングに合わせて、記録媒体上に記録された画像を読み取る。本実施形態では、センサ105が画像を読み取る読取解像度について、Y方向における読取解像度を、画像の記録解像度、すなわちノズル解像度よりも低い解像度とする。ステップS608において、読み取ったデータに対し、解像度変換処理(平均化処理)、精度変換処理、輝度濃度変換処理を行い、読み取り画像データを生成する。そして、読み取り画像データを画像判定部に送信する。
ステップS609において、画像判定部1217は、判定用基準画像データ及び読み取り画像データを受信し、2つの画像データを比較することにより、記録された画像について、色ムラが生じているかどうかの検査を行う。ステップS610において、判定結果をCPU1218に通知する。このような処理フローを、ロール状に巻かれた連続紙に記録する画像単位、あるライン単位、矩形単位等で実施することで、連続して複数の画像を記録している最中に発生した色ムラであっても、検出及び通知を行うことが可能となる。
(入力画像データに対する各種画像処理)
図7は、図6のフローチャート及び図12にて説明した画像処理、主にステップS602、ステップS603、ステップS604の処理について説明するための図である。まず、ホストPC1201から入力画像データを受信バッファ1203に受信する。受信バッファ1203に受信される入力画像データは、JPEG/PDF等いろいろなフォーマットの形態が考えられる。本実施形態では、各フォーマットのデータを展開処理した後の、R、G、Bの3要素からなるRGBデータを入力画像として受信する。この入力画像データは、X方向に1200dpi、Y方向に1200dpiの解像度である。
画像処理部1205は、受信バッファ1203からRGBの入力画像データを読み出し、輝度変換部703において、RGBデータをプリンタの色空間に合わせたRGBデータに変換する、色空間変換を行う。次に、CS部704において、カラーシェーディング用テーブルバッファ705から補正パラメータを読み出し、色ムラが発生しないように画像を補正するためのカラーシェーディング処理を行う。カラーシェーディング処理は、ヘッドシェーディングによって吐出量を増減させた結果、2次色の色味が変わって色ムラとならないよう、RGBの3次元で補正処理を行う方法である。ヘッドシェーディングと同様に、ノズルが配列するY方向に複数ノズル単位を処理単位とし、処理単位毎に補正パラメータを予め用意しておく。この処理単位のノズル数は、ヘッドシェーディングと同じでもよく、異なっていてもよい。
カラーシェーディング処理がなされた画像データは、輝度濃度変換部706において、RGBデータから、画像の記録に用いるインク色に対応したデータへ変換される。本実施形態では、C、M、Y、Kの4色のインクを用いるため、C、M、Y、Kの4つの要素を含むCMYKデータに変換する。そして、HS処理部707において、ヘッドシェーディング用テーブルバッファ708から補正パラメータを読み出し、ヘッドシェーディング処理を行う。このヘッドシェーディング処理は、インク色毎に行われ、前述したように複数ノズル毎に補正パラメータを適用する。
そして、ガンマ変換部709においてガンマ変換を行う。次に、量子化部710において、CMYKの濃度データから、記録するインクドットの発数を示すデータへの変換する、量子化処理を行う。そして、量子化された量子化データが、記録データバッファ1206に格納される。ここで生成される量子化データは、X方向に1200dpi、Y方向に1200dpiの解像度である。そして、不図示の印字タイミング信号に合わせて、量子化データに基づいてインクドットの記録または非記録を示すインデックスデータに展開されたデータが記録データバッファ1206から読み出され、プリント部101に送信されて画像が記録される。この結果、記録される画像の記録解像度は、記録媒体を搬送するX方向において1200dpi、ノズルが配列するY方向において1200dpiとなる。尚、Y方向の記録解像度は、記録ヘッドのノズル配列密度と同じである。
(判定用基準画像データ生成処理)
次に、図8を用いて、判定用基準画像データ生成処理、主にステップS605とステップS606の処理について詳細に説明する。記録すべき画像のデータ処理と並行して、画像処理部1205は、RGBの入力画像データがドットの発数データに変換される直前である、ガンマ変換部709の処理後で量子化処理が行われる前の画像データを、判定用画像データ生成部1215へ送信する。このガンマ変換部709の処理後の画像データは、画像処理が行われた後の最終的な濃度情報を示し、X方向に1200dpi、Y方向に1200dpiの解像度を有する画像データである。判定用画像データ生成部1215は、解像度変換部801及び精度変換部802を備える。
まず、ガンマ変換部709から、各種画像処理が行われた後の画像データを受信し、判定用高解像度画像データバッファ1207に格納する。この判定用高解像度画像データバッファ1207は、ガンマ変換部から送信された画像データの並びが、記録された場合の画像における各画素のノズル配列方向(Y方向)の並び順となっていれば必ずしも必要ではない。画像データの並び順がX方向に並ぶ順である場合、バッファ上にデータを格納し、それを読み出し時に、Y方向の順に並ぶように並び替える処理等が必要になる。ここでは、一度、判定用高解像度画像データバッファ1207にてデータを受信する。
そして、判定用画像データ生成部1215は、解像度変換部801における処理に必要な並び順で、判定用高解像度画像データバッファ1207から画像データを読み出し、低解像度化処理を行う。本実施形態では、ノズル配列方向(Y方向)の解像度を1200dpiから300dpiに変換する。これは、ヘッドシェーディング処理の処理単位(300dpi)に合わせたものである。尚、本実施形態ではY方向についてのみ低解像度化処理を行うが、記録媒体の搬送方向であるX方向の解像度についても、ノズル配列方向と同様に解像度を下げることで、さらに高速処理が可能となる。
次に、精度変換部802において、色ムラが検出可能な精度まで画像データのbit精度を下げる処理を行う。ホストPCから送られてきた画像データは、RGBそれぞれが8bit(256階調)のデータであるが、ここでは6bit(64階調)に階調数を下げる。これにより、判定用基準画像データと読み取りデータとを比較する際の処理負荷の低減や、メモリ帯域及びデータ量の低減を実現することができる。
解像度変換部801及び精度変換部802による処理が行われて生成された判定用基準画像データは、判定用基準画像データバッファ1216に格納される。この判定用基準画像データバッファ1216は、判定用高解像度画像データバッファ1207と同様の理由で必ずしも必要ではない。画像判定部が定めた画素順とは異なる場合には、一度、判定用基準画像データバッファ1216に判定用基準画像データを格納する必要がある。その後、画像判定部1217に判定用基準画像データを送信する。
図9(a)は、判定用基準画像データの生成方法を示す模式図である。ガンマ変換部709から受信した画像データ901において、図中Y方向に連続する画素が示されており、各画素は、Y方向の終わりの画素→X方向の次のY方向の先頭画素…という順に並んでいる。画像データは、Y方向の解像度が1200dpi、X方向の解像度が1200dpiであり、各画素は8bit256階調のCMYKデータである。この画像データに対し、解像度変換部801において、Y方向に4画素分を加算し、平均化することにより、低解像度化処理を行う。この結果、Y方向の解像度が300dpi、X方向の解像度が1200dpiである8bitの画素データ902が生成される。さらに、精度変換部802において、各画素8bitの画素データ902を6bitに精度変換することで、判定用基準画像データ903が生成される。
図9(b)は、解像度変換部801における解像度変換処理を示す図である。解像度変換部801は、Y方向に連続しているデータを順次4画素単位で受信し、例えば100、120、130、150という濃度情報の4画素を平均化し、125が得られる。次の140、145、155、160という濃度情報の4画素を平均化すると150が得られる。このように、平均値を算出することで、300dpi単位の濃度情報を得ることができる。
図9(c)は、精度変換部802における変換処理を示す図である。精度変換部802は、解像度変換された300dpiの画素データを受信し、8bitで125、150、175、63という濃度情報の画素データの下位2bitを削除する。この結果、31、37、43、15という300dpi/6bitの濃度情報に変換される。
(読取部における処理)
図10は、読取部1213における処理を説明するための図である。読取部1213は、画像データを記録した記録媒体の搬送速度に合わせて、センサ105が読み取ったデータを受信する。シェーディング補正部1001において、撮像系の特性による輝度ムラに対して一様な明るさの画像になるように補正を行う。次に、ガンマ変換部1002において、センサ105の色空間をプリンタの色空間と同一になるよう補正を行う。そして、読取画像データバッファ1214に補正されたRGBの読み取りデータを格納する。
(判定用基準画像と読取画像の判定処理)
図11は、画像判定部1217の処理について説明するための図である。センサ105によって読み取られ、読取部1213において各種処理がなされた読み取りデータは、読取画像データバッファ1214に格納されている。また、判定用画像データ生成部1215において生成された判定用基準画像データは、判定用画像データバッファ1216に格納されている。尚、読取画像データバッファ1214に格納された読み取りデータはRGBデータであり、判定用画像データバッファ1216に格納された判定用基準画像データはCMYKデータであるため、同じ画像フォーマットに合わせる必要がある。そこで、読み取りデータを画像判定部1217における輝度濃度変換部1101においてCMYKデータに変換し、その上で、図8及び図9を用いて説明した処理と同様に、解像度変換部1102で解像度変換処理を行い、精度変換部1103で精度変換処理を行う。そして、読取部1213において、判定用基準画像データと、各種変換処理が行われた読み取り画像データを比較し、色ムラが生じているかどうかを判定する。判定結果を、記録装置本体のシステムをまとめるCPU1218に通知する。これにより、CPU1218は、記録された実画像の検査結果に基づき、色ムラが発生したと判断された場合に記録動作を停止する、もしくは、補正処理に用いる補正パラメータを変更して記録を続ける等の制御をすることが可能となる。また、色ムラが発生した可能性のある画像を示す情報を不図示の通知手段を用いてユーザーに通知してもよく、補正パラメータの再生成処理を促す旨の情報を通知してもよい。尚、記録を続ける際には、判定用基準画像データと読み取りデータとを比較した結果に基づいて補正パラメータを変更し、読み取った実画像よりも後に記録される画像に対して変更後の補正パラメータを用いて補正処理を行う。
尚、画像比較判定部1104における判定用基準画像データと読み取り画像データとの比較方法と、比較結果に基づいて色ムラの有無を判定する方法について、以下に一例を挙げて説明する。読み取りデータの注目画素の画素値と、この注目画素に対応する判定用基準画像データの画素値の差分を取り、画像単位、ページ単位等、判定処理を行う処理単位に含まれる全画素について差分値を算出する。本実施形態では、判定用基準画像データと画像データはいずれも6bitのCMYKデータであり、CMYKそれぞれについて差分をとる。そして、算出した差分値を予め定めた閾値と比較する。この比較結果に基づいて記録された画像に色ムラがあるかどうかを判定するが、判定方法としては以下のような方法が考えられる。例えば、判定処理の処理単位に含まれる全画素のうち、差分値が閾値を超える画素が1画素でも含まれれば色ムラがあると判定する。もしくは、差分値が閾値を超える画素が予め設定した数以上含まれれば色ムラがあると判定する。
また、1つの画像において、判定処理を行う単位をさらに細かく分割してもよい。例えば、判定処理の処理単位をX方向に連続する1ラスタ分の画素列とし、1ラスタ分の画素列の中で、差分値が閾値を超える画素が1画素以上もしくは予め設定した数以上含まれれば、記録画像に色ムラがあると判定する。また、1ラスタ分の画素列の中で、差分値が閾値を超える画素が予め設定した数以上連続して含まれれば、記録画像に色ムラがあると判定してもよい。このように、X方向に連続する画素からなるラスタ毎に判定処理を行うことで、色ムラが生じている位置情報を取得することができる。これにより、判定処理後の補正パラメータ生成処理において、パターンの記録及び測定を行う領域を、色ムラが生じていると判定された位置のみもしくはその近傍領域のみに限定する等、処理負荷を低減することができる。また、CMYKのインク色毎に判定を行うことによって、色ムラが生じていると判定されたインク色についてのみ、補正パラメータを再生成することで、全てのインク色についてパターンの記録及び測定を行う場合に比べて処理負荷を低減することができる。
また、読取画像データバッファ1214は、判定用高解像度画像データバッファ1207と同様の理由で、必ずしも必要ではない。上記の実施形態では、読み取った画像データおよび判定用画像データに対してY方向における画像の解像度を下げる処理を行った。一方X方向に対しては、色ムラ検出の正確性の観点から、画像の解像度を下げる処理は行っていない。
ここで、本実施形態の画像処理装置において記録ヘッド102のノズルの吐出不良に起因するスジのように、搬送方向(図中X方向)に連続する色ムラを検出し、吐出不良のノズルを特定する場合について説明する。この場合には、Y方向においては吐出不良検知用のパターンをノズルのY方向における配列ピッチの半分を超えるピッチ相当の解像度で読み取った画像データを取得することが望ましい。例えば記録ヘッド102のノズルの配列ピッチが1200ノズル/1インチであれば、画像判定部1217は、600ノズル/1インチ相当の解像度すなわち600dpiより高い解像性の読み取り画像データを得ることが望ましい。そしてこれに対応するような画像解像度の判定用基準画像データを記録用の画像データから判定用画像データ生成部1215にて生成し、画像判定部1217にて読み取り画像データと比較するとよい。このようにすることで、ノズルを1つずつ識別して検査しやすい。そのような観点では、吐出不良検知の際には、読み取り画像データと判定用基準画像データとの両方において、ノズル解像度相当あるいはそれより高い解像度の画像を用いることが望ましい。判定用基準画像データと読み取り画像データとを比較した結果、読み取り画像の特定ノズルに対応する輝度が所定の値を超えた高い場合、画像判定部1217は、特定ノズルを吐出不良であると判定し、CPU1218へその旨を送信する。それを受けて、CPU1218は不図示のメンテナンスユニットに記録ヘッドのメンテナンスを行わせたり、ユーザーにメンテナンスの実行を促すような内容をモニターに表示させたりする制御を行う。一方、吐出不良検知の際には、X方向において、読み取った後の画像データに対して低解像度化処理を行って処理の高速化を図ることが可能である。
上述したような、X方向における低解像度化処理を行うためには、Y方向に連続する形で読取画像データバッファ1214に画像データを格納する。そして、オフセットをかけてデータを読み出すことで、X方向に連続するようにデータを読み出すことができ、処理の高速化やメモリ帯域の軽減が可能となる。
尚、本実施形態では、記録された画像をセンサ105で読み取る際のY方向の解像度をノズル解像度(1200dpi)よりも低い解像度(600dpi)で読み取り、さらに、画像判定部1217の解像度変換部1102において300dpiに変換する。本発明はこれに限るものではない。本実施形態のセンサ105は、ノズル解像度よりも高い2400dpiの解像度でフォトダイオードを備えるものであり、ノズル解像度と同じもしくはより高い解像度で読み取り、その後、低解像度化処理を行う形態であってもよい。また、センサ105が、300dpiの解像度でデータを読み取る形態であってもよく、その場合は、画像判定部における低解像度化処理は不要である。
以上のように、本実施形態では、入力画像データと記録された画像を読み取った画像データに基づき、ノズルの配列する解像度よりも低い解像度となるように、判定用基準画像データと読み取りデータを生成し、色ムラ判定を行った。このような構成により、判定処理時の処理負荷やデータ転送量を減らすとともに高速化することができるため、システム全体の画像判定を高速化することが可能となる。また、記録された画像をセンサが読み取る際の読取解像度をノズル解像度よりも低くすることで、読み取り速度の高速化や読み取りデータの処理負荷の軽減を実現できる。また、判定時の解像度をヘッドシェーディングの補正単位に合わせることで、人間の目で視認できる解像度の色ムラの有無を判定することができるだけでなく、判定後に行う補正パラメータ再生成処理における処理負荷を低減することも可能となる。
また、色ムラを判定する専用のメンテナンスパターンではない実画像の画像データと、記録された画像の読み取りデータを用いて色ムラを判定するため、専用のパターンを記録するためのインクおよび記録媒体が削減でき、ランニングコストの低減に繋がる。
尚、本実施形態では、ノズルが配列するY方向の解像度をノズル解像度よりも低くすることにより、色ムラの検出精度を下げることなく、高速に処理することを可能とした。さらに、記録媒体の搬送方向であるX方向における記録解像度、すなわちノズルからインクドットを吐出するためのデータ解像度よりも低い解像度となるような処理を追加してもよい。これにより、画像を読み取る際に、複数の原因に起因する色ムラを高速かつ高精度に検出することが可能となる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
101 プリント部
102 記録ヘッド
103 記録媒体
105 センサ

Claims (14)

  1. インクを吐出する複数のノズルが第1方向において第1の配列ピッチ解像度で並ぶ記録ヘッドを用いて記録された画像であって、前記第1方向と交差する第2方向に搬送される記録媒体に記録された画像を検査するための画像処理装置であって、
    画像データに基づいて、前記第1方向における画像の解像度が前記第1の配列ピッチ相当の第1の解像度よりも低い第2の解像度である判定用画像データを生成する生成手段と、
    前記判定用画像データと、前記画像データに基づいて前記記録媒体上に記録された前記画像を読み取った読み取りデータと、を前記第2の解像度で比較することにより、前記画像を検査する検査手段と、
    を備えることを特徴とする画像処理装置。
  2. 記録媒体上で前記第1方向に並ぶ複数の領域の色差を低減するための複数の補正パラメータであって、前記第2の解像度の処理単位毎に設けられた複数の補正パラメータを用いて前記入力画像データに対して補正処理を行う補正手段をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記記録ヘッドを用いて記録されたパターンの読取結果に基づいて、前記複数の補正パラメータを生成するパラメータ生成手段をさらに備えることを特徴とする請求項2に記載の画像処理装置。
  4. 前記補正手段は、前記検査手段による検査結果に基づいて変更した補正パラメータを用いて、前記画像の後に記録すべき画像の画像データに対して補正を行うことを特徴とする請求項2または3に記載の画像処理装置。
  5. 前記記録ヘッドは、複数色のインクにそれぞれ対応する複数のノズル列を備え、
    前記判定用画像データは、前記複数色のインクにそれぞれ対応する複数の要素を含むデータであり、
    前記読み取りデータは、R、G、Bの各要素を含むデータであり、
    前記検査手段は、前記読み取りデータを前記複数色のインクにそれぞれ対応する複数の要素を含むデータに変換し、変換された前記読み取りデータと前記判定用画像データとを比較することにより、前記画像を検査することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
  6. 前記複数色のインクは、シアン、マゼンタ、イエロー、ブラックのインクを含み、
    前記判定用画像データは、シアン、マゼンタ、イエロー、ブラックの各データを含むことを特徴とする請求項5に記載の画像処理装置。
  7. 前記読み取りデータは、前記第1方向において前記第2の解像度よりも高い読取解像度で前記画像を読み取ったデータであり、
    前記検査手段は、前記画像を読み取ったデータの前記第1方向における解像度を、前記第2の解像度に変換することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  8. 前記読み取りデータは、前記第1方向において前記第2の解像度で読み取ったデータであることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
  9. 前記画像を読み取るためのセンサをさらに備えることを特徴とする請求項7または8に記載の画像処理装置。
  10. 前記検査手段による検査結果に関する情報をユーザーに通知する通知手段をさらに備えることを特徴とする請求項1から9のいずれか1項に記載の画像処理装置。
  11. 前記記録ヘッドを用いて前記画像を記録するための記録手段をさらに備えることを特徴とする請求項1から10のいずれか1項に記載の画像処理装置。
  12. 前記生成手段により生成される前記判定用画像データの階調数は、前記入力画像データの階調数より低いことを特徴とする請求項1から11のいずれか1項に記載の画像処理装置。
  13. インクを吐出する複数のノズルが第1方向において第1の配列ピッチで並ぶ記録ヘッドを用いて記録された画像であって、前記第1方向と交差する第2方向に搬送される記録媒体に記録された画像を検査するための画像処理方法であって、
    画像データに基づいて、前記第1方向における解像度が前記第1の配列ピッチ相当の第1の解像度よりも低い第2の解像度である判定用画像データを生成する生成工程と、
    前記判定用画像データと、前記画像データに基づいて前記記録媒体上に記録された前記画像を読み取った読み取りデータとを前記第2の解像度で比較することにより、前記画像を検査する検査工程と、
    を備えることを特徴とする画像処理方法。
  14. コンピュータに請求項13に記載の画像処理方法を実行させるためのプログラム。
JP2015152150A 2014-07-31 2015-07-31 画像処理装置、画像処理方法およびプログラム Active JP6562754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015152150A JP6562754B2 (ja) 2014-07-31 2015-07-31 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014157086 2014-07-31
JP2014157086 2014-07-31
JP2015152150A JP6562754B2 (ja) 2014-07-31 2015-07-31 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2016034755A true JP2016034755A (ja) 2016-03-17
JP6562754B2 JP6562754B2 (ja) 2019-08-21

Family

ID=55179142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015152150A Active JP6562754B2 (ja) 2014-07-31 2015-07-31 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US9475321B2 (ja)
JP (1) JP6562754B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019084743A (ja) * 2017-11-07 2019-06-06 コニカミノルタ株式会社 画像形成システム、画像形成装置及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6954008B2 (ja) * 2017-11-01 2021-10-27 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
US10755151B2 (en) * 2018-08-07 2020-08-25 Canon Kabushiki Kaisha Inkjet printing apparatus and control method therefor
US11182113B2 (en) * 2020-02-28 2021-11-23 Ricoh Company, Ltd. Ink deposition monitoring mechanism

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064702A (ja) * 2000-08-18 2002-02-28 Seiko Epson Corp 解像度変換装置
JP2004237725A (ja) * 2003-01-14 2004-08-26 Canon Inc 濃度補正方法及びその方法を適用した記録装置
JP2011166788A (ja) * 2010-02-12 2011-08-25 Toshiba Corp 画像形成装置及び画像形成方法
JP2012101442A (ja) * 2010-11-10 2012-05-31 Canon Inc 記録装置および記録システム
US20120229537A1 (en) * 2011-03-08 2012-09-13 Larry Ernst Defective Jet Detection Mechanism
JP2013078943A (ja) * 2011-09-22 2013-05-02 Canon Finetech Inc 情報処理装置、インクジェット記録装置、および、濃度補正値の取得方法
JP2013200222A (ja) * 2012-03-26 2013-10-03 Fuji Xerox Co Ltd 印刷システムおよび画像形成装置
JP2014107813A (ja) * 2012-11-29 2014-06-09 Canon Inc ガンマ補正テーブル作成方法、または、ガンマ補正テーブルを用いた画像処理方法及びその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4064701B2 (ja) 2002-02-19 2008-03-19 ニスカ株式会社 画像判定方法および画像判定装置
US7088471B2 (en) 2003-01-14 2006-08-08 Canon Kabushiki Kaisha Density correction method and printing apparatus employing the same
EP2072434A3 (en) 2007-12-19 2012-05-09 Canon Kabushiki Kaisha Sheet conveyance apparatus and image forming apparatus including the same
JP2010240885A (ja) * 2009-04-01 2010-10-28 Seiko Epson Corp 吐出不良検出方法及び吐出不良検出装置
JP2011229053A (ja) 2010-04-22 2011-11-10 Seiko Epson Corp 画像読取装置
CN103204006B (zh) * 2012-01-12 2017-04-26 精工爱普生株式会社 印刷装置、以及印刷材料供应系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064702A (ja) * 2000-08-18 2002-02-28 Seiko Epson Corp 解像度変換装置
JP2004237725A (ja) * 2003-01-14 2004-08-26 Canon Inc 濃度補正方法及びその方法を適用した記録装置
JP2011166788A (ja) * 2010-02-12 2011-08-25 Toshiba Corp 画像形成装置及び画像形成方法
JP2012101442A (ja) * 2010-11-10 2012-05-31 Canon Inc 記録装置および記録システム
US20120229537A1 (en) * 2011-03-08 2012-09-13 Larry Ernst Defective Jet Detection Mechanism
JP2013078943A (ja) * 2011-09-22 2013-05-02 Canon Finetech Inc 情報処理装置、インクジェット記録装置、および、濃度補正値の取得方法
JP2013200222A (ja) * 2012-03-26 2013-10-03 Fuji Xerox Co Ltd 印刷システムおよび画像形成装置
JP2014107813A (ja) * 2012-11-29 2014-06-09 Canon Inc ガンマ補正テーブル作成方法、または、ガンマ補正テーブルを用いた画像処理方法及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019084743A (ja) * 2017-11-07 2019-06-06 コニカミノルタ株式会社 画像形成システム、画像形成装置及びプログラム

Also Published As

Publication number Publication date
JP6562754B2 (ja) 2019-08-21
US9475321B2 (en) 2016-10-25
US20160031248A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
EP3305532B1 (en) Image inspection device, image inspection method, program, and ink jet printing system
US8628164B2 (en) Recording apparatus and recording system
US11192386B2 (en) Image processing apparatus, image processing method and storage medium
US10166761B2 (en) Image forming apparatus and image correcting method with correction technology for improvement of defective images
JP6598558B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5517833B2 (ja) 画像処理装置および画像処理方法
JP2021084298A (ja) 画像処理装置、画像形成システム、画像処理方法、画像形成システムの制御方法及びプログラム
JP6562754B2 (ja) 画像処理装置、画像処理方法およびプログラム
US9475279B2 (en) Image forming method, image forming apparatus, and recording medium
JP2010120254A (ja) プリンタおよび不吐ノズルの検出方法
JP5308735B2 (ja) 印刷画像検査装置および印刷方法
EP1955848A2 (en) Inkjet Printer Method
JP6531484B2 (ja) 液体を吐出する装置、画像データを処理する方法、プログラム
US20090237740A1 (en) Method for Obtaining Correction Values and Liquid Ejecting Apparatus
JP5682126B2 (ja) 印刷装置、印刷方法およびプログラム
JP5781189B2 (ja) 記録装置、記録方法および制御装置
JP7275893B2 (ja) 液体吐出装置及び液体吐出方法
JP7277175B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006240060A (ja) 画像補正方法
JP2016155342A (ja) 色ムラ検出方法、この色ムラ検出方法を用いたヘッド調整方法、及び、色ムラ検査装置
JP2021160334A (ja) 印刷システム及び印刷方法
JP2018202676A (ja) 画像記録装置、画像記録方法および補正情報取得方法
JP2006159549A (ja) インクジェット記録装置、およびインクジェット記録方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190723

R151 Written notification of patent or utility model registration

Ref document number: 6562754

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151