JP2016171448A - 画像形成システム - Google Patents

画像形成システム Download PDF

Info

Publication number
JP2016171448A
JP2016171448A JP2015049773A JP2015049773A JP2016171448A JP 2016171448 A JP2016171448 A JP 2016171448A JP 2015049773 A JP2015049773 A JP 2015049773A JP 2015049773 A JP2015049773 A JP 2015049773A JP 2016171448 A JP2016171448 A JP 2016171448A
Authority
JP
Japan
Prior art keywords
colorimetric
gradation
color
value
image forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015049773A
Other languages
English (en)
Other versions
JP6572568B2 (ja
Inventor
澁谷 竹志
Takeshi Shibuya
竹志 澁谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015049773A priority Critical patent/JP6572568B2/ja
Publication of JP2016171448A publication Critical patent/JP2016171448A/ja
Application granted granted Critical
Publication of JP6572568B2 publication Critical patent/JP6572568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】より少ない測色パッチによる基本色の階調特性についての推定精度を確保する。【解決手段】互いに異なる基本色の階調値を組み合わせた複数の測色パッチを生成する画像処理部3(測色パッチ生成手段)と、階調補正パラメータに基づいて、階調値を補正する階調補正部16(階調補正手段)と、測色パッチから反射特性を測定する画像検査部5(測定センサ)と、反射特性と、測色パッチに対応する入力画像データの階調値に基づいて、階調補正部16に用いる階調補正パラメータを合成する色調制御部28(階調補正パラメータ生成手段)と、を備える。【選択図】図2

Description

本発明は、電子画像データに基づいてデジタル印刷を行う際の画像形成装置のカラー管理に好適な技術に関する。
電子画像データを大量な枚数の記録媒体に印刷することを前提とした電子写真方式やインクジェット方式などのデジタル印刷装置が知られている。
デジタル印刷装置では、数百枚、数千枚といった連続出力を行う場合でも、出力色の安定性が要求される。特に、数ページ毎に、若干のコンテンツが差し替えられた程度の同種原稿が反復されるようなユースケースや、複数拠点で分散して印刷されるようなユースケースでは、再現色の安定管理が重要となる。
しかし、本格的な商用印刷とは異なり、これらのデジタル印刷装置が利用される動作環境は、必ずしも厳密には管理されていない場合が多く、また、多様な原稿種の混合印刷により、トナーやインキの供給量やマシンコンディションも刻々と変化するといった回避不能な不安定要因も多くある。このため、出力色をある程度厳密に安定管理することが要求される場合には、たびたび機械を停止して、キャリブレーションを行なうことが必要となる。
しかし、このようなキャリブレーション動作が度々行なわれると、損紙の発生や、印刷ジョブの停止、作業工数の増大、といったキャリブレーション負担時の問題を生じる。
このような問題に対して、特許文献1では、電子写真方式の印刷装置からの出力画像を測色し、測色値と予め保持した基準色との差分が最小となるよう階調補正曲線(TRC)を補正するフィードバック制御を施す技術が開示されている。
また特許文献2では、再現色の色空間全体のドリフトを、その変動主成分により近似するモデルを用いて、インラインの測色結果から補正する技術が開示されている。
また特許文献3では、階調再現曲線の変動モードをその主成分で近似する技術が開示されている。
これらの方式にあっては、本来無限の自由度がある再現色の変化を、より少ないパラメータで特徴付けることを可能とするが、特に測色可能なパッチ数や色の組み合わせに大きな制約がある場合について考慮するものではなかった。
例えば、余白のある印刷を前提としているシステムでは、特許文献4のように、コントロールストリップと呼ばれる余白上に形成される測色パッチを利用して、画像濃度変動を監視することもよく行われている。
しかし、混色も含めた色再現域全体での目標色からのずれを最小にするために、印刷基本色の各階調特性を決定しようとすると、膨大な測色パッチ数を狭い余白領域に収容しなくてはならないといった問題があった。
例えば、仮にC、M、Y、Kという4色の中間階調レベルを夫々に5段階に設定しただけでも、5=625色もの測色パッチが必要となるのに対し、測色装置を用いた検証も考慮して、1パッチの大きさとして6mm角サイズ程度を想定した場合でも、長さ300mm程度の領域に配置可能なパッチ数は高々50個しか配置できない制約を生じる。例え複数ページにパッチを振り分けたとしても、何ページにも渡るパッチセットでは、測色中の特性変動の影響が無視できなくなるといった問題があった。印刷基本色が4色を超える場合には、このような問題はさらに深刻になる。
このような問題に対して、特許文献5には、測色パッチをLab空間上に均等に分布するように乱数を用いてパッチデータを生成することで、パッチ数を抑制するという技術思想が示唆されている。
しかしながら、特許文献5にあっては、具体的に階調補正曲線(TRC)を決定する方法が開示されていない。
また、引用文献5にあっては、測色パッチをLab空間上に均等に分布するように乱数を用いてパッチデータを生成しているので、Lab空間上の分布数が多くなることに起因して、コントロールストリップとして実現可能な規模までパッチ数を低減することができなかった。
本発明は、上記に鑑みてなされたもので、その目的としては、より少ない測色パッチによる基本色の階調特性についての推定精度を確保することにある。
請求項1記載の発明は、上記課題を解決するため、互いに異なる基本色の階調値を組み合わせた複数の測色パッチを生成する測色パッチ生成手段と、階調補正パラメータに基づいて、前記階調値を補正する階調補正手段と、前記測色パッチから反射特性を測定する測定センサと、前記反射特性と、前記測色パッチに対応する入力画像データの階調値に基づいて、前記階調補正手段に用いる前記階調補正パラメータを合成する階調補正パラメータ生成手段と、を備えることを特徴とする。
本発明によれば、より少ない測色パッチによる基本色の階調特性についての推定精度を確保することができにある。
本発明の一実施形態に係る画像形成システムの構成を示すブロック図である。 画像データ処理におけるデータの流れを示す図である。 レーザプリンタの概要構成を示す断面図である。 測色領域抽出処理を示すフローチャートである。 変動モードおよび変動補正ゲインの一例を示すグラフ図である。 フィードバックプロセスを示すフローチャートである。 コントロールストリップの配置の一例を示す図である。 配色リストを示す図である。 総和階調値の分布の一例を示すグラフ図である。 測色サンプル点数とモードパラメータ推定誤差の関係を示す図である。 ユーザ画像領域から抽出された測色領域の階調値分布の一例を示す図である。
以下、本発明を図面に示した実施の形態により詳細に説明する。
本発明は、より少ない測色パッチによる基本色の階調特性についての推定精度を確保するために、以下の構成を有する。
すなわち、本発明の画像形成システムは、互いに異なる基本色の階調値を組み合わせた複数の測色パッチを生成する測色パッチ生成手段と、階調補正パラメータに基づいて、前記階調値を補正する階調補正手段と、測色パッチから反射特性を測定する測定センサと、反射特性と、測色パッチに対応する入力画像データの階調値に基づいて、階調補正手段に用いる前記階調補正パラメータを合成する階調補正パラメータ生成手段と、を備えることを特徴とする。
以上の構成を備えることにより、より少ない測色パッチによる基本色の階調特性についての推定精度を確保することができる。
上記の本発明の特徴に関して、以下、図面を用いて詳細に説明する。
(システム構成)
図1は、本発明の一実施形態に係る画像形成システムの構成を示すブロック図である。
画像形成システムは、ユーザPC1、ネットワーク2、サーバ7、画像形成装置8を備えている。
本実施形態において、画像形成システムの主要部である画像形成装置8は、ネットワーク2を介して入力される原稿データ(入力画像データ)をメモリ上に画素配列として展開して処理する画像処理部3、印刷そのものを実行する画像出力デバイスである電子写真方式のプリンタエンジン4、プリンタエンジン4の制御を行うエンジン制御部9、画像処理部3で展開された画素配列をプリンタエンジン4で出力可能な階調数に変換する階調処理部31、プリンタエンジン4からの出力画像6を出力前にインラインで検査する画像検査部5、および、画像検査部5で検出された画像から出力画像の色調変動(濃度変動、色相変動など)を検出し、階調処理部31に対して補正パラメータを与える色調制御部28を備えている。
この中で、エンジン制御部9は、プリンタエンジン4と同一の筐体に搭載され、色調制御部28、階調処理部31、画像検査部5とともに本体ユニット群32を構成している。
画像処理部3は、これら本体ユニット群32とは別体のPC上のソフトウエアと拡張ボードで構成され、本体ユニット群32に対して交換可能なシステム構成となっている。また、特に図示はしていないが、独立したユーザインタフェースも備えている。
ユーザ原稿の印刷紙面上における割り付けの詳細と、後述する図7のコントロールストリップ73a、73bおよび、トンボ72のレイアウトは、このユーザインタフェース上で、ユーザにより指示される。
特に、この画像処理部3は、入力画像データに基づいて、複数の測色パッチに係るデータを生成する。すなわち、画像処理部3は、コントロールストリップ73a、73bに割り付けられる測色パッチの生成も行う。画像処理部3は、互いに異なる基本色に係る階調値を組み合わせた複数の測色パッチに係るデータを生成する。画像処理部3は、測色パッチに近接(接近、隣接)する入力画像データの色情報に基づいて測色パッチを生成する。画像処理部3は、記録媒体上の余白領域の全長を所定の単位長さで割った数以内の個数の測色パッチを生成する。画像処理部3は、記録媒体上に印刷される少なくとも1ページ毎に測色パッチを生成する。画像処理部3は、測色パッチの色情報を決定するために用いる基本色に係る入力階調値の総和値を、予め定められた規定値を超えない範囲内の値とする。
画像検査部5は、RGBラインセンサあるいはモノクロラインセンサと紙送り機構からなるスキャナ27で構成され、印刷紙面上に印刷された画像に対して照射光を出射して反射された反射光の反射特性(測色値)を測色することが可能となっている。すなわち、画像検査部5は、プリンタエンジン4(画像形成装置)により記録媒体上に形成された測色パッチを含む画像に照射光を出射して画像に係る反射特性を測定する。
ネットワーク2上には、画像形成装置8に対して画像データと印刷要求を送信する1台以上のユーザPC1と、画像処理部3が必要とする色変換に必要な情報を蓄積するためのサーバ7が接続され、これにより画像形成システムが形成されている。
通常、ユーザPC1から印刷要求される原稿データ30(図2参照)はRGB色、あるいはCMYK色でカラー指定されたビットマップや、テキスト、図形の描画命令を含んだ複雑なデータフォーマットを用いて、ネットワーク2を介して画像処理部3に送られる。
画像処理部3では、受け取った原稿データ30(入力画像データ)をメモリ上に展開し、プリンタエンジン4の基本色で構成された画素配列(ビットマップデータ、あるいは、それと等価な圧縮形式)として階調処理部31に送出する。
階調処理部31は、画像処理部3から受信した画素配列をさらにプリンタエンジン4で表現可能な階調数に変換し、最終的にプリンタエンジン4により記録媒体である用紙上に出力画像6が形成される。
画像検査部5は、プリンタエンジン4から用紙上に印刷されて出力される出力画像をスキャンし、目標となる再現色からのずれが最小となるように、エンジン制御部9や階調処理部31のパラメータを補正することで、出力画像の再現色を安定化させる。
色調制御部28は、画像検査部5により測定された測色パッチの測色値と、測色パッチに対応する入力画像データの階調値に基づいて、階調補正部16に用いる階調補正パラメータを合成する。すなわち、色調制御部28は、少なくとも1つ以上の階調値の変化を近似する基底となる変動モードパラメータ、測色パッチの測色値、測色パッチに対応する入力画像データの階調値に基づいて、階調補正部16に用いる階調補正パラメータを合成する。
(カラープロファイルの設定)
図2に、より詳細な処理の流れを示す。図2では、説明が煩雑になるのを避けるため、描画命令やテキストの展開に関する画像処理は省略する。
なお、図2を含む以下の例では、色調補正量決定部19で比較するデータCIELab(以下、単にLabという)としているが、この比較のための色の表現は後ほど明らかになるように必ずしもLabである必要はなく、3次元である必要すらないが、説明が抽象的になりすぎるのを避けるために以下ではLabを例に取って説明する。
また、ユーザ原稿は、RGB色あるいはCMYK色の特定の印刷デバイス特性(例えばJapanColor2001Coated)を想定した画像データとして説明する。なお、図2では記載の便宜上、図1と異なり色調制御部28を下側に配置している。
図2中に示した各種変換部、すなわち、原稿色Lab変換部10、LabCMYK変換部11、CMYKLab変換部13、スキャナ色Lab変換部15、18、Labスキャナ色変換部14は、それぞれの色空間変換のために、カラープロファイルと呼ばれる基礎データを必要とする(このようなカラープロファイルとしては、ICC(International Color Consortium)の定めるICCプロファイルが広く知られている)。
これらのカラープロファイルの内、原稿色Lab変換部10に必要なカラープロファイルは、原稿データに添付されているか、デフォルトとして用意されているものが使用される。
また、スキャナ色Lab変換部15、18とLabスキャナ色変換部14に必要なカラープロファイルは、色調制御部28および、画像検査部5内に予め固定的に設定されている。
これに対して、LabCMYK変換部11、CMYKLab変換部13に必要なカラープロファイルは、プリンタエンジン4に設定される用紙によって、色再現特性が異なってくるために、印刷作業の開始に先立って選択された適切なカラープロファイル(以後便宜上、用紙プロファイルと呼ぶ)を、サーバ7からダウンロードして、画像処理部3および、色調制御部28の双方に設定する。このユーザによる用紙プロファイルの選択は、ユーザPC1あるいは、画像処理部3のユーザインタフェース(図示せず)を介して行われる。
(画像形成カラーパス)
以上のように、カラープロファイルを設定することで、RGB色、CMYK色などで記述されたユーザ原稿は、まず原稿色Lab変換部10により、デバイスに依存しない表色値であるLab値(図2ではdocLab)に変換される。
LabCMYK変換部11は、docLabをプリンタエンジン4の基本色であるCMYK色の各色8−bitの整数階調値に変換する。
ユーザ階調変換部12は、デフォルトではこのCMYK値を変更せずにそのまま出力する(図2ではprnCMYK)。これらの色変換は、ベクトルデータやフォント展開と同時に処理され、結果として出力されるCMYKデータは、ビットマップデータとして出力される。このようにしてCMYK値のビットマップとして展開された画像データは印刷原稿単位で、一旦、記憶装置22に保持される。
続く画像形成部23は、このCMYK化されたビットマップ画像データに基づいて、指定された用紙上に画像を形成する。
階調補正部16は、C、M、Y、K色の色毎に、階調補正テーブル(TRC:Tone Reproduction Correction)を備え、これらを用いてCMYK色それぞれの値を補正する。この階調補補正テーブルも、色調補正量決定部19から与えられるテーブル値(階調補正パラメータ)に従って、最終的な出力画像の再現色を安定に保つよう補正する。階調補正部16は、事前に決定された階調補正パラメータに基づいて、基本色に係る階調値を基本色毎に補正する。
階調変換部17は、C、M、Y、K色の色毎に8−bitデータで送られてくるカラー値を、プリンタエンジン4が1−dotで表現可能な階調数に、面積階調法や誤差拡散法などを用いて減段する。
プリンタエンジン4は、階調変換部17で減段されCMYK信号に基づいて、用紙上に出力画像6を形成する。
一方で、色調制御部28にも入力されるCMYK値(prnCMYK)は、CMYKLab変換部13により、再びLab値(図2ではprnLab)に戻される。このCMYKLab変換部13は、上述した画像形成部23によって、出力される出力画像6の再現色をLab値としてシミュレートするモデルとなっている。
基本的には、このシミュレートされた出力予測値(prnLab)と、画像検査部5でスキャンされた出力画像6の計測値(mesCol)を、スキャナ色Lab変換部18によりLab値化した測色値(mesLab)を用いて、色調補正量決定部19により、階調補正部16に設定されている階調補正テーブル(TRC)のテーブル値(階調補正パラメータ)補正を行う。
本実施形態では、さらに、スキャナ27に固有で入力画像に依存して発生する読み取り誤差を、スキャナ補正部25で補正することにより、スキャナ読み取り色の予測精度を改善している。
測色値変換手段であるスキャナ色Lab変換部15は、このスキャナ補正部25からの読み取り予測値(scn−Col’)を、再度デバイス非依存の表色値であるLab値である測色予測値(targetLab)に変換する。
この一連のLabスキャナ色変換部14からスキャナ色Lab変換部15に至る処理を行うことで、スキャナ27が読み取り可能な色域が、プリンタエンジン4が出力可能な色域よりも小さい場合に生じる読み取り色の飽和(色域圧縮)もシミュレートされるという効果がある。
図2では、これらCMYK−Lab変換部13、Labスキャナ色変換部14、スキャナ補正部25、スキャナ色Lab変換部15で、測色値予測モデル部21を構成している。
測色値予測モデル部21による予測測色値(target−Lab)の生成には、大きな計算負荷(メモリおよび処理時間)を必要とする。このため、実際には必要なページ数分のデータを予め処理したデータとして記憶装置26に保持しておき、後段の色調補正量決定部19では、この記憶装置26に予め保持された測色予測値を使用する。
このように、スキャナ27側の誤差特性も含めてスキャナ読み取り結果としての予測測色値(targetLab)を予め保存しておくことで、後段の色調補正量決定部19による実時間でのTRC補正量や混色補正テーブル値の算出を効率良く行なうことが可能となる。
これにより、プリンタ色域圧縮部20でシミュレートされた印刷色prnLabは、画像検査部5で計測されるべき目標色targetLabへと変換される。
色調補正量決定部19では、目標色であるtarget−Labと、実際に画像検査部5側から得られた計測値mesLab、階調補正部16への入力値であるprnCMYK、およびエンジン制御部9からのエンジン情報に基づいて、TRCへの設定値を決定する。
(プリンタエンジン構成)
図3にプリンタエンジン4の一例であるレーザプリンタの概要構成の断面図を示す。
まず、現像ユニット60kの構成と動作から説明する。
感光体ドラム50kは、図3に示す矢印Aの方向に回転する。この回転位置は、感光体ドラム50kの端部に設けられた回転検出器57で検出される。この感光体ドラム50kに対して、まず帯電器52が、クリーニングローラ51で清掃された感光体ドラム50kの表面に、一様な電荷を付与する。次いでレーザユニット53から照射されるレーザビーム55が、露光制御装置10Bからの信号に従って、明滅しながら感光体ドラム50の表面を走査することで、感光体ドラム50上に静電潜像を形成する。
このときのレーザビーム55の走査方向が主走査方向、感光体ドラム50kの回転方向Aが副走査方向となる。
感光体ドラム50上に形成された静電潜像は、現像ローラ54により供給される逆の電位に帯電させたブラック(K)トナーによって現像されてトナー像となる。現像されたトナー像は、中間転写ベルト61に転写される。
現像ユニット60c、60m、60yの構成も現像ユニット60kと同様であり、それぞれ、シアン(C)、マゼンタ(M)、イエロー(Y)のトナー像を形成し、逐次、中間転写ベルト61上に重ねて転写する。
転写ローラ55は、用紙搬送パス59上を右側から搬送されてくる用紙の上に、中間転写ベルト61上に重ねられたC、M、Y、K色のトナー像を一括転写する。定着器56は用紙上のトナー像を加熱圧着することで、これを紙面上に定着させる。
(コントロールストリップの構成)
図7に出力用紙70上でのコントロールストリップ73a、73bの配置例を示す。
図7は出力用紙70としてA3ノビを用いた例である。図7に示すように、左端の上から下への矢印方向が紙送り(副走査)方向である。
この例でコントロールストリップ73a、73bは、ユーザ画像領域71の外側にあるトンボ72の間に配置される。さらに、各コントロールストリップ73a、73bは、それぞれ48個の6mm角サイズの測色パッチ群で構成される。このように、測色パッチは、入力画像データに対応する記録媒体上の記録領域とは異なる余白領域に形成される。
このようにコントロールストリップ73a、73bをトンボ72の間に配置することで、インライン(その箇所での)でのスキャナ27による読み取り画像中でのコントロールストリップの位置を特定することを容易にしている。
図7に示す夫々の測色パッチは、画像処理部3により、測色パッチに近接(接近、隣接)する入力画像データの色情報に基づいて生成されている。また画像処理部3により、記録媒体上の余白領域の全長を所定の単位長さで割った数以内の個数の測色パッチが生成されている。さらに、画像処理部3により、記録媒体上に印刷される少なくとも1ページ毎に測色パッチを生成されている。また、画像処理部3により、測色パッチの色情報を決定するために用いる基本色に係る入力階調値の総和値を、予め定められた規定値を超えない範囲内の値とされている。
ページ毎に合計98個ある測色パッチへは、図8に示す配色リスト76のような、0〜255の整数がCMYK入力階調値としてランダムに割り付けられる。このパッチへの割り付け順番は本質的ではないが、ここでは、No.1〜No.48がコントロールストリップ73aへ、No.49〜No.98がコントロールストリップ73bへ割り付けられる。
測色パッチは、記録媒体上の異なるページ間において相違する。
ただし、出力用紙70として小さい用紙を使用する場合など、コントロールストリップ73a、73bに割当可能な測色パッチ数が非常に少なくなる場合には、測色パッチに割り付ける総階調値への配慮が必要となる。
図9には、画像処理部3が生成した測色パッチのCMYK階調値の総和の分布例を示す。横軸は、CMYK色の階調値の総和を2.55で割って%表示したものである。400%がCMYK全色ベタに対応する。
このように階調値をランダムに割り付けたパッチの総和階調値は、200%を中心とする正規分布に似た分布となる。
一方、一般的に基本色の色材を重ねることで混色表現を行う印刷装置では、重ね合わされる色材料が多くなりすぎると混色後の印刷状態が不安定になる傾向がある。電子写真の場合は概ね250%あたりが、この限界値に相当する。このため、CMYK色の総和階調値がこの限界値を超えないように階調値を変換する印刷システムも多く見られる。これらの理由により総階調値が限界値を超える測色パッチは後述する階調特性変動の推定誤差要因となる。
図9に示す例では、総和階調値が250%を超える測色パッチは、斜線部で示した全体の1割程度である。測色パッチ数が十分多い場合には、推定値にそれほど悪影響は及ぼさないが、測色パッチ数が少なくなってくると、影響が無視できない測色パッチセットが生成されるリスクが高まる。この問題を回避するに、画像処理部3は、予め多めのランダムサンプルを生成しておき、サンプルの先頭から総和階調値が限界を超えない組み合わせを必要数(先の場合、98個)抽出するようにすると良い。
(TRC補正量の決定)
次に、コントロールストリップ、あるいは、後述するユーザ画像上の測色領域を含めた領域からの測色値に基づいてTRC補正量を決定する方法について説明する。なお以下の説明では、各サンプルに対する変数を確率変数と考えてサンプル番号の添字は省略する。
先ず、測色領域に対応する図2の階調補正部16による補正後のCMYK階調値を(c, m, y, k)として、それぞれの要素を、予め規定した2つの変動モードの合成により補正する場合を考え、次式のように置く(ここで変動モードの数を2としたのは説明の簡易化のためであり、以下の説明におけるモード数の拡張は容易に類推される)。
Figure 2016171448
ここで、c、m、y、kは補正前のCMYK階調値、c、m、y、kは基準階調特性、c、m、y、kは第1変動モード、c、m、y、kは第2変動モード、θ 、(i={0, 1, 2}、j={c, m, y, k})はモードパラメータである(上つきの添字は指数ではなく、単なる識別用の添字)。
特に、モードパラメータは実スカラーであり、基準階調特性および各変動モードは、各c、m、y、k階調値の入力レンジD上で定義された同一次元の独立な実ベクトルである(数学的にはD上の実数値関数のなすベクトル空間の低次元部分空間の基底(線形空間の任意のベクトルをその線形結合で一意的に表せるベクトルの組)であるが、実装上は配列や、配列と補間の組み合わせ等で実装された曲線と考えればよい。
なお入力レンジDは通常は[0,1]区間の実数や、[0,100]区間や[0,255]区間の整数などで実装される)。
このとき、(1)式の一次項の関係は行列表記により、
Figure 2016171448
と表現される。
Figure 2016171448

Figure 2016171448
として、これを最小化するΔθ、Δθにより、印刷特性変動を近似する。
ただし上式において、Labmは図2に示すmesLabに対応する測色Lab値、Labt:(c, m,y,k)→(L,a,b)は、基準階調特性を前提とした図2に示す測色予測値モデル部21に対応する測色値の推定モデルである。f=(f, f, ・・・, f):Lab→Rは、Lab空間からn次元数空間Rへの適当な可微分関数、Jはこれらの合成関数f(Labm(c, m, y, k)、Lab(c, m, y, k))のJacobi行列、Eは期待値(今の場合はサンプル平均)である。
Figure 2016171448
このとき、(3)式を最小化するΔθ、Δθは、
Figure 2016171448
であれば、
Figure 2016171448
により求められる。
特に(6)式において、nが入力チャンネル数(今の場合、c、m、y、kの4チャンネル)よりも小さい場合であっても、十分独立なデータが確保されれば、一般には(5)が成立し、(6)式により解が得られる。
すなわち、上記一連の式において、E[ JJM]、(i、j=1、2)は、ΔθとΔθの観測値f・Labの変化に対する相互感度の平均に対応することから、第1変動モードと第2変動モードとしては、E[ JJM]が0行列に近いという意味で独立性が高く、さらにfに対する感度の高いものを選択するのが良いことになる。
あるいはfとして変動モードに対する感度の高いものを選定することで、(5)式の成立性はサンプル選択の問題に帰着する。
上記説明のfの例としては、f(Lab, Lab)=(L−L, a−a, b−b)や、f(Lab, Lab)=L−L、f(Lab, Lab)=(L−L, b−b)、f(Lab, Lab)=||Lab−Lab|| 等が利用できる。明度差のみを評価する二番目の例でYelloの明度差の分解能が不足する場合には、三番目の例の様にYellowの識別性の高い色度bの差分を評価に加えることで精度が確保される。
以上の例から類推されるように、推定に直接必要な観測値はfの出力であり、必ずしもその中間入力となっているLabが必須なわけではない。
従って、図2に示す色調補正量決定部19への入力となる信号は、Lab値やRGB値の一部の信号であっても、C、M、Y、K各色単色階調の識別が十分可能な特徴信号(モノクロセンサの場合にはセンサ前段に設けるフィルタの分光特性で調整できる)であれば代替が可能である。特に、図2のスキャナ27としてモノクロのラインセンサを用いる場合には、先の説明におけるスキャナ補正部25やスキャナ色Lab変換部15、18等はこれに合わせて簡便化される。
一方、階調識別以外のサンプル選択の問題((6)式のランク落ち)が生じる場合には、そもそも使用原色が欠損していると考えられるが、前述のように画像処理部3が測色パッチをランダム生成することにより、この問題は回避される。
最後に(6)式で得られたモードパラメータΔθ、Δθから階調補正量は、
Figure 2016171448
により近似的に求められる。
特に、上式右辺のモードパラメータ係数(∂c/∂c)−1(c)、(∂c/∂c)−1(c)、等の演算結果を予めLUTに登録しておくことで、モードパラメータΔθ、Δθからの階調補正量演算がより簡潔になる。以下ではLUT化したこれらの量を(モードパラメータiに対する)補正ゲインテーブルと呼ぶ。
補正ゲインテーブルは、図2に示す記憶装置26に保持される。補正ゲインテーブルは、明度や濃度などの階調特性の表現空間に依存しない入力階調空間上の調整量になっているので、予め校正で求める再には各基本色の階調特性を精度良く特徴付けられる任意の計測量に基づいて構築することができる利点がある。
フィードバックプロセスでは、モードパラメータを色調補正量決定部19に保持しておき、累積したモードパラメータに基づいて、補正ゲインテーブルと(7)式から各色のTRC補正量が決定される。
図5に上記で説明した変動モードや補正ゲインの例を示す。
図5(a)は基本色の一つであるシアンの明度階調特性の例である。本例では横軸の入力階調値のレンジは0〜255の8bit整数値としている。図5(a)の階調特性は印刷とともに多少上下に変動するが、それらの変動サンプルを実験的に収集した変動要素の第1主成分をプロットしたのが図5(b)の点群である。
この例に見られるように、変動サンプルから単純に求められた主成分の滑らかさは通常保証されない。これは変動パターンを分析するために採集されるサンプルには様々な外乱によるランダムなノイズが重畳されるためである。
上述したように、この主成分をそのまま階調特性変動を近似する基底とすると、補正結果の滑らかさが損なわれるだけでなく、過適合による誤差を増大させる結果となるため、本実施形態では、この第1主成分を滑らかな関数による近似を第1変動モードとしている。第2変動モード等についても、同様に滑らかな関数による近似関数を使用する。
また、図5(b)の変動モード関数は負値になっているが、これは本質的な問題ではなく、基底として選択した変動モードの組を非退化な線形変換で変換(いわゆる座標変換)して得られる変動モードの組み合わせは何れも等価である。
図5(c)は、図5(b)の第1変動モードを図5(a)の階調特性の勾配に基づいて求めた変動補正ゲインである。シアンの第1モードパラメータに対応する補正ゲインテーブルには図5(c)が正規化して設定される(実装上ゲインを整数値で扱う場合、ビット落ちしないよう適切にスケーリングされる)。
なお、このような変動モードのモデル化に主成分を基礎とすることは、少数の基底により効率よく誤差を近似できることに利点があるが、これまでの議論は常に選定された基底なりの最良近似解を求める手法であり、基底の選択は主成分に限定されるものではない。
(フィードバックプロセス)
図6に、以上の考察に基づくフィードバックプロセスの流れを示す。
最初にステップS200では、色調補正量決定部19は、階調補正部16に各色の基準階調特性c、m、y、kを設定するとともに、モードパラメータΔθ、Δθの各要素を0に初期化する。
ステップS201では、色調補正量決定部19は、(5)式の条件が満たされる十分なデータが取得されるまで印刷画像から測色サンプルデータとそれに対応する入力CMYK値を取得する。
ステップS202では、色調補正量決定部19は、(6)式に基づいて、モードパラメータを算出し、Δθ1、new、Δθ2、newとする。
ステップS203では、モードパラメータを累積して、Δθ+=Δθ1、new、Δθ+=Δθ2、newとする。
ステップS204では、色調補正量決定部19は、累積されたモードパラメータを用いて、(7)式により階調補正値Δc、Δm、Δy、Δkを算出する。これらは、それぞれ入力階調n、(n=0、1、・・・、255)に対する画素配列として算出される。
ステップS205では、色調補正量決定部19は、算出された階調補正値Δc、Δm、Δy、Δkを、同じく256要素の画素配列として与えられているそれぞれの基準階調特性に加算し、加算結果値を階調補正パラメータとし、図2に示す階調補正部16に設定する。
以上のステップS200〜S205の処理を印刷ジョブが終了するまで反復する。
(サンプル数とモードパラメータ推定誤差の関係)
図10は、測色サンプルデータ数とモードパラメータθの推定値ばらつきの関係についての実験結果である。
この実験では、プリンタエンジン4の特性が変化する前と後で、画像処理部3がランダムに生成した十分な数の測色パッチを出力しておき、そこからランダムに抽出したn個のサンプルに基づいてモードパラメータを求めている。図10は、この試行を200回繰り返した場合のシアンのモードパラメータのばらつきを示している(ただし、ここでは全てのサンプルを用いて推定した0からの差分を誤差とみなしている)。
図10の横軸が、(6)によるθの推定に使用するサンプル点数nである。各箱髭図(箱ひげ図)は、箱の中央の横線が中央値、箱の内側が全サンプルの50%が含まれる領域、ひげ、および外れ値を表す「○」の範囲が、全サンプルの範囲を表している。
また、別の実験により本実施形態の画像形成装置8では、図10の縦軸のスケールにおいての誤差が±2以内であれば、階調補正結果の間の平均色差は0.2以下にできることを確認している。これらのことから、概ね20〜30個のサンプルが確保できれば、十分確からしいモードパラメータが推定できることが分かる。
また、この結果からは図7のコントロールストリップ73a、73bを構成する測色パッチ数は冗長であり、12mm角サイズにして半数にするレイアウトも可能であることが分かる。この場合、確認作業に使用する測色装置として、大口径の測色装置を利用できる利点が得られる。
しかし、12mm角サイズの測色パッチを利用する場合、用紙サイズが小さくなると測色パッチ数に、あまり余裕を持てなくなる。このような場合には、ユーザ画像領域71から測色可能領域を抽出し、併用することで精度を確保することが有効である。
(ユーザ画像からの抽出領域の併用)
次に、ユーザ画像領域71から測色領を抽出する場合の処理について説明する。
まず、メイン処理に先立って、印刷対象となる記憶装置22に保存されているCMYKビットマップ化されたユーザ原稿の測色領域を抽出する処理の流れを図4に示す。
図4のステップS100では、色調補正量決定部19は、記憶装置22から取得した、印刷対象となる原稿データの1ページ分のCMYK色のビットマップ化された画像データを記憶装置26に書き込む。
次いで、ステップS101で、色調補正量決定部19は、画像データから測色対象とする測色領域を抽出する。具体的な抽出方法としては、例えば特許文献1に開示されているような、平坦度の高い変化の緩やかな固定サイズ(例えば400dpiで41×41画素)の小領域を複数抽出する方法を使用する。
このとき、抽出された測色領域は、画素単位の中心座標(xi,yi)で記述される(添字iはサンプル番号)。xiが主走査方向位置、yiが副走査方向(紙送り方向)位置である。また、それぞれの測色領域に対しては、CMYK入力階調値、スキャナ測色値とも、その平均値を測色領域での値として扱うことにする。
なお、ここで想定しているユースケースは、同種原稿が反復されるような印刷での再現色の安定化管理なので、抽出する測色領域のサンプルは、反復単位となる単一あるいは複数のページにまたがるものである。
従って、副走査座標yiは反復されるページ数あるいは、それを適当なページ数(数ページ程度)に区分したものを一纏めとして、第1ページの書き出し位置を原点とする紙間も含めた連続した座標で既述される。
ステップS102で、色調補正量決定部19は、印刷サイクルページ分測色抽出が完了していなければ、ステップS100からの処理を反復し、印刷サイクルページ分測色抽出が完了していれば処理を終了する。
図11はユーザ原稿の測色領域の色分布から測色パッチの配色を決定する方法を説明するための概念図である。簡単のためにシアン(C)とマゼンタ(M)を例にとって2次元的に示しているが、実際にはC、M、Y、K色の4色で張られる4次元立方体を54=625個の領域に分割する。図11に示す黒色の点群が、ユーザ原稿から抽出した各測色領域の入力階調値の分布を表している。
予め上限値N(例えばN=2)を定めておき、既に測色領域の個数がN以上になっている領域と、総和階調値が規定値を超えている領域は追加禁止領域75とする。
新たにランダム生成したCMYK入力階調値が、追加禁止領域75に無い場合に限り、コントロールストリップ73a、73bに割り付けるカラー値として、図8に示す配色リスト76に追加する。この処理をコントロールストリップに必要な測色パッチ数分反復することで、コントロールストリップ73a、73bの配色を決定する。
モードパラメータは、コントロールストリップ73a、73bの測色値と、ユーザ原稿から抽出した測色領域の測色値の双方を利用して、(6)により決定する。ユーザ原稿からの抽出色が特定色に集中しすぎる場合には、図11の入力階調値の小矩形領域毎に、採用するサンプルの上限Nmax(例えばNmax=4)を決めておくことで、特定色がモードパラメータの推定値に支配的に影響することが回避される。
本実施形態によれば、多数の原色に基づいて印刷を行う画像形成装置に対して、通常の印刷ジョブ中における、余白領域にも出力可能な極少数の測色補助パッチに基づいて、インライン測色のフィードバックによる再現色の安定化の精度を向上させることができる。
<本発明の実施態様例の構成、作用、効果>
<第1態様>
本態様の画像形成システムは、互いに異なる基本色の階調値を組み合わせた複数の測色パッチを生成する画像処理部3(測色パッチ生成手段)と、階調補正パラメータに基づいて、階調値を補正する階調補正部16(階調補正手段)と、測色パッチから反射特性を測定する画像検査部5(測定センサ)と、反射特性と、測色パッチに対応する入力画像データの階調値に基づいて、階調補正部16に用いる階調補正パラメータを合成する色調制御部28(階調補正パラメータ生成手段)と、を備えることを特徴とする。
本態様によれば、入力階調値と測定センサによる測色値の関係に基づいて階調補正パラメータを合成する際に、基本色毎に入力階調の多様性が確保されることにより、より少ない測色パッチによる基本色の階調特性についての推定精度を確保することができる。さらに、互いに異なる基本色に係る階調値を組み合わせて複数の測色パッチを生成するので、より少ない測色パッチによる基本色の階調特性についての推定精度を確保することができる。
<第2態様>
本態様の画像処理部3(測色パッチ生成手段)は、測色パッチに近接する入力画像データの色情報に基づいて測色パッチのデータを生成することを特徴とする。
本態様によれば、ユーザ画像からサンプリング可能な色の測色値はユーザ画像から取得し、それ以外を測色パッチに割り当てることで、データ数を増やして効率良く推定精度を向上させることができる。
<第3態様>
本態様の色調制御部28(階調補正パラメータ生成手段)は、少なくとも1つ以上の階調値の変化を近似する基底となる変動モードパラメータ、反射特性、測色パッチに対応する入力画像データの階調値に基づいて、階調補正部16に用いる階調補正パラメータを合成することを特徴とする。
本態様によれば、階調特性の変化を、少数の変動モードの合成で近似できるため、より少ない測色パッチから、階調特性変化を補正することが可能となる。
<第4態様>
本態様の画像処理部3(測色パッチ生成手段)は、記録媒体上の余白領域の全長を所定の単位長さで割った数以内の個数の測色パッチを生成することを特徴とする。
本態様によれば、一般的な測色装置で計測可能な最小パッチサイズである6mm角サイズのパッチで、測色パッチを余白に配置できるため、測色装置を併用した精度保証が可能となる。
<第5態様>
本態様の画像処理部3(測色パッチ生成手段)は、記録媒体上に印刷される少なくとも1ページ毎に測色パッチを生成すること特徴とする。
本態様によれば、装置固有の変動の周期性に起因する階調特性の推定誤差を回避することができる。
<第6態様>
本態様の画像処理部3(測色パッチ生成手段)は、測色パッチの色情報を決定するために用いる基本色に係る入力階調値の総和値を、予め定められた規定値を超えない範囲内の値とすることを特徴とする。
本態様によれば、階調特性の推定誤差要因となる色材量過多の測色パッチの使用が回避されるため、より少数の測色パッチでも安定な階調特性についての推定が可能となる。
<第7態様>
本態様の測色パッチは、入力画像データに対応する記録媒体上の記録領域とは異なる余白領域に形成されることを特徴とする。
本態様によれば、測色パッチとユーザ画像を同時に出力することが可能となるため、キャリブレーション測色の為にユーザ画像出力と別の画像出力シーケンスを設ける必要がなく、時間と無駄紙が節約される。
<第8態様>
本態様の測色パッチは、記録媒体上の異なるページ間において相違すること特徴とする
本態様によれば、隣接する数ページ間の測色情報を利用して精度向上を図ることができる。
1…ユーザPC、2…ネットワーク、3…画像処理部、4…プリンタエンジン、5…画像検査部、6…出力画像、7…サーバ、8…画像形成装置、9…エンジン制御部、10…原稿色Lab変換部、11…LabCMYK変換部、12…ユーザ階調変換、13…CMYKLab変換、15…スキャナ色Lab変換部、16…階調補正部、17…階調変換部、18…スキャナ色Lab変換部、19…色調補正量決定部、20…プリンタ色域圧縮、21…測色値予測モデル部、22…記憶装置、23…画像形成部、27…スキャナ、28…色調制御部、50…感光体ドラム、51…クリーニングローラ、52…帯電器、53…レーザユニット、54…現像ローラ、55…レーザビーム、56…定着器、59…用紙搬送パス、60…現像ユニット、61…中間転写ベルト
特開2012−70360公報 特許5150096号 米国特許5749020号 特許5341940号 特開2014−99830公報

Claims (8)

  1. 互いに異なる基本色の階調値を組み合わせた複数の測色パッチを生成する測色パッチ生成手段と、
    階調補正パラメータに基づいて、前記階調値を補正する階調補正手段と、
    前記測色パッチから反射特性を測定する測定センサと、
    前記反射特性と、前記測色パッチに対応する入力画像データの階調値に基づいて、前記階調補正手段に用いる前記階調補正パラメータを合成する階調補正パラメータ生成手段と、
    を備えることを特徴とする画像形成システム。
  2. 前記測色パッチ生成手段は、前記測色パッチに近接する前記入力画像データの色情報に基づいて前記測色パッチのデータを生成することを特徴とする請求項1記載の画像形成システム。
  3. 前記階調補正パラメータ生成手段は、少なくとも1つ以上の階調値の変化を近似する基底となる変動モードパラメータ、前記反射特性、前記測色パッチに対応する入力画像データの階調値に基づいて、前記階調補正手段に用いる前記階調補正パラメータを合成することを特徴とする請求項1記載の画像形成システム。
  4. 前記測色パッチ生成手段は、前記記録媒体上の余白領域の全長を所定の単位長さで割った数以内の個数の前記測色パッチを生成することを特徴とする請求項1記載の画像形成システム。
  5. 前記測色パッチ生成手段は、前記記録媒体上に印刷される少なくとも1ページ毎に前記測色パッチを生成すること特徴とする請求項1記載の画像形成システム。
  6. 前記測色パッチ生成手段は、前記測色パッチの色情報を決定するために用いる基本色に係る入力階調値の総和値を、予め定められた規定値を超えない範囲内の値とすることを特徴とする請求項1乃至5の何れか1記載の画像形成システム。
  7. 前記測色パッチは、前記入力画像データに対応する前記記録媒体上の記録領域とは異なる余白領域に形成されることを特徴とする請求項1乃至6の何れか1記載の画像形成システム。
  8. 前記測色パッチは、前記記録媒体上の異なるページ間において相違すること特徴とする請求項1乃至7の何れか1記載の画像形成システム。
JP2015049773A 2015-03-12 2015-03-12 画像形成システム Active JP6572568B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015049773A JP6572568B2 (ja) 2015-03-12 2015-03-12 画像形成システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015049773A JP6572568B2 (ja) 2015-03-12 2015-03-12 画像形成システム

Publications (2)

Publication Number Publication Date
JP2016171448A true JP2016171448A (ja) 2016-09-23
JP6572568B2 JP6572568B2 (ja) 2019-09-11

Family

ID=56984254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015049773A Active JP6572568B2 (ja) 2015-03-12 2015-03-12 画像形成システム

Country Status (1)

Country Link
JP (1) JP6572568B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020151989A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像形成装置
JP7500305B2 (ja) 2020-06-24 2024-06-17 キヤノン株式会社 印刷装置とその制御方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112470A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 色調補正方法、画像処理システム、画像処理装置、プログラム、記憶媒体
JP2007214625A (ja) * 2006-02-07 2007-08-23 Fuji Xerox Co Ltd 画像処理装置
JP2012070360A (ja) * 2010-08-26 2012-04-05 Ricoh Co Ltd 制御装置、画像形成装置、及び制御方法
JP2012217054A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 印刷色管理装置、印刷色管理方法及びプログラム
JP2014099830A (ja) * 2012-11-16 2014-05-29 Canon Inc カラー画像処理装置及び画像処理方法ならびに画像処理方法を実行するプログラム
JP2015008447A (ja) * 2013-06-26 2015-01-15 株式会社リコー 画像形成装置、画像形成方法および画像形成システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004112470A (ja) * 2002-09-19 2004-04-08 Fuji Xerox Co Ltd 色調補正方法、画像処理システム、画像処理装置、プログラム、記憶媒体
JP2007214625A (ja) * 2006-02-07 2007-08-23 Fuji Xerox Co Ltd 画像処理装置
JP2012070360A (ja) * 2010-08-26 2012-04-05 Ricoh Co Ltd 制御装置、画像形成装置、及び制御方法
JP2012217054A (ja) * 2011-03-31 2012-11-08 Fujifilm Corp 印刷色管理装置、印刷色管理方法及びプログラム
JP2014099830A (ja) * 2012-11-16 2014-05-29 Canon Inc カラー画像処理装置及び画像処理方法ならびに画像処理方法を実行するプログラム
JP2015008447A (ja) * 2013-06-26 2015-01-15 株式会社リコー 画像形成装置、画像形成方法および画像形成システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020151989A (ja) * 2019-03-20 2020-09-24 株式会社リコー 画像形成装置
JP7238518B2 (ja) 2019-03-20 2023-03-14 株式会社リコー 画像形成装置
JP7500305B2 (ja) 2020-06-24 2024-06-17 キヤノン株式会社 印刷装置とその制御方法、及びプログラム

Also Published As

Publication number Publication date
JP6572568B2 (ja) 2019-09-11

Similar Documents

Publication Publication Date Title
US7505173B2 (en) System and method for spatial gray balance calibration using hybrid sensing systems
US8995011B2 (en) Calibration performed in image formation apparatus to maintain image quality
US9659242B2 (en) Apparatus that performs calibration for maintaining image quality
US8072658B2 (en) Image processing apparatus and its method
US7864373B2 (en) Method and system for toner reproduction curve linearization using least squares solution of monotone spline functions
JP6409308B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、画像処理システム
CN110426926B (zh) 图像形成装置以及存储介质
JP6947060B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10623607B2 (en) Image processing apparatus, image forming apparatus, and image processing method
US9019561B1 (en) Profiling data spacing for different halftone states using a single tone reproduction curve
JP2007049711A (ja) 色を変換する方法及び色を変換するシステム
JP6536013B2 (ja) 画像形成システム
JP2010118927A (ja) プログラム、記録媒体、画像処理装置、画像処理方法および階調補正パラメータ生成用シート
US20110116114A1 (en) Image formation apparatus and image formation method for performing color deviation correction
JP2000056525A (ja) 画像形成装置及び方法
JP4556242B2 (ja) 色調補正方法および色調補正装置並びに画像形成装置およびプログラム
JP6232775B2 (ja) 画像形成装置、画像形成方法および画像形成システム
JP6572568B2 (ja) 画像形成システム
JP2017098928A (ja) 画像形成装置及び画像形成方法
JP5107208B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7024495B2 (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
JP2021024139A (ja) 印刷装置、諧調補正装置、諧調補正プログラム及び階調補正方法
JP2010141701A (ja) 画像処理システム、画像処理方法、プログラムおよび記録媒体
JP6500549B2 (ja) 色処理装置および画像形成システム
JP2014199344A (ja) 画像形成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190729

R151 Written notification of patent or utility model registration

Ref document number: 6572568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151