JP2019129435A - 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム - Google Patents

色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム Download PDF

Info

Publication number
JP2019129435A
JP2019129435A JP2018010503A JP2018010503A JP2019129435A JP 2019129435 A JP2019129435 A JP 2019129435A JP 2018010503 A JP2018010503 A JP 2018010503A JP 2018010503 A JP2018010503 A JP 2018010503A JP 2019129435 A JP2019129435 A JP 2019129435A
Authority
JP
Japan
Prior art keywords
image data
color
color difference
display
adjusted image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018010503A
Other languages
English (en)
Other versions
JP6603736B2 (ja
Inventor
健司 山村
Kenji Yamamura
健司 山村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SANYO CYP KK
Sanyo Cyp Co Ltd
Original Assignee
SANYO CYP KK
Sanyo Cyp Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SANYO CYP KK, Sanyo Cyp Co Ltd filed Critical SANYO CYP KK
Priority to JP2018010503A priority Critical patent/JP6603736B2/ja
Priority to US16/964,968 priority patent/US11145274B2/en
Priority to PCT/JP2019/002369 priority patent/WO2019146728A1/ja
Priority to SG11202007110YA priority patent/SG11202007110YA/en
Priority to TW108102901A priority patent/TWI697872B/zh
Publication of JP2019129435A publication Critical patent/JP2019129435A/ja
Application granted granted Critical
Publication of JP6603736B2 publication Critical patent/JP6603736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/06Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using colour palettes, e.g. look-up tables
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7904Processing of colour television signals in connection with recording using intermediate digital signal processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】表示装置が表示対象物の色を高い再現性で表示するための色差調整画像データ生成方法を提供する。【解決手段】本発明による色差調整画像データ生成方法は、色信号変換テーブルCSTを生成する工程と、調整画像データADを生成する工程と、色差調整画像データCDを生成する工程とを包含する。色信号変換テーブルCSTは、色差調整画像データ生成装置10と表示装置20との間で色信号を変換するために用いられる。調整画像データADは、表示対象物Tの画像データIDにしたがって色差調整画像データ生成装置10によって表示される前記表示対象物の画像の色が表示対象物Tの色と整合するように、画像データIDを調整して生成される。色差調整画像データCDは、調整画像データADと色信号変換テーブルCSTとに基づいて生成される。【選択図】図1

Description

本発明は、色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システムに関する。
昨今、電子商取引が益々盛んになっており、取引対象者が取引対象物を直接確認することなく取引を進める機会が増加している。この場合、一般には、取引者が対象物を確認するために、表示装置に対象物を表示させて、取引が進められる。
しかしながら、表示装置によって表示される表示対象物の画像の色は、厳密には、表示対象物自体の色と異なることがあることが知られている。例えば、衣料品、靴、化粧品、装飾品等にとって色は重要な要素であるが、表示装置ではこれらの対象物の色を充分に再現できず、良好な取引を進められず問題となっていた。
また、近年、表示装置を利用した遠隔診察および遠隔治療が進められている。この場合も、患者および/または患部の色は診察および/または治療における判断の重要な要素となるが、表示装置ではこれらの対象物の色を充分に再現できなかった。
そのため、表示装置によって表示される表示対象物の画像の色が表示対象物自体の色を再現することが求められている。例えば、画像表示装置に外光センサーを取り付け、画像データにしたがって画像表示装置によって表示される画像を外光センサーで検出することにより、画像データを校正できることが知られている(特許文献1参照)。特許文献1には、外光センサー自体を校正し、表示装置によって表示される表示対象物の画像の色が表示対象物自体の色を再現している。
特開2016−61876公報
しかしながら、特許文献1の画像表示装置では、画像表示装置に外光センサーを取り付ける必要がある。このため、一般的な表示装置では、表示する表示対象物の画像の色が表示対象物自体の色を再現することが困難であった。
本発明は上記課題に鑑みてなされたものであり、その目的は、表示装置によって表示される表示対象物の画像の色を高い再現性で表示可能な色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システムを提供することにある。
本発明による色差調整画像データ生成方法は、色信号変換テーブルを生成する工程と、調整画像データを生成する工程と、色差調整画像データを生成する工程とを包含する。前記色信号変換テーブルを生成する工程において、前記色信号変換テーブルは、色差調整画像データ生成装置と表示装置との間で色信号を変換するために用いられる。前記調整画像データを生成する工程において、表示対象物の画像データにしたがって前記色差調整画像データ生成装置によって表示される前記表示対象物の画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを生成する。前記色差調整画像データを生成する工程において、前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する。
ある実施形態では、前記色差調整画像データを生成する工程において、前記色差調整画像データは、前記調整画像データと前記色信号変換テーブルとを含む。
ある実施形態では、前記色信号変換テーブルを生成する工程は、基準色信号データにしたがって前記色差調整画像データ生成装置が表示する画像の色を測定する工程と、前記基準色信号データにしたがって前記表示装置が表示する画像の色を測定する工程と、前記表示装置によって表示される画像の色が前記色差調整画像データ生成装置によって表示される画像の色と整合するように、前記色信号変換テーブルを生成する工程とを含む。
ある実施形態では、前記調整画像データを生成する工程は、前記表示対象物を撮像して前記画像データを生成する工程と、前記画像データを調整して前記調整画像データを生成する工程とを含む。
本発明による色差調整画像表示方法は、色信号変換テーブルを生成する工程と、調整画像データを生成する工程と、色差調整画像データを生成する工程と、前記表示対象物の画像を表示する工程とを包含する。前記色信号変換テーブルを生成する工程において、前記色信号変換テーブルは、色差調整画像データ生成装置と表示装置との間で色信号を変換するために用いられる。前記調整画像データを生成する工程において、表示対象物の画像データにしたがって前記色差調整画像データ生成装置によって表示される画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを生成する。前記色差調整画像データを生成する工程において、前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する。前記表示対象物の画像を表示する工程において、前記表示装置が前記色差調整画像データに基づいて前記表示対象物の画像を表示する。
ある実施形態では、前記色差調整画像表示方法は、前記表示対象物を表示する工程の前に、前記表示装置の表示画面を設定する工程をさらに包含する。
ある実施形態では、前記表示装置の表示画面を設定する工程は、前記表示装置は、前記色信号変換テーブルを生成する際の前記表示装置の表示画面と同じ表示画面に設定される。
本発明による色差調整画像データ生成装置は、記憶部と、表示部と、制御部とを備える。前記制御部は前記表示部を制御する。前記記憶部は、表示対象物の画像データ、および、色差調整画像データ生成装置と表示装置との間の色信号変換を行うための色信号変換テーブルを記憶する。前記記憶部は、前記画像データにしたがって前記表示部によって表示される前記表示対象物の画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを記憶する。前記制御部は、前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する。
本発明による色差調整画像表示システムは、色差調整画像データ生成装置と、表示装置とを備える。前記色差調整画像データ生成装置は、表示対象物の画像データ、および、前記色差調整画像データ生成装置と前記表示装置との間の色信号変換を行うための色信号変換テーブルを記憶する。前記色差調整画像データ生成装置は、前記画像データにしたがって前記色差調整画像データ生成装置によって表示される前記表示対象物の画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを生成する。前記色差調整画像データ生成装置は、前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する。前記表示装置は、前記色差調整画像データに基づいて前記表示対象物の画像を表示する。
本発明によれば、表示装置が表示対象物の色を高い再現性で表示できる。
本発明による色差調整画像表示システムの実施形態の模式図である。 図1に示した色差調整画像表示システムの実行する色差調整画像表示方法を示すフローチャートである。 本実施形態の色差調整画像表示システムの模式図である。 本実施形態の色差調整画像表示システムの模式図である。 図1に示した色差調整画像表示システムの実行する色差調整画像表示方法を示すフローチャートである。 図5に示したフローチャートにおいて本実施形態の色差調整画像表示システムの表示装置に表示される表示設定画面を示す模式図である。
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図中、同一または相当部分には同一の参照符号を付して説明を繰り返さない。
以下、図1を参照して、本発明による色差調整画像データ生成装置10および色差調整画像表示システム100の実施形態を説明する。図1は、本実施形態の色差調整画像表示システム100を示す模式図である。色差調整画像表示システム100は、色差調整画像データ生成装置10と、表示装置20とを備える。
色差調整画像データ生成装置10は色差調整画像データCDを生成する。色差調整画像データ生成装置10は、表示対象物Tの画像データIDから表示対象物Tの色差調整画像データCDを生成する。色差調整画像データCDは、表示装置20が表示対象物Tの色を再現して表示できるように調整されている。
表示装置20は、色差調整画像データCDに基づいて表示対象物Tの画像CSを表示する。表示装置20は、色差調整画像データCDにしたがって表示対象物Tの色を再現した画像CSを表示できる。
色差調整画像データ生成装置10は、制御部12と、記憶部14と、表示部16と、入力部18とを備える。制御部12は表示部16を制御する。
制御部12は、プロセッサーを含む。プロセッサーは、例えば、中央処理演算機(Central Processing Unit:CPU)を有する。または、プロセッサーは汎用演算機を有してもよい。
記憶部14は、画像データIDおよびコンピュータープログラムを記憶する。記憶部14は、また、後述の色信号変換テーブルCSTを記憶する。記憶部14は、主記憶装置と、補助記憶装置とを含む。主記憶装置は、例えば、半導体メモリーである。補助記憶装置は、例えば、半導体メモリーおよび/またはハードディスクドライブである。記憶部14はリムーバブルメディアを含んでいてもよい。画像データIDは色信号を含む。例えば、色信号はRGBで表記される。制御部12は、記憶部14の記憶しているコンピュータープログラムを実行して、本実施形態の色差調整画像データ生成方法を実行する。
表示部16は画像を表示する。制御部12は、表示部16が記憶部14に記憶された画像データIDにしたがって画像を表示するように表示部16を制御する。
入力部18は、記憶部14に記憶された画像データIDを調整するための情報を入力する。ユーザーは、入力部18を介して、画像データIDを調整するための情報を入力できる。記憶部14は、画像データIDを調整することによって生成した調整画像データADを記憶する。表示部16は、調整画像データADにしたがって画像を表示する。入力部18は、表示部16と一体的に設けられたタッチセンサーであってもよい。
色差調整画像データ生成装置10は通信部19をさらに備えることが好ましい。通信部19は、表示装置20との間でデータを送信および/または受信する。
表示装置20は、制御部22と、記憶部24と、表示部26とを備える。制御部22は、表示部26を制御する。記憶部24には、ブラウザーアプリケーションがインストールされている。例えば、ブラウザーアプリケーションは、「GOOGLE CHROME(登録商標)」または「Safari」である。
制御部22はプロセッサーを含む。プロセッサーは、例えば、中央処理演算機(Central Processing Unit:CPU)を有する。または、プロセッサーは汎用演算機を有してもよい。
記憶部24は画像データを記憶する。記憶部24は、主記憶装置と、補助記憶装置とを含む。主記憶装置は、例えば、半導体メモリーである。補助記憶装置は、例えば、半導体メモリーおよび/またはハードディスクドライブである。記憶部24はリムーバブルメディアを含んでいてもよい。画像データは色信号を含む。例えば、色信号はRGBで表記される。
表示部26は画像を表示する。制御部22は、表示部26が記憶部24に記憶された画像データにしたがって画像を表示するように表示部26を制御する。例えば、制御部22は、表示部26がブラウザーアプリケーションの表示画面を表示するように表示部26を制御する。
表示装置20は通信部29をさらに備えることが好ましい。通信部29は、色差調整画像データ生成装置10の通信部19との間でデータを送信および/または受信する。あるいは、通信部29は、外部のサーバーとの間でデータを送信および/または受信する。
表示部16は、記憶部14に記憶された画像データIDにしたがって表示対象物Tの画像を表示する。表示部16は、記憶部14に記憶された画像データIDを調整することなく画像データIDにしたがって表示対象物Tの画像を表示する。
例えば、画像データIDは、表示対象物Tを撮像することで生成される。画像データIDは、市販の撮像装置で表示対象物Tを撮像することによって生成される。撮像装置は、デジタルビデオカメラであってもよいし、撮像機能を有するスマートフォン、携帯電話またはタブレットであってもよい。
なお、表示部16が、画像データIDを調整することなく画像データIDにしたがって画像を表示すると、表示部16によって表示される画像の色は表示対象物Tの色とは異なる。また、表示装置20が、画像データIDを調整することなく画像データIDにしたがって画像を表示すると、表示装置20によって表示される画像の色は表示対象物Tの色とは異なる。
色差調整画像データ生成装置10は、表示対象物Tの画像データIDから表示対象物Tの調整画像データADを生成する。調整画像データADは色信号を含む。調整画像データADの色信号はRGBで表される。調整画像データADは、画像データIDを調整することによって生成される。
例えば、ユーザーは、表示部16が画像データIDにしたがって表示する画像を確認しながら、画像データIDの色信号の値を変更する。例えば、ユーザーは、入力部18を介して色信号の値を変更する。画像データIDの調整は、画像データIDにしたがって表示部16によって表示される表示対象物Tの画像の色が実際の表示対象物Tの色を再現するまで行われる。なお、本明細書において、表示部16によって表示される画像の色が表示対象物Tの色を再現するまで調整された画像データIDを調整画像データADと記載することがある。調整画像データADは、表示部16が表示対象物Tの色を校正した状態で表示できるように画像データIDを調整したものである。このため、表示部16は、調整画像データADに基づき、表示対象物Tの色を再現して表示できる。以上により、実際の表示対象物Tの色は、調整画像データADにしたがって表示部16によって表示される表示対象物Tの画像で再現される。
また、典型的には、同じ画像データにしたがう場合でも、表示装置20の表示部26によって表示される画像の色は色差調整画像データ生成装置10の表示部16によって表示される画像の色とは異なる。例えば、表示装置20が、記憶部24に記憶された画像データを変換することなく画像を表示すると、表示装置20の表示部26によって表示される画像の色は色差調整画像データ生成装置10の表示部16によって表示される画像の色とは異なることになる。
このため、表示装置20は、色信号変換テーブルCSTを用いて、色差調整画像データ生成装置10と表示装置20との間の色信号を変換する。記憶部14は、色信号変換テーブルCSTを記憶する。色信号変換テーブルCSTにより、色差調整画像データ生成装置10の色信号によって表される色を表示装置20の色信号によって表される色で再現できる。表示装置20が、記憶部14に記憶された画像データを色信号変換テーブルCSTにしたがって色信号を変換して画像を表示すると、表示装置20の表示部26によって表示される画像の色は色差調整画像データ生成装置10の表示部16によって表示される画像の色を再現できる。なお、色信号変換テーブルCSTは、色差調整画像データ生成装置10と表示装置20の種類とに固有のものである。このため、表示装置として別の色特性を有する表示装置を対象とする場合、別の色信号変換テーブルを別途生成する必要がある。
色差調整画像データ生成装置10は、調整画像データADおよび色信号変換テーブルCSTに基づいて色差調整画像データCDを生成する。例えば、色差調整画像データCDは、調整画像データADおよび色信号変換テーブルCSTを含む。一例として、色信号変換テーブルCSTは、表示装置20において、色差調整画像データCDのカラープロファイルとして用いられる。色差調整画像データCDは、調整画像データADおよび色信号変換テーブルCSTを合成することによって生成される。
表示装置20は、色差調整画像データ生成装置10によって生成された色差調整画像データCDを受け取る。表示装置20は、色差調整画像データCDに基づいて表示対象物Tの画像を色校正した状態で表示できる。したがって、本実施形態の色差調整画像データ生成装置10において生成した色差調整画像データCDにより、表示装置20は、表示対象物Tの画像の色を高い再現性で表示できる。
ここで、図1および図2を参照して、本実施形態の色差調整画像データ生成装置10を用いた色差調整画像データ生成方法および色差調整画像表示方法を説明する。図2は、本実施形態の色差調整画像表示方法を示すフローチャートである。図2に示すように、本実施形態の色差調整画像表示方法は工程S202〜工程S208を含む。
まず、工程S202に示すように、色差調整画像データ生成装置10と表示装置20との間の色信号変換テーブルCSTを生成する。生成された色信号変換テーブルCSTは、色差調整画像データ生成装置10の記憶部14に記憶される。色信号変換テーブルCSTにより、色差調整画像データ生成装置10の色信号と表示装置20の色信号との変換が可能になる。
例えば、色差調整画像データ生成装置10および表示装置20が同じデータにしたがって表示した画像の色を測定することによって、色信号変換テーブルCSTを生成できる。一例では、色差調整画像データ生成装置10の表示部16が、複数の異なる色信号を含む基準色信号データにしたがって画像を表示し、測色器が、表示部16の表示する複数の色の属性を測定する。色の属性は、例えば、色度X、Yおよび明度Evである。同様に、表示装置20の表示部26が、複数の異なる色信号を含む基準色信号データにしたがって画像を表示し、測色器が、表示部26の表示する複数の色の属性を測定する。なお、表示装置20の表示部26によって表示される基準色信号データは、表示部16によって表示される基準色信号データと同じである。
同一の基準色信号データにしたがって表示する場合でも、表示部16によって表示される色は表示装置20の表示部26によって表示される色とは異なる。例えば、基準色信号データ色信号が(R,G,B)=(255,0,0)である場合、表示部16によって表示される色の明度および色度は(Ev,X,Y)=(15.0,0.55,0.30)であり、表示部26によって表示される色の明度および色度は(Ev,X,Y)=(15.0,0.60,0.30)であるとする。また、基準色信号データのある色信号が(R,G,B)=(240,0,0)である場合、表示部16によって表示される色の明度および色度は(Ev,X,Y)=(15.0,0.50,0.30)であり、表示部26によって表示される色の明度および色度は(Ev,X,Y)=(15.0,0.55,0.30)であるとする。
この場合、表示部16における色信号は(R,G,B)=(255,0,0)であり、表示部26における色信号は(R,G,B)=(240,0,0)であれば、表示部16および表示部26はそれぞれ同じ明度および色度(Ev,X,Y)=(15.0,0.55,0.30)の色を表示できる。したがって、色差調整画像データ生成装置10における色信号(R,G,B)=(255,0,0)は表示装置20における色信号(R,G,B)=(240,0,0)に相当することになる。この場合、色信号変換テーブルCSTは、色差調整画像データ生成装置10における色信号(R,G,B)=(255,0,0)を表示装置20における色信号(R,G,B)=(240,0,0)に変換する旨のテーブルを有する。
同様に、基準色信号データのある色信号が(R,G,B)=(0,255,0)である場合、表示部16によって表示される色の明度および色度は(Ev,X,Y)=(22.0,0.15,0.65)であり、表示部26によって表示される色の明度および色度は(Ev,X,Y)=(22.0,0.15,0.70)であるとする。また、基準色信号データの別の色信号が(R,G,B)=(0,240,0)である場合、表示部16によって表示される色の明度および色度は(Ev,X,Y)=(22.0,0.15,0.60)であり、表示部26によって表示される色の明度および色度は(Ev,X,Y)=(22.0,0.15,0.65)であるとする。
この場合、表示部16における色信号は(R,G,B)=(0,255,0)であり、表示部26における色信号は(R,G,B)=(0,240,0)であれば、表示部16および表示部26はそれぞれ同じ明度および色度(Ev,X,Y)=(22.0,0.15,0.65)の色を表示できる。したがって、色差調整画像データ生成装置10における色信号(R,G,B)=(0,255,0)は表示装置20における色信号(R,G,B)=(0,240,0)に相当することになる。この場合、色信号変換テーブルCSTは、色差調整画像データ生成装置10における色信号(R,G,B)=(0,255,0)を表示装置20における色信号(R,G,B)=(0,240,0)に変換する旨のテーブルを有する。
なお、上述の数値は本実施形態の理解を容易にするための例示であり、実際の値ではないことに留意されたい。また、上述の説明では、表示装置20におけるある色信号に対応する画像の明度および色度が色差調整画像データ生成装置10における別の色信号に対応する画像の明度および色度と等しかったが、本発明はこれに限定されない。表示装置20におけるある色信号に対応する画像の明度および色度が色差調整画像データ生成装置10における別の色信号に対応する画像の明度および色度と近ければよい。
例えば、表示装置20におけるある色信号に対応する画像の色と色差調整画像データ生成装置10における別の色信号に対応する色との間の色差ΔEは6.0以下であることが好ましく、4.5以下であることがさらに好ましく、3.0以下であることがさらに好ましい。あるいは、色差ΔEは1.5以下であることがさらに好ましい。なお、ΔE={(ΔL*2+(Δa*2+(Δb*21/2で表され、L*=116×f(Y/Yn)−16、a*=500×[f(X/Xn)−f(Y/Yn)]、b*=200×[f(Y/Yn)−f(Z/Zn)]であり、t>(6/29)3のときf(t)=t1/3であり、上記以外のときf(t)=[(29/3)3×t+16]/116である。また、Xn、Yn、ZnはホワイトポイントのCIE XYZでの三刺激値である。
以上のように、色差調整画像データ生成装置10における基準色信号データの色信号に対応する画像の色と表示装置20における基準色信号データの色信号に対応する画像の色との比較により、色信号変換テーブルCSTを生成できる。なお、色差調整画像データ生成装置10および表示装置20のそれぞれにおける画像データの色信号のすべての色を測定しなくてもよい。測定の対象となる色信号は互いに異なる約1000色に対応するものであればよい。
例えば、色差調整画像データ生成装置10の記憶部14には異なる色を示す複数の色信号を有する基準色信号データが記憶されている場合、色差調整画像データ生成装置10の表示部16が基準色信号データにしたがって異なる色を表示する一方で、色差調整画像データ生成装置10の通信部19は表示装置20に基準色信号データを送信してもよい。この場合、表示装置20の表示部26が基準色信号データにしたがって異なる色を表示する。測色器は、色差調整画像データ生成装置10の表示部16および表示装置20の表示部26によって表示される画像の色を測定することにより、測定結果に基づいて、色差調整画像データ生成装置10と表示装置20との間の色信号変換テーブルCSTを生成できる。
なお、色信号変換テーブルCSTを生成する際の表示装置20の表示画面は、色信号を除いて一定に設定されることが好ましい。表示装置20の表示画面一定に設定することにより、色信号を除いた表示装置20における色の影響を抑制できる。また、色信号変換テーブルCSTを生成する際の表示装置20の表示画面は明るさを最大に設定することが好ましい。
次に、工程S204に示すように、画像データIDを調整した調整画像データADを生成する。色差調整画像データ生成装置10において、画像データIDを調整した調整画像データADが生成される。
画像データIDは、表示部16の記憶部14に記憶される。画像データIDは表示対象物Tを撮像装置で撮像したものである。色差調整画像データ生成装置10において、表示部16が表示対象物Tの画像データIDに従った画像を表示するように制御部12は表示部16を制御する。画像データIDは表示対象物Tを撮像したものであるが、表示部16によって画像データIDにしたがって表示される画像の色は表示対象物T自体の色を再現したものとはいえない。しかしながら、表示部16によって表示される画像の色を表示対象物Tの実際の色に近づけるように画像データIDを調整した調整画像データADを生成することで、表示部16が表示対象物Tの色を再現した画像を表示できる。
画像データIDおよび調整画像データADは色信号を含む。例えば、画像データIDおよび調整画像データADの色信号のそれぞれはRGBで表記される。なお、調整画像データADは、画像データIDを調整しており、RGBの値の点で異なる。
画像データIDの調整は人間によって行われてもよい。あるいは、画像データIDの調整は機械的に行われてもよい。例えば、測色計が表示対象物Tの色を測定する一方で、画像データIDを調整しつつ、測色計は、調整した画像データIDにしたがって画像を表示する表示部16を測色し、表示部16の測色結果が表示対象物Tの測色結果に近づくまで、画像データIDの調整を続ける。これにより、画像データIDを調整した調整画像データADを生成してもよい。
次に、工程S206に示すように、調整画像データADと色信号変換テーブルCSTとに基づいて色差調整画像データCDを生成する。色差調整画像データCDの生成は、色差調整画像データ生成装置10において行われる。例えば、色差調整画像データCDは、調整画像データADと色信号変換テーブルCSTとを合成することによって生成される。
例えば、色差調整画像データ生成装置10の通信部19が色差調整画像データCDを表示装置20に送信してもよい。あるいは、ユーザーが色差調整画像データ生成装置10に記憶された色差調整画像データCDを搬送用記憶素子に記憶させ、ユーザーが搬送用記憶素子を介して色差調整画像データCDを表示装置20に搬送してもよい。
あるいは、生成された色差調整画像データCDは、例えば、インターネットでアクセス可能なサーバーにアップロードされてもよい。例えば、ユーザーは、色差調整画像データCDをインターネット上でアクセス可能なサーバーにアップロードする。この場合、サーバーに色差調整画像データCDをアップロードするユーザーは、色差調整画像データCDを生成したユーザーと同じでなくてもよい。例えば、色差調整画像データCDをサーバーにアップロードするユーザーは、色差調整画像データCDを生成した人間、組織または機関と異なってもよい。
次に、工程S208に示すように、表示装置20は色差調整画像データCDに基づいて表示対象物Tの画像CSを表示する。表示装置20は、色差調整画像データCDにしたがって表示対象物Tの画像CSを表示する。詳細には、表示装置20は、色差調整画像データCDの調整画像データADの色信号を色差調整画像データCDの色信号変換テーブルCSTにしたがって変換して表示対象物Tの画像CSを表示する。なお、色差調整画像データCDにしたがって表示対象物Tの画像を表示するユーザーは、色差調整画像データCDをサーバーにアップロードした人間、組織または機関と異なってもよい。以上のようにして、本実施形態の色差調整画像表示方法は実行される。
なお、図1および図2を参照した上述の説明では、1つの表示装置20が1つの表示対象物Tの画像を表示するように色を校正して表示したが、本発明はこれに限定されない。
色差調整画像データCDは、インターネット上でアクセス可能なサーバーにアップロードされることで、不特定多数の第三者の表示装置20に閲覧可能となってもよい。ただし、不特定多数の第三者の表示装置20は、色信号変換テーブルCSTの生成の対象となった表示装置20と同じ機種または同じ色特性を有していることが好ましい。
図3に示すように、表示装置20が別の表示対象物T1の色を校正して表示対象物T1の画像を表示する場合、色差調整画像データ生成装置10と表示装置20との間の色信号を変換する色信号変換テーブルCSTをそのまま適用できる。例えば、色差調整画像データ生成装置10は、表示対象物T1の画像データID1を調整した調整画像データAD1を生成し、調整画像データAD1と色信号変換テーブルCSTに基づいて色差調整画像データCD1を生成する。この場合、色差調整画像データ生成装置10と表示装置20との間の色信号を変換する色信号変換テーブルCSTは、表示装置20または表示装置20と同じ色特性を有する同種の表示装置に対して適用可能である。
また、図1および図2を参照した上述の説明では、1つの表示装置20が1つの表示対象物Tの画像を表示するように色を校正して表示したが、本発明はこれに限定されない。図4に示すように、別の表示装置20Aが表示対象物Tの色を校正して表示対象物Tの画像を表示する場合、調整画像データADは、同じ表示対象物Tの画像データIDに対して適用可能である。
例えば、表示装置20Aが色信号変換テーブルCSTに対応する表示装置20とは色特性の異なる場合、表示装置20Aが表示対象物Tの色を校正して表示対象物Tの画像を表示するために、色差調整画像データ生成装置10と表示装置20Aとの間の色信号変換に対応する色信号変換テーブルCSTAを生成する。この場合、色差調整画像データ生成装置10は、調整画像データADと色信号変換テーブルCSTAに基づいて色差調整画像データCDAを生成すればよい。このように、調整画像データADは、色差調整画像データ生成装置10で表示対象物Tの画像データIDを調整したものを適用可能である。
なお、色信号変換テーブルCSTは、表示装置20自体または表示装置20と同じ色特性を有する同種の表示装置に対して適用可能である。例えば、色信号変換テーブルCSTが色差調整画像データ生成装置10の色信号と表示装置20としてのアイフォン(登録商標)の色信号との変換を示す場合、色差調整画像データCDのアップロードされたサーバーは、アイフォンからアクセスされると、色差調整画像データCDに従った画像CSをアイフォンに表示させることができる。一方で、アンドロイド(登録商標)の表示装置からアクセスされると、色差調整画像データCDに従った画像CSを表示させることができない。この場合、アンドロイドの表示装置からアクセスされると、サーバーは、調整画像データADに従った画像を表示させる。
このように、例えば、色差調整画像データCDのアップロードされたサーバーは、表示装置20自体または表示装置20と同じ色特性を有する同種の表示装置からアクセスされた場合には、表示装置20自体または表示装置20と同じ色特性を有する同種の表示装置に色差調整画像データCDに従った画像CSを表示させることができる。一方、色差調整画像データCDのアップロードされたサーバーは、表示装置20自体または表示装置20と同じ色特性を有する同種の表示装置以外の表示装置からアクセスされた場合には、色差調整画像データCDに従った画像CSを表示させることはできない。このため、サーバーに表示装置からアクセスがあった場合には、調整画像データADにしたがった画像を表示させることができる。
なお、表示装置20が色差調整画像データCDにしたがって表示対象物Tの画像CSを表示する際に、表示装置20の表示画面の設定に応じて、色差調整画像データCDにしたがう画像CSの見え方が異なることがある。例えば、表示装置20の表示設定において明度が異なる場合、色差調整画像データCDにしたがう画像CSの見え方が異なることがある。このため、表示装置20は、色差調整画像データCDにしたがう画像CSを同じ明度で表示することが好ましい。
次に、図1および図5を参照して、図1に示した色差調整画像データ生成装置10を用いた色差調整画像表示方法を説明する。図5は、本実施形態の色差調整画像表示方法を示すフローチャートである。図5に示すように、本実施形態の色差調整画像表示方法は工程S502〜工程S508を含む。なお、図5に示すフローチャートは、工程S507に、表示装置20の表示画面を設定する工程が追加された点を除き、図2を参照して上述したフローチャートと同様である。このため、冗長を避ける目的で重複する記載を省略する。
本実施形態の色差調整画像表示方法において、工程S502〜工程S506は、図2を参照して上述した工程S202〜工程S206と同様である。工程S502に示すように、色信号変換テーブルCSTを生成し、工程S504に示すように、調整画像データADを生成する。その後、工程S506に示すように、色差調整画像データCDを生成する。
本実施形態の色差調整画像表示方法では、工程S508において、色差調整画像データCDにしたがって表示対象物Tの画像を表示する前に、工程S507において表示部26の表示画面を設定する。表示画面の設定は、ユーザーが表示装置20に表示対象物Tの画像を表示することを要求した後に、ユーザーによって行われてもよい。例えば、ユーザーが、表示装置20が表示対象物Tの画像を表示することを要求した後、表示装置20が表示対象物Tの画像を表示する前に、表示装置20は、表示対象物Tの表示画面を設定するための画面を表示してもよい。
表示画面の設定は、表示装置20の明るさを設定するための画面であることが好ましい。例えば、表示装置20は、表示装置20の明るさを最大に設定するようユーザーに要求してもよい。
図6は、表示装置20の明るさを調整するように表示装置20のユーザーに警告する画面を示す。表示装置20が、色差調整画像データCDにアクセスする場合、表示装置20は、表示装置20のユーザーに警告する画面を表示することが好ましい。なお、工程S507において設定される表示画面は、色信号変換テーブルCSTの生成時に、表示装置20が基準色信号データを表示した表示画面の表示設定と同じあることが好ましい。
あるいは、表示装置20は、サーバーに記憶された色差調整画像データCDにしたがって画像CSを表示する場合、表示装置20の明るさを自動調整してもよい。以上のように、色差調整画像データCDにしたがって表示対象物Tの画像CSを表示する前に、表示装置20の表示画面の設定が行われる。
その後、工程S508において、色差調整画像データCDにしたがって表示対象物Tの画像CSを表示する。このとき、表示装置20において表示される表示対象物Tの画像CSは、工程S507において設定された表示画面にしたがって表示される。このため、表示装置20において表示される表示対象物Tの画像CSの色は、表示対象物Tの色を再現できる。
以上、図面(図1〜図6)を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示されている複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、または、ある実施形態に示される全構成要素いくつかの構成要素を実施形態から削除してもよい。
また、図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。
本発明によれば、表示装置によって表示される画像の色が表示対象物の色を再現するように表示装置によって表示される画像の色を校正できる。
10 色差調整画像データ生成装置
12 制御部
14 記憶部
16 表示部
18 入力部
20 表示装置
22 制御部
24 記憶部
26 表示部
100 色差調整画像表示システム

Claims (9)

  1. 色差調整画像データ生成装置と表示装置との間で色信号を変換するための色信号変換テーブルを生成する工程と、
    表示対象物の画像データにしたがって前記色差調整画像データ生成装置によって表示される前記表示対象物の画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを生成する工程と、
    前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する工程と
    を包含する、色差調整画像データ生成方法。
  2. 前記色差調整画像データを生成する工程において、前記色差調整画像データは、前記調整画像データと前記色信号変換テーブルとを含む、請求項1に記載の色差調整画像データ生成方法。
  3. 前記色信号変換テーブルを生成する工程は、
    基準色信号データにしたがって前記色差調整画像データ生成装置が表示する画像の色を測定する工程と、
    前記基準色信号データにしたがって前記表示装置が表示する画像の色を測定する工程と、
    前記表示装置によって表示される画像の色が前記色差調整画像データ生成装置によって表示される画像の色と整合するように、前記色信号変換テーブルを生成する工程と
    を含む、請求項1または2に記載の色差調整画像データ生成方法。
  4. 前記調整画像データを生成する工程は、
    前記表示対象物を撮像して前記画像データを生成する工程と、
    前記画像データを調整して前記調整画像データを生成する工程と
    を含む、請求項1から3のいずれかに記載の色差調整画像データ生成方法。
  5. 色差調整画像データ生成装置と表示装置との間で色信号を変換するための色信号変換テーブルを生成する工程と、
    表示対象物の画像データにしたがって前記色差調整画像データ生成装置によって表示される画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを生成する工程と、
    前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する工程と、
    前記表示装置が前記色差調整画像データに基づいて前記表示対象物の画像を表示する工程と
    を包含する、色差調整画像表示方法。
  6. 前記表示対象物を表示する工程の前に、前記表示装置の表示画面を設定する工程をさらに包含する、請求項5に記載の色差調整画像表示方法。
  7. 前記表示装置の表示画面を設定する工程は、前記表示装置は、前記色信号変換テーブルを生成する際の前記表示装置の表示画面と同じ表示画面に設定される、請求項6に記載の色差調整画像表示方法。
  8. 記憶部と、
    表示部と、
    前記表示部を制御する制御部と
    を備え、
    前記記憶部は、表示対象物の画像データ、および、色差調整画像データ生成装置と表示装置との間の色信号変換を行うための色信号変換テーブルを記憶し、
    前記記憶部は、前記画像データにしたがって前記表示部によって表示される前記表示対象物の画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを記憶し、
    前記制御部は、前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成する、色差調整画像データ生成装置。
  9. 色差調整画像データ生成装置と、
    表示装置と
    を備え、
    前記色差調整画像データ生成装置は、表示対象物の画像データ、および、前記色差調整画像データ生成装置と前記表示装置との間の色信号変換を行うための色信号変換テーブルを記憶し、
    前記色差調整画像データ生成装置は、前記画像データにしたがって前記色差調整画像データ生成装置によって表示される前記表示対象物の画像の色が前記表示対象物の色と整合するように、前記画像データを調整した調整画像データを生成し、
    前記色差調整画像データ生成装置は、前記調整画像データと前記色信号変換テーブルとに基づいて色差調整画像データを生成し、
    前記表示装置は、前記色差調整画像データに基づいて前記表示対象物の画像を表示する、色差調整画像表示システム。
JP2018010503A 2018-01-25 2018-01-25 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム Active JP6603736B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018010503A JP6603736B2 (ja) 2018-01-25 2018-01-25 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム
US16/964,968 US11145274B2 (en) 2018-01-25 2019-01-24 Color difference adjustment image data generation method, color difference adjustment image display method, color difference adjustment image data generating device, and color difference adjustment image display system
PCT/JP2019/002369 WO2019146728A1 (ja) 2018-01-25 2019-01-24 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム
SG11202007110YA SG11202007110YA (en) 2018-01-25 2019-01-24 Color difference adjustment image data generation method, color difference adjustment image display method, color difference adjustment image data generating device, and color difference adjustment image display system
TW108102901A TWI697872B (zh) 2018-01-25 2019-01-25 色差調整影像資料生成方法、色差調整影像顯示方法、色差調整影像資料生成裝置及色差調整影像顯示系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018010503A JP6603736B2 (ja) 2018-01-25 2018-01-25 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム

Publications (2)

Publication Number Publication Date
JP2019129435A true JP2019129435A (ja) 2019-08-01
JP6603736B2 JP6603736B2 (ja) 2019-11-06

Family

ID=67394951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018010503A Active JP6603736B2 (ja) 2018-01-25 2018-01-25 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム

Country Status (5)

Country Link
US (1) US11145274B2 (ja)
JP (1) JP6603736B2 (ja)
SG (1) SG11202007110YA (ja)
TW (1) TWI697872B (ja)
WO (1) WO2019146728A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166254A1 (ja) * 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、プログラム、および方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756581B (zh) * 2019-11-06 2022-03-01 瑞昱半導體股份有限公司 面板色溫匹配校正方法與系統
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术(北京)有限公司 宠物模型的显示方法、装置、设备以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69324899T2 (de) 1992-12-15 1999-10-21 Du Pont Farbangleichungsverfahren und -Gerät
JP4002006B2 (ja) * 1998-06-29 2007-10-31 日本電信電話株式会社 色校正装置、色校正方法、および色校正プログラムを記録した記録媒体
US6956580B2 (en) 2001-05-29 2005-10-18 Kodak Polychrome Graphics, Llc Color display device with integrated color matching processor
EP2720015A4 (en) * 2011-06-07 2015-03-18 Prosper Creative Co Ltd MEASURING DEVICE, MEASURING SYSTEM, MEASURING POSITIONING APPARATUS, AND MEASURING POSITIONALIZATION PROGRAM
JP2016061876A (ja) 2014-09-17 2016-04-25 キヤノン株式会社 画像表示装置、校正装置、導光部材、画像表示装置の制御方法、校正装置の制御方法、及び、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166254A1 (ja) * 2020-02-21 2021-08-26 ソニーグループ株式会社 情報処理装置、プログラム、および方法

Also Published As

Publication number Publication date
WO2019146728A1 (ja) 2019-08-01
US11145274B2 (en) 2021-10-12
TW201933282A (zh) 2019-08-16
JP6603736B2 (ja) 2019-11-06
SG11202007110YA (en) 2020-08-28
US20210043160A1 (en) 2021-02-11
TWI697872B (zh) 2020-07-01

Similar Documents

Publication Publication Date Title
WO2016107268A1 (zh) 色彩调整方法及装置
WO2019146728A1 (ja) 色差調整画像データ生成方法、色差調整画像表示方法、色差調整画像データ生成装置および色差調整画像表示システム
JP2021529405A (ja) ビデオ信号処理方法及び装置
EP1079605A2 (en) Color reproduction terminal apparatus, network color reproduction system, and color reproduction method
US10354124B2 (en) Electronic apparatus and controlling method for improve the image quality preference of skin area
WO2020083221A1 (zh) 色域匹配方法、装置、显示终端及可读存储介质
JP2007208629A (ja) ディスプレイのキャリブレーション方法、制御装置及びキャリブレーションプログラム
JP2014022998A5 (ja)
US11356633B2 (en) Video signal processing apparatus, video signal processing method, and video signal processing system
JP2015066262A (ja) 画像処理装置、画像処理システム、及び画像処理方法
CN109683315B (zh) 头戴式显示装置及其控制亮度方法
CN112750086A (zh) 一种图像处理方法、装置、电子设备及存储介质
US8390700B2 (en) Imaging apparatus with colorimetric sensor
JP2016178459A (ja) 色変換情報生成装置及びプログラム
WO2016041144A1 (zh) 一种图像处理的方法及装置
JP7082379B2 (ja) 調整画像データ生成装置、色差調整画像表示システム、色差調整画像データ生成方法、色差調整画像データ生成プログラムおよび色差調整画像表示方法
JP5504188B2 (ja) 測定システム、表示装置、測定装置、補正装置及び測定方法
JP2010066352A (ja) 測定装置、補正データ生成装置、測定方法、補正データ生成方法、および補正データ生成プログラム
TW201110107A (en) Color management circuit and related color management method
JP6833304B2 (ja) 測定方法、測定システム、表示装置、コンピュータプログラム
JP2019149106A (ja) 画像処理装置、画像処理方法およびプログラム
CN114928732B (zh) 图像色准校正方法、装置、电子设备及可读存储介质
CN115802174A (zh) 显示设备的白画面校正方法、装置、存储介质与电子设备
JP2006094137A (ja) 画像処理方法及び画像処理システム
JP2021077117A (ja) プログラム、情報処理装置、シミュレート方法及び情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191011

R150 Certificate of patent or registration of utility model

Ref document number: 6603736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250