JP2017049163A - 測色方法、測色装置、及び印刷装置 - Google Patents

測色方法、測色装置、及び印刷装置 Download PDF

Info

Publication number
JP2017049163A
JP2017049163A JP2015173663A JP2015173663A JP2017049163A JP 2017049163 A JP2017049163 A JP 2017049163A JP 2015173663 A JP2015173663 A JP 2015173663A JP 2015173663 A JP2015173663 A JP 2015173663A JP 2017049163 A JP2017049163 A JP 2017049163A
Authority
JP
Japan
Prior art keywords
color
colorimetric
pixel
image
colors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2015173663A
Other languages
English (en)
Inventor
哲男 多津田
Tetsuo Tatsuta
哲男 多津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015173663A priority Critical patent/JP2017049163A/ja
Priority to US15/249,909 priority patent/US20170070648A1/en
Publication of JP2017049163A publication Critical patent/JP2017049163A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6044Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis involving a sensor integrated in the machine or otherwise specifically adapted to read the test pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0082Image hardcopy reproducer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Ink Jet (AREA)

Abstract

【課題】高精度の測色を実施することができる測色方法、測色装置、及び印刷装置を提供する。
【解決手段】画像における測色範囲の分光測定結果を取得する分光測定結果取得ステップ(ステップS1)と、測色範囲に複数の色が含まれている場合に、複数の色のうちの第一の色に対する分光測定結果に基づいて、第一の色の測色結果を取得する測色結果取得ステップ(ステップS7)と、を実施する。
【選択図】図4

Description

本発明は、測色方法、測色装置、及び印刷装置等に関する。
従来、画像表示装置に表示された画像や印刷物等の測色対象を測色し、測色結果を取得する技術が知られている(特許文献1)。
特許文献1に記載の画像表示装置及び画像表示方法では、測色対象をマルチバンドカメラで撮像して複数の波長(バンド)のそれぞれに対応するバンド画像を含むマルチバンド画像を取得する。この取得したマルチバンド画像から1つのバンドに対応するバンド画像を表示する。そして、表示されたバンド画像から使用者によって指定された指定エリアのスペクトルを、マルチバンド画像の各バンド画像を用いて推定して表示する。
この特許文献1に記載の装置では、対象画像を撮像した際の指定エリアの各画素の信号値の平均値と、参照画像を撮像した際の指定エリアの各画素の信号値の平均値とに基づいて、当該指定エリアの指定バンドの反射率を算出する。そして、各バンドについて算出された反射率に基づいて、測色対象の指定エリアにおけるスペクトルを推定する。このようにして推定されたスペクトルを用いて色度値を算出し、測色結果を取得する。
特開2005−114531号公報
しかしながら、特許文献1に記載の装置では、指定エリアの各バンドの反射率を平均値として算出するため、当該指定エリアに複数の色が含まれる場合、複数の色に対する信号値に基づく平均値を反射率として算出することとなり、スペクトルの推定精度、すなわち測色精度が低下する。任意の測定対象の測色を実施する場合では、指定エリアに複数の色が含まれる可能性が高く、高精度の測色を実施できないという課題があった。
本発明は、高精度の測色を実施することができる測色方法、測色装置、及び印刷装置を提供することを目的とする。
本発明の一適用例に係る測色方法は、画像における測色範囲の分光測定結果を取得する分光測定結果取得ステップと、前記測色範囲に複数の色が含まれている場合に、前記複数の色のうちの第一の色に対する前記分光測定結果に基づいて、前記第一の色の測色結果を取得する測色結果取得ステップと、を含むことを特徴とする。
ここで、測色結果とは、例えば、測色範囲における色毎の分光スペクトルや、各種表色系によって数値化される測色値や、基準の画素に対する他の画素の色差等である。
また、測色範囲は、画像の少なくとも一部である。
本適用例では、画像における測色範囲の測色結果を取得する際に、測色範囲の分光測定結果を取得する。そして、当該測色範囲に複数色が含まれる場合に、複数の色のうちの第一の色に対する分光測定結果に基づいて、第一の色の測色結果を取得する。これにより、測色範囲に複数の色が含まれるにも関わらず各色を区別せずに、同一の色として、測色範囲の全画素の信号値の平均値に基づいてスペクトルを推定する従来例と比べて、高精度な測色結果を取得できる。
なお、本適用例において、分光測定結果取得ステップでは、予め取得され、記憶されている分光測定結果における測色範囲の測定結果を取得することや、測定対象における測色範囲に対応する領域の分光測定を実施し(例えば分光画像を撮像する)、分光測定結果を新たに得ることを含む。
本適用例の測色方法において、前記測色範囲に前記複数の色が含まれるか否かを判定する色数判定ステップを含むことが好ましい。
本適用例では、測色範囲に複数の色が含まれるか否かを判定する。これにより、測色範囲に複数の色が含まれているか否かの判定の結果、複数の色が含まれていると判定された場合、複数の色のうちの第一の色に関する分光測定結果を用いて当該第一の色の測色結果を取得することができる。
本適用例の測色方法において、前記分光測定結果取得ステップは、前記測色範囲に対する複数波長の分光画像を取得し、前記色数判定ステップは、前記測色範囲に対する複数波長の分光画像のうち、所定波長の分光画像の各画素の輝度値に基づいて、複数の色が含まれるか否かを判定することが好ましい。
本適用例では、取得した分光画像の各画素の輝度値に基づいて、複数の色が含まれるか否かを判定する。すなわち、所定波長(例えば、赤、緑、青等の三色に相当する三つの波長)について、各画素の輝度値を用いることにより、例えば、各画素の測色値(色度や色差等)を算出して色を比較する場合と比べて、容易に複数の色が含まれるか否かを判定できる。また、複数の色を含むか否かの判定による処理負荷の増大を抑制できる。
本適用例の測色方法において、前記色数判定ステップは、前記所定波長の分光画像に対し、基準画素と、前記測色範囲に含まれる比較画素との輝度値の差に基づいて、複数の色が含まれるか否かを判定することが好ましい。
本適用例では、基準画素と、測色範囲の比較画素との輝度値の差に基づいて、複数の色が含まれるか否かを判定する。このように、基準画素と比較画素との輝度値の差を用いることにより、測色範囲に含まれる画素の色が同一か否かの判定を行うことができ、測色範囲に複数の色が含まれるか否かの判定を行うことができる。
また、全比較画素について、測色値(色度や色差等)や分光スペクトル等の測色結果を算出し、算出した測色結果を比較したりする場合と比べて、複数の色を含むか否かの判定による処理負荷の増大を抑制できる。
本適用例の測色方法において、前記基準画素は、前記測色範囲に含まれる画素であり、前記色数判定ステップは、前記基準画素と前記比較画素との差が閾値を超える場合に、前記基準画素と前記比較画素との色が異なると判定することが好ましい。
本適用例では、基準画素として測色範囲に含まれる画素を用い、基準画素と比較画素との差が閾値を超える場合に、基準画素と比較画素との色が異なると判定する。このように、基準画素と比較画素との輝度値の差を算出し、閾値と比較することにより、基準画素と比較画素とで色が同一か否かの判定を容易に行うことができる。
また、基準画素と比較画素との色が同一か否かの判定を実施し、異なると判定された比較画素があった時点で、測色範囲に複数の色が含まれるとの判定を行うことができる。
本適用例の測色方法において、前記分光測定結果取得ステップは、複数波長の分光画像を取得し、前記色数判定ステップは、前記複数波長の分光画像のうちの第一の波長の分光画像の第一の画素の輝度値、前記第一の波長の分光画像の第二の画素の輝度値、前記複数波長の分光画像のうちの第二の波長の分光画像の前記第一の画素の輝度値、及び、前記第二の波長の分光画像の前記第二の画素の輝度値に基づいて、複数の色が含まれるか否かを判定することが好ましい。
本適用例では、取得した分光画像のうちの第一の波長の分光画像の第一の画素の輝度値、及び、第一の波長の分光画像の第二の画素の輝度値、並びに、第二の波長の分光画像の第一の画素の輝度値、及び、第二の波長の分光画像の第二の画素の輝度値に基づいて、複数の色が含まれるか否かを判定する。例えば、第一の画素と第二の画素との各画素について、第一の波長の輝度値と、第二の波長の輝度値とを比較して、異なる場合にこれら各画素が異なる色に対応する画素であると判定できる。このように、各画素の第一及び第二の波長における輝度値に基づいて、色が異なるか否かを判定することにより、例えば、各画素の測色値(色度や色差等)を算出して色を比較する場合と比べて、容易に複数の色が含まれるか否かを判定できる。また、複数の色を含むか否かの判定による処理負荷の増大を抑制できる。
本適用例の測色方法において、対象に対する複数波長の分光画像を取得する分光画像取得ステップと、前記複数波長の分光画像を合成して前記画像としてカラー画像を生成するカラー画像生成ステップと、を含むことが好ましい。
本適用例によれば、複数波長の分光画像を取得し、取得した分光画像を合成してカラー画像を生成する。このように、対象を撮像して得られた複数波長の分光画像から、カラー画像を生成することができる。したがって、生成されたカラー画像を、表示手段に表示させ、使用者に参照させながら、測色範囲を選択させる等の処理を実施することができ、操作性を向上させることができる。
本適用例の測色方法において、前記測色結果取得ステップは、前記測色範囲における前記第一の色の測色結果を平均値として取得することが好ましい。
本適用例では、測色範囲における第一の色の測色結果を平均値として取得する。このような構成では、画素毎に測色結果を取得する場合と比べて、ノイズの影響を抑制でき、測色結果をより高精度に取得することができる。
本適用例の測色方法において、前記測色結果取得ステップは、前記測色範囲に複数の色が含まれる場合に、前記複数の色の各々の測色結果と、前記測色範囲における占有率と、を取得することが好ましい。
本適用例では、測色範囲に複数の色が含まれる場合に、各色の測色結果と、測色範囲における占有率を取得する。このような構成では、各色の測色結果とともに占有率を取得するため、例えば、測色結果を表示部等に出力する際に、測色結果とともに占有率を表示させたり、占有率が高い順に測色結果に順位を付けて表示させたりできる。このように、使用者は、測色範囲の測色結果として、各色の測色結果のみならず、測色範囲を構成する色の占有率を確認することができる。
本発明の一適用例に係る測色装置は、画像における測色範囲の分光測定結果を取得し、前記測色範囲に複数の色が含まれている場合に、前記複数の色のうちの第一の色に対する前記分光測定結果に基づく測色結果を取得することを特徴とする。
本適用では、画像における測色範囲の測色結果を取得する際に、測色範囲の分光測定結果を取得する。そして、当該測色範囲に複数色が含まれる場合に、複数の色のうちの第一の色に対する分光測定結果に基づいて、第一の色の測色結果を取得する。これにより、測色範囲に複数の色が含まれるにも関わらず各色を区別せずに、同一の色として、測色範囲の全画素の信号値の平均値に基づいてスペクトルを推定する従来例と比べて、高精度な測色結果を取得できる。
本発明の一適用例に係る印刷装置は、上記適用例の測色装置と、媒体に前記対象としての画像を印刷する印刷部と、を備えることを特徴とする。
本発明の一適用例に係る印刷装置では、画像における測色範囲の測色結果を取得する際に、測色範囲の分光測定結果を取得する。そして、当該測色範囲に複数色が含まれる場合に、複数の色のうちの第一の色に対する分光測定結果に基づいて、第一の色の測色結果を取得する。これにより、測色範囲に複数の色が含まれるにも関わらず各色を区別せずに、同一の色として、測色範囲の全画素の信号値の平均値に基づいてスペクトルを推定する従来例と比べて、高精度な測色結果を取得できる。また、印刷部によって媒体に印刷された画像の測色結果を高精度に取得することができる。
本発明の第一実施形態の測色装置の概略構成を示すブロック図。 第一実施形態の波長可変干渉フィルターの概略構成を示す平面図。 図2のA−A線で切断した波長可変干渉フィルターの概略構成を示す断面図。 第一実施形態の測色装置における測色方法を示すフローチャート。 第一実施形態の測色装置における撮像画像及び当該撮像画像における測色範囲を模式的に示す図。 基準画素と比較画素との色が同一か否かの判定方法の一例を説明する図。 表示部に表示される測色結果の一例を示す図。 本発明の第二実施形態の測色装置における測色方法を示すフローチャート。 本発明の第三実施形態のプリンターの概略構成を示す外観図。 第三実施形態のプリンターの概略構成を示すブロック図。
[第一実施形態]
以下、本発明に係る第一実施形態の測色装置について、図面に基づいて説明する。
[測色装置の構成]
図1は、第一実施形態に係る測色装置の概略構成を示すブロック図である。
測色装置1は、図1に示すように、光学モジュール10と、表示部21と、操作部22と、光学モジュール10及び表示部21を制御し、かつ、当該光学モジュール10から出力された信号を処理する制御部30と、を備えている。
この測色装置1は、測定対象Xに対して光を照射し、測定対象Xで反射した測定対象光における各波長の分光画像を撮像し、撮像範囲における指定範囲の測色を行う装置である。具体的には、測色装置1は、測定対象Xの分光画像を複数波長にて取得し、複数波長の少なくともR(赤),G(緑),B(青)のそれぞれに対応する分光画像を合成したカラー画像を表示部21に表示させ、操作者の操作により指定された測定対象範囲における測色を実施する。
[光学モジュールの構成]
光学モジュール10は、光源部11と、撮像部12と、信号処理回路13と、電圧制御回路14と、光源制御回路15と、を備える。また、撮像部12は、波長可変干渉フィルター5と、撮像素子121と、を備える。
この光学モジュール10は、光源部11から照明光を測定対象Xに照射し、測定対象Xで反射された測定対象光を、入射光学系(図示略)を通して、撮像部12の波長可変干渉フィルター5に導き、波長可変干渉フィルター5を透過した光を撮像素子121で受光する。そして、撮像素子121から出力された検出信号は、信号処理回路13を介して制御部30に出力される。
[光源部の構成]
光源部11は、白色光を照射し、測定対象Xを照明する。この光源部11は、例えば赤色、緑色、及び青色の3色のLEDにより構成されている。なお、青色LEDと、青色LEDから青色光を励起光として黄色光を発光する蛍光体とを組み合わせた白色LEDや、紫LEDにより、赤色、緑色、及び青色の発光体を発光させて白色を得る白色LED等を用いてもよい。また、例えば、光源部11として、ハロゲンランプ等の他の光源を用いてもよい。
[撮像部の波長可変干渉フィルターの構成]
図2は、波長可変干渉フィルター5の概略構成を示す平面図である。図3は、図2のA−A線で切断した波長可変干渉フィルター5の概略構成を示す断面図である。
波長可変干渉フィルター5は、図2及び図3に示すように、固定基板51及び可動基板52を備えている。これらの固定基板51及び可動基板52は、それぞれ例えば各種ガラスや、水晶等により形成されており、本実施形態では、石英ガラスにより構成されるものとする。そして、これらの基板51,52は、図3に示すように、接合膜53(第一接合膜531及び第二接合膜532)により接合されることで、一体的に構成されている。具体的には、固定基板51の第一接合部513、及び可動基板52の第二接合部523が、例えばシロキサンを主成分とするプラズマ重合膜等により構成された接合膜53により接合されている。
なお、以降の説明にあたり、固定基板51又は可動基板52の基板厚み方向から見た平面視、つまり、固定基板51、接合膜53、及び可動基板52の積層方向から波長可変干渉フィルター5を見た平面視を、フィルター平面視と称する。
固定基板51には、図3に示すように、本発明の一対の反射膜の一方を構成する固定反射膜54が設けられている。また、可動基板52には、本発明の一対の反射膜の他方を構成する可動反射膜55が設けられている。これらの固定反射膜54及び可動反射膜55は、反射膜間ギャップG1を介して対向配置されている。
そして、波長可変干渉フィルター5には、反射膜54,55間のギャップG1の距離(ギャップ寸法)を調整するのに用いられる、本発明のギャップ変更部である静電アクチュエーター56が設けられている。この静電アクチュエーター56は、固定基板51に設けられた固定電極561と、可動基板52に設けられた可動電極562と、を備え、各電極561,562が対向することにより構成されている。これらの固定電極561,可動電極562は、電極間ギャップを介して対向する。ここで、これらの電極561,562は、それぞれ固定基板51及び可動基板52の基板表面に直接設けられる構成であってもよく、他の膜部材を介して設けられる構成であってもよい。
なお、本実施形態では、反射膜間ギャップG1が電極間ギャップよりも小さく形成される構成を例示するが、例えば波長可変干渉フィルター5により透過させる波長域によっては、反射膜間ギャップG1を電極間ギャップよりも大きく形成してもよい。
また、フィルター平面視において、可動基板52の一辺側(例えば、図2における辺C3−C4)は、固定基板51の辺C3´−C4´よりも外側に突出する。この可動基板52の突出部分は、固定基板51と接合されない電装部524であり、波長可変干渉フィルター5を固定基板51側から見た際に露出する面は、後述する電極パッド564P,565Pが設けられる電装面525となる。
同様に、フィルター平面視において、固定基板51の一辺側(電装部524とは反対側)は、可動基板52よりも外側に突出する。
(固定基板の構成)
固定基板51には、エッチングにより電極配置溝511及び反射膜設置部512が形成されている。この固定基板51は、可動基板52に対して厚み寸法が大きく形成されており、固定電極561及び可動電極562間に電圧を印加した際の静電引力や、固定電極561の内部応力による固定基板51の撓みはない。
電極配置溝511は、フィルター平面視で、固定基板51のフィルター中心点を中心とした環状に形成されている。反射膜設置部512は、前記平面視において、電極配置溝511の中心部から可動基板52側に突出して形成されている。この電極配置溝511の溝底面は、固定電極561が配置される電極設置面511Aとなる。また、反射膜設置部512の突出先端面は、反射膜設置面512Aとなる。
電極設置面511Aには、静電アクチュエーター56を構成する固定電極561が設けられている。この固定電極561は、電極設置面511Aのうち、後述する可動部521の可動電極562に対向する領域に設けられている。また、固定電極561上に、固定電極561及び可動電極562の間の絶縁性を確保するための絶縁膜が積層される構成としてもよい。
そして、固定基板51には、固定電極561の外周縁に接続された固定引出電極563が設けられている。この固定引出電極563は、電極配置溝511から辺C3´−C4´側(電装部524側)に向かって形成された接続電極溝(図示略)に沿って設けられている。この接続電極溝には、可動基板52側に向かって突設されたバンプ部565Aが設けられ、固定引出電極563は、バンプ部565A上まで延出する。そして、バンプ部565A上で可動基板52側に設けられた固定接続電極565に当接し、電気的に接続される。この固定接続電極565は、接続電極溝に対向する領域から電装面525まで延出し、電装面525において固定電極パッド565Pを構成する。
なお、本実施形態では、電極設置面511Aに1つの固定電極561が設けられる構成を示すが、例えば、フィルター中心点を中心とした同心円となる2つの電極が設けられる構成(二重電極構成)などとしてもよい。その他、固定反射膜54上に透明電極を設ける構成や、導電性の固定反射膜54を用い、当該固定反射膜54から固定側電装部に接続電極を形成してもよく、この場合、固定電極561として、接続電極の位置に応じて、一部が切り欠かれた構成などとしてもよい。
反射膜設置部512は、上述したように、電極配置溝511と同軸上で、電極配置溝511よりも小さい径寸法となる略円柱状に形成され、当該反射膜設置部512の可動基板52に対向する反射膜設置面512Aを備えている。
この反射膜設置部512には、図3に示すように、固定反射膜54が設置されている。この固定反射膜54としては、例えばAg等の金属膜や、Ag合金等の合金膜を用いることができる。また、例えば高屈折層をTiO、低屈折層をSiOとした誘電体多層膜を用いてもよい。更に、誘電体多層膜上に金属膜(又は合金膜)を積層した反射膜や、金属膜(又は合金膜)上に誘電体多層膜を積層した反射膜、単層の屈折層(TiOやSiO等)と金属膜(又は合金膜)とを積層した反射膜などを用いてもよい。
また、固定基板51の光入射面(固定反射膜54が設けられない面)には、固定反射膜54に対応する位置に反射防止膜を形成してもよい。この反射防止膜は、低屈折率膜及び高屈折率膜を交互に積層することで形成することができ、固定基板51の表面での可視光の反射率を低下させ、透過率を増大させる。
そして、固定基板51の可動基板52に対向する面のうち、エッチングにより、電極配置溝511、反射膜設置部512、及び接続電極溝が形成されない面は、第一接合部513を構成する。この第一接合部513には、第一接合膜531が設けられ、この第一接合膜531が、可動基板52に設けられた第二接合膜532に接合されることで、上述したように、固定基板51及び可動基板52が接合される。
(可動基板の構成)
可動基板52は、フィルター中心点を中心とした円形状の可動部521と、可動部521と同軸であり可動部521を保持する保持部522と、を備えている。
可動部521は、保持部522よりも厚み寸法が大きく形成される。この可動部521は、フィルター平面視において、少なくとも反射膜設置面512Aの外周縁の径寸法よりも大きい径寸法に形成されている。そして、この可動部521には、可動電極562及び可動反射膜55が設けられている。
なお、固定基板51と同様に、可動部521の固定基板51とは反対側の面には、反射防止膜が形成されていてもよい。このような反射防止膜は、低屈折率膜及び高屈折率膜を交互に積層することで形成することができ、可動基板52の表面での可視光の反射率を低下させ、透過率を増大させることができる。
可動電極562は、所定の電極間ギャップを介して固定電極561に対向し、固定電極561と同一形状となる環状に形成されている。この可動電極562は、固定電極561とともに静電アクチュエーター56を構成する。また、可動基板52には、可動電極562の外周縁に接続された可動接続電極564が設けられている。この可動接続電極564は、可動部521から、固定基板51に設けられた接続電極溝(図示略)に対向する位置に沿って、電装面525に亘って設けられており、電装面525において可動電極パッド564Pを構成する。
また、可動基板52には、上述したように、固定接続電極565が設けられており、この固定接続電極565は、バンプ部565A(図2参照)を介して固定引出電極563に接続されている。
可動反射膜55は、可動部521の可動面521Aの中心部に、固定反射膜54とギャップG1を介して対向して設けられる。この可動反射膜55としては、上述した固定反射膜54と同一の構成の反射膜が用いられる。
なお、本実施形態では、上述したように、電極間ギャップが反射膜間ギャップG1の寸法よりも大きい例を示すがこれに限定されない。例えば、赤外線や遠赤外線を用いる場合等、分光画像の取得対象波長域によっては、ギャップG1の寸法が、電極間ギャップの寸法よりも大きくなる構成としてもよい。
保持部522は、可動部521の周囲を囲うダイアフラムであり、可動部521よりも厚み寸法が小さく形成されている。このような保持部522は、可動部521よりも撓みやすく、僅かな静電引力により、可動部521を固定基板51側に変位させることが可能となる。この際、可動部521が保持部522よりも厚み寸法が大きく、剛性が大きくなるため、保持部522が静電引力により固定基板51側に引っ張られた場合でも、可動部521の形状変化が起こらない。従って、可動部521に設けられた可動反射膜55の撓みも生じず、固定反射膜54及び可動反射膜55を常に平行状態に維持することが可能となる。
なお、本実施形態では、ダイアフラム状の保持部522を例示するが、これに限定されず、例えば、フィルター中心点を中心として、等角度間隔で配置された梁状の保持部が設けられる構成などとしてもよい。
可動基板52において、第一接合部513に対向する領域は、第二接合部523となる。この第二接合部523には、第二接合膜532が設けられ、上述したように、第二接合膜532が第一接合膜531に接合されることで、固定基板51及び可動基板52が接合される。
[撮像部の撮像素子の構成]
次に、図1に戻り、光学モジュール10が備える撮像部12の撮像素子121、について説明する。
撮像素子121は、波長可変干渉フィルター5を透過した光を受光(検出)し、受光量に基づいた検出信号を信号処理回路13に出力する。撮像素子121としては、CCDやCMOS等の各種イメージセンサを用いることができる。また、撮像素子121は、複数の画素を有し、これらの画素を制御する撮像制御ドライバ(図示略)を有している。そして、撮像素子121は、制御部30からの制御の下、各画素において光を受光する露光時間を制御し、露光時間において受光された光の光量に基づいた検出信号を、信号処理回路13を介して制御部30に出力する。
[信号処理回路、電圧制御回路、及び光源制御回路の構成]
信号処理回路13は、撮像素子121から出力された検出信号(アナログ信号)を増幅したのち、デジタル信号に変換して制御部30に出力する。信号処理回路13は、検出信号を増幅するアンプや、アナログ信号をデジタル信号に変換するA/D変換器等により構成される。また、信号処理回路13は、制御部30の制御の下、アンプの増幅率を変更し、所定の増幅率で検出信号を増幅して制御部30に出力する。
電圧制御回路14は、制御部30の制御に基づいて、波長可変干渉フィルター5の静電アクチュエーター56に対して駆動電圧を印加する。これにより、静電アクチュエーター56の固定電極561及び可動電極562間で静電引力が発生し、可動部521が固定基板51側に変位する。
光源制御回路15は、光源部11に印加する駆動電圧を制御し、光源部11から出射させる光の光量を調整する。光源制御回路15は、制御部30の制御の下、所定のタイミングで光源部11の点灯制御や光量調整を実施する。
[表示部及び操作部の構成]
表示部21は、例えば、液晶ディスプレイ、プラズマディスプレイパネル(PDP;Plasma Display Panel)、有機ELディスプレイパネル等の各種表示ディスプレイにより構成されている。表示部21は、制御部30の制御に基づいて、リアルタイム画像等を表示する。
操作部22は、例えば、マウス、キーボード、タッチパネル等のユーザー操作を検出可能な各種装置で構成されている。
[制御部の構成]
次に、測色装置1の制御部30について説明する。
制御部30は、例えばCPUやメモリー等が組み合わされることで構成され、測色装置1の全体動作を制御する。この制御部30は、図1に示すように、記憶部31と処理部32とを備えている。
記憶部31は、測色装置1を制御するための各種プログラムや、各種データが記憶されている。当該データは、例えば、静電アクチュエーター56に印加する駆動電圧に対する透過光の波長を示すV−λデータや、測定対象Xを測定する際の測定波長に関する情報(測定開始波長、波長の変更間隔、及び測定終了波長等)である。
処理部32は、記憶部31に記憶された各種プログラムを読み込み、実行することで、図1に示すように、フィルター制御部321、光源制御部322、光量取得部323、画像合成部324、表示制御部325、測色範囲検出部326、色判定部327、及び測色制御部328等として機能する。
なお、本実施形態では、処理部32が、記憶部31に記録されたプログラム(ソフトウェア)を読み込んで実行することで、ソフトウェアとハードウェアの協働により、上記各機能を実現する例を示すが、これに限定されない。例えば、各機能を有するハードウェアとしての回路が設けられる構成などとしてもよい。
フィルター制御部321は、波長可変干渉フィルター5により取り出す光の目的波長を設定し、V−λデータに基づいて、設定した目的波長に対応する駆動電圧を静電アクチュエーター56に印加させる旨の指令信号を電圧制御回路14に出力する。
光源制御部322は、光源制御回路15を制御し、測色時等の所定のタイミングで光源部11に駆動電圧を印加させ、光源部11を点灯させる。
光量取得部323は、信号処理回路13から入力された検出信号に基づいて、撮像素子121の各画素における受光量(輝度値)を取得、つまり、撮像画像を取得する。
画像合成部324は、操作者により測色処理の実施指令が入力された際に、測定対象Xの一部、すなわち光学モジュール10の撮像素子121にて撮像される複数波長の撮像画像を合成し、カラー画像を生成する。画像合成部324は、例えば、測色に用いる16波長(バンド)の撮像画像のうち、赤色、緑色、及び青色に対応する3波長(バンド)の撮像画像を用いて、カラー画像を合成する。3波長としては、例えば、波長610nmの赤色、波長550nmの緑色、及び450nmの青色を用いることができる。
表示制御部325は、測定対象Xのカラー画像や、後述する測色制御部328による測色結果等を、表示部21に表示させる。
測色範囲検出部326は、操作者により測色範囲が指定された際に、当該測色範囲を検出する。具体的には、操作者は、表示部21に表示された測定対象Xのカラー画像を参照しながら、操作部22を操作して、測色範囲を指定する。このカラー画像は、後述するように、所定サイズの複数のブロック(画像領域)に区分されている。すなわち、操作者によって、カラー画像における1つのブロックを測色範囲として指定する指定指示操作が成された場合、測色範囲検出部326は、当該指定指示に基づいて、指定されたブロックを測色範囲として検出する。なお、測色範囲検出部326は、操作者により指定されたカラー画像上の指定位置を検出し、当該指定位置を含むブロックを測色範囲として検出してもよい。
色判定部327は、測色範囲に複数の色が含まれるか否かを判定する。具体的には、色判定部327は、撮像素子121の各画素の輝度値に対応する検出値のうち、基準画素と他の画素との検出値を比較して、異なる色が含まれている場合にこれを検出することにより、複数の色が含まれていることを検出する。なお、基準画素は、測色範囲の中央に位置する画素や、測色範囲が矩形状である場合は角部に位置する画素等、任意に設定することができ、本実施形態では、例えば、測色範囲の中央に位置する画素を基準画素として設定する。
また、色判定部327は、測色範囲に複数の色が含まれると判定した場合、測色範囲に含まれる各画素の検出値に基づいて、各画素の色を判定し、色毎に画素数を計数する。
色判定部327による色判定方法の詳細については、後述する。
測色制御部328は、光量取得部323により取得された各画素の受光量(輝度値)と、色判定部327の判定結果と、に基づいて、測色範囲に含まれる色毎に測色結果を取得する。測色制御部328は、例えば、色判定部327によって同一色と判定された画素の受光量の平均値と、白色基準物を撮像した際の基準受光量と、に基づいて、各色の反射率を測色範囲における平均値として算出し、分光スペクトルを取得する。また、測色制御部328は、分光スペクトルを用いて測色範囲の測色結果を算出する。
[測色装置における測色方法]
次に、上述したような測色装置1の動作の概要について、図面に基づいて以下に説明する。
図4は、本実施形態における測色方法を示すフローチャートである。
(分光画像の取得)
本実施形態の測色装置1では、操作者の操作部22の操作により測色処理の開始指示が入力されると、図4に示すように、光源制御部322は、光源部11を点灯させ、この後、フィルター制御部321は、電圧制御回路14を制御して、所定の測定対象波長域(例えば可視光域)における所定間隔(例えば20nm間隔)毎の波長に対応する駆動電圧を順次静電アクチュエーター56に印加させ、撮像素子121により撮像された各波長の分光画像を、分光測定結果として取得する(ステップS1)。例えば、400nm〜700nmの測定対象波長域に対して、20nm間隔で分光画像を取得する場合は、16個の波長に対する分光画像が取得される。
(カラー画像の生成・表示)
次に、画像合成部324は、ステップS1において取得された分光画像を用いてカラー画像を合成し、表示制御部325は、合成されたカラー画像を表示部21に表示させる(S2)。
このカラー画像は、ステップS1で取得された16バンドの撮像画像のうち、R(例えば600〜700nm)、G(例えば500〜580nm)、B(例えば400〜480nm)の各色のそれぞれの波長領域において予め設定された所定波長、すなわち、R、G、Bの各色に対応する3バンドの分光画像を合成することで得られる。
(測色範囲の指定)
図5は、カラー画像を模式的に示す図である。なお、図5(A)は、撮像素子121の全撮像範囲に対応するカラー画像を示し、図5(B)は、カラー画像における測色範囲を含む一部分を拡大して示し、図5(C)は、カラー画像における1つのブロックを拡大して示す。
図5(A)に示すように、表示部21に表示されたカラー画像Imは、複数のブロックAr(i,j)に区分されている(iはブロックの行番号を意味し、jはブロックの列番号を意味する)。本実施形態では、撮像画像は、一例として100個のブロックに区分されている(図5(A)参照)。なお、各ブロックは、複数の画素を含み、各画素は、撮像素子121を構成する1つの画素に対応する。本実施形態では、各ブロックは、一例として100画素で構成される(図5(C)参照)。
なお、表示部21には、ブロックの境界線を表示してもよいし、表示しなくてもよい。
図4に示すように、ステップS2で表示部21にカラー画像Imが表示されると、測色範囲検出部326は、操作者による測色範囲Scの指定操作が実施されたか否かを判定する(ステップS3)。すなわち、操作者が、カラー画像Imにおける所望のブロックを、測色範囲Sc(図5参照)として指定する指定操作を実施すると、測色範囲検出部326は、指定操作が実施されたことを検出する(ステップS3:YES)。操作者による測色範囲Scの指定操作が実施され、ステップS3で「YES」と判定されるまで、ステップS3の判定処理が繰り返し実行される。
ステップS3で「YES」と判定されると、測色範囲検出部326は、指定操作に基づいて測色範囲Scを検出する(ステップS4)。すなわち、測色範囲検出部326は、カラー画像Imに含まれる全ブロックAr(i,j)のうち、測色範囲Scとして指定されたブロックがいずれのブロックであるかを、指定操作に基づいて検出することにより、測色範囲Scを検出する。図5(A)では、測色範囲ScとしてブロックAr(3,7)が指定されている例を示す。
なお、表示部21にブロックの境界線が表示されていない場合、使用者によって測色位置が指定されると、測色範囲検出部326は、測色位置の指定指示を検出し、当該指定位置を含むブロックを測色範囲として検出する。
(測色範囲における色数判定)
次に、図4に示すように、色判定部327は、測色範囲Scを構成する画素として異なる色に対応する画素が含まれているか否か、すなわち、測色範囲Scに複数の色が含まれているか否かを判定する(ステップS5)。
例えば、図5(B)及び図5(C)に示すように、測色範囲Scに複数の色に対応する画素が含まれている場合、色判定部327は、測色範囲Scに複数の色が含まれていると判定する(ステップS5:YES)。
一方、全画素が同一色に対応する画素である場合、色判定部327は、測色範囲Scに複数の色が含まれていないと判定する(ステップS5:NO)。
以下、測色範囲Scに複数の色が含まれるか否かの判定方法の一例について説明する。
色判定部327は、各画素の16バンドの輝度値のデータのうち、所定の複数バンド(所定の複数波長)の輝度値を用いて、基準画素P0(第一の画素)と比較画素Pk(第二の画素)とが同一色に対応する画素か否かを判断する。例えば、色判定部327は、所定の第一の波長の分光画像における基準画素P0の輝度値、及び比較画素Pkの輝度値と、所定の第二の波長の分光画像における基準画素P0の輝度値、及び比較画素Pkの輝度値と、に基づいて、基準画素P0と比較画素Pkとが異なる色に対応する画素か否かを判定する。より具体的には、色判定部327は、基準画素P0と比較画素Pkとで、比較対象となるバンド(波長)のそれぞれで輝度値の差が閾値以内の場合に、各画素P0,Pkが同一色に対応する画素であると判定する。一方、色判定部327は、基準画素P0と比較画素Pkとを比較して、閾値を超えるバンドが存在する場合に、基準画素P0と比較画素Pkとが、異なる色に対応する画素であると判定する。
図6は、色判定部327による、基準画素P0と他の画素とが同一色に対応するか否かの判定方法の一例を具体的に説明するための図である。なお、以下の説明で、測色範囲Scを構成する各画素を画素P(m,n)として表記する場合、mは画素の行番号を意味し、nは画素の列番号を意味する。
本実施形態では、比較対象の上記所定バンドとして、R、G、Bの各色に対応する3つのバンドを用いる。また、基準画素P0として、測色範囲Scの中央部に位置する、例えば、中心点Oを含む又は隣接する画素(本実施形態ではP(5,5)を例示)に設定する(図5(C)参照)。
図6に示すように、基準画素P0と同一色に対応する第1比較画素P1(図5(C)参照)では、各バンドの輝度値が、基準画素P0の輝度値を基準とする所定範囲内の値である。すなわち、測定対象の全バンドのそれぞれで、基準画素P0と第1比較画素P1の輝度値との差分値が閾値以内である。
一方、基準画素P0と異なる色である第2比較画素P2(図5(C)参照)では、各バンドの輝度値が、基準画素P0の輝度値を基準とする所定範囲外の値である。
このように、色判定部327は、基準画素P0と比較画素Pkとで比較対象の各バンドの輝度値を比較して、全バンドで輝度値の差分値が、閾値以内であれば、基準画素P0と比較画素Pkとが同一色に対応する画素であると判定する。一方、色判定部327は、少なくとも1つのバンドで閾値を超えている場合、基準画素P0と比較画素Pkとが異なる色に対応する画素であると判定する。
なお、比較対象のバンドの数は、上記実施形態に限定されず、4つ以上(例えば16バンドの全て)を用いてもよいし、色の判定が可能であれば、1つ又は2つのバンドを用いてもよい。
ステップS5では、色判定部327は、基準画素P0と異なる色に対応する比較画素Pkを検出するか、全画素についての比較処理が終了するまで、比較画素Pkを変更し、基準画素P0と比較画素Pkとの比較処理を実施する。
色判定部327は、比較画素Pkとして、例えば、比較処理が済んでいない画素のうち、中心点Oから最も遠い画素を順次選択する。すなわち、比較画素Pkとして、測色範囲の四隅の各画素P(1,1)、P(1,10)、P(10,10)、P(10,1)のように比較画素Pkが順次選択される。このように、基準画素P0の周囲の画素、すなわち、通常、基準画素P0と同一の色である可能性が高い画素以外から比較画素Pkを選択することにより、測色範囲Scに異なる色が含まれることを検出するまでの比較処理の回数の低減を図ることができ、処理負荷の低減を図ることができる。
また、比較画素Pkの選択方法は上述の方法に限定されず、例えば、k回目の比較処理を実施する際(比較画素Pkを選択する際)に、比較処理が済んでいない画素で、かつ、中心点Oから最も遠い画素のうち、k−1回目の比較処理時の比較画素Pk−1から最も遠い画素を比較画素Pkとして選択してもよい。例えば、画素P(1,1)、P(10,10)、P(1,10)、P(10,1)の順に比較画素Pkが選択される。この場合、比較画素Pk−1と同一の色である可能性が高い画素以外から比較画素Pkを選択することができ、上述のように比較処理による処理負荷の低減を図ることができる。
また、比較画素Pkを新たに選択する際に、比較処理済みの画素と隣接し、当該比較処理済みの画素と同一の色である可能性が高い画素を比較対象から除外してもよい。すなわち、比較画素Pkとして、比較処理済みの画素と離間した画素を選択してもよい。より具体的には、比較済みの画素を中心とする所定範囲に含まれる画素を比較対象から除外し、それ以外の画素から比較画素Pkを選択してもよい。この場合も同様に、比較処理による処理負荷の低減を図ることができる。
(各画素の色判定)
図4に戻り、ステップS5で、測色範囲Scに複数の色が含まれると判定された場合(ステップS5:YES)、次に、色判定部327は、各画素P(m,n)の色を判定するとともに、各色の画素数を計数する(ステップS6)。
各画素P(m,n)の色判定は、例えば、判定対象の色に対して16バンド分の輝度値のパターンを記憶部31に記憶しておき、色判定部327が、当該パターンと、各画素P(m,n)の16バンド分の輝度値とを比較し、各画素P(m,n)の色を判定し、色毎に画素数を計数することにより実施される。なお、色判定に使用するバンドの数は、16バンドに限定されず、色の判定が可能であれば任意のバンド数でよく例えばR,G,Bの3バンドでもよい。
また、例えば、色が判定された画素を色基準画素Pcとし、色判定部327が、当該色基準画素Pcと他の画素とで、上述のような同一色か否かの判定を実施し、同一色と判定された画素の数を計数する。そして、色判定部327は、異なる色と判定された画素のみで同様の処理を実施する。このように全画素P(m,n)で色が判定されるまで、色基準画素Pcと、他の画素とが同一色か否かの判定処理と、画素数の計数とを繰り返す。
なお、異なる色と判定された画素が、色判定の結果、判定対象となる色のいずれにも該当しない場合、当該画素の輝度値がノイズを含む可能性がある。このため、当該画素にいずれの色にも属さないことを示すフラグを付加することにより、フラグが付加された画素の輝度値を用いずに後述の測色結果の算出を行うことができ、測色精度を向上させることができる。
(各色の測色結果の算出・表示)
次に、測色制御部328は、各色の測色値を平均値として算出することにより、測色結果を取得する(ステップS7)。
すなわち、測色制御部328は、ステップS6で同一色と判定された画素の輝度値に基づいて、16バンドのそれぞれについて、輝度値の平均値を算出する。そして、測色制御部328は、輝度値の平均値と、白色基準を撮像した時の輝度値とに基づいて、各バンドにおける反射率を算出することにより、分光スペクトルを算出する。測色制御部328は、測色範囲Scに含まれると判定された各色について、上述のようにして分光スペクトルを取得する。また、測色制御部328は、各色の分光スペクトルを用いて、測色値を算出する。なお、測色値は、L表色系や、XYZ表色系等の各種の表現手法に基づいて算出される。
また、測色制御部328は、各色の測色値の他に、各色の画素数の計数結果を用いて、測色範囲における各色の占有率を算出する。
一方、ステップS5でNO、すなわち、全画素P(m,n)が同一の色であり、複数の色が含まれていないと判定された場合は、ステップS6を実施せずに、ステップS7を実施し、測色値を全画素の平均値として算出する。このように、ステップS5において、異なる色が含まれるか否かを判定することにより、同一の色のみの場合に、各画素の色を判定するステップS6の処理を省略することができ、処理負荷を抑制できる。
図7は、表示部21における測色結果の表示例を示す。
表示制御部325は、図7に示すように、測色結果を表示部21に表示させる(ステップS8)。
表示制御部325は、測色制御部328によって算出された各色の測色値を、占有率の大きい順に表示させる。なお、表示制御部325は、測色値及び占有率に加え、測色範囲Scの位置に関する情報や測色日時に関する情報等を表示部21に表示させる。なお、図7に示す例では、占有率が所定値(例えば10%)以上の色についての測色結果のみを表示させているが、全ての色について表示させてもよい。
制御部30は、測色処理の終了指示を受けたか否かを判定し(ステップS9)、測色処理の終了指示を受けていない場合は(ステップS9:NO)、測色範囲の再指定指示を受けたか否かを判定する(ステップS10)。再指定指示を受けていない場合は(ステップS10:NO)、制御部30は、ステップS9の処理を実施し、終了指示か、測色範囲の再指定指示を受けるまで、ステップS9,S10を繰り返す。制御部30は、測色範囲の再指定指示を受けると(ステップS10:YES)、ステップS2以降の処理を実施し、終了指示を受けると(ステップS9:YES)、測色処理を終了させる。
なお、測定対象Xにおける撮像範囲を変更する場合は、本フローチャートによる処理を一旦終了させ、新たな撮像範囲についてステップS1に記載のように分光画像を取得し、本フローチャートによる処理を実施する。
[第一実施形態の作用効果]
測色装置1は、撮像部12によって撮像された複数波長の分光画像における測色範囲Scの測色結果を取得する際に、当該測色範囲Scに複数色が含まれる場合に、色毎に測色結果を取得する。より具体的には、色判定部327は、測色範囲Scの各画素の色を判定し、測色制御部328は、判定結果に基づいて、色毎に測色結果を取得する。このような構成では、測色範囲Scにおいて複数の色が含まれる場合であっても、上述のように、各色の測色結果を高精度に取得することができる。すなわち、測色範囲Scに複数の色が含まれるにも関わらず各色を区別せずに、測色範囲Scの全画素を同一の色として、当該全画素の輝度値(受光量)の平均値に基づいて分光スペクトルを推定する従来例と比べて、高精度な測色結果を取得できる。
また、色判定部327は、測色範囲Scの各画素の色を判定し、測色制御部328は、判定結果に基づいて、色毎に測色結果を取得する。このような構成では、測色範囲Scにおいて複数の色が含まれる場合であっても、上述のように、各色に係る分光測定結果を用いて各色の測色結果を高精度に取得することができる。
また、色判定部327は、測色範囲Scの所定波長(例えば、赤、緑、青等の三色に相当する三つの波長)の分光画像の各画素の輝度値を用いて、測色範囲Scにおける色数を判定する。これにより、例えば、各画素の測色値(色度や色差等)を算出して色を比較する場合と比べて、容易に複数の色が含まれるか否かを判定できる。また、複数の色を含むか否かの判定による処理負荷の増大を抑制できる。
また、色判定部327は、基準画素P0と、比較画素Pkとの輝度値の差に基づいて、複数の色が含まれるか否かを判定する。このように、基準画素P0と比較画素Pkとの輝度値の差を用いることにより、測色範囲Scに含まれる画素の色が同一か否かの判定を行うことができ、測色範囲Scに複数の色が含まれるか否かの判定を行うことができる。また、全比較画素Pkについて、測色値(色度や色差等)や分光スペクトル等の測色結果を算出し、算出した測色結果を比較したりする場合と比べて、複数の色を含むか否かの判定による処理負荷の増大を抑制できる。
また、色判定部327は、基準画素P0として測色範囲Scに含まれる画素を用い、基準画素P0と比較画素Pkとの差が閾値を超える場合に、基準画素P0と比較画素Pkとの色が異なると判定する。このように、基準画素P0と比較画素Pkとの輝度値の差を算出し、閾値と比較することにより、基準画素P0と比較画素Pkとで色が同一か否かの判定を容易に行うことができる。
また、色判定部327は、基準画素P0と比較画素Pkとの色が同一か否かの判定を実施し、異なると判定された比較画素Pkがあった時点で、測色範囲Scに複数の色が含まれるとの判定を行うことができる。
また、本実施形態では、色判定部327は、色数判定を実施して全画素が同一色と判定した場合は、各画素の色判定を実施せずに測色結果を取得するため、全画素が同一色である場合に色判定を実施する必要がなく、処理負荷を低減できる。
また、測色制御部328は、判定結果に基づいて、測色範囲に同一色と判定された画素が複数含まれる色については、複数画素における波長毎の平均値に基づいて測色結果が取得される。これにより、画素毎に測色結果が取得される場合と比べ、ノイズの影響を抑制でき、より高精度な測色結果を取得できる。
表示制御部325は、複数波長の分光画像を合成してカラー画像を生成し、表示させる。このカラー画像を使用者に参照させながら、測色範囲を選択させる等の処理を実施することができ、操作性を向上させることができる。
色判定部327は、測色範囲Scに含まれる各画素の色を判定し、判定結果に基づいて、各色の測色結果を取得し、当該占有率に応じて測色結果を出力する。これにより、使用者は、測色範囲Scの測色結果として、各色の測色結果のみならず、測色範囲を構成する各色の占有率を確認することができる。また、使用者は、測色結果を容易に把握することができる。
[第二実施形態]
次に、本発明に係る第二実施形態について説明する。
上記第一実施形態では、16バンド分の測色用分光画像を撮像した後、3バンドの分光画像を合成したカラー画像を表示部21に表示させ、当該カラー画像を参照して操作者が指定した測色範囲を検出し、当該測色範囲の測色を実施していた。これに対して、第二実施形態では、上記カラー画像をリアルタイム画像として取得し、表示部21に表示させ、当該カラー画像を参照して操作者が指定した測色範囲を検出し、当該測色範囲についての16バンド分の測色用分光画像を撮像し、測色範囲の測色を実施する。
なお、以降の説明にあたり、第一実施形態と同様の構成については、同符号を付し、その説明を省略又は簡略化する。
[測色装置における測色方法]
図8は、本実施形態における測色方法を示すフローチャートである。
本実施形態の測色装置1は、操作者の操作部22の操作により分光測定の開始指示が入力されると、光源部11を点灯させた後、カラー画像としてのリアルタイム画像を生成して、表示部21に表示させる(ステップS11)。
このリアルタイム画像は、R(例えば600〜700nm)、G(例えば500〜580nm)、B(例えば400〜480nm)の各色のそれぞれの波長領域において予め設定された所定波長、すなわち、R、G、Bの各色に対応する3つの所定波長(3バンド)で分光画像(合成画像生成用の分光画像)を取得し、これらの分光画像を合成することで得られる。
具体的には、フィルター制御部321は、電圧制御回路14を制御して、3つの所定波長に対応する駆動電圧を順次静電アクチュエーター56に印加させる。これにより、3つの所定波長の光が、順次、波長可変干渉フィルター5を透過し、撮像素子121によって検出(撮像)されることで、これらの波長に対応した分光画像が順次取得される。
そして、画像合成部324は、これらの3バンドの合成画像生成用の分光画像を合成して合成画像を生成する。その後、表示制御部325は、生成された合成画像を表示部21に表示させる。
この後、操作者は、ステップS11により表示されたリアルタイム画像を参照しながら、測色する位置(指定位置)を指定する。制御部30は、操作者の操作部22の操作により、測色範囲指定指示及び測色指示を受け付けたか否かを判定する(ステップS12)。
ステップS12により「NO」と判定された場合は、ステップS11を継続し、リアルタイム画像を表示部21に表示させる。
ステップS12において「YES」と判定された場合、測色範囲検出部326は、測色範囲を検出する(ステップS13)。
具体的には、第一実施形態と同様に、操作者が、表示部21に表示された測定対象Xのリアルタイム画像を参照しながら、操作部22を操作して、複数ブロックに区分されたカラー画像における所望のブロックAr(i,j)を測色範囲Scとして指定する。測色範囲検出部326は、指定されたブロックAr(i,j)の位置を検出することにより、測色範囲Scを検出するとともに、当該測色範囲に対応する撮像素子121の画素の位置を検出する。これにより、後に取得する16バンド分の撮像画像における測色範囲Scの位置を検出することができる。
次に、制御部30は、測色用分光画像として、16バンド分の分光画像を取得する(ステップS14)。
具体的には、フィルター制御部321は、電圧制御回路14を制御して、複数の測定対象波長に対応する駆動電圧を順次静電アクチュエーター56に印加させ、撮像素子121により撮像された各波長の分光画像を取得する。
この際、撮像素子121における測色範囲Sc(図5参照)に対応する画素からの検出信号のみを取得し、当該測色範囲Scに対応する分光画像を取得する。これにより、全撮像範囲に対応する分光画像を取得する場合と比べて、分光画像のデータ量を低減させることができ、処理負荷の増大を抑制できる。
なお、全撮像範囲(図5(A)参照)に対応する分光画像を取得してもよい。これにより、分光画像を撮像した後に、撮像範囲に含まれる複数のブロックから選択したブロックを新たな測色範囲として、測色範囲を変更したとしても、再び分光画像を取得しなくてもよく、処理時間の短縮を図ることができる。
ステップS14で測色用分光画像を取得すると、次に、第一実施形態と同様に、ステップS5〜S10の処理を実施する。すなわち、色判定部327は、測色範囲Scに複数の色が含まれるか否かを判定する(ステップS5)。ステップS5で「YES」と判定されると、色判定部327は、測色範囲Scの各画素P(m,n)の色と、各色の画素数を取得し(ステップS6)、色毎に測色値を算出する(ステップS7)。一方、ステップS5で「NO」と判定されると当該ステップS6を実施せずに、測色値を算出する(ステップS7)。そして、表示制御部325は、測色結果を表示部21に表示させる(ステップS8)。次に、制御部30は、測色処理の終了指示を受けたか否かを判定し(ステップS9)、ステップS9で「NO」と判定された場合、測色範囲Scの再指定指示を受けたか否かを判定する(ステップS10)。ステップS10で「YES」と判定されると、制御部30は、ステップS11に戻り、以降の処理を実施する。なお、制御部30は、測色処理の終了指示か、測色範囲Scの再指定指示を検出するまでステップS9,S10の判定を繰り返し実施する。
[第二実施形態の作用効果]
第二実施形態の測色方法によれば、第一実施形態の同様の作用効果に加え、以下の作用効果を得ることができる。
第二実施形態では、測色装置1は、3バンドの分光画像を取得し、当該3バンドの分光画像からリアルタイム画像を表示部21に表示させ、使用者に測色範囲を指定させる。そして、測色装置1は、測色範囲が指定され、測色指示を受けたことを検出すると、測色範囲Scを検出する。このような構成では、測色装置1は、16バンド分の測色用の分光画像を取得する際に、測色範囲Scに相当する範囲のみの分光画像を取得することができる。すなわち、測色範囲Scに相当する撮像素子121の画素からの検出信号を取得し、分光画像を取得することができる。これにより、全撮像範囲の分光画像を16バンドのそれぞれで取得する場合よりも、分光画像のデータ量を低減できる。
[第三実施形態]
次に、本発明に係る第三実施形態について説明する。
第三実施形態では、上記第一実施形態又は第二実施形態の測色装置1を備える、本発明の印刷装置に相当するプリンター60(インクジェットプリンター)について説明する。
[プリンターの概略構成]
図9は、第三実施形態のプリンター60の外観の構成例を示す図である。図10は、本実施形態のプリンター60の概略構成を示すブロック図である。
図9に示すように、プリンター60は、供給ユニット61、搬送ユニット62と、キャリッジ63と、キャリッジ移動ユニット64と、制御ユニット65(図10参照)と、を備えている。このプリンター60は、例えばパーソナルコンピューター等の外部機器から入力された印刷データに基づいて、各ユニット61,62,64及びキャリッジ63を制御し、媒体A上に画像を印刷する。
[供給ユニットの構成]
供給ユニット61は、画像形成対象となる媒体A(本実施形態では、白色紙面を例示)を、画像形成位置に供給するユニットである。この供給ユニット61は、例えば媒体Aが巻装されたロール体611、ロール駆動モーター(図示略)、及びロール駆動輪列(図示略)等を備える。そして、制御ユニット65からの指令に基づいて、ロール駆動モーターが回転駆動され、ロール駆動モーターの回転力がロール駆動輪列を介してロール体611に伝達される。これにより、ロール体611が回転し、ロール体611に巻装された紙面がY方向(副走査方向)における下流側(+Y方向)に供給される。
なお、本実施形態では、ロール体611に巻装された紙面を供給する例を示すがこれに限定されない。例えば、トレイ等に積載された紙面等の媒体Aをローラー等によって例えば1枚ずつ供給する等、如何なる供給方法によって媒体Aが供給されてもよい。
搬送ユニット62は、供給ユニット61から供給された媒体Aを、Y方向に沿って搬送する。この搬送ユニット62は、搬送ローラー621と、搬送ローラー621と媒体Aを挟んで配置され、搬送ローラー621に従動する従動ローラー(図示略)と、プラテン622と、を含んで構成されている。
搬送ローラー621は、図示略の搬送モーターからの駆動力が伝達され、制御ユニット65の制御により搬送モーターが駆動されると、その回転力により回転駆動されて、従動ローラーとの間に媒体Aを挟み込んだ状態でY方向に沿って搬送する。また、搬送ローラー621のY方向の下流側(+Y側)には、キャリッジ63に対向するプラテン622が設けられている。
[キャリッジの構成]
キャリッジ63は、媒体Aに印刷された測定対象の測色を行うための分光画像を取得する光学モジュール10と、媒体Aに対して画像を印刷する印刷部66と、を備えている。
このキャリッジ63は、キャリッジ移動ユニット64によって、Y方向と交差する主走査方向(X方向)に沿って移動可能に設けられている。
また、キャリッジ63は、フレキシブル回路631により制御ユニット65(図9参照)に接続され、制御ユニット65からの指令に基づいて、印刷部66による印刷処理(媒体Aに対する画像形成処理)及び、光学モジュール10による測色処理(第一実施形態及び第二実施形態参照)を実施する。
印刷部66は、本発明の画像形成部であり、媒体Aと対向する部分に、インクを個別に媒体A上に吐出して、媒体A上に画像を形成する。
この印刷部66は、複数色のインクに対応したインクカートリッジ661が着脱自在に装着されており、各インクカートリッジ661からインクタンク(図示略)にチューブ(図示略)を介してインクが供給される。また、印刷部66の下面(媒体Aに対向する位置)には、インク滴を吐出するノズル(図示略)が、各色に対応して設けられている。これらのノズルには、例えばピエゾ素子が配置されており、ピエゾ素子を駆動させることで、インクタンクから供給されたインク滴が吐出されて媒体Aに着弾し、ドットが形成される。
[キャリッジ移動ユニットの構成]
キャリッジ移動ユニット64は、本発明における移動機構を構成し、制御ユニット65からの指令に基づいて、キャリッジ63をX方向に沿って往復移動させる。
このキャリッジ移動ユニット64は、例えば、キャリッジガイド軸641と、キャリッジモーター642と、タイミングベルト643と、を含んで構成されている。
キャリッジガイド軸641は、X方向に沿って配置され、両端部がプリンター60の例えば筐体に固定されている。キャリッジモーター642は、タイミングベルト643を駆動させる。タイミングベルト643は、キャリッジガイド軸641と略平行に支持され、キャリッジ63の一部が固定されている。そして、制御ユニット65の指令に基づいてキャリッジモーター642が駆動されると、タイミングベルト643が正逆走行され、タイミングベルト643に固定されたキャリッジ63がキャリッジガイド軸641にガイドされて往復移動する。
[制御ユニットの構成]
制御ユニット65は、図10に示すように、I/F651と、ユニット制御回路652と、メモリー653と、CPU(Central Processing Unit)654と、を含んで構成されている。この制御ユニット65は、第一実施形態及び第二実施形態における制御部30と同様の機能を実現可能に構成される。
I/F651は、外部機器70から入力される印刷データをCPU654に入力する。
ユニット制御回路652は、光学モジュール10、供給ユニット61、搬送ユニット62、キャリッジ移動ユニット64、及び印刷部66をそれぞれ制御する制御回路を備えており、CPU654からの指令信号に基づいて、光学モジュール10、印刷部66、及び各ユニット61,62,64の動作を制御する。すなわち、光学モジュール10と制御ユニット65とを含み本発明の測色装置が構成される。なお、図1に示す、信号処理回路13、電圧制御回路14、及び光源制御回路15は、ユニット制御回路652に設けられてもよい。この場合、キャリッジ63には、光学モジュール10のうちの光源部11と撮像部12とが設けられる。
メモリー653は、プリンター60の動作を制御する各種プログラムや各種データが記憶されている。
各種データとしては、例えば、波長可変干渉フィルター5を制御する際の、静電アクチュエーター56への印加電圧に対する、波長可変干渉フィルター5を透過する光の波長を示したV−λデータ、印刷データとして含まれる色データに対する各インクの吐出量を記憶した印刷プロファイルデータ等が挙げられる。また、光源部11(図1参照)の各波長に対する発光特性(発光スペクトル)や、撮像素子121(図1参照)の各波長に対する受光特性(受光感度特性)等が記憶されていてもよい。
[第三実施形態の作用効果]
本実施形態のプリンター60は、光学モジュール10を備え、媒体Aに印刷された画像の分光画像を取得し、当該分光画像を用いた測色処理を実施可能に構成される。このような構成では、第一及び第二実施形態と同様に、画像の測色を高精度に実施することができ、印刷部によって媒体Aに印刷された画像の測色結果を高精度に取得することができる。
[実施形態の変形]
なお、本発明は上述の各実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、及び各実施形態を適宜組み合わせる等によって得られる構成は本発明に含まれるものである。
上記各実施形態では、測色範囲に基準画素と異なる色に対応する画素を検出すると、測色範囲に異なる色が含まれると判定したが、本発明はこれに限定されない。例えば、測色範囲に基準画素と異なる色に対応する画素が含まれる場合でも、異なる色と判定された画素の占有率が所定閾値以内の場合、測色範囲に異なる色が含まれないと判定し(ステップS5:NO)、ステップS6を実施せずにステップS7を実施するようにしてもよい。この所定閾値とは、全画素を同一色として取得された測色結果が許容の測色精度となるように設定される。これにより、異なる色に対応する画素の占有率が所定の閾値以内の場合では、全画素を同一として判定される。このため、各画素の色判定を実施せずに測色結果を取得することができ、測色処理の処理負荷を抑制することができる。
上記各実施形態では、測色範囲の中央の画素を基準画素として選択していたが、本発明はこれに限定されず、測色範囲以外の画素を基準画素としてもよい。この場合、基準画素と、測色範囲の各比較画素との輝度値の差分値をそれぞれ取得し、各比較画素の差分値に基づいて、測色範囲に異なる色の画素が含まれているか否かを判定してもよい。より具体的には、基準画素として色が既知の画素を選択し、2つの比較画素の差分値を比較し、その差が閾値を超えている場合に、2つの比較画素の色が異なると判定することができる。
上記各実施形態では、色数判定を実施し、測色範囲Scに複数の色が含まれると判定された場合に、色判定を実施していたが、本発明はこれに限定されない。例えば、各画素について色判定を実施し、色判定の実施結果に基づいて測色範囲Scにおける色数、すなわち、測色範囲に複数の色が含まれるか否かの判定を実施してもよい。
上記各実施形態では、同じ色と判定された画素の輝度値の平均値を算出することにより、各色の分光スペクトルを取得し、その後、測色値を数値として算出する構成を例示したが、本発明はこれに限定されない。例えば、画素毎に、16バンド分の輝度値を用いて分光スペクトルを取得し、当該分光スペクトルから測色値を算出した後に、各画素の測色値を参照して同じ色か否かの判定を実施し、同じ色と判定された画素の測色値の平均値を算出することにより測色結果を取得してもよい。
また、上記各実施形態では、測色結果として、色毎の測色値を算出していたが、本発明は、これに限定されない。例えば、測色値を算出せずに、色毎の分光スペクトルを測色結果として取得してもよい。
上記各実施形態において、分光素子として、固定基板51及び可動基板52が互いに対向する状態で接合され、固定基板51に固定反射膜54が設けられ、可動基板52に可動反射膜55が設けられる波長可変干渉フィルター5を例示したが、これに限らない。
例えば、固定基板51及び可動基板52が接合されておらず、これらの基板間に圧電素子等の反射膜間ギャップを変更するギャップ変更部が設けられる構成などとしてもよい。
また、2つ基板により構成される構成に限られない。例えば、1つの基板上に犠牲層を介して2つの反射膜を積層し、犠牲層をエッチング等により除去してギャップを形成した波長可変干渉フィルターを用いてもよい。
また、分光フィルターとして、例えばAOTF(Acoustic Optic Tunable Filter)やLCTF(Liquid Crystal Tunable Filter)が用いられてもよい。ただし、装置の小型化の観点から上記実施形態のようにファブリーペローフィルターを用いることが好ましい。
その他、本発明の実施の際の具体的な構造は、本発明の目的を達成できる範囲で上記実施形態及び変形例を適宜組み合わせることで構成してもよく、また他の構造などに適宜変更してもよい。
1…測色装置、5…波長可変干渉フィルター、12…撮像部、21…表示部、22…操作部、30…制御部、31…記憶部、32…処理部、121…撮像素子、321…フィルター制御部、323…光量取得部、324…画像合成部、325…表示制御部、326…測色範囲検出部、327…色判定部、328…測色制御部。


Claims (11)

  1. 画像における測色範囲の分光測定結果を取得する分光測定結果取得ステップと、
    前記測色範囲に複数の色が含まれている場合に、前記複数の色のうちの第一の色に対する前記分光測定結果に基づいて、前記第一の色の測色結果を取得する測色結果取得ステップと、
    を含むことを特徴とする測色方法。
  2. 請求項1に記載の測色方法において、
    前記測色範囲に前記複数の色が含まれるか否かを判定する色数判定ステップを含む
    ことを特徴とする測色方法。
  3. 請求項2に記載の測色方法において、
    前記分光測定結果取得ステップは、前記測色範囲に対する複数波長の分光画像を取得し、
    前記色数判定ステップは、前記測色範囲に対する複数波長の分光画像のうち、所定波長の分光画像の各画素の輝度値に基づいて、複数の色が含まれるか否かを判定する
    ことを特徴とする測色方法。
  4. 請求項3に記載の測色方法において、
    前記色数判定ステップは、前記所定波長の分光画像に対し、基準画素と、前記測色範囲に含まれる比較画素との輝度値の差に基づいて、複数の色が含まれるか否かを判定する
    ことを特徴とする測色方法。
  5. 請求項4に記載の測色方法において、
    前記基準画素は、前記測色範囲に含まれる画素であり、
    前記色数判定ステップは、前記基準画素と前記比較画素との差が閾値を超える場合に、前記基準画素と前記比較画素との色が異なると判定する
    ことを特徴とする測色方法。
  6. 請求項2から請求項5のいずれか1項に記載の測色方法において、
    前記分光測定結果取得ステップは、複数波長の分光画像を取得し、
    前記色数判定ステップは、前記複数波長の分光画像のうちの第一の波長の分光画像の第一の画素の輝度値、前記第一の波長の分光画像の第二の画素の輝度値、前記複数波長の分光画像のうちの第二の波長の分光画像の前記第一の画素の輝度値、及び、前記第二の波長の分光画像の前記第二の画素の輝度値に基づいて、複数の色が含まれるか否かを判定することを特徴とする測色方法。
  7. 請求項1から請求項6のいずれか1項に記載の測色方法において、
    対象に対する複数波長の分光画像を取得する分光画像取得ステップと、
    前記複数波長の分光画像を合成して前記画像としてカラー画像を生成するカラー画像生成ステップと、
    を含むことを特徴とする測色方法。
  8. 請求項1から請求項7のいずれか1項に記載の測色方法において、
    前記測色結果取得ステップは、前記測色範囲における前記第一の色の測色結果を平均値として取得する
    ことを特徴とする測色方法。
  9. 請求項1から請求項8のいずれか1項に記載の測色方法において、
    前記測色結果取得ステップは、前記測色範囲に複数の色が含まれる場合に、前記複数の色の各々の測色結果と、前記測色範囲における占有率と、を取得する
    ことを特徴とする測色方法。
  10. 画像における測色範囲の分光測定結果を取得し、
    前記測色範囲に複数の色が含まれている場合に、前記複数の色のうちの第一の色に対する前記分光測定結果に基づく測色結果を取得する
    ことを特徴とする測色装置。
  11. 請求項10に記載の測色装置と、
    媒体に前記対象としての画像を印刷する印刷部と、を備える
    ことを特徴とする印刷装置。

JP2015173663A 2015-09-03 2015-09-03 測色方法、測色装置、及び印刷装置 Withdrawn JP2017049163A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015173663A JP2017049163A (ja) 2015-09-03 2015-09-03 測色方法、測色装置、及び印刷装置
US15/249,909 US20170070648A1 (en) 2015-09-03 2016-08-29 Colorimetry method, colorimetry device, and printing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015173663A JP2017049163A (ja) 2015-09-03 2015-09-03 測色方法、測色装置、及び印刷装置

Publications (1)

Publication Number Publication Date
JP2017049163A true JP2017049163A (ja) 2017-03-09

Family

ID=58190791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015173663A Withdrawn JP2017049163A (ja) 2015-09-03 2015-09-03 測色方法、測色装置、及び印刷装置

Country Status (2)

Country Link
US (1) US20170070648A1 (ja)
JP (1) JP2017049163A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168905A1 (ja) 2017-03-14 2018-09-20 デンカ生研株式会社 糖鎖抗原を抽出し測定するためのイムノクロマトデバイス

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6641883B2 (ja) * 2015-10-28 2020-02-05 セイコーエプソン株式会社 測定装置、電子機器、及び測定方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5223214A (en) * 1975-08-15 1977-02-22 Hitachi Ltd Color picture judging unit
JP2005114531A (ja) * 2003-10-07 2005-04-28 Olympus Corp 画像表示装置及び画像表示方法
US20090190126A1 (en) * 2008-01-24 2009-07-30 Oscar Martinez Color sensor performance
JP2013088658A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡装置
JP2014143618A (ja) * 2013-01-24 2014-08-07 Ricoh Co Ltd 撮像ユニット、測色装置、画像形成装置、測色システム及び測色方法
JP2014153066A (ja) * 2013-02-05 2014-08-25 Seiko Epson Corp 測色方法及び測色装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331626A (ja) * 1998-03-09 1999-11-30 Minolta Co Ltd 画像処理装置
JP4284448B2 (ja) * 2005-01-28 2009-06-24 富士フイルム株式会社 画像処理装置及び方法
US20110216334A1 (en) * 2010-03-04 2011-09-08 Kabushiki Kaisha Toshiba Image processing device, image forming apparatus and image processing method
JP6136357B2 (ja) * 2013-02-25 2017-05-31 セイコーエプソン株式会社 分光測定装置、通信システム及びカラーマネージメントシステム
JP6349707B2 (ja) * 2013-12-11 2018-07-04 セイコーエプソン株式会社 色変換装置、ルックアップテーブル生成方法、及び、ルックアップテーブル生成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5223214A (en) * 1975-08-15 1977-02-22 Hitachi Ltd Color picture judging unit
JP2005114531A (ja) * 2003-10-07 2005-04-28 Olympus Corp 画像表示装置及び画像表示方法
US20090190126A1 (en) * 2008-01-24 2009-07-30 Oscar Martinez Color sensor performance
JP2013088658A (ja) * 2011-10-19 2013-05-13 Olympus Corp 顕微鏡装置
JP2014143618A (ja) * 2013-01-24 2014-08-07 Ricoh Co Ltd 撮像ユニット、測色装置、画像形成装置、測色システム及び測色方法
JP2014153066A (ja) * 2013-02-05 2014-08-25 Seiko Epson Corp 測色方法及び測色装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168905A1 (ja) 2017-03-14 2018-09-20 デンカ生研株式会社 糖鎖抗原を抽出し測定するためのイムノクロマトデバイス
EP4235176A2 (en) 2017-03-14 2023-08-30 Denka Company Limited Immunochromatographic device for extracting and measuring carbohydrate antigens

Also Published As

Publication number Publication date
US20170070648A1 (en) 2017-03-09

Similar Documents

Publication Publication Date Title
US10677655B2 (en) Measuring device, electronic apparatus, and measuring method
US9739662B2 (en) Spectrometry device and image forming apparatus
JP6492838B2 (ja) 分光測定装置、画像形成装置、及び分光測定方法
US9121763B2 (en) Spectrometer
US9721195B2 (en) Spectrometry device, image forming device, and spectrometry method
US9998633B2 (en) Color irregularity detecting device, image forming apparatus, and color irregularity detecting method
JP6330363B2 (ja) 電子機器及び電子機器の制御方法
EP3067673B1 (en) Image forming apparatus and dirtiness detection method
JP6500537B2 (ja) 測色装置、画像形成装置、電子機器、カラーチャート、及び測色方法
JP6623685B2 (ja) 測定装置及び印刷装置
US10442228B2 (en) Spectrometry device, image forming apparatus, and spectrometry method
JP2017049163A (ja) 測色方法、測色装置、及び印刷装置
JP2014190913A (ja) 光検出装置、印刷装置及び画像表示装置
US10156713B2 (en) Wavelength variable interference filter having specified peak center wavelength reflection characteristics, electronic device having such filter, and method of designing and manufacturing such filter
CN113022132B (zh) 测量装置以及测量方法
JP2016070775A (ja) 分光測定装置、及び分光測定方法
JP7404860B2 (ja) 測定装置、プリンター、及び測定方法
JP2017083313A (ja) 測定装置、及び印刷装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190722