JP2014109562A - Color and luminance display apparatus and color and luminance display method - Google Patents
Color and luminance display apparatus and color and luminance display method Download PDFInfo
- Publication number
- JP2014109562A JP2014109562A JP2012265777A JP2012265777A JP2014109562A JP 2014109562 A JP2014109562 A JP 2014109562A JP 2012265777 A JP2012265777 A JP 2012265777A JP 2012265777 A JP2012265777 A JP 2012265777A JP 2014109562 A JP2014109562 A JP 2014109562A
- Authority
- JP
- Japan
- Prior art keywords
- color
- luminance
- image
- chromaticity
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Spectrometry And Color Measurement (AREA)
Abstract
Description
本発明は、対象物の色相、彩度、輝度の取得とそれらおよび色差の表示装置や表示方法に関する。 The present invention relates to acquisition of hue, saturation, and luminance of an object, and a display device and display method for the color difference.
近年の技術進歩や価値観の多様化により、写真・映像分野、印刷分野、芸術分野など様々な場面において、より高精度な色再現への要求が高まっている。例えば、遠隔医療や電子商取引において正確な色情報を共有するために忠実な色情報の取得・再現手段が求められている。また、ディスプレイやプリンターの性能が格段に進歩しており、人間の眼に忠実な色情報を活用する有効性が増しているため、忠実な色情報を取得し分析するための手段がより手軽に提供されることが求められている。 Due to recent technological advances and diversification of values, there is an increasing demand for more accurate color reproduction in various scenes such as photography / video field, printing field, art field. For example, there is a need for faithful color information acquisition / reproduction means for sharing accurate color information in telemedicine and electronic commerce. In addition, the performance of displays and printers has improved dramatically, and the effectiveness of utilizing color information faithful to human eyes has increased, making it easier to obtain and analyze faithful color information. It is required to be provided.
従来からある色情報の取得手段として、ＲＧＢ表色系カメラがある。ＲＧＢ表色系は国際照明委員会（ＣＩＥ）によって提唱されたものであり、実際の分光スペクトルから得られる特定波長の三原色を用いてこれらを加法混色し、求める色について等色を得ようとするものである。しかし、ＲＧＢ表色系において人の眼に対応する分光感度を表したＲＧＢ等色関数には負の部分が生じているところ、加法混色によっては光の引き算をすることはできないので、そのような分光感度の負の値をそのまま扱うことは難しい。そこでＲＧＢ表色系カメラはＲＧＢ等色関数に生じる負の部分を変形・修正して近似的に表している。しかし、この近似処理によって人の眼の色域にある色を正確に捉えることができなくなり、画像や映像の色ズレや色つぶれを起こす原因となっていた。一方、ＲＧＢ等色関数にある負の部分を生じさせないように座標変換した色空間としてＣＩＥ ＸＹＺ等色関数（以下、ＸＹＺ等色関数という）があり、これを用いた色情報の取得手段として、分光測色方法と三刺激値直読方法がある。 Conventional color information acquisition means includes an RGB color system camera. The RGB color system has been proposed by the International Commission on Illumination (CIE), and uses the three primary colors of specific wavelengths obtained from the actual spectral spectrum to add these colors to obtain the same color for the desired color. Is. However, in the RGB color system, there is a negative part in the RGB color matching function that expresses the spectral sensitivity corresponding to the human eye, so it is not possible to subtract light depending on additive color mixing. It is difficult to handle negative values of spectral sensitivity as they are. Therefore, the RGB color system camera approximates and expresses the negative part generated in the RGB color matching function by modifying and correcting it. However, this approximation process makes it impossible to accurately capture colors in the color gamut of human eyes, causing color shifts and color collapse of images and videos. On the other hand, there is a CIE XYZ color matching function (hereinafter referred to as XYZ color matching function) as a color space coordinate-converted so as not to cause a negative part in the RGB color matching function, and as means for acquiring color information using this, There are spectral colorimetry method and tristimulus value direct reading method.
分光測色方法は、多数個のセンサによって光源から発せられる放射スペクトルを直接測定するか、または、試料の反射スペクトルにおけるそれぞれの波長ごとの反射率を測定し、ＸＹＺ等色関数を用いて感度計算することにより、計測精度の高い三刺激値Ｘ，Ｙ，Ｚを得るというものである。一方、三刺激値直読方法は、３種類のフィルタを装着した光センサ（カラーセンサまたは光電色彩計）により、測色値である三刺激値Ｘ，Ｙ，Ｚを直接に読む方法である。 The spectrocolorimetric method directly measures the emission spectrum emitted from the light source by a large number of sensors, or measures the reflectance for each wavelength in the reflection spectrum of the sample, and calculates the sensitivity using the XYZ color matching function. By doing so, tristimulus values X, Y, and Z with high measurement accuracy are obtained. On the other hand, the tristimulus value direct reading method is a method of directly reading tristimulus values X, Y, and Z which are colorimetric values by an optical sensor (color sensor or photoelectric colorimeter) equipped with three types of filters.
そのような色情報の取得手段がある中、上述のように色情報を取得し分析するための手段が求められているところ、これに関連する先行技術として特許文献１が挙げられる。これは、容易に色ムラ検査を実施可能な色ムラ検査方法、および色ムラ検査方法で用いる検査用画像データ生成装置を提供することを課題とするものである。またその解決手段は、色ムラ検査方法は、プロジェクタ２に色ムラ検査用画像を表示させる検査画像表示工程と、プロジェクタ２のＲＧＢ／ＸＹＺ変換特性を取得する色空間変換特性取得工程と、色ムラ検査用画像を撮像手段により撮像して、撮像画像データを取得する撮像工程と、プロジェクタ２のＲＧＢ／ＸＹＺ変換特性に基づいて、撮像画像データの第二の色空間形式をプロジェクタ２の第一の色空間形式に変換した変換画像データを生成する色空間変換工程と、変換画像データをプロジェクタ２により表示させる変換画像表示工程と、色ムラ検査用変換画像に基づいて、色ムラの検査を実施する色ムラ検査工程と、を備えるというものである。 Among such color information acquisition means, there is a demand for means for acquiring and analyzing color information as described above, and Patent Document 1 is cited as a related art related thereto. It is an object of the present invention to provide a color unevenness inspection method capable of easily performing color unevenness inspection, and an inspection image data generation apparatus used in the color unevenness inspection method. Further, the color unevenness inspection method includes an inspection image display step for displaying an image for color unevenness inspection on the projector 2, a color space conversion characteristic acquisition step for acquiring RGB / XYZ conversion characteristics of the projector 2, and a color unevenness. The second color space format of the captured image data is set to the first of the projector 2 based on the imaging process of acquiring the captured image data by capturing the inspection image by the imaging means and the RGB / XYZ conversion characteristics of the projector 2. Based on the color space conversion step for generating the converted image data converted into the color space format, the converted image display step for displaying the converted image data by the projector 2, and the converted image for color unevenness inspection, the color unevenness inspection is performed. A color unevenness inspection step.
しかしながら、分光測色方法では回折格子またはプリズムにより分光するため、二次元の分光測色を行うことは費用対効果の観点から現実的ではない。一方、三刺激値直読方法においても、３種のカラーセンサの分光感度特性がＸＹＺ等色関数の線形変換で表される連関の度合いを評価するルータ条件を満足することは容易ではなく、特に３種のカラーセンサによっては、ＸＹＺ等色関数のうちＸのグラフが有する二つの山を直接に表わすことができず、やはり近似的な処理を行うこととなって精度を損なう要因となっていた。 However, since the spectrocolorimetric method uses a diffraction grating or a prism for performing spectroscopic measurement, it is not practical from the viewpoint of cost effectiveness to perform two-dimensional spectrocolorimetry. On the other hand, even in the tristimulus value direct reading method, it is not easy to satisfy the router condition for evaluating the degree of association in which the spectral sensitivity characteristics of the three types of color sensors are expressed by linear transformation of XYZ color matching functions. Depending on the type of color sensor, the two peaks of the X graph of the XYZ color matching functions cannot be represented directly, and an approximate process is performed, which is a factor that impairs accuracy.
また、特許文献１に記載の発明によっては、検査員の目視に頼らずに色ムラを客観的に評価することが可能であるが、色情報の取得すなわち撮像手段であるカメラの精度が従来と変わりなく、近年求められる精度での画像表示ができるものではなかった。 In addition, depending on the invention described in Patent Document 1, it is possible to objectively evaluate color unevenness without relying on the inspector's visual observation, but the accuracy of the camera that is the acquisition of color information, that is, the imaging means, is conventionally The image display with the accuracy required in recent years was not possible.
そこで本発明は、様々な分野における忠実な色情報の取得、再現や分析等の要求に応え、また、ディスプレイやプリンターの性能の向上に対応すべく、人の眼に忠実で正確な色情報を取得してこれを即時に表示し、容易に分析するための色彩輝度表示装置を提供することを課題とする。 Therefore, the present invention responds to demands for the acquisition, reproduction, and analysis of faithful color information in various fields, and provides accurate color information that is faithful to the human eye in order to respond to improvements in the performance of displays and printers. It is an object of the present invention to provide a color luminance display device for acquiring, displaying this immediately, and easily analyzing it.
上記課題に鑑み本発明は、
ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）を有する撮像装置と、該撮像装置により取得した画像を画面に表示する表示装置と、を備え、該表示装置が前記画像の任意の位置における輝度、色度または色差を演算し視覚化処理する演算処理部を有し、視覚化処理された輝度、色度または色差を前記画面に表示する色彩輝度表示装置である。
In view of the above problems, the present invention
An imaging apparatus having three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) linearly converted equivalently to the CIE XYZ color matching function, and an image acquired by the imaging apparatus A display device for display, and the display device has an arithmetic processing unit for calculating and visualizing luminance, chromaticity or color difference at an arbitrary position of the image, and the luminance and chromaticity subjected to visualization processing Or it is a color luminance display apparatus which displays a color difference on the said screen.
また本発明は、前記撮像装置が前記撮像装置により取得した三つの分光感度をＣＩＥ ＸＹＺ表色系における三刺激値Ｘ，Ｙ，Ｚに変換する演算処理部を備えることを特徴とする色彩輝度表示装置である。 Further, the present invention includes a color luminance display characterized in that the imaging device includes an arithmetic processing unit that converts three spectral sensitivities acquired by the imaging device into tristimulus values X, Y, and Z in a CIE XYZ color system. Device.
また本発明は、前記表示装置の前記演算処理部が前記撮像装置により取得した三つの分光感度を任意の表色系に変換することを特徴とする色彩輝度表示装置である。 The present invention is also the color luminance display device, wherein the arithmetic processing unit of the display device converts the three spectral sensitivities acquired by the imaging device into an arbitrary color system.
また本発明は、前記画像を任意の位置、数ないし形状にブロック分けし、個々の該ブロックにおける輝度、色度または色差を視覚化処理して該ブロックの位置に対応する前記画像の位置に表示することを特徴とする色彩輝度表示装置である。 Also, the present invention divides the image into arbitrary positions, numbers or shapes, visualizes the luminance, chromaticity or color difference in each block and displays them at the position of the image corresponding to the position of the block. This is a color luminance display device.
また本発明は、前記画像の任意の二点間における輝度、色度または色差を視覚化処理して前記画面に表示することを特徴とする色彩輝度表示装置である。 The present invention is also the color luminance display device characterized in that the luminance, chromaticity or color difference between any two points of the image is visualized and displayed on the screen.
また上記課題に鑑み本発明は、ＣＩＥ ＸＹＺ等色関数と等価に線形変換された三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従って観測対象物を撮像する撮像ステップと、撮像された画像の任意の位置における輝度、色度または色差を演算し視覚化処理する演算処理ステップと、視覚化処理された輝度、色度または色差を前記画面に表示する表示ステップと、を備える色彩輝度表示方法である。 Further, in view of the above problems, the present invention images an observation object according to three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) that are linearly converted equivalently to the CIE XYZ color matching functions. An imaging step, a calculation processing step for calculating and visualizing luminance, chromaticity or color difference at an arbitrary position of the captured image, and a display for displaying the visualized luminance, chromaticity or color difference on the screen A color luminance display method comprising: a step.
また本発明は、前記演算処理ステップの前に、撮像された画像をＣＩＥ ＸＹＺ表色系における三刺激値Ｘ，Ｙ，Ｚに変換し、および／または、その他の任意の表色系に変換する変換処理ステップを備えることを特徴とする色彩輝度表示方法である。 In the present invention, the captured image is converted into tristimulus values X, Y, and Z in the CIE XYZ color system and / or converted into any other color system before the arithmetic processing step. A color luminance display method comprising a conversion processing step.
また本発明は、前記演算処理ステップにおいて、前記画像を任意の位置、数ないし形状にブロック分けし、個々の該ブロックにおける輝度、色度または色差を視覚化処理し、前記表示ステップにおいて、前記視覚化処理した輝度、色度または色差を前記ブロックの位置に対応する前記画像の位置に表示することを特徴とする色彩輝度表示方法である。 Further, according to the present invention, in the calculation processing step, the image is divided into blocks at an arbitrary position, number or shape, and brightness, chromaticity or color difference in each block is visualized, and in the display step, the visual processing is performed. The color luminance display method is characterized in that the luminance, chromaticity, or color difference subjected to the conversion processing is displayed at the position of the image corresponding to the position of the block.
また本発明は、前記演算処理ステップにおいて、前記画像の任意の二点間における輝度、色度または色差を視覚化処理することを特徴とする色彩輝度表示方法である。 The present invention is also the color luminance display method characterized in that, in the arithmetic processing step, the luminance, chromaticity or color difference between any two points of the image is visualized.
本発明における撮像装置は、三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）により、すなわち、観測対象物を三つのチャンネルに分けて撮像することとなるが、その手段としては、これらの分光感度を得るために設定された光学フィルタまたはダイクロイックミラーもしくはダイクロイックプリズム等のいずれであるかを問わず用いることができる。 The image pickup apparatus according to the present invention picks up an image with three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)), that is, the observation object is divided into three channels. As the means, any of an optical filter set to obtain these spectral sensitivities, a dichroic mirror, a dichroic prism, or the like can be used.
前記撮像装置の分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）は、ＣＩＥ ＸＹＺ分光特性から負の値を持たない、単独ピークを持つ山形であり、それぞれの分光感度曲線のピーク値が等しく、かつ分光感度の曲線の重なりは最小限にするという条件から等価変換したものであって、分光特性Ｓ１のカーブは、ピーク波長が５８２ｎｍであり、半値幅が５２３〜６２９ｎｍであり、１／１０幅が４９１〜６６３ｎｍである。分光特性Ｓ２のカーブは、ピーク波長が５４３ｎｍであり、半値幅が５０６〜５８９ｎｍであり、１／１０幅が４６４〜６３２ｎｍである。分光特性Ｓ３のカーブは、ピーク波長が４４６ｎｍであり、半値幅が４２３〜４７８ｎｍであり、１／１０幅が４０９〜５０８ｎｍである。 Spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) of the imaging device are mountain-shaped with a single peak having no negative value from the CIE XYZ spectral characteristics. Equivalent conversion is performed under the condition that the peak values of the sensitivity curves are equal and the overlap of the spectral sensitivity curves is minimized. The curve of the spectral characteristic S 1 has a peak wavelength of 582 nm and a half-value width of 523. ˜629 nm, and 1/10 width is 491 to 663 nm. Curve of the spectral characteristics S 2 is a peak wavelength of 543 nm, the half value width is 506~589nm, 1/10 width is 464～632Nm. Curve of the spectral characteristics S 3 is a peak wavelength of 446 nm, the half value width is 423~478nm, 1/10 width is 409～508Nm.
本発明における輝度、色度または色差とは本発明で扱う色情報の具体例を表わすにすぎず、任意の表色系における色相、明度、彩度、反射率等を扱うことができるのは無論である。 The luminance, chromaticity, or color difference in the present invention only represents a specific example of color information handled in the present invention, and it is of course possible to handle hue, brightness, saturation, reflectance, etc. in an arbitrary color system. It is.
前記演算処理部または前記演算処理ステップにおける演算処理は、輝度、色度または色差等の平均値、最大・最小値と、それらの時間的変化や、画像上における位置的変化等を演算するものである。 The arithmetic processing in the arithmetic processing unit or the arithmetic processing step is to calculate average values such as luminance, chromaticity, or color difference, maximum / minimum values, temporal changes thereof, positional changes on the image, and the like. is there.
前記視覚化処理とは、色度図、グラフ、数値の分布を色分けしたもの等が例として挙げられる、数値を視覚的に捉えることが容易となる手段で表示するための処理をいう。 The visualization process refers to a process for displaying numerical values easily by means such as a chromaticity diagram, a graph, and a numerical distribution of numerical values.
本発明における前記画像とは、静止画であるか動画であるかを問わないものであり、前記撮像ステップ、前記変換処理ステップ、前記演算処理ステップ、および前記表示ステップは即時かつ連続的に行われることが望ましい。 The image in the present invention may be a still image or a moving image, and the imaging step, the conversion processing step, the calculation processing step, and the display step are performed immediately and continuously. It is desirable.
前記ブロックとは、前記画像を区切ることであり、上述の通り、位置、数ないし形状等を問わず任意に設定できるものである。例えば、前記ブロックを１点のみから構成することとしてもよい。すなわち、検出限度の最小単位である任意のスポットを観測することや、区切り数をゼロとして前記画像全体を一つのブロックとして扱うことも可能である。これに限らず、一つ以上の区切りを設けることを必須の構成としてもよい。 The block is to divide the image, and can be arbitrarily set regardless of position, number or shape as described above. For example, the block may be composed of only one point. That is, it is possible to observe an arbitrary spot, which is the minimum unit of detection limit, or to treat the entire image as one block with the number of delimiters set to zero. However, the present invention is not limited to this, and one or more delimiters may be provided.
前記画像の任意の二点間を選択する際においては、二点間による線分と直交する方向に幅を持たせることも好適である。これによりＳ／Ｎが低い場合においてノイズの影響を減らすことができる。 When selecting between two arbitrary points of the image, it is also preferable to give a width in a direction perpendicular to the line segment between the two points. This can reduce the influence of noise when the S / N is low.
本発明の色彩輝度表示装置または色彩輝度表示方法によれば、人の眼の感度に忠実な色情報を取得し、これを即時に分析ないし表示することができる。第一次的に得られる色情報はＸＹＺ等色関数と等価な関数による三つの分光感度であって、これらの分光感度の重なり合いは小さく、Ｓ／Ｎも十分にとれ、分光感度の曲線におけるカーブも自然に変化するため、非常に高精度な測色が可能である。この三つの分光感度を三刺激値Ｘ，Ｙ，Ｚを介して、または、直接に任意の表色系に変換して輝度、色度または色差を演算し視覚化処理することにより、人の眼では直接に判別することが難しい微妙な色の時間的変化、位置的変化や色差を客観的なデータとして示すことができ、しかもこれを直感的に把握する形態で表示することが可能である。これらの一連の処理には特別にタイムラグが生じることなく、すなわち、演算処理速度に依存する限りにおいてリアルタイムに撮像ないし表示することができる。 According to the color luminance display device or the color luminance display method of the present invention, color information faithful to the sensitivity of the human eye can be acquired, and this can be immediately analyzed or displayed. The color information obtained primarily is three spectral sensitivities based on functions equivalent to the XYZ color matching functions. The overlap of these spectral sensitivities is small, the S / N is sufficient, and the curve in the spectral sensitivity curve. Since it changes naturally, it is possible to measure colors with very high accuracy. By converting these three spectral sensitivities via tristimulus values X, Y, and Z or directly into an arbitrary color system and calculating brightness, chromaticity or color difference and visualizing them, Therefore, it is possible to show subtle changes in color over time, positional changes, and color differences as objective data, which are difficult to discriminate directly, and display them in a form that can be intuitively grasped. These series of processes can be imaged or displayed in real time without any particular time lag, that is, as long as they depend on the calculation processing speed.
また、本発明において、観測対象物を撮像した画像を任意の位置、数ないし形状にブロック分けして分析ないし表示することにより、所望するデータをより効率的に抽出することができる。例えば、所望のブロックにおける輝度の時間的変化をデータ化できる。また例えば、各ブロックにおける色情報を一つの数値により代表させ、各ブロック間の相違を観察・分析することができる。この際、ブロックの大きさを様々に変えることにより、色の位置的な分布変化をマクロな視点からミクロな視点まで様々に分析することができる。 Further, in the present invention, desired data can be extracted more efficiently by analyzing and displaying an image obtained by capturing an observation object in blocks at arbitrary positions, numbers, and shapes. For example, the temporal change in luminance in a desired block can be converted into data. Further, for example, color information in each block can be represented by a single numerical value, and differences between the blocks can be observed and analyzed. At this time, by changing the block size in various ways, it is possible to analyze the change in the positional distribution of colors from a macro viewpoint to a micro viewpoint.
また、本発明において、観測対象物を撮像した画像を表示する前記画面上の任意の二点間を選択し、その二点間における輝度、色度または色差の位置的変化を視覚化処理して前記画面に表示することもできるが、これは非常に直感的な操作であり、使用者は画像を見て所望する任意の二点間を瞬時に選択し、その操作に従った輝度、色度または色差等の情報をリアルタイムで把握することができる。 Further, in the present invention, an arbitrary two points on the screen for displaying an image obtained by imaging an observation target are selected, and a positional change in luminance, chromaticity or color difference between the two points is visualized. Although it can be displayed on the screen, this is a very intuitive operation, and the user sees the image and instantaneously selects between any two desired points, and the brightness and chromaticity according to the operation are selected. Or information such as color difference can be grasped in real time.
本発明の色彩輝度表示装置または色彩輝度表示方法は、分光測色器より安価に提供し、または使用することができるため、より手軽に汎用的な利用が可能である。本発明の色彩輝度表示装置または色彩輝度表示方法の典型的な利用として高解像度ディスプレイ等の製造現場における色ムラ等の検査が挙げられるが、その他の検査、印刷評価や、遠隔地における色情報の即時共有等も可能である。 Since the color luminance display device or the color luminance display method of the present invention can be provided or used at a lower cost than a spectrocolorimeter, it can be used more easily and universally. A typical use of the color luminance display device or the color luminance display method of the present invention includes inspection for color unevenness at a manufacturing site such as a high-resolution display, etc., but other inspections, print evaluation, and remote color information Instant sharing is also possible.
本発明の好適な実施例による色彩輝度表示装置１について図１〜図１１を参照して説明する。色彩輝度表示装置１は、図１に示す通り、ＸＹＺ等色関数と等価な線形変換である三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）（図２参照）に従って三つの画像情報として画像３を撮像する撮像装置２と、撮像装置２により取得した画像３を画面４２（図１，図６参照）に表示する表示装置４と、を備える。以下、詳細に説明する。 A color luminance display device 1 according to a preferred embodiment of the present invention will be described with reference to FIGS. As shown in FIG. 1, the color luminance display device 1 has three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) which are linear transformations equivalent to XYZ color matching functions (FIG. 2). The image pickup device 2 that picks up the image 3 as three pieces of image information and the display device 4 that displays the image 3 acquired by the image pickup device 2 on a screen 42 (see FIGS. 1 and 6) are provided. Details will be described below.
撮像装置２の分光感度はルータ条件を満たすものであって、その分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）は、図２に示す通り、ＸＹＺ等色関数から、負の値を持たず、単独ピークを持つ山形であり、それぞれの分光感度曲線のピーク値が等しく、かつ分光感度の曲線の重なりはできるだけ少なくするという条件から等価変換したものである。分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）は具体的には以下の特性を持つ。
記
ピーク波長 半値幅 １／１０幅
Ｓ１ ５８２ｎｍ ５２３〜６２９ｎｍ ４９１〜６６３ｎｍ
Ｓ２ ５４３ｎｍ ５０６〜５８９ｎｍ ４６４〜６３２ｎｍ
Ｓ３ ４４６ｎｍ ４２３〜４７８ｎｍ ４０９〜５０８ｎｍ
The spectral sensitivity of the imaging apparatus 2 satisfies the router condition, and the spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) are XYZ color matching functions as shown in FIG. Thus, it is a mountain shape having no negative value and having a single peak, equivalent conversion is performed under the condition that the peak values of the respective spectral sensitivity curves are equal and the overlapping of the spectral sensitivity curves is minimized. Specifically, the spectral sensitivity (S 1 (λ), S 2 (λ), S 3 (λ)) has the following characteristics.
Peak wavelength Half width 1/10 width S 1 582nm 523-629nm 491-663nm
S 2 543nm 506~589nm 464~632nm
S 3 446 nm 423-478 nm 409-508 nm
上記の分光特性Ｓ１のピーク波長を５８０±４ｎｍ、分光特性Ｓ２のピーク波長を５４３±３ｎｍ、分光特性Ｓ３のピーク波長を４４６±７ｎｍとして取り扱うこともできる。 The peak wavelength of the spectral characteristics S 1 of the 580 ± 4nm, 543 ± 3nm peak wavelength of the spectral characteristics S 2, it is also possible to handle the peak wavelength of the spectral characteristics S 3 as 446 ± 7 nm.
三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）は次の数式１を用いて求められるものである。分光特性自体についての詳細は特開２００５−２５７８２７号公報を参照されたい。
撮像装置２は、図１に示すように、撮影レンズ２１と、この撮影レンズ２１の後方に配置された三つの光学フィルタ２２ａ，２２ｂ，２２ｃと、光学フィルタ２２ａ，２２ｂ，２２ｃの後方に配置された撮像素子２３（ＣＣＤ、ＣＭＯＳなど）と、を備えている。撮像装置２の三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）は、光学フィルタ２２ａ，２２ｂ，２２ｃの分光透過率と撮像素子２３の分光感度との積により与えられるものである。図１における光学フィルタ２２ａ，２２ｂ，２２ｃと撮像素子２３との配列的関係は模式的に示したものにすぎないものである。三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従って画像情報を取得する方式について以下に具体例を挙げるが、本実施例ではこれらのうちいずれをも採ることができ、また、その他の方式を採ることもできる。 As shown in FIG. 1, the imaging device 2 is disposed behind the photographing lens 21, the three optical filters 22a, 22b, and 22c disposed behind the photographing lens 21, and the optical filters 22a, 22b, and 22c. And an image pickup device 23 (CCD, CMOS, etc.). The three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) of the imaging device 2 are the products of the spectral transmittances of the optical filters 22a, 22b, and 22c and the spectral sensitivity of the image sensor 23. Is given by. The arrangement relationship between the optical filters 22a, 22b, and 22c and the image sensor 23 in FIG. 1 is merely shown schematically. Specific examples of the method of acquiring image information according to the three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) will be given below. In the present embodiment, any of these is adopted. It is also possible to adopt other methods.
図３（ａ）に示すものはダイクロイックミラーを用いる方式である。これはダイクロイックミラー２２ｃ´により特定の波長の光を反射し、透過した残りの光について、さらに別のダイクロイックミラー２２ａ´により別の特定の波長の光を反射して分光し、撮像素子２３ａ，２３ｂ，２３ｃを三つ並列にして読み出す方式である。ここでは、ダイクロイックミラー２２ａ´が光学フィルタ２２ａ，２２ｂに相当し、ダイクロイックミラー２２ｃ´が光学フィルタ２２ｃに相当する。撮影レンズ２１から入射する光はダイクロイックミラー２２ｃ´により分光感度Ｓ３に従う光が反射され、残りの光は透過する。ダイクロイックミラー２２ｃ´により反射された光を反射鏡２６により反射して撮像素子２３ｃにより分光感度Ｓ３を得る。一方、ダイクロイックミラー２２ｃ´を透過した光は、ダイクロイックミラー２２ａ´において、分光感度Ｓ１に従う光が反射され、残りの分光感度Ｓ２に従う光は透過するため、それぞれ撮像素子２３ａ、撮像素子２３ｂにより撮像して分光感度Ｓ１，Ｓ２を得る。ダイクロイックミラーに代えて同様な特性を有するダイクロイックプリズムを用いて三つに分光し、それぞれの光が透過する位置に撮像素子２３ａ，２３ｂ，２３ｃを接着することとしてもよい。 FIG. 3A shows a system using a dichroic mirror. This is because light of a specific wavelength is reflected by the dichroic mirror 22c ′, and the remaining light that has been transmitted is further reflected and spectrally reflected by another dichroic mirror 22a ′ to obtain image sensors 23a and 23b. , 23c are read in parallel. Here, the dichroic mirror 22a ′ corresponds to the optical filters 22a and 22b, and the dichroic mirror 22c ′ corresponds to the optical filter 22c. Light incident from the photographic lens 21 is reflected light according to the spectral sensitivity S 3 by the dichroic mirror 22C', the remaining light is transmitted. Obtaining a spectral sensitivity S 3 by the imaging device 23c of the light reflected by the dichroic mirror 22c' reflected by the reflecting mirror 26. On the other hand, the dichroic light transmitted through the dichroic mirror 22c', in the dichroic mirror 22a ', it is reflected light in accordance with the spectral sensitivity S 1, since the light in accordance with the rest of the spectral sensitivity S 2 passes through each image sensor 23a, the image pickup device 23b Imaging is performed to obtain spectral sensitivities S 1 and S 2 . Instead of the dichroic mirror, a dichroic prism having the same characteristics may be used to split the light into three, and the image sensors 23a, 23b, and 23c may be bonded to the positions where each light is transmitted.
図３（ｂ）に示すものはフィルタターレット２７を用いる方式である。撮影レンズ２１からの入射光と同じ方向を回転軸に持つフィルタターレット２７に光学フィルタ２２ａ，２２ｂ，２２ｃを設けてこれらを機械的に回転させ、順次透過する光について撮像素子２３により三つの分光感度Ｓ１，Ｓ２，Ｓ３を得るものである。 The system shown in FIG. 3B uses a filter turret 27. Optical filters 22a, 22b, and 22c are provided on a filter turret 27 having the same direction as the incident light from the photographic lens 21 as a rotation axis, and these are mechanically rotated. S 1 , S 2 , S 3 are obtained.
図３（ｃ）に示すものは光学フィルタ２２ａ，２２ｂ，２２ｃを撮像素子２３に微視的に貼着する方式である。撮像素子２３上における光学フィルタ２２ａ，２２ｂ，２２ｃは、図３（ｄ）に示すように、ベイヤー配列型に設けられる。この配列は、格子状に分けた撮像素子２３上の領域のうち半分に光学フィルタ２２ｂを設け、残りの半分の領域に光学フィルタ２２ａと光学フィルタ２２ｃとをそれぞれ均等に配置するものである。すなわち、配置量は光学フィルタ２２ａ：光学フィルタ２２ｂ：光学フィルタ２２ｃ＝１：２：１となる。光学フィルタ２２ａ，２２ｂ，２２ｃの配列をベイヤー配列以外のものとすることは本実施例において特に妨げられない。一つ一つの光学フィルタ２２ａ，２２ｂ，２２ｃは非常に微細であるため、印刷により撮像素子２３に貼着される。ただし、本発明はこの配列に意味があるのではなく、分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）の特性のフィルタを撮像素子に貼着することにある。 FIG. 3C shows a method in which the optical filters 22 a, 22 b, and 22 c are microscopically attached to the image sensor 23. The optical filters 22a, 22b, and 22c on the image sensor 23 are provided in a Bayer arrangement type as shown in FIG. This arrangement is such that the optical filter 22b is provided in half of the area on the image sensor 23 divided into a grid, and the optical filter 22a and the optical filter 22c are equally arranged in the remaining half of the area. That is, the arrangement amount is optical filter 22a: optical filter 22b: optical filter 22c = 1: 2: 1. The arrangement of the optical filters 22a, 22b, and 22c other than the Bayer arrangement is not particularly disturbed in this embodiment. Each of the optical filters 22a, 22b, and 22c is very fine and is attached to the image sensor 23 by printing. However, in the present invention, this arrangement is not meaningful, but a filter having characteristics of spectral sensitivity (S 1 (λ), S 2 (λ), S 3 (λ)) is attached to the image sensor. .
撮像装置２は分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）により取得した画像情報をＸＹＺ表色系における三刺激値Ｘ，Ｙ，Ｚに変換する演算処理部２４を備える。これに限らず、演算処理部２４に相当する部分を表示装置４に設けることとしてもよい。 The imaging device 2 is an arithmetic processing unit that converts image information acquired by spectral sensitivity (S 1 (λ), S 2 (λ), S 3 (λ)) into tristimulus values X, Y, and Z in the XYZ color system. 24. However, the present invention is not limited thereto, and a portion corresponding to the arithmetic processing unit 24 may be provided in the display device 4.
表示装置４は、撮像装置２により取得した画像３の任意の位置における輝度、色度または色差等を演算し視覚化処理する演算処理部４１と、視覚化処理された輝度、色度または色差を表示する画面４２とを備える。その他、表示装置４は適宜、入力手段（図示略）等を備える。入力手段はキーボード、マウス、画面４２に設けられるタッチパネル等である。表示装置４が備える演算処理部４１は、必ずしも画面４２と一体の筐体に含まれる必要はなく、画面４２と別体に設け、表示装置４はこれら別体の演算処理部４１および画面４２を連結することにより構成することもできる。 The display device 4 calculates the luminance, chromaticity, color difference, or the like at an arbitrary position of the image 3 acquired by the imaging device 2 and performs a visualization process, and the visualized luminance, chromaticity, or color difference. And a screen 42 to be displayed. In addition, the display device 4 includes input means (not shown) and the like as appropriate. The input means is a keyboard, a mouse, a touch panel provided on the screen 42, or the like. The arithmetic processing unit 41 included in the display device 4 is not necessarily included in a housing integral with the screen 42, and is provided separately from the screen 42, and the display device 4 includes the separate arithmetic processing unit 41 and the screen 42. It can also be configured by connecting.
撮像装置２と別途に輝度計（図示略）を設けることもできる。これにより輝度を絶対値として取得できる。 A luminance meter (not shown) may be provided separately from the imaging device 2. Thereby, the luminance can be acquired as an absolute value.
色彩輝度表示装置１の使用方法について具体例を挙げつつ説明する。色彩輝度表示装置１は、図１に示す通り、撮像装置２と表示装置４とを接続することにより構成され、この状態で使用される。接続方法は有線・無線を問わず選択できる。撮像装置２におけるフローチャートを図４に、表示装置４におけるフローチャートを図５に、それぞれ示す。 A method of using the color luminance display device 1 will be described with a specific example. The color luminance display device 1 is configured by connecting an imaging device 2 and a display device 4 as shown in FIG. 1 and is used in this state. The connection method can be selected regardless of wired or wireless. The flowchart in the imaging device 2 is shown in FIG. 4, and the flowchart in the display device 4 is shown in FIG.
撮像装置２を使用するにはまず電源を入れてから、図４に示す通り、初期化をする（初期化Ｓ１）。つぎに、分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）により観測対象物５を撮像し（撮像処理Ｓ２）、その後、撮像された画像データを撮像素子２３により入力し（入力処理Ｓ３）、演算処理部２４にて三刺激値Ｘ，Ｙ，Ｚに変換する（変換処理Ｓ４）。この三刺激値Ｘ，Ｙ，Ｚは表示装置４に送信される（データ送信Ｓ５）。画像３が動画である場合には、撮像処理Ｓ２からデータ送信Ｓ５の一連の処理が連続的に行われる。 In order to use the imaging apparatus 2, the power is first turned on, and then initialization is performed as shown in FIG. 4 (initialization S1). Next, the observation object 5 is imaged by spectral sensitivity (S 1 (λ), S 2 (λ), S 3 (λ)) (imaging processing S 2), and then the captured image data is captured by the image sensor 23. Input (input processing S3), and the arithmetic processing unit 24 converts it into tristimulus values X, Y, and Z (conversion processing S4). The tristimulus values X, Y, and Z are transmitted to the display device 4 (data transmission S5). When the image 3 is a moving image, a series of processes from the imaging process S2 to the data transmission S5 are continuously performed.
表示装置４を使用するにはまず電源を入れてから、図５に示す通り、初期化をする（初期化Ｓ１１）。表示装置４は撮像装置２と接続された状態において、撮像装置２から送信されたデータを受信する（データ受信Ｓ１２）。その後、三刺激値Ｘ，Ｙ，Ｚによる画像データを任意の表色系に色空間を変換する（変換処理Ｓ１３）。任意の表色系に変換した画像データから所望の輝度、色度または色差等を演算し（演算処理Ｓ１４）、その内容を画面４２に表示する（表示処理Ｓ１５）。撮像装置２からデータ受信Ｓ１２に従い、変換処理Ｓ１３から表示処理Ｓ１５の一連の処理が連続的に行われる。これらの処理について以下により具体的に説明する。 In order to use the display device 4, the power is first turned on, and then initialization is performed as shown in FIG. 5 (initialization S11). The display device 4 receives the data transmitted from the imaging device 2 while being connected to the imaging device 2 (data reception S12). Thereafter, the color space of the image data based on the tristimulus values X, Y, and Z is converted into an arbitrary color system (conversion processing S13). A desired luminance, chromaticity, color difference or the like is calculated from the image data converted into an arbitrary color system (calculation process S14), and the contents are displayed on the screen 42 (display process S15). In accordance with data reception S12 from the imaging device 2, a series of processing from conversion processing S13 to display processing S15 is continuously performed. These processes will be described more specifically below.
撮像処理Ｓ２は、三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）を有する撮像装置２によって観測対象物５を撮像する工程である（図１，図４参照）。分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）は上記の数式１に従って与えられるものである。撮影レンズ２１と光学フィルタ２２ａ，２２ｂ，２２ｃと撮像素子２３により撮像されると同時に入力処理Ｓ３が連続的に行われる。 The imaging process S2 is a process of imaging the observation object 5 by the imaging device 2 having three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) (FIGS. 1 and 4). reference). Spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) are given according to the above equation 1. Input processing S3 is continuously performed at the same time as imaging is performed by the photographing lens 21, the optical filters 22a, 22b, and 22c, and the image sensor 23.
入力された画像データは分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従った値であるため、撮像装置２の演算処理部２４における変換処理Ｓ４によって、撮像された画像３の画像データを三刺激値Ｘ，Ｙ，Ｚに変換する。この変換は数式１に従って行われる。すなわち、数式１における係数の逆行列を乗じて三刺激値Ｘ，Ｙ，Ｚを得ることとなる。変換処理Ｓ４においては、三刺激値Ｘ，Ｙ，Ｚに変換するのみならず、その他の表色系に色空間を変換してもよい。また、三刺激値Ｘ，Ｙ，Ｚを介さずに直接にその他の表色系に色空間を変換してもよい。なお、撮像装置２からは分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従った値のまま送信し、変換処理Ｓ４に相当する処理を表示装置４の演算処理部４１において行うことも可能である。 Since the input image data is a value according to the spectral sensitivity (S 1 (λ), S 2 (λ), S 3 (λ)), imaging is performed by the conversion processing S4 in the arithmetic processing unit 24 of the imaging device 2. The image data of the image 3 is converted into tristimulus values X, Y, and Z. This conversion is performed according to Equation 1. That is, the tristimulus values X, Y, and Z are obtained by multiplying the inverse matrix of the coefficients in Equation 1. In the conversion process S4, not only the tristimulus values X, Y, and Z are converted, but the color space may be converted to another color system. Alternatively, the color space may be directly converted to another color system without using the tristimulus values X, Y, and Z. Note that the imaging device 2 transmits the values in accordance with the spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)), and performs processing corresponding to the conversion processing S4 in the calculation of the display device 4. It can also be performed in the processing unit 41.
表示装置４では、データ受信Ｓ１２により取得した三刺激値Ｘ，Ｙ，Ｚによる画像データを演算処理部４１における変換処理Ｓ１３によって任意の表色系に変換する。上述の通り、三刺激値Ｘ，Ｙ，Ｚによらず、分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従った値のままの画像データを受信し、変換処理Ｓ１３にて三刺激値Ｘ，Ｙ，Ｚに変換し、または、直接に所望の表色系に変換することもできる。さらに、所望の表色系に変換する処理を変換処理Ｓ１３ではなく、撮像装置２での変換処理Ｓ４において事前に行うこととしてもよい。 In the display device 4, the image data based on the tristimulus values X, Y, and Z acquired by the data reception S <b> 12 is converted into an arbitrary color system by the conversion processing S <b> 13 in the arithmetic processing unit 41. As described above, regardless of the tristimulus values X, Y, and Z, the image data is received with the values according to the spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)), In the conversion process S13, it is possible to convert to tristimulus values X, Y, Z, or directly to a desired color system. Furthermore, the process of converting to a desired color system may be performed in advance in the conversion process S4 in the imaging device 2 instead of the conversion process S13.
変換処理Ｓ４および変換処理Ｓ１３においては、ＸＹＺ表色系の他、Ｙｘｙ表色系、ＲＧＢ表色系、ＡｄｏｂｅＲＧＢ表色系、ＣＩＥ Ｌ＊ｕ＊ｖ＊表色系、ＣＩＥ Ｌ＊ａ＊ｂ＊表色系（以下、Ｌ＊ａ＊ｂ＊表色系という）、ＣＭＹ表色系、オストワルト表色系、マンセル表色系、ＨＳＶ表色系、ＰＣＣＳ等に変換することができる。また、特にこれらに限定されず、その他の色空間を用いることができるものとする。この際、必要に応じてカラーマネージメントシステムにより補正をする。このように種々の色空間を用いることができるため、本発明でいう輝度、色度または色差とは、色情報の具体例を表わすにすぎず、任意の色空間における色相、明度、彩度、反射率等の数値概念を含むものである。 In the conversion processing S4 and the conversion processing S13, in addition to the XYZ color system, Yxy color system, RGB color system, Adobe RGB color system, CIE L * u * v * color system, CIE L * a * b * It can be converted into a color system (hereinafter referred to as L * a * b * color system), CMY color system, Ostwald color system, Munsell color system, HSV color system, PCCS, or the like. Further, the present invention is not particularly limited to these, and other color spaces can be used. At this time, correction is performed by a color management system as necessary. Since various color spaces can be used in this way, the luminance, chromaticity, or color difference referred to in the present invention is merely a specific example of color information, and hue, brightness, saturation, It includes numerical concepts such as reflectance.
参考として三刺激値Ｘ，Ｙ，ＺからＹ´ｘｙ表色系への変換式を数式２，３に挙げる。ここでは撮像装置２とともに輝度計（図示略）を使用し、Ｙは輝度計の値（ｎｔ）により校正してＹ´としたものである。色空間の変換式は慣用されているものであるため、その他の詳しい式については割愛する。
演算処理Ｓ１４は、撮像された画像３のうち、任意に選択した位置における輝度、色度または色差等を演算し視覚化処理する工程である。この演算処理は、輝度、色度または色差等の平均値、最大・最小値と、それらの時間的変化や、画像上における位置的変化等の種々の数値をパラメータとして扱うことができる。ここでいう視覚化処理とは、輝度、色度または色差等の数値を視覚的に捉えることが容易となる手段で表示するための処理をいう。例えば、各種グラフ、色度図における分布表示、数値の分布を画像上に色分けしたもの等が例として挙げられる。輝度、色度または色差等のうち一つのパラメータを選択することが考えられるが、例えば三軸グラフを用いて三種のパラメータを同時に評価してもよい。この演算処理Ｓ１４においては次の表示処理Ｓ１５における表示形態に合わせて演算処理されることとなる。また、表示装置４の画面４２に表示するために必要な場合は、画像３や視覚化処理された輝度、色度または色差等の色情報をＲＧＢ等に変換処理する。 The calculation process S14 is a process of calculating and visualizing luminance, chromaticity, color difference, and the like at an arbitrarily selected position in the captured image 3. In this calculation process, various values such as average values such as luminance, chromaticity, or color difference, maximum / minimum values, temporal changes thereof, and positional changes on the image can be handled as parameters. The visualization process here refers to a process for displaying numerical values such as luminance, chromaticity, or color difference by means that make it easy to visually grasp. For example, various graphs, distribution displays in chromaticity diagrams, color distribution of numerical values on images, and the like can be cited as examples. Although it is conceivable to select one of the parameters such as luminance, chromaticity, or color difference, for example, three parameters may be simultaneously evaluated using a triaxial graph. In the calculation processing S14, calculation processing is performed in accordance with the display form in the next display processing S15. Further, when it is necessary to display on the screen 42 of the display device 4, the image 3 and the color information such as the luminance, chromaticity, or color difference that has been visualized are converted into RGB or the like.
表示処理Ｓ１５は、視覚化処理された輝度、色度または色差等を画面４２に表示する工程である。表示形態やパラメータは表示装置４に備わる入力手段により任意に選択し、演算処理Ｓ１４にて演算される。視覚化処理された数値情報は任意の形式で記録することができる。表示形態の例を図６（ａ）（ｂ）と、図６（ｃ）（ｄ）とに示す。図６の（ａ）はＹ´ｘｙ表色系に変換した画像３をブロック４３によって分割した状態の画面４２の模式図であり、（ｂ）はそれぞれのブロック４３において色度図を示したものである。図６の（ｃ）はＬ＊ａ＊ｂ＊表色系に変換した画像３において線分４４を選択した状態の画面４２の模式図であり、（ｄ）は線分４４における色差ΔＥのグラフを示したものである。 The display process S15 is a process for displaying the visualized luminance, chromaticity, color difference, or the like on the screen 42. The display form and parameters are arbitrarily selected by the input means provided in the display device 4, and are calculated in the calculation process S14. The visualized numerical information can be recorded in an arbitrary format. Examples of display modes are shown in FIGS. 6A and 6B and FIGS. 6C and 6D. 6A is a schematic diagram of the screen 42 in a state where the image 3 converted into the Y′xy color system is divided by the block 43, and FIG. 6B shows a chromaticity diagram in each block 43. It is. 6C is a schematic diagram of the screen 42 in a state where the line segment 44 is selected in the image 3 converted into the L * a * b * color system, and FIG. 6D is a graph of the color difference ΔE in the line segment 44. Is shown.
一つの表示形態として、画像３を任意の位置、数ないし形状のブロック４３に分け、個々のブロック４３における輝度、色度または色差を視覚化処理してブロック４３の位置に対応する画像３の位置に表示することが挙げられる（図６（ａ）（ｂ））。ブロック４３は、位置、数ないし形状等を問わず任意に設定して画像３を区切り設定することができる。例えば、ブロック４３を１点のみから構成することとしてもよい。すなわち、検出限度の最小単位である任意のスポットを観測することや、区切り数をゼロとして画像３全体を一つのブロックとして扱うことも可能である。これに限らず、一つ以上の区切りを設けることを必須の構成としてもよい。 As one display form, the image 3 is divided into blocks 43 of any position, number or shape, and the luminance, chromaticity or color difference in each block 43 is visualized, and the position of the image 3 corresponding to the position of the block 43 (FIGS. 6A and 6B). The block 43 can be arbitrarily set regardless of the position, number or shape, and the image 3 can be set as a delimiter. For example, the block 43 may be composed of only one point. That is, it is possible to observe an arbitrary spot, which is the minimum unit of detection limit, or to treat the entire image 3 as one block with the number of divisions being zero. However, the present invention is not limited to this, and one or more delimiters may be provided.
ブロック４３を用いる表示形態のより具体な例を図７に示す。図７は、画像３を縦５列×横５列に分割して２５個のブロック４３を設け、各ブロックにおける色度分布の時間的変化をｘｙ色度図上に表したものである。一つのブロックにおけるｘｙ色度図の例を図８に示す。 A more specific example of the display form using the block 43 is shown in FIG. FIG. 7 shows an image xy chromaticity diagram showing temporal changes in chromaticity distribution in each block by providing 25 blocks 43 by dividing the image 3 into 5 vertical columns × 5 horizontal columns. An example of the xy chromaticity diagram in one block is shown in FIG.
図９に示す具体例は、別の画像３を、図７におけるものと同様に画像３を縦５列×横５列に分割して２５個のブロック４３を設けた状態において、別の視覚化処理をし、それを表示したものである。これはそれぞれのブロック４３における色差ΔＥ（時間的変化量）をグラフにより示したものである。Ｌ＊ａ＊ｂ＊表色系における色差ΔＥを求める計算式を数式４に示す。色差ΔＥは色空間のユークリッド距離により与えられるものであり、例えば、その他のより精度の高いΔＥ＝２０００により計算してもよい。また、グラフに示すものは色差ΔＥに限られず、例えば、Ｌ＊ａ＊ｂ＊表色系におけるＬ＊値、ａ＊値、ｂ＊値を並列にグラフ化して表示する方法もある。
また、ブロック４３を用いない別の表示形態として、画像３の任意の二点間における輝度、色度または色差等を視覚化処理して画面４２に表示することが挙げられる。具体的には図６（ｃ）や図１１に示す通り、画面４２において画像３の任意の二点間を選択し、色情報を取得する線分４４を作成する。この選択は表示装置４に備わる入力手段により行う。例えばマウスによって選択する場合、ドラッグの要領で画面上の２点間を選択することが直感的かつ簡便な操作である。画面４２をタッチパネルにして、このような操作を画面４２上にて直接に行うように構成することもできる。図６（ｄ）や図１１においては、このように選択した線分４４における色度の位置的変化量を色差ΔＥとしてグラフに表示するものである。図１１においてはさらに別の線分４４を選択し、そのグラフが表示されている。このように、一つの画像３の上で、複数の線分４４を選択し、これに対応するグラフを複数表示することもできる。また、ブロック４３を用いる表示形態と線分４４を用いる表示形態とを画面４２に同時に表示することとしてもよい。また、Ｌ＊値、ａ＊値、ｂ＊値を色分けしたデータとして表示するとともに、ΔＥのグラフを同時に表示してもよい。 Another display form that does not use the block 43 is to visualize the luminance, chromaticity, color difference, or the like between any two points of the image 3 and display it on the screen 42. Specifically, as shown in FIG. 6C and FIG. 11, any two points on the image 3 are selected on the screen 42, and a line segment 44 for acquiring color information is created. This selection is performed by input means provided in the display device 4. For example, when selecting with the mouse, selecting between two points on the screen in the manner of dragging is an intuitive and simple operation. The screen 42 can be used as a touch panel, and such an operation can be directly performed on the screen 42. In FIG. 6D and FIG. 11, the positional change amount of the chromaticity in the selected line segment 44 is displayed on the graph as a color difference ΔE. In FIG. 11, another line segment 44 is selected and its graph is displayed. As described above, it is possible to select a plurality of line segments 44 on one image 3 and display a plurality of graphs corresponding thereto. Further, the display form using the block 43 and the display form using the line segment 44 may be simultaneously displayed on the screen 42. Further, the L * value, the a * value, and the b * value may be displayed as color-coded data, and the ΔE graph may be displayed simultaneously.
線分４４を選択する際においては、線分４４と直交する方向に幅を持たせることも好適である。すなわち、Ｓ／Ｎが低い場合においてノイズの影響を減らすために、色情報を抽出する対象を増やすことである。 When selecting the line segment 44, it is also preferable to give a width in a direction orthogonal to the line segment 44. That is, in order to reduce the influence of noise when the S / N is low, the number of objects from which color information is extracted is increased.
本発明の実施例による色彩輝度表示装置１およびその使用方法による効果を説明する。これによれば、人の眼の感度に忠実な色情報を取得し、これを適宜、任意に視覚化された形態で表示することができる。画像３としては静止画を扱うことも、動画を扱うこともでき、また、撮像装置２における撮像処理Ｓ１から表示装置４における表示処理Ｓ１５までの一連の処理は連続的に行うことができる。 The effect by the color luminance display apparatus 1 by the Example of this invention and its usage is demonstrated. According to this, it is possible to acquire color information that is faithful to the sensitivity of the human eye, and display it in an arbitrarily visualized form as appropriate. The image 3 can be a still image or a moving image, and a series of processes from the imaging process S1 in the imaging apparatus 2 to the display process S15 in the display apparatus 4 can be performed continuously.
特に、三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従って画像情報を取得する方式として、ダイクロイックミラーまたはダイクロイックプリズムにより分光したり、光学フィルタ２２ａ，２２ｂ，２２ｃを撮像素子２３に微視的に貼着したりして並列に読み出すものとすれば、特別にタイムラグが生じる要素はないため、演算処理速度に依存する限りにおいてリアルタイムに撮像ないし表示することができる。 In particular, as a method of acquiring image information according to three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)), the image information is spectrally separated by a dichroic mirror or a dichroic prism, or optical filters 22a, 22b, If 22c is affixed microscopically to the image sensor 23 and read out in parallel, there is no element that causes a special time lag, so imaging or display can be performed in real time as long as it depends on the processing speed. it can.
画像３について、第一次的に得られる色情報はＸＹＺ等色関数と等価な関数による三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）であるため、ＲＧＢにより取得する場合と比べて人の眼の感度に忠実で高精度である。また、これらの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）の重なり合いは小さく、Ｓ／Ｎも十分にとれ、分光感度の曲線におけるカーブも自然に変化するため、測色における誤差は最低限に留められる。 For image 3, the color information obtained primarily is the three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) by a function equivalent to the XYZ color matching function. Compared with the case of acquiring by RGB, it is highly accurate and faithful to the sensitivity of human eyes. In addition, since the overlap of these spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) is small, S / N is sufficient, and the curve in the spectral sensitivity curve also changes naturally. Errors in colorimetry are kept to a minimum.
この三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）から任意の表色系に変換するにあたっては、三刺激値Ｘ，Ｙ，Ｚを介すこともできるし、三刺激値Ｘ，Ｙ，Ｚを介さずに直接に視覚化処理すべき任意の表色系に変換することもでき、使用する機器に応じて即時性を追求することができる。 When the three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) are converted into an arbitrary color system, tristimulus values X, Y, and Z can be used. In addition, it is possible to directly convert to an arbitrary color system to be visualized without using the tristimulus values X, Y, and Z, and it is possible to pursue immediacy according to the device to be used.
画像３の色情報である輝度、色度または色差等において任意のパラメータを選択して演算し、視覚化処理することにより、人の眼では直接に判別することが難しい微妙な色の時間的変化、位置的変化や色差を客観的なデータとして示すことができ、しかもこれを直感的に把握することが可能となる。また、撮像装置２と別途に輝度計（図示略）を設けることもでき、これにより、輝度を絶対値として取得することが可能となる。 By selecting and calculating arbitrary parameters for brightness, chromaticity, color difference, etc., which are the color information of image 3, and performing visualization processing, subtle changes in color that are difficult for human eyes to distinguish directly over time Positional changes and color differences can be shown as objective data, and this can be grasped intuitively. In addition, a luminance meter (not shown) can be provided separately from the imaging device 2, whereby the luminance can be acquired as an absolute value.
画像３を任意の位置、数ないし形状のブロック４３に分けて分析ないし表示することにより、例えば、任意のブロック４３における輝度の時間的変化をデータ化したり、色情報の位置的な分布変化をマクロな視点からミクロな視点まで様々に分析したりして、所望する色情報をより効率的に抽出することができる。この際、各ブロック４３における視覚化処理されたパラメータを、画像３において各ブロック４３を選択した位置と対応する位置に表示することにより、画像３と見比べてより直感的に色情報を把握することが可能となる。 By analyzing or displaying the image 3 divided into blocks 43 of any position, number or shape, for example, the temporal change of luminance in the arbitrary block 43 is converted into data, or the positional distribution change of color information is macroscopically displayed. The desired color information can be extracted more efficiently by performing various analyzes from a simple viewpoint to a micro viewpoint. At this time, the parameter visualized in each block 43 is displayed at a position corresponding to the position where each block 43 is selected in the image 3 so that the color information can be grasped more intuitively compared with the image 3. Is possible.
また、画像３における任意の二点間を選択し、その二点間による線分４４における輝度、色度または色差等の位置的変化を視覚化処理して画面４２に表示することもでき、色情報の抽出方法がより多彩なものとなる。 Further, any two points in the image 3 can be selected, and a positional change such as luminance, chromaticity, or color difference in the line segment 44 between the two points can be visualized and displayed on the screen 42. The information extraction method becomes more diverse.
これらブロック４３や線分４４の選択は直感的な操作により可能であり、また、上述の通り一連の処理操作は即時かつ連続的に行うことができるため、使用者は画像３を見て所望する色情報を瞬時に選択操作し、その操作に従った輝度、色度または色差等の色情報をリアルタイムで把握することができる。 These blocks 43 and line segments 44 can be selected by an intuitive operation, and a series of processing operations can be performed immediately and continuously as described above. Color information can be selected and operated instantaneously, and color information such as luminance, chromaticity, or color difference according to the operation can be grasped in real time.
本発明の実施例による色彩輝度表示装置１は、輝度、色度または色差等の抽出された一部の色情報のみならず画像３そのものを取得するため、画像３と視覚化処理された色情報を見比べた上で抽出すべき数値を選択でき効率的である。また、第一次的に得た分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）や三刺激値Ｘ，Ｙ，Ｚ等による画像３のデータを保存すれば、リアルタイムでの分析のみならず、事後的に抽出すべきデータを選択しなおすことも可能となる。また、画像３のデータを遠隔地に転送し共有することもできる。さらに、色彩輝度表示装置１は、一般的な分光測色器より安価に構成されるため、より手軽に様々な場面での利用が可能である。 The color luminance display device 1 according to the embodiment of the present invention obtains not only a part of extracted color information such as luminance, chromaticity or color difference but also the image 3 itself, so that the color information visualized with the image 3 is obtained. It is efficient to select numerical values to be extracted after comparing them. If the spectral sensitivity (S 1 (λ), S 2 (λ), S 3 (λ)) obtained primarily and the data of the image 3 by tristimulus values X, Y, Z, etc. are stored, Not only real-time analysis but also data to be extracted later can be selected again. In addition, the data of the image 3 can be transferred to a remote place and shared. Furthermore, since the color luminance display device 1 is configured at a lower cost than a general spectrocolorimeter, it can be used in various situations more easily.
上記特性により色彩輝度表示装置１は、高解像度ディスプレイ等の製造現場における色ムラ等の検査、印刷色の正確な評価とその共有や保存、医療におけるリアルタイムでの遠隔地への転送による診療相談、病理検査における画像判別、テレビ会議システムにおける正確な色情報の共有による商談、正確な色情報による歴史資料や美術工芸品のアーカイブの作成と分析、その他の汎用的な利用用途がある。 Due to the above characteristics, the color luminance display device 1 is capable of inspecting color unevenness at manufacturing sites such as high-resolution displays, accurate evaluation and sharing and storage of printed colors, medical consultation by medical real-time transfer to remote locations, There are image discrimination in pathological examinations, business negotiations by sharing accurate color information in a video conference system, creation and analysis of archives of historical materials and arts and crafts by accurate color information, and other general-purpose uses.
なお、本発明の実施形態は、上記の実施形態に何ら限定されるものではなく、本発明の技術的思想を逸脱しない範囲において、改変等を加えることができるものであり、それらの改変、均等物等も本発明の技術的範囲に含まれ、該技術的範囲に属する限り種々の形態を採り得ることは言うまでもない。例えば、三つの分光感度（Ｓ１(λ)，Ｓ２(λ)，Ｓ３(λ)）に従って画像情報を取得する方式について、本実施例において挙げた方式は具体例に過ぎないものであって、これらに限られず、その他の方式によっても本発明の技術的思想は実施されるものである。 The embodiments of the present invention are not limited to the above-described embodiments, and modifications and the like can be made without departing from the technical idea of the present invention. Needless to say, objects and the like are also included in the technical scope of the present invention and can take various forms as long as they belong to the technical scope. For example, with respect to a method of acquiring image information according to three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)), the method given in this embodiment is only a specific example. However, the technical idea of the present invention is not limited to these and may be implemented by other methods.
本発明は、製造業、印刷業や医療現場における各種検査、遠隔地での色情報の共有、色情報に関するアーカイブの作成等に利用が可能である。 The present invention can be used for various inspections in the manufacturing industry, printing industry and medical field, sharing of color information at a remote place, creation of an archive related to color information, and the like.
Claims (9)
該撮像装置により取得した画像を画面に表示する表示装置と、を備え、
該表示装置が前記画像の任意の位置における輝度、色度または色差を演算し視覚化処理する演算処理部を有し、視覚化処理された輝度、色度または色差を前記画面に表示する色彩輝度表示装置。 An imaging device having three spectral sensitivities (S 1 (λ), S 2 (λ), and S 3 (λ)) linearly converted equivalently to the CIE XYZ color matching function;
A display device that displays an image acquired by the imaging device on a screen,
The display device includes a calculation processing unit that calculates and visualizes luminance, chromaticity, or color difference at an arbitrary position of the image, and displays the luminance, chromaticity, or color difference that has been visualized on the screen. Display device.
撮像された画像の任意の位置における輝度、色度または色差を演算し視覚化処理する演算処理ステップと、
視覚化処理された輝度、色度または色差を前記画面に表示する表示ステップと、を備える色彩輝度表示方法。 An imaging step of imaging an observation object in accordance with three spectral sensitivities (S 1 (λ), S 2 (λ), S 3 (λ)) linearly converted equivalently to the CIE XYZ color matching function;
A calculation processing step for calculating and visualizing luminance, chromaticity or color difference at an arbitrary position of the captured image;
A display step of displaying the visualized luminance, chromaticity, or color difference on the screen.
前記表示ステップにおいて、前記視覚化処理した輝度、色度または色差を前記ブロックの位置に対応する前記画像の位置に表示する請求項６または７の色彩輝度表示方法。 In the calculation processing step, the image is divided into arbitrary positions, numbers or shapes, and the luminance, chromaticity or color difference in each block is visualized,
The color luminance display method according to claim 6 or 7, wherein, in the display step, the visualized luminance, chromaticity, or color difference is displayed at the position of the image corresponding to the position of the block.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012265777A JP2014109562A (en) | 2012-12-04 | 2012-12-04 | Color and luminance display apparatus and color and luminance display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012265777A JP2014109562A (en) | 2012-12-04 | 2012-12-04 | Color and luminance display apparatus and color and luminance display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014109562A true JP2014109562A (en) | 2014-06-12 |
Family
ID=51030266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012265777A Pending JP2014109562A (en) | 2012-12-04 | 2012-12-04 | Color and luminance display apparatus and color and luminance display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014109562A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016030919A1 (en) * | 2014-08-26 | 2016-03-03 | 有限会社パパラボ | Image color distribution examination device and image color distribution examination method |
| WO2016080165A1 (en) * | 2014-11-19 | 2016-05-26 | コニカミノルタ株式会社 | Direct-stimulus-value-reading-type colorimetric photometer |
| CN112599072A (en) * | 2019-09-18 | 2021-04-02 | 群燿光学股份有限公司 | Light color change area display system and display method thereof |
| JP2021076513A (en) * | 2019-11-12 | 2021-05-20 | セイコーエプソン株式会社 | Spectrometric method and spectrometric apparatus |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02189430A (en) * | 1989-01-19 | 1990-07-25 | Mitsubishi Electric Corp | Three-dimensional display system for luminance distribution |
| JPH02243930A (en) * | 1989-03-16 | 1990-09-28 | Toshiba Corp | Irregular color inspecting device |
| JPH06241905A (en) * | 1993-02-22 | 1994-09-02 | Takenaka Syst Kiki Kk | Color discrimination device |
| JPH102800A (en) * | 1996-06-17 | 1998-01-06 | Hitachi Ltd | Method and system for evaluating image quantity of color display and manufacture of color display |
| JP2003018611A (en) * | 2001-07-04 | 2003-01-17 | Sony Corp | Imaging apparatus |
| JP2005260527A (en) * | 2004-03-11 | 2005-09-22 | National Univ Corp Shizuoka Univ | Moving image camera |
| JP2005257827A (en) * | 2004-03-10 | 2005-09-22 | National Univ Corp Shizuoka Univ | Filter |
| US20070139644A1 (en) * | 2005-12-20 | 2007-06-21 | Matthew Lekson | Methods and apparatuses for applying different color calibrations at different locations in an imaging photometer measurement |
| JP2008236534A (en) * | 2007-03-22 | 2008-10-02 | Casio Comput Co Ltd | Digital camera, and information display method and information display control program |
| JP2009043047A (en) * | 2007-08-09 | 2009-02-26 | Seiko Epson Corp | Image display device, image display method, and program |
| JP2012217052A (en) * | 2011-03-31 | 2012-11-08 | Paparabo:Kk | Color display method and color display device |
-
2012
- 2012-12-04 JP JP2012265777A patent/JP2014109562A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02189430A (en) * | 1989-01-19 | 1990-07-25 | Mitsubishi Electric Corp | Three-dimensional display system for luminance distribution |
| JPH02243930A (en) * | 1989-03-16 | 1990-09-28 | Toshiba Corp | Irregular color inspecting device |
| JPH06241905A (en) * | 1993-02-22 | 1994-09-02 | Takenaka Syst Kiki Kk | Color discrimination device |
| JPH102800A (en) * | 1996-06-17 | 1998-01-06 | Hitachi Ltd | Method and system for evaluating image quantity of color display and manufacture of color display |
| JP2003018611A (en) * | 2001-07-04 | 2003-01-17 | Sony Corp | Imaging apparatus |
| JP2005257827A (en) * | 2004-03-10 | 2005-09-22 | National Univ Corp Shizuoka Univ | Filter |
| JP2005260527A (en) * | 2004-03-11 | 2005-09-22 | National Univ Corp Shizuoka Univ | Moving image camera |
| US20070139644A1 (en) * | 2005-12-20 | 2007-06-21 | Matthew Lekson | Methods and apparatuses for applying different color calibrations at different locations in an imaging photometer measurement |
| JP2008236534A (en) * | 2007-03-22 | 2008-10-02 | Casio Comput Co Ltd | Digital camera, and information display method and information display control program |
| JP2009043047A (en) * | 2007-08-09 | 2009-02-26 | Seiko Epson Corp | Image display device, image display method, and program |
| JP2012217052A (en) * | 2011-03-31 | 2012-11-08 | Paparabo:Kk | Color display method and color display device |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016030919A1 (en) * | 2014-08-26 | 2016-03-03 | 有限会社パパラボ | Image color distribution examination device and image color distribution examination method |
| WO2016080165A1 (en) * | 2014-11-19 | 2016-05-26 | コニカミノルタ株式会社 | Direct-stimulus-value-reading-type colorimetric photometer |
| JPWO2016080165A1 (en) * | 2014-11-19 | 2017-08-31 | コニカミノルタ株式会社 | Stimulus value reading type colorimetry photometer |
| US10337921B2 (en) | 2014-11-19 | 2019-07-02 | Konica Minolta, Inc. | Direct-stimulus-valve-reading-type colorimetric photometer |
| CN112599072A (en) * | 2019-09-18 | 2021-04-02 | 群燿光学股份有限公司 | Light color change area display system and display method thereof |
| JP2021076513A (en) * | 2019-11-12 | 2021-05-20 | セイコーエプソン株式会社 | Spectrometric method and spectrometric apparatus |
| JP7331649B2 (en) | 2019-11-12 | 2023-08-23 | セイコーエプソン株式会社 | Spectroscopic measurement method and spectroscopic measurement device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180259394A1 (en) | Color measurement apparatus and color information processing apparatus | |
| US7884980B2 (en) | System for capturing graphical images using hyperspectral illumination | |
| US8976239B2 (en) | System and apparatus for color correction in transmission-microscope slides | |
| JP2015127680A (en) | Measuring device, system and program | |
| JP6113319B2 (en) | Image color distribution inspection apparatus and image color distribution inspection method | |
| JP5841091B2 (en) | Image color distribution inspection apparatus and image color distribution inspection method | |
| US9194746B1 (en) | System for measuring deviation of printed color at a selected location on a moving substrate from a target color | |
| JP2014132256A (en) | Imaging system and color inspection system | |
| JP2014109562A (en) | Color and luminance display apparatus and color and luminance display method | |
| Webb et al. | Spectral and 3D cultural heritage documentation using a modified camera | |
| JP6068375B2 (en) | Spectral radiance meter | |
| US20230370700A1 (en) | Data processing apparatus, data processing method, data processing program, optical element, imaging optical system, and imaging apparatus | |
| JP2012154711A (en) | Optical spectrum estimation device and learning spectrum generation method | |
| JP2014132257A (en) | Similarity determination system and similarity determination method | |
| JP4987045B2 (en) | Color chart processing apparatus, color chart processing method, and color chart processing program | |
| JP6341335B2 (en) | Two-dimensional color measuring device | |
| JP2008206163A (en) | Color image processor | |
| JP4174707B2 (en) | Spectroscopic measurement system, color reproduction system | |
| JP2011089840A (en) | System and method for color evaluation | |
| JP6851082B2 (en) | Multi-point monitor color sharing device | |
| JP4403224B2 (en) | Color conversion system, color conversion method, and color conversion program | |
| JP2007147507A (en) | Spectrometry and optical spectrometer | |
| JP5895094B1 (en) | Image color distribution inspection apparatus and image color distribution inspection method | |
| JP2011095386A (en) | Lookup table forming method | |
| JP2002323376A (en) | Color information measuring method, display color evaluation method, display color adjusting method, and manufacturing method of device using them and projector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161124 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170110 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170523 |