JP2008249438A - Image processing device and its program - Google Patents
Image processing device and its program Download PDFInfo
- Publication number
- JP2008249438A JP2008249438A JP2007089988A JP2007089988A JP2008249438A JP 2008249438 A JP2008249438 A JP 2008249438A JP 2007089988 A JP2007089988 A JP 2007089988A JP 2007089988 A JP2007089988 A JP 2007089988A JP 2008249438 A JP2008249438 A JP 2008249438A
- Authority
- JP
- Japan
- Prior art keywords
- information
- color
- spectral reflectance
- colorimetric value
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 56
- 230000003595 spectral effect Effects 0.000 claims abstract description 147
- 238000004364 calculation method Methods 0.000 claims abstract description 43
- 238000005286 illumination Methods 0.000 claims abstract description 32
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 238000005259 measurement Methods 0.000 claims abstract description 6
- 230000035945 sensitivity Effects 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000009877 rendering Methods 0.000 description 7
- 238000004040 coloring Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Abstract
Description
本発明は、コンピュータグラフィックス技術により、３Ｄ形状の画像データを生成してモニタに描画すると共に、その３Ｄ形状の画像データに色を着色して描画する画像処理装置およびそのプログラムに関する。 The present invention relates to an image processing apparatus that generates 3D shape image data by computer graphics technology and draws the image data on a monitor, and draws the 3D shape image data with a color, and a program thereof.
従来、物体の３Ｄ形状の画像データに色を着色してモニタに描画させる技術として、分光反射率の情報を入力してその分光反射率の情報に基づいてＲＧＢの値を算出し、形状に色を着色して描画する画像処理装置が存在する。また、３バンドカメラ等で撮影した画像から分光反射率を推定して、その分光反射率に基づいてＲＧＢの値を算出し、撮影した形状に色を着色して描画する画像処理装置が存在する（例えば特許文献１参照）。
しかしながら、ユーザが３Ｄ形状のデータをコンピュータに入力してそれに着色するような場合には、実際の物体が存在するわけではないので特許文献１の技術のように３バンドカメラで撮影することはもちろんできない。したがって色を着色するための情報をコンピュータに入力しなければならないが、上述の従来の装置のように分光反射率の情報を入力させるとなると、ユーザが着色したいと思う色を特定するために、図８の分光反射率の入力画面の例で示すように、色の分光反射率を特定するための光の波長とその光の反射率との対応関係の情報を数多く入力しなければならない。したがってどのような色がどのような分光反射率となるのかを知らないユーザにとっては、３Ｄ形状に対して色を着色するために入力する値（波長や反射率の対応関係）が分からず、不便であった。また分光反射率で色の実サンプルを計測してその色が着色される３Ｄ形状の画像を描画すると共に、ユーザがモニタに表示された数多くの色のうちの一つの色を指定してその色で３Ｄ形状の画像を描画することを同時に行う場合には、モニタから指定された色の情報と実サンプルの計測により入力された色の情報の色を表現する情報や次元が違うので、同時に描画処理することができなかった。さらに、ユーザがモニタに表示された色を３Ｄ形状の画像に着色して描画するだけでなく、ユーザがモニタを見ている照明環境下またはユーザが所望する照明環境下に応じた色で、３Ｄ形状の画像に着色してモニタに描画する必要がある。 However, when a user inputs 3D shape data into a computer and colors it, an actual object does not exist, so it is of course possible to shoot with a 3-band camera as in the technique of Patent Document 1. Can not. Therefore, the information for coloring the color must be input to the computer, but when the spectral reflectance information is input as in the above-described conventional apparatus, in order to specify the color that the user wants to color, As shown in the example of the spectral reflectance input screen in FIG. 8, a lot of information on the correspondence between the wavelength of light and the reflectance of the light for specifying the spectral reflectance of the color must be input. Therefore, it is inconvenient for a user who does not know what color and what spectral reflectance the input value (corresponding relationship between wavelength and reflectance) to color the 3D shape is unknown. Met. In addition, the actual sample of the color is measured with the spectral reflectance and a 3D shape image is drawn, and the user designates one of the many colors displayed on the monitor, and the color When drawing a 3D shape image at the same time, the color information specified by the monitor and the color information of the color information input by the measurement of the actual sample are different from each other and the dimensions are different. Could not be processed. Furthermore, not only the color displayed on the monitor by the user is colored and drawn into a 3D-shaped image, but also 3D in a color according to the lighting environment where the user is looking at the monitor or the lighting environment desired by the user. It is necessary to color the shape image and draw it on the monitor.
そこでこの発明は、３Ｄ形状の画像データを表示する画像処理装置において、ユーザが３Ｄ形状に着色する色の特定を容易にするとともに、そのユーザが指定した色にユーザのいる照明環境またはユーザ所望の照明環境に応じた色を描画することができ、さらに、モニタから指定された色の情報と実サンプルの計測により入力された色の情報を同時に用いて一つの３Ｄ画像を描画することのできる画像処理装置およびそのプログラムを提供することを目的としている。 Accordingly, the present invention makes it easy for a user to specify a color to be colored in a 3D shape in an image processing apparatus that displays 3D shape image data, and also provides a user-specified lighting environment or a user-desired color. An image that can draw a color according to the lighting environment, and can draw one 3D image by simultaneously using the color information specified from the monitor and the color information input by measurement of an actual sample. An object of the present invention is to provide a processing device and a program thereof.
上記目的を達成するために、本発明は、画像を出力するモニタに表示された色の指定を受け付ける色情報受付手段と、前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する測色値情報算出手段と、前記算出した測色値情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記算出した測色値情報に対応する分光反射率を算出する分光反射率算出手段と、前記算出した分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段と、前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段と、前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段と、を備えることを特徴とする画像処理装置である。 In order to achieve the above object, the present invention provides color information receiving means for receiving designation of a color displayed on a monitor that outputs an image, information on the color that has received the designation, and a colorimetric value of a color that the monitor develops. And colorimetric value information calculating means for calculating colorimetric value information corresponding to the color information for which the designation is received by the colorimetric value calculation formula, the calculated colorimetric value information, and the spectral sensitivity of the human eye. Spectral reflectance calculation means for calculating a spectral reflectance corresponding to the calculated colorimetric value information based on the spectral sensitivity information obtained and the illumination light spectrum information received as input, and from the calculated spectral reflectance Multispectral data calculating means for calculating N-band multispectral data; 3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data; Serial shape on the monitor based on the 3D image data and a drawing means for drawing the color of the shape, an image processing apparatus comprising: a.
また本発明は、上述の画像処理装置において、前記分光反射率算出手段は、前記算出した測色値情報と、前記人間の目の分光感度を表した分光感度情報と、前記入力を受け付けた照明光スペクトル情報と、に加えさらに、前記３Ｄ画像データが示す形状の被写体の分光反射率特性の統計情報と、に基づいて、前記算出した測色値情報に対応する分光反射率を算出することを特徴とする。 According to the present invention, in the above-described image processing apparatus, the spectral reflectance calculation unit includes the calculated colorimetric value information, spectral sensitivity information representing the spectral sensitivity of the human eye, and illumination that has received the input. Calculating a spectral reflectance corresponding to the calculated colorimetric value information based on the optical spectrum information and statistical information on the spectral reflectance characteristics of the subject having the shape indicated by the 3D image data. Features.
また本発明は、画像を出力するモニタに表示された色の指定を受け付ける色情報受付手段と、前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する第１測色値情報算出手段と、予め記憶する複数の分光反射率の情報から特定したいずれかの分光反射率の情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記特定した分光反射率に対応する測色値情報を算出する第２測色値算出手段と、前記算出された２つの測色値を比較して、最も近い側色値の算出に用いた分光反射率を前記分光反射率記憶手段より読み出して、当該分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段と、前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段と、前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段と、を備えることを特徴とする画像処理装置である。 Further, the present invention provides color information receiving means for receiving a designation of a color displayed on a monitor that outputs an image, color information that has accepted the designation, a colorimetric value of a color that the monitor develops, and a calorimetric value calculation formula. First colorimetric value information calculating means for calculating colorimetric value information corresponding to the color information for which the designation has been received, and any spectral reflectance information specified from a plurality of spectral reflectance information stored in advance; The second colorimetric value for calculating the colorimetric value information corresponding to the specified spectral reflectance based on the spectral sensitivity information representing the spectral sensitivity of the human eye and the illumination light spectrum information accepted. The calculation means and the calculated two colorimetric values are compared, the spectral reflectance used to calculate the closest side color value is read from the spectral reflectance storage means, and the N-band of the spectral reflectance is calculated. Multispectral data calculation tool A spectrum data calculating means, a 3D image data generating means for generating 3D image data using the multispectral data and the 3D modeling data, and drawing a shape and a color of the shape on the monitor based on the 3D image data And an image processing device.
また本発明は、上述の画像処理装置において、前記第２測色値算出手段は、特定した分光反射率の情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に加えさらに、前記３Ｄ画像データが示す形状の被写体の分光反射率特性の統計情報と、に基づいて、前記特定した分光反射率に対応する測色値情報を算出することを特徴とする。 According to the present invention, in the above-described image processing apparatus, the second colorimetric value calculation unit includes the specified spectral reflectance information, spectral sensitivity information representing the spectral sensitivity of the human eye, and illumination that has received an input. Calculating colorimetric value information corresponding to the specified spectral reflectance based on the optical spectral information and statistical information on the spectral reflectance characteristics of the object having the shape indicated by the 3D image data. Features.
また本発明は、上述の画像処理装置において、マルチスペクトルデータ算出手段が、分光反射率計測手段によって計測された分光反射率からＮバンドのマルチスペクトルデータを算出し、前記３Ｄ画像データ生成手段は、前記指定を受け付けた色の情報から算出されたマルチスペクトルデータと、分光反射率計測手段によって計測された分光反射率から算出されたマルチスペクトルデータとの両方を用いて３Ｄ画像データを生成することを特徴とする。 According to the present invention, in the above-described image processing apparatus, the multispectral data calculating unit calculates N-band multispectral data from the spectral reflectance measured by the spectral reflectance measuring unit, and the 3D image data generating unit includes: Generating 3D image data using both the multispectral data calculated from the color information for which the designation has been received and the multispectral data calculated from the spectral reflectance measured by the spectral reflectance measuring means. Features.
また本発明は、コンピュータを、画像を出力するモニタに表示された色の指定を受け付ける色情報受付手段、前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する測色値情報算出手段、前記算出した測色値情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記算出した測色値情報に対応する分光反射率を算出する分光反射率算出手段、前記算出した分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段、前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段、前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段、として機能させるためのプログラムである。 The present invention also provides a computer, a color information receiving unit that receives designation of a color displayed on a monitor that outputs an image, color information that has accepted the designation, and a colorimetric value and a colorimetric value calculation of a color that the monitor develops. Colorimetric value information calculating means for calculating colorimetric value information corresponding to the color information for which the designation has been received by an equation, the calculated colorimetric value information, spectral sensitivity information representing the spectral sensitivity of the human eye, Spectral reflectance calculation means for calculating the spectral reflectance corresponding to the calculated colorimetric value information based on the illumination light spectrum information received as input, and N-band multispectral data from the calculated spectral reflectance. Multispectral data calculating means for calculating, 3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data, and the 3D image data It is a program for causing the rendering means functions as, for drawing color shape and its shape on the monitor based on.
また本発明は、コンピュータを、画像を出力するモニタに表示された色の指定を受け付ける色情報受付手段、前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する第１測色値情報算出手段、予め記憶する複数の分光反射率の情報から特定したいずれかの分光反射率の情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記特定した分光反射率に対応する測色値情報を算出する第２測色値算出手段、前記算出された２つの測色値を比較して、最も近い側色値の算出に用いた分光反射率を前記分光反射率記憶手段より読み出して、当該分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段、前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段、前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段、として機能させるためのプログラムである。 The present invention also provides a computer, a color information receiving unit that receives designation of a color displayed on a monitor that outputs an image, color information that has accepted the designation, and a colorimetric value and a colorimetric value calculation of a color that the monitor develops. First colorimetric value information calculation means for calculating colorimetric value information corresponding to the color information for which the designation is received by an expression, information on any spectral reflectance specified from a plurality of spectral reflectance information stored in advance Second colorimetry for calculating colorimetric value information corresponding to the specified spectral reflectance based on the spectral sensitivity information representing the spectral sensitivity of the human eye and the illumination light spectrum information received as input The value calculation means compares the two calculated colorimetric values, reads the spectral reflectance used to calculate the closest side color value from the spectral reflectance storage means, and calculates the N-band from the spectral reflectance. Multispectral data Multispectral data calculating means for outputting, 3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data, and drawing a shape and a color of the shape on the monitor based on the 3D image data This is a program for functioning as a drawing means.
本発明によれば、３Ｄ形状の画像データを表示する画像処理装置において、ユーザはその３Ｄ形状の色を指定する場合にカラーパレットを用いて指定すればよい。したがってユーザが３Ｄ形状に着色する色の特定を容易にすることができる。また、ユーザが指定した色から分光反射率を算出する際に、ユーザのいる照明環境またはユーザ所望の照明環境の照明光スペクトルを用いると共に、人間の目の感度特性やサンプル特性の統計情報を用いるので、分光反射率の算出において、ユーザの見た色に合わせた分光反射率を算出できる。またモニタにおいて指定された色のＲＧＢ値から算出されたマルチスペクトルデータと、色を実際に測色した値から算出されたマルチスペクトルデータの両方のデータに基づいて３Ｄ画像データを生成することができるので、モニタから指定された色の情報と実サンプルの計測により入力された色の情報を同時に用いて一つの３Ｄ画像を描画することができる。 According to the present invention, in an image processing apparatus that displays 3D shape image data, a user may specify a color of the 3D shape using a color palette. Therefore, the user can easily specify the color to be colored in the 3D shape. In addition, when calculating the spectral reflectance from the color specified by the user, the illumination light spectrum of the illumination environment in which the user is present or the illumination environment desired by the user is used, and statistical information on sensitivity characteristics and sample characteristics of the human eye is used. Therefore, in the calculation of the spectral reflectance, the spectral reflectance matched to the color seen by the user can be calculated. Further, 3D image data can be generated based on both multispectral data calculated from RGB values of a color designated on the monitor and multispectral data calculated from values obtained by actually measuring colors. Therefore, it is possible to draw one 3D image by simultaneously using the color information specified from the monitor and the color information input by measuring the actual sample.
以下、第１の実施形態による画像処理装置を図面を参照して説明する。図１は同実施形態による画像処理装置の構成を示すブロック図である。この図において、符号１は画像処理装置である。そして画像処理装置１はモニタに表示した色の指定を、マウスやキーボードなどの入力手段から受け付ける色指定部１１と、ユーザの居る照明環境下またはユーザ所望の照明環境下の照明スペクトルを記憶する照明スペクトル記憶部１２と、モニタ特性の情報を記憶するモニタ特性記憶部１３と、ユーザに指定された色に基づいてユーザの居る照明環境下またはユーザ所望の照明環境下に応じた色の分光反射率を算出する分光反射率算出部１４と、分光反射率算出部１４で算出された分光反射率に基づいて当該分光反射率の色を表現する６バンドのマルチスペクトルデータを算出する第１マルチスペクトル変換部１５と、実サンプルから計測された分光反射率の入力を受けて、当該分光反射率の色を表現する６バンドのマルチスペクトルデータを算出する第２マルチスペクトル変換部１６と、第１マルチスペクトル変換部１５から入力を受けた分光反射率または第２マルチスペクトル変換部１６から入力を受けたマルチスペクトルデータのいずれかまたは両方に基づいて、３Ｄ画像データの生成と、その３Ｄ画像データに着色する色の情報を生成するマルチスペクトルＣＧ描画部１７（３Ｄ画像データ生成手段）と、出力する色の再現処理を行う色再現処理部１８とを備えている。また図１において符号２は実サンプルの分光反射率を計測する分光反射率計測部である。また３は３Ｄ形状の画像を表示するモニタである。
The image processing apparatus according to the first embodiment will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the image processing apparatus according to the embodiment. In this figure, reference numeral 1 denotes an image processing apparatus. The image processing apparatus 1 receives a
図２はＲＧＢ値からＸＹＺ値への変換処理の概要を示す図である。
図３はＸＹＺ値に基づく分光反射率の算出処理の概要を示す図である。
図４は分光反射率に基づくマルチスペクトルデータの算出処理の概要を示す図である。
図５は画像処理装置の処理概要の全体像を示す第１の図である。
図６は画像処理装置の処理フローを示す図である。
次に図２〜図６を用いて第１の実施形態による画像処理装置の処理フローについて説明する。
FIG. 2 is a diagram showing an outline of conversion processing from RGB values to XYZ values.
FIG. 3 is a diagram showing an outline of spectral reflectance calculation processing based on XYZ values.
FIG. 4 is a diagram showing an outline of multispectral data calculation processing based on spectral reflectance.
FIG. 5 is a first diagram showing an overview of the processing outline of the image processing apparatus.
FIG. 6 is a diagram showing a processing flow of the image processing apparatus.
Next, a processing flow of the image processing apparatus according to the first embodiment will be described with reference to FIGS.
まず、ユーザは３Ｄ形状の画像の生成を行うにあたり、画像処理装置１のモニタにカラーパレットを表示するよう指示を入力する。このカラーパレットはＲＧＢによって表現できる多くの色の指定を行うことができるものであり、ユーザはマウス等の入力装置を使って、色の色相を徐々に変化させて色を表示しているカラーパレット上で、その色を指定する。図２で示すようにユーザが色を指定するとその色に対応するＲＧＢ値を色指定部１１が判定し（ステップＳ１０１）、そのＲＧＢ値を分光反射率算出部１１へ転送する。次に分光反射率算出部１４は、モニタで出力されたＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の実際に測色したＸＹＺ値｛（Ｘｒ，Ｙｒ，Ｚｒ）、（Ｘｇ，Ｙｇ，Ｚｇ）、（Ｘｂ，Ｙｂ，Ｚｂ）｝の値と、指定を受けたＲＧＢ値（モニタのＲＧＢ信号値）とを用いて式（１）により、ユーザより指定を受けた色のＲＧＢ値に基づくＸＹＺ値を算出する（ステップＳ１０２）。なおモニタのＲ（赤）、Ｇ（緑）、Ｂ（青）の色の出力を測色した（Ｘｒ，Ｙｒ，Ｚｒ）、（Ｘｇ，Ｙｇ，Ｚｇ）、（Ｘｂ，Ｙｂ，Ｚｂ）はモニタ特性データであり、このデータは予め画像処理装置１が記憶していても良いし、ＸＹＺ値の算出の度に入力を受けてもよい。また式（１）においてモニタ特性データは（Ｘｒ，Ｙｒ，Ｚｒ）、（Ｘｇ，Ｙｇ，Ｚｇ）、（Ｘｂ，Ｙｂ，Ｚｂ）を要素に持つ行列である。
First, when generating a 3D-shaped image, the user inputs an instruction to display a color palette on the monitor of the image processing apparatus 1. This color palette can specify many colors that can be expressed in RGB, and the user uses an input device such as a mouse to gradually change the hue of the color and display the color. Specify the color above. As shown in FIG. 2, when the user designates a color, the
次に分光反射率算出部１４は、図３で示すように式（１）により算出したＸＹＺ値と、人間の目の感度特性（等色関数）と、そのユーザの居る環境における照明光のデータである照明光スペクトルと、サンプル特性の統計情報とを用いて、分光反射率を算出する（ステップＳ１０３）。ここで、分光反射率は分光反射率推定行列Ｇを用いて式（２）で表される。
Next, as shown in FIG. 3, the spectral
また人間の目の分光感度（等色関数）と、対角成分が照明光スペクトルである対角行列とに基づいて、 Based on the spectral sensitivity (color matching function) of the human eye and the diagonal matrix whose diagonal component is the illumination light spectrum,
とすると、分光反射率推定行列Ｇは Then, the spectral reflectance estimation matrix G is
で表すことができる。ここで式（３）においてＸ（λ），Ｙ（λ）、Ｚ（λ）を要素に持つ行列が人間の目の分光感度（等色関数）を表しており、また（Ｗ１，Ｗ２・・・Ｗｎ）の要素を対角成分に持つ行列が照明光スペクトルを表している。またＨｔはＨの転置行列、Ｒｆはサンプル特性の統計情報である。なおサンプル特性の統計情報は、色の実サンプルを計測した分光反射率サンプルの相関行列などである。以上の処理により、例えば光の波長３８０ｎｍ〜７８０ｎｍまでの１ｎｍ毎の反射率が算出できる。そして分光反射率算出部１４は算出した分光反射率を第１マルチスペクトル変換部１５に出力する。
Can be expressed as Here, the matrix having X (λ), Y (λ), and Z (λ) in the expression (3) represents the spectral sensitivity (color matching function) of the human eye, and (W1, W2,... A matrix having the element of Wn) as a diagonal component represents the illumination light spectrum. H t is a transpose matrix of H, and R f is statistical information of sample characteristics. The statistical information on the sample characteristics is a correlation matrix of spectral reflectance samples obtained by measuring actual color samples. By the above processing, for example, the reflectance for each 1 nm of light wavelengths from 380 nm to 780 nm can be calculated. Then, the
次に第１マルチスペクトル変換部１５は、図４で示すように、指定された色の分光反射率のデータから６バンドのフィルタによって得られるマルチスペクトルデータを算出する（ステップＳ１０４）。ここで、このマルチスペクトルデータの算出において、式（５），式（６）を用いて算出する。なお、Ｃ（ｃ１，…Ｃ６）は６バンドの各反射率、Ｍｖｍｓｃはフィルターの感度（分光反射率を６バンドに変換する行列）である。
Next, as shown in FIG. 4, the first
そして、第１マルチスペクトル変換部１５は算出したマルチスペクトルデータをマルチスペクトルＣＧ描画部１７へ出力する。そしてマルチスペクトルＣＧ描画部１７は、第１マルチスペクトル変換部１５から受け付けたマルチスペクトルデータと３Ｄモデリングデータとを用いて、３Ｄ画像データを生成する（ステップＳ１０５）。そして、色再現処理部１８は、マルチスペクトルＣＧ描画部１７から受け付けた３Ｄ画像データに基づいてモニタに３Ｄ画像を描画する。ここでこの３Ｄ画像を描画する際の色のデータは６バンドのマルチスペクトルデータに基づいて行われる。この時、色再現処理部１８は、６バンドのマルチスペクトルデータに照明光のスペクトルを掛け合わせて分光反射率を算出し（ステップＳ１０６）、上述のＲＧＢ値→測色値→分光反射率の算出処理の逆演算により、分光反射率→測色値→ＲＧＢ値の算出処理を行う（ステップＳ１０７）。そしてモニタが色再現処理部１８で算出されたＲＧＢ値で発色する３Ｄ画像を表示する（ステップＳ１０８）。
Then, the first
また画像処理装置１は、分光反射率計測部２によって計測した実サンプルの色の分光反射率に基づいて、３Ｄ画像データを生成してもよい。この場合、第２マルチスペクトル変換部１６が分光反射率計測部２より分光反射率を受け付けて、その分光反射率に基づいて、第１マルチスペクトル変換部１５と同様の演算によりマルチスペクトルデータを算出する。そして、マルチスペクトルＣＧ描画部１７は上述の演算と同様に３Ｄ画像データを生成する。またマルチスペクトルＣＧ描画部１７は、第１マルチスペクトル変換部１５と第２マルチスペクトル変換部１６の両方から、３Ｄ形状のそれぞれの部分のマルチスペクトルデータを受け付けて、それら受け付けたマルチスペクトルデータに基づいて、上述の演算と同様に３Ｄ画像データを生成するようにしてもよい。これにより、モニタから指定された色の情報と実サンプルの計測により入力された色の情報を同時に用いて一つの３Ｄ画像を描画することができる。例えば車の３Ｄ画像を生成するにあたり、ボディーの色は実測した分光反射率に基づいて色を描画し、シートなどの内装については入力装置を用いて指定した色のＲＧＢ値から算出された分光反射率に基づいて色を描画し、一つの３Ｄ画像データが生成される。なお、本実施形態においては、６バンドのマルチスペクトルデータを生成する場合について説明したが、他の複数のＮバンドのマルチスペクトルデータであってもよい。
The image processing apparatus 1 may generate 3D image data based on the spectral reflectance of the color of the actual sample measured by the spectral
以上、本発明の第１の実施形態について説明したが、上述の処理によれば、３Ｄ形状の画像データを表示する画像処理装置において、ユーザは３Ｄ形状の色を指定する場合にカラーパレットを用いて指定すればよい。したがってユーザが３Ｄ形状に着色する色の特定を容易にすることができる。また、ユーザが指定した色から分光反射率を算出する際に、ユーザのいる照明環境またはユーザ所望の照明環境の照明光スペクトルを用いると共に、人間の目の感度特性やサンプル特性の統計情報を用いるので、分光反射率の算出において、ユーザの見た色に合わせた分光反射率を算出できる。またモニタにおいて指定された色のＲＧＢ値から算出されたマルチスペクトルデータと、色を実際に測色した値から算出されたマルチスペクトルデータの両方のデータに基づいて３Ｄ画像データを生成することができるので、モニタから指定された色の情報と実サンプルの計測により入力された色の情報を同時に用いて一つの３Ｄ画像を描画することができる。 Although the first embodiment of the present invention has been described above, according to the above-described processing, in the image processing apparatus that displays 3D shape image data, the user uses a color palette when specifying a 3D shape color. Can be specified. Therefore, the user can easily specify the color to be colored in the 3D shape. In addition, when calculating the spectral reflectance from the color specified by the user, the illumination light spectrum of the illumination environment in which the user is present or the illumination environment desired by the user is used, and statistical information on sensitivity characteristics and sample characteristics of the human eye is used. Therefore, in the calculation of the spectral reflectance, the spectral reflectance matched to the color seen by the user can be calculated. Further, 3D image data can be generated based on both multispectral data calculated from RGB values of a color designated on the monitor and multispectral data calculated from values obtained by actually measuring colors. Therefore, it is possible to draw one 3D image by simultaneously using the color information specified from the monitor and the color information input by measuring the actual sample.
図７は画像処理装置の処理概要の全体像を示す第２の図である。
次に第２の実施形態による画像処理装置の処理を、図７を用いて説明する。
画像処理装置１は、図７で示すように、数多くの色の分光反射率のデータを記憶しておき、ユーザから指定された色の測色値と、記憶している分光反射率のデータから求めた測色値とを比較して、ユーザから指定された色の測色値と同等の測色値の算出に用いた分光反射率のデータを用いて３Ｄ画像データを生成するようにしても良い。この場合、第１の実施形態と同様に指定された色のＲＧＢ値から測色値を算出する。また分光反射率データベースに記録されている分光反射率データから第１の実施形態で測色値から分光反射率を算出した演算処理の逆演算により、照明光スペクトル、人間の目の感度特性、サンプル特性の統計情報を用いて測色値を算出する。そして、ＲＧＢ値から算出した測色値と、予め記憶された分光反射率から算出した測色値とを比較して、ユーザから指定された色の測色値と同等の測色値の算出に用いた分光反射率のデータを特定する。そしてその特定した分光反射率のデータを用いて、第１の実施形態と同様にマルチスペクトルデータを算出し、また３Ｄ画像データの生成、その３Ｄ画像データに基づく３Ｄ形状及び色のモニタへの表示の処理を行う。
FIG. 7 is a second diagram showing an overview of the processing outline of the image processing apparatus.
Next, processing of the image processing apparatus according to the second embodiment will be described with reference to FIG.
As shown in FIG. 7, the image processing apparatus 1 stores spectral reflectance data of a large number of colors, from the colorimetric values of colors specified by the user and the stored spectral reflectance data. The calculated colorimetric values are compared, and 3D image data is generated using the spectral reflectance data used to calculate the colorimetric values equivalent to the colorimetric values specified by the user. good. In this case, the colorimetric value is calculated from the RGB value of the designated color as in the first embodiment. In addition, the inverse of the calculation processing in which the spectral reflectance is calculated from the colorimetric values in the first embodiment from the spectral reflectance data recorded in the spectral reflectance database, the illumination light spectrum, the human eye sensitivity characteristic, the sample Colorimetric values are calculated using the statistical information of the characteristics. Then, the colorimetric value calculated from the RGB value and the colorimetric value calculated from the spectral reflectance stored in advance are compared to calculate a colorimetric value equivalent to the colorimetric value specified by the user. Identify the spectral reflectance data used. Then, using the specified spectral reflectance data, multispectral data is calculated in the same manner as in the first embodiment, and 3D image data is generated, and 3D shape and color based on the 3D image data are displayed on the monitor. Perform the process.
なお、上述の画像処理装置は内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 The image processing apparatus described above has a computer system inside. The process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing this program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
・・・・によって、・・・・が不可欠な用途にも適用できる。 ... can also be applied to applications where ...
１・・・画像処理装置
１１・・・色指定部
１２・・・照明スペクトル入力部
１３・・・モニタ特性部
１４・・・分光反射率算出部
１５・・・第１マルチスペクトル変換部
１６・・・第２マルチスペクトル変換部
１７・・・マルチスペクトルＣＧ描画部
１８・・・色再現処理部
２・・・分光反射率計測部
３・・・モニタ
DESCRIPTION OF SYMBOLS 1 ...
Claims (7)
前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する測色値情報算出手段と、
前記算出した測色値情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記算出した測色値情報に対応する分光反射率を算出する分光反射率算出手段と、
前記算出した分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段と、
前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段と、
前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段と、
を備えることを特徴とする画像処理装置。 Color information accepting means for accepting designation of a color displayed on a monitor for outputting an image;
Colorimetric value information calculating means for calculating colorimetric value information corresponding to the color information received by the designation, colorimetric value of the color developed by the monitor, and colorimetric value calculation formula by the colorimetric value calculation formula; ,
Spectral reflectance corresponding to the calculated colorimetric value information based on the calculated colorimetric value information, spectral sensitivity information representing the spectral sensitivity of the human eye, and illumination light spectrum information that has been accepted. Spectral reflectance calculation means for calculating
Multispectral data calculating means for calculating N-band multispectral data from the calculated spectral reflectance;
3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data;
Drawing means for drawing a shape and a color of the shape on the monitor based on the 3D image data;
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 In addition to the calculated colorimetric value information, the spectral sensitivity information representing the spectral sensitivity of the human eye, and the illumination light spectrum information that has received the input, the spectral reflectance calculating means further includes the 3D image. The image processing apparatus according to claim 1, wherein a spectral reflectance corresponding to the calculated colorimetric value information is calculated based on statistical information of spectral reflectance characteristics of a subject having a shape indicated by the data. .
前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する第１測色値情報算出手段と、
予め記憶する複数の分光反射率の情報から特定したいずれかの分光反射率の情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記特定した分光反射率に対応する測色値情報を算出する第２測色値算出手段と、
前記算出された２つの測色値を比較して、最も近い側色値の算出に用いた分光反射率を前記分光反射率記憶手段より読み出して、当該分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段と、
前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段と、
前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段と、
を備えることを特徴とする画像処理装置。 Color information accepting means for accepting designation of a color displayed on a monitor for outputting an image;
First colorimetric value information calculation for calculating the colorimetric value information corresponding to the color information for which the designation is accepted by the color information for the color accepted by the monitor, the colorimetric value of the color developed by the monitor, and the colorimetric value calculation formula Means,
Based on one of the spectral reflectance information specified from the plurality of spectral reflectance information stored in advance, the spectral sensitivity information representing the spectral sensitivity of the human eye, and the illumination light spectrum information that has received the input. Second colorimetric value calculating means for calculating colorimetric value information corresponding to the specified spectral reflectance;
The calculated two colorimetric values are compared, the spectral reflectance used to calculate the closest side color value is read from the spectral reflectance storage means, and N-band multispectral data is obtained from the spectral reflectance. Multispectral data calculating means for calculating;
3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data;
Drawing means for drawing a shape and a color of the shape on the monitor based on the 3D image data;
An image processing apparatus comprising:
ことを特徴とする請求項３に記載の画像処理装置。 In addition to the specified spectral reflectance information, the spectral sensitivity information representing the spectral sensitivity of the human eye, and the illumination light spectrum information that has received the input, the second colorimetric value calculation means further includes the 3D image. 4. The image processing apparatus according to claim 3, wherein colorimetric value information corresponding to the specified spectral reflectance is calculated based on statistical information of spectral reflectance characteristics of a subject having a shape indicated by the data. .
前記３Ｄ画像データ生成手段は、前記指定を受け付けた色の情報から算出されたマルチスペクトルデータと、分光反射率計測手段によって計測された分光反射率から算出されたマルチスペクトルデータとの両方を用いて３Ｄ画像データを生成する
ことを特徴とする請求項１から請求項４のいずれかに記載の画像処理装置。 The multispectral data calculation means calculates N-band multispectral data from the spectral reflectance measured by the spectral reflectance measurement means,
The 3D image data generation means uses both the multispectral data calculated from the color information that has received the designation and the multispectral data calculated from the spectral reflectance measured by the spectral reflectance measuring means. 5. The image processing apparatus according to claim 1, wherein 3D image data is generated.
画像を出力するモニタに表示された色の指定を受け付ける色情報受付手段、
前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する測色値情報算出手段、
前記算出した測色値情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記算出した測色値情報に対応する分光反射率を算出する分光反射率算出手段、
前記算出した分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段、
前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段、
前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段、
として機能させるためのプログラム。 Computer
Color information accepting means for accepting designation of a color displayed on a monitor for outputting an image;
Colorimetric value information calculation means for calculating colorimetric value information corresponding to the color information accepted by the designation by the color information of the color accepted by the designation, the colorimetric value of the color developed by the monitor and the colorimetric value calculation formula,
Spectral reflectance corresponding to the calculated colorimetric value information based on the calculated colorimetric value information, spectral sensitivity information representing the spectral sensitivity of the human eye, and illumination light spectrum information that has been accepted. Spectral reflectance calculation means for calculating
Multispectral data calculating means for calculating N-band multispectral data from the calculated spectral reflectance;
3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data;
Drawing means for drawing a shape and a color of the shape on the monitor based on the 3D image data;
Program to function as.
画像を出力するモニタに表示された色の指定を受け付ける色情報受付手段、
前記指定を受け付けた色の情報とモニタが発色する色の測色値と測色値算出式により前記指定を受け付けた色の情報に対応する測色値情報を算出する第１測色値情報算出手段、
予め記憶する複数の分光反射率の情報から特定したいずれかの分光反射率の情報と、人間の目の分光感度を表した分光感度情報と、入力を受け付けた照明光スペクトル情報と、に基づいて、前記特定した分光反射率に対応する測色値情報を算出する第２測色値算出手段、
前記算出された２つの測色値を比較して、最も近い側色値の算出に用いた分光反射率を前記分光反射率記憶手段より読み出して、当該分光反射率からＮバンドのマルチスペクトルデータを算出するマルチスペクトルデータ算出手段、
前記マルチスペクトルデータと３Ｄモデリングデータとを用いて３Ｄ画像データを生成する３Ｄ画像データ生成手段、
前記３Ｄ画像データに基づいて前記モニタに形状とその形状の色を描画する描画手段、
として機能させるためのプログラム。 Computer
Color information accepting means for accepting designation of a color displayed on a monitor for outputting an image;
First colorimetric value information calculation for calculating the colorimetric value information corresponding to the color information for which the designation is accepted by the color information for the color accepted by the monitor, the colorimetric value of the color developed by the monitor, and the colorimetric value calculation formula means,
Based on one of the spectral reflectance information specified from the plurality of spectral reflectance information stored in advance, the spectral sensitivity information representing the spectral sensitivity of the human eye, and the illumination light spectrum information that has received the input. Second colorimetric value calculating means for calculating colorimetric value information corresponding to the specified spectral reflectance,
The calculated two colorimetric values are compared, the spectral reflectance used to calculate the closest side color value is read from the spectral reflectance storage means, and N-band multispectral data is obtained from the spectral reflectance. Multispectral data calculation means for calculating,
3D image data generating means for generating 3D image data using the multispectral data and 3D modeling data;
Drawing means for drawing a shape and a color of the shape on the monitor based on the 3D image data;
Program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007089988A JP4975501B2 (en) | 2007-03-30 | 2007-03-30 | Image processing apparatus and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007089988A JP4975501B2 (en) | 2007-03-30 | 2007-03-30 | Image processing apparatus and program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008249438A true JP2008249438A (en) | 2008-10-16 |
| JP4975501B2 JP4975501B2 (en) | 2012-07-11 |
Family
ID=39974573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007089988A Active JP4975501B2 (en) | 2007-03-30 | 2007-03-30 | Image processing apparatus and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4975501B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10222653A (en) * | 1997-02-12 | 1998-08-21 | Nippon Paint Co Ltd | Design method using computer graphics |
| JPH11326054A (en) * | 1998-05-21 | 1999-11-26 | Sumika Color Kk | Predecting method for k/s parameter of mixed coloring material, measuring method for spectral reflectance of coloring material and color matching method for mixed coloring material |
| JP2000020702A (en) * | 1998-07-01 | 2000-01-21 | 利雄 ▲高▼畑 | Color space and color chart or color picker |
| JP2000341715A (en) * | 1999-05-25 | 2000-12-08 | Olympus Optical Co Ltd | Color reproducing system |
| JP2002027264A (en) * | 2000-07-04 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Image processing method and image processor |
| JP2002150315A (en) * | 2000-11-09 | 2002-05-24 | Minolta Co Ltd | Image processing device and recording medium |
| JP2002340677A (en) * | 2001-03-16 | 2002-11-27 | Fuji Photo Film Co Ltd | Adjusting method of spectral image, image adjusting device for spectral image, and recording medium |
-
2007
- 2007-03-30 JP JP2007089988A patent/JP4975501B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10222653A (en) * | 1997-02-12 | 1998-08-21 | Nippon Paint Co Ltd | Design method using computer graphics |
| JPH11326054A (en) * | 1998-05-21 | 1999-11-26 | Sumika Color Kk | Predecting method for k/s parameter of mixed coloring material, measuring method for spectral reflectance of coloring material and color matching method for mixed coloring material |
| JP2000020702A (en) * | 1998-07-01 | 2000-01-21 | 利雄 ▲高▼畑 | Color space and color chart or color picker |
| JP2000341715A (en) * | 1999-05-25 | 2000-12-08 | Olympus Optical Co Ltd | Color reproducing system |
| JP2002027264A (en) * | 2000-07-04 | 2002-01-25 | Matsushita Electric Ind Co Ltd | Image processing method and image processor |
| JP2002150315A (en) * | 2000-11-09 | 2002-05-24 | Minolta Co Ltd | Image processing device and recording medium |
| JP2002340677A (en) * | 2001-03-16 | 2002-11-27 | Fuji Photo Film Co Ltd | Adjusting method of spectral image, image adjusting device for spectral image, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4975501B2 (en) | 2012-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5883949B2 (en) | Spectral synthesis for image capture device processing. | |
| US6414756B1 (en) | System and method of realizing color reproduction of a color image between different color devices | |
| US8711171B2 (en) | Image processing apparatus, method, and storage medium for performing soft proof processing | |
| US6888963B2 (en) | Image processing apparatus and image processing method | |
| KR20150061339A (en) | Apparatus and method for makeup color simulation | |
| JP2008206163A (en) | Color image processor | |
| JP4798354B2 (en) | Spectral reflectance estimation method, spectral reflectance estimation apparatus, and spectral reflectance estimation program | |
| JP4174707B2 (en) | Spectroscopic measurement system, color reproduction system | |
| JP4975501B2 (en) | Image processing apparatus and program thereof | |
| US9293113B2 (en) | Image processing apparatus and control method thereof | |
| JP2012028973A (en) | Illumination light estimation device, illumination light estimation method, and illumination light estimation program | |
| JP4615430B2 (en) | Image generation apparatus, image generation method, and image generation program | |
| JP2008160210A (en) | Information processing method, and imaging apparatus | |
| JP2004070228A (en) | Display device and design device each having ambient light source correction function, method of designing, and colorimeter unit | |
| US9927630B2 (en) | Color calibration for pathology slides | |
| JP7134532B1 (en) | Image synthesis display device, method, and program | |
| JP5029187B2 (en) | Color coordinate conversion device, imaging device, color coordinate conversion program, and color coordinate conversion method | |
| KR101366163B1 (en) | Hybrid color conversion method and system to optimize the performancein diverse color perception environment | |
| JP5282356B2 (en) | Spectral data classification method, spectral data classification device, and spectral data classification program | |
| Carnevali et al. | Colourimetric Calibration for Photography, Photogrammetry, and Photomodelling Within Architectural Survey | |
| JP4998782B2 (en) | Microscope image processing apparatus and microscope image processing method | |
| JP2010130157A (en) | Apparatus, method and program for processing multi-spectrum image | |
| JP2010156652A (en) | Spectrometer | |
| JP5154839B2 (en) | Makeup color display device | |
| JP6254922B2 (en) | Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100318 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120411 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4975501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |